JP5446035B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

従来より、被写体の顔を認識する顔認識技術により、撮影した画像から被写体の顔を認識し、その顔の表情を画像合成により変えたり、認識した顔の位置から被写体間の距離を調整して集合写真を合成したりする技術や、特定の被写体に対してエッジ強調などの画像処理を施す技術などが知られている（例えば、特許文献１〜４参照）。

特開２００８−１９８０６２号公報 特開２００６−１２１６６１号公報 特開２００２−１９９２０２号公報 特開２００１−０４５３５５号公報

ところで、実際の撮影においては、フレーム内に複数の被写体がいたり、全く意図しない被写体がフレーム内に入ってきたりと、常に、所望する被写体だけをフレームに収めて撮影することは少なく、所望する撮影画像が得られないことがある。

しかしながら、上記従来技術では、被写体自体や、被写体の顔の表情などを、画像処理するだけであり、上述したような、フレーム内に複数の被写体がいる場合や、意図せずに他の被写体がフレーム内に入るという状況では、所望する撮影画像が得られないという問題があった。

そこで本発明は、意図しない複数の被写体がいる状況であっても、所望する被写体をメインとした撮影画像を容易に作成することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

上記目的達成のため、本発明の撮像装置は、撮像手段と、前記撮像手段により撮像されたフレーム画像を記録する記録手段と、複数の被写体の各々に対して優先度を設定する優先度設定手段と、前記優先度設定手段により設定された各被写体の優先度に基づいて、前記撮像手段により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段と、前記検出手段により検出された主被写体と他の被写体とが重なっているか否かを判定する判定手段と、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、前記撮像手段により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録する記録制御手段とを備えることを特徴とする。

また、好ましい態様として更に、前記判定手段は、前記検出手段により検出された主被写体の上に他の被写体が重なっているか否かを判定し、前記記録制御手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定された場合、そのフレーム画像を前記記録手段に記録せずに破棄する破棄手段であることを特徴とする。

また、好ましい態様として更に、前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分を除去する除去手段であることを特徴とする。

また、好ましい態様として更に、前記判定手段は、前記検出手段により検出された主被写体の上に他の被写体が重なっているか否かを判定し、前記記録制御手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定された場合、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分を除去する除去手段であることを特徴とする。

また、好ましい態様として更に、前記除去手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分も除去することを特徴とする。

また、好ましい態様として更に、前記除去手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分も除去することを特徴とする。

また、好ましい態様として更に、複数の被写体の各々に対して連写可否を設定する連写可否設定手段を更に備え、前記検出手段は、前記主被写体とその他の被写体に加えて、前記連写可否設定手段により設定された各被写体の連写可否に基づいて、フレーム画像内から連写不可に設定されている被写体を検出し、前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、前記撮像手段により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録することを特徴とする。

また、好ましい態様として更に、前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、そのフレーム画像を前記記録手段に記録せずに破棄する破棄手段であることを特徴とする。

また、好ましい態様として更に、前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分を除去する除去手段であることを特徴とする。

また、好ましい態様として更に、前記除去手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定されたフレーム画像、および前記検出手段により連写不可に設定されている被写体が検出されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分も除去することを特徴とする。

上記目的達成のため、本発明の撮像方法は、少なくとも、撮像部と記録部とを備える撮影装置による撮像方法であって、複数の被写体の各々に対して優先度を設定する優先度設定処理と、前記優先度設定処理により設定された各被写体の優先度に基づいて、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出処理と、前記検出処理により検出された主被写体と他の被写体とが重なっているか否かを判定する判定処理と、前記判定処理により主被写体と他の被写体とが重なっていると判定された場合、前記撮像部により撮像されるフレーム画像を前記記録部に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録部に記録する記録制御処理とを含むことを特徴とする。

上記目的達成のため、本発明のプログラムは、少なくとも、撮像部と記録部とを備える撮影装置のコンピュータを、複数の被写体の各々に対して優先度を設定する優先度設定手段、前記優先度設定手段により設定された各被写体の優先度に基づいて、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段、前記検出手段により検出された主被写体と他の被写体とが重なっているか否かを判定する判定手段、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、前記撮像部により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録する記録制御手段として機能させることを特徴とする。

この発明によれば、意図しない複数の被写体がいる状況であっても、所望する被写体をメインとした撮影画像を容易に作成することができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本第１実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。 本第１実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。 本第１実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。 本第１実施形態による撮影動作を説明するための概念図である。 本第２実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。 本第２実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。 本第２実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。 本第２実施形態による撮影動作を説明するための概念図である。 本第３実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。 第３実施形態による撮影動作を説明するための概念図である。 優先度の高い被写体の前に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。 本第４実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。 本第４実施形態により撮影されたフレーム画像の一例を示す模式図である。 優先度の高い被写体の後に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、入力装置１は、シャッターボタン、十字キー、機能選択ボタンなどの複数のボタンスイッチからなる。内部記憶装置２は、ＲＯＭ、ＲＡＭなどからなり、所定のプログラムや、データなどを記憶する。カメラ装置３は、光学レンズ、撮像素子、ドライバなどからなり、撮像した映像を取り込む。表示装置４は、液晶表示器などからなり、撮影時のスルー画像や、撮影後の撮像画像、各種メニュー、撮影パラメータなどを表示する。

音声入出力装置５は、マイク、スピーカ、音声処理部などからなり、外部の音声をマイクから入力するとともに、音声データをＤＡ変換してスピーカから出力する。外部記憶装置６は、ＳＤスロットなどの外部記憶媒体を装着するためのインターフェースを備えており、外部記憶媒体との間でデータの授受を行う。外部記憶媒体には、撮像画像などが所定のフォーマットで保存される。なお、上述した個人情報や、案内文を該外部記録媒体に記憶するようにしてもよい。ストロボ発光装置７は、露出不足を補うための発光手段である。

ＣＰＵ８は、所定のプログラムを実行し、上述した各部の動作を制御する。特に、本第１実施形態では、顔認識のための顔特徴点データ、優先度などの個人情報の登録、顔特徴点データを用いたフレーム画像内の個人認識、該個人認識結果と優先度とに基づく被写体の撮影状態の識別（被写体同士の重なり程度）、該識別した撮影状態に応じた撮影動作の制御処理などを行う。

撮影動作の制御処理とは、メイン被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメイン被写体と他の被写体との重なり具合を判定して、メイン被写体が他の被写体の背後に隠れてしまうフレーム画像を保存することなく破棄することで、連続撮影で得られる複数の画像の記録保存を制御する処理である。なお、被写体同士の重なりは、例えば、顔認識枠の重なりで判断しても、動体認識に基づいて認識された被写体の全体像で被写体の重なりを判断してもよい。また、メイン被写体とは、フレーム画像内で、予め設定した優先度が最も高い被写体を指し、フレーム画像内に含まれる被写体構成によって変わる可能性がある。

図２は、本第１実施形態によるデジタルカメラにおいて、個人情報が登録されている管理テーブルの一例を示す概念図である。本第１実施形態では、撮影した画像から個人を特定するための顔認識に用いる顔特徴点データや、その個人の優先度などを予め登録するようになっている。顔画象は、登録時、あるいは前もって撮影されたその被写体の顔画象であり、顔を特徴づける（個人識別可能とする）顔特徴点データの抽出に用いられるとともに、個人情報の登録時などに特定の被写体を指定する際のサムネイルとして用いられる。

顔特徴点データは、顔画象が登録された時点で抽出、登録され、撮影時の被写体を特定するために用いられる。優先度は、１＜２＜３＜４＜５の順となっており、優先度が高い被写体ほど優先してメイン被写体と認識される。なお、優先度は重複してもよい。また、当該装置登録されていない被写体の優先度は、最低レベル「１」、もしくはそれ以下として判断する。本第１実施形態では、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合のみ、そのフレーム画像を保存することなく破棄することで、少なくとも、優先度の高いメイン被写体が他の被写体に隠れることなく撮影されているフレーム画像だけを残すようにしている。

図３は、本第１実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。ユーザが個人情報を設定すべく所定の操作を行うと、図３に示すような設定画面が表示される。ユーザは、該設定画面において、顔画象や、優先度などを設定する。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図４は、本第１実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影（あるいは動画撮影）の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し（ステップＳ１０）、シャッタキーがオフ操作されたか否かを判断し（ステップＳ１２）、シャッタキーのオフ操作がなければ、撮影する（フレーム単位で取り込む）（ステップＳ１４）。

次に、フレーム画像から人物部分を検出し（顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し）、検出された各人物部分について顔特徴点解析を行い、図２の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度を特定し（ステップＳ１６）、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する（ステップＳ１８）。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、そのフレーム画像を保存することなく、ステップＳ１０に戻り、撮影を継続する。

一方、優先度が高い被写体の前に、優先度の低い被写体が重なっていない場合には、そのままそのフレーム画像を保存し（ステップＳ２０）、ステップＳ１０に戻り、撮影を継続する。

図５は、本第１実施形態による撮影動作を説明するための概念図である。図において、最上段が撮影されたフレームＦ１〜Ｆ７であり、左から右へ順に撮影されている。なお、フレーム画像の１つ１つがフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。撮影されたフレームには、被写体Ａと被写体Ｂとが写っている。フレームＦ１〜Ｆ７において、被写体Ｂは、フレーム画像の左から右へ移動し、撮影等中で、被写体Ａの前を通り過ぎている。なお、被写体Ａの優先度＞被写体Ｂの優先度となっているものとする。

このような撮影状況において、上述した一連の動作に従えば、まず、フレームＦ１、Ｆ２では、優先度の高い被写体Ａの前に被写体Ｂは重なっていない。従って、フレームＦ１、Ｆ２はそのまま保存される。これに対して、フレームＦ３、Ｆ４、Ｆ５では、優先度の高い被写体Ａの前に被写体Ｂが重なっている。従って、フレームＦ３、Ｆ４、Ｆ５は、保存されない。さらに、フレームＦ６、Ｆ７では、被写体Ｂは優先度の高い被写体Ａの前を通り過ぎてしまう。従って、フレームＦ６、Ｆ７は、再び、保存される。この結果、図示の下段に示すように、フレームＦ１、Ｆ２、Ｆ６、Ｆ７、…からなるフレーム画像が保存されることになる。

上述した第１実施形態によれば、所望する被写体を優先し、優先度の低い被写体が重なっていた場合、優先度の低い被写体が撮影された画像を保存しないようにしたので、少なくとも優先度の高いメイン被写体が他の被写体に隠れることなく撮影することができるとともに、連写枚数の増加、記憶メモリの効率化を図ることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
なお、デジタルカメラの構成は図１と同様であるので説明を省略する。本第２実施形態では、ＣＰＵ８は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる被写体が他の被写体の背後に隠れてしまう場合、すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合、あるいは、フレーム画像内に連写撮影がＮＧに設定されている被写体が撮影されている場合に、そのフレーム画像を保存することなく破棄するようになっている。

図６は、本第２実施形態によるデジタルカメラにおいて、個人情報が登録されている管理テーブルの一例を示す概念図である。本第２実施形態では、図２に示す構成に加えて、写時の撮影可否を示す連写ＮＧフラグが登録可能になっている。連写ＮＧフラグが「ＯＮ」で連写不可を示し、「ＯＦＦ」で連写可であることを示す。すなわち、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されている場合には、優先度に関係なく、そのフレーム画像を保存することなく破棄する。図示の例では、Ｎｏ．３の優先度「１」の被写体が連写ＮＧフラグが「ＯＮ」となっており、その他の被写体は「ＯＦＦ」に設定されている。すなわち、連写時に、Ｎｏ．３の被写体が撮影されている場合には、そのフレーム画像は破棄されることになる。

図７は、本第２実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。ユーザが個人情報を設定すべく所定の操作を行うと、図７に示すような設定画面が表示される。ユーザは、該設定画面において、顔画象や、優先度、連写時の連写可否を示す連写ＮＧフラグのＯＮ、ＯＦＦなどを設定する。

Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態の動作について説明する。
図８は、本第２実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影（あるいは動画撮影）の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し（ステップＳ３０）、シャッタキーがオフ操作されたか否かを判断し（ステップＳ３２）、シャッタキーのオフ操作がなければ、撮影する（フレーム単位で取り込む）（ステップＳ３４）。

次に、フレーム画像から人物部分を検出し（顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し）、検出された各人物部分について顔特徴点解析を行い、図６の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度や、連写ＮＧフラグなどの設定状態を特定し（ステップＳ３６）、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する（ステップＳ３８）。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、そのフレーム画像を保存することなく、ステップＳ３０に戻り、撮影を継続する。

一方、優先度が高い被写体の前に、優先度の低い被写体が重なっていない場合には、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されているか否かを判断する（ステップＳ４０）。そして、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されている場合には、そのフレーム画像を保存することなく、ステップＳ３０に戻り、撮影を継続する。

一方、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されていない場合には、そのままそのフレーム画像を保存し（ステップＳ４２）、ステップＳ３０に戻り、撮影を継続する。

図９は、本第２実施形態による撮影動作を説明するための概念図である。図において、最上段が撮影されたフレームＦ１〜Ｆ７であり、左から右へ順に撮影されている。なお、フレーム画像の１つ１つがフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。撮影されたフレームには、被写体Ａ、被写体Ｂ、および被写体Ｃが写っている。フレームＦ１〜Ｆ７において、被写体Ｂは、フレーム画像の左から右へ移動し、撮影等中で、被写体Ａの前を通り過ぎ、その後、被写体Ｃがフレーム画像の上から下へ移動している。なお、被写体Ａの優先度＞被写体Ｂの優先度となっており、被写体Ｃの連写ＮＧフラグが「ＯＮ」になっているものとする。

このような撮影状況において、上述した一連の動作に従えば、まず、フレームＦ１、Ｆ２では、優先度の高い被写体Ａの前に被写体Ｂは重なっていない。従って、フレームＦ１、Ｆ２はそのまま保存される。これに対して、フレームＦ３、Ｆ４、Ｆ５では、優先度の高い被写体Ａの前に被写体Ｂが重なっている。従って、フレームＦ３、Ｆ４、Ｆ５は、保存されない。さらに、フレームＦ６、Ｆ７では、被写体Ｂは優先度の高い被写体Ａの前を通り過ぎ、重なっていないが、連写ＮＧフラグが「ＯＮ」の被写体Ｃが撮影されている。従って、フレームＦ６、Ｆ７も、保存されずに破棄される。この結果、図示の下段に示すように、フレームＦ１、Ｆ２、…からなるフレーム画像が保存されることになる。

上述した第２実施形態によれば、所望する被写体を優先し、優先度の低い被写体がより優先度の高い被写体に重なっていた場合、および連写撮影が不可の被写体が撮影されていた場合に、そのフレーム画像を保存しないようにしたので、少なくとも優先度の高いメイン被写体が他の被写体に隠れることなく撮影することができるとともに、連写枚数の増加、記憶メモリの効率化を図ることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
なお、デジタルカメラの構成は図１と同様であるので説明を省略する。また、個人情報が登録されている管理テーブルは、優先度のみを参照する図２に示す構成とする。本第３実施形態では、ＣＰＵ８は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる被写体が他の被写体の背後に隠れてしまう場合、メインとなる被写体以外を背景画像によりマスキングして除去し、メインとなる被写体のみが撮影されたフレーム画像を生成する。すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合のみ、優先度が低い被写体がフレーム画像内より削除されるものである。

図１０は、本第３実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影（あるいは動画撮影）の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し（ステップＳ５０）、シャッタキーがオフ操作されたか否かを判断し（ステップＳ５２）、シャッタキーのオフ操作がなければ、撮影する（所定のフレーム数をバッファリングして取り込む）（ステップＳ５４）。

次に、フレーム画像から人物部分を検出し（顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し）、検出された各人物部分について顔特徴点解析を行い、図２の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度の設定状態を特定し（ステップＳ５６）、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体の前に、優先度の低い被写体が重なっているか否かを判断する（ステップＳ５８）。そして、優先度が高い被写体の前に、優先度の低い被写体が重なっている場合には、優先度の高い被写体を残すように、他フレームを用いて優先度の高い被写体以外を削除する（ステップＳ６０）。次に、該フレーム画像を保存し（ステップＳ６２）、ステップＳ５０に戻り、撮影を継続する。

一方、優先度が高い被写体の前に、優先度の低い被写体、あるいは他の被写体が重なっていない場合には、そのままそのフレーム画像を保存し（ステップＳ６２）、ステップＳ５０に戻り、撮影を継続する。

図１１（ａ）〜（ｃ）は、本第３実施形態による撮影動作を説明するための概念図である。図において、横方向に順に、元の連続フレーム画像、優先度がＡ＞Ｂの場合に静止画としての画像処理、優先度がＡ＞Ｂの場合に動画としての画像処理を示している。また、フレームＦ１〜Ｆ５は、上から下へ順に撮影されたフレームである。なお、フレーム画像の１つが１つのフレームに相当するが、図示の例では、説明を簡単にするため、主要なフレームのみを示している。

まず、図１１（ａ）に示す元の連続フレーム画像であるが、フレームＦ１〜Ｆ５において、被写体Ａと被写体Ｂとが写っており、被写体Ａがフレーム画像の上から下へ移動し、被写体Ｂがフレーム画像の左から右へ移動し、撮影等中のフレームＦ３、Ｆ４で、被写体Ｂが被写体Ａの前を通り過ぎている。

このような撮影状況において、上述した一連の動作に従えば、図１１（ｂ）に示す静止画としての画像処理の場合には、被写体Ｂが被写体Ａの前に重なったフレームＦ３、Ｆ４で、被写体Ｂを背景画像によりマスキングして除去し、優先度の高い被写体Ａのみが撮影されたフレーム画像を生成する。この場合、該当フレームＦ３、Ｆ４で被写体Ｂが忽然と消えてしまうことになるが、静止画の場合には、それぞれ独立した画像であるので違和感が生じることはない。

これに対して、図１１（ｃ）に示す動画としての画像処理の場合には、被写体Ｂが忽然と消えてしまうと違和感が生じるので、上述した画像処理とは異なる処理を施す。つまり、フレームＦ３、Ｆ４で、被写体Ｂが優先度の高い被写体Ａの前に重なったことを検出すると、該当フレームＦ３、Ｆ４に加えて、その前のフレームＦ１、Ｆ２、及びその後のフレームＦ４、Ｆ５からも被写体Ｂを背景画像によりマスキングして除去し、優先度の高い被写体Ａのみが撮影されたフレーム画像を生成する。これにより、動画撮影の場合であっても、違和感を生じることなく、メインとなる被写体Ａのみが撮影された動画を生成することができる。

図１２は、優先度の高い被写体の前に優先度の低い被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、優先度の低い被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。図１２の右側には、図１１（ａ）と同じフレームＦ１〜Ｆ５までの元の連続フレーム画像を示している。ここでは、フレームＦ３を元に、被写体Ｂを除去する例について説明する。

フレームＦ３で被写体Ｂが被写体Ａの前に重なったことが検出されると、まず、フレームＦ３から被写体Ｂ以外の画像ＩＭ１を生成する。次に、フレームＦ３の前後で、かつ、被写体Ａが完全に写っている、いずれかのフレーム（この場合、フレームＦ２）から被写体Ａの一部（フレームＦ３で被写体Ｂが重なった部分）からなる画像ＩＭ２を生成する。さらに、フレームＦ３の前後で、かつ、フレームＦ３の被写体Ｂの背後に隠れている背景が写っている、いずれかのフレーム（この場合、フレームＦ５）から、被写体Ｂの背後に隠れている背景画像からなる画像ＩＭ２を生成する。そして、上記画像ＩＭ１、ＩＭ２、及びＩＭ３を合成し、被写体Ａのみが写った画像を得る。

上述した第３実施形態によれば、所望する被写体を優先し、優先度の高い被写体の前に優先度の低い被写体が重なっていた場合、優先度の低い被写体を削除するようにしたので、所望する被写体のみを容易に撮影することができる。

なお、上述した第３実施形態においても、前述した第２実施形態のように、管理テーブルに連写ＮＧフラグを設け（図６参照）、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されている場合に、そのフレーム画像を破棄したり、その被写体を背景画像によりマスキングして除去するようにしてもよい。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
なお、デジタルカメラの構成は図１と同様であるので説明を省略する。また、個人情報が登録されている管理テーブルは、優先度のみを参照する図２に示す構成とする。本第４実施形態では、ＣＰＵ８は、メインとなる被写体以外にも複数の被写体が存在する状況で連続撮影を行った場合に、連続撮影で得られる各フレーム画像に対してメインとなる被写体と他の被写体との重なり具合を判定して、メインとなる優先度の高い被写体と他の被写体とが重なって撮影された場合、メインとなる被写体以外を背景画像によりマスキングして除去し、メインとなる被写体のみが撮影されたフレーム画像を生成する。すなわち、優先度が低い被写体が、より優先度の高い被写体の前に重なった場合だけでなく、優先度が低い被写体がより優先度の高い被写体の後で重なった場合にも、優先度が低い被写体がフレーム画像内より削除されるものである。

図１３は、本第４実施形態によるデジタルカメラの撮影動作を説明するためのフローチャートである。なお、ユーザにより各被写体の優先度が予め設定されているものとする。ユーザによりシャッタキーがオン操作され、連写撮影（あるいは動画撮影）の開始が指示されると、被写体を顔認識・追従しながら撮影を開始し（ステップＳ７０）、シャッタキーがオフ操作されたか否かを判断し（ステップＳ７２）、シャッタキーのオフ操作がなければ、撮影する（所定のフレーム数をバッファリングして取り込む）（ステップＳ７４）。

次に、フレーム画像から人物部分を検出し（顔や洋服の色や、その位置関係および連続性などに基づいて人物の輪郭部分を抽出し）、検出された各人物部分について顔特徴点解析を行い、図２の管理テーブルに記憶された各種情報を参照して、フレーム画像内に検出された各人物部分に対する優先度の設定状態を特定し（ステップＳ７６）、検出された各人物部分の位置関係および各人物部分の優先度に基づいて、優先度が高い被写体が、優先度の低い被写体と重なって撮影されているか否かを判断する（ステップＳ７８）。

なお、本第４実施形態では、必ずしも、優先度の高い被写体の前に、優先度の低い被写体が重なっていることを必須とせず、前後どちらでも構わない。そして、優先度が高い被写体と、優先度の低い被写体とが重なって撮影されている場合には、優先度の高い被写体を残すように、他フレームを用いて優先度の高い被写体以外を削除する（ステップＳ８０）。次に、該フレーム画像を保存し（ステップＳ８２）、ステップＳ７０に戻り、撮影を継続する。

一方、優先度が高い被写体と優先度の低い被写体とが重なって撮影されていない場合には、そのままそのフレーム画像を保存し（ステップＳ８２）、ステップＳ７０に戻り、撮影を継続する。

図１４（ａ）、（ｂ）は、本第４実施形態により撮影されたフレーム画像の一例を示す模式図である。図１４（ａ）に示すように、本第４実施形態では、優先度が高い３人の被写体Ａ１、Ａ２、Ａ３が、優先度が低い被写体Ｂの手前に撮影されている場合、図１４（ｂ）に示すように、背後にいる被写体Ｂを、他のフレーム画像の背景画像によりマスキングして除去し、メインとなる優先度の高い被写体Ａ１、Ａ２、Ａ３のみが撮影されたフレーム画像を生成する。

本第４実施形態においても、上述した第３実施形態と同様に、静止画の連写の場合には、重なっているフレームでのみ、優先度の高い被写体Ａ１、Ａ２、Ａ３だけが撮影されたフレーム画像を生成する。これに対して、動画としての画像処理の場合には、被写体Ｂが忽然と消えてしまうと違和感が生じるので、互いに重なったフレーム以外のフレーム画像についても被写体Ｂを背景画像によりマスキングして除去し、複数のフレーム画像で優先度の高い被写体Ａ１、Ａ２、Ａ３だけが撮影された動画を生成する。これにより、動画撮影の場合であっても、違和感を生じることなく、メインとなる優先度の高い被写体のみが撮影されたフレーム画像を生成することができる。

図１５は、優先度の高い被写体の後に他の被写体が重なった場合に、フレーム画像から優先度の高い被写体のみを残し、他の被写体を背景画像によりマスキングして除去する方法を説明するための概念図である。図１５の右側には、図１１（ａ）と同じフレームＦ１〜Ｆ５までの元の連続フレーム画像を示している。ここでは、フレームＦ３を元に、被写体Ａの背後にいる被写体Ｂを除去する例について説明する。

フレームＦ３で被写体Ａと被写体Ｂとが重なったことが検出されると、まず、フレームＦ３から被写体Ｂ以外の画像ＩＭ１１を生成する。次に、フレームＦ３の前後で、かつ、被写体Ｂの背景（フレームＦ３で被写体Ｂの背後に隠れている背景）が完全に写っている、いずれかのフレーム（この場合、フレームＦ１）から被写体Ｂの背景からなる画像ＩＭ１２を生成する。この場合、フレームＦ１からは、被写体Ｂの一部の背景画像しか得られなかったので、さらに、フレームＦ３の前後で、かつ、フレームＦ３の被写体Ｂの残りの背景が写っている、いずれかのフレーム（この場合、フレームＦ５）から、被写体Ｂの背景（フレームＦ３で被写体Ｂの背後に隠れている背景）からなる画像ＩＭ１３を生成する。そして、上記画像ＩＭ１１、ＩＭ１２、及びＩＭ１３を合成することで、被写体Ａのみが写った画像を得る。

上述した第４実施形態によれば、所望する被写体を優先し、優先度の高い被写体と優先度の低い被写体とが重なっていた場合、優先度の低い被写体を削除するようにしたので、所望する被写体のみを容易に撮影することができる。

なお、上述した第４実施形態においても、前述した第２実施形態のように、管理テーブルに連写ＮＧフラグを設け（図６参照）、連写ＮＧフラグが「ＯＮ」に設定されている被写体が撮影されている場合に、そのフレーム画像を破棄したり、その被写体を背景画像によりマスキングして除去するようにしてもよい。

１ 入力装置
２ 内部記憶装置
３ カメラ装置
４ 表示装置
５ 音声入出力装置
６ 外部記憶装置
７ ストロボ発光装置

Claims (12)

1. 撮像手段と、
   前記撮像手段により撮像されたフレーム画像を記録する記録手段と、
   複数の被写体の各々に対して優先度を設定する優先度設定手段と、
   前記優先度設定手段により設定された各被写体の優先度に基づいて、前記撮像手段により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段と、
   前記検出手段により検出された主被写体と他の被写体とが重なっているか否かを判定する判定手段と、
   前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、前記撮像手段により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録する記録制御手段と
   を備えることを特徴とする撮像装置。
2. 前記判定手段は、前記検出手段により検出された主被写体の上に他の被写体が重なっているか否かを判定し、
   前記記録制御手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定された場合、そのフレーム画像を前記記録手段に記録せずに破棄する破棄手段であることを特徴とする請求項１記載の撮像装置。
3. 前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分を除去する除去手段であることを特徴とする請求項１記載の撮像装置。
4. 前記判定手段は、前記検出手段により検出された主被写体の上に他の被写体が重なっているか否かを判定し、
   前記記録制御手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定された場合、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分を除去する除去手段であることを特徴とする請求項３記載の撮像装置。
5. 前記除去手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分も除去することを特徴とする請求項３記載の撮像装置。
6. 前記除去手段は、前記判定手段により主被写体の上に他の被写体が重なっていると判定されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分も除去することを特徴とする請求項３記載の撮像装置。
7. 複数の被写体の各々に対して連写可否を設定する連写可否設定手段を更に備え、
   前記検出手段は、前記主被写体とその他の被写体に加えて、前記連写可否設定手段により設定された各被写体の連写可否に基づいて、フレーム画像内から連写不可に設定されている被写体を検出し、
   前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、前記撮像手段により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録することを特徴とする請求項１記載の撮像装置。
8. 前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、そのフレーム画像を前記記録手段に記録せずに破棄する破棄手段であることを特徴とする請求項７記載の撮像装置。
9. 前記記録制御手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定された場合に加え、前記検出手段により連写不可に設定されている被写体が検出された場合に、他のフレーム画像を用いて、当該フレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分を除去する除去手段であることを特徴とする請求項７記載の撮像装置。
10. 前記除去手段は、前記判定手段により主被写体と他の被写体とが重なっていると判定されたフレーム画像、および前記検出手段により連写不可に設定されている被写体が検出されたフレーム画像以外に、該フレーム画像と連続する前後のフレーム画像内の前記他の被写体部分、または前記連写不可に設定されている被写体部分も除去することを特徴とする請求項９記載の撮像装置。
11. 少なくとも、撮像部と記録部とを備える撮影装置による撮像方法であって、
    複数の被写体の各々に対して優先度を設定する優先度設定処理と、
    前記優先度設定処理により設定された各被写体の優先度に基づいて、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出処理と、
    前記検出処理により検出された主被写体と他の被写体とが重なっているか否かを判定する判定処理と、
    前記判定処理により主被写体と他の被写体とが重なっていると判定された場合、前記撮像部により撮像されるフレーム画像を前記記録部に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録部に記録する記録制御処理と
    を含むことを特徴とする撮像方法。
12. 少なくとも、撮像部と記録部とを備える撮影装置のコンピュータを、
    複数の被写体の各々に対して優先度を設定する優先度設定手段、
    前記優先度設定手段により設定された各被写体の優先度に基づいて、前記撮像部により撮像されたフレーム画像から主被写体とその他の被写体とを検出する検出手段、
    前記検出手段により検出された主被写体と他の被写体とが重なっているか否かを判定する判定手段、
    前記判定手段により主被写体と他の被写体とが重なっていると判定された場合、前記撮像部により撮像されるフレーム画像を前記記録手段に記録せずに破棄するか、または、他のフレーム画像を用いて当該フレーム画像内の前記他の被写体部分を除去してから前記記録手段に記録する記録制御手段と
    して機能させることを特徴とするプログラム。
    

Images