JP2011077990A - 撮像装置及びその情報処理方法、プログラム並びに媒体 - Google Patents

Abstract

【課題】撮像装置において、被写体毎のベストショット画像に関する撮影履歴情報を表示し、ユーザがその情報を次の撮影に活かして被写体毎のベストショット枚数の調整を行えるようにする。
【解決手段】撮像画像から特定の被写体を検出し、検出された被写体からベストショット画像を検出する。その検出結果に応じて、ベストショット画像の枚数を含む被写体毎の撮影履歴情報テーブルを作成して記憶する。撮影履歴情報テーブルに基づいて、被写体毎の撮影履歴情報を表示する。
【選択図】図４

Description

本発明は、デジタルビデオカメラなどの撮像装置及びその情報処理方法、前記情報処理方法を実現するためのプログラム、並びに前記プログラムを格納した媒体に関する。

近年、撮影した画像の被写体を検出し、その被写体に関する情報をディスプレイに表示するカメラが登場している。

例えば、特許文献１では、被写体検出技術を用いて画像データから被写体を自動で抽出し、この抽出した被写体の特徴を示す特徴値と、記憶回路に既に記憶されている特徴値との比較結果に基づき、ディスプレイに撮影枚数などの情報を表示する。

また、特許文献２では、被写体検出技術を用いて撮影画像データから顔画像を抽出し、登録顔画像と適合する抽出顔画像を含んだ元画像の総数を示す撮影枚数をディスプレイに表示する。

特開２００６−２９５８８８号公報 特開２００７−０２０１０４号公報

しかしながら、上述の従来技術では、次のような課題があった。

上述の従来技術を用いて撮影枚数などの被写体情報をディスプレイに表示した場合、ユーザはその情報を参照することにより被写体毎の撮影枚数を調整することが可能になるものの、被写体毎のベストショット枚数の調整を行うことはできないという問題があった。ここで、ベストショット枚数とは、ベストショット画像の枚数を示す。ベストショット画像は、ユーザが好ましいと思う画像であり、例えば、被写体が正面を向いている、笑顔である、ブレが無い、ピントが合っている等の画像である。

本発明は上記従来の問題点に鑑み、次のような、撮像装置及びその情報処理方法、プログラム並びに媒体を提供することを目的とする。即ち、被写体毎のベストショット画像に関する撮影履歴情報を表示し、ユーザがその情報を次の撮影に活かして被写体毎のベストショット枚数の調整を行えるようにする。

上記目的を達成するために、本発明の撮像装置は、撮像画像から特定の被写体を検出する被写体検出手段を有する撮像装置において、前記被写体検出手段によって検出された被写体からベストショット画像を検出するベストショット検出手段と、前記ベストショット検出手段の検出結果に応じて、ベストショット画像の枚数を含む被写体毎の撮影履歴情報を作成する撮影履歴作成手段と、前記撮影履歴作成手段で作成された被写体毎の撮影履歴情報を記憶する記憶手段と、前記記憶手段に記憶された被写体毎の撮影履歴情報を表示する撮影履歴表示手段とを備えたことを特徴とする。

本発明によれば、ベストショット画像の枚数を含む被写体毎の撮影履歴情報を表示することで、ユーザは、その情報を次の撮影に活かして被写体毎のベストショット枚数の調整を行うことが可能になる。これにより、ユーザは、上手な写真を被写体毎均等に撮影することができる。

実施の一形態である撮像装置の構成を示すブロック図である。 ベストショット検出部の動作を示すフローチャートである。 撮影履歴情報テーブルの例を示す図である。 撮影履歴情報を表示例を示す図である。 撮影履歴情報を表示例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

＜撮像装置の構成＞
図１（ａ），（ｂ）は、本発明の実施の一形態である撮像装置の構成を示すブロック図であり、同図（ａ）は、全体構成を示すブロック図であり、同図（ｂ）は、特徴部分の構成を示すブロック図である。

この撮像装置１００は、例えばデジタルビデオカメラで構成され、図１（ａ）に示すように、撮像レンズ１０１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサから成る撮像素子１０２を有する。撮像レンズ１０１によって被写体像を表す光線が集光されて撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。

撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３においてアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、画像処理部１０５に入力する。

画像処理部１０５の出力側には、顔認識部１０６、ベストショット検出部１０７、表示部１０８、及び画像記憶部１０９が接続されている。画像処理部１０５から出力された映像信号は、顔認識部１０６に供給される。ユーザは、操作部１２１において予め各被写体の名前、顔画像を示す被写体登録情報を登録する。顔認識部１０６は、画像中に登録されている被写体の顔を認識する。

認識方法は公知の顔認識方法を用いる。顔認識の公知技術は、認識対象の特定個人の撮影画像から、その人物に固有の特徴を抽出して特徴情報として予め登録しておき、その登録した特徴情報を撮影画像から抽出した被写体の特徴と照合して、個人の識別を行う。具体的には、特開２００４−３２０２８７号公報において、登録された被写体の特徴として、顔、目、瞳、眉、口、鼻のほかに、眼鏡や着衣等を登録することができ、これにより識別率の向上を図ることが開示されている。顔認識部１０６では、入力される画像データの中から前記被写体登録情報に登録されている被写体の顔を検出し、検出された顔を含む画像データと顔位置情報をベストショット検出部１０７に供給する。

ベストショット検出部１０７は、供給された動画像データと顔位置情報からベストショット画像を検出する。即ち、撮像装置１００は、撮像画像から特定の被写体を検出する被写体検出機能を備え、その検出の結果である被写体からベストショット画像を検出する。ベストショット画像とは、ユーザが好ましいと思う画像、即ち、被写体が正面を向いている、笑顔である、ブレが無い、或いはピントが合っているといった撮影画像のことを示す。

ベストショット検出方法は、公知のベストショット検出方法を用いる。公知技術は、検出された顔に対して例えば笑顔の笑顔評価値を付けて、最大の笑顔評価値が付けられた画像をベストショットして検出する方法などがある。具体的には特開２００８−０４２３１９号公報に記載されたものが挙げられる。即ち、顔を検出して、笑顔と通常の表情などの異なる表情との間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出し、この表情評価値が所定の閾値を超えた場合に画像信号を記憶媒体に記憶する方法などが挙げられる。

ベストショット検出部１０７により検出されたベストショット画像は、撮影履歴情報演算部１１０（撮影履歴作成手段の一例）に供給される。撮影履歴情報演算部１１０で被写体毎に演算された撮影履歴情報は、撮影履歴情報記憶部１１１に供給される。

画像処理部１０５から出力された映像信号は表示部１０８に送られる。表示部１０８は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。また、画像処理部１０５から出力された映像信号は、画像記憶部１０９、例えば着脱可能なメモリカードに記憶される。記憶先はカメラの内蔵メモリであっても、通信可能に接続された外部装置であっても良い。

上述した各構成部は、システム制御部１００によって動作が制御される。また、システム制御部１２０には、ユーザが指示を入力するための操作部１２１が接続されている。さらに、ベストショットカウント回路１２２及び撮影回数カウント回路１２３も接続されている。ベストショットカウント回路１２２は、被写体毎のベストショット画像の枚数をカウントするための回路であり、撮影回数カウント回路１２３は、被写体毎の総撮影枚数をカウントするための回路である。

次に、図１（ｂ）を参照して、本実施の形態の特徴を成す上記ベストショット検出部１０７の詳細な構成を説明する。

ベストショット検出部１０７は、図１（ｂ）に示すように、ベストショット制御部２０４、ベストショット検出回路２０１、ベストショット検出回路２０２、ベストショット検出回路２０３、及びスイッチ２０６で構成されている。

操作部１２１において、ユーザは、複数の撮影モードの中から所望の撮影モードを選択する。撮影モードとは、例えばスポーツモードやポートレートモード、夜景モードなどが挙げられる。スポーツモードでは、動く被写体をできるだけブレないように撮影するために、フルオートでの撮影と比べ、シャッタ速度が速い設定となっている。ポートレートモードでは、人物の背景をぼかして浮き立たせ、肌色をきれいに発色する色補正処理を行う設定となっている。夜景モードでは、ＩＳＯ感度を下げてシャッタ速度が遅い設定となっている。

ベストショット制御部２０４は、操作部１２１から撮影モード情報を取得し、撮影モード情報に基づいて、ベストショット検出回路２０１、ベストショット検出回路２０２、ベストショット検出回路２０３をスイッチ２０６で切り替える。撮影モードとしては、本実施の形態では、撮影モードＡ（例えばスポーツモード）、撮影モードＢ（例えばポートレートモード）、撮影モードＣ（例えば夜景モード）が挙げられ、撮影モード情報は、これらのモードを示す情報である。

＜本実施の形態の特徴的な動作＞
（Ａ）ベストショット検出部の動作
次に、上記ベストショット検出部１０７の動作について図２を参照して説明する。

図２は、ベストショット検出部１０７の動作を示すフローチャートである。

まずステップＳ２０１において、ベストショット制御部２０４は、操作部１２１から撮影モード情報を取得し、次のステップＳ２０２では、取得した撮影モード情報が撮影モードＡであるか否かを判断する。撮影モードＡであった場合には、ベストショット制御部２０４はスイッチ２０６をベストショット検出回路２０１に切り替え、ステップＳ２０３においてベストショット検出回路２０１によりベストショット画像を検出する。例えば、撮影モードＡがスポーツモードであった場合には、被写体の全身が写っており、ブレが無い画像をベストショット画像として検出する。

ステップＳ２０３の処理後は、ステップＳ２０４へ進む。またステップＳ２０２において、取得した撮影モード情報が撮影モードＡでなかった場合には、前記ステップＳ２０３をスキップしてステップＳ２０４へ進む。

ステップＳ２０４において、ベストショット制御部２０４は、取得した撮影モード情報が撮影モードＢか否かを判断する。撮影モードＢであった場合には、ベストショット制御部２０４はスイッチ２０６をベストショット検出回路２０２に切り替え、ステップＳ２０５においてベストショット検出回路２０２によりベストショット画像を検出する。例えば、撮影モードＢがポートレートモードであった場合には、被写体の全身が写っており、被写体の顔が正面を向いており、被写体の顔の笑顔指数が高い画像をベストショット画像として検出する。

ステップＳ２０５の処理後は、ステップＳ２０６へ進む。またステップＳ２０４において、取得した撮影モード情報が撮影モードＢでなかった場合には、前記ステップＳ２０５をスキップしてステップＳ２０６へ進む。

ステップＳ２０６において、ベストショット制御部２０４は、取得した撮影モード情報が撮影モードＣか否かを判断する。撮影モードＣであった場合は、ベストショット制御部２０４はスイッチ２０６をベストショット検出回路２０３に切り替え、次のステップＳ２０７においてベストショット検出回路２０３によりベストショット画像を検出する。例えば、撮影モードＣが夜景モードであった場合には、画像全体が暗くなく、ブレが無い画像をベストショット画像として検出する。

ステップＳ２０７の処理後は、ステップＳ２０８へ進む。またステップＳ２０６において、取得した撮影モード情報が撮影モードＣでなかった場合には、前記ステップＳ２０７をスキップしてステップＳ２０８へ進む。

ステップＳ２０８では、ベストショット検出回路２０１〜２０３において検出されたベストショット画像と、ベストショット画像が得られた際の撮影情報とを撮影履歴情報演算部１１０に出力し、本ベストショット検出部１０７の動作を終了する。撮影情報とは、各ベストショット検出回路２０１〜２０３がベストショット画像を検出する際に用いた情報を示す。例えば、被写体が笑顔である、被写体が画角中央にある、ブレが無い、ピントが合っている等の情報である。

なお、本実施の形態では、動画像データが入力された場合について説明してきたが、入力される画像データは静止画像データでも良い。撮影履歴演算部１１０は、動画像データからベストショット画像が検出された場合と、静止画像データからベストショット画像が検出された場合とで、撮影履歴情報の作成方法を変更する。つまり、ベストショット画像の枚数のカウント方法を切り替える。即ち、動画像データの場合は、各フレームごとにベストショット検出部１０７においてベストショット画像を検出する。よって、動画像データのベストショット画像が検出された場合には、ベストショット枚数について例えば３０カウントを１カウントに変換するなどの処理が可能である。

（Ｂ）撮影履歴情報演算部１１０の動作
撮影履歴情報演算部１１０は、撮影履歴情報記憶部１１１から被写体の前記被写体登録情報を取得する。そして、被写体の被写体登録情報と、ベストショット検出部１０７から供給されるベストショット画像と、その際の撮影情報とから被写体毎の撮影履歴情報テーブルを作成する。この撮影履歴情報テーブルの例を図３に示す。

撮影履歴情報テーブルは、図３に示すように、被写体の識別情報である被写体ＩＤ３０１、被写体の名前３０２、及び被写体の登録顔画像３０３に関連づけて、次のような撮影履歴情報が登録されている。

まず各撮影モード（例えばスポーツモード、ポートレートモード、夜景モード）の選択回数（図３の３０５）が登録されている。さらに、スポーツモードにおいてのブレ無し枚数と画角中央枚数（３０６）、ポートレートモードにおいての笑顔枚数と画角中央枚数（３０７）、及び夜景モードにおいてのブレ無し枚数とフォーカスが合っていた枚数（３０８）が登録されている。加えて、被写体毎の総撮影枚数（図３の３０９）、総撮影枚数における各被写体の撮影比率（３１０）、ベストショット枚数（３１１）、及びベストショット比率（３１２）も登録されている。ベストショット枚数は、被写体毎のベストショット画像の検出枚数であり、ベストショット比率は、被写体の総撮影枚数におけるベストショット画像の比率を示している。

撮影履歴情報演算部１１０は、撮影履歴情報テーブルを撮影履歴情報記憶部１１１へ出力し、撮影履歴情報記憶部１１１は、この撮影履歴情報テーブルを記憶する。

（Ｃ）撮影履歴情報の表示例
表示部１０８（撮影履歴表示手段の一例）は、撮影履歴情報記憶部１１１に記憶されている撮影履歴情報を表示する。その表示例を図４（ａ），（ｂ）及び図５（ａ），（ｂ）に示す。

図４（ａ）に示す表示例では、被写体ａの顔領域４０１を顔認識部１０６において顔認識し、撮影履歴情報記憶部１１１に記憶されている撮影履歴情報テーブルから被写体ａの撮影履歴情報４０２を画面右下に表示した例を示している。この図４（ａ）の表示例は、撮影時、つまり例えば撮影者が被写体を撮影している時に表示されるものとする。

図４（ｂ）に示す表示例では、撮影した総撮影枚数に対する被写体毎のベストショット比率を円グラフで表示する例を示している。この図４（ｂ）の表示例は、電源起動時、つまり例えば撮影者がビデオカメラの電源を入れた時、もしくは撮影モードの切り替え時、つまり操作部１２１からベストショット比率画面を選択した場合に表示されるものとする。

図５（ａ）に示す表示例では、被写体ａの総撮影枚数に対するベストショット画像、笑顔、ブレなしなどの比率を棒グラフで表示する例を示している。図５（ａ）の表示例は、例えばビデオカメラの電源を入れた時、顔認識部１０６において被写体の顔を認識した時、もしくは操作部１２１において撮影履歴画面が選択された時に表示されるものとする。

図５（ｂ）に示す表示例では、被写体ａ、ｂ、ｃのベストショット枚数の時間的変化を表示する例を示している。図５（ｂ）の表示例は、例えばビデオカメラの電源を入れた時、もしくは操作部１２１においてベストショット枚数の時間変化画面が選択された時に表示されるものとする。

＜本実施の形態に係る利点＞
本実施の形態によれば、被写体毎のベストショット枚数やベストショット比率などのベストショット画像に関する情報を含む撮影履歴情報を表示するようにした。これにより、ユーザは、撮像装置の撮影履歴の内訳を知ることができ、その情報を次の撮影に活かすことができる。特に、ユーザはベストショット画像に関する撮影履歴を知ることができるので、被写体毎のベストショット枚数の調整などを容易に行うことが可能になり、上手な写真を被写体毎均等に撮影することができるようになる。

＜他の実施の形態＞
前述した撮影履歴情報テーブルに基づいて、撮影者に撮影補助情報を表示することも考えられる。例えば、総撮影枚数に対する被写体ａの撮影比率やベストショット比率が少ない時には、「被写体ａをもっと撮影してあげましょう」などのメッセージを表示することが可能である。又は、画角中央の比率が少ない時には、撮影時に「被写体ａを画角中央に入れてください」などのメッセージを表示することが可能である。表示以外にも音声による撮影補助も可能である。

なお、本実施の形態では、デジタルビデオカメラを例にして説明したが、この限りではなく、被写体を撮影する装置、デジタルカメラ等にも適用できることは言うまでもない。

また、本発明の実施の形態における情報処理は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１０５ 画像処理部
１０６ 顔認識部
１０７ ベストショット検出部
１０８ 表示部
１０９ 画像記憶部
１１０ 撮影履歴情報演算部
１１１ 撮影履歴情報記憶部

Claims (11)

1. 撮像画像から特定の被写体を検出する被写体検出手段を有する撮像装置において、
   前記被写体検出手段によって検出された被写体からベストショット画像を検出するベストショット検出手段と、
   前記ベストショット検出手段の検出の結果に応じて、ベストショット画像の枚数を含む被写体毎の撮影履歴情報を作成する撮影履歴作成手段と、
   前記撮影履歴作成手段で作成された被写体毎の撮影履歴情報を記憶する記憶手段と、
   前記記憶手段に記憶された被写体毎の撮影履歴情報を表示する撮影履歴表示手段とを備えたことを特徴とする撮像装置。
2. 前記撮影履歴情報は、ベストショット画像の枚数と共に、ユーザが登録した被写体登録情報、及び総撮影枚数におけるベストショット画像の比率であることを特徴とする請求項１に記載の撮像装置。
3. 複数の撮影モードを設定する手段を有し、
   前記ベストショット検出手段は、前記複数の撮影モードに従ったベストショット画像をそれぞれ検出する複数のベストショット検出部を有し、前記撮影モードに応じて前記複数のベストショット検出部を切り替えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮影履歴表示手段は、前記撮影履歴情報に基づいて撮影補助情報を表示することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記撮影履歴表示手段は、電源起動時、撮影時、又は前記撮影モードの切り替え時に、前記撮影履歴情報を表示することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記撮像画像として動画像データ及び静止画像データを入力する手段を有し、
   前記撮影履歴作成手段は、撮影画像が動画像データであるか静止画像データであるかに応じて、前記撮影履歴情報の作成方法を変更することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記撮影履歴情報の作成方法の変更は、ベストショット画像の枚数のカウント方法を変更することを特徴とする請求項６に記載の撮像装置。
8. 前記ベストショット画像の枚数のカウント方法は、撮影画像が動画像データである場合に、撮影画像が静止画像データである場合よりもベストショット画像の枚数を少なくカウントすることを特徴とする請求項７に記載の撮像装置。
9. 撮像画像から特定の被写体を検出する被写体検出手段を有する撮像装置の情報処理方法であって、
   前記被写体検出手段によって検出された被写体からベストショット画像を検出するベストショット検出工程と、
   前記ベストショット検出工程の検出の結果に応じて、ベストショット画像の枚数を含む被写体毎の撮影履歴情報を作成する撮影履歴作成工程と、
   前記撮影履歴作成工程で作成された被写体毎の撮影履歴情報を記憶する記憶工程と、
   前記記憶工程で記憶された被写体毎の撮影履歴情報を表示する撮影履歴表示工程とを有することを特徴とする撮像装置の情報処理方法。
10. 撮像画像から特定の被写体を検出する被写体検出手段を有する撮像装置の情報処理方法を実行するための、コンピュータで読み取り可能なプログラムであって、
    前記被写体検出手段によって検出された被写体からベストショット画像を検出するベストショット検出工程と、
    前記ベストショット検出工程の検出の結果に応じて、ベストショット画像の枚数を含む被写体毎の撮影履歴情報を作成する撮影履歴作成工程と、
    前記撮影履歴作成工程で作成された被写体毎の撮影履歴情報を記憶する記憶工程と、
    前記記憶工程で記憶された被写体毎の撮影履歴情報を表示する撮影履歴表示工程とを有することを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶する媒体。