JP5267136B2

JP5267136B2 - 電子カメラ

Info

Publication number: JP5267136B2
Application number: JP2009002662A
Authority: JP
Inventors: 知治竹林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-01-08
Filing date: 2009-01-08
Publication date: 2013-08-21
Anticipated expiration: 2029-01-08
Also published as: JP2010161644A

Description

本発明は、動画撮影が行える電子カメラに関する。

従来から、複数のフレームからなる動画を撮影し、その動画に登場する主要な人物をサムネイル画像で判別させる電子カメラが知られている（例えば、特許文献１参照）。

特許文献１の電子カメラは、動画撮影中、撮影画面内において顔領域の検出を行う。そして、特許文献１の電子カメラは、検出された顔領域の大きさが所定の閾値以上である場合、その顔を示すサムネイル画像を作成する。

しかし、特許文献１の電子カメラによれば、「検出された顔領域の大きさが所定の閾値以上である場合」という一過性の高い条件に基づいてサムネイル画像を作成する。そのため、サムネイル画像に現れる人物の顔が、必ずしも主要な登場人物とは限らない。したがって、撮影者の意図とは異なったサムネイル画像が作成されるというおそれが生じる。

そこで、本発明は、上記事情に鑑み、撮影者の意図が反映されやすい動画用のサムネイル画像を作成する電子カメラを提供することを目的とする。

第１の発明に係る電子カメラは、撮像部と、検出部と、識別情報生成部と、抽出部と、選択部と、サムネイル画像作成部とを備える。撮像部は、被写体像を撮像し、動画の撮影時に所定のフレームレートで画像データを生成する。検出部は、フレーム単位で画像データを解析して被写体を検出する。識別情報生成部は、検出部で検出された被写体を分類し、各々の被写体に対応する識別情報を生成する。抽出部は、検出部による被写体の検出に伴って、識別情報で識別された各々の被写体の出現頻度を動画全体に渡って抽出する。選択部は、出現頻度に基づいて、被写体の中から主要被写体を選択する。サムネイル画像作成部は、主要被写体を動画に関連付けて示すサムネイル画像を作成する。さらに、検出部は、被写体として人物の顔を検出する。識別情報生成部は、顔を識別する識別情報を生成する。抽出部は、識別情報で識別された顔が継続的に出現している経過時間が、予め設定された基準時間を経過する毎にカウントする。選択部は、少なくともカウント数が最も多い顔を主要被写体として選択する。

第２の発明に係る電子カメラは、第１の発明において、選択部は、カウント数の多い順に複数の顔を選択し、サムネイル画像作成部は、選択部で選択された複数の顔を動画に関連付けて示すサムネイル画像を作成する。

第３の発明に係る電子カメラは、第２の発明において、サムネイル画像作成部は、選択部で選択された複数の顔のうち、少なくともカウント数が最も多い顔に対して、サムネイル画像内に占める割合を大きくする。

第４の発明に係る電子カメラは、撮像部と、検出部と、識別情報生成部と、抽出部と、選択部と、サムネイル画像作成部とを備える。撮像部は、被写体像を撮像し、動画の撮影時に所定のフレームレートで画像データを生成する。検出部は、フレーム単位で画像データを解析して被写体を検出する。識別情報生成部は、検出部で検出された被写体を分類し、各々の被写体に対応する識別情報を生成する。抽出部は、検出部による被写体の検出に伴って、識別情報で識別された各々の被写体の出現頻度を動画全体に渡って抽出する。選択部は、出現頻度に基づいて、被写体の中から主要被写体を選択する。サムネイル画像作成部は、主要被写体を動画に関連付けて示すサムネイル画像を作成する。さらに、検出部は、被写体として人物の顔を検出する。識別情報生成部は、顔を識別する識別情報を生成する。抽出部は、識別情報で識別された顔が検出された回数をカウントする。選択部は、カウント数の多い順に複数の顔を主要被写体として選択する。サムネイル画像作成部は、選択部で選択された複数の顔を動画に関連付けて示すサムネイル画像を作成し、選択部で選択された複数の顔のうち、少なくともカウント数が最も多い顔に対して、サムネイル画像内に占める割合を大きくする。

本発明の電子カメラによれば、撮影者の意図が反映されやすいサムネイル画像を作成することができる。

電子カメラ１の構成を示すブロック図録画中に人物Ａが出現する時間の一例を示すチャート電子カメラ１の動作の一例を示すフローチャート顔の照合のサブルーチンを示すフローチャートＲＡＭ１２に登録されている顔領域を含む画像データと登録カウンタ値とを概念的に示したイメージ図である。サムネイル画像の一例を示す図

以下、図面に基づいて本発明の実施の形態を詳細に説明する。
（第１実施形態）
図１は、電子カメラ１の構成を示すブロック図である。図１に示す通り電子カメラ１は、撮影レンズ１０と、撮像部１１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３と、表示モニタ１４と、レリーズ釦１５と、操作部１６と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１７と、記録インターフェース（記録Ｉ／Ｆ）１８と、バス１９と、記録媒体２０とを備える。

このうちＲＡＭ１２、ＲＯＭ１３、表示モニタ１４、ＣＰＵ１７及び記録インターフェース（記録Ｉ／Ｆ）１８は、バス１９を介して互いに接続されている。また、レリーズ釦１５と操作部１６とは、ＣＰＵ１７に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。

撮像部１１は、レンズ駆動機構、絞り、シャッター機構、撮像素子、ＡＦＥ（アナログフロントエンド）等からなる。この撮像部１１は、撮影レンズ１０が結像した被写体像の画像データを生成する。撮像部１１は、静止画の撮影時には、記録用の静止画像の画像データを生成する。また、撮像部１１は、動画の撮影時には、所定のフレームレートで複数のフレームの動画像データを順次生成する。

撮像部１１が出力する画像データは、ＲＡＭ１２に一時的に記録される。このＲＡＭ１３は、フレームメモリとしても機能する。ＲＯＭ１３は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。

表示モニタ１４は、静止画像、動画像及び電子カメラ１の操作メニュー等を表示する。表示モニタ１４には、液晶モニタ等を適宜選択して用いることができる。

レリーズ釦１５は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）等の動作開始の指示入力）と全押し操作（撮像動作開始）との指示入力とを受け付ける。

記録インターフェース（記録Ｉ／Ｆ）１８には、記録媒体２０を接続するためのコネクタが形成されている。記録インターフェース（記録Ｉ／Ｆ）１８は、ＣＰＵ１７からの指示により、そのコネクタに接続された記録媒体２０にアクセスして画像の記録処理を行う。

操作部１６は、例えば、コマンドダイヤル、十字状のカーソルキー、電源ボタン等を有している。そして、操作部１６は、電子カメラ１への操作をユーザから受け付ける。

ＣＰＵ１７は、電子カメラ１の統括的な制御を行うプロセッサである。また、ＣＰＵ１７は、画像処理機能も有しており、ＲＡＭ１２に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。

ＣＰＵ１７は、顔検出部１７ａ、識別情報生成部１７ｂ、追尾部１７ｃ、抽出部１７ｄ、顔照合部１７ｅ、選択部１７ｆ、サムネイル画像作成部１７ｇ及びタイマ１７ｈとしても機能する。

顔検出部１７ａは、フレーム単位で画像データを解析して人物の顔を検出する。すなわち、画像データから顔領域を抽出し、その顔領域の位置座標、サイズ（範囲）を検出する。なお、顔検出の処理は、公知の技術を用いることにより実現できる。

識別情報生成部１７ｂは、顔検出部１７ａで検出された顔を分類し、各々の被写体に対応する識別情報を生成する。識別情報としては、例えば、番号（自然数）が用いられる。

追尾部１７ｃは、公知のテンプレートマッチング技術を用いることにより、識別情報で識別された顔が継続的にフレーム間で出現しているか否かを追尾する。

抽出部１７ｄは、顔検出部１７ａによる顔検出に伴って、顔の出現頻度を抽出する。抽出部１７ｄは、検出対象の顔の出現頻度をカウントするカウンタ（以下「一時カウンタ」という。）を備える。そして、抽出部１７ｄは、一時カウンタを用いて、識別情報で識別された顔が継続的に出現している経過時間が、予め設定された基準時間を経過する毎にカウントする。或いは、別のカウントの方法として、抽出部１７ｄは、一時カウンタを用いて、識別情報で識別された顔が検出された回数をカウントする。本実施形態では、前者を採用する。

顔照合部１７ｅは、経過時間が基準時間以上（一時カウンタの値が１以上）であって、顔が新規に検出された場合、顔領域を含む画像データをＲＡＭ１２のデータ保存領域に記録（登録）する。そして、顔照合部１７ｅは、検出対象の顔が、ＲＡＭ１２のデータ保存領域に登録されている顔と一致するか否かを照合する（詳細については後述する）。

選択部１７ｆは、少なくともカウント数が最も多い顔を主要被写体として選択する。この際、例えば、選択部１７ｆは、カウント数の多い順に複数の顔を選択してもよい。そのため、主要被写体は、１つだけに限らず複数存在してもよい。

サムネイル画像作成部１７ｇは、主要被写体が映っている画像を用いて、縮小画像であるサムネイル画像を作成する。この際、サムネイル画像作成部１７ｇは、主要被写体を動画に関連付けて示すサムネイル画像を作成する。また、サムネイル画像作成部１７ｇは、選択部１７ｆで選択された複数の顔を示すサムネイル画像を作成してもよい。さらに、サムネイル画像作成部１７ｇは、選択部１７ｆで選択された複数の顔のうち、少なくともカウント数が最も多い顔に対して、サムネイル画像内に占める割合を大きくしてもよい。

タイマ１７ｈは、識別情報で識別された顔が継続的に出現している経過時間を計測する。この場合、複数の顔が検出されると、各々の識別情報で識別された顔に対して、個別に計測する。

次に、第１実施形態における電子カメラ１の動作の一例を説明する。

第１実施形態では、説明を分かりやすくするため、人物Ａが不定期に一定時間毎に出現する場合について主に説明し、複数の人物が登場した場合については、適宜、説明を加えることとする。

図２は、録画中に人物Ａが出現する時間の一例を示すチャートである。図２に示すチャートを前提にして、電子カメラ１の動作の一例を説明する。

図３は、電子カメラ１の動作の一例を示すフローチャートである。電子カメラ１の電源がオンされた後、操作部１６のコマンドダイヤル等で動画撮影（録画）が選択されると、ＣＰＵ１７は、動画の録画を開始させる。撮像部１１は、ＣＰＵ１７の指示を受け、被写体像を撮像し、所定のフレームレートで画像データを生成する。すると、ＣＰＵ１７は、図３に示すフローチャートを開始させる。

ステップＳ１０１：ＣＰＵ１７の顔検出部１７ａは、１フレームの画像内に人物の顔が存在するか否かを検出する。なお、顔検出部１７ａは、すべてのフレームについて顔検出処理を行ってもよいが、ここでは、ＣＰＵ１７の演算の負荷を考慮して、例えば、フレームレートが３０ｆｐｓ（フレーム／秒）であれば、顔検出部１７ａは、何フレーム毎に抽出したフレームの画像データに対して、顔検出処理を行う。

ステップＳ１０２：顔検出部１７ａが、顔の検出をできなかった場合（ステップＳ１０２：Ｎｏ）、後述するステップＳ１０８の処理に移行する。一方、顔検出部１７ａが、顔の検出をできた場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。

ここで、識別情報生成部１７ｂは、顔検出部１７ａで検出された顔を分類し、各々の顔を識別する識別情報を生成する。ＣＰＵ１７は、顔検出部１７ａで検出された顔と識別情報とを関連付けて管理する。例えば、ＣＰＵ１７は、顔検出部１７ａで検出された顔（人物Ａ）に対して、識別情報（Ｎｏ．１）を付与して関連付ける。これにより、図３に示すフローチャートは、識別情報（Ｎｏ．１）で関連付けられた顔（人物Ａ）についての処理が行われるものとする。

また、顔検出部１７ａが、複数の顔（例えば、人物Ａ、Ｂ）を検出した場合、ＣＰＵ１７は、人物Ｂに対して、例えば、識別情報（Ｎｏ．２）を付与して関連付ける。すると、ＣＰＵ１７は、人物Ｂについても図３に示すフローチャートに示す処理を平行して行う。すなわち、複数の人物を検出しても、個別に図３に示すフローチャートが実行され、各々の処理は同様である。ただし、録画が終了すると、後述するステップＳ１１０、ステップＳ１１１については、個別に行わずに一括して行うこととする。

ステップＳ１０３：ＣＰＵ１７は、ステップＳ１０２で検出された顔（識別情報Ｎｏ．１）が、現在、追尾中であるか否かを判定する。この場合、ＣＰＵ１７は、追尾中であるか否かを示す追尾開始フラグを用いて判定する。追尾開始フラグが０の場合、追尾中でないことを表し、追尾開始フラグが１の場合、追尾中であることを表すものとする。追尾開始フラグが１の場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。追尾開始フラグが０の場合（ステップＳ１０３：Ｎｏ）、ステップＳ１１２の処理に移行する。ここでは、説明の便宜上、先に、ステップＳ１１２の処理、それに続くステップＳ１０８の処理について説明する。

ステップＳ１１２：ＣＰＵ１７は、顔検出部１７ａが検出した顔領域の位置座標、サイズ（範囲）を、一時データとしてＲＡＭ１２に記録する。また、顔領域を含む画像データをトリミング等して、一時データとして記録する。さらに、抽出部１７ｄは、一時カウンタに初期値（＝０）を設定する。この一時カウンタは、現在検出対象の顔の出現時間をカウンタ値に置き換えてカウントする。さらに、ＣＰＵ１７は、追尾開始フラグを１に設定する。すると、タイマ１７ｈがＯＮされる。ここで、図２に対応付けると、人物Ａに関して１回目の出現の開始（追尾開始）時点に相当する。

なお、本実施形態では、識別情報で識別された顔が継続的に出現している経過時間が、予め設定された基準時間に達する毎に、カウンタ値を１加えることとする。このステップＳ１１２の処理が終了すると、ステップＳ１０８に移行する。

ステップＳ１０８：ＣＰＵ１７は、録画終了の指示入力を受け付けたか否かを判定する。ＣＰＵ１７が、録画終了の指示入力を受け付けた場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９に移行する。このステップＳ１０９以降の処理については、後述する。ＣＰＵ１７が、録画終了の指示入力を受け付けていない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０１に戻る。ステップＳ１０１では、次の顔検出対象のフレームが読み出される。そして、顔検出処理がなされる。ここで、顔が検出されると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。この場合、先ほど、ステップＳ１１２にて、追尾フラグが１に設定されたため、ＣＰＵ１７は、追尾中であると判定し（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。

ステップＳ１０４：追尾部１７ｃは、今回、検出された顔の画像データと、ＲＡＭ１２に一時データとして記録されている識別情報（Ｎｏ．１）が付与されている顔の画像データとをテンプレートマッチングを行う。すなわち、追尾部１７ｃは、識別情報（Ｎｏ．１）が付与されている顔の画像をテンプレート画像とし、今回、検出された顔の画像データを含むフレームの画像内における検出対象領域を探索する。

ステップＳ１０５：ＣＰＵ１７は、テンプレートマッチングの判定を行う。テンプレートマッチングの探索範囲内で一致した場合（ステップＳ１０５：Ｙｅｓ）、顔領域の座標が移動していれば、現在の顔領域の座標を更新し、次回は、この更新した座標から探索する。テンプレートマッチングの探索範囲内で一致しない場合（ステップＳ１０５：Ｎｏ）、後述するステップＳ１１３に移行する。

ステップＳ１０６：抽出部１７ｄは、識別情報（Ｎｏ．１）で識別された顔が継続的に出現している経過時間が、基準時間（一例として、Ｎ＝５秒）に達したか否かを判定する。経過時間が５秒に達した場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。経過時間が５秒に達していない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０８に移行する。

ステップＳ１０７：抽出部１７ｄは、一時カウンタ値を１加算する。なお、録画中において、ステップＳ１０１からステップＳ１０８をループする処理がなされることにより、抽出部１７ｄは、経過時間が基準時間に達する毎に、一時カウンタ値を１加算する。ここで、図２に対応付けると、人物Ａに関して１回目に出現している時間（矢印で明示した期間）に相当する。

ここで、ステップＳ１０１からステップＳ１０８をループする処理がなされている最中に、追尾部１７ｃが、追尾に失敗すると（ステップＳ１０５：Ｎｏ）、ステップＳ１１３に移行する。ここで、図２に対応付けると、人物Ａに関して１回目に出現している時間（矢印で明示した期間）が終了したことを意味する。

ステップＳ１１３：ＣＰＵ１７は、顔の照合のサブルーチンを実行する。この顔の照合のサブルーチンは、識別情報で識別された人物の顔と登録人物の顔との照合を行い、登録人物の顔毎に、一時カウンタ値を加算する処理を行う。

図４は、顔の照合のサブルーチンを示すフローチャートである。

ステップＳ２０１：ＣＰＵ１７は、一時カウンタ値が１以上であるか否かをチェックする。一時カウンタ値が１以上である場合、ステップＳ２０２に移行する。一時カウンタ値が、０である場合、後述するステップＳ２０６に移行する。ここで、「一時カウンタ値が１以上である」とは、検出対象として識別情報で識別された人物の顔が、追尾開始から追尾に失敗するまでＮ秒（本実施形態では、Ｎ＝５）以上出現していたことを意味する。

また、「一時カウンタ値が０である」とは、検出対象として識別情報で識別された人物の顔が、追尾開始から追尾に失敗するまでＮ秒（本実施形態では、Ｎ＝５）未満であったことを意味する。本実施形態では、追尾開始から追尾に失敗するまでＮ秒（本実施形態では、Ｎ＝５）未満という短期間の出現時間をカウントしないこととする。

ステップＳ２０２：ＣＰＵ１７の顔照合部１７ｅは、ＲＡＭ１２に一時データとして記録されている顔の画像データ（識別情報Ｎｏ．１）と、登録済みの顔の画像データとを公知の顔認識処理を行うことにより照合する。すなわち、顔照合部１７ｅは、テンプレートマッチング等の顔認識処理を行い、顔の画像データ（識別情報Ｎｏ．１）と、登録済みの顔の画像データとを照合する。

ステップＳ２０３：顔照合部１７ｅは、顔の画像データ（識別情報Ｎｏ．１）が、登録済みの顔の画像データに存在しなければ、新規と判定し（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４に移行する。顔照合部１７ｅは、顔の画像データ（識別情報Ｎｏ．１）が、登録済みの顔の画像データに存在すれば、登録済みと判定し（ステップＳ２０３：Ｎｏ）、後述するステップＳ２０６に移行する。

ステップＳ２０４：ＣＰＵ１７は、登録カウンタ値として、一時カウンタ値をＲＡＭ１２のデータ保存領域に記録する。ここで、登録カウンタ値は、一時カウンタ値の加算値を意味する。

ステップＳ２０５：ＣＰＵ１７は、顔の画像データ（識別情報Ｎｏ．１）を登録する。具体的には、ＣＰＵ１７は、顔領域を含む画像データ（一時データ）を、ＲＡＭ１２のデータ保存領域に記録する。そして、サブルーチンを終了し、図３のステップＳ１１４の処理に移行する。ステップＳ１１４では、ＣＰＵ１７は、一時データとして記録されている顔の画像データ（識別情報Ｎｏ．１）を破棄する。続いて、ステップＳ１１５では、ＣＰＵ１７は、識別情報Ｎｏ．１についての一時カウンタ値及び追尾開始フラグを０に設定する。さらに、ＣＰＵ１７は、識別情報Ｎｏ．１について計測中のタイマ１７ｈをオフにする。

次に、ステップＳ２０６の処理について、説明する。ステップＳ２０６に移行するためには、その前提条件として、以下の処理がなされる。すなわち、先ず、上述した新規登録の処理（ステップＳ２０１〜ステップＳ２０５）がなされ、一旦、図３のステップＳ１１４に戻り、ステップＳ１１５、ステップＳ１０８を経由して、再度ステップＳ１０１の処理が開始される。

ここで、再度、人物の顔検出がなされると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。ステップＳ１０３では、追尾フラグが０に設定されているので、ステップＳ１１２に移行する。そして、顔の画像データが、一時データとしてＲＡＭ１２に一時記録される。ここで、図２に対応付けると、人物Ａに関して２回目の出現の開始に相当する。

ＣＰＵ１７は、顔検出部１７ａで検出された顔に対して、識別情報を生成して関連付ける。この際、識別情報生成部１７ｂは、顔検出部１７ａで検出された顔に対して、例えば、識別情報Ｎｏ．３を生成する。ＣＰＵ１７は、現在使用していない識別情報であれば、任意の識別情報を生成してよい。すなわち、識別情報生成部１７ｂは、同一人物が、録画中に複数回に渡って出現した場合、異なる識別情報を生成することがある。したがって、図３に示すフローチャートの処理においては、ＣＰＵ１７は、同一人物を、複数の識別情報で関連付けることがある。この場合、人物Ａの顔に対して、複数の識別情報が付与されても、最終的に登録されている人物Ａの顔と照合されて同一人物として処理されることになる（詳細は後述する）。

続いて、ＣＰＵ１７は、追尾開始フラグを１に設定する。そして、ステップＳ１０８を経由して、再度、ステップＳ１０１〜Ｓ１０３の処理に移行し、ステップＳ１０３にて、追尾フラグが１であるので、ステップＳ１０４に移行する。さらに、ステップＳ１０５にて、追尾に失敗した場合（ステップＳ１０５：Ｎｏ）、ステップＳ１１３に移行し、再度、図４に示すサブルーチンが実行される。ここで、図２に対応付けると、人物Ａに関して２回目に出現している時間が終了したことを意味する。

ここで、カウンタ値が１以上であれば（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行し、顔認識処理がなされる。この場合、既に、人物Ａの画像データが、ＲＡＭ１２のデータ保存領域に登録されているため、顔照合部１７ｅは、テンプレートマッチングにより、識別情報（Ｎｏ．３）の顔を人物Ａと認識することができる。そのため、ステップＳ２０３の処理で、顔照合部１７ｅは、識別情報（Ｎｏ．３）の顔について新規ではないと判定し（ステップＳ２０１：Ｎｏ）、ステップＳ２０６に移行する。

ステップＳ２０６：ＣＰＵ１７は、現在の一時カウンタ値を、登録カウンタ値に上書きする。ここで、図２に対応付けると、人物Ａに関して、例えば、１回目の一時カウンタ値が２であって、今回の一時カウンタ値が４であったとする。この場合、ＣＰＵ１７は、登録カウンタ値を２から６に上書き（加算）する。そして、ＣＰＵ１７は、サブルーチンを終了し、図３に示すステップＳ１１４の処理に戻る。ＣＰＵ１７は、識別情報（Ｎｏ．３）の顔の画像データ（一時データ）を破棄する。続いて、ステップＳ１１５に移行し、識別情報Ｎｏ．３についての一時カウンタ値及び追尾開始フラグを０に設定する。さらに、ＣＰＵ１７は、識別情報Ｎｏ．３について計測中のタイマ１７ｈをオフにする。

次に、ステップＳ１０８の判定で、録画終了（ステップＳ１０８：Ｙｅｓ）の場合について説明する。この場合、ステップＳ１０９に移行し、顔の照合のサブルーチン（図４）が実行される。ここで、顔の照合のサブルーチンが実行されるのは、ステップＳ１０５の処理の判定で、追尾部１７ｃが追尾に成功し、そのままステップＳ１０６からステップＳ１０８進み、録画が終了になると、顔の照合のサブルーチン（ステップＳ１１３）に移行しないためである。ここで、図２に対応付けると、人物Ａに関してｎ回目に出現している時間が継続しているときに、ステップＳ１０８の処理が録画終了になった場合に相当する。

なお、ステップＳ１１３で既に顔の照合のサブルーチンがなされた後、ステップＳ１０８に移行して録画終了になると、ステップＳ１０９で再度、顔の照合のサブルーチンがなされる。この場合、一時カウンタ値が０であるので、何もせずに顔の照合のサブルーチンは、終了することになる。なお、図３のフローチャートには明示していないものの、ステップＳ１０９の処理の後、ステップＳ１１４、ステップＳ１１５と同様の処理を行ってもよい。

ステップＳ１１０：選択部１７ｆは、登録済みの顔から、主要被写体を選択する。上述した例では、人物Ａについて説明したが、実際には、複数の人物の顔が検出されると、人数分の顔領域を含む画像データと、その画像データに関連付けられた登録カウンタ値とがＲＡＭ１２のデータ保存領域に登録されている。

図５は、ＲＡＭ１２に登録されている顔領域を含む画像データと登録カウンタ値とを概念的に示したイメージ図である。図６は、サムネイル画像の一例を示す図である。

ここで、図２では、人物Ａが出現する時間を示すチャートの一例を示したが、実際には、複数の人物（例えば、人物Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）に対しても、同様のチャートが存在している。図５では、複数の人物（Ａ〜Ｆ）の顔領域を含む画像データが、ＲＡＭ１２のデータ保存領域に登録されたことを表しており、人物Ａ〜Ｆの下に記載されている数字は、登録カウンタ値を表している。ここで、選択部１７ｆは、一例として、登録カウンタ値が４以上の顔を選択する。

ステップＳ１１１：サムネイル画像生成部１７ｇは、選択部１７ｆの選択結果に基づいて、人物Ａ、Ｃ、Ｄ、Ｅの顔が写っているサムネイル画像を生成する（図６（ａ））。こうすると、ユーザは、動画において、上位４人の顔について、「誰と、誰が」が写っているかが分かりやすくなる。また、ユーザは、何を目的に撮影されたのか判断することが容易になる。

また、サムネイル画像生成部１７ｇは、カウント数が最も多い顔として、人物Ａを指定して、サムネイル画像内に占める割合を大きくするようにしてもよい（図６（ｂ））。こうすると、主要人物が誰か、すぐに分かり、ユーザの意図を反映することができる。図５に示すサムネイル画像の画像データは、記録媒体２０に記録される。また、動画データも画像圧縮処理等が施された後、記録媒体２０に記録される。

以上より、本実施形態の電子カメラ１によれば、動画像中の主要な人物を容易に判別することが可能なサムネイル画像を生成することができる。本実施形態の抽出部１７は、一時カウンタを用いて、識別情報で識別された顔が継続的に出現している経過時間が、予め設定された基準時間を経過する毎にカウントするようにした。抽出部１７ｄは、一時カウンタを用いて、識別情報で識別された顔が検出された回数をカウントするようにしても、同様の効果が得られる。

なお、本実施形態では、検出対象の被写体としては、人の顔に限られず、例えば、山などの風景であってもよい。この場合、形状認識ができる公知技術等を用いて、山を判定すればよい。また、人や山など、被写体の対象を拡げてもよい。こうすると、主要被写体を人に限らずに済むので、より正確に撮影者の意図を反映したサムネイル画像を作成することができる。また、別の形態としては、追尾動作は行わず、フレーム毎に顔検出及び顔認識を行い、同一人物を検出毎にカウントしてもよい。本実施形態では、フレーム毎に顔検出のみで、顔認識を行わずに済むアルゴリズムを採用したことにより、ＣＰＵ１７の処理の負荷が軽減することとなる。

また、本実施形態では、録画終了時にサムネイル画像を生成したが、動画を再生した際に、サムネイル画像を作成するようにしてもよい。

また、本実施形態では、顔検出された顔の領域を含む画像データが、最初に一時データとして記録された画像データに基づいて、サムネイル画像を生成したが、これは、一例であって、最初に一時データとして記録された画像データでなくてもよい。

１１・・・撮像部、１７ａ・・・顔検出部、１７ｂ・・・識別情報生成部、１７ｄ・・・抽出部、１７ｆ・・・選択部、１７ｇ・・・サムネイル画像作成部

特開２００７−２６６６５５号公報

Claims

被写体像を撮像し、動画の撮影時に所定のフレームレートで画像データを生成する撮像部と、
フレーム単位で前記画像データを解析して被写体を検出する検出部と、
前記検出部で検出された前記被写体を分類し、各々の被写体に対応する識別情報を生成する識別情報生成部と、
前記検出部による前記被写体の検出に伴って、前記識別情報で識別された各々の前記被写体の出現頻度を動画全体に渡って抽出する抽出部と、
前記出現頻度に基づいて、前記被写体の中から主要被写体を選択する選択部と、
前記主要被写体を前記動画に関連付けて示すサムネイル画像を作成するサムネイル画像作成部と、を備え、
前記検出部は、前記被写体として人物の顔を検出し、
前記識別情報生成部は、前記顔を識別する識別情報を生成し、
前記抽出部は、前記識別情報で識別された顔が継続的に出現している経過時間が、予め設定された基準時間を経過する毎にカウントし、
前記選択部は、少なくともカウント数が最も多い顔を前記主要被写体として選択することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記選択部は、前記カウント数の多い順に複数の顔を選択し、
前記サムネイル画像作成部は、前記選択部で選択された複数の顔を前記動画に関連付けて示すサムネイル画像を作成することを特徴とする電子カメラ。
請求項２に記載の電子カメラにおいて、
前記サムネイル画像作成部は、前記選択部で選択された複数の顔のうち、少なくともカウント数が最も多い顔に対して、前記サムネイル画像内に占める割合を大きくすることを特徴とする電子カメラ。
被写体像を撮像し、動画の撮影時に所定のフレームレートで画像データを生成する撮像部と、
フレーム単位で前記画像データを解析して被写体を検出する検出部と、
前記検出部で検出された前記被写体を分類し、各々の被写体に対応する識別情報を生成する識別情報生成部と、
前記検出部による前記被写体の検出に伴って、前記識別情報で識別された各々の前記被写体の出現頻度を動画全体に渡って抽出する抽出部と、
前記出現頻度に基づいて、前記被写体の中から主要被写体を選択する選択部と、
前記主要被写体を前記動画に関連付けて示すサムネイル画像を作成するサムネイル画像作成部と、を備え、
前記検出部は、前記被写体として人物の顔を検出し、
前記識別情報生成部は、前記顔を識別する識別情報を生成し、
前記抽出部は、前記識別情報で識別された顔が検出された回数をカウントし、
前記選択部は、カウント数の多い順に複数の顔を前記主要被写体として選択し、
前記サムネイル画像作成部は、前記選択部で選択された複数の顔を前記動画に関連付けて示すサムネイル画像を作成し、前記選択部で選択された複数の顔のうち、少なくともカウント数が最も多い顔に対して、前記サムネイル画像内に占める割合を大きくすることを特徴とする電子カメラ。