JP5454391B2 - 画像処理装置 - Google Patents

Description

本発明は、人物を撮影した動画像データのタイトルを自動的に作成する画像処理装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラにおいて、撮像データ中の被写体となる人物の顔を検出する、いわゆる顔検出技術を応用した技術の開発が盛んに行われている。
例えば、特許文献１には、顔検出技術を利用し、撮像データ中の被写体となっている人物を特定し、その人物と対応付けられた名前、愛称等のメタデータを再生時にその人物とあわせて表示する撮像装置が記載されている。
また、特許文献２には、顔検出技術を利用し、撮像データ中の被写体となっている人物が撮影されている累積時間をディスプレイ上に提示できる撮像装置が記載されている。

特開２００９−１１０１４７号公報 特開２０１０−４３５７号公報

ところで、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、撮影された撮像データがどのような内容であったかをユーザが把握するには、ユーザは撮像データを視聴して内容を都度確認しなければならないという問題があった。
この問題の解決手段として、ユーザが撮像データの内容を把握するのを容易にするために、記録されている撮像データをサムネイル表示形式で一覧表示する技術が広く一般的に用いられている。

しかし、撮像データが動画であった場合、サムネイル表示形式においては、冒頭のシーンの静止画が表示画像として用いられる等、必ずしもその撮像データの内容を象徴したシーンが表示されているとは限らないため、依然としてユーザはその撮像データを視聴して内容を確認する必要があった。
また、ユーザは撮像データの内容を象徴したタイトルをメタデータやファイル名として、その撮像データに付す編集作業を行う必要があるが、上述の通り内容を確認する手間を要する上、その編集作業そのものも手間となっている問題があった。

本発明はこのような問題点に鑑みてなされたものであり、ユーザが撮像データを再生、視聴して内容を確認することなく、その撮像データの内容をタイトルから容易に把握することができる画像処理装置を提供することを目的とする。
また、撮像データの内容を象徴したタイトルを自動的に付すことで、ユーザの編集の手間を軽減することができる画像処理装置を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、予め登録された一又は複数の人物の登録顔画像データと、当該人物の属性データとを対応付けて記憶する記憶部（４０）と、撮像データ内の一又は複数の顔画像データを検出する顔検出部（３０１）と、前記顔検出部が検出した前記顔画像データと、前記記憶部に記憶された前記各人物の登録顔画像データとに基づいて相似度を算出し、前記相似度が所定の閾値を上回ると判定した場合には前記顔検出部が検出した前記各顔画像データは前記記憶部に登録された当該人物のものであるとの認識をする顔認識部（３０２）と、撮像データの一画面内または連続して撮影した時間内の複数の画面から前記顔認識部により認識された前記人物のうち、主に撮影されている人物であると判断される所定の判定基準を満たす人物を一又は複数決定する計測部（３０３）と、前記所定の判定基準を満たす人物が一人である場合には、当該人物の前記属性データを前記記憶部から読み出し、少なくとも当該属性データを含むタイトルを前記撮影データのタイトルとして作成し、前記所定の判定基準を満たす人物が複数である場合には、当該複数の人物の前記属性データを前記記憶部から読み出し、少なくとも当該複数の属性データに共通して含まれるデータを含むタイトルを前記撮影データのタイトルとして作成するタイトル作成部（３０４）とを備えることを特徴とする画像処理装置を提供する。

本発明の画像処理装置によれば、顔検出の結果を利用したタイトルを撮像データに自動的に付すことができるため、ユーザは撮像データを視聴して内容を確認することなく、その撮像データの内容を把握することができる上、タイトルの編集作業にともなう手間を大幅に減らすことができる。

本発明の画像処理装置の一実施形態を示すブロック図である。 本発明の顔画像データ登録の処理を説明するためのフローチャートである。 図１に示す撮像装置の顔登録処理に用いられる画面を説明するための図である。 図１に示す撮像装置の顔登録を行う際に用いられる画面を説明するための図である。 図１に示す撮像装置のイベント情報登録処理を行う際のカレンダー表示に用いられる画面を説明するための図である。 図１に示す撮像装置のイベント情報登録を行う際に用いられる画面を説明するための図である。 本発明において現在撮影中の撮像データのタイトルの作成処理を説明するためのフローチャートである。 図１に示す撮像装置の計測部３０３による人物毎の顔認識時間の計測を概略的に示す図である。 図１に示す撮像装置の計測部３０３による計測の積算結果を概略的に示す図である。 図１に示す撮像装置の計測部３０３による積算結果と予め設定した閾値との比較を概略的に示す図である。 図１に示す撮像装置の計測部３０３による積算結果と予め設定した閾値との比較の結果、複数名の積算結果が閾値を越えている場合を概略的に示す図である。 本発明において過去に撮影された撮像データのタイトルの作成処理を説明するためのフローチャートである。 図１に示す撮像装置により撮影した撮像データを一覧表示した場合の表示例を示す図である。

以下に、本発明に係る画像処理装置の実施形態として、撮像装置を例に挙げて説明する。

図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の構成例を示すブロック図である。
撮像装置１を用いた撮影は以下の手順で行われる。撮像素子１１が撮像光学系１０を通過した光を光電変換して被写体のアナログ撮像信号を生成する。アナログ信号処理部１３がアナログ撮像信号を増幅した後、Ａ／Ｄ変換器１４がその増幅された信号をデジタル撮像データに変換し、内蔵メモリ１５がその変換データを記録する。

顔検出制御部３０はＣＰＵ２０及び顔登録メモリ４０と接続されており、後述する撮像データ中の顔画像の検出やタイトルの作成等の処理を行う。イベント情報登録メモリ４１と接続されたカレンダー機能付き時計４２は撮像データのタイトルに付す日時等の情報を生成する。
内蔵メモリ１５、ＣＰＵ２０、音声・画像処理部５０、ＨＤＤ Ｉ／Ｆ５２、カードＩ／Ｆ５４及び入出力Ｉ／Ｆ５５はデータバス４３に接続されている。

液晶モニタ５６、スピーカ５７、操作部５８及び入出力端子５９は入出力Ｉ／Ｆ５５に接続されている。液晶モニタ５６は、撮像データに応じた再生画像やデジタルビデオカメラの各種設定を変更するための設定画像等を表示する。その設定画面には、後述する顔画像データを登録するための画像及び撮像データを一覧表示する画像が含まれる。

操作部５８は、入力ボタンや録画ボタン等を備えている。ユーザは操作部５８を使って、撮像装置１の各種処理の開始指示、終了指示、及び別の処理への切り替え等を行う。例えば、ユーザは顔画像データの登録処理、顔認識撮像処理、ファイル名自動作成処理等に入力ボタンを使用する。また、ユーザは撮影の開始、終了の指示に録画ボタンを使用する。
入出力端子５９は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

音声・画像処理部５０は、所定のフォーマットに従ってデジタル撮像信号及びデジタル音声信号をデータ圧縮処理した後、メタデータと関連付けた記録データを生成する。また、音声・画像処理部５０は、圧縮処理したデータをＨＤＤ Ｉ／Ｆ５２を通してＨＤＤ５１に記録したり、ＨＤＤ５１から読み出したデータを復号したりする処理を行う。

さらに、音声・画像処理部５０は、例えば、内蔵メモリ１５から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ２０の指示を受けて、音声・画像処理部５０は、各種処理のための画像データを生成し、その画像データを内蔵メモリ１５から読み出されたオリジナルの撮像データに重畳させて液晶モニタ５６に出力する。この出力によって、液晶モニタ５６に表示される画像は各種画像データが合成されたものとなる。
例えば、ユーザが顔画像検出処理を実行した場合、音声・画像処理部５０はマーク画像を生成し、検出された顔画像領域の近傍にそのマーク画像を重畳して、表示画像として液晶モニタ５６に出力する。

以下、撮像装置１の各種処理を説明する。
＜顔画像データの登録処理＞
ユーザが新たな人物の顔画像を登録したい場合は、操作部５８の入力ボタンで顔画像登録を行うモードを指定する。ＣＰＵ２０は、ユーザが顔画像登録を行うモードを指定したと判断すると顔画像データの登録処理を開始する。以下、図２に示すフローチャートにもとづき、撮像装置１が行う顔画像データの登録処理の例を説明する。

液晶モニタ５６は「登録したい人物を撮影してください」という指示を表示する（ステップＳ１１）。ステップＳ１１の液晶モニタの表示に従って、ユーザは登録したい人物の撮影を開始する（ステップＳ１２）。
ＣＰＵ２０からの指示を受けて、顔検出制御部３０の顔検出部３０１は、内蔵メモリ１５から読み出したデジタル撮像データをもとに、撮影画像中の顔画像領域を検出する（ステップＳ１３）。

顔検出部３０１は、デジタル撮像データの特徴点から被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３０１は、特開平２００１−１６５７３号公報等に記載された特徴点抽出処理によって顔画像領域を検出する。特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、顔頂点や顎の下端点等が用いられる。
なお、顔検出部３０１が顔画像領域の特定に用いるアルゴリズムは上述したものに限定されず、任意のアルゴリズムを用いることができる。

顔検出部３０１が撮影画像中の顔画像領域を検出すると、音声・画像処理部５０が、ＣＰＵ２０からの指示により、上記特定した顔画像領域の近傍にマーク画像をオリジナルの撮像データの画像に重畳した新たな画像データを生成し、それに応じた画面を液晶モニタ５６に表示する（ステップＳ１４）。

具体例として、液晶モニタ５６には、図３に示す画像２００が表示される。顔検出部３０１が顔画像領域を検出すると、音声・画像処理部５０は、ＣＰＵ２０からの指示により、顔画像領域の近辺にマーク画像２０１を点滅表示するとともに、「登録する」「登録しない」の選択画像２０２を表示する（ステップＳ１４）。ユーザは、マーク画像が付された顔画像が登録したい人物のものである場合には、操作部５８の入力ボタンで「登録する」を選択する（ステップＳ１５のＹＥＳ）。

ＣＰＵ２０からの指示を受けて、顔検出部３０１は、点滅中のマーク画像に対応した顔画像領域内の顔の特徴点に基づく顔画像データを抽出し、それに基づいて登録顔画像データを生成する（ステップＳ１６）。
例えば、顔検出部３０１は検出した顔画像領域内の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離等から顔画像データを抽出し、登録人物の登録顔画像データを生成する。

ユーザが選択画面２０２で「登録しない」を選択した場合（ステップＳ１５のＮＯ）は、ステップＳ１１に戻る。

顔認識部３０２は、予め決められた一定の基準に基づいて、上記生成した登録顔画像データが認識に十分なデータであるか否かを判断する。十分なデータであると判断すると、液晶モニタ５６は登録顔画像データの生成が完了した旨を表示する（ステップＳ１７）。例えば、図４に示すように、液晶モニタ５６は、「登録ＯＫ」という画像２０３を液晶モニタ５６に表示する。

登録顔画像データの生成が完了すると、撮像装置１は自動的に人物の撮影を終了する（ステップＳ１８）。

撮影が終了すると、液晶モニタ５６は「名前を入力してください」という指示を表示する（ステップＳ１９）。ステップＳ１９の液晶モニタの表示に従って、ユーザは、操作部５８の入力ボタンを使用して名前を入力する（ステップＳ２０）。
顔検出部３０１が生成した登録顔画像データは、ステップＳ２０で入力された名前と対応づけられて、顔登録メモリ４０に記録される。

登録顔画像データ及び名前の記録が完了すると、液晶モニタ５６は顔画像登録を行うモードを終了する旨を表示し（ステップＳ２１）、撮像装置１は顔画像データの登録処理を終了する。

上述したように撮像装置１によれば、デジタル撮像データから自動的に顔画像を検出して、その登録顔画像データを生成し、それと入力された名前データとを自動的に関連付けて登録する。そのため、登録顔画像データの登録を簡単な操作で容易に行うことができる。

上述した顔画像データの登録処理の例では、登録顔画像データと対応付けて記録されるのは人物の名前であったが、人物の名前だけでなく愛称、生年月日、性別、或いはその人物の所属する団体の名称等を属性データとして入力できるようにし、登録顔画像データと対応して記録できるようにしてもよい。

＜イベント情報の登録処理＞
撮像装置１のイベント情報登録メモリ４１は、成人の日、建国記念の日、または体育の日といった国民の祝日や、バレンタイン・デーやクリスマスといった年中行事等の日付と関連したイベント情報を予め記録している。
ユーザは、上記の予め記録されたイベント情報の他に、ユーザ固有のイベント情報を日付と関連付けて登録することができる。

ユーザがイベント情報の登録を行う場合、例えば液晶モニタ５６は図５に示したようなカレンダー画像２１０を表示する。カレンダー画像２１０には、年を表す画像２１１、月を表す画像２１２、及び日を表す画像２１３が含まれている。
ユーザは、操作部５８の図示しないカーソルキーやタッチパネルを使用して、イベント情報を入力する年月日を選択する。ユーザが選択した年月日は、図５に示すように他の年月日と色や明るさ等を変えて表示される。

図５では、ユーザは２０１０年２月１６日を選択している。ユーザが操作部５８の入力ボタンを使用して２０１０年２月１６日のイベント情報を入力することを確定すると、図６に示すイベント情報の入力画面２１４が表示される。
入力画面２１４では、顔登録メモリ４１に登録顔画像データの登録が完了している人物毎にイベント情報の入力欄２１５が表示される。

ユーザは、例えば誕生日、運動会、発表会又は結婚記念日といったイベント情報登録メモリ４１が登録していないイベント情報を、操作部５８により人物毎に入力する。イベント情報を入力及び登録していない人物については、入力欄２１５は「なし」の文字を表示している。入力されたイベント情報は、イベント情報登録メモリ４１に記録される。
図６では、ユーザは上述の顔画像データの登録処理において、名前を山田太郎として登録した人物について、２０１０年２月１６日を誕生日として入力及び登録し、その他の人物山田花子または鈴木一郎については何も入力していない。

上述したように撮像装置１によれば、普通のカレンダーにはない、ユーザ固有のイベント情報を、顔画像データが登録されている人物の名前等と関連付けて登録することができる。

＜撮像データのタイトル作成処理＞
図７は、図１に示す撮像装置１における撮像データのタイトルの作成処理を説明するためのフローチャートである。
ユーザが顔認識撮像モードで撮影したい場合には、操作部５８の入力ボタンで顔認識撮像モードを選択する。ＣＰＵ２０は、顔認識撮像モードが選択されたことを検出すると、顔認識撮像モードでの撮影を開始する（ステップＳ２３）。これにより、撮影結果に応じたデジタル撮像データが内蔵メモリ１５に書き込まれる。

ＣＰＵ２０の指示を受けて、顔検出部３０１は、内蔵メモリ１５から読み出したデジタル撮像データをもとに、撮像画像中の人物の顔画像領域を特定し、顔画像データを検出する（ステップＳ２４）。当該顔画像データの検出処理は、例えば、前述したステップＳ１３の顔画像データの抽出と同様の手法で行われる。

そして、ＣＰＵ２０の指示を受けて、顔認識部３０２は、ステップＳ２４で検出した顔画像データが、顔登録メモリ４０に記憶されているいずれかの登録顔画像データと一致しているか否かを照合する処理を行う（ステップＳ２５）。
具体的には、顔認識部３０２は、顔検出部３０１が検出した顔画像データの特徴点に基づいて、撮像人物の顔画像の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３０２は、上記の演算結果と登録顔画像データとを比較して所定の登録人物の顔と撮像人物の顔との相似度を求める。そして、顔認識部３０２は上記の相似度が予め設定された閾値を上回る場合に、撮像人物の顔画像データが所定の登録人物の登録顔画像データに一致するとの顔認識をする（ステップＳ２６）。なお、相似度を求めるアルゴリズムは上述したものに限定されず様々なアルゴリズムを用いることができる。

ＣＰＵ２０の指示を受けて、計測部３０３は顔認識部３０２が顔認識をしている時間を計測する（ステップＳ２７）。
撮影対象となる人物が複数人あり、複数の人物について登録人物に一致すると認識された場合は、計測部３０３はそれぞれの人物毎に、顔認識部３０２が顔認識している時間を計測する。

ユーザが撮影を終了すると（ステップＳ２８）、計測部３０３は計測を終了する。
図８は、計測部３０３による人物毎の顔認識時間の計測を概略的に示す図である。図８の例では、撮影開始から撮影終了までの撮影時間Ｔの間、人物Aは期間ａ１、ａ２にわたって顔認識部３０２に顔認識されている。また、人物Bは期間ｂ１、ｂ２にわたって顔認識され、人物Cは期間ｃ１、ｃ２、ｃ３にわたって顔認識されている。

図９は、計測部３０３による計測の積算結果を概略的に示す図である。図８で計測された顔認識時間は人物毎にそれぞれ積算されて、図９に示すように合計の積算時間が算出される。
人物Aの合計顔認識時間はｔａ＝ａ１＋ａ２によって算出される。また、人物Bの合計顔認識時間はｔｂ＝ｂ１＋ｂ２によって算出される。同様に人物Cの合計顔認識時間はｔｃ＝ｃ１＋ｃ２＋ｃ３によって算出される。このようにして、計測部３０３は撮影対象となる人物毎に顔認識されている積算時間を算出する。

そして、計測部３０３は、上記の顔認識時間が予め設定された閾値を上回る人物がいるかどうかの判定を行う（ステップＳ２９）。
閾値を上回った人物がいる場合は（ステップＳ２９のＹＥＳ）、その人物を撮像データにおいて主に撮影されている人物であると特定する（ステップＳ３０）。閾値を上回った人物が一人であればその人物を、複数名であればその全員あるいは顔認識時間の多い人物から順に上位数名を主に撮影されている人物として特定する。ユーザは上位数名を特定する際は、その人数を予め設定することができる。

図１０に示す例では、閾値は合計撮影時間の６０％に設定されている。この閾値を上回る時間だけ顔認識されている人物は、Aのみであることがわかる。したがって、Aが主に撮影されている人物として特定される。
なお、閾値は、上述の通り全体の撮影時間に占める各人物の撮影時間の割合に基づいて設定してもよいし、例えば、単に各人物の撮影時間のみに基づいて設定してもよい。

ＣＰＵ２０の指示を受けて、タイトル作成部３０４は撮像データにおいて主に撮影されている人物として特定された人物の登録情報として、その人物の属性データを顔登録メモリ４０から読み出す（ステップＳ３１）。例えば、人物Aの名前が山田太郎として登録されていた場合は、「山田太郎」という文字情報を読み出す。

タイトル作成部３０４は、カレンダー機能付き時計４２からユーザが撮影を行った日を特定する（ステップＳ３２）。そして、タイトル作成部３０４は、ステップＳ３０で特定された人物について、ステップＳ３２で特定した撮影日に関するイベント情報がイベント情報登録メモリ４１に登録されていないかを探索する。

イベント情報登録メモリ４１にイベント情報が登録されている場合、タイトル作成部３０４は撮影日時、人物の属性データ及びイベント情報を含むタイトルを作成する（ステップＳ３３）。例えば、「２０１０年２月１６日山田太郎の誕生日」というタイトルを作成する。
イベント情報登録メモリ４１にイベント情報が登録されていない場合、タイトル作成部３０４は撮影日時、人物の属性データのみからなるタイトルを作成する。例えば、「２０１０年２月１７日山田太郎」というタイトルを作成する。

ステップＳ２９において、顔認識時間が予め設定された閾値を上回る人物がいなかった場合は（ステップＳ２９のＮＯ）、人物の登録情報をタイトルには加えず、撮影を行った日時の情報等のみに基づいて、撮像データの最終的なタイトルの設定を行うことになる。

図７のステップＳ２９において、計測部３０３が複数名の顔認識時間が予め設定された閾値を上回っていると判定した場合は、計測部３０３は、その複数名が撮像データにおいて主に撮影されている人物であると特定する。
例えば、図１１に示したように、AとBそれぞれの顔認識時間ｔｄ及びｔｅが、予め設定された閾値（５０％）を上回っている場合は、AとBを主に撮影されている人物と特定する。

そして、タイトル作成部３０４は、ステップＳ３１において両名の属性データを顔登録メモリ４０から読み出す。Aの名前が山田太郎、Bの名前が山田花子として登録されていたとして、属性データとして名前を読み出した場合は「山田太郎と山田花子」という文字情報と、ステップＳ３２で読み出した撮影日時とを含む「２０１０年２月１８日山田太郎と山田花子」というタイトルを作成する。一方で、属性データとしてＡとＢに関し、共通して「山田家」という団体名称を登録していた場合は、「山田家」という文字と撮影日時とを含む「２０１０年２月１８日山田家」というタイトルを作成することも可能である。

音声・画像処理部５０は、上述した一連の操作・処理を終了した後に、ステップＳ３３で生成したタイトルを撮像データのメタデータとし、撮像データと関連付けて記録データを生成し、ＨＤＤ５１またはカード型記録媒体５３に最終的に記録する。（ステップＳ３４）。

上述したように撮像装置１によれば、デジタル撮像データから顔検出を利用して自動的に主な撮影対象となっている人物を特定し、その人物の名称を撮像データのタイトルとして付すことができる。そのため、撮像データの内容を簡単に判別可能なタイトルを付すことが容易にできる。

上述した例は、撮像装置１を使用して現在撮影している撮像データのタイトルを自動作成するものであったが、本実施態様に係る画像処理装置は過去に撮影された撮像データのタイトルを編集することもできる。
図１２は、撮像装置１のＨＤＤ５１やカード型記録媒体５３に記録されている、あるいは入出力端子５９を通して接続された図示しない外部記録媒体に記録されている過去の撮像データのタイトルを作成する処理の例を説明するフローチャートである。

ユーザが顔認識の結果を踏まえたタイトルの作成を望む場合には、操作部５８の入力ボタンで顔認識再生モードを選択する。ＣＰＵ２０は、顔認識再生モードが選択されたことを検出すると、顔認識再生モードでの撮像データの再生を開始する（ステップＳ３５）。これにより、再生結果に応じたデジタル撮像データが内蔵メモリ１５に書き込まれる。

ＣＰＵ２０の指示を受けて、顔検出部３０１は、内蔵メモリ１５から読み出したデジタル撮像データをもとに、再生画像中の顔画像データを検出する（ステップＳ３６）。当該顔画像データの検出処理は、例えば、前述したステップＳ１３と同様の手法で行われる。

そして、ＣＰＵ２０の指示を受けて、顔認識部３０２は、ステップＳ３６で検出した顔画像データが、顔登録メモリ４０に記憶されているいずれかの登録顔画像データと一致しているか否かを照合する処理を行う（ステップＳ３７）。この処理は、前述したステップＳ２５と同様の手法で行われる。
次に、顔認識部３０２は上記の相似度が予め設定された閾値を上回る場合に、撮像人物の顔画像が所定の登録人物の登録顔画像データに一致するとの顔認識をする（ステップＳ３８）。

ＣＰＵ２０の指示をうけて、計測部３０３は顔認識部３０２が顔認識をしている時間を計測する（ステップＳ３９）。計測は上述したステップＳ２７と同様の手法で行われる。
撮像データの再生が終了すると（ステップＳ４０）、計測部３０３は計測を終了する。

そして、計測部３０３は、上記の顔認識時間が予め設定された閾値を上回る人物がいるかどうかの判定を行う（ステップＳ４１）。当該判定は、前述したステップＳ２９と同様の手法によって行われる。閾値を上回った人物がいる場合は（ステップＳ４１のＹＥＳ）、その人物を撮像データにおいて主に撮影されている人物であると特定する（ステップＳ４２）。そして、タイトル作成部３０４は、ステップＳ４２で特定された人物の登録情報として、その人物の属性データを顔登録メモリ４０から読み出す（ステップＳ４３）。

タイトル作成部３０４は再生データにそのデータの撮影を行った日時等のメタデータが付加されている場合は、そのメタデータを読み出し（ステップＳ４４）、ステップＳ４４で読み出した人物の名前とあわせ、撮像データのタイトルを作成する（ステップＳ４５）。
例えば、再生データにメタデータとしての撮影日時が付加されていた場合、タイトル作成部３０４はステップＳ４２で特定した人物に関し、この撮影日時に対応するイベント情報がイベント情報登録メモリ４１に登録されていないかを探索する。

イベント情報登録メモリ４１にイベント情報が登録されている場合、タイトル作成部３０４はメタデータの撮影日時、人物の属性データ及びイベント情報を含むタイトルを作成する。例えば、「２０１０年２月１６日山田太郎の誕生日」というタイトルを作成する。
イベント情報登録メモリ４１にイベント情報が登録されていない場合、タイトル作成部３０４はメタデータの撮影日時、人物の属性データのみからなるタイトルを作成する。例えば、「２０１０年２月１７日山田太郎」というタイトルを作成する。

ステップＳ４１において、顔認識時間が予め設定された閾値を上回る人物がいなかった場合は（ステップＳ４１のＮＯ）、人物の登録情報をファイル名には加えず、撮影を行った日時の情報等のみに基づいて、撮像データの最終的なファイル名の設定を行うことになる。

音声・画像処理部５０は、上述した一連の操作・処理を終了した後に、ステップＳ４５で生成したタイトルを撮像データのメタデータとし、撮像装置１のＨＤＤ５１やカード型記録媒体５３、あるいは入出力端子５９を通して接続された図示しない外部記録媒体に記録する。（ステップＳ４６）。

上述したように撮像装置１によれば、過去に作成されたデジタル撮像データから顔検出を利用して自動的に主な撮影対象となっている人物を特定し、その人物の名称を撮像データのタイトルとして付すことができる。そのため、撮像データの内容を簡単に判別可能なタイトルを付すことが容易にできる。

また、上述した例のように実際に再生する場合であっても、いわゆる等倍速で再生する必要はなく、２倍速、３倍速といった再生でも自動的にタイトルを作成することができる。さらには、実際の再生をともなわずに装置内部で撮像データをデコードすることでタイトルを自動的に作成することもできる。

また、上述した撮影及び再生の例では、撮像装置１は撮像データのメタデータとしてタイトルを作成したが、同様のやり方で撮像データのファイル名を作成することもできる。例えば、ＭＰＥＧ２形式で撮像データを作成した場合は、タイトル作成部３０４は「２０１０年２月１６日」という情報をカレンダー機能付き時計４２から読み出し「２０１００２１６」という文字を、人物Aの登録情報である名前「Ｔａｒｏ Ｙａｍａｄａ」と組み合せて、「２０１００２１６ＴａｒｏＹａｍａｄａ．ｍｐｇ」というファイル名を作成する。

＜撮像データのファイル名表示処理＞
図１３は、ＨＤＤ５１又はカード型記録媒体５３に記録されている撮像データを一覧表示した場合の表示例を表す図である。撮像データ一覧画面３００において、撮像日時やサムネイル表示と共に撮像データのタイトルを表示する。景色を表示する画像がサムネイル表示となっているサムネイル表示３０１のように、撮影対象となった人物がサムネイル表示されていない場合であっても、主な撮影対象である山田太郎及び鈴木一郎がファイル名に表示されているため、ユーザは容易にその内容を把握することができる。

以上の通り、図１に記載した撮像装置１を例として本発明の実施形態を説明したが、本発明に係る画像処理装置の実施形態として撮像装置に限定されるわけではなく、据置き型の記録装置のように撮像機能を有していない機器おいても撮像データの記録や再生の際に同様の処理が可能であることは言うまでもない。

１ 撮像装置
１５ 内蔵メモリ
３０ 顔検出制御部
３０１ 顔検出部
３０２ 顔認識部
３０３ 計測部
３０４ タイトル作成部
４０ 顔登録メモリ
４１ イベント情報登録メモリ
５０ 音声・画像処理部

Claims (5)

1. 予め登録された一又は複数の人物の登録顔画像データと、当該人物の属性データとを対応付けて記憶する記憶部と、
   撮像データ内の一又は複数の顔画像データを検出する顔検出部と、
   前記顔検出部が検出した前記顔画像データと、前記記憶部に記憶された前記各人物の登録顔画像データとに基づいて相似度を算出し、前記相似度が所定の閾値を上回ると判定した場合には前記顔検出部が検出した前記各顔画像データは前記記憶部に登録された当該人物のものであるとの認識をする顔認識部と、
   撮像データの一画面内または連続して撮影した時間内の複数の画面から前記顔認識部により認識された前記人物のうち、主に撮影されている人物であると判断される所定の判定基準を満たす人物を一又は複数決定する計測部と、
   前記所定の判定基準を満たす人物が一人である場合には、当該人物の前記属性データを前記記憶部から読み出し、少なくとも当該属性データを含むタイトルを前記撮影データのタイトルとして作成し、
   前記所定の判定基準を満たす人物が複数である場合には、当該複数の人物の前記属性データを前記記憶部から読み出し、少なくとも当該複数の属性データに共通して含まれるデータを含むタイトルを前記撮影データのタイトルとして作成するタイトル作成部と
   を備えることを特徴とする画像処理装置。
2. 予め登録された一又は複数の人物の登録顔画像データと、当該人物の属性データとを対応付けて記憶する記憶部と、
   撮像データ内の一又は複数の顔画像データを検出する顔検出部と、
   前記顔検出部が検出した前記顔画像データと、前記記憶部に記憶された前記各人物の登録顔画像データとに基づいて相似度を算出し、前記相似度が所定の閾値を上回ると判定した場合には前記顔検出部が検出した前記各顔画像データは前記記憶部に登録された当該人物のものであるとの認識をする顔認識部と、
   撮像データの一画面内または連続して撮影した時間内の複数の画面から前記顔認識部により認識された前記人物のうち、主に撮影されている人物であると判断される所定の判定基準を満たす人物を一又は複数決定する計測部と、
   前記所定の判定基準を満たす人物が一人である場合には、当該人物の前記属性データを前記記憶部から読み出し、少なくとも当該属性データを含むタイトルを前記撮影データのタイトルとして作成し、
   前記所定の判定基準を満たす人物が複数である場合には、当該複数の人物の前記属性データを前記記憶部から読み出し、少なくとも当該属性データのそれぞれの一部または全部をすべて含むデータを含むタイトルを前記撮影データのタイトルとして作成するタイトル作成部と
   を備えることを特徴とする画像処理装置。
3. 前記所定の判定基準は、前記顔認識部が当該人物を認識している時間が、連続して撮影した時間内に占める割合に基づくものである
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記タイトル作成部が作成する前記撮像データのタイトルは、前記撮像データのメタデータである
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記タイトル作成部が作成する前記撮像データのタイトルは、前記撮像データのファイル名である
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。

Images