JP5459527B2

JP5459527B2 - 画像処理装置およびその方法

Info

Publication number: JP5459527B2
Application number: JP2007280104A
Authority: JP
Inventors: 康彦寺西
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2007-10-29
Filing date: 2007-10-29
Publication date: 2014-04-02
Anticipated expiration: 2027-10-29
Also published as: JP2009110147A

Description

本発明は、撮像データから顔画像を検出する画像処理装置およびその方法に関するものである。

デジタルスチルカメラやデジタルビデオカメラで、顔認識技術を応用したものが商品化されている。
特許文献１には、人物の顔を撮像した撮像画像から人物の顔の特徴点を抽出し、当該抽出した特徴点と、予め登録した人物に関する登録顔画像データとの一致度に基づいて顔認識を行う技術が開示されている。

特開平６−２５９５３４号公報

ところで、デジタルスチルカメラやデジタルビデオカメラで子供の成長を記録して残したいという要望が強い。その際に、撮像画像内の子供の画像とその子供の年齢等の属性の関係が容易に特定できれば便利である。また、子供が複数いる場合には、どの子供を撮ったものかが分かれば、記録した画像の検索や管理等が容易になる。それ以外でも、一般的に、撮像画像内の顔画像について、その人物の属性が容易に特定できれば便利である。従来、このような要望を満たす機器は無かった。

本発明はかかる事情に鑑みてなされたものであり、その目的は、撮像画像内の顔画像について、その人物の属性を容易に特定することを可能にする画像処理装置およびその方法を提供することにある。

第１の観点の発明の画像処理装置は、第１の観点の発明の画像処理装置は、撮像している時点の年月日データを生成する手段と、撮像データ内の顔画像データを検出する顔検出手段と、予め登録された人物の登録顔画像データと、少なくとも当該人物の生年月日データとを対応付けて記憶する記憶手段と、前記顔検出手段が検出した前記顔画像データと、前記記憶手段に記憶された登録顔画像データとに基づいて、前記顔検出手段が検出した前記顔画像データが当該登録顔画像データの人物に対応するものであるか否かを判定する顔認識手段と、前記顔検出手段が検出した前記顔画像データが当該登録顔画像データの人物に対応するものであると前記顔認識手段が判定した場合に、前記記憶手段から読み出した当該登録された人物の前記生年月日データと、前記撮像する時点の年月日データとからその時点の学年データを算出する制御手段と、前記学年データを前記撮像データあるいは前記検出した顔画像データと関連付けて表示するあるいはまた記録する手段とを有することを特徴とする。

第２の観点の発明の画像処理方法は、記憶手段に対応付けられて記憶された予め登録された人物の登録顔画像データと、少なくとも当該人物の生年月日データとを用いて行う画像処理方法であって、撮像している時点の年月日データを生成する第１の工程と、撮像データ内の顔画像データを検出する第２の工程と、前記第２の工程で検出した前記顔画像データと、前記記憶手段に記憶された登録顔画像データとに基づいて、前記第２の工程で検出した前記顔画像データが当該登録顔画像データの人物に対応するものであるか否かを判定する第３の工程と、前記第２の工程で検出した前記顔画像データが当該登録顔画像データの人物に対応するものであると前記第３の工程で判定した場合に、前記記憶手段から読み出した当該登録された人物の前記生年月日データと、前記撮像する時点の年月日データとからその時点の学年データを算出する第４の工程と、前記学年データを前記撮像データあるいは前記検出した顔画像データと関連付けて表示するあるいはまた記録する第５の工程とを有することを特徴とする。

本発明によれば、撮像画像内の顔画像について、その人物の属性を容易に特定することを可能にする画像処理装置およびその方法を提供することができる。

図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の構成例を示すブロック図である。
撮像装置１は、例えば、撮像光学系１０、撮像素子１２、マイク１４、アナログ信号処理部１６、Ａ／Ｄ変換器１８、内蔵メモリ２０、音声・画像処理部２４、ＨＤＤ
Ｉ／Ｆ２６、ＨＤＤ２８、カードＩ／Ｆ３０、カード型記録媒体３２、入出力Ｉ／Ｆ３４、液晶モニタ３６、スピーカ３８、操作部４０、出力端子４２、内蔵電池５０、カレンダー機能付き時計５２、ＣＰＵ５４、顔登録メモリ５６、外部電池５８を有する。
内蔵メモリ２０、音声・画像処理部２４、ＨＤＤＩ／Ｆ２６、カードＩ／Ｆ３０、入出力Ｉ／Ｆ３４およびＣＰＵ５４は、データバス２２に接続されている。

顔検出部１０１が本発明の顔検出手段、顔認識部１０２が本発明の顔認識手段、制御部１００が本発明の制御手段、顔登録メモリ５６が本発明の記憶手段に相当する。
また、本実施形態の撮像データが本発明の撮像データ、本実施形態の顔画像データが本発明の顔画像データ、本実施形態の登録顔画像データが本発明の登録顔画像データ、本実施形態のメタデータが本発明の属性データに相当する。

図１に示すように、入出力Ｉ／Ｆ３４には、液晶モニタ３６、スピーカ３８、操作部４０および出力端子４２が接続されている。
液晶モニタ３６には、撮像データに応じた再生画像やデジタルビデオカメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。
操作部４０は、入力釦や録画釦などを備えている。操作部の入力釦は、例えば、デジタルビデオカメラの各種の処理（顔登録の設定処理、顔認識撮像処理、顔登録更新処理等）の切り換え入力などを受け付ける。また、操作部４０の録画釦は、録画の開始、終了の指示入力を受け付ける。出力端子４２には、テレビモニター等が接続される。

音声・画像処理部２４は、例えば、内蔵メモリ２０から読み出したデジタル撮像信号に所定の画像処理を施す。また、音声・画像処理部２４は、所定のフォーマットに基づいてデジタル撮像信号およびデジタル音声信号をデータ圧縮処理して、メタデータと関連付けた記録データを生成する。

音声・画像処理部２４は、ＣＰＵ５４の指示により各種表示（顔認識時の枠表示など）の画像データを生成し、上記の画像データを内蔵メモリ２０から読み出したオリジナルの撮像データに重畳させて液晶モニタ３６に出力する。これによって、液晶モニタ３６の画面は上記の各種表示が合成されたものになる。
また、音声・画像処理部２４は、内蔵メモリ２０から読み出したデジタル音声信号を音声圧縮処理してＨＤＤＩ／Ｆ２６に出力したり、ＨＤＤ
Ｉ／Ｆ２６から読み出したデジタル音声信号の復号処理を行う。また、音声・画像処理部２４は、再生時に、復号したデジタル音声信号に応じたアナログ音声信号をスピーカ３８に出力する。

ＣＰＵ５４の制御部１００は、撮像装置１の新規購入時や時計用の内蔵電池の交換時等に、カレンダー機能付き時計５２の設定がされていないと判断した場合には、液晶モニタ３６にカレンダー機能付き時計５２の設定を促す表示を行う。ユーザは、操作部４０の入力釦を用いて、その時点の年月日を設定する。なお、カレンダー機能付き時計５２は、例えば、内蔵電池５０が供給する電力によって駆動される。また、撮像装置１の内蔵電池５０以外のモジュールは、例えば、外部電池５８が供給する電力によって駆動される。

以下、撮像装置１の各種の処理を説明する。
＜顔登録の設定処理＞
図２は、図１に示す撮像装置１による顔登録の設定処理を説明するためのフローチャートである。
ユーザーが新たな人物の顔画像を登録したい場合には、操作部４０の入力釦で顔登録モードを指定（選択）する。ＣＰＵ５４の制御部１００は、顔登録モードが指定されたと判断すると（ステップＳＴ１１）、液晶モニタ３６に「対象人物を撮像して下さい」という指示を表示する（ステップＳＴ１２）。
制御部１００の機能は、ＣＰＵ５４が図示しないＲＯＭに格納されたプログラムを実行して実現される。その他に、制御部１００は、当該プログラムの実行に従って撮像装置１の各動作、例えば、ＡＦ（オートフォーカス）演算や、ＡＥ（自動露出）演算などの機能を実行する。

そして、ステップＳＴ１２の液晶モニタ３６の表示に従って、ユーザーが撮像（撮像）を開始する（ステップＳＴ１３）。これにより、撮像光学系１０を通過した光が、撮像素子１２により光電変換されて被写体像のアナログ撮像（画像）信号が生成され、これがアナログ信号処理部１６で増幅された後に、Ａ／Ｄ変換器１８でデジタル撮像データに変換されて内蔵メモリ２０に書き込まれる。また、外部の音声は、マイク１４により電気信号に変換されてアナログ音声信号となり、これがアナログ信号処理部１６で増幅された後に、Ａ／Ｄ変換器１８でデジタル音声データに変換されて内蔵メモリ２０に書き込まれる。

次に、ＣＰＵ５４の顔検出部１０１は、内蔵メモリ２０から読み出したデジタル撮像データを基に、撮像画像中の顔領域を探索する（ステップＳＴ１４）。顔検出部１０１は、ＣＰＵ５４が、上記プログラムを実行して実現される機能である。
このとき、顔検出部１０１は、デジタル撮像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部１０１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが用いられる。なお、顔検出部１０１が顔領域検出に用いるアルゴリズムは上述したものに限定されず、任意のアルゴリズムを用いることができる。

顔検出部１０１が撮像画像中の顔領域を検出した場合（ステップＳＴ１４の“Ｙ”）、音声・画像処理部２４が、制御部１００からの指示により、上記検出した顔領域の近傍にマーク画像をオリジナルの撮像データの画像に重畳して表示する新たな画像データを生成し、それに応じた画面を液晶モニタ３６に表示する（ステップＳＴ１５）。具体例として、液晶モニタ３６には、図３に示す画面２００が表示される。
顔検出部１０１が複数の顔領域を検出した場合には、音声・画像処理部２４は、制御部１００からの指示により、複数のマーク画像２０２，２０４を表示するが、そのうちの一つのマーク画像２０２の色を他とは異なるようにし、かつ点滅表示させる（ステップＳＴ１５）。なお、制御部１００は、顔検出部１０１が顔領域を特定できない場合には、一定時間後に顔登録の設定処理を終了する（ステップＳＴ１４の“Ｎ”）。

ユーザーは、ステップＳＴ１５で液晶モニタ３６に表示された画面を見て、点滅中のマーク画像が付された人物画像が登録したい人物のものである場合には、例えば図３に示す操作部４０の入力釦で「登録」を選択し（ステップＳＴ１６の“登録”）、別の人物を登録したい場合には、図３に示す操作部４０の入力釦で「別の人を選択」を選択する（ステップＳＴ１６の“別の人を選択”）。
ステップＳＴ１６で操作部４０の入力釦を用いて「別の人を選択」が選択されると、音声・画像処理部２４は、未選択の次の顔領域のマーク画像を点滅させる（ステップＳＴ１７）。

一方、顔認識部１０２は、ステップＳＴ１６で操作部４０の入力釦を用いて「登録」が選択された場合には、点滅中のマーク画像に対応した顔領域内の顔画像の特徴点を抽出し、それに基づいて登録顔画像データを生成する（ステップＳＴ１８）。例えば、顔認識部１０２は、顔検出部１０１が検出した顔画像の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離等を示す登録人物の登録顔画像データを生成する。
顔認識部１０２は、予め決められた一定の基準に基づいて、上記生成した登録顔画像データが認識に十分なデータであるか否かを判断し、十分なデータであると判断した場合に、「登録ＯＫ」を液晶モニタ３６に表示する。

次にＣＰＵ５４の制御部１００は、「名前を登録しますか？」の表示を液晶モニタ３６に表示する。ユーザーは、登録したい場合には、操作部４０の入力釦で「はい」を選択して（ステップＳＴ１９の“Ｙ”）、さらに名前を入力する（ステップＳＴ２０）。
ステップＳＴ２０に続いて、あるいはステップＳＴ１９で「いいえ」を選択した場合に、制御部１００は、「生年月日を登録しますか？」の表示を液晶モニタ３６に表示する（ステップＳＴ２１）。ユーザーは、生年月日を登録したい場合には、操作部４０の入力釦で「はい」を選択して（ステップＳＴ２１の“Ｙ”）、さらに生年月日を入力する（ステップＳＴ２２）。

ＣＰＵ５４は、上述した一連の操作・処理を終了した後に、ステップＳＴ１８で生成した登録顔認識データと、ステップＳＴ２０，ＳＴ２２で入力した名前データあるいは／および生年月日データと、カレンダー機能付き時計５２から取得した年月日データ（今回の登録年月日データ）とを関連づけて顔登録メモリ５４に記録する（ステップＳＴ２３）。関連づけとしては、例えば、一つのファイルとしてデータ格納することで行われる。
なお、顔登録メモリ５６は、例えば不揮発性の半導体メモリ等で構成され、上述したように、登録顔画像データに関連つけて、その人物の名前データと生年月日データ、さらにその人物の登録顔画像データを更新した登録年月日データ等のメタデータを記録する。また、生年月日データおよび登録年月日データは、生年月日まで含めているが、生まれた年や年月で十分であれば、月日や日を省略しても勿論よい。

上述したように撮像装置１によれば、デジタル撮像データから自動的に顔画像を検出して、その登録顔画像データを生成し、それと入力された名前データや生年月日データとを自動的に関連付けて登録する。そのため、登録顔画像データの登録を簡単な操作で容易に行うことができる。

＜顔認識撮像処理＞
図４は、図１に示す撮像装置１における顔認識撮像処理を説明するためのフローチャートである。
ユーザーが顔認識撮像モードで撮像したい場合には、操作部４０の入力釦で顔認識撮像モードを選択する。ＣＰＵ５４の制御部１００は、顔認識撮像モードが選択されたことを検出すると（ステップＳＴ３１の“Ｙ”）、顔認識撮像モードでの撮像を開始する。これにより、撮像結果に応じたデジタル撮像データが内蔵メモリ２０に書き込まれる。

ＣＰＵ５４の顔検出部１０１は、内蔵メモリ２０から読み出したデジタル撮像データを基に、撮像画像中の顔領域を検出（探索）する（ステップＳＴ３２）。当該顔領域の検出処理は、例えば、前述したステップＳＴ１４と同様の手法で行われる。
そして、ＣＰＵ５４の顔認識部１０２は、ステップＳＴ３２で検出した顔領域内の顔画像データが、顔登録メモリ５６に記憶されているいずれかの登録顔画像データと一致しているか否かを判定する顔認識処理を行う（ステップＳＴ３３）。具体的には、顔認識部１０２は、顔検出部１０１で検出された顔の特徴点に基づいて、撮像人物の顔画像の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部１０２は、上記の演算結果と登録顔画像データとを比較して所定の登録人物の顔と撮像人物の顔との相似度を求める。そして、顔認識部１０２は上記の相似度が閾値を上回る場合に撮像人物が所定の登録人物に合致すると判定する。なお、相似度を基めるアルゴリズムは上述したものに限定されず様々なアルゴリズムを用いることができる。
顔認識部１０２の機能は、ＣＰＵ５４が図示しないＲＯＭに格納されたプログラムを実行して実現される。

ＣＰＵ５４の制御部１００は、ステップＳＴ３３で一致していると判定した場合には（ステップＳＴ３４の“Ｙ”）、当該一致の判定に用いられた登録顔画像データと対応付けて顔登録メモリ５６に記憶されている名前データあるいは／および生年月日データ等のメタデータを読み出す（ステップＳＴ３５）。

制御部１００は、カレンダー機能付き時計５２から、その時点の年月日データを読み出す。そして、制御部１００は、ステップＳＴ３５で読み出した生年月日データと、カレンダー機能付き時計５２から取得したその時点の年月日データ（撮像年月日データ）とから、その人物の年齢データを算出する（ステップＳＴ３６）。

また、制御部１００は、上記算出した年齢データを基に、就学年齢であると判断した場合には、例えば小学３年といった学年データを生成する。また、制御部１００は、カレンダー機能付き時計５２から取得した年月日データがその人物の誕生日を示すか否か等の判断を行う。これらは判断は、ＣＰＵ５４が備える演算機能、判断機能を用いて行われる。

音声・画像処理部２４は、制御部１００からの指示に基づいて、上述したように顔登録メモリ５６から読み出したメタデータである名前データ、上述したように生成した年齢データ、学年データ、誕生日であることを示すデータのうち少なくとも一つを、撮像中の画面の顔領域以外の領域であって、顔領域の近傍の領域に重畳して表示する新たな画像データを生成する（ステップＳＴ３７）。
当該新たな画像データは、図１に示す入出力Ｉ／Ｆ３４を介して液晶モニタ３６、スピーカ３８、操作部４０および出力端子４２の少なくとも一つに出力される。
これにより、液晶モニタ３６には、例えば、図５に示すように、各顔画像領域の近傍に、その顔画像に対応した人物の名前と、年齢と、誕生日である否かを示す情報とが示される画面２１０が表示される。

制御部１００は、撮像を開始して顔認識処理が終了した時点から、所定の期間（例えば、１分間）経過したか否かを判断し、経過したと判断した場合（ステップＳＴ３８の“Ｙ”）には、処理を終了する。
一方、制御部１００は、ステップＳＴ３８で経過していないと判断した場合（ステップＳＴ３８の“Ｎ”）には、検出した全ての顔領域について顔認識処理を終了したかを判断し（ステップＳＴ３９）、終了していないと判断した場合にはステップＳＴ３３の処理に戻り、未処理の顔領域についての顔認識処理を開始する。
また、制御部１００は、ステップＳＴ３９において終了したと判断した場合（ステップＳＴ３８の“Ｎ”）には、例えば、ステップＳＴ３７で生成した重畳後の画像データをＨＤＤ２８あるいはカード型記録媒体３２に書き込む（ステップＳＴ４０）。
ＨＤＤ２８への書き込みは、ＨＤＤＩ／Ｆ２６を介して行われる。また、カード型記録媒体３２への書き込みはカードＩ／Ｆ３０を介して行われる。カード型記録媒体３２は、公知の半導体メモリなどで構成される。

このとき、制御部１００は、重畳後の画像データをそのままＨＤＤ２８あるいはカード型記録媒体３２に書き込んで良いか否かをユーザーに確認する表示を液晶モニタ３６に出力し、ユーザーが重畳しても良いという選択をした場合に書き込みを開始するようにしてもよい。このとき、重畳後の画像データを液晶モニタ３６に表示してユーザーに確認させてもよい。
なお、ユーザーが重畳しない状態での書き込みを選択した場合には、制御部１００は、重畳前の撮像データと、名前データや年齢データ等のメタデータとを関連付けて個別にＨＤＤ２８あるいはカード型記録媒体３２に書き込む。
なお、制御部１００は、ユーザーからの選択なしに、いずれかの形式で書き込みを行ってもよい。

音声・画像処理部２４は、制御部１００からの指示により、再生時にＨＤＤ２８あるいはカード型記録媒体３２から読み出した画像データを再生するが、当該画像データに対応付けられたメタデータを再生画面に重畳するか否かをユーザーの指示に応じて選択するようにしてもよい。
なお、制御部１００は、メタデータとして、年齢データのかわりに、生年月日データと撮像時の年月日データを記録するようにしても良い。この場合には、制御部１００は、再生時に、メタデータの中から生年月日データと撮像時の年月日データを取り出して、撮像時の各人物の年齢データを算出するようにしても良い。

上述したように、撮像装置１は、顔認識撮像処理において、登録した人物の顔画像を撮像データから自動的に検出して、その人物のメタデータを表示できる。そのため、その表示されたメタデータを基にユーザーに再生画像に映し出された人物の年齢や名前等の属性を即座に知ることができる。また、撮像装置１は、再生日が誕生日である場合には、その人物の顔画像に誕生日であることを示す装飾画像を表示することで、遊び心、面白みがある再生を行うことができる。。

＜顔登録更新処理＞
図６は、図１に示す撮像装置１における顔登録更新処理を説明するためのフローチャートである。
ＣＰＵ５４の制御部１００は、撮像装置１の電源投入されたことを検出すると（ステップＳＴ５１の“Ｙ”）、カレンダー機能付き時計５２からその時点の年月日データを取得する（ステップＳＴ５２）。
制御部１００は、顔登録メモリ５６に登録された各々の登録顔画像データに対応付けられた生年月日データ等のメタデータと、その登録顔画像データの登録年月日データとを読み出す。
そして、制御部１００は、当該読み出した生年月日データと、カレンダー機能付き時計５２から読み出した現時点の年月日データとから、当該登録顔画像データに対応した人物の年齢データを算出する（ステップＳＴ５３）。

制御部１００は、上記読み出した登録年月日データと、ステップＳＴ５２で取得した現在の年月日データとから、登録顔画像データを登録してからの経過日数データを算出する（ステップＳＴ５４）。

制御部１００は、ステップＳＴ５３で算出した年齢データに対応したしきい値を顔登録メモリ５６から取得する。
当該しきい値は、当該年齢に対応して出荷時に予め複数規定されており、例えば、生後６ヶ月までは２ヶ月、２歳までは６ヶ月、１２歳までは１２ヶ月、１８歳までは２４ヶ月、それ以上であれば９９９ヶ月（実質的に更新されなくなる）のような数値である。
制御部１００は、ステップＳＴ５４で算出した経過日数データと、上記取得したしきい値とを比較する（ステップＳＴ５５）。そして、制御部１００は、少なくとも一つの登録顔画像データについて、経過日数データが示す日数が多いと判断した場合（顔登録更新が必要な場合：ステップＳＴ５６の“Ｙ”）には、ステップＳＴ５７に進む。一方、制御部１００は、全ての登録顔画像データについて、経過日数データが示す日数が多くはないと判断した場合（顔登録更新が不要な場合：ステップＳＴ５６の“Ｎ”）には、顔登録更新処理を終了する。

制御部１００は、顔登録更新処理が必要な場合（ステップＳＴ５６の“Ｙ”）、液晶モニタ３６に「更新対象人物を撮像して下さい」という指示を表示する（ステップＳＴ５７）。そして、ユーザーが撮像を開始し、撮像結果に応じたデジタル撮像データが内蔵メモリ２０に書き込まれる（ステップＳＴ５８）。
そして、顔検出部１０１は、内蔵メモリ２０から読み出したデジタル撮像データを基に、撮像画像中の顔領域を検出する（ステップＳＴ５９）。当該顔領域の検出は、図２に示すステップＳＴ１４で説明した処理で行われる。

顔検出部１０１が撮像中の画像の中に顔領域を検出された場合（ステップＳＴ５９の“Ｙ”）、音声・画像処理部２４は、上記検出した顔領域の付近にマーク画像を重畳した画像データを生成して、それに応じた画面を液晶モニタ３６に表示する。具体例としては、液晶モニタ３６には、図７に示す画面２２０が表示される。
音声・画像処理部２４は、顔検出部１０１が複数の顔領域を検出した場合には、複数のマーク画像２２０，２２２を表示し、未選択の一つの顔領域の付近のマーク画像２２２の色を他とは変えて、かつ点滅させる（ステップＳＴ６０）。そのとき、点滅させたマーク画像２２２の顔領域付近にその人物の名前を表示してもよい。

音声・画像処理部２４は、複数の顔領域の顔画像の特徴点に基づいて生成した顔画像データが、登録更新するべき（登録後の経過日数データの方が閾値よりも大きい）人物の顔登録メモリ５６に記憶された登録顔画像データと最も相似度の高い顔の顔領域のマーク画像を最初に点滅させる。
音声・画像処理部２４は、例えば、図７に示すように、液晶モニタ３６内に更新対象の人物の顔画像の近傍にそれぞれマーク画像２２０，２２２を表示し、上記基準によりマーク画像２２２を最初に点滅させる。
ユーザーは、点滅中のマーク画像が付された人物が登録更新したい人物である場合には、操作部４０の入力釦で「登録更新」を選択する（ステップＳＴ６１の“登録更新”）。ユーザーは、登録更新したい人物が別の人物である場合には、「別の人を選択」を選択する（ステップＳＴ６１の“別の人を選択“）。音声・画像処理部２４は、「別の人を選択」が選択された場合に、未選択の一つの顔領域近くのマークの色を他とは変えて、かつ点滅させる（ステップＳＴ６２）。この一つの顔領域は、次に相似度の高い顔の顔領域である。

顔認識部１０２は、操作部４０の入力釦で「登録更新」が選択された場合（ステップＳＴ６１の“登録更新”）には、検出した顔の特徴点に基づいて生成した新たな顔画像データで、既に顔登録メモリ５６に格納されている登録顔画像データを置き換えて記録する（ステップＳＴ６３）。また、制御部１００は、カレンダー機能付き時計５２から取得したその時点の年月日データで、顔登録メモリ５６に記録されている登録年月日データを置き換えて記録する。
制御部１００は、ステップＳＴ５６で顔登録更新が必要である場合と判断された全ての登録顔画像データについて顔登録更新が終了したか否かを判断し、終了したと判断した場合（ステップＳＴ６４の“Ｙ”）は処理を終了し、そうでない場合には未選択の一つの顔領域の付近のマーク画像の色を他とは変えて、かつ点滅させる（ステップＳＴ６０）。

なお、顔登録更新処理は、上述した以外にも、以下に示すように行っても良い。
上述した顔登録更新処理は、図６に示すように撮像装置１の電源投入をトリガーとして開始された。以下に示す例では、顔認識撮像処理中に、顔登録更新処理を行う。
すなわち、顔検出部１０１は、撮像中に得られたデジタル撮像データから顔領域を検出する。そして、顔認識部１０２が、顔登録メモリ５６に登録された登録顔画像データのうち、上記検出した顔領域に対して顔認識処理を実行して生成した顔画像データとの間で相似度が最も高いものを特定し、その登録顔画像データに対応したメタデータが示すその人物の生年月日データおよび登録年月日データを読み出す。

そして、制御部１００は、カレンダー機能付き時計５２からその時点の年月日データを取得する。次に、制御部１００は、当該取得した年月日データと、上記検出した顔領域に対応した人物の生年月日データとから年齢データを算出し、上記年月日データと登録年月日データとから登録（または登録更新）されてからの経過日数データを算出する。
そして、制御部１００は、所定の演算処理により、上記算出した相似度、年齢データ、経過日数データを基に、所定の指標値を決定する。当該決定は、演算式を用いてもよいし、予め用意した表データを用いてもよい。ここで、上記指標値は、例えば、相似度が低いほど大きく、年齢が低いほど大きく、経過日数が長いほど大きくなるように決定される。
これにより、顔の変化が大きく、年齢が低く、経過日数が長いほど、顔登録更新処理が行われ易くできる。

制御部１００は、上記決定した指標値が、所定のしきい値を超えている場合に、上記顔認識処理で生成した顔画像データと、それを取得したときの年月日データと、それと最も相似度が高い登録顔画像データに対応するメタデータ（名前データ等）とを更新対象として顔登録メモリ５６の所定の領域に記録する。
制御部１００は、上記決定した指標値が上記しきい値を超えた場合に、撮像終了等のタイミングで液晶モニタ３６に、「登録更新候補あり。更新モードにしますか？」の表示をする。ユーザーが操作部４０の入力ボタンで、「はい」を選択した場合、音声・画像処理部２４は、顔登録メモリ５６に記録してある画像データを再生して出力し、さらに
音声・画像処理部２４は、上記更新対象の登録顔画像データに対応した顔領域の近傍にマーク画像とそれに対応した名前データを表示する。そして、制御部１００は、図７に示すように、液晶モニタ３６に「更新しますか？」を示す画面２２０を表示する。

ユーザーが操作部４０の入力釦で、「はい」を選択した場合、制御部１００は顔登録メモリ５６に記録してある、当該登録人物の登録顔画像データを更新する。すなわち、この登録人物の登録顔画像データを前述の所定の領域に格納している顔画像データで置き換え、登録年月日データを前述の所定の領域に格納している当該顔画像データを取得した年月日データで置き換える。

撮像装置１によれば、上述したように登録顔画像データの更新の必要性を自動的に判断し、更新が必要な場合に更新を促す操作画面を表示することで、子供等のように成長に伴って顔の特徴が変わるような人物についても、顔認証処理に適した登録顔画像データを用いることができ、顔認識処理で認識エラーが生じる可能性を低くできる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

上述した実施形態では、本発明のメタデータとして、登録顔画像データに対応した人物の名前データ、生年月日データ、登録年月日データ等を例示したが、それ以外に、例えば、所属団体、趣味、性別等の人物あるいは画像の属性を示すものを用いてもよい。

また、上述した実施形態では、顔認識撮像処理において、検出した顔領域の近傍に顔認証処理で得たメタデータを重畳させる場合、すなわち顔画像データにメタデータを関連付ける場合を例示したが、本発明は、メタデータを撮像データに関連付けるようにしてもよい。

また、上述した実施形態では、撮像装置１として、デジタルビデオカメラを例示したが、例えば、撮像装置１は、デジタルスチルカメラであってもよい。また、本発明の画像処理装置は、撮像装置以外にも、コンピュータがプログラムを実行する機能として実現してもよい。

また、上述した実施形態では、顔登録処理、顔認識撮像処理および顔登録更新処理の全ての処理を実行可能な撮像装置１を例示したが、顔認識撮像処理および顔登録更新処理の少なくとも一方の処理を行わないようにしてもよい。

また、上述した実施形態では、撮像データ内で認識された顔画像に対応付けて名前等のメタデータを表示する場合を例示したが、メタデータを撮像データや撮像データ内の所定の顔画像が含まれるフレームを検索したり、そのような撮像データやフレームを所定の目的で管理するために用いてもよい。

また、上述した実施形態では、カレンダー機能付き時計５２が年月日データを生成する場合を例示したが、年データ、あるいは年月データを生成し、年あるいは月を単位として処理を行うようにしてもよい。

また、上述した実施形態では、ＣＰＵ５４が制御部１００、顔検出部１０１および顔認識部１０２の機能を実行する場合を例示したが、少なくとも一つの機能を専用のハードウェアによって実現してもよい。また、音声・画像処理部２４の機能をＣＰＵ５４がプログラムを実行することで実現してもよい。

本発明は、撮像データに含まれる顔画像を処理するシステムに適用可能である。

本発明の実施形態に係る撮像装置（デジタルビデオカメラ）の構成例を示すク図である。図１に示す撮像装置による顔登録の設定処理を説明するためのフローチャートである。図１に示す撮像装置の顔登録処理に用いられる画面を説明するための図である。図１に示す撮像装置１における顔認識撮像処理を説明するためのフローチャートである。図１に示す撮像装置の顔認識撮像処理に用いられる画面を説明するための図である。図１に示す撮像装置１における顔登録更新処理を説明するためのフローチャートである。図１に示す撮像装置の顔登録更新処理に用いられる画面を説明するための図である。

符号の説明

１…撮像装置
１０…撮影光学系
１２…撮像素子
１４…マイク
１６…アナログ信号処理部
１８…Ａ／Ｄ変換器
２０…内蔵メモリ
２２…データバス
２４…音声・画像処理部
２６…ＨＤＤＩ／Ｆ
２８…ＨＤＤ
３０…カードＩ／Ｆ
３２…カード型記録媒体
３４…入出力Ｉ／Ｆ
３６…液晶モニタ
３８…スピーカ
４０…操作部
４２…出力端子
５０…内蔵電池
５２…カレンダー機能付き時計
５４…ＣＰＵ
５６…顔登録メモリ
５８…外部電池
１００…制御部
１０１…顔検出部
１０２…顔認識部

Claims

撮像している時点の年月日データを生成する手段と、
撮像データ内の顔画像データを検出する顔検出手段と、
予め登録された人物の登録顔画像データと、少なくとも当該人物の生年月日データとを対応付けて記憶する記憶手段と、
前記顔検出手段が検出した前記顔画像データと、前記記憶手段に記憶された登録顔画像データとに基づいて、前記顔検出手段が検出した前記顔画像データが当該登録顔画像データの人物に対応するものであるか否かを判定する顔認識手段と、
前記顔検出手段が検出した前記顔画像データが当該登録顔画像データの人物に対応するものであると前記顔認識手段が判定した場合に、前記記憶手段から読み出した当該登録された人物の前記生年月日データと、前記撮像する時点の年月日データとからその時点の学年データを算出する制御手段と、
前記学年データを前記撮像データあるいは前記検出した顔画像データと関連付けて表示するあるいはまた記録する手段と
を有することを特徴とする画像処理装置。
記憶手段に対応付けられて記憶された予め登録された人物の登録顔画像データと、少なくとも当該人物の生年月日データとを用いて行う画像処理方法であって、
撮像している時点の年月日データを生成する第１の工程と、
撮像データ内の顔画像データを検出する第２の工程と、
前記第２の工程で検出した前記顔画像データと、前記記憶手段に記憶された登録顔画像データとに基づいて、前記第２の工程で検出した前記顔画像データが当該登録顔画像データの人物に対応するものであるか否かを判定する第３の工程と、
前記第２の工程で検出した前記顔画像データが当該登録顔画像データの人物に対応するものであると前記第３の工程で判定した場合に、前記記憶手段から読み出した当該登録された人物の前記生年月日データと、前記撮像する時点の年月日データとからその時点の学年データを算出する第４の工程と、
前記学年データを前記撮像データあるいは前記検出した顔画像データと関連付けて表示するあるいはまた記録する第５の工程と
を有することを特徴とする画像処理方法。