JP5003666B2 - 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法 - Google Patents

Description

本発明は、人物像を含む動画像や静止画像を撮像する撮像装置、撮像方法、画像信号再生装置、および画像信号再生方法に関する。

ビデオカメラ等の撮像装置では、主たる被写体に焦点を合わせるオートフォーカス（ＡＦ）機能や、シャッター速度、絞りの大きさにより露光を調整するオートエキスポージャ（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等）を用いて補正し被写体をきれいに撮像することが可能である。また、焦点調整や露光調整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する被写体例えば人物がその対象として選択される。このような焦点調整や露光調整の対象となる被写体を特定する様々な技術が存在する。

画像上の人物を特定する方法としては、撮像した画像信号から顔情報を抽出し、予め登録された登録顔情報と比較することにより、抽出した顔が登録顔情報と一致するかどうかを判定する技術が知られている（例えば、特許文献１）。かかる技術を利用して、施設への入場認証などが実施されている。

また、上記の顔認証の技術を電子カメラへ応用し、予め登録しておいた人物の顔情報を元に顔認識を行い主要被写体となる人物を指定し、その主要被写体の表情などの情報を活用して、各種の処理を行う技術も考案されている（例えば、特許文献２）。
特開２００７−３３４６２３号公報 特開２００７−２８２１１９号公報

例えば、子供の運動会を撮像する際に、比較的離れた場所で競技をしている複数の子供たちの中から自分の子供を探し出すことが容易ではない場合がある。特に、小型軽量化が望まれる撮像装置においては、液晶モニターやビューファインダも小型化され、実際の撮像画素と比較して非常に粗い画像が出力されるので、離れた場所の子供の顔は非常に小さく表示されてしまい、複数の子供たちから自分の子供を見つけ出すのは困難となる。

また、ズーム機能を利用すれば子供の顔を認識できるかもしれないが、撮像中のズームはある程度の技能を要し、撮像になれていないと意に反した被写体を捉えることも多く、自分の子供がフレームアウトしてしまいその撮像機会を逃し、再生時には無関係の人物をズームで見ることになるなど、不本意な思いを感じることもあった。

本発明は、このような課題に鑑み、モニター上に表示されている複数の人物から所定の人物（家族、知人、または不審者等）を容易に特定することが可能な撮像装置、撮像方法、画像信号再生装置および画像信号再生方法を提供することを目的としている。

上記課題を解決するために、本発明の撮像装置の代表的な構成は、複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて記憶する記憶部と、被写体像を光電変換し画像信号を生成する撮像素子と、画像信号における画面内の１または複数の顔を抽出する顔抽出部と、抽出された顔の特徴量を算出し、その算出した顔の特徴量と複数の特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と第１所定閾値とを比較する類似度比較部と、画面内において、最も高い類似度が第１所定閾値以上である顔またはその顔の周囲に、最も高い類似度の顔に対応する特定の人物に関連付けられた特定の図形を、最も高い類似度に対応した色彩、模様、又は大きさの少なくとも何れかを施して重畳する画像重畳部と、図形を重畳した画像信号を出力する画像出力部と、である。

本発明において撮像装置は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物の特徴量との類似度を算出し、最も高い類似度が第１所定閾値以上の場合、当該類似度の類比対象である特定の人物の顔の特徴量に関連付けられた図形を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物の顔が例えば小さすぎて見分け難い状況であっても、その図形により所望する人物を容易に視認、特定することができる。さらに、予め複数の人物の顔が記憶されている場合において、画面内に表示されている人物が、その記憶されているどの人物に該当するかを、把握された図形によって識別できる。そして、特定の人物の顔の特徴量に関連付けられた図形の示す顔を撮像対象として追いかけるだけで、想定していない人物をズームし誤って撮像してしまうといった事態を回避でき、被写体を画面内の適切な位置で確実に撮像することが可能となる。

類似度記憶部はさらに、第１所定閾値未満の類似度に応じた所定の図形を記憶しており、画像重畳部はさらに、画面内において、最も高い類似度が第１所定閾値未満である顔またはその顔の周囲に、最も高い類似度に対応した所定の図形を重畳してもよい。

類似度比較部はさらに、抽出された１の顔の類似度の中で最も高い類似度を第１所定閾値及び第１所定閾値よりも小さい第２所定閾値と比較し、画像重畳部はさらに、画面内において、最も高い類似度が第１所定閾値未満であって第２所定閾値より大きい顔またはその顔の周囲に、最も高い類似度に関連する類似度記憶部が記憶した第１所定閾値より小さく第２所定閾値より大きいことを示す所定の図形を重畳してもよい。
本発明において撮像装置は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物の特徴量との類似度を算出し、最も高い類似度が第１所定閾値より小さく第２所定閾値より大きい場合に、所定の図形、例えば「？」を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を直接見分けなくとも、その図形の示す顔が予め登録しておいた人物の顔に含まれない可能性があることを容易に識別することができる。例えば、イベントを記録する場合、運営スタッフの顔を予め登録しておくことで、運営スタッフではない一般の参加者の可能性がある顔を容易に特定し、一般の参加者を被写体として画面内の適切な位置で確実に撮像する確率を高めることができる。

類似度比較部はさらに、抽出された１の顔の類似度の中で最も高い類似度を第２所定閾値と比較し、画像重畳部はさらに、画面内において、最も高い類似度が第２所定閾値以下である顔またはその顔の周囲に、最も高い類似度に関連する類似度記憶部が記憶した第２所定閾値以下であることを示す所定の図形を重畳してもよい。

本発明において撮像装置は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物の特徴量との類似度を算出し、最も高い類似度が第２所定閾値以下の場合、所定の図形、例えば「×」を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を見分けなくとも、その図形の示す顔が予め登録しておいた人物の顔に含まれていないことを容易に認識できる。例えば、イベントの出席者の顔を予め登録しておくことで、出席者名簿に無い不明（不審）人物を容易に特定し、画面内の適切な位置でその不明人物を確実に撮像することが可能となる。

類似度記憶部はさらに、特徴量もしくは類似度が算出できない場合に、その旨を示す図形を記憶しており、画像重畳部はさらに、画面内において、特徴量もしくは類似度が算出できない顔又はその顔の周囲に、特徴量もしくは類似度が算出できない顔であることを示す所定の図形を重畳してもよい。

本発明において撮像装置は、画面内の顔の特徴量もしくは類似度が算出できない場合に、所定の図形、例えば「！」等を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を直接見分けなくとも、その図形により予め記憶された特定の人物かどうかの判別が難しい顔であることを容易に視認、特定することができる。そして、ユーザは、所望する人物を認識できなくともその図形の示す、所望する人物の可能性がある顔を撮像対象として追いかけることで、所望する人物を画面内の適切な位置で撮像する確率を高めることができる。

直前の所定数のフレームにおける１または複数の顔と現在のフレームにおける１または複数の顔との同一性を判断する同一性判断部をさらに備え、類似度算出部は、同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度も用いて、現在のフレームの１または複数の顔の類似度を算出してもよい。

本発明では、現在のフレームのみならず、直前の所定数前からの複数のフレームを参照して画面内の顔の類似度を算出している。詳細には、フレーム間の顔の同一性を判断し、同一と見なすことができる複数フレームに跨る顔それぞれの類似度を用い、被写体の類似度の算出精度を向上させる。かかる構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の類似度が不意に落ち込んでしまい図形が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した図形によって適切かつ確実に所望する被写体を撮像することが可能となる。

類似度算出部は、同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度との最大値を類似度として算出してもよい。

かかる構成により、被写体の動作や外的要因で瞬時的に類似度が落ち込むような場合においても、同一性の条件さえ満たせば、所定数前からのフレーム内で最大となる類似度を維持することができ、その類似度変動の影響を排除することができる。

同一性は、フレーム間の１または複数の顔と顔の画面内における距離に基づいて決定されてもよい。

このように、フレーム間の１または複数の顔と顔の画面内における距離が所定値より小さい場合、即ち、フレーム間で顔がほとんど移動していない場合、フレーム間の顔同士を同一人物と判断することができる。かかる構成により、フレーム間で同一と見なすことができる顔を確実に抽出することができ、安定した撮像を遂行することが可能となる。

同一性は、１または複数の顔のフレーム間の画面内における占有面積に基づいて決定されてもよい。

このように、顔のフレーム間の画面内における占有面積の差分が所定値よりも小さい場合、フレーム間の顔同士を同一人物と判断することができる。かかる構成により、フレーム間で同一と見なすことができる顔を確実に抽出することができ、安定した撮像を遂行することが可能となる。

図形は、１または複数の顔の類似度に応じて、色彩、模様または形状を変化させてもよい。

例えば、色彩を変化させる場合、より類似度の高い被写体の周囲に重畳する、特定の人物に関連付けられた図形の色を赤く、ある程度類似度が高い被写体の周囲に重畳する、特定の人物に関連付けられた図形の色を青く彩色させることで、ユーザに類似度を容易に把握させることができる。かかる構成により、ユーザは複数の顔の候補から、直感的かつ確実に適切な被写体を選択することが可能となる。また、特定の人物によく似た顔が複数存在し、その判別がつかない場合であっても、ユーザは、その被写体の周囲に重畳された図形に施された彩色から自己の判断で所望する人物を特定したり、複数の顔を全て画面内に収めたりして、所望する人物を欠落させることなくより確実に撮像することができる。

画像重畳部は、図形を画面内の人物の１または複数の顔と重ならない位置に重畳してもよい。

かかる構成により、例えば矢印等の図形が他の人物の顔に重なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全ての顔を認識できる状態で安定した撮像が可能となる。

本発明の撮像方法の代表的な構成は、複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて予め記憶し、被写体像を光電変換し画像信号を生成し、画像信号における画面内の１または複数の顔を抽出し、抽出された顔の特徴量を算出し、その算出した顔の特徴量と複数の特定の人物の顔の特徴量との類似度をそれぞれ算出し、類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを予め記憶し、抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と第１所定閾値とを比較し、画面内において、最も高い類似度が第１所定閾値以上である顔またはその顔の周囲に、最も高い類似度の顔に対応する特定の人物に関連付けられた特定の図形を、最も高い類似度に対応した色彩、模様、又は大きさの少なくとも何れかを施して重畳し、図形を重畳した画像信号を出力する。

上述した撮像装置における技術的思想に対応する構成要素やその説明は、当該撮像方法にも適用可能である。

本発明の画像信号再生装置の代表的な構成は、複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて記憶する記憶部と、取得した画像信号における画面内の１または複数の顔を抽出する顔抽出部と、抽出された顔の特徴量を算出し、その算出した顔の特徴量と複数の特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と第１所定閾値とを比較する類似度比較部と、画面内において、最も高い類似度が第１所定閾値以上である顔またはその顔の周囲に、最も高い類似度の顔に対応する特定の人物に関連付けられた特定の図形を、最も高い類似度に対応した色彩、模様、又は大きさの少なくとも何れかを施して重畳する画像重畳部と、図形を重畳した画像信号を出力する画像出力部と、である。

本発明において画像信号再生装置は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物の特徴量との類似度を算出し、最も高い類似度が第１所定閾値以上の場合に、当該類似度の類比対象である特定の人物の顔の特徴量に関連付けられた図形を用いてその顔をユーザに指し示す。かかる構成により、再生時において所定の人物を見分けなくとも、その図形によって所望する人物を特定することができ、画面内の部分ズーム機能を利用する場合においてもその対象を確実に指定することが可能となる。

本発明の画像信号再生方法の代表的な構成は、複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて予め記憶し、取得した画像信号における画面内の１または複数の顔を抽出し、抽出された顔の特徴量を算出し、その算出した顔の特徴量と複数の特定の人物の顔の特徴量との類似度をそれぞれ算出し、類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と第１所定閾値とを比較し、画面内において、最も高い類似度が第１所定閾値以上である顔またはその顔の周囲に、最も高い類似度の顔に対応する特定の人物に関連付けられた特定の図形を、最も高い類似度に対応した色彩、模様、又は大きさの少なくとも何れかを施して重畳し、図形を重畳した画像信号を出力する。

上述した撮像装置における技術的思想に対応する構成要素やその説明は、当該画像信号再生装置および画像信号再生方法にも適用可能である。

本発明では、人物の抽出処理やその追跡処理を装置内で完結せず、ユーザ自身がその人物を容易に特定できるようにその人物の顔の特徴量に関連付けられた図形を付し、実際の撮像または再生対象を何にするかの判断を敢えてユーザに委ねる。従って、本発明を用いることで、モニター上に表示されている複数の人物から所定の人物（家族、知人、または不審者等）を容易に特定することができ、ユーザは少なくともその特定情報に基づいて真に所望する画像を撮像または再生することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

小型軽量化が望まれる近年の撮像装置においては、液晶モニターやビューファインダも小型化され、その画像中の人物を特定するのが困難である。このようなモニターでは遠く離れた複数の被写体から、自分の子供など撮像したい人物を特定し、さらに追跡して撮像することは難しい。また、既存の画像信号再生装置では、画面が切り換わる度に所望する人物を見つけ出すのに時間を要したり、画面内の部分ズーム機能を利用する場合においてその対象を特定し難かったりする場合があった。

以下の実施形態では、上述のようにモニター上に複数の人物が小さく表示されていても、特定の人物を容易に識別することを目的としている。以下、実施形態の撮像装置の構成とその撮像装置を用いた撮像方法を述べ、その後で、画像信号再生装置の構成とその画像信号再生装置を用いた画像信号再生方法を述べる。

（第１の実施形態：撮像装置１００）
図１は、第１の実施形態における撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作部１０６と、モニターとしての液晶モニター１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角が調整される。また、野外、屋内、夜景等の撮像モードの切り換え入力などをユーザから受け付ける。さらに、ユーザはその液晶モニター１０８に表示された画像を参照し、実録される画像データを視認することができ、被写体を所望する位置および占有面積で捉えることが可能となる。本実施形態では、モニター（ディスプレイ）として液晶モニターを例に挙げたが、液晶モニターに限らず、有機ＥＬ(Electro Luminescence)モニター、ＬＥＤ（Light Emitting Diode）モニターなどで構成されてもよい。

図２は、第１の実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御部１３４とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０および撮像制御部１３４はシステムバス１３６を介して接続されている。

撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いられるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、撮像レンズ１０４を通じて入射する被写体像などの光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４６、撮像素子１４６からの画像信号を増幅する増幅器１４８、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ変換器１５０、フォーカスレンズ１４２および絞り１４４の駆動を制御する駆動制御部１５２とその駆動回路１５４と、を含んで構成される。

信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均輝度を求めるなどして、その制御信号を駆動制御部１５２へ出力する。

画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させることができる。

画像処理部１２６は、画像記憶部１２４からの画像データをＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処理部１２６は、撮像制御部１３４の指示により画像データを縮小して表示用画像（ビュー画像）を生成する。一方、記録用のデータを再生する際には、画像処理部１２６は、圧縮された記憶用データを伸長復元する処理を実行する。

記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データストリーム）を生成し、その記憶信号を任意の記録媒体１５６に記録する。任意の記録媒体１５６としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。

メモリ装置１３２は、撮像制御部１３４で処理されるプログラムなどを記憶する。またメモリ装置１３２は、類似度テーブル１６０および人物テーブル１６２も有し、特徴量記憶部として機能し、ユーザが予め撮像した特定の人物の顔に関する特徴量を、ユーザが指定した図形に関連付けて人物テーブル１６２に記憶している。類似度テーブル１６０および人物テーブル１６２については後ほど詳述する。以下、単に「顔」とするところは画像信号から切り出し可能な顔全体を指し、「顔の位置」は顔の任意の点の画面内の相対位置を示し、「顔の占有面積」は顔が画面内を占有する面積を示す。

撮像制御部１３４は、半導体集積回路により撮像装置１００全体を管理および制御し、撮像などに必要となる各種演算を実行する。また、撮像制御部１３４は、顔抽出部１８０、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８としても機能する。

顔抽出部１８０は、撮像部１２０が取得した撮像画像のデータから顔を抽出する。そして、顔抽出部１８０は、抽出した顔からその顔の画面内における座標および占有面積と特徴点を導出し、顔の画面内における座標と占有面積の情報は、メモリ装置１３２に格納し、特徴点は、類似度算出部１８２に伝達する。抽出方法は、例えば、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の占有領域を抽出する。かかる特徴点の抽出処理において、顔の画面内における座標は特定できても、特徴点を抽出できない場合がある。例えば、顔の占有面積が極端に小さい、顔に焦点が合っていない、顔が正面以外を向いている、サングラスをかけている等の理由が考えられる。この場合、後述する座標特定部１８６に対して、当該顔から特徴点が抽出できないことを伝達する。特徴点の抽出から座標特定部１８６への伝達までの処理は、顔抽出部１８０において実行する場合に限らず、後述する類似度算出部１８２などで処理することとしてもよい。

類似度算出部１８２は、まず、顔抽出部１８０で抽出された顔と顔の特徴点からその顔の特徴量を算出する。特徴量は、顔を特徴付ける情報であり、顔の特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌の色、髪の色、髪の量等を用いて顔を特定する。次に、類似度算出部１８２は、ユーザに指定された１または複数の特定の人物の顔の特徴量をメモリ装置（特徴量記憶部）１３２の人物テーブル１６２から読み出し、特徴量を算出した１または複数の顔とそれぞれ比較して、特定の人物の顔と撮像された人物の顔との類似度を求める。類似度は２つの顔の画像の類比を示し、例えば０〜１００の値で表され、０だと別人、１００だと同一人物と判断することができる。

また、上述の特徴点の抽出処理と同様、顔の占有面積が極端に小さい、顔に焦点が合っていない、顔が正面以外を向いている、サングラスをかけている等の理由により、顔の特徴点からその顔の特徴量を算出できない、もしくは算出された特徴量が異常な値となり、類似度を算出できない場合がある。これらの場合、０から１００の数値と区別するため、類似度として０よりも小さい数値を出力する。本実施形態において、０よりも小さい数値としては−１を用いる。

図３は、類似度テーブル１６０および人物テーブル１６２を説明するための説明図である。図３（a）は類似度テーブル１６０の一例を示し、図３（ｂ）は人物テーブル１６２の一例を示す。図３（a）において、類似度テーブル１６０は、類似度２００と特定の人物２０８を示す指標（図形２０４）の色２０２および図形２０４を関連付けている。本実施形態では、後述する第１所定閾値を７０、第２所定閾値を５０としている。例えば、類似度算出部１８２から出力された類似度２００が−１であった場合（特徴量または類似度２００が算出できなかった場合）、図形２０４Ｅ「！」を表示する。類似度２００が０〜５０（第２所定閾値）であった場合は、図形２０４Ｆ「×」を表示する。さらに、類似度２００が５１〜６９の場合は、顔の特徴量は算出できているものの、類似度２００が低くかといって別人とも断定できない人物と見なすことができるため、図形２０４Ｇ「？」を表示する。また、類似度２００が７０〜７９であった場合人物テーブル１６２の図形２０４の色２０２を白で示し、８０〜８９であった場合は青で示し、９０〜１００であった場合は赤で示す。

図３（ｂ）において、人物テーブル１６２は、予め登録された特定の人物２０８Ａ、２０８Ｂ、２０８Ｃ、２０８Ｄの顔の特徴量と、その顔の特徴量にそれぞれ関連付けられた図形２０４を示している。ここでは、理解を容易にするため数値等で表される特徴量に代えて顔の画像を図示している。また、人物テーブル１６２では、ユーザが、登録された特定の人物２０８を液晶モニター１０８を通じて確認できるように、その特定の人物の名前２０６を図形２０４に関連付けている。

図形２０４としては、ダイヤ型、星型、ハート型、二重丸型を例に挙げたが、かかる場合に限られず、指差しマーク、音符記号等、様々な図形２０４を用いることができる。また特徴量と図形との関連付けは、予め用意された図形２０４をユーザが選択して為されてもよいし、ユーザが任意の図形２０４を描画して登録してもよいし、データとして外部から読み込んで為されてもよい。また、図３（a）において、「！」「×」「？」等で示した図形２０４Ｅ、２０４Ｆ、２０４Ｇについても同様に、ユーザは、任意の図形２０４を選択、描画、および読み込みによって設定できる。図３において説明した図形２０４は、各顔が確実に区別されるように、相互に異なる図形２０４であることが望ましい。

類似度比較部１８４は、まず、顔抽出部１８０によって抽出されたそれぞれの顔に関し、ユーザに指定された全ての特定の人物２０８に対して算出された類似度のうち、最も高い類似度を特定する。そして、類似度比較部１８４は、特定した類似度と予め設定された第１所定閾値および第２所定閾値とを比較し、類似度が、−１の場合、−１ではなく第２所定閾値以下の場合、第２所定閾値より大きく第１所定閾値より小さい場合、または第１所定閾値以上の場合、のどの区分に属するかを座標特定部１８６に伝達する。本実施形態では第１所定閾値を７０、第２所定閾値を５０としたが、かかる値に限定されずユーザは数値を任意に設定することができる。ただし、第１所定閾値は第２所定閾値以上の値である。

座標特定部１８６は、類似度比較部１８４から受け取った類似度が−１である場合、当該類似度と類似度テーブル１６０を参照して対応する図形２０４Ｅ「！」を、前述の顔抽出部１８０がメモリ装置１３２に保存した各顔の位置と占有面積のデータを参照して取得した、その撮像人物の顔の近傍でありかつ全ての撮像人物の顔を除いた領域の座標データと共に、画像出力部１３０に送信する。

同様に、座標特定部１８６は、類似度が−１ではなく第２所定閾値以下の場合、当該類似度と類似度テーブル１６０を参照して対応する図形２０４Ｆ「×」を、類似度が第２所定閾値より大きくかつ第１所定閾値より小さい場合、対応する図形２０４Ｇ「？」を、その撮像人物の顔の近傍で全ての撮像人物の顔を除いた領域の座標データと共に、画像出力部１３０に送信する。

さらに、座標特定部１８６は、類似度が第１所定閾値以上の場合、人物テーブル１６２を参照して、その最も高い類似度となった特定の人物２０８に関連付けられた図形２０４を、選択した顔の近傍で全ての撮像人物の顔を除いた領域の座標データと共に、画像出力部１３０に送信する。

画像出力部１３０は、画像重畳部１９０、Ｄ／Ａ変換器１９２を含んで構成される。画像重畳部１９０は、類似度算出部１８２から取得した色データの色２０２に着色された例えば星型（図形２０４）を、画像信号の座標特定部１８６から取得した座標に重畳する。かかる構成により、ユーザは複数の顔の候補から、直感的かつ確実に所望する被写体を確認することが可能となる。例えば、より類似度の高い被写体の周囲に重畳する図形２０４の色２０２を赤く、ある程度類似度が高い被写体の周囲に重畳する図形２０４の色２０２を青く彩色させることで、ユーザに特定の人物であることの確からしさまで把握させることができる。

こうして、特定の人物２０８によく似た顔が複数存在し、その複数の顔に同じ図形が表示されてどれが所望する顔か判別がつかない場合であっても、ユーザは、その被写体の周囲に重畳された図形２０４に施された彩色から自己の判断で所望する人物を特定したり、複数の顔を全て画面内に収めたりして、所望する人物を欠落させることなくより確実に撮像することができる。

本実施形態では、図形２０４の色２０２で類似度の高さを示したが、図形２０４の模様または形状（大きさ）を変化させるようにしてもよいし、類似度をそのまま数字で表示するようにしてもよい。また、人物や顔自体の色２０２や明るさを変えるなどして、類似度の高さを示してもよい。

さらに、類似度算出部１８２から取得した座標データは、図形２０４を画面内の人物の顔と重ならない位置になるように計算した値のため、画像重畳部１９０は図形２０４を画面内の全ての人物の顔と重ならない位置に重畳する。かかる構成により、その図形２０４が他の人物の顔に重なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全ての顔を認識できる状態で安定した撮像が可能となる。

Ｄ／Ａ変換器１９２は、画像記憶部１２４から取得したデジタルの画像データを視聴可能な画像信号に加工して、液晶モニター１０８に出力する。その画像データは、画像重畳部１９０が重畳した図形２０４などの画像信号を含む。撮像者（ユーザ）は、かかる液晶モニター１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先を液晶モニター１０８としたが、画像出力部１３０は、外部に画像出力を行うための映像端子を有しているため、別体のモニター等様々な画像表示装置に接続することも可能である。

以下、撮像装置１００の具体的な処理動作を説明する。

図４は、液晶モニター１０８における人物判別のための図形２０４の重畳について説明した説明図である。ここでは、撮像対象としてサッカーの試合が想定され、撮像した画像を映し出す液晶モニター１０８にはサッカー選手である人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆ、３０８Ｇが映し出されている。実際に撮像された画像信号は解像度が高いが、ここでは、液晶モニター１０８が小さいため、かかる人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆ、３０８Ｇの識別が困難であったとする。

ユーザは、予め特定の人物２０８Ａ、２０８Ｂ、２０８Ｃ、２０８Ｄの画像を撮像装置１００の人物テーブル１６２に登録しておき、撮像する前にその中で撮像を所望する特定の人物２０８Ａ、２０８Ｃを探し出すように撮像装置１００に指示を与える。撮像装置１００は、抽出した顔との比較対象として特定の人物２０８Ａ、２０８Ｃを類似度算出部１８２に伝達する。

顔抽出部１８０は、特徴点抽出処理により人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Fの顔を抽出し、その顔の位置、占有面積および特徴点を導出して、顔の位置と占有面積の情報をメモリ装置１３２に格納し、顔と特徴点を類似度算出部１８２に伝達する。人物３０８Ｇについては、顔が液晶モニター１０８にほとんど表示されていないため、顔抽出部１８０が顔として認識することができない。

類似度算出部１８２は、ユーザに指定された特定の人物２０８の特徴量をメモリ装置１３２の人物テーブル１６２から読み出し、さらに、顔抽出部１８０から伝達された顔と特徴点に基づいて抽出された顔の特徴量を算出し、算出結果の各人の特徴量と、読み出した特定の人物２０８Ａ、２０８Ｃの特徴量とを比較して、各特定の人物２０８Ａ、２０８Ｃの顔の画像との類比を示した類似度を算出する。そして、算出した類似度を顔抽出部１８０から伝達された顔毎にメモリ装置１３２に格納する。類似度比較部１８４は、顔抽出部１８０から伝達された顔毎に、ユーザに指定された全ての特定の人物２０８（２０８Ａ、２０８Ｃ）に対して最も高い類似度を特定する。

例えば、人物３０８Ａの顔については、特定の人物２０８Ａに対する類似度が８５、特定の人物２０８Ｃに対する類似度が３５であったとする。類似度比較部１８４は、人物３０８Ａの最も高い類似度が特定の人物２０８Ａに対する類似度である８５と特定し、第１所定閾値７０を比較し、類似度の方が大きいと判断する。座標特定部１８６は、類似度テーブル１６０を参照して取得したこの類似度に応じた青の色データと、人物テーブル１６２を参照して取得した当該人物３０８Ａに関連付けられた図形２０４であるダイヤ型を示す図形データと、人物３０８Ａの顔の近傍で人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆの顔の占有領域を除いた領域の座標データとを、画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データ、座標データ、および図形データから、青色のダイヤ型の図形２０４Ａを画像データに重畳して液晶モニター１０８に表示する。

人物３０８Ｂの顔については、特定の人物２０８Ａに対する類似度が３５、特定の人物２０８Ｃに対する類似度が３５であったとする。類似度比較部１８４は、人物３０８Ａの最も高い類似度として、特定の人物２０８Ａ、２０８Ｂに対する３５を第２所定閾値５０と比較して類似度の方が小さく、さらに−１ではないと判断する。そして座標特定部１８６は、類似度テーブル１６０を参照して取得したこの類似度に応じた黒の色データおよび図形２０４Ｆ「×」を示す図形データと、人物３０８Ｂの顔の近傍で人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆの顔の占有領域を除いた領域の座標データとを、画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データ、座標データ、および図形データから、黒色の図形２０４Ｆ「×」を画像データに重畳して液晶モニター１０８に表示する。

人物３０８Ｃの顔については、特定の人物２０８Ａに対する類似度が４５、特定の人物２０８Ｃに対する類似度が９５であったとする。類似度比較部１８４は、人物３０８Ｃの最も高い類似度として、特定の人物２０８Ｃに対する類似度である９５と第１所定閾値７０を比較し、類似度の方が大きいと判断し、座標特定部１８６は、赤色の色データと、ハート型を示す図形データと、図形を重畳させる座標データとを、画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データ、座標データ、および図形データから、赤色（ハッチングで図示）のハート型の図形２０４Ｃを画像データに重畳して液晶モニター１０８に表示する。

さらに、人物３０８Ｅに関しては、類似度を計算することができないので、特定の人物２０８Ａおよび特定の人物２０８Ｃに対する類似度が−１となる。画像重畳部１９０は、黄色の「！」の図形２０４Ｅを人物３０８Ｅの顔の周囲に重畳する。

また、人物３０８Ｆに関しては、特定の人物２０８Ａに対する類似度が４０、特定の人物２０８Ｃに対する類似度が６０であったとする。類似度比較部１８４は、人物３０８Ｆの最も高い類似度として、特定の人物２０８Ｃに対する類似度である６０と、第１所定閾値７０および第２所定閾値５０とを比較し、類似度が第２所定閾値より大きくかつ第１所定閾値より小さいと判断し、類似度テーブル１６０を参照しこの類似度に応じた図形２０４Ｇ「？」の図形データと人物の顔の近傍で人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆの顔の占有領域を除いた領域の座標データを画像重畳部１９０に送信する。画像重畳部１９０では、送信された図形データと座標データから、「？」の図形２０４Ｇを画像データに重畳して液晶モニター１０８に表示する。

以上の処理は、撮像中の毎フレームで行われるとしてもよい。撮像制御部１３４は、フレームに同期したパルス信号をトリガに処理を遂行してもよいし、フレーム周期をカウントするタイマー部１８８（図２参照）のカウント値に基づいて処理を遂行してもよい。

本実施形態の撮像装置１００は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物２０８の特徴量との類似度を算出し、最も高い類似度が第１所定閾値以上の場合、当該類似度の類比対象である特定の人物２０８の顔の特徴量に関連付けられた図形２０４を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物の顔が例えば小さすぎて見分け難い状況であっても、その図形２０４により所望する人物を容易に視認、特定することができる。さらに、予め複数の人物の顔が記憶されている場合において、画面内に表示されている人物が、その記憶されているどの人物に該当するかを、把握された図形２０４によって識別できる。そして、特定の人物２０８の顔の特徴量に関連付けられた図形２０４の示す顔を撮像対象として追いかけるだけで、想定していない人物をズームし誤って撮像してしまうといった事態を回避でき、被写体を画面内の適切な位置で確実に撮像することが可能となる。

同様に、本実施形態の撮像装置１００は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物２０８の特徴量との類似度を算出し、最も高い類似度が第２所定閾値以下の場合、所定の図形２０４、例えば「×」を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を見分けなくとも、その図形２０４Ｆの示す顔が予め登録しておいた人物の顔に含まれていないことを容易に認識できる。例えば、イベントの出席者の顔を予め登録しておくことで、出席者名簿に無い不明（不審）人物を容易に特定し、画面内の適切な位置でその不明人物を確実に撮像することが可能となる。

さらに、本実施形態の撮像装置１００は、画面内の顔の特徴量もしくは類似度が算出できない場合に、所定の図形２０４、例えば「！」等を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を直接見分けなくとも、その図形２０４Ｅにより予め記憶された特定の人物２０８かどうかの判別が難しい顔であることを容易に視認、特定することができる。そして、ユーザは、所望する人物を認識できなくともその図形２０４Ｅの示す、所望する人物の可能性がある顔を撮像対象として追いかけることで、所望する人物を画面内の適切な位置で撮像する確率を高めることができる。

また、本実施形態の撮像装置１００は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物２０８の特徴量との類似度を算出し、最も高い類似度が第２所定閾値より大きくかつ第１所定閾値より小さい場合、場合に、所定の図形２０４、例えば「？」を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、撮像中、画面内の複数の人物を直接見分けなくとも、その図形２０４Ｇの示す顔が予め登録しておいた人物の顔に含まれない可能性があることを容易に識別することができる。例えば、イベントを記録する場合、運営スタッフの顔を予め登録しておくことで、運営スタッフではない一般の参加者の可能性がある顔を容易に特定し、一般の参加者を被写体として画面内の適切な位置で確実に撮像する確率を高めることができる。

（撮像方法）
図５は、第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。

ユーザが予め登録しておいた特定の人物２０８の画像から１または複数の特定の人物２０８を指定し（Ｓ４００）、撮像を開始すると（Ｓ４０２のＹＥＳ）、撮像部１２０で取得した画像信号は信号処理部１２２、画像記憶部１２４を経て撮像制御部１３４の顔抽出部１８０に伝達され、顔抽出部１８０は画像データから顔を抽出する（Ｓ４０４）。

顔が１つも抽出されない場合（Ｓ４０６のＮＯ）処理を終了する。顔が少なくとも１つ以上抽出されると（Ｓ４０６のＹＥＳ）、抽出されたそれぞれ顔について、以下の処理を繰り返し実行する。

まず、類似度算出部１８２は、抽出した顔から特徴量を算出する（Ｓ４０８）。以下、ユーザが指定した特定の人物２０８が複数ある場合はそのうちの１人について、１人しか指定されていなければその１人の特定の人物２０８について、特徴量をメモリ装置１３２の人物テーブル１６２から取得し、抽出した顔および特定の人物２０８の両者の特徴量から類似度を算出する（Ｓ４１０）。特徴量の算出、類似度の算出が行えない場合、類似度の算出計算の出力値を−１とする。

続いて、当該抽出された顔に対して、ユーザに指定された全ての特定の人物２０８との類似度が算出されたかどうか判断され（Ｓ４１２）、まだ算出されていない特定の人物２０８が残っていれば（Ｓ４１２のＹＥＳ）、各特定の人物２０８について上述の処理を繰り返す。ユーザに指定された全ての特定の人物２０８との類似度が算出されると（Ｓ４１２のＮＯ）、未処理の抽出された顔が残っているかどうか判断され（Ｓ４１４）、未処理の顔が残っていれば（Ｓ４１４のＹＥＳ）、各抽出された顔について、類似度の算出（Ｓ４１０）を繰り返す。

抽出された全ての顔に対して、ユーザに指定された全ての特定の人物２０８との類似度が算出されると（Ｓ４１４のＮＯ）、類似度比較部１８４は、抽出された各顔の最大の類似度と、その類比対象である特定の人物２０８を特定する（Ｓ４１６）。

続いて、抽出された全ての顔について以下の処理を行う。類似度比較部１８４が特定した最大の類似度が−１の場合（Ｓ４１８のＹＥＳ）、座標特定部１８６は、類似度テーブル１６０を参照して対応する黄色の図形２０４Ｅ「！」のデータを取得する（Ｓ４２０）。

また、類似度が−１ではなく（Ｓ４１８のＮＯ）第２所定閾値以下である場合（Ｓ４２２のＹＥＳ）、座標特定部１８６は、類似度テーブル１６０を参照して対応する黒色の図形２０４Ｆ「×」のデータを取得する（Ｓ４２４）。

さらに、類似度が第２所定閾値以下ではなく（Ｓ４２２のＮＯ）、第２所定閾値より大きくかつ第１所定閾値より小さい場合（Ｓ４２６のＹＥＳ）、座標特定部１８６は、類似度テーブル１６０を参照して対応する灰色の図形２０４Ｇ「？」のデータを取得する（Ｓ４２８）。

続いて、第１所定閾値以上の場合（Ｓ４２６のＮＯ）、座標特定部１８６は、類似度テーブル１６０および人物テーブル１６２を参照して対応する色データと、当該類似度の類比対象である特定の人物２０８に関連付けられた図形２０４のデータを取得する（Ｓ４３０）。

そして、座標特定部１８６は、当該顔の座標近傍で他の顔が重ならない座標を算出する（Ｓ４３２）。画像重畳部１９０は、液晶モニター１０８に表示する画面内の、算出された座標位置にその色２０２の図形２０４を重畳する（Ｓ４３４）。そして、未処理の顔が無くなると（Ｓ４３６のＮＯ）、当該撮像方法を終了する。以上の処理を、フレーム毎に実行する。

上述したように、本実施形態では人物の抽出処理やその追跡処理を撮像装置１００内で完結せず、ユーザ自身がその人物を容易に特定できるようにその人物の顔の特徴量に関連付けられた図形２０４を付し、実際の撮像対象を何にするかの判断を敢えてユーザに委ねる。従って、本実施形態を用いることで、モニター上に表示されている複数の人物から所定の人物（家族、知人、または不審者等）を容易に特定することができ、ユーザは少なくともその特定情報に基づいて真に所望する画像を撮像することが可能となる。

（第２の実施形態：撮像装置５００）
第１の実施形態では、フレーム毎に類似度を算出して、その結果に基づいて液晶モニター１０８の画像に図形２０４を重畳していた。この方法では、顔の向きや表情の変化に応じてフレーム毎に類似度が変化する場合があり、その変化とともに類似度に応じた図形２０４（形状や色２０２、数字など）が変化し、ユーザがわずらわしい思いをする可能性がある。

第２の実施形態では、現在のフレームのみならず、直前の所定数前からの複数のフレームを参照して安定した類似度を算出し、表示させる図形２０４の変化を抑え、ユーザに与えるわずらわしさを軽減することができる。

図６は、第２の実施形態における撮像装置５００の構成を示すブロック図である。撮像装置５００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御部５０２とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０および撮像制御部５０２はシステムバス１３６を介して接続されている。

上記撮像部１２０、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０、メモリ装置１３２は、第１の実施形態において述べた構成要素と実質的に機能が同一なので、重複説明を省略し、ここでは、構成が相異する撮像制御部５０２を主に説明する。

撮像装置５００は、撮像装置１００と異なり撮像制御部５０２に距離算出部５０４と同一性判断部５０６とが設けられている。距離算出部５０４は、メモリ装置１３２から前フレームと現フレームの顔の画面内における位置（具体的には座標で表される）と占有面積の情報を読み出し、現フレームの顔の位置と前フレームの全ての顔の位置との距離を算出する。例えば、液晶モニター１０８の左下隅を原点として、原点から水平方向にＸ１画素、垂直方向にＹ１画素の座標にある顔と、同じく原点から水平方向にＸ２画素、垂直方向にＹ２画素の座標にある顔の距離Ｄは、Ｄ＝√（（Ｘ１−Ｘ２）^２＋（Ｙ１−Ｙ２）^２）で算出される。

同一性判断部５０６は、撮像した時刻が前後する例えばフレームＡ、フレームＢ（撮像時刻順）について、フレームＡに含まれる全ての顔と、フレームＢに含まれる全ての顔について同一性を判断する。同一性は、撮像した時間の異なる２つのフレームに含まれる顔がそれぞれ同一人物であると見なせるかどうかを示す。

また、本実施形態において同一性は、フレーム間の１または複数の顔と顔の画面内における距離、および１または複数の顔のフレーム間の画面内における占有面積に基づいても判断される。ここでは、前者を距離の同一性、後者を面積の同一性とする。

距離の同一性は、距離算出部５０４が算出したフレーム間における顔の画面内における距離から判断され、フレームＢに含まれるある顔と、フレームＡの全ての顔との距離が、予め設定された第１所定値より大きい場合、距離の同一性がないと判断され、その顔は同一ではない、またはフレームＡには存在しなかった顔と見なす。かかる顔に関する既存の類似度はそのフレームＢの人物の類似度算出の際には参照されない。

フレーム間における顔の画面内における距離が第１所定値以下であった場合、同一性判断部５０６は、２つの顔の面積の同一性を判断する。面積の同一性は、顔抽出部１８０が導出したフレームＡ、フレームＢそれぞれの画面内における各人物の顔の占有面積の差分の絶対値から判断される。顔の占有面積の差分の絶対値が予め設定された第２所定値よりも大きい場合、面積の同一性がないと判断され、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際には参照されない。顔の占有面積の差分の絶対値が予め設定された第２所定値よりも小さい場合、面積の同一性があると判断され、２つの顔は同一人物の顔とされ、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際に参照される。

面積の同一性を使用することで、例えば、フレームＡにおいて被写体が撮像装置５００から遠くに離れて位置しており、フレームＢにおいて同じ位置であるが、撮像装置５００に近い位置に別の被写体が現れた場合でも、遠近法に従い画面内における顔の占有面積が異なるため、同一性判断部５０６は同一性がないと判断し、正しく別人と判断できる。

このように、フレーム間の画面内における１または複数の顔と顔の距離が所定値より小さく、かつ画面内における占有面積の差分の絶対値が所定値よりも小さい場合、フレーム間の顔同士を同一人物と判断することができ、フレーム間で同一と見なすことができる顔を確実に抽出し、結果、安定した撮像を遂行することが可能となる。

また、同一性判断部５０６は、画面内における顔の距離や占有面積に限らず、フレーム間の顔の光量や特徴量等も考慮に入れて同一性を判断してもよい。かかる構成により、人物の追跡性能を向上させることが可能となる。

図７は、第２の実施形態における図形２０４の重畳について説明した説明図である。図７（a）は、ある時間に撮像された画像である。図７（b）は、図７（a）から１フレーム後の時間に撮像された画像である。ここでは、図７（a）の画像をフレームＡとし、図７（b）の画像をフレームＢとし、フレームＢに撮像されている人物３０８それぞれについての類似度を算出する際の手順を説明する。ただし、フレーム間の撮像対象の位置の変位を明確に示すため１フレームの時間を長くとっている。

距離算出部５０４は、フレームＢに含まれる人物３０８Ｈ、３０８Ｉ、３０８Ｊ、３０８Ｋ、３０８Ｌ、３０８Ｍそれぞれについて、フレームＡに含まれる人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆそれぞれとの画面内における距離を算出する。

続いて、同一性判断部５０６は、距離算出部５０４が算出した画面内における各距離と第１所定値とを比較して距離の同一度を判断する。フレームＢの人物３０８Ｈの顔の位置とフレームＡの人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅの顔の位置との画面内の距離を算出して、それぞれ所定距離と比較する。このとき、人物３０８Ｈの顔の位置とフレームＡの人物３０８Ａの顔の位置との画面内における距離が第１所定値よりも小さくなる。従って、フレームＡ、Ｂ間で顔がほとんど移動していないこととなり、距離の同一性があると判断される。

次に人物３０８Ｈの画面内における顔の占有面積と人物３０８Ａの画面内における顔の占有面積の差の絶対値を計算し、面積の同一性を判断する。面積の差分の絶対値が第２所定値よりも小さいため面積の同一性があると判断される。

ここでは、距離の同一性と面積の同一性との条件を両方満たしているため、同一性判断部５０６は、フレームＢの人物３０８ＨとフレームＡの人物３０８Ａは同一人物であると判断し、人物３０８Ｈに関連付けて人物３０８Ａの類似度をメモリ装置１３２に記憶する。

同様に、同一性判断部５０６は、人物３０８Ｉの顔と人物３０８Ｂの顔、人物３０８Ｊの顔と人物３０８Ｃの顔、人物３０８Ｋの顔と人物３０８Ｅの顔、人物３０８Ｌの顔と人物３０８Ｆの顔がそれぞれ同一人物の顔であると判断し、それぞれの類似度を関連付けてメモリ装置１３２に記憶する。

人物３０８Ｍの顔の場合、フレームＢにおいて初めて顔が認識されるため、人物３０８Ａ、３０８Ｂ、３０８Ｃ、３０８Ｅ、３０８Ｆのどの顔の位置とも離れており、距離が第１所定値より大きいため、距離の同一性はないと判断される。そのためフレームＡには人物３０８Ｍと同一人物はいないと判断し、人物３０８Ｍの類似度を算出する際、フレームＡの類似度は参照しない。

同一性判断部５０６は、現在のフレームから例えば２９フレーム前のフレームまで、連続する２つのフレームを比較して、撮像時刻が新しいものから古いものへ順次、同様の処理を繰り返す。ここでは説明を簡単にするため、２フレームより前の処理は省略する。

例えば、処理を進めていく中でフレームＢ（現在のフレーム）に含まれる人物３０８と同一と判断される人物３０８が存在しないフレームＣがあった場合、フレームＣ以前にはその人物３０８は存在しないと判断し、当該人物３０８についての距離算出部５０４による距離算出処理、同一性判断部５０６による同一性判断処理は行わない。

従って、類似度算出部１８２は、フレームＢの人物３０８Ｍの類似度を算出する際、２９フレーム前までの類似度を参照するが、同一人物と判断される人物がいなかったため、類似度は、フレームＢの人物３０８Ｍのみが持つ特徴量から算出された値となる。ここでは、特定の人物２０８Ａ、２０８Ｃそれぞれに対する類似度がどちらも２０であり、黒色の図形２０４Ｆ「×」が画像データに重畳されている。

一方、人物３０８Ｈの類似度は、フレームＡやそれ以前のフレームで同一人物と判断される人物３０８Ａが存在するため、メモリ装置１３２に登録されている人物３０８Ａの類似度やそれ以前のフレームで同一人物と判断された人物３０８の類似度を全て参照して特定される。類似度算出部１８２は、参照した全ての類似度から最大となる類似度（過去最大の類似度）を特定し、その過去最大の類似度をフレームＢの人物３０８Ｈの、特定の人物２０８Ａに対する類似度とする。

類似度比較部１８４は、顔抽出部１８０によって抽出されたそれぞれの顔に関して、類似度算出部１８２が特定した過去最大の類似度を参照した上で、ユーザに指定された全ての特定の人物２０８（２０８Ａ、２０８Ｃ）に対する類似度のうち、最も高い類似度を特定する。そして、特定した類似度と第１所定閾値および第２所定閾値と比較する。人物３０８Ｈの顔の場合、例えば、フレームＢのみの比較では最大の類似度は特定の人物２０８Ａに対する類似度である５５であったが、上述のように以前のフレームを参照したところ、過去最大の類似度が特定の人物２０８Ａに対する類似度９５であったとする。

座標特定部１８６は、類似度テーブル１６０を参照し、この過去最大の類似度に応じた色データ（赤色）と、人物３０８Ｈの顔の近傍で人物３０８Ｈ、３０８Ｉ、３０８Ｊ、３０８Ｋ、３０８Ｌ、３０８Ｍの顔の占有領域を除いた領域の座標データを画像重畳部１９０に送信する。画像重畳部１９０は、送られてきた色データ、図形データ、座標データから、赤色（ハッチングで図示）の図形２０４Ａを画像データに重畳して液晶モニターに表示する。

同様に、人物３０８Ｊについては、フレームＢでは顔が下を向き過ぎており特徴量が得られず類似度が−１となったが、上述のように以前のフレームを参照したところ、過去最大の類似度がフレームＡにおける特定の人物２０８Ｃに対する類似度である９５であったとする。するとフレームＢにおける類似度は９５となり、画像重畳部１９０は、フレームＡにおいて重畳した赤色の図形２０４Ｃと同じ図形２０４Ｃを画像データに重畳して液晶モニターに表示する。

人物３０８Ｉ、人物３０８Ｋ、人物３０８ＬもフレームＡの人物３０８Ｂやそれ以前のフレームで同一人物と判断された人物３０８の顔の類似度を参照し、その最大値をフレームＢの類似度とする。ここでは、フレームAおよびフレームBにおける類似度の変動が少なく、フレームBにはフレームAにおいて重畳した図形２０４と同じ図形２０４を重畳したものとする。

上述したように、例えば、現在のフレームＢと過去２９フレームに渡って、同一人物であると判断される顔がある場合、過去２９フレームにおける類似度と、当該抽出された顔と現在のフレームＢにおける、ユーザによって指定された特定の人物２０８Ａ、２０８Ｃそれぞれとの類似度、計３１個の類似度の中で最も高い類似度と、その類比対象である特定の人物２０８を特定する。ただし、過去のフレームにおける類似度を参照するときは、当該過去のフレームにおいて抽出された顔の特徴量から算出された類似度のみを対象とし、当該過去のフレームが参照したさらに以前のフレームにおける類似度は対象外とする。つまり、参照とするのはあくまで過去２９フレームまでであり、それ以前のフレームの類似度は、現在の類似度を算出するときには反映しない。

このように、現在のフレームのみならず、直前の２９フレーム前からの複数のフレームを参照して画面内の顔の類似度を算出し、被写体の類似度の算出精度を向上させる。かかる構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の類似度が不意に落ち込んでしまい図形２０４が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した図形２０４によって適切かつ確実に所望する被写体を撮像することが可能となる。

さらに、類似度算出の際、距離の同一性と面積の同一性があると判断された、直前の２９のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度との最大値を類似度として算出することで、被写体の動作や外的要因で瞬時的に類似度が落ち込むような場合においても、所定数前からのフレーム内で最大となる類似度を維持することができ、その類似度変動の影響を排除することができる。

なお、本実施例ではフレーム間での人物の同一性の判断に、距離の同一性および面積の同一性を用いた。人物の同一性の判断には、これ以外にも、非特許文献「映像情報メディア学会誌Vol.62,のＮＯ.6,pp849〜855」に解説されている物体追跡法（例えば、Particl Filterによる物体追跡）を用いて、追跡が有効にできている場合を同一人物と判断するようにしても良い。

（撮像方法）
図８は、第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。第１の実施形態において図５を用いて既に説明した処理に関しては、同一の符号を付しその説明を省略する。

図５における最大の類似度特定ステップ（Ｓ４１６）は、図８では、過去の最大の類似度特定ステップ（Ｓ６００）および、過去の最大の類似度を含めた最大の類似度特定ステップ（Ｓ６５０）に置き換えている。

第１の実施形態における撮像方法と異なり、第２の実施形態における撮像方法では、直前の複数フレームにおける過去の最大の類似度（Ｓ６００で特定）と、現在のフレームの類似度から、最大の類似度を特定し（Ｓ６５０）、重畳する図形２０４や色２０２を判断する。こうして、本来の類似度が不意に落ち込んでしまい図形２０４が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した図形２０４によって適切かつ確実に所望する被写体を撮像することが可能となる。

図９は、図８における過去の最大の類似度特定ステップ（Ｓ６００）の具体的な処理の流れを示したフローチャートである。

第１の実施形態と同様に、ユーザが指定した特定の人物２０８の特徴量をメモリ装置１３２の人物テーブル１６２から取得し、現在のフレームの顔の１つから取得した特徴量との類似度を算出する（Ｓ６０２）。

さらに、メモリ装置１３２から１つ前のフレームの各顔の画面内における座標や占有面積などの情報を取得する（Ｓ６０４）。距離算出部５０４は、当該顔と各顔の相対距離をその座標から算出し（Ｓ６０６）、距離の同一性を判断する。距離の同一性がある顔があった場合（Ｓ６０８のＹＥＳ）、距離の同一性がある顔すべてについて、占有面積の差の絶対値から面積の同一性を判断する。面積の同一性があれば（Ｓ６１０のＹＥＳ）、面積の同一性がある顔すべてを同一人物と判断し、それぞれ対応する顔の１つ前のフレームの類似度を最新のフレームの類似度と関連付けて保存する（Ｓ６１２）。

１つ前のフレームに含まれるすべての顔との距離の同一性がなかったり（Ｓ６０８のＮＯ）、すべての顔との占有面積の同一性がなかったりした場合（Ｓ６１０のＮＯ）、その前フレームには当該人物は存在せず、最新のフレームから当該人物が現れたと判断しそれ以上過去のフレームは参照しない。

前のフレームの類似度を保存した（Ｓ６１２）後、その時点で現在のフレームから２９フレーム前のフレームまで処理を行ったかどうか判定され（Ｓ６１４）、２９フレームに至っていない場合（Ｓ６１４のＹＥＳ）、さらに１つ前のフレームの情報を取得し（Ｓ６０４）、直前まで処理していた２フレームのうち古いフレームと比較して、最大２９フレーム分の類似度を導出する。

現在のフレームから２９フレーム前のフレームまで処理を完了した場合（Ｓ６１４のＮＯ）、または同一人物がフレームに存在せず２９より少ないフレームまでで処理を終えた場合（Ｓ６１４のＹＥＳ）は、Ｓ６１２でメモリ装置１３２に登録した類似度を全て参照し、類似度の最大値を特定する（Ｓ６１６）。

かかる撮像方法においては、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の類似度が不意に落ち込んでしまい図形２０４が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した図形２０４によって適切かつ確実に所望する被写体を撮像することが可能となる。

（第３の実施形態：画像信号再生装置７００）
図１０は、本実施形態にかかる画像信号再生装置７００の構成を示すブロック図である。画像信号再生装置７００は、操作部７０２と、メモリ装置１３２と、画像記憶部１２４と、画像出力部１３０と、画像取得部７０４と、画像処理部７０６と、再生制御部７０８とを含んで構成される。なお、画像記憶部１２４、画像取得部７０４、画像処理部７０６、再生制御部７０８、画像出力部１３０は、システムバス１３６を介して接続されている。上記画像記憶部１２４、画像出力部１３０、メモリ装置１３２は、第１の実施形態において既に述べた画像記憶部１２４、画像出力部１３０、メモリ装置１３２と実質的に機能が同一なので重複説明を省略し、ここでは画像信号再生装置７００で構成が相違する点を主に説明する。

上述した撮像装置１００および５００は、自機と一体に構成された液晶モニター１０８を通じて画像を表示したが、画像信号再生装置７００は、別体としての構成される外部のモニター７２２を通じて、画像を表示する。ただし、撮像装置１００および５００と同様に、モニター７２２も画像信号再生装置７００と一体に構成してもよい。

操作部７０２は、ユーザ入力に応じて再生、停止、早送り、巻き戻しなどの操作を受け付ける。また、本実施形態では、撮像装置１００と同様に、ユーザが画面内で探し出したい特定の人物２０８を指定する際にも用いられる。

画像取得部７０４は、ＤＶＤやＨＤなどの記録媒体７２０からＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮された画像データを取得する。画像処理部７０６は、画像取得部７０４から圧縮された画像データを取得し、伸長復元する処理を実行する。

再生制御部７０８は、半導体集積回路により画像信号再生装置７００全体を管理および制御し、再生などに必要となる各種演算を実行する。また、第２の実施形態における撮像装置５００の撮像制御部５０２と同様に、顔抽出部１８０、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８、距離算出部５０４、同一性判断部５０６として機能する。

（画像信号再生方法）
図１１は、本実施形態における画像信号再生方法の流れを示したフローチャートである。ユーザが予め登録しておいた特定の人物２０８から１または複数の特定の人物２０８を指定し（Ｓ４００）画像信号の再生を開始する（Ｓ８００のＹＥＳ）。以降の処理の流れは、図８で示した第２の実施形態における撮像方法の流れを示したフローチャートと実質的に同様であり、説明は省略する。

また、本実施形態において、第１の実施形態や第２の実施形態と同様、直前の複数のフレーム間の同一性をフレーム内の距離や占有面積などから判断し、同一性があると判断された場合、直前の複数のフレームにおける類似度を用いて、例えば最大値となる類似度を現在のフレームの類似度とする。さらに、図形２０４を、１または複数の顔の類似度に応じて、色彩、模様または形状（大きさ）を変化させ、画面内から抽出された人物３０８の１または複数の顔と重ならない位置に重畳する。

既存の画像信号再生装置では、画面が切り換わる度に所望する人物３０８を見つけ出すのに時間を要したり、人物像が小さい場合など画面内の部分ズーム機能を使う場所を特定できなかったりした場合があった。しかし、本実施形態において画像信号再生装置７００は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物２０８の特徴量との類似度を算出し、最も高い類似度が第１所定閾値以上の場合に、当該類似度の類比対象である特定の人物２０８の顔の特徴量に関連付けられた図形２０４を用いてその顔をユーザに指し示す。

かかる構成により、再生時において特定の人物２０８を見分けなくとも、その図形２０４によって所望する特定の人物２０８を特定することができ、画面内の部分ズーム機能を利用する場合においてもその対象を確実に指定することが可能となる。例えば、ドラマ映像などの再生時において、予め所望する俳優の画像などを登録しておけば、場面転換で急に暗い場所の映像に切り替わった場合においても、目や口の相対位置などの顔の特徴点を元に顔を認識するため、人間の目では確認できないような視認性の悪い映像でも、ユーザは、図形２０４に基づいて迅速にその俳優を見つけ出すことができる。

特に、著名な監督や俳優が意外なエキストラとして出演している場合に、確実にその監督や俳優を捕捉することができる。

また、画面内の部分ズーム機能を利用する場合においても、特に見たい対象の人物３０８の候補を１つに絞らずに画面内の複数の人物３０８の顔に図形２０４を表示させ、実際にどの人物像を再生対象とするかの判断をユーザに委ねる。ここでは、その判断をユーザに敢えて委ねることで、機械が万が一誤った人物像を最も確からしい人物３０８と判断したとしても、最終的な人物３０８の選択をユーザに実行させるので、ユーザの意志を確実に反映することが可能となる。

さらに、予め再生して類似度が最も高い顔の人物像が、特に見たい対象の特定の人物２０８であることを確認した上で、ズーム機能と本実施形態の機能を併用し、最も類似度の高い人物像を継続してズーム表示することも可能である。

また、本実施形態の画像信号再生装置は、画面内から抽出された１の顔の特徴量に対する予め記憶された全ての特定の人物２０８の特徴量との類似度を算出し、最も高い類似度が第２所定閾値以下の場合に、所定の図形２０４、例えば「×」を用いてその顔をユーザに指し示す。かかる構成により、ユーザは、再生中、画面内の複数の人物３０８を見分けなくとも、その図形２０４の示す顔が予め登録しておいた人物３０８の顔に含まれていないことを容易に認識できる。例えば、研究員の顔を予め登録しておくことで、研究所に不法に侵入した不審人物３０８を容易に特定することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

第１の実施形態において、第１所定閾値を７０、第２所定閾値を５０としたが、かかる場合に限られず、第２所定閾値と第１所定閾値を同値としてもよい。第１所定閾値と第２所定閾値の間の曖昧な条件を設定しないことで、ユーザは、画面内の顔が予め登録した特定の人物２０８２０８であるかどうかを、図形２０４を見て即座に判断することができる。

また、第１の実施形態において、画像重畳部１９０は、類似度が、第１所定閾値以上の場合、第２所定閾値以下の場合、第１所定閾値より小さく第２所定閾値より大きい場合、特徴量または類似度が算出できない場合それぞれについて、対応する図形２０４を重畳したが、かかる場合に限られず、上記の類似度の範囲のうち、任意の範囲について、図形２０４を重畳しなくともよい。例えば、類似度が第２所定閾値以下で所定の図形２０４「×」を表示しない場合、ユーザは、画面内の他の顔の周囲には何らかの図形２０４が重畳されていることから、図形２０４が表示されていない顔が第２所定閾値以下であることを認識できる。かかる構成により、図形２０４の重畳にかかる処理負荷を低減することができる。

なお、本明細書の撮像方法や画像信号再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、動画像の撮像装置、撮像方法、画像信号再生装置および画像信号再生方法に利用することができる。

第１の実施形態における撮像装置の一例を示した外観図である。 第１の実施形態における撮像装置の構成を示すブロック図である。 第１の実施形態における図形テーブルを説明するための説明図である。 第１の実施形態における液晶モニターにおける人物判別のための図形の重畳について説明した説明図である。 第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。 第２の実施形態における撮像装置の構成を示すブロック図である。 第２の実施形態における図形の重畳について説明した説明図である。 第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。 第２の実施形態における図８における過去最大の類似度特定ステップの具体的な処理の流れを示したフローチャートである。 第３の実施形態における画像信号再生装置の構成を示すブロック図である。 第３の実施形態における画像信号再生方法の流れを示したフローチャートである。

符号の説明

１００ …撮像装置
１０８ …液晶モニター（モニター）
１３０ …画像出力部
１３２ …メモリ装置（特徴量記憶部）
１４６ …撮像素子
１８０ …顔抽出部
１８２ …類似度算出部
１８４ …類似度比較部
１９０ …画像重畳部
２００ …類似度
２０４（２０４Ａ〜Ｇ） …図形
２０８（２０８Ａ〜Ｄ） …特定の人物
４００ …撮像装置
５０６ …同一性判断部
７００ …画像信号再生装置
７０４ …画像取得部

Claims (26)

1. 複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて記憶する記憶部と、
   被写体像を光電変換し画像信号を生成する撮像素子と、
   前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
   抽出された顔の特徴量を算出し、その算出した顔の特徴量と前記複数の特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
   前記類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、
   前記抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と前記第１所定閾値とを比較する類似度比較部と、
   画面内において、前記最も高い類似度が前記第１所定閾値以上である顔またはその顔の周囲に、前記最も高い類似度の顔に対応する特定の人物に関連付けられた前記特定の図形を、前記最も高い類似度に対応した前記色彩、模様、又は大きさの少なくとも何れかを施して重畳する画像重畳部と、
   前記図形を重畳した画像信号を出力する画像出力部と、
   を備えることを特徴とする撮像装置。
2. 前記類似度記憶部はさらに、前記第１所定閾値未満の類似度に応じた所定の図形を記憶しており、
   前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第１所定閾値未満である顔またはその顔の周囲に、前記最も高い類似度に対応した前記所定の図形を重畳することを特徴とする請求項１に記載の撮像装置。
3. 前記類似度比較部はさらに、前記抽出された１の顔の類似度の中で最も高い類似度を前記第１所定閾値及び前記第１所定閾値よりも小さい第２所定閾値と比較し、
   前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第１所定閾値未満であって前記第２所定閾値より大きい顔またはその顔の周囲に、前記最も高い類似度に関連する前記類似度記憶部が記憶した前記第１所定閾値より小さく前記第２所定閾値より大きいことを示す前記所定の図形を重畳することを特徴とする請求項２に記載の撮像装置。
4. 前記類似度比較部はさらに、前記抽出された１の顔の類似度の中で最も高い類似度を前記第２所定閾値と比較し、
   前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第２所定閾値以下である顔またはその顔の周囲に、前記最も高い類似度に関連する前記類似度記憶部が記憶した前記第２所定閾値以下であることを示す前記所定の図形を重畳することを特徴とする請求項３に記載の撮像装置。
5. 前記類似度記憶部はさらに、前記特徴量もしくは類似度が算出できない場合に、その旨を示す図形を記憶しており、
   前記画像重畳部はさらに、画面内において、前記特徴量もしくは類似度が算出できない顔又はその顔の周囲に、前記特徴量もしくは類似度が算出できない顔であることを示す所定の図形を重畳することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 直前の所定数のフレームにおける１または複数の顔と現在のフレームにおける１または複数の顔との同一性を判断する同一性判断部をさらに備え、
   前記類似度算出部は、同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度も用いて、現在のフレームの１または複数の顔の類似度を算出することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記類似度算出部は、前記同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度との最大値を類似度として算出することを特徴とする請求項６に記載の撮像装置。
8. 前記同一性は、フレーム間の１または複数の顔と顔の画面内における距離に基づいて決定されることを特徴とする請求項６または７に記載の撮像装置。
9. 前記同一性は、１または複数の顔のフレーム間の画面内における占有面積に基づいて決定されることを特徴とする請求項６から８のいずれか１項に記載の撮像装置。
10. 前記図形は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記画像重畳部は、前記図形を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて予め記憶し、
    被写体像を光電変換し画像信号を生成し、
    前記画像信号における画面内の１または複数の顔を抽出し、
    抽出された顔の特徴量を算出し、その算出した顔の特徴量と前記複数の特定の人物の顔の特徴量との類似度をそれぞれ算出し、
    前記類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを予め記憶し、
    前記抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と前記第１所定閾値とを比較し、
    画面内において、前記最も高い類似度が前記第１所定閾値以上である顔またはその顔の周囲に、前記最も高い類似度の顔に対応する特定の人物に関連付けられた前記特定の図形を、前記最も高い類似度に対応した前記色彩、模様、又は大きさの少なくとも何れかを施して重畳し、
    前記図形を重畳した画像信号を出力することを特徴とする撮像方法。
13. 前記請求項１２に記載の撮像方法であって、さらに、
    前記第１所定閾値未満の類似度に応じた所定の図形を予め記憶し、
    画面内において、前記最も高い類似度が前記第１所定閾値未満である顔またはその顔の周囲に、前記最も高い類似度に対応した前記所定の図形を重畳することを特徴とする撮像方法。
14. 複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて記憶する記憶部と、
    取得した画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
    抽出された顔の特徴量を算出し、その算出した顔の特徴量と前記複数の特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
    前記類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、
    前記抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と前記第１所定閾値とを比較する類似度比較部と、
    画面内において、前記最も高い類似度が前記第１所定閾値以上である顔またはその顔の周囲に、前記最も高い類似度の顔に対応する特定の人物に関連付けられた前記特定の図形を、前記最も高い類似度に対応した前記色彩、模様、又は大きさの少なくとも何れかを施して重畳する画像重畳部と、
    前記図形を重畳した画像信号を出力する画像出力部と、
    を備えることを特徴とする画像信号再生装置。
15. 前記類似度記憶部はさらに、前記第１所定閾値未満の類似度に応じた所定の図形を記憶しており、
    前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第１所定閾値未満である顔またはその顔の周囲に、前記最も高い類似度に対応した前記所定の図形を重畳することを特徴とする請求項１４に記載の画像信号再生装置。
16. 前記類似度比較部はさらに、前記抽出された１の顔の類似度の中で最も高い類似度を前記第１所定閾値及び前記第１所定閾値よりも小さい第２所定閾値と比較し、
    前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第１所定閾値未満であって前記第２所定閾値より大きい顔またはその顔の周囲に、前記最も高い類似度に関連する前記類似度記憶部が記憶した前記第１所定閾値より小さく前記第２所定閾値より大きいことを示す図形を重畳することを特徴とする請求項１５に記載の画像信号再生装置。
17. 前記類似度比較部はさらに、前記抽出された１の顔の類似度の中で最も高い類似度を前記第２所定閾値と比較し、
    前記画像重畳部はさらに、画面内において、前記最も高い類似度が前記第２所定閾値以下である顔またはその顔の周囲に、前記最も高い類似度に関連する前記類似度記憶部が記憶した前記第２所定閾値以下であることを示す所定の図形を重畳することを特徴とする請求項１６に記載の画像信号再生装置。
18. 前記類似度記憶部はさらに、前記特徴量もしくは類似度が算出できない場合に、その旨を示す図形を記憶しており、
    前記画像重畳部はさらに、画面内において、前記特徴量もしくは類似度が算出できない顔又はその顔の周囲に、前記特徴量もしくは類似度が算出できない顔であることを示す所定の図形を重畳することを特徴とする請求項１４から１７のいずれか１項に記載の画像信号再生装置。
19. 直前の所定数のフレームにおける１または複数の顔と現在のフレームにおける１または複数の顔との同一性を判断する同一性判断部をさらに備え、
    前記類似度算出部は、同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度も用いて、現在のフレームの１または複数の顔の類似度を算出することを特徴とする請求項１４から１８のいずれか１項に記載の画像信号再生装置。
20. 前記類似度算出部は、前記同一性があると判断された、直前の所定数のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度との最大値を類似度として算出することを特徴とする請求項１９に記載の画像信号再生装置。
21. 前記同一性は、フレーム間の１または複数の顔と顔の画面内における距離に基づいて決定されることを特徴とする請求項１７または１８に記載の画像信号再生装置。
22. 前記同一性は、１または複数の顔のフレーム間の画面内における占有面積に基づいて決定されることを特徴とする請求項１９から２１のいずれか１項に記載の画像信号再生装置。
23. 前記図形は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする請求項１４から２２のいずれか１項に記載の画像信号再生装置。
24. 前記画像重畳部は、前記図形を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする請求項１４から２３のいずれか１項に記載の画像信号再生装置。
25. 複数の特定の人物の顔の特徴量を記憶し、それら複数の特定の人物と特定の図形とをそれぞれ関連付けて予め記憶し、
    取得した画像信号における画面内の１または複数の顔を抽出し、
    抽出された顔の特徴量を算出し、その算出した顔の特徴量と前記複数の特定の人物の顔の特徴量との類似度をそれぞれ算出し、
    前記類似度に応じた複数種類の色彩、模様、又は大きさの少なくとも何れかを記憶した類似度記憶部と、
    前記抽出されたある１つの顔に対して算出された類似度の中で最も高い類似度と前記第１所定閾値とを比較し、
    画面内において、前記最も高い類似度が前記第１所定閾値以上である顔またはその顔の周囲に、前記最も高い類似度の顔に対応する特定の人物に関連付けられた前記特定の図形を、前記最も高い類似度に対応した前記色彩、模様、又は大きさの少なくとも何れかを施して重畳し、
    前記図形を重畳した画像信号を出力することを特徴とする画像信号再生方法。
26. 前記請求項１２に記載の撮像方法であって、さらに、
    前記第１所定閾値未満の類似度に応じた所定の図形を予め記憶し、
    画面内において、前記最も高い類似度が前記第１所定閾値未満である顔またはその顔の周囲に、前記最も高い類似度に対応した前記所定の図形を重畳することを特徴とする画像信号再生方法。

Images