JP5029529B2 - 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法 - Google Patents

Description

本発明は、人物像を含む動画像や静止画像を撮像する撮像装置、撮像方法、画像信号再生装置、および画像信号再生方法に関する。

ビデオカメラ等の撮像装置では、主たる被写体に焦点を合わせるオートフォーカス（ＡＦ）機能や、シャッター速度、絞りの大きさにより露光を調整するオートエキスポージャ（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等）を用いて補正し被写体をきれいに撮像することが可能である。また、焦点調整や露光調整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する被写体例えば人物がその対象として選択される。このような焦点調整や露光調整の対象となる被写体を特定する様々な技術が存在する。

画像上の人物を特定する方法としては、撮像した画像信号から顔情報を抽出し、予め登録された登録顔情報と比較することにより、抽出した顔が登録顔情報と一致するかどうかを判定する技術が知られている（例えば、特許文献１）。かかる技術を利用して、施設への入場認証などが実施されている。

また、上記の顔認証の技術を電子カメラへ応用し、予め登録しておいた人物の顔情報を元に顔認識を行い主要被写体となる人物を指定し、その主要被写体の表情などの情報を活用して、各種の処理を行う技術も考案されている（例えば、特許文献２）。
特開２００７−３３４６２３号公報 特開２００７−２８２１１９号公報

例えば、子供の運動会を撮像する際に、比較的離れた場所で競技をしている複数の子供たちの中から自分の子供を探し出すことが容易ではない場合がある。特に、小型軽量化が望まれる撮像装置においては、液晶モニターやビューファインダも小型化され、実際の撮像画素と比較して非常に粗い画像が出力されるので、離れた場所の子供の顔は非常に小さく表示されてしまい、複数の子供たちから自分の子供を見つけ出すのは困難となる。

また、ズーム機能を利用すれば子供の顔を認識できるかもしれないが、撮像中のズームはある程度の技能を要し、意に反した被写体を捉えることも多く、自分の子供がフレームアウトしてしまいその撮像機会を逃し、再生時には無関係の人物をズームで見ることになるなど、わずらわしい思いを感じることもあった。

本発明は、このような課題に鑑み、モニター上に表示されている複数の人物から所定の人物を容易に特定することが可能な撮像装置、撮像方法、画像信号再生装置および画像信号再生方法を提供することを目的としている。

上記課題を解決するために、本発明の撮像装置の代表的な構成は、特定の人物の顔の特徴量を記憶する特徴量記憶部と、被写体像を光電変換し画像信号を生成する撮像素子と、画像信号における画面内の１または複数の顔を抽出する顔抽出部と、抽出された１または複数の顔の特徴量を算出し、特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、類似度と所定閾値とを比較する類似度比較部と、画面内において、所定閾値以上の類似度を有する顔またはその周囲に、顔を特定する態様で指標を重畳する画像重畳部と、モニターと、指標を重畳した画像信号をモニターに出力する画像出力部と、直前の所定数の画面における１または複数の顔と現在の画面における１または複数の顔との同一性を判断する同一性判断部とを備え類似度算出部は、同一性があると判断された、直前の所定数の画面における１または複数の顔の類似度も用いて、現在の画面の１または複数の顔の類似度を算出することを特徴とする。

本発明では、現在のフレームのみならず、直前の所定数前からの複数のフレームを参照して画面内の顔の類似度を算出している。詳細には、フレーム間の顔の同一性を判断し、同一と見なすことができる複数フレームに跨る顔それぞれの類似度を用い、被写体の類似度の算出精度を向上させる。かかる構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の類似度が不意に落ち込んでしまい指標が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した指標によって適切かつ確実に所望する被写体を撮像することが可能となる。

類似度算出部は、同一性があると判断された、直前の所定数の画面における１または複数の顔の類似度と現在の画面における顔の類似度との最大値を類似度として算出してもよい。

かかる構成により、被写体の動作や外的要因で瞬時的に類似度が落ち込むような場合においても、同一性の条件さえ満たせば、所定数前からの画面内で最大となる類似度を維持することができ、その類似度変動の影響を排除することができる。

同一性は、直前の所定数の画面における１または複数の顔の位置と現在の画面における１または複数の顔の位置との間の距離に基づいて決定されてもよい。

このように、画面間の１または複数の顔と顔の画面内における距離が所定値より小さい場合、即ち、画面間で顔がほとんど移動していない場合、画面間の顔同士を同一人物と判断することができる。かかる構成により、画面間で同一と見なすことができる顔を確実に抽出することができ、安定した撮像を遂行することが可能となる。

同一性は、直前の所定数の画面における１または複数の顔の占有面積と現在の画面における１または複数の顔の占有面積に基づいて決定されてもよい。

このように、顔の画面間の画面内における占有面積の差分が所定値よりも小さい場合、画面間の顔同士を同一人物と判断することができる。かかる構成により、画面間で同一と見なすことができる顔を確実に抽出することができ、安定した撮像を遂行することが可能となる。

画像重畳部は、指標を画面内の人物の１または複数の顔と重ならない位置に重畳してもよい。

かかる構成により、例えば矢印等の指標が他の人物の顔に重なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全ての顔を認識できる状態で安定した撮像が可能となる。

本発明の撮像方法の代表的な構成は、特定の人物の顔の特徴量を取得し、被写体像を光電変換し画像信号を生成し、画像信号における画面内の１または複数の顔を抽出し、抽出された１または複数の顔の特徴量を算出し、直前の所定数の画面における１または複数の顔と現在の画面における１または複数の顔との同一性を判断し、同一性があると判断された、直前の所定数の画面における１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度も用いて、現在の画面の１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度を算出し、現在の画面の１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度と所定閾値とを比較し、画面内において、所定閾値以上の類似度を有する顔またはその周囲に、顔を特定する態様で指標を重畳することを特徴とする。

上述した撮像装置における技術的思想に対応する構成要素やその説明は、当該撮像方法にも適用可能である。

本発明では、人物の抽出処理やその追跡処理を装置内で完結せず、ユーザ自身がその人物を容易に特定できるように指標を付し、実際の撮像または再生対象を何にするかの判断を敢えてユーザに委ねる。従って、本発明を用いることで、モニター上に表示されている複数の人物から所定の人物を容易に特定することができ、ユーザは少なくともその特定情報に基づいて真に所望する画像を撮像または再生することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

小型軽量化が望まれる近年の撮像装置においては、液晶モニターやビューファインダも小型化され、その画像中の人物を特定するのが困難である。このようなモニターでは遠く離れた複数の被写体から、自分の子供など撮像したい人物を特定して追跡して撮像することは難しい。また、既存の画像信号再生装置では、画面が切り換わる度に所望する人物を見つけ出すのに時間を要したり、画面内の部分ズーム機能を利用する場合においてその対象を特定し難かったりした場合があった。

以下の実施形態では、上述のようにモニター上に複数の人物が小さく表示されていても、特定の人物を容易に識別することが可能な撮像装置、撮像方法、画像信号再生装置および画像信号再生方法を提供することを目的としている。以下、実施形態の撮像装置の構成とその撮像装置を用いた撮像方法を述べ、その後で、画像信号再生装置の構成とその画像信号再生装置を用いた画像信号再生方法を述べる。

（第１の実施形態：撮像装置１００）
図１は、第１の実施形態における撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作部１０６と、モニターとしての液晶モニター１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角が調整される。また、野外、屋内、夜景等の撮像モードの切り換え入力などをユーザから受け付ける。さらに、ユーザはその液晶モニター１０８に表示された画像を参照し、実録される画像データを視認することができ、被写体を所望する位置および占有面積で捉えることが可能となる。本実施形態では、モニター（ディスプレイ）として液晶モニターを例に挙げたが、液晶モニターに限らず、有機ＥＬ(Electro Luminescence)、ＬＥＤ（Light Emitting Diode）ディスプレイなどで構成されてもよい。

図２は、第１の実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御部１３４とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０および撮像制御部１３４はシステムバス１３６を介して接続されている。

撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いられるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、撮像レンズ１０４を通じて入射する被写体像などの光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４６、撮像素子１４６からの画像信号を増幅する増幅器１４８、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ変換器１５０、フォーカスレンズ１４２および絞り１４４の駆動を制御する駆動制御部１５２とその駆動回路１５４と、を含んで構成される。

信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均輝度を求めるなどして、その制御信号を駆動制御部１５２へ出力する。

画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させることができる。

画像処理部１２６は、画像記憶部１２４からの画像データをＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処理部１２６は、撮像制御部１３４の指示により画像データを縮小して表示用画像（ビュー画像）を生成する。一方、記録用のデータを再生する際には、画像処理部１２６は、圧縮された記憶用データを伸長復元する処理を実行する。

記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データストリーム）を生成し、その記憶信号を任意の記録媒体１５６に記録する。任意の記録媒体１５６としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。

メモリ装置１３２は、撮像制御部１３４で処理されるプログラムなどを記憶する。またメモリ装置１３２は、特徴量記憶部１６０としても機能し、指標テーブル１６２も有している。かかる特徴量記憶部１６０は、ユーザが予め撮像した特定の人物の顔に関する特徴量を記憶する。指標テーブル１６２については後ほど詳述する。以下、単に「顔」とするところは画像信号から切り出し可能な顔全体を指し、「顔の位置」は顔の任意の点の画面内の相対位置を示し、「顔の占有面積」は顔が画面内を占有する面積を示す。

撮像制御部１３４は、半導体集積回路により撮像装置１００全体を管理および制御し、撮像などに必要となる各種演算を実行する。また、撮像制御部１３４は、顔抽出部１８０、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８としても機能する。

顔抽出部１８０は、撮像部１２０が取得した撮像画像のデータから顔を抽出する。そして、顔抽出部１８０は、抽出した顔からその顔の画面内における座標および占有面積と特徴点を導出し、顔の画面内における座標と占有面積の情報は、メモリ装置１３２に格納し、特徴点は、類似度算出部１８２に伝達する。抽出方法は、例えば、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の占有領域を抽出する。かかる特徴点の抽出処理は、顔抽出部１８０において実行する場合に限らず、後述する類似度算出部１８２などで処理することとしてもよい。

類似度算出部１８２は、まず、顔抽出部１８０で抽出された顔と顔の特徴点からその顔の特徴量を算出する。特徴量は、顔を特徴付ける情報であり、顔の特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌の色、髪の色、髪の量等を用いて顔を特定する。次に、類似度算出部１８２は、ユーザに指定された特定の人物の顔の特徴量を特徴量記憶部１６０から読み出し、特徴量を算出した１または複数の顔とそれぞれ比較して、特定の人物の顔と撮像された人物の顔との類似度を求める。類似度は２つの顔の画像の類比を示し、例えば０〜１００の値で表され、０だと別人、１００だと同一人物と判断することができる。

図３は、指標テーブル１６２を説明するための説明図である。指標テーブル１６２は、類似度と特定の人物を示す指標（ここでは矢印）の色を関連付けている。例えば、類似度算出部１８２で算出された類似度が７０〜８０であった場合白で示し、８１〜９０であった場合青で示し、９１〜１００であった場合赤で示す。ここでは、後述する所定閾値を７０としているので、類似度が７０より小さい場合は別人として何らの色とも対応させないとする。また、本実施形態では、指標として矢印を挙げて説明するが、指差しマーク等矢印以外のマークや顔の輪郭に沿ったライン等様々な特定表示を用いることができる。

類似度比較部１８４は、類似度算出部１８２が算出した類似度と予め設定された所定閾値とを比較し、所定閾値よりも類似度が大きな場合、当該顔の類似度を座標特定部１８６に伝達する。本実施形態では所定閾値を７０としたが、かかる値に限定されずユーザは数値を任意に設定することができる。

座標特定部１８６は、類似度比較部１８４から受け取った所定閾値よりも大きい類似度と指標テーブル１６２を参照して対応する色データを取得し、前述の顔抽出部１８０がメモリ装置１３２に保存した各顔の位置と占有面積のデータを参照して、その撮像人物の顔の近傍で全ての撮像人物の顔を除いた領域の座標データを画像重畳部１９０に送信する。

画像出力部１３０は、画像重畳部１９０、Ｄ／Ａ変換器１９２を含んで構成される。画像重畳部１９０は、類似度算出部１８２から取得した色データの色に着色された例えば矢印（指標）を、画像信号の座標特定部１８６から取得した座標に重畳する。かかる構成により、ユーザは複数の顔の候補から、直感的かつ確実に適切な被写体を選択することが可能となる。また、特定の人物によく似た顔が複数存在し、その判別がつかない場合であっても、ユーザは、その彩色が施された複数の顔を全て画面内に収める等の処理を通じて、所望する人物を欠落させることなくより確実に撮像することができる。

本実施形態では、矢印の色で類似度の高さを示したが、矢印の模様または形状を変化させるようにしてもよい。また、複数の指標を準備して類似度に対応した指標を表示してもよいし、類似度をそのまま数字で表示するようにしてもよい。また、人物や顔自体の色や明るさを変えるなどして、類似度の高さを示してもよい。

さらに、類似度算出部１８２から取得した座標データは、矢印を画面内の人物の顔と重ならない位置になるように計算した値のため、画像重畳部１９０は矢印を画面内の全ての人物の顔と重ならない位置に重畳する。かかる構成により、その矢印が他の人物の顔に重なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全ての顔を認識できる状態で安定した撮像が可能となる。

Ｄ／Ａ変換器１９２は、画像記憶部１２４から取得したデジタルの画像データを視聴可能な画像信号に加工して、液晶モニター１０８に出力する。その画像データは、画像重畳部１９０が重畳した矢印などの画像信号を含む。撮像者（ユーザ）は、かかる液晶モニター１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先を液晶モニター１０８としたが、画像出力部１３０は、外部に画像出力を行うための映像端子を有しているため、別体のモニター等様々な画像表示装置に接続することも可能である。

以下、撮像装置１００の具体的な処理動作を説明する。

図４は、液晶モニター１０８における人物判別のための指標の重畳について説明した説明図である。ここでは、撮像対象としてサッカーの試合が想定され、撮像した画像を映し出す液晶モニター１０８には４人のサッカー選手である人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄが映し出されている。実際に撮像された画像信号は解像度が高いが、ここでは、液晶モニター１０８が小さいため、かかる人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの識別が困難であったとする。

ユーザは、予め撮像したい特定の人物２０２Ｃの画像を撮像装置１００に登録しておき、撮像する前に操作部１０６を通じてその人物２０２Ｃを探し出すように撮像装置１００に指示を与える。撮像装置１００は、撮像部１２０で撮像した画像を、信号処理部１２２を通して画像記憶部１２４のバッファメモリに記憶すると共に、画像出力部１３０および顔抽出部１８０に伝達する。

顔抽出部１８０は、特徴点抽出処理により人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの４つの顔を抽出し、その顔の位置、占有面積および特徴点を導出して、顔の位置と占有面積の情報をメモリ装置１３２に格納し、顔と特徴点を類似度算出部１８２に伝達する。

類似度算出部１８２は、ユーザに指定された特定の人物の特徴量を特徴量記憶部１６０から読み出し、さらに、顔抽出部１８０から伝達された顔と特徴点に基づいて特徴量を算出し、算出結果の各人の特徴量と特定の人物の特徴量とを比較して、特定の人物の顔の画像との類比を示した類似度を算出し、顔毎にメモリ装置１３２に格納する。ここで、各人の類似度は、人物２０２Ａが８５、人物２０２Ｂが６５、人物２０２Ｃが９５、人物２０２Ｄが４５であったとする。

次に、類似度比較部１８４は、予め設定された所定閾値と顔毎の類似度を比較する。この所定閾値は、ユーザ入力に応じて値を変更できるようにしても良いし、固定の値としても良い。ここでは、所定閾値が７０であるとする。

まず、人物２０２Ａの顔について、算出された類似度８５と所定閾値７０を比較し、類似度の方が大きいと判断する。そして座標特定部１８６は、指標テーブル１６２を参照しこの類似度８５に応じた青の色データと、人物２０２Ａの顔の近傍で人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標データを画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データと座標データから、青色の矢印図形を画像データに重畳して液晶モニター１０８に表示する（矢印３００Ａ）。

同様に、類似度比較部１８４は、人物２０２Ｂの顔の類似度６５を所定閾値７０と比較し類似度の方が小さいと判断し、人物２０２Ｂに関しては処理を行わず次の顔の処理に移行する。

同様に、人物２０２Ｃの顔の類似度９５を所定閾値７０と比較し、類似度の方が大きいと判断し、指標テーブル１６２を参照しこの類似度９５に応じた赤の色データとＣの顔の近傍で人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標データを画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データと座標データから、赤色の矢印図形を画像データに重畳して液晶モニター１０８に表示する（矢印３００Ｂ）。

同様に、人物２０２Ｄの顔の類似度４５を所定閾値７０と比較し、類似度の方が小さいと判断して人物２０２Ｄに関しては特別な処理を行わない。

以上の処理は、撮像中の毎フレームで行われるとしてもよい。撮像制御部１３４は、フレームに同期したパルス信号をトリガに処理を遂行してもよいし、フレーム周期をカウントするタイマー部１８８（図２参照）のカウント値に基づいて処理を遂行してもよい。

（撮像方法）
図５は、第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。

ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を指定し（Ｓ３００）、撮像を開始すると（Ｓ３０２）、撮像部１２０で取得した画像信号は信号処理部１２２、画像記憶部１２４を経て撮像制御部１３４の顔抽出部１８０に伝達され、顔抽出部１８０は画像データから顔を抽出する（Ｓ３０４）。

顔が１つも抽出されない場合（Ｓ３０６ＮＯ）処理を終了する。顔が少なくとも１つ以上抽出されると（Ｓ３０６ＹＥＳ）、抽出された各顔全てについて、以下の処理を繰り返し実行する。

まず、類似度算出部１８２は、抽出した顔から特徴量を算出する（Ｓ３０８）。以下、ユーザが指定した特定の人物２０２が複数ある場合はそのうちの１人について、１人しか指定されていなければその１人の特定の人物２０２について、特徴量を特徴量記憶部１６０から取得し、両者の特徴量から類似度を算出する（Ｓ３１０）。

類似度が予め設定された所定閾値より大きければ（Ｓ３１２ＹＥＳ）、指標テーブル１６２を参照して類似度に対応する色データを取得し（Ｓ３１４）、当該顔の座標近傍で他の顔の重ならない座標を算出する（Ｓ３１６）。画像重畳部１９０は、液晶モニター１０８に表示する画面内の、算出された座標位置に色データで指定された色の矢印を重畳する（Ｓ３１８）。

算出した類似度が所定閾値以下であれば（Ｓ３１２ＮＯ）、当該顔について特別な処理は行わない。

ユーザが指定した特定の人物２０２が複数であり、まだ上述の類似度算出（Ｓ３１０）から矢印描画（Ｓ３１８）までの処理を行っていない特定の人物２０２が残っている場合（Ｓ３２０ＹＥＳ）、当該残っている特定の人物２０２のうちの１人について、類似度算出（Ｓ３１０）以下のステップを実行する。この処理はユーザが指定した特定の人物２０２が全員終わるまで繰り返される。

未処理の特定の人物が０人の場合（Ｓ３２０ＮＯ）、特徴量算出（Ｓ３０８）以下の処理を行っていない顔が残っているかどうか判断され（Ｓ３２２）、残っていれば、各顔について上述の処理を繰り返す。未処理の顔が無くなると（Ｓ３２２ＮＯ）、当該撮像方法を終了する。以上の処理を、フレーム毎に実行する。

本実施形態によれば、ユーザは撮像する際に所定の人物を撮像装置の液晶モニター１０８で容易に探し出して確認することができ、誤って想定していない人物をズームして撮像してしまうなどわずらわしい思いを感じることなく適切な被写体を撮像できる。また、液晶モニター１０８上に似通った顔の人物が複数表示されていても、それぞれの類似度の高さを色で判別できるため、特定の人物の判別をより確実に実行できる。

（第２の実施形態：撮像装置４００）
第１の実施形態では、フレーム毎に類似度を算出して、その結果に基づいて液晶モニター１０８の画像に指標を重畳していた。この方法では、顔の向きや表情の変化に応じてフレーム毎に類似度が変化する場合があり、その変化とともに類似度に応じた指標（矢印や色、数字など）が変化し、ユーザがわずらわしい思いをする可能性がある。

第２の実施形態では、現在のフレーム（画面）のみならず、直前の所定数前からの複数のフレーム（画面）を参照して安定した類似度を算出し、表示させる指標の変化を抑え、ユーザに与えるわずらわしさを軽減することができる。

図６は、第２の実施形態における撮像装置４００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御部４０２とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０および撮像制御部４０２はシステムバス１３６を介して接続されている。

上記撮像部１２０、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０、メモリ装置１３２は、第１の実施形態において述べた構成要素と実質的に機能が同一なので、重複説明を省略し、ここでは、構成が相異する撮像制御部４０２を主に説明する。

撮像装置４００は、撮像装置１００と異なり撮像制御部４０２に距離算出部４０４と同一性判断部４０６とが設けられている。距離算出部４０４は、メモリ装置１３２から前フレームと現フレームの顔の画面内における位置（具体的には座標で表される）と占有面積の情報を読み出し、現フレームの顔の位置と前フレームの全ての顔の位置との距離を算出する。例えば、液晶モニター１０８の左下隅を原点として、原点から水平方向にＸ１画素、垂直方向にＹ１画素の座標にある顔と、同じく原点から水平方向にＸ２画素、垂直方向にＹ２画素の座標にある顔の距離Ｄは、Ｄ＝√（（Ｘ１−Ｘ２）^２＋（Ｙ１−Ｙ２）^２）で算出される。

同一性判断部４０６は、撮像した時刻が前後する例えばフレームＡ、フレームＢ（撮像時刻順）について、フレームＡに含まれる全ての顔と、フレームＢに含まれる全ての顔について同一性を判断する。同一性は、撮像した時間の異なる２つのフレームに含まれる顔がそれぞれ同一人物であると見なせるかどうかを示す。

また、本実施形態において同一性は、フレーム間の１または複数の顔と顔の画面内における距離、および１または複数の顔のフレーム間の画面内における占有面積に基づいても判断される。ここでは、前者を距離の同一性、後者を面積の同一性とする。

距離の同一性は、距離算出部４０４が算出したフレーム間における顔の画面内における距離から判断され、フレームＢに含まれるある顔と、フレームＡの全ての顔との距離が、予め設定された第１所定値より大きい場合、距離の同一性がないと判断され、その顔は同一ではない、またはフレームＡには存在しなかった顔とする。かかる顔に関する既存の類似度はそのフレームＢの人物の類似度算出の際には参照されない。

フレーム間における顔の画面内における距離が第１所定値以下であった場合、同一性判断部４０６は、２つの顔の面積の同一性を判断する。面積の同一性は、顔抽出部１８０が導出したフレームＡ、フレームＢそれぞれの画面内における各人物の顔の占有面積の差分の絶対値から判断される。顔の占有面積の差分の絶対値が予め設定された第２所定値よりも大きい場合、面積の同一性がないと判断され、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際には参照されない。顔の占有面積の差分の絶対値が予め設定された第２所定値よりも小さい場合、面積の同一性があると判断され、２つの顔は同一人物の顔とされ、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際に参照される。

面積の同一性を使用することで、例えば、フレームＡにおいて被写体が撮像装置４００から遠くに離れて位置しており、フレームＢにおいて同じ位置であるが、撮像装置４００に近い位置に別の被写体が現れた場合でも、遠近法に従い画面内における顔の占有面積が異なるため、同一性判断部４０６は同一性がないと判断し、正しく別人と判断できる。

このように、フレーム間の画面内における１または複数の顔と顔の距離が所定値より小さく、かつ画面内における占有面積の差分の絶対値が所定値よりも小さい場合、フレーム間の顔同士を同一人物と判断することができる。かかる構成により、フレーム間で同一と見なすことができる顔を確実に抽出することができ、結果、安定した撮像を遂行することが可能となる。

また、同一性判断部４０６は、画面内における顔の距離や占有面積に限らず、フレーム間の顔の光量や特徴量等も考慮に入れて同一性を判断してもよい。かかる構成により、人物の追跡性能を向上させることが可能となる。

図７は、第２の実施形態における指標の重畳について説明した説明図である。図７（a）は、ある時間に撮像された画像である。図７（b）は、図７（a）から１フレーム後の時間に撮像された画像である。ここでは、図７（a）の画像をフレームＡとし、図７（b）の画像をフレームＢとし、フレームＢに撮像されている人物２０２それぞれについての類似度を算出する際の手順を説明する。ただし、距離を明確に示すため１フレームの時間を長くとっている。

距離算出部４０４は、フレームＢに含まれる人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉそれぞれについて、フレームＡに含まれる人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄそれぞれとの画面内における距離を算出する。

続いて同一性判断部４０６は、距離算出部４０４が算出した画面内における各距離と第１所定値とを比較して距離の同一度を判断する。人物２０２Ｅの顔の場合、人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄのどの顔の位置とも離れており、距離が第１所定値より大きいため、距離の同一性はないと判断される。そのためフレームＡには人物２０２Ｅと同一人物はいないと判断し、人物２０２Ｅの類似度を算出する際、フレームＡの類似度は参照しない。

同様にフレームＢの人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの顔の位置との画面内の距離を算出して、それぞれ所定距離と比較する。人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａの顔の位置との画面内における距離が第１所定値よりも小さくなる。従って、フレームＡ、Ｂ間で顔がほとんど移動していないこととなり、距離の同一性があると判断される。

次に人物２０２Ｆの画面内における顔の占有面積と人物２０２Ａの画面内における顔の占有面積の差の絶対値を計算し、面積の同一性を判断する。面積の差分の絶対値が第２所定値よりも小さいため面積の同一性があると判断され、人物２０２Ｆの顔と人物２０２Ａの顔は同一人物の顔であると判断することができる。

ここでは、距離の同一性と面積の同一性との条件を両方満たしているため、同一性判断部４０６は、フレームＢの人物２０２ＦとフレームＡの人物２０２Ａは同一人物であると判断し、人物２０２Ｆに関連付けて人物２０２Ａの類似度をメモリ装置１３２に記憶する。

同様に、同一性判断部４０６は、人物２０２Ｇの顔と人物２０２Ｂの顔、人物２０２Ｈの顔と人物２０２Ｃの顔、人物２０２Ｉの顔と人物２０２Ｄの顔がそれぞれ同一人物の顔であると判断し、それぞれの類似度を関連付けてメモリ装置１３２に記憶する。

同一性判断部４０６は、現在のフレームから例えば２９フレーム前のフレームまで、連続する２つのフレームを比較して、撮像時刻が新しいものから古いものへ順次、同様の処理を繰り返す。ここでは説明を簡単にするため、２フレームより前の処理は省略する。

例えば、処理を進めていく中でフレームＢ（現在のフレーム）に含まれる人物２０２と同一と判断される人物２０２が存在しないフレームＣがあった場合、フレームＣ以前にはその人物２０２は存在しないと判断し、当該人物２０２についての距離算出部４０４による距離算出処理、同一性判断部４０６による同一性判断処理は行わない。

従って、類似度算出部１８２は、フレームＢの人物２０２Ｅの類似度を算出する際、２９フレーム前までの類似度を参照するが、同一人物と判断される人物がいなかったため、類似度は、フレームＢの人物２０２Ｅのみが持つ特徴量から算出された値となる。

一方、人物２０２Ｆの類似度は、フレームＡやそれ以前のフレームで同一人物と判断される人物２０２Ａが存在するため、メモリ装置１３２に登録されている人物２０２Ａの類似度やそれ以前のフレームで同一人物と判断された人物２０２の類似度を全て参照して算出される。類似度算出部１８２は、参照した全ての類似度から最大値となる類似度（最大類似度）を算出し、その最大類似度をフレームＢの人物２０２Ｆの類似度とする。

類似度比較部１８４は、類似度算出部１８２が算出した最大類似度を参照して、所定閾値と比較する。人物２０２Ｆの顔の場合、最大類似度が所定閾値よりも大きいので、座標特定部１８６は、この最大類似度に応じた色データ（青色）と、人物２０２Ｆの顔の近傍で人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉの顔の占有領域を除いた領域の座標データを画像重畳部１９０に送信する。画像重畳部１９０は、送られてきた色データと座標データから、青色の矢印図形を画像データに重畳して液晶モニターに表示する（矢印３００Ａ）。

同様に、人物２０２ＧはフレームＡの人物２０２Ｂやそれ以前のフレームで同一人物と判断された人物２０２の顔の類似度を参照し、その最大値をフレームＢの類似度とするが、人物２０２Ｇの顔の場合、最大類似度が所定閾値よりも小さいため、特別な処理は行われない。人物２０２Ｈの顔については最大類似度が９５となるので、赤色の矢印図形を画像データに重畳して液晶モニターに表示する（矢印３００Ｂ）。人物２０２Ｉは、人物２０２Ｇと同様に、過去のフレームを参照しても類似度が低いため、人物２０２Ｉの顔の場合には特別な処理を行わない。

このように、現在のフレームのみならず、直前の２９フレーム前からの複数のフレームを参照して画面内の顔の類似度を算出し、被写体の類似度の算出精度を向上させる。かかる構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の類似度が不意に落ち込んでしまい指標が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した指標によって適切かつ確実に所望する被写体を撮像することが可能となる。

さらに、類似度算出の際、距離の同一性と面積の同一性があると判断された、直前の２９のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度との最大値を類似度として算出することで、被写体の動作や外的要因で瞬時的に類似度が落ち込むような場合においても、所定数前からのフレーム内で最大となる類似度を維持することができ、その類似度変動の影響を排除することができる。

なお、本実施例ではフレーム間での人物の同一性の判断に、距離の同一性および面積の同一性を用いた。人物の同一性の判断には、これ以外にも、非特許文献「映像情報メディア学会誌Vol.62,No.6,pp849〜855」に解説されている物体追跡法（例えば、Particl Filterによる物体追跡）を用いて、追跡が有効にできている場合を同一人物と判断するようにしても良い。

（撮像方法）
図８は、第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。第１の実施形態において図５を用いて既に説明した処理に関しては、同一の符号を付しその説明を省略する。

図５における類似度算出ステップ（Ｓ３１０）、類似度と所定閾値とを比較するステップ（Ｓ３１２）は、図８では、それぞれ最大類似度算出ステップ（Ｓ５００）、最大の類似度と所定閾値とを比較するステップ（Ｓ５１８）に置き換えている。

第１の実施形態における撮像方法と異なり、第２の実施形態における撮像方法では、直前の複数フレームと現在のフレームのうち最大の類似度と所定閾値を比較して（Ｓ５１８）、矢印描画の対象となる顔を判断する。こうして、本来の類似度が不意に落ち込んでしまい指標が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した指標によって適切かつ確実に所望する被写体を撮像することが可能となる。

図９は、図８における最大類似度算出ステップ（Ｓ５００）の具体的な処理の流れを示したフローチャートである。

第１の実施形態と同様に、ユーザが指定した特定の人物の特徴量を特徴量記憶部１６０から取得し、現在のフレームの顔の１つから取得した特徴量との類似度を算出する（Ｓ５０２）。

さらに、メモリ装置１３２から１つ前のフレームの各顔の画面内における座標や占有面積などの情報を取得する（Ｓ５０４）。距離算出部４０４は、当該顔と各顔の相対距離をその座標から算出し（Ｓ５０６）、距離の同一性を判断する。距離の同一性がある顔があった場合（Ｓ５０８ＹＥＳ）、距離の同一性がある顔すべてについて、占有面積の差の絶対値から面積の同一性を判断する。面積の同一性があれば（Ｓ５１０ＹＥＳ）、面積の同一性がある顔すべてを同一人物と判断し、それぞれ対応する顔の１つ前のフレームの類似度を最新のフレームの類似度と関連付けて保存する（Ｓ５１２）。

１つ前のフレームに含まれるすべての顔との距離の同一性がなかったり（Ｓ５０８ＮＯ）、すべての顔との占有面積の同一性がなかったりした場合（Ｓ５１０ＮＯ）、その前フレームには当該人物は存在せず、最新のフレームから当該人物が現れたと判断しそれ以上過去のフレームは参照しない。

前のフレームの類似度を保存した（Ｓ５１２）後、その時点で現在のフレームから２９フレーム前のフレームまで処理を行ったかどうか判定され（Ｓ５１４）、２９フレームに至っていない場合（Ｓ５１４ＹＥＳ）、さらに１つ前のフレームの情報を取得し（Ｓ５０４）、直前まで処理していた２フレームのうち古いフレームと比較して、最大２９フレーム分の類似度を導出する。

現在のフレームから２９フレーム前のフレームまで処理を完了した場合（Ｓ５１４ＮＯ）、または同一人物がフレームに存在せず２９より少ないフレームまでで処理を終えた場合は、Ｓ５１４でメモリ装置１３２に登録した類似度を全て参照し、類似度の最大値を算出する。

（第３の実施形態：画像信号再生装置６００）
図１０は、本実施形態にかかる画像信号再生装置６００の構成を示すブロック図である。画像信号再生装置６００は、操作部６０２と、メモリ装置１３２と、画像記憶部１２４と、画像出力部１３０と、画像取得部６０４と、画像処理部６０６と、再生制御部６０８とを含んで構成される。なお、画像記憶部１２４、画像取得部６０４、画像処理部６０６、再生制御部６０８、画像出力部１３０は、システムバス１３６を介して接続されている。上記画像記憶部１２４、画像出力部１３０、メモリ装置１３２は、第１の実施形態において既に述べたメモリ装置１３２と実質的に機能が同一なので重複説明を省略し、ここでは画像信号再生装置６００で構成が相違する点を主に説明する。

上述した撮像装置１００および４００は、自機と一体に構成された液晶モニター１０８を通じて画像を表示したが、画像信号再生装置６００は、別体としての構成される外部のモニター６２２を通じて、画像を表示する。また、操作部６０２は、ユーザ入力に応じて再生、停止、早送り、巻き戻しなどの操作を受け付ける。また、本実施形態では、撮像装置１００と同様に、ユーザが画面内で探し出したい特定の人物を指定する際にも用いられる。

画像取得部６０４は、ＤＶＤやＨＤなどの記録媒体１５６からＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮された画像データを取得する。画像処理部６０６は、画像取得部６０４から圧縮された画像データを取得し、伸長復元する処理を実行する。

再生制御部６０８は、半導体集積回路により画像信号再生装置６００全体を管理および制御し、再生などに必要となる各種演算を実行する。また、第２の実施形態における撮像装置４００の撮像制御部４０２と同様に、顔抽出部１８０、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８、距離算出部４０２、同一性判断部４０４として機能する。

（画像信号再生方法）
図１１は、本実施形態における画像信号再生方法の流れを示したフローチャートである。ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を指定し（Ｓ３００）画像信号の再生を開始する（Ｓ７００）。以降の処理の流れは、図８で示した第２の実施形態における撮像方法の流れを示したフローチャートと実質的に同様であり、説明は省略する。

また、本実施形態において、第１の実施形態や第２の実施形態と同様、直前の複数のフレーム間の同一性をフレーム内の距離や占有面積などから判断し、同一性があると判断された場合、直前の複数のフレームにおける類似度を用いて、例えば最大値となる類似度を現在のフレームの類似度とする。さらに、指標を、１または複数の顔の類似度に応じて、色彩、模様または形状を変化させ、画面内の人物の１または複数の顔と重ならない位置に重畳する。

既存の画像信号再生装置では、画面が切り換わる度に所望する人物を見つけ出すのに時間を要したり、人物像が小さい場合など画面内の部分ズーム機能を使う場所を特定できなかったりした場合があった。しかし、本実施形態において画像信号再生装置６００は、画面内の顔の特徴量と予め記憶された特定人物の顔の特徴量との類似度を算出し、所定閾値よりも高い場合に指標を用いてその顔を指し示す。

かかる構成により、例えば、ドラマ映像などの再生時において、予め所望する俳優の画像などを登録しておけば、場面転換で急に暗い場所の映像に切り替わった場合においても、目や口の相対位置などの顔の特徴点を元に顔を認識するため、人間の目では確認できないような視認性の悪い映像でも、ユーザは、指標に基づいて迅速にその俳優を見つけ出すことができる。

特に、著名な監督や俳優が意外なエキストラとして出演している場合に、確実にその監督や俳優を捕捉することができる。

また、画面内の部分ズーム機能を利用する場合においても、特に見たい対象の人物の候補を１つに絞らずに画面内の複数の人物の顔に指標を表示させ、実際にどの人物像を再生対象とするかの判断をユーザに委ねる。ここでは、その判断をユーザに敢えて委ねることで、機械が万が一誤った人物像を最も確からしい人物と判断したとしても、最終的な人物の選択をユーザに実行させるので、ユーザの意志を確実に反映することが可能となる。

さらに、予め再生して類似度が最も高い顔の人物像が、特に見たい対象の人物であることを確認した上で、ズーム機能と本実施形態の機能を併用し、最も類似度の高い人物像を継続してズーム表示することも可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の撮像方法や画像信号再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、本発明は、動画像の撮像装置、画像信号再生装置、および画像信号再生方法に利用することができる。

第１の実施形態における撮像装置の一例を示した外観図である。 第１の実施形態における撮像装置の構成を示すブロック図である。 第１の実施形態における指標テーブルを説明するための説明図である。 第１の実施形態における液晶モニターにおける人物判別のための指標の重畳について説明した説明図である。 第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。 第２の実施形態における撮像装置の構成を示すブロック図である。 第２の実施形態における指標の重畳について説明した説明図である。 第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。 第２の実施形態における図８における最大類似度算ステップの具体的な処理の流れを示したフローチャートである。 第３の実施形態における画像信号再生装置の構成を示すブロック図である。 第３の実施形態における画像信号再生方法の流れを示したフローチャートである。

符号の説明

１００ …撮像装置
１０８ …液晶モニター（モニター）
１３０ …画像出力部
１３２ …メモリ装置
１４６ …撮像素子
１６０ …特徴量記憶部
１６２ …指標テーブル
１８０ …顔抽出部
１８２ …類似度算出部
１８４ …類似度比較部
１９０ …画像重畳部
４００ …撮像装置
４０６ …同一性判断部
６００ …画像信号再生装置
６０４ …画像取得部

Claims (6)

1. 特定の人物の顔の特徴量を記憶する特徴量記憶部と、
   被写体像を光電変換し画像信号を生成する撮像素子と、
   前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
   抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
   前記類似度と所定閾値とを比較する類似度比較部と、
   画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳する画像重畳部と、
   モニターと、
   前記指標を重畳した画像信号を前記モニターに出力する画像出力部と、
   直前の所定数の画面における１または複数の顔と現在の画面における１または複数の顔との同一性を判断する同一性判断部とを備え、
   前記類似度算出部は、同一性があると判断された、直前の所定数の画面における１または複数の顔の類似度も用いて、現在の画面の１または複数の顔の類似度を算出することを特徴とする撮像装置。
2. 前記類似度算出部は、前記同一性があると判断された、直前の所定数の画面における１または複数の顔の類似度と現在の画面における顔の類似度との最大値を類似度として算出することを特徴とする請求項１に記載の撮像装置。
3. 前記同一性は、直前の所定数の画面における１または複数の顔の位置と現在の画面における１または複数の顔の位置との間の距離に基づいて決定されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記同一性は、直前の所定数の画面における１または複数の顔の占有面積と現在の画面における１または複数の顔の占有面積に基づいて決定されることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画像重畳部は、前記指標を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 特定の人物の顔の特徴量を取得し、
   被写体像を光電変換し画像信号を生成し、
   前記画像信号における画面内の１または複数の顔を抽出し、
   抽出された１または複数の顔の特徴量を算出し、
   直前の所定数の画面における１または複数の顔と現在の画面における１または複数の顔との同一性を判断し、
   同一性があると判断された、直前の所定数の画面における１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度も用いて、現在の画面の１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度を算出し、
   前記現在の画面の１または複数の顔の特徴量と前記特定の人物の顔の特徴量との類似度と所定閾値とを比較し、
   画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳することを特徴とする撮像方法。

Images