JP4849330B2 - 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム - Google Patents

表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP4849330B2
JP4849330B2 JP2006275234A JP2006275234A JP4849330B2 JP 4849330 B2 JP4849330 B2 JP 4849330B2 JP 2006275234 A JP2006275234 A JP 2006275234A JP 2006275234 A JP2006275234 A JP 2006275234A JP 4849330 B2 JP4849330 B2 JP 4849330B2
Authority
JP
Japan
Prior art keywords
image
display
imaging
unit
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006275234A
Other languages
English (en)
Other versions
JP2008098755A (ja
Inventor
匡弘 大畑
好彦 波田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006275234A priority Critical patent/JP4849330B2/ja
Publication of JP2008098755A publication Critical patent/JP2008098755A/ja
Application granted granted Critical
Publication of JP4849330B2 publication Critical patent/JP4849330B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラムに関し、特に、確実に、対象の被写体を把握することができるようにした表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラムに関する。
近年、ビデオカメラが普及している。従来のビデオカメラ撮影においては、撮像対象として人物が撮像されることが多く、その中でも特に子供の撮像が行われるケースが大半を占めている。その場合における撮像時のシチュエーションとしては、例えば運動会や音楽会等の他の子供達と一緒にいるシーンが全体の中でかなりの割合を占めている。このような場合、ビデオカメラ撮影を行っている親は、たくさんいる子供の中から我が子を見つけるのは大変である。特に運動会のような子供達の服装が同じために、服装での判断がつきにくい場合には、観客席にいる親達は、遠くにいる我が子を識別することが困難である。
このような場合に有効となる技術として、動画像から人物の特徴を示す指標となる肌色抽出や顔テンプレートマッチングを行うことで、顔部分の横幅、縦の長さ、または面積のうちの少なくとも１つに基づいて、人物のジェスチャを認識するジェスチャ認識方法が提案されている（例えば、特許文献１参照）。
特開２００３−２１６９５５号公報
しかしながら、上記特許文献１では、人物のジェスチャを認識する技術が開示されているだけであって、一般的なビデオカメラで撮影する場面において、撮像者はジェスチャだけがわかっても被写体を把握することは困難であった。
つまり、一般的なビデオカメラの場合、多くの撮像シーンにおいて有効な画像認識としては、撮像対象者の特定や、対象人物の動きを把握することであり、ジェスチャだけでは有効な画像認識であるとは言えない。言い換えれば、特に不特定多数の人々のなかから、撮像者の撮像したい対象人物が一目で判断できることは有効であり、撮像中に特定の人物にフォーカスを当ててとり続けられることは有効である。
本発明はこのような状況に鑑みてなされたものであり、撮像者にとって有意義な撮像対象者の特定や、撮像対象者の動きを把握できる環境を提供することで、確実に、対象の被写体を把握することができるようにするものである。
本発明の一側面の表示制御装置は、被写体を撮像することにより得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第１の検出手段と、前記第１の検出手段により検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させる表示制御手段と、前記撮像対象の状態を検出する第２の検出手段とを備え、前記表示制御手段は、前記第２の検出手段により検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる。
前記表示制御手段は、前記表示画像と前記第２の画像とを同時に前記表示手段に表示さ
せることができる。
前記状態は、前記表示手段に表示されていない前記撮像対象の位置であるようにするこ
とができる。
前記部位画像は、前記被写体の顔の画像であるようにすることができる。
前記撮像者による指示にしたがって、検出された前記部位画像のなかから、前記対象部位画像を選択する選択手段をさらに設け、前記表示制御手段は、選択された前記対象部位画像に対応させて、前記第１の画像を前記画像に重畳させて前記表示手段に表示させることができる。
選択された前記対象部位画像を、所定の記録媒体に記憶させる記憶制御手段をさらに設けることができる。
前記対象部位画像を記憶している所定の記録媒体から、前記対象部位画像を含んでいる画像を読み出す読み出し手段と、前記撮像画像から検出された前記部位画像と、前記記録媒体から読み出された画像に含まれる前記対象部位画像とを照合する照合手段とをさらに設け、前記表示制御手段は、照合の結果に基づいて、前記対象部位画像と一致する部位画像に対応させて、前記第１の画像を前記画像に重畳させて前記表示手段に表示させることができる。
前記第１の画像は、円形、四角形、または楕円形の形状からなる画像であるようにすることができる。
前記第２の画像は、前記撮像対象が存在する位置を示す画像であるようにすることができる。
本発明の一側面の表示制御方法および第１のプログラムは、上述した本発明の一側面の表示制御装置に対応する表示制御方法および第１のプログラムである。
本発明の一側面の表示制御装置および方法、並びに第１のプログラムにおいては、被写体を撮像することにより得られる撮像画像に基づいて、被写体の所定の部位を含んでいる画像である部位画像が検出され、検出された部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、撮像対象であることを示す第１の画像が撮像画像に基づく表示画像に重畳させて表示手段に表示され、撮像対象の状態が検出され、検出された状態に基づいて、表示手段に表示されていない撮像対象の画像を表示手段に表示させるためのズーム操作を示す第２の画像が表示手段に表示される。
本発明の一側面の撮像装置は、被写体の像を撮像する撮像手段と、前記撮像に応じて得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第１の検出手段と、前記第１の検出手段により検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させる表示制御手段と、前記撮像対象の状態を検出する第２の検出手段とを備え、前記表示制御手段は、前記第２の検出手段により検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる。
本発明の一側面の撮像装置においては、被写体の像が撮像され、撮像に応じて得られる撮像画像に基づいて、被写体の所定の部位を含んでいる画像である部位画像が検出され、検出された部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、撮像対象であることを示す第１の画像が撮像画像に基づく表示画像に重畳させて表示手段に表示され、撮像対象の状態が検出され、検出された状態に基づいて、表示手段に表示されていない撮像対象の画像を表示手段に表示させるためのズーム操作を示す第２の画像が表示手段に表示される。
本発明の一側面の情報処理装置は、撮像手段の撮像に応じて得られる画像を、表示手段に表示させるための信号を生成する情報処理装置において、前記撮像手段の撮像の対象となる撮像対象の状態を検出する検出手段の検出結果に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す画像を、前記表示手段に表示させるための信号を生成する信号生成部を備える。
前記信号生成部は、前記撮像対象の画像に基づく表示画像と前記ズーム操作を示す操作画像とを同時に前記表示手段に表示させるための信号を生成することができる。
前記状態は、前記表示手段に表示されていない前記撮像対象の位置であるようにすることができる。
本発明の一側面の情報処理方法および第２のプログラムは、上述した本発明の一側面の情報処理装置に対応する情報処理方法および第２のプログラムである。
本発明の一側面の情報処理装置および方法、並びに第２のプログラムにおいては、撮像手段の撮像の対象となる撮像対象の状態を検出する検出手段の検出結果に基づいて、表示手段に表示されていない撮像対象の画像を表示手段に表示させるためのズーム操作を示す画像を、表示手段に表示させるための信号が生成される。
以上のように、本発明の一側面によれば、確実に、対象の被写体を把握することができる。特に、本発明の一側面によれば、撮像者にとって有意義な撮像対象者の特定や撮像対象者の動きを把握することができる機能を提供することで、確実に、対象の被写体を把握することができる。
以下、図面を参照しながら本発明の実施の形態について説明する。
図１は、本発明を適用したビデオカメラ１の一実施の形態の構成を示すブロック図である。
ビデオカメラ１は、撮像している画像をリアルタイムで表示する機能を有する撮像装置の一例である。なお、本実施の形態では、ビデオカメラ１を例にして説明するが、これに限らず、例えば、デジタルスチルカメラ、撮像機能付き携帯電話機、または撮像機能付きパーソナルコンピュータ等、撮像機能と、撮像している画像を表示する機能を有する機器に適用することができる。
ビデオカメラ１は、光学ブロック１１、レンズアイリスドライバ１２、CCD（Charge Coupled Devices）１３、タイミング生成回路１４、CCDドライバ１５、前処理回路１６、DSP（Digital Signal Processor）１７、SDRAM（Synchronous Dynamic Random Access Memory）１８、CPU（Central Processing Unit）１９、RAM（Random Access Memory）２０、フラッシュROM（Read Only Memory）２１、ディスプレイコントローラ２２、表示部２３、入力部２４、ドライブコントローラ２５、記録メディアインターフェース２７、およびバス２９を含むようにして構成される。また、ビデオカメラ１には、例えば、リムーバブルメディア２６と記録メディア２８の２つの記録媒体がそれぞれ適宜装着される。
光学ブロック１１は、例えば、光学レンズ、フォーカス機構、シャッタ機構、および絞り（アイリス）機構等から構成され、被写体に反射した光（の像）を集め、すなわち、被写体の像の光をCCD１３の受光部に結像させる。光学ブロック１１は、レンズアイリスドライバ１２により駆動される。
レンズアイリスドライバ１２は、CPU１９からの制御に応じて、光学ブロック１１を動作させる駆動信号を生成し、生成した駆動信号を光学ブロック１１に供給して、光学ブロック１１を動作させる。例えば、レンズアイリスドライバ１２は、画像の撮像時にユーザの指示に基づいて、合焦させたり、絞りを調節して光量を調整させるための駆動信号を光学ブロック１１に供給する。
CCD１３は、CCDセンサから構成され、CCDドライバ１５から供給される駆動信号に応じて、光学ブロック１１により結像された光（像）を光電変換することにより、光をアナログの電気信号に変換する。CCD１３は、CPU１９により制御されるタイミング生成回路１４からのタイミング信号を基に、変換したアナログ信号である画像データを前処理回路１１６に供給する。
なお、CCD１３は、CCDセンサに限らず、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサ等、画素を単位として画像の信号を生成する撮像素子であればよい。
タイミング生成回路１４は、CPU１９による制御を基に、CCD１３の動作の時間的な基準となるタイミング信号を生成し、生成したタイミング信号を、CCD１３およびCCDドライバ１５に供給する。
CCDドライバ１５は、タイミング生成回路１４から供給されるタイミング信号を基に、CCD１３を駆動するための駆動信号を生成し、生成した駆動信号をCCD１３に供給する。
前処理回路１６は、CCD１３から供給されるアナログ信号である画像データに対して、CDS（Correlated Double Sampling）処理を行い、S/N（Signal/Noise）比を良好に保つようにするとともに、AGC（Automatic Gain Control）処理を行い、利得を制御する。そして、前処理回路１６は、A/D（Analog/Digital）変換を行い、アナログ信号をデジタル信号に変換し、変換により得られたデジタル信号である画像データをDSP１７に供給する。なお、前処理回路１６からDSP１７に供給される画像データは、SDRAM１８に記憶される。
CPU１９は、例えば、レンズアイリスドライバ１２、タイミング生成回路１４、またはDSP１７等、ビデオカメラ１の各部の動作を制御する。例えば、CPU１９は、被写体の画像を撮像する場合、レンズアイリスドライバ１２を制御して、光学ブロック１１を動作するようにする駆動信号を生成させて、生成した駆動信号を光学ブロック１１に供給することで、光学ブロック１１を動作させる。
また、CPU１９は、例えば、フラッシュROM２１またはRAM２０等に記憶されているプログラムに従って各種の処理を実行する。
RAM２０には、CPU１９が実行するプログラムや各種のデータ等が適宜記憶される。フラッシュROM２１は、CPU１９が実行するプログラムや各種のデータを記録する。これらのCPU１９、RAM２０、およびフラッシュROM２１は、バス２９により相互に接続される。
バス２９には、さらに、DSP１７、ディスプレイコントローラ２２、入力部２４、ドライブコントローラ２５、および記録メディアインターフェース２７が接続されている。
DSP１７は、例えば、専用のIC（Integrated Circuit）である専用DSP、または汎用DSP等からなる。
DSP１７は、前処理回路１６から供給されるデジタル信号である画像データに対して、画像処理を適用する。DSP１７は、例えば、AF（Auto Focus）処理部４１、AE（Auto Exposure）処理部４２、AWB（Auto White Balance）処理部４３、および圧縮伸張部４４等を含み、前処理回路１６から供給された画像データに所定のカメラ信号処理を適用し、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。
また、DSP１７は、SDRAMコントローラ４５を含む。SDRAMコントローラ４５は、DSP１７が実行するプログラムや各種データに基づいて、SDRAM１８を制御することにより、一時的にそれらのプログラムや各種データをSDRAM１８に記憶させる。
SDRAM１８は、SDRAMコントローラ４５の制御に基づいて、DSP１７が実行するプログラムや各種データ等を適宜記憶する。例えば、SDRAM１８が、前処理回路１６から供給される画像データを一時的に記憶することで、DSP１７は、一時的に記憶された画像データに対して、所定のカメラ信号処理および画像データを圧縮する処理を適用し、圧縮された画像データを生成する。
具体的には、SDRAM１８に記憶される前処理回路１６から供給された画像データに対して、AF処理部４１は、被写体に焦点（ピント）を合わせる処理（いわゆる、オートフォーカス）を行い、AE処理部４２は、被写体の明るさを基に露出を決定する処理（いわゆる、自動露出）を行い、AWB処理部４３は、白色である予め定められた基準の色を基に全体の画像データを補正する処理（いわゆる、ホワイトバランス）を行う。
圧縮伸張部４４は、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。例えば、圧縮伸張部４４は、画像データをJPEG（Joint Photographic Experts Group）方式で圧縮する。これにより、画像データのデータ量を減らしてから、画像データをリムーバブルメディア２６に記録することができる。
DSP１７は、CPU１９の制御を基に、SDRAM１８から圧縮した画像データを読み出し、その画像データを、バス２９を介してドライブコントローラ２５に供給することで、リムーバブルメディア２６に画像データをファイルとして記録させる。
ドライブコントローラ２５は、リムーバブルメディア２６に対応した所定のインターフェースから構成され、DSP１７から供給された画像データをリムーバブルメディア２６に記録させるか、またはリムーバブルメディア２６に記録されている画像データを読み出して、DSP１７またはCPU１９等に供給する。
リムーバブルメディア２６は、例えば、テープ（例えば磁気テープ）または光ディスク（例えば、記録可能なDVD（Digital Versatile Disc））等であり、必要に応じてビデオカメラ１に装着される。また、リムーバブルメディア２６は、後述する記録メディア２８と同一の記録媒体として構成することも可能である。なお、リムーバブルメディア２６には、例えば、ハードディスク等の磁気ディスク、メモリカード等の半導体メモリ、またはMD（Mini-Disc）（商標）等の光磁気ディスクを用いるようにしてもよい。
また、DSP１７は、コントロールキー等からなる入力部２４や、タッチパネル５２等を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データがリムーバブルメディア２６から読み出された場合、バス２９を介して、リムーバブルメディア２６から供給されるデータ圧縮されている画像データを、そのデータ圧縮に応じた所定の伸張処理（解凍処理）を行うことで、画像データを伸張し、伸張した画像データを、バス２９を介して、ディスプレイコントローラ２２に供給する。
つまり、圧縮伸張部４４は、画像データがリムーバブルメディア２６から読み出された場合、バス２９を介して、リムーバブルメディア２６から供給される圧縮されている画像データを、その圧縮の方式に応じた所定の伸張処理（解凍処理）を行うことで、画像データを伸張する。伸張した画像データは、バス２９を介して、ディスプレイコントローラ２２に供給される。
ディスプレイコントローラ２２は、DSP１７から供給される画像データを基に、表示部２３に供給する画像信号を生成し、生成した画像信号を表示部２３に供給する。ディスプレイコントローラ２２は、画像信号を表示部２３に供給することにより、表示部２３の表示を制御する。
表示部２３は、ディスプレイコントローラ２２から供給される画像信号を基に、画像信号に応じた画像を表示画面に表示する。なお、画像の表示の形態は、フラッシュROM２１に記録された制御プログラムに従う。すなわち、ディスプレイコントローラ２２は、CPU１９の実行する制御プログラムに従って、表示部２３の画面に表示する、画像の表示の形態を決定する。
表示部２３は、カラー液晶表示部５１およびタッチパネル５２を含む。
カラー液晶表示部５１は、例えば、LCD（Liquid Crystal Display）パネルや、有機ＥＬ（Electro Luminescence）パネル等からなり、ディスプレイコントローラ２２から供給される画像信号を基に、画像信号に応じた画像を表示する。これにより、例えば、リムーバブルメディア２６に記録されている画像データに対応する画像が、カラー液晶表示部５１の画面に表示される。
カラー液晶表示部５１に重畳されたタッチパネル５２は、カラー液晶表示部５１の画面を透過するようになされており、カラー液晶表示部５１に表示された操作画面のキー等を選択するユーザの操作を受け付けて、その操作位置を示す位置情報を示す信号をCPU１９に供給する。CPU１９は、タッチパネル５２から供給される信号に基づいて、ビデオカメラ１の各部の動作を制御する。
記録メディアインターフェース２７は、記録メディア２８に対応した所定のインターフェースから構成され、DSP１７またはCPU１９から供給されたデータを記録させるか、または記録メディア２８に記録されているデータを読み出して、DSP１７またはCPU１９等に供給する。
記録メディア２８は、例えば、メモリスティック（商標）等のメモリカードであり、必要に応じてビデオカメラ１に装着される。もちろん、記録メディア２８は、リムーバブルメディア２６と同一の記録媒体として構成することも可能である。
なお、図示は省略しているが、ビデオカメラ１においては、マイクロホンから取り込まれた音声信号に対しても、所定の処理が施され、所定の処理を施すことにより得られた音声データは、例えば、リムーバブルメディア２６に記録される。つまり、ビデオカメラ１により撮像され記録されるデータは、一般的に、画像データの他に、音声データ等からも構成されるが、本実施の形態では、説明を簡易にするために、映像を表示するための画像データについてだけ説明する。
また、上述した図１の例において、ビデオカメラ１は、記録メディアインターフェース２７を設けて、そこに記録メディア２８を装着する構成を例にして説明したが、記録メディア２８に記録するデータをリムーバブルメディア２６に記録させることで、記録メディアインターフェース２７を設けない構成とすることも可能である。つまり、ビデオカメラ１に装着される記録媒体は、リムーバブルメディア２６だけでもよく、その場合、記録メディア２８に記録していたデータは、リムーバブルメディア２６に記録される。
さらに、ビデオカメラ１のハードウェアの構成は、図１の例に限定されず、後述する図２または９の機能的構成を少なくとも有していればよい。
図２は、図１のビデオカメラ１の機能的構成の例を示すブロック図である。
ビデオカメラ１は、制御部１０１、操作部１０２、撮像部１０３、顔画像検出部１０４、顔画像照合部１０５、重畳部１０６、表示制御部１０７、顔画像選択部１０８、顔画像記憶部１０９、記録メディア制御部１１０、顔画像検出部１１１、表示部２３、および記録メディア２８を含むようにして構成される。
なお、図２では、図１と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
また、本実施の形態では、ビデオカメラ１は、上述した図１のハードウェア構成を有しているので、制御部１０１は、例えば、図１のCPU１９に相当し、操作部１０２は、図１の入力部２４またはタッチパネル５２に相当する。また、撮像部１０３は、例えば、図１の光学ブロック１１乃至前処理回路１６に相当し、顔画像検出部１０４、顔画像照合部１０５、重畳部１０６、および顔画像検出部１１１は、例えば、図１のDSP１７に相当する。
さらにまた、顔画像選択部１０８は、例えば、図１のタッチパネル５２に相当し、表示制御部１０７は、例えば、図１のディスプレイコントローラ２２に相当し、顔画像記憶部１０９は、例えば、図１のフラッシュROM２１に相当し、記録メディア制御部１１０は、例えば、図１の記録メディアインターフェース２７に相当する。
ただし、顔画像検出部１０４、顔画像照合部１０５、重畳部１０６、表示制御部１０７、記録メディア制御部１１０、または顔画像検出部１１１は、例えば、ソフトウェア（コンピュータプログラム）を実行する図１のCPU１９により実現されるようにしてもよい。つまり、顔画像検出部１０４、顔画像照合部１０５、重畳部１０６、表示制御部１０７、記録メディア制御部１１０、または顔画像検出部１１１は、ハードウェアとして構成することもできるし、ソフトウェアとして構成することもできるし、さらに、ソフトウェアとハードウェアの組み合わせとしても構成することができる。
制御部１０１は、撮像者の操作に応じて操作部１０２から供給される操作信号に基づいて、図２のビデオカメラ１の各部の動作を制御する。
撮像部１０３は、被写体を撮像する。撮像部１０３は、撮像により得られた被写体の画像を、顔画像検出部１０４および重畳部１０６に供給する。
なお、以下、本実施の形態では、単に、「画像」と記載した場合、画像そのものと、その画像を表示するための画像データの両方の意味を含むものとする。
顔画像検出部１０４は、撮像部１０３から供給される画像から顔画像を検出する、顔画像検出処理を行う。顔画像検出部１０４は、顔画像検出処理を行うことにより得られた検出結果を顔画像照合部１０５に供給する。
なお、詳細は後述するが、顔画像検出処理とは、撮像された被写体の画像のなかから、人物の顔の画像を検出する処理である。つまり、顔画像検出部１０４は、顔画像検出処理を実行することで、撮像部１０３によって撮像された画像から、その画像に写っている人物の顔の画像を検出する。
顔画像選択部１０８は、例えば、撮像者によるタッチパネル５２への操作に基づいて、表示部２３に表示されている被写体の画像のなかから、撮像対象者の顔画像を選択する。顔画像選択部１０８は、選択した撮像対象者の顔画像（または顔画像に関する情報）を顔画像記憶部１０９に供給する。
なお、顔画像選択部１０８は、撮像者によるタッチパネル５２への操作の他に、例えば、表示部２３に表示された被写体の画像のなかのフォーカスが合わされた顔画像に対して操作される撮像者によるキー入力に応じて、撮像対象者の顔画像を選択するようにしてもよい。要は、撮像対象者の顔画像が選択されればよいのであって、その手段、方法は、任意である。
顔画像記憶部１０９は、顔画像選択部１０８から供給される、撮像部１０３により撮像された撮像対象者の顔画像（または顔画像に関する情報）を記憶する。顔画像記憶部１０９は、顔画像照合部１０５からの要求に応じて、記憶している撮像対象者の顔画像を顔画像照合部１０５に供給する。
また、顔画像記憶部１０９には、顔画像データベース１０９ａが記憶されており、その顔画像データベース１０９ａに撮像対象者の顔画像や、顔画像に関する情報が登録される。なお、顔画像記憶部１０９は、撮像対象者の顔画像を、顔画像データベース１０９ａに登録せずに一時的に記憶し、その一時的に記憶している顔画像を顔画像照合部１０５に供給してもよい。
顔画像照合部１０５は、顔画像検出部１０４から供給される顔画像の検出結果および顔画像記憶部１０９から読み出した撮像対象者の顔画像に基づいて、顔画像照合処理を行う。顔画像照合部１０５は、顔画像照合処理を行うことにより得られた顔画像の照合結果を重畳部１０６に供給する。
なお、詳細は後述するが、顔画像照合処理とは、撮像された被写体の画像から検出された顔画像と、撮像対象者の顔画像とを照合して、検出された顔画像のなかから撮像対象者の顔画像を特定する処理である。
つまり、顔画像照合部１０５は、顔画像検出部１０４から供給される顔画像の検出結果と、顔画像データベース１０９ａに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、顔画像データベース１０９ａに登録されている顔画像が特定される。
重畳部１０６は、顔画像照合部１０５から供給される顔画像の照合結果に基づいて、撮像部１０３から供給される被写体の画像における、顔画像照合部１０５により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部１０６は、顔マークが重畳された被写体の画像を表示制御部１０７に供給する。なお、重畳部１０６は、照合結果が顔マークの重畳を行なわないことを示している場合、顔マークの重畳を行なわずに、撮像部１０３から供給される画像をそのまま表示制御部１０７に供給する。
ここで、顔マークとは、撮像対象者を撮像者に認識させるためのマークである。例えば、顔マークは、円形、四角形、または楕円形の形状からなるアイコンからなり、それらの形状からなるアイコンが撮像対象者の顔画像に重畳される。
表示制御部１０７は、重畳部１０６から供給される、顔マークが重畳された被写体の画像を、表示部２３（のカラー液晶表示部５１）に表示させる。なお、表示制御部１０７は、重畳部１０６から顔マークが重畳されていない画像が供給された場合、顔マークの重畳されていない被写体の画像を、表示部２３に表示させる。
記録メディア制御部１１０は、顔画像記憶部１０９の顔画像データベース１０９ａに登録されている撮像対象者の顔画像（または顔画像に関する情報）を読み出し、その顔画像を記録メディア２８に記録する。これにより、記録メディア２８は、撮像対象者の顔画像や、その撮像対象者の顔画像に関する情報等を記録する。
また、記録メディア制御部１１０は、記録メディア２８に記録されている、撮像対象者の顔画像を含んでいる画像（または顔画像）を読み出し、その画像を顔画像検出部１１１に供給する。
顔画像検出部１１１は、記録メディア制御部１１０から供給される撮像対象者の顔画像を含んでいる画像から顔画像を検出する、顔画像検出処理を行なう。顔画像検出部１１１は、顔画像検出処理を行うことにより得られた検出結果を顔画像記憶部１０９に供給し、顔画像データベース１０９ａに登録する。これにより、顔画像データベース１０９ａには、記録メディア２８に記録されていた画像に含まれる撮像対象者の顔画像が登録される。
つまり、顔画像データベース１０９ａには、被写体の画像のなかから撮像者により選択された撮像対象者の顔画像、または記録メディア２８に記録されていた画像に含まれる撮像対象者の顔画像が登録されているので、顔画像照合部１０５は、それらの顔画像と、撮像された被写体の画像から検出された顔画像とを照合することで、撮像対象者の顔画像を特定する。
なお、顔画像検出部１１１は、記録メディア２８に記録されている画像が顔画像である場合、顔画像検出部１１１による顔画像検出処理を行なわずに、記録メディア２８から読み出した顔画像をそのまま顔画像データベース１０９ａに登録させる。
また、本実施の形態では、説明の都合上、顔画像検出部１０４と顔画像検出部１１１を別のブロックとして説明するが、もちろん、それらのブロックを同一のブロックとしてもよい。
図３は、撮像対象者の登録方法の概要について説明する図である。
ビデオカメラ１においては、図３に示すように、撮像者により画像１５１が撮像される場合、表示部２３には画像１５１がリアルタイムで表示される。つまり、撮像者は、表示部２３にリアルタイムで表示されている画像１５１を見ながら、その画像１５１に対応する被写体を撮像する。
例えば、図３に示すように、ビデオカメラ１で運動会を撮影する場合、ビデオカメラ１を操作している親は、我が子を撮像するために表示部２３に表示されている画像１５１を確認するが、同じような運動着を着ている多くの子供達のなかから我が子を見つけ出すのは困難である。そこで、ビデオカメラ１では、撮像された被写体の画像から顔画像を検出し、検出された顔画像のなかから、例えば、自分の子供等の撮像対象者に対して顔マーク１５１ａを重畳させることで、例えば、我が子を撮像する親等の撮像者に対して、自分の子供等の撮像対象者を直感的に識別させることが可能となる。
つまり、図３の例では、タッチパネル５２を有している表示部２３に表示されている画像１５１において、撮像者により、例えば、自分の子供等の撮像対象者が触れられることで、その触れられた撮像対象者に対して、顔マーク１５１ａが重畳される。ちなみに、表示部２３に表示されている画像１５１において、顔マーク１５１ａに囲まれた撮像対象者である子供の画像が撮像者により触れられたことになる。
そして、撮像中であれば、撮像対象者である自分の子供の画像には顔マーク１５１ａが重畳されているので、撮像者である親は、その顔マーク１５１ａを追って撮像することで、運動会のような子供を見失う可能性が高い状況下にあっても、画枠から外れることなく確実に、撮像対象者である子供を撮像することが可能となる。
また、ビデオカメラ１においては、撮像者により選択された撮像対象者の顔画像１５２（または顔画像１５２を含む画像）を、記録メディア２８に記録させることもできる。つまり、記録メディア２８に顔画像１５２を記録させておくことで、例えば、再度、同じ撮像対象者の撮像が行われるとき、ビデオカメラ１では、撮像対象の顔画像を選択する操作を行わずに、記録メディア２８に記録されている顔画像１５２を読み出し、その顔画像１５２により撮像対象者を特定して、撮像対象者の顔画像に顔マーク１５１ａを重畳させることができる。また、その記録メディア２８を他のビデオカメラに装着させることで、他のビデオカメラでも同様に、撮像された画像のなかから、顔画像１５２となる顔画像を特定し、特定された顔画像に対して顔マークを重畳させることが可能となる。
次に、その具体的な処理の流れについて説明する。
図４は、図２のビデオカメラ１により実行される、顔マーク重畳処理について説明するフローチャートである。
ステップＳ１１において、撮像部１０３は、被写体を撮像し、撮像により得られた被写体の画像を、顔画像検出部１０４および重畳部１０６に供給する。
ステップＳ１２において、制御部１０１は、操作部１０２からの操作信号に基づいて、例えば、撮像者により顔マークの重畳を指示するボタンが押下されることで、顔マークの重畳が指示されているか否かを判定する。
ステップＳ１２において、顔マークの重畳が指示されていると判定された場合、ステップＳ１３において、顔画像検出部１０４は、撮像部１０３から供給される画像から顔画像を検出する顔画像検出処理を行う。
ここで、図５のフローチャートを参照して、ステップＳ１３の処理に対応する、顔画像検出部１０４により実行される顔画像検出処理の詳細について説明する。
ステップＳ３１において、顔画像検出部１０４は、撮像部１０３から供給される画像から顔画像を検出する。
ここで、顔画像の検出方法であるが、一般的には、画像のなかから人の目を識別して、識別された目を顔画像であるとする方法が用いられる。この方法の場合、顔画像検出部１０４は、撮像部１０３から供給される画像に対して、グレースケール処理を施し、それにより得られた画像から、目の白黒部分を面積比や形状等より判断して検出する。
ステップＳ３２において、顔画像検出部１０４は、撮像部１０３から供給される画像から、目以外の顔の器官（主要パーツ）である特徴点を抽出する。
ここで、特徴点の抽出方法であるが、顔画像検出部１０４は、例えば、ステップＳ３１の処理において検出された目以外の顔の器官である鼻、口、眉、耳、または髪等を検出することで、特徴点を抽出する。なお、器官の検出方法であるが、全ての器官の画像を検出する必要はなく、例えば目と口の画像だけを検出する等、器官の画像の一部だけを検出するようにしてもよい。また、顔画像検出部１０４は、色フィルタを用いて肌色判断を行なって人間の肌の画像を検出することにより、顔画像の検出を行うようにしてもよい。
なお、顔画像の検出方法には、種々の方法があり、所定の画像のなかから顔画像を検出できる方法であれば、いずれの方法を用いるようにしてもよい。例えば、人間の頭部は楕円形の形状をしているので、それを利用して、顔画像を検出するようにしてもよい。具体的には、顔画像検出部１０４は、撮像部１０３から供給される画像から、楕円状となる画像を検出することにより、その楕円状の画像を頭部とすることで、顔画像を検出する。さらに、顔画像の検出方法としては、楕円状の形状をしている画像を検出する他に、例えば、顔の下側の輪郭線と類似した形状の画像を検出する方法等を用いることももちろん可能である。要は、所定の画像から顔画像が検出されればよいのであって、その手段、方法は、任意である。
図４のフローチャートに戻り、ステップＳ１４において、表示制御部１０７は、重畳部１０６を介して撮像部１０３から供給される被写体の画像を表示部２３に表示させる。このとき、表示部２３は、撮像者により撮像対象者の顔画像が選択されていないので、重畳部１０６により供給される、顔マークが重畳されていない被写体の画像を表示する。これにより、撮像者は、この表示部２３に表示されている被写体の画像を見ながら撮像を行う。
ステップＳ１５において、顔画像選択部１０８は、撮像者によるタッチパネル５２への操作に基づいて、表示部２３に表示されている被写体の画像のなかから撮像対象者の顔画像を選択する。
なお、ステップＳ１２において、顔マークの重畳が指示されていないと判定された場合、ステップＳ１３の処理をスキップし、処理はステップＳ１４に進む。この場合、ステップＳ１５において、表示部２３に表示されている画像には、顔マークの重畳が指示されておらず、顔画像検出処理（ステップＳ１３の処理）が施されていないので、撮像者は、表示部２３に表示されている画像から撮像対象者の顔画像を選択することはできない。
ステップＳ１６において、顔画像選択部１０８は、撮像者により撮像対象者の顔画像が選択されたか否かを判定する。
ステップＳ１６において、撮像者により撮像対象者の顔画像が選択されたと判定された場合、ステップＳ１７において、顔画像記憶部１０９は、顔画像選択部１０８により選択された撮像対象者の顔画像を顔画像データベース１０９ａに登録する。これにより、顔画像データベース１０９ａには、顔画像選択部１０８により選択された撮像対象者の顔画像が登録される。
ステップＳ１８において、制御部１０１は、操作部１０２からの操作信号に基づいて、例えば、撮像者により撮像対象者の顔画像の記録メディア２８への記録を指示するボタンが押下されることで、選択された撮像対象者の顔画像の記録が指示されたか否かを判定する。
ステップＳ１８において、選択された撮像対象者の顔画像の記録が指示されたと判定された場合、ステップＳ１９において、記録メディア制御部１１０は、顔画像データベース１０９ａに登録されている撮像対象者の顔画像を記録メディア２８に記録する。これにより、記録メディア２８には、撮像者により選択された撮像対象者の顔画像が記録されるので、撮像者は、例えば、その記録メディア２８を他のビデオカメラに装着させることで、同一の撮像対象者の顔画像に対して顔マークを重畳させることが可能となる。
一方、ステップＳ１８において、選択された撮像対象者の顔画像の記録が指示されていないと判定された場合、ステップＳ１９の処理をスキップし、処理はステップＳ２０に進む。つまり、この場合、撮像対象者の顔画像は、記録メディア２８に記録されないことになる。
ステップＳ２０において、顔画像照合部１０５は、顔画像照合処理を行って、顔画像の照合結果を重畳部１０６に供給する。具体的には、顔画像照合部１０５は、顔画像検出部１０４からの顔画像の検出結果と、顔画像データベース１０９ａに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、撮像者により選択された撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、撮像者により選択された撮像対象者の顔画像と同一の顔画像が特定される。
ステップＳ２１において、重畳部１０６は、顔画像照合部１０５からの顔画像の照合結果に基づいて、表示部２３に表示される画像のうち、顔画像照合部１０５により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部１０６は、その顔マークが重畳された画像を表示制御部１０７に供給する。
ステップＳ２２において、表示制御部１０７は、重畳部１０６から供給される顔マークが重畳された被写体の画像を表示部２３に表示させる。
つまり、図３に示すように、表示部２３に表示されている画像１５１において、撮像者である親によって、自分の子供が撮像対象者として選択された場合、表示制御部１０７は、その選択された子供の顔画像に顔マーク１５１ａが重畳された画像１５１を表示部２３に表示させる。これにより、例えば、運動会の様子をビデオカメラ１で撮像している親は、たくさんいる子供達のなかから、顔マーク１５１ａが重畳されている自分の子供を追うことで、確実に我が子を撮像することが可能となる。
また、撮像対象者の顔画像に重畳される顔マーク１５１ａの形状であるが、図６に示すように様々な形状とすることができる。
すなわち、図６の例に示すような子供を撮像対象者とした場合、図６の左側に示すように、例えば、表示部２３に表示されている画像１７１の撮像対象者（図６の例では「子供」）の顔の周りに重畳されている円形の形状（図６の顔マーク１７１ａ）の他に、図６の中央に示すような四角形の形状（図６の顔マーク１７１ｂ）や、図６の右側に示すような楕円形の形状（図６の顔マーク１７１ｃ）等であってもよい。また、図示は省略するが、円形、四角形、または楕円形の他にも、例えば、一点鎖線や波線などを用いてもよいし、三角形やダイヤモンド型、菱形等を用いてもよい。また、撮像対象者が複数人存在する場合には、撮像対象者ごとに色遣いを変えてもよい。つまり、顔マーク１５１ａは、撮像者に対して撮像された画像のなかから撮像対象者の顔画像を把握させることができればよく、その形状や色、大きさ等を任意に変更することができる。
図４のフローチャートに戻り、ステップＳ２３において、制御部１０１は、操作部１０２からの操作信号に基づいて、例えば、撮像者により撮像の停止を指示するボタンが押下されることで、撮像終了が指示されたか否かを判定する。
ステップＳ２３において、撮像終了が指示されていないと判定された場合、ステップＳ１１に戻り、上述した、ステップＳ１１乃至Ｓ２３の処理が繰り返される。すなわち、ステップＳ２３において、撮像終了が指示されたと判定されるまで、ステップＳ１１乃至Ｓ２３において、撮像対象者の顔画像に対して顔マークが重畳される処理が繰り返され、撮像者は、撮像対象者の顔画像に重畳された顔マークを追いながら撮像を行うことになる。
一方、ステップＳ２３において、撮像終了が指示されたと判定された場合、図４の顔マーク重畳処理は終了する。
以上のように、ビデオカメラ１は、撮像者により選択された撮像対象者の顔画像に対して、顔マークを重畳させて表示することができる。これにより、撮像者は、表示部２３に表示される画像内の特定人物を把握できるので、撮像機会を逃さずに所望の撮像対象者を撮像することができる。
なお、上述した例では、ステップＳ１８の処理において、制御部１０１は、操作部１０２からの操作信号に基づいて、選択された撮像対象者の顔画像の記録が指示されたか否かを判定するとして説明したが、ステップＳ１８の判定処理を行なわずに、ステップＳ１９の処理に進むことで、撮像者により選択された撮像対象者の顔画像を、強制的に記録メディア２８に記録させるようにしてもよい。
ところで、上述した例では、撮像者により選択された撮像対象者の顔画像に対して、顔マークを重畳させて表示するとして説明したが、本実施の形態では、例えば、デジタルスチルカメラにより撮像された画像であって、記録メディア２８に記録されている画像を利用して、撮像されている被写体のなかにその記録メディア２８から読み込んだ撮像対象者の顔画像と同一の人物が存在する場合、その人物の顔に顔マークを重畳させることも可能である。
そこで、次に、図７および８を参照して、上述したような、撮像されている画像のなかから撮像対象者となる顔画像を選択する代わりに、記録メディア２８に記録されている画像から撮像対象者の顔画像を特定し、その撮像対象者に顔マークを重畳する処理について説明する。
図７は、記録メディア２８に記録された顔画像を含んでいる画像を利用した、撮像対象者の登録方法の概要について説明する図である。
図７に示すように、撮像対象者の顔画像（図７の例では子供の画像）を含んでいる画像１９２を記録している記録メディア２８が、ビデオカメラ１に装着された場合、ビデオカメラ１は、その記録メディア２８に記録されている画像１９２を読み込む。そして、ビデオカメラ１においては、撮像された画像１９１のなかに、記録メディア２８から読み込んだ画像１９２に含まれる顔画像と同一の人物が存在する場合、その人物の顔に顔マーク１９１ａが重畳され、その顔マーク１９１ａが重畳された画像１９１が表示部２３に表示される。
これにより、記録メディア２８から読み出された画像から撮像対象者が特定されるので、撮像者は、撮像時に、表示部２３に表示された画像から撮像対象者の顔画像を探して登録する操作を行なう必要がないため、迅速に、かつ、確実に撮像対象者を撮像することが可能となる。
次に、その具体的な処理の流れについて説明する。
図８は、図２のビデオカメラ１により実行される、記録メディア２８に記録された画像に含まれる顔画像を利用した、顔マーク重畳処理について説明するフローチャートである。
ステップＳ５１において、図４のステップＳ１１の処理と同様に、撮像部１０３により、被写体が撮像され、それにより得られた被写体の画像が、顔画像検出部１０４および重畳部１０６に供給される。
ステップＳ５２において、制御部１０１は、操作部１０２からの操作信号に基づいて、例えば、撮像者により顔マークの重畳を指示するボタンが押下されることで、顔マークの重畳が指示されているか否かを判定する。
ステップＳ５２において、顔マークの重畳が指示されていると判定された場合、ステップＳ５３において、制御部１０１は、顔画像を含んでいる画像を記録している記録メディア２８が記録メディアインターフェース２７に装着されているか否かを判定する。
ステップＳ５３において、顔画像を含んでいる画像を記録している記録メディア２８が装着されていると判定された場合、ステップＳ５４において、記録メディア制御部１１０は、装着されている記録メディア２８から画像を読み出し、その画像を顔画像検出部１１１に供給する。
ステップＳ５５において、顔画像検出部１１１は、記録メディア制御部１１０から供給される画像から顔画像を検出する顔画像検出処理を行って、顔画像の検出結果を顔画像記憶部１０９に供給する。これにより、記録メディア２８に記録されている画像のなかから撮像対象者の顔画像が検出される。
なお、顔画像検出部１１１により実行される、ステップＳ５５の処理に対応する、図５の顔画像検出処理の詳細は、上述した、顔画像検出部１０４による、図４のステップＳ１３の処理と同様であるので、その説明は省略する。
ステップＳ５６において、顔画像記憶部１０９は、記録メディア２８から読み出された画像に含まれる撮像対象者の顔画像であって、顔画像検出部１１１により検出された撮像対象者の顔画像を顔画像データベース１０９ａに登録する。これにより、顔画像データベース１０９ａには、記録メディア２８に記録されていた画像から検出された撮像対象者の顔画像が登録される。
ステップＳ５７において、顔画像検出部１０４は、図４のステップＳ１３の処理と同様に、撮像部１０３により撮像された画像から顔画像を検出する顔画像検出処理を行って、顔画像の検出結果を顔画像照合部１０５に供給する。これにより、撮像部１０３により撮像された被写体の画像のなかから顔画像が検出される。
なお、顔画像検出部１０４により実行される、ステップＳ５７の処理に対応する、図５の顔画像検出処理の詳細は、上述した、顔画像検出部１０４による、図４のステップＳ１３の処理と同様であるので、その説明は省略する。
ステップＳ５８において、顔画像照合部１０５は、顔画像照合処理を行って、顔画像の照合結果を重畳部１０６に供給する。具体的には、顔画像照合部１０５は、顔画像検出部１０４からの顔画像の検出結果と、顔画像データベース１０９ａに登録されている撮像対象者の顔画像とを照合することで、撮像された被写体の画像の顔画像のなかから、記録メディア２８に記録されていた撮像対象者の顔画像を特定する。これにより、撮像された被写体の画像のなかから、記録メディア２８に記録されていた画像の顔画像と同一の人物の顔画像が特定される。
ステップＳ５９において、顔画像照合部１０５は、顔画像照合処理によって、撮像された被写体の画像の顔画像のなかから、記録メディア２８に記録されていた画像に含まれる撮像対象者の顔画像が特定されたか否かを判定する。
ステップＳ５９において、顔画像が特定されたと判定された場合、ステップＳ６０において、重畳部１０６は、顔画像照合部１０５から供給される顔画像の照合結果に基づいて、表示部２３に表示される画像のうち、顔画像照合部１０５により特定された撮像対象者の顔画像に顔マークを重畳する。重畳部１０６は、その顔マークが重畳された画像を表示制御部１０７に供給する。
ステップＳ６１において、表示制御部１０７は、重畳部１０６から供給される顔マークが重畳された被写体の画像を表示部２３に表示させる。
つまり、図７に示したように、ビデオカメラ１においては、表示部２３に表示される画像１９１から、記録メディア２８に記録されている画像１９２に含まれる撮像対象者である子供の顔画像と一致する顔画像が特定された場合、表示制御部１０７は、その特定された子供の顔画像に顔マーク１９１ａが重畳された画像１９１を表示部２３に表示させる。これにより、例えば、運動会の様子をビデオカメラ１で撮像している親は、表示部２３に表示された画像１９１のなかから顔マーク１９１ａが重畳された自分の子供を追うことで、我が子を見逃さなくなり、常に撮像対象となる我が子を撮り続けることができる。
一方、ステップＳ５９において、顔画像が特定されていないと判定された場合、ステップＳ６０の処理をスキップし、処理はステップＳ６１に進む。ステップＳ６１において、表示制御部１０７は、重畳部１０６から供給される顔マークが重畳されていない被写体の画像を表示部２３に表示させる。つまり、このとき、顔画像照合処理によって顔画像が特定されておらず、撮像された被写体の画像に、記録メディア２８に記録されている画像に含まれる撮像対象者の顔画像が存在していないので、顔マークが重畳されていない被写体の画像が表示部２３に表示される。
ステップＳ６２において、図４のステップＳ２３と同様に、制御部１０１により、撮像終了が指示されたか否かが判定され、撮像終了が指示されていないと判定された場合、ステップＳ５１乃至Ｓ６２の処理が繰り返される。すなわち、ステップＳ６２において、撮像終了が指示されたと判定されるまで、ステップＳ５１乃至Ｓ６２において、撮像対象者の顔画像に対して顔マークが重畳される処理が繰り返され、撮像者は、撮像対象者に重畳された顔マークを追いながら、所望の撮像対象者の撮像を行うことになる。
一方、ステップＳ６２において、撮像終了が指示されたと判定された場合、図８の顔マーク重畳処理は終了する。
以上のように、ビデオカメラ１は、装着された記録メディア２８から読み出された画像に含まれる撮像対象者の顔画像に対して、顔マークを重畳して表示することができる。これにより、撮像者は、撮像対象者となる人物の動きが分かるので、常に撮像対象者となる人物を中心に撮像を行うことができる。
なお、上述した例では、ステップＳ５２の処理によって、顔マークの重畳が指示されている場合に、記録メディア２８から撮像対象者の顔画像を含んでいる画像を読み出して、顔マークを重畳する処理を行うとして説明したが、それに限らず、例えば、ステップＳ５２の処理を省略して、記録メディア２８がビデオカメラ１に装着された場合に、顔マークを重畳する処理を行うようにしてもよい。もちろん、この例の場合、記録メディア２８がビデオカメラ１に装着されていないとき、顔マークを重畳する処理は行なわれない。
ところで、撮像者にとっては、撮像対象者を常に撮像し続けることが理想であるが、子供等の撮像対象者は常に動いていることが多く、また、ビデオカメラ１を手に持って動かしながら撮像を行なうため、撮像対象者が画枠から外れてしまい、見失ってしまう可能性がある。その場合、上述したように、撮像対象者の顔画像に顔マークを重畳させようとしても、撮像対象者自体が表示部２３に表示されている画像のなかに存在しないため（画枠から外れてしまっているため）、顔マークを重畳させることができない。そこで、上述した例では、撮像されている画像のなかに存在する撮像対象者となる人物の顔に顔マークを重畳させていたが、さらに、その撮像対象者の存在する位置の方向を示すアイコン（以下、状態マークと称する）を重畳させることで、撮像対象者を画面から見失った場合でも、その状態マークによって迅速にその撮像対象者の位置を確認することが可能となる。したがって、次に、図９乃至２０を参照して、撮像された画像に状態マークを重畳する処理について説明する。
図９は、ビデオカメラ１の機能的構成の他の例を示すブロック図である。
なお、図９では、図２と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。すなわち、図９において、ビデオカメラ１は、図２のビデオカメラ１と比較して、状態検出部２０１が追加して設けられている。
状態検出部２０１は、撮像部１０３から供給される画像から、顔画像データベース１０９ａに登録されている撮像対象者の状態を検出する、状態検出処理を行う。状態検出部２０１は、状態検出処理を行うことにより得られた検出結果を重畳部１０６に供給する。
なお、詳細は後述するが、状態検出処理とは、画枠から外れてしまった撮像対象者の存在する位置を推測する処理によって、撮像対象者の状態を検出する処理である。
重畳部１０６は、状態検出部２０１から供給される撮像対象者の検出結果に基づいて、撮像部１０３から供給される被写体の画像に対して、撮像対象者の状態を示す状態マークを重畳する。重畳部１０６は、状態マークが重畳された被写体の画像を表示制御部１０７に供給する。また、上述したように、重畳部１０６は、顔画像照合部１０５から供給される顔画像の照合結果に基づいて、撮像対象者が画枠のなかに存在するとき、撮像部１０３から供給される被写体の画像における撮像対象者の顔画像に顔マークを重畳する。
表示制御部１０７は、重畳部１０６から供給される画像に基づいて、顔マークまたは状態マークの重畳された被写体の画像を表示部２３に表示させる。
次に、図１０および１１を参照して、状態マークの概要について説明する。
ビデオカメラ１においては、図１０に示すように、撮像者により被写体が撮像される場合、表示部２３には、撮像された被写体の画像３０１が表示される。この画像３０１には、撮像対象者であることを示す顔マーク３０２ａと、その顔マーク３０２ａが重畳された撮像対象者の状態を示す状態マーク３０３ａが重畳される。
つまり、図１０の例では、撮像者は、ビデオカメラ１により、サッカーの試合を撮像しているが、その試合で注目している選手を撮像対象者として登録（選択）しているので、その選択されている選手には顔マーク３０２ａが重畳されている。状態マーク３０３ａは、選択されている撮像対象者の状態、すなわち、顔マーク３０２ａが重畳されている選手の状態を示しており、図１０の例では、顔マーク３０２ａが重畳された選手が画像３０１のなかに存在していることを示している。
具体的には、状態マーク３０３ａでは、撮像対象者の存在有無を示す円のなかに上下左右の４方向を示している矢印が付されているが、その矢印は、撮像対象者が画枠から外れてしまった場合、その撮像対象者の存在する位置の方向を示す。すなわち、状態マーク３０３ａでは、実線で記した矢印の方向に撮像対象者が存在し、点線で記した矢印の方向には撮像対象者が存在しないことを示す。つまり、図１０の例では、画像３０１のなかに、顔マーク３０２ａが重畳された選手（撮像対象者）が存在するので、状態マーク３０３ａの円が実線で記され、その円のなかの上下左右の４方向の矢印は、点線で記されている。
また、図１１の例では、画像３０１のなかに、顔マーク３０２ａが重畳された選手（撮像対象者）が存在せず、かつ、その選手が画枠の左方向の位置に存在するので、状態マーク３０３ａの円のなかでは左方向の矢印だけが実線で記され、その他の３方向の矢印が点線で記されている。なお、図１１の例においては、撮像対象者が画像３０１のなかに存在しないので、状態マーク３０３ａでは、撮像対象者の存在有無を示す円が点線で記される。
なお、状態マーク３０３ａにおいて、上述したような実線と点線の使い分け方は、後述する他の図においても同様とされる。
また、以下、状態マークにおいて、撮像対象者が画枠内に存在する状態を、「存在状態」と称し、このとき、状態マークは、円が実線で記され、４方向の矢印が点線で記される。さらに、撮像対象者が画枠の左方向の位置に存在する状態を、「左移動状態」と称し、同様に、右方向の位置に存在する状態を「右移動状態」、上方向の位置に存在する状態を「上移動状態」、下方向の位置に存在する状態を「下移動状態」とそれぞれ称する。このとき、状態マークにおいて、撮像対象者の存在有無を示す円のなかの、４方向の矢印は、撮像対象者が存在する位置の方向だけが実線で記され、それ以外の３方向は点線で記されることになる。
このように、ビデオカメラ１は、撮像対象者が表示部２３に表示されている画面のなかに存在しない場合であっても、状態マークによって、撮像対象者が画枠から外れていることと、その画枠から外れている撮像対象者の存在する位置の方向を示すことができる。これにより、撮像者は、撮像対象者が表示部２３の画面から外れてしまったとしても、状態マークにより撮像対象者の存在する位置の方向を確認し、状態マークの矢印の方向にビデオカメラ１を動かすことで、撮像対象者を画枠内に収めて撮像することが可能となる。
次に、その具体的な処理の流れについて説明する。
図１２は、図９のビデオカメラ１により実行される、顔・状態マーク重畳処理について説明するフローチャートである。
ステップＳ７１において、図８のステップＳ５１の処理と同様に、撮像部１０３により、被写体が撮像され、それにより得られた画像が、顔画像検出部１０４、重畳部１０６、および状態検出部２０１に供給される。
ステップＳ７２において、制御部１０１は、操作部１０２からの操作信号に基づいて、例えば、撮像者により顔マークと状態マークの重畳を指示するボタンが押下されることで、顔マークと状態マークの重畳が指示されているか否かを判定する。ステップＳ７２において、顔マークと状態マークの重畳が指示されていると判定された場合、処理はステップＳ７３に進む。
ステップＳ７３乃至Ｓ８０において、図８のステップＳ５３乃至Ｓ６０と同様に、顔画像検出部１０４、顔画像照合部１０５、重畳部１０６、顔画像記憶部１０９、記録メディア制御部１１０、および顔画像検出部１１１により、記録メディア２８に記録されている画像に基づいて、撮像された被写体の画像のなかから撮像対象者が特定され、その撮像対象者に顔マークが重畳される。
ステップＳ８１において、撮像部１０３、重畳部１０６、状態検出部２０１は、撮像部１０３により撮像される画像から撮像対象者の状態を検出し、その画像に対して状態マークを重畳する、状態検出処理を行なう。
ここで、図１３のフローチャートを参照して、ステップＳ８１の処理に対応する、撮像部１０３、重畳部１０６、および状態検出部２０１により実行される、状態検出処理の詳細について説明する。
ステップＳ９１において、状態検出部２０１は、顔画像データベース１０９ａに登録されている撮像対象者の顔画像を読み出すことで、撮像対象者を特定する。
ステップＳ９２において、撮像部１０３は、撮像対象者にフォーカスを合わせる。
ステップＳ９３において、状態検出部２０１は、特定された撮像対象者の存在する位置を決定する。
具体的には、図１４に示すように、例えば、Ｎフレーム目の画像において、位置Ｐ（６，５）の位置に存在していた撮像対象者が、その次のフレームであるＮ＋１フレーム目の画像においては、位置Ｑ（１０，８）の位置に移動したとき、位置ＰからＱに移動した撮像対象者の移動速度は、撮像対象者の位置ＰからＱへの移動距離から求めることができる。
なお、この画像の１フレームは、図１４の例では、説明を簡略化するために、図中の水平方向をＸ方向、垂直方向をＹ方向としたとき、（Ｘ，Ｙ）＝（０，０），（２０，０），（０，１５），（２０，１５）の４点を四隅とするブロック、すなわち、１５×２０（個）のブロックからなる。また、１フレームの画像において、撮像対象者の位置は、例えば、撮像対象者の顔の重心等の位置とする。
つまり、点Ｘにフォーカスをあわせたときの焦点距離をＸｆとし、フレームレートをｆｒ（fps）、水平（横）方向の座標をｘ、垂直（縦または奥行き）方向の座標をｙとしたとき、図１５に示すように、撮像対象者のいる位置Ｑにフォーカスを合わせた場合の焦点距離は、Ｑｆ（＝Ｆ（図１５の例では「Ｆ」と表現している））となる。
また、１フレーム当たりの撮像対象者の位置Ｑの移動距離（つまり、撮像対象者の移動距離）は、上記Ｑｆとの関係により一意に求められる。すなわち、撮像対象者の位置Ｑであるが、図１５の例では、水平方向の移動距離がＱｘ（ｍ）となり、垂直方向の移動距離がＱｙ（ｍ）となるので、ｆｒ＝３０（fps）とすると、撮像対象者の移動速度は、水平方向の速度（水平速度）が３０×Ｑｘ（m/s）となり、垂直方向の速度（垂直速度）が３０×Ｑｙ（m/s）となる。
さらにまた、図１６に示すように、撮像経過時間をＴn、ある撮像時点におけるフレーム番号をｎとする（つまり、ｎより１つ前のフレームは、ｎ−１と表現できる）と、撮像開始時間Ｔnの１秒後は、ｆｒ＝３０（fps）であるので、Ｔ30と表現できる。このような関係を前提として、撮像対象者の画面上の位置は下記の座標（１）のように表現できる。
Ｑn（ｑｘn，ｑｙn）・・・（１）
すなわち、状態検出部２０１は、撮像対象者の存在する位置として、例えば、座標（１）で示される、Ｑn（ｑｘn，ｑｙn）を決定する。
図１３のフローチャートに戻り、ステップＳ９４において、状態検出部２０１は、撮像対象者が表示部２３に表示されている画面内に存在するか否かを判定する。例えば、状態検出部２０１は、決定された撮像対象者の存在する位置の座標、Ｑn（ｑｘn，ｑｙn）が、図１４の画像内の座標であるか否かを判定する。
ステップＳ９４において、撮像対象者が画面内に存在しないと判定された場合、ステップＳ９５において、状態検出部２０１は、画面内に存在撮像対象者の存在する位置を推測する、撮像対象者位置推定処理を行って、撮像対象者位置推測処理を行うことにより得られた、撮像対象者の存在する位置を示す情報を重畳部１０６に供給する。
つまり、状態検出部２０１は、撮像対象者が画枠から外れて画面からはみ出した場合、座標（１）を用いて、ＱnとＱn-1との位置関係から、その撮像対象者のはみ出した位置を推定する。
具体的には、例えば、図１４において、Ｑn-1（１５，５）から、Ｑn（１８，５）に移動した撮像対象者が画面の右端からはみ出した場合、その撮像対象者の速度を一定とすると、Ｑn+1（ｑｘn+1，ｑｙn+1）は、上述した関係から、Ｑn+1（２１，５）であると推定できる。すなわち、画面の右端からはみ出した撮像対象者は、画枠から外れて、Ｑn+1（２１，５）の位置に存在していると推測される。
また、撮像対象者のはみ出す方向の右端以外の例として、例えば、図１４において、図Ｑn-1（１０，１０）から、Ｑn（１０，１３）に移動した撮像対象者が画面の上端からはみ出した場合、その撮像対象者の速度を一定とすると、Ｑn+1（ｑｘn+1，ｑｙn+1）は、上述した関係から、Ｑn+1（１０，１６）であると推定できる。すなわち、画面の上端からはみ出した撮像対象者は、画枠から外れて、Ｑn+1（１０，１６）の位置に存在していると推測される。
このように、画枠からはみ出した撮像対象者のはみ出す前の座標を利用して、はみ出した後の座標を求めることができる。
なお、上述した例では、撮像対象者が画面の右端または上端からはみ出す例について説明したが、もちろん、撮像対象者が画面の左端や下端からはみ出した場合の座標も同様に求めることができる。また、上述した方法以外であっても、画枠から外れた撮像対象者の位置を推測できる方法であれば、いずれの方法を用いるようにしてもよい。
図１３のフローチャートに戻り、ステップＳ９６において、重畳部１０６は、状態検出部２０１から供給される撮像対象者位置推測の結果に基づいて、撮像部１０３から供給される画像に、画枠外に外れている撮像対象者の存在する位置を示す状態マークを重畳する。
一方、ステップＳ９４において、撮像対象者が画面内に存在していると判定された場合、ステップＳ９５の処理をスキップし、ステップＳ９６において、重畳部１０６は、撮像部１０３から供給される画像に、撮像対象者が画枠内に存在していることを示す状態マークを重畳する。
このとき、重畳部１０６は、顔マーク（図１２のステップＳ８０の処理）と状態マーク（図１３のステップＳ９６の処理）の両方のマークが重畳された画像データを表示制御部１０７に供給する。
図１２のフローチャートに戻り、ステップＳ８２において、表示制御部１０７は、重畳部１０６から供給される、顔マークまたは状態マークが重畳された被写体の画像を表示部２３に表示させる。
つまり、表示部２３には、図１０に示したように、撮像対象者が画像３０１のなかに存在する場合、撮像対象者を撮像者に識別させるための顔マーク３０２ａと、その撮像対象者が画像３０１のなかに存在していることを示す状態マーク３０３ａとが画像３０１に重畳されて表示される。それに対して、図１１に示したように、撮像対象者が画像３０１のなかに存在しない場合、例えば撮像対象者が画像３０１の左方向に存在するので、左方向だけが実線で示される状態マークが画像３０１に重畳されて表示される。
これにより、撮像者は、撮像対象者を見失ってしまったとしても、その撮像対象者が存在する方向を状態マークにより把握することができるので、すぐに撮像対象者を見つけて撮像を行うことができる。
また、上述した例では、１人だけを撮像対象者として、その撮像対象者に対して、顔マークと状態マークが重畳された画像を表示する例について説明したが、本実施の形態では、それに限らず、複数人を撮像対象者とし、それらの撮像対象者に対して、顔マークと状態マークを画像に重畳させて、表示させることもできる。
図１７は、複数の撮像対象者に対して、状態マークが重畳された画面の構成例を示す模式図である。
図１７の例では、撮像者は、ビデオカメラ１により、サッカーの試合を撮像しているが、その試合で注目している４人の選手を登録（選択）しているので、それらの選択されている選手には、顔マーク３０２ｂ乃至３０２ｅがそれぞれ重畳されている（図１７では、顔マーク３０２ｅを重畳する選手が画枠の外に存在するので、画像３０１には、顔マーク３０２ｅが重畳されていない）。また、表示部２３に表示されている画像３０１の左側には、顔マーク３０２ｂ乃至３０２ｅに対応して、その顔マークの重畳された選手の状態を示す状態マーク３０３ｂ乃至３０３ｅが表示される。
具体的には、状態マーク３０３ｂは、顔マーク３０２ｂが重畳された選手（以下、選手ｂとも称する）の状態を示している。選手ｂが画枠内に存在するので、状態マークは、「存在状態」を示している。同様に、状態マーク３０３ｃは、顔マーク３０２ｃが重畳された選手（以下、選手ｃとも称する）の状態を示し、その選手ｃが画枠内に存在するので、「存在状態」を示している。
また、同様に、状態マーク３０３ｄは、顔マーク３０２ｄが重畳された選手（以下、選手ｄとも称する）の状態を示し、その選手ｄが画枠内に存在するので、「存在状態」を示している。さらにまた、状態マーク３０３ｅは、顔マーク３０２ｅが重畳された選手（以下、選手ｅとも称する）の状態を示し、その選手ｅが画枠から外れて左方向の位置に存在するので、「左移動状態」を示している。
その後、ビデオカメラ１においては、例えば、「左移動状態」にある選手を撮像するために、撮像者により左方向に動かされたとき、選手ｅが画枠内に入ってくるが、それにより、選手ｂと選手ｄが画枠から外れてしまった場合、表示部２３は、例えば、図１８に示されるような画面を表示する。
図１８の例では、状態マーク３０３ｂは、例えば、撮像者により、ビデオカメラ１が左方向に動かされることで、選手ｂが画枠の右方向に外れてしまっているので、その表示を、「存在状態」から「右移動状態」に変更する。同様に、状態マーク３０３ｃは、例えば、撮像者により、ビデオカメラ１が左方向に動かされても、選手ｃが画枠内に存在し続けているので、その表示を「存在状態」のまま維持する。
また、同様に、状態マーク３０３ｄは、例えば、撮像者により、ビデオカメラ１が左方向に動かされることで、選手ｄが画枠の左方向に外れてしまっているので、その表示を、「存在状態」から「左移動状態」に変更する。さらにまた、状態マーク３０３ｅは、例えば、撮像者により、ビデオカメラ１が左方向に動かされることで、選手ｅが画枠内に入ってくるので、その表示を、「左移動状態」から「存在状態」に変更する。つまり、撮像者は、表示部２３に表示されている、図１７の画面の状態マーク３０３ｅにしたがって、ビデオカメラ１を左方向に動かすことで、図１８に示すように、選手ｅを撮像することが可能になった。
このように、ビデオカメラ１では、複数の撮像対象者を選択した場合でも、１人の撮像対象者を選択した場合と同様に、撮像された画像に対して、顔マークと状態マークを重畳させることができる。これにより、撮像者は、複数の撮像対象者を選択している場合に、撮像対象者を見失ってしまったとしても、画枠から外れてしまっている撮像対象者が存在する方向を把握することができるので、すぐに撮像対象者を見つけて撮像を継続することができる。
なお、状態マークの表示方法であるが、上述した例に限らず、例えば、図１７および図１８の例において、選手（撮像対象者）ごとに色を変えたり、状態マークに対応させて、選手の顔画像や名前等の撮像対象者を特定できる情報を表示してもよい。また、状態マークの表示位置であるが、上述した例では、画像３０１の左側に表示されるとして説明したが、それに限らず、例えば、画像３０１に重畳するように表示させてもよいし、画像３０１の上下左右のどの位置に表示させるようにしてもよい。
また、上述した例では、状態マークとして、表示部２３に表示されている画面から外れてしまった撮像対象者の位置（方向）を示す例について説明したが、本実施の形態では、状態マークは、画枠から外れてしまった撮像対象者の存在する位置を示すとともに、その撮像対象者を画枠内に入れるためのズームボタンの操作用のガイド（以下、操作ガイドと称する）を示すようにしてもよい。
図１９は、操作ガイドを含む状態マークが重畳された画面の構成例を示す模式図である。
図１９の例では、図１７および図１８と同様に、ビデオカメラ１で撮像を行っている撮像者は、４人の選手を撮像対象者として選択している状態で、サッカーの試合を撮像している。
図１９の例では、状態マーク３０３ｂ1は、選手ｂの状態を示し、その選手ｂが画枠の右方向に外れてしまっているので、「右移動状態」を示している。また、状態マーク３０３ｂ1の下側には、操作ガイド３０３ｂ2が表示されている。操作ガイド３０３ｂ2には、ズームマーク３０４のズーム位置と対応する点線で示された現在のズーム位置（以下、現在ズーム位置と称する）と、撮像対象者である選手ｂを撮像する（つまり、選手ｂを画枠内に入れる）ことが可能な実線で示されたズーム位置（以下、対象ズーム位置と称する）が表示される。
つまり、選手ｂは、ズーム位置が現在ズーム位置であると画枠に収まらずに表示されていないが、「Tele」、すなわち、ズーム位置を対象ズーム位置までズームダウンすることで、選手ｂが画枠内に収まる。
なお、図１４乃至１６を参照して上述したように、画枠から外れた撮像対象者の存在する位置を求めることができるので、対象ズーム位置は、例えば、その位置を用いて算出される。
同様に、状態マーク３０３ｃ1は、選手ｃの状態を示し、その選手ｃが画枠のなかに存在するので、「存在状態」を示している。また、状態マーク３０３ｃ1の下側には、操作ガイド３０３ｃ2が表示される。操作ガイド３０３ｃ2は、「exist」、すなわち、選手ｃが画枠内に収まっており、対象ズーム位置を表示する必要がないので、現在ズーム位置だけを表示する。
また、状態マーク３０３ｄ1は、選手ｄの状態を示し、その選手ｄが画枠の左方向に外れてしまっているので、「左移動状態」を示している。また、状態マーク３０３ｄ1の下側には、操作ガイド３０３ｄ2が表示され、現在ズーム位置と対象ズーム位置が表示される。つまり、選手ｄは、ズーム位置が現在ズーム位置であると画枠に収まらずに表示されていないが、「Tele」、すなわち、ズーム位置を対象ズーム位置までズームダウンすることで、選手ｄが画枠内に収まる。
さらに、状態マーク３０３ｅ1は、選手ｅの状態を示し、その選手ｅが画枠のなかに存在するので、「存在状態」を示している。また、状態マーク３０３ｅ1の下側には、操作ガイド３０３ｅ2が表示され、現在ズーム位置と対象ズーム位置が表示される。つまり、この場合、選手ｅは画枠内に収まっているが、画像３０１に表示されている選手ｅの顔が小さくなり過ぎているため、「Wide」、すなわち、ズーム位置を対象ズーム位置までズームアップすることで、顔が映るようになる。
このように、ビデオカメラ１では、状態マークとして、撮像対象者を画枠内に表示させるためのズームボタンの操作ガイドを表示させることができる。これにより、撮像者は、撮像対象者を見失った場合でも、撮像対象者までの距離感を把握し、適切なズームアウトや回転動作等の操作を行うことができる。
なお、状態マークとして、画枠から外れている撮像対象者までの実際の距離（例えば、「２.５ｍ」等）を表示するようにしてもよい。また、状態マークは、操作ガイドだけを表示させるようにしてもよい。また、ビデオカメラ１に設けられるスピーカ（図示せず）により、例えば、「ビデオカメラ１を左方向に動かしてください。」等の状態マークにより示される内容を音声により出力するようにしてもよい。
さらにまた、ビデオカメラ１においては、撮像開始時からずっと画面に映っていない撮像対象者に対して、「円」と「矢印」の両方が点線となる状態マークが表示され、そのとき、操作ガイドは、「Tele」、「Wide」、「exist」のいずれでもない状態となる。
また、状態マークは、本実施の形態では、図１０，１１，および図１７乃至１９に示したように、撮像対象者の存在有無を示す円のなかに上下左右の４方向を示す矢印が付されたアイコンとして形成されると説明したが、それに限らず、図２０に示すような、様々な形態からなるようにすることができる。
図２０の例では、状態マーク３１１ａ乃至３１１ｇは、撮像対象者の存在する位置の方向を４方向で示すための方向キーが設けられており、それらの方向キーによって、撮像対象者の存在する方向を指し示す。つまり、状態マークは、撮像対象者の位置を示すことのできるアイコンであれば、その形状や色、大きさ等を任意に変更可能である。また、本実施の形態では、４方向により撮像対象者の位置を示したが、その方向も、例えば８方向等、任意に変更可能である。要は、撮像者に対して、撮像対象者の位置を示すことができればよいのであって、その表示の形態は、任意である。
図１２のフローチャートに戻り、ステップＳ８３において、図８のステップＳ６２と同様に、制御部１０１により、撮像終了が指示されたか否かが判定され、撮像終了が指示されていないと判定された場合、ステップＳ７１乃至Ｓ８３の処理が繰り返される。すなわち、ステップＳ８３において、撮像終了が指示されたと判定されるまで、ステップＳ７１乃至Ｓ８３において、顔マークと状態マークを重畳する所定が繰り返される。その結果、撮像者は、撮像対象者に重畳された顔マークを追いながら撮像を行なうとともに、その撮像対象者が画枠から外れてしまった場合でも、状態マークにしたがって、ビデオカメラ１を動かすことで確実に撮像対象者を撮像することができる。
このように、ビデオカメラ１は、撮像者にとって有意義な撮像対象者の特定や撮像対象者の動きを把握することができる機能を提供することで、撮像者に対して、確実に、かつ、迅速に、対象の被写体を把握させることができる。
また、撮像者は、撮像時に撮像したい人物を複数選択することが可能となるので、適切な画枠の調整を行うことが可能となる。さらに、撮像者は、選択した撮像対象者の動きを的確に把握することができるので、シーンに応じたピント合わせが可能となる。
さらにまた、ビデオカメラ１では、撮像対象者が画枠から外れた場合、コーション表示や音声案内を行うので、撮像者は、撮像対象者をすぐに追いかけて、撮像することができる。
なお、本実施の形態では、撮像対象者の顔画像を含む画像を記録している記録メディア２８から、撮像対象者の顔画像を取得するとして説明したが、それに限らず、例えば、ビデオカメラ１に設けられた通信部（図示せず）により、例えば、インターネット等のネットワークを介して他の機器から取得した画像から、撮像対象者の顔画像を取得するようにしてもよい。
また、本実施の形態では、撮像対象者の一例として、「子供」を例にして説明したが、それに限らず、子供以外の人はもちろん、例えば、自動車等の乗り物や動物等、ビデオカメラ１により撮像される被写体、特に動くものに対して用いることができる。さらにまた、撮像対象者を特定する画像は、被写体の顔画像に限らず、撮像対象者を特定可能な部位の画像であればよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD）を含む）、光磁気ディスク（MD（商標）を含む）、若しくは半導体メモリ等よりなる図１のリムーバブルメディア２６により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のフラッシュROM２１等で構成される。
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したビデオカメラの一実施の形態の構成を示すブロック図である。 図１のビデオカメラの機能的構成の例を示すブロック図である。 撮像対象者の登録方法の概要について説明する図である。 顔マーク重畳処理について説明するフローチャートである。 顔画像検出処理の詳細について説明するフローチャートである。 顔マークの構成例を示す模式図である。 記録メディアに記録された画像を利用した、撮像対象者の登録方法の概要について説明する図である。 顔マーク重畳処理について説明するフローチャートである。 ビデオカメラの機能的構成の他の例を示すブロック図である。 状態マークの概要について説明する図である。 状態マークの概要について説明する図である。 顔・状態マークの概要について説明するフローチャートである。 状態検出処理の詳細について説明するフローチャートである。 撮像対象者の移動距離の算出方法について説明する図である。 撮像対象者の移動距離の算出方法について説明する図である。 撮像対象者の移動距離の算出方法について説明する図である。 状態マークが重畳された画面の構成例を示す模式図である。 状態マークが重畳された画面の構成例を示す模式図である。 状態マークが重畳された画面の構成例を示す模式図である。 状態マークの構成例を示す模式図である。
符号の説明
１ ビデオカメラ， １７ DSP， １９ CPU， ２２ ディスプレイコントローラ， ２３ 表示部， ２４ 入力部， ２７ 記録メディアインターフェース， ２８ 記録メディア， ５２ タッチパネル， １０１ 制御部， １０２ 操作部， １０３ 撮像部， １０４ 顔画像検出部， １０５ 顔画像照合部， １０６ 重畳部， １０７ 表示制御部， １０８ 顔画像選択部， １０９ 顔画像記憶部， １０９ａ 顔画像データベース， １１０ 記録メディア制御部， １１１ 顔画像検出部， ２０１ 状態検出部

Claims (17)

  1. 被写体を撮像することにより得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第１の検出手段と、
    前記第１の検出手段により検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させる表示制御手段と、
    前記撮像対象の状態を検出する第２の検出手段と
    を備え、
    前記表示制御手段は、前記第２の検出手段により検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる
    表示制御装置。
  2. 前記表示制御手段は、前記表示画像と前記第２の画像とを同時に前記表示手段に表示させる
    請求項１に記載の表示制御装置。
  3. 前記状態は、前記表示手段に表示されていない前記撮像対象の位置である
    請求項１に記載の表示制御装置。
  4. 前記部位画像は、前記被写体の顔の画像である
    請求項１乃至２に記載の表示制御装置。
  5. 前記撮像者による指示にしたがって、検出された前記部位画像のなかから、前記対象部位画像を選択する選択手段をさらに備え、
    前記表示制御手段は、選択された前記対象部位画像に対応させて、前記第１の画像を前記表示画像に重畳させて前記表示手段に表示させる
    請求項１に記載の表示制御装置。
  6. 選択された前記対象部位画像を、所定の記録媒体に記憶させる記憶制御手段をさらに備える
    請求項５に記載の表示制御装置。
  7. 前記対象部位画像を記憶している所定の記録媒体から、前記対象部位画像を含んでいる画像を読み出す読み出し手段と、
    前記撮像画像から検出された前記部位画像と、前記記録媒体から読み出された画像に含まれる前記対象部位画像とを照合する照合手段と
    をさらに備え、
    前記表示制御手段は、照合の結果に基づいて、前記対象部位画像と一致する部位画像に対応させて、前記第１の画像を前記画像に重畳させて前記表示手段に表示させる
    請求項１に記載の表示制御装置。
  8. 前記第１の画像は、円形、四角形、または楕円形の形状からなる画像である
    請求項１に記載の表示制御装置。
  9. 前記第２の画像は、前記撮像対象が存在する位置を示す画像である
    請求項１に記載の表示制御装置。
  10. 表示制御装置が、
    被写体を撮像することにより得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出し、
    検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させ、
    前記撮像対象の状態を検出し、
    検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる
    ステップを含む表示制御方法。
  11. 表示制御装置の制御用のプログラムであって、
    被写体を撮像することにより得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出し、
    検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させ、
    前記撮像対象の状態を検出し、
    検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる
    ステップを含む処理を表示制御装置のコンピュータに実行させるプログラム。
  12. 被写体の像を撮像する撮像手段と、
    前記撮像に応じて得られる撮像画像に基づいて、前記被写体の所定の部位を含んでいる画像である部位画像を検出する第１の検出手段と、
    前記第１の検出手段により検出された前記部位画像であって撮像者による撮像対象として特定される対象部位画像に対応させて、前記撮像対象であることを示す第１の画像を前記撮像画像に基づく表示画像に重畳させて表示手段に表示させる表示制御手段と、
    前記撮像対象の状態を検出する第２の検出手段と
    を備え、
    前記表示制御手段は、前記第２の検出手段により検出された前記状態に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す第２の画像を前記表示手段に表示させる
    撮像装置。
  13. 撮像手段の撮像に応じて得られる画像を、表示手段に表示させるための信号を生成する情報処理装置において、
    前記撮像手段の撮像の対象となる撮像対象の状態を検出する検出手段の検出結果に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す画像を、前記表示手段に表示させるための信号を生成する信号生成部を備える
    情報処理装置。
  14. 前記信号生成部は、前記撮像対象の画像に基づく表示画像と前記ズーム操作を示す操作画像とを同時に前記表示手段に表示させるための信号を生成する
    請求項１３に記載の情報処理装置。
  15. 前記状態は、前記表示手段に表示されていない前記撮像対象の位置である
    請求項１３に記載の情報処理装置。
  16. 撮像手段の撮像に応じて得られる画像を、表示手段に表示させるための信号を生成する情報処理装置の情報処理方法であって、
    前記撮像手段の撮像の対象となる撮像対象の状態を検出する検出手段の検出結果に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す画像を、前記表示手段に表示させるための信号を生成するステップを含む
    情報処理方法。
  17. 情報処理装置の制御用のプログラムであって、
    前記撮像手段の撮像の対象となる撮像対象の状態を検出する検出手段の検出結果に基づいて、前記表示手段に表示されていない前記撮像対象の画像を前記表示手段に表示させるためのズーム操作を示す画像を、前記表示手段に表示させるための信号を生成するステップ
    を含む処理を情報処理装置のコンピュータに実行させるプログラム。
JP2006275234A 2006-10-06 2006-10-06 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム Expired - Fee Related JP4849330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006275234A JP4849330B2 (ja) 2006-10-06 2006-10-06 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006275234A JP4849330B2 (ja) 2006-10-06 2006-10-06 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2008098755A JP2008098755A (ja) 2008-04-24
JP4849330B2 true JP4849330B2 (ja) 2012-01-11

Family

ID=39381186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006275234A Expired - Fee Related JP4849330B2 (ja) 2006-10-06 2006-10-06 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4849330B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5189913B2 (ja) 2008-07-14 2013-04-24 イーストマン コダック カンパニー 画像処理装置
JP5646252B2 (ja) * 2010-08-27 2014-12-24 オリンパスイメージング株式会社 表示装置
JP5867424B2 (ja) * 2013-02-28 2016-02-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP4746295B2 (ja) * 2003-08-25 2011-08-10 富士フイルム株式会社 デジタルカメラおよび撮影方法
JP2006101186A (ja) * 2004-09-29 2006-04-13 Nikon Corp カメラ
JP4461987B2 (ja) * 2004-09-29 2010-05-12 カシオ計算機株式会社 撮影装置及びプログラム

Also Published As

Publication number Publication date
JP2008098755A (ja) 2008-04-24

Similar Documents

Publication Publication Date Title
TWI554096B (zh) 包含興趣特徵之視訊摘要
US9013604B2 (en) Video summary including a particular person
JP5251215B2 (ja) デジタルカメラ
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
US20110216209A1 (en) Imaging device for capturing self-portrait images
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2011139282A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7267686B2 (ja) 撮像装置及びその制御方法
JP2014050022A (ja) 画像処理装置、撮像装置、およびプログラム
JP2009219144A (ja) 撮像装置、画像記録方法、および、プログラム
JP4849330B2 (ja) 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP2007258953A (ja) 自動撮影システム及び自動撮影装置
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2010187145A (ja) 画像処理装置、画像処理方法およびプログラム
JP2010200084A (ja) 撮像装置
JP2010213052A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2009124210A (ja) 撮像装置、撮像方法、画像検索装置および画像検索方法
JP4899982B2 (ja) 撮像装置、撮像画像の撮影記録方法およびプログラム
JP2011166391A (ja) 撮像装置
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置
JP5659856B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110922

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111005

R151 Written notification of patent or utility model registration

Ref document number: 4849330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees