JP5911300B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関するものである。

従来の画像処理装置の中には、撮像した被写体を学習し、それ以降にその被写体を認識すると、表示部にその被写体に係る情報を表示する機能を備えた撮像装置ものがある（特許文献１参照）。

特開２０１０−２６３６３９号公報

ここで、画面の中心の主要な被写体である人物が学習されておらず、画面端の人物が学習されて個人情報が表示されるという状況について考察する。この場合、上記特許文献１では、画像中の主要な人物と、個人情報を表示している人物とが、撮像装置のユーザにとって判り難くいという問題が発生する。

本発明はかかる点に鑑みなされたものであり、表示画像から被写体と名称情報との対応付けを容易にする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有する撮像装置であって、
前記撮像手段による撮像中の画像を表示する表示手段と、
前記表示手段に表示される画像中の被写体を検出する検出手段と、
前記検出手段で検出された被写体を主要被写体と非主要被写体に分類する分類手段と、
被写体を特定するための特徴情報と被写体を表わす名称情報の夫々を対応付けて記憶する記憶手段と、
前記表示手段に表示された画像中の被写体について、前記記憶手段に記憶された特徴情報に基づいて特定可能である場合は、対応する名称情報を前記表示手段に表示するように制御する表示制御手段とを有し、
前記表示制御手段は、
前記記憶手段に記憶された特徴情報に基づき、画像中の主要被写体について特定できない場合には、前記画像中の非主要被写体について特定できたとしても、前記非主要被写体の名称情報を表示しないことを特徴とする。

本発明によれば、撮像した画像中の複数の被写体に対して名称情報が表示されたとしても、その中の１つは主要な被写体の名称情報であることが約束される。従って、撮像装置の操作者は、主要被写体の名称情報が非主要被写体の名称情報と誤って判断することを抑制できると共に、非主要被写体の名称情報を主要被写体の名称情報と誤判断することも抑制できる。

本発明を実施するための形態の構成ブロック図 第１の実施形態における処理内容を示すフローチャート 第２の実施形態における処理内容を示すフローチャート 第３の実施形態における処理内容を示すフローチャート 被写体情報のデータ構造を示す図である。 実施形態のおける表示例を示す図である。

以下、添付図面に従い本発明に係る実施形態を詳細に説明する。なお、本実施形態では、撮像装置としてデジタルカメラに適用する例を説明する。しかし、以下に説明から明らかになるように、カメラを内蔵する携帯端末、或いは、撮像部を内蔵もしくは接続するパーソナルコンピュータ等の汎用の情報処理装置にも適用可能であるので、本発明はデジタルカメラに限定されるものではない。

まず、各実施形態に共通な装置構成を説明し、その上で各実施形態の処理内容を説明することとする。

図１は、実施形態におけるデジタルカメラ１００のブロック構成図を示す。図中、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、 Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、18の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行い、TTL方式のAF処理、AE処理、ＥＦ処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はTFT LCD等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４８はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はTTL方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０は画像処理装置１００全体を制御するシステム制御回路であり、プロセッサを内蔵する。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作部の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチSW1で、シャッターボタンの操作途中でONとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理等の動作開始を指示する。６４はシャッタースイッチSW2で、シャッターボタンの操作完了でONとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、AE処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。シャッタースイッチが操作されて撮像、記録指示が与えられると、撮像素子１４から読み出した信号はＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込まれる。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。この後、メモリ３０から処理後の画像データが読み出され、圧縮・伸長回路３２で圧縮を行われる。この後、記録媒体２００に圧縮符号化された画像データがファイルとして書込まれる。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、TFT LCD等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作部としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

７４は、画像中の被写体像（人物の顔画像）を検出する被写体検出部である。一般に、人物の目、鼻、口等の部品、ならびにそれらの配置関係から人物の顔であるか否かを判定するものであり、本実施形態における被写体検出部も同様であるものとする。

８６はアルカリ電池の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源部である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。１１０は通信部でUSB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

なお、不揮発性メモリ３１には、その被写体を特定するための特徴情報が記憶されているものとする。図５は、この不揮発性メモリ３１に登録された被写体情報を示している。被写体情報は、その被写体を特定できた場合に表示する表示名、詳細名、ならびに、特徴情報で構成されている。なお、本実施形態では、認識する被写体を人物の顔としているので、特徴情報は撮像した人物の顔を特定する情報となる。顔認識（被写体検出部７４）ならびに、顔からその人物の特徴を抽出し、その人物を特定する技術は公知のものとし、ここではその詳細は省略する。なお、新たに人物の顔を登録する場合は、その人物を撮像し、操作部より登録指示を与えることで実現する。この場合、システム制御回路５０は、撮像中の人物の顔画像の認識、そして、認識した顔画像から特徴情報を抽出する処理を行なう。そして、表示名、詳細名をユーザに入力させ、それらと共に特徴情報を図５の形式にして不揮発性メモリ３１に書込むものとする。なお、図５では、被写体情報が３つのフィールドで構成されるものとしているが、各個人の性別、住所、電話番号、メールアドレス等の個人情報を含んでも良いのは勿論である。本装置は、例えばインタネットに接続する通信手段を有するであれば、メールアドレスから、その人物宛に画像を送信することができる。これらの情報（ただし、特徴情報は除外する）を、画像ファイルとして記録する指示（シャッタースイッチ）を操作した際に、ファイルのヘッダに格納するようにする。

［第１の実施形態］
以下、図２、図６を参照して、本発明に係る第１の実施形態による、スルー画像表示（画像表示部２８又は光学ファインダ１０４に撮像中の映像を表示すること）中に検出された顔に対する表示名の表示／消去に係る処理を説明する。本第１の実施形態では、この処理を、顔の大きさに基づいて行う。具体的には、撮像中に得られる画像内で最大サイズの顔が主要被写体として分類し、それ以外のサイズの顔を非主要被写体として分類する。そして、主要被写体の顔が被写体情報として登録されている場合にのみ、主要被写体を含み、撮像中の画像内の全顔のうち、被写体情報として登録されている顔の近傍位置に名称情報（図５の「表示名」）を表示する。換言すれば、主要被写体の顔が被写体情報として登録されていない場合、非主要被写体の顔の中に被写体情報として登録された顔が仮にあったとしても、その顔の近傍位置には名称情報を表示しない。以下、これを実現する処理の一例を示す。

図２は第１の実施形態におけるスルー画像表示中に検出された顔に対する名前表示制御処理のフローチャートである。この名前表示処理における各処理は、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、撮像素子１４から入力されたデータの中から画像処理回路２０によって顔を検出する（Ｓ３０１）。Ｓ３０１の結果、顔が検出された場合は、システム制御回路５０は、今回検出した顔の大きさが検出済みの顔の中で最大かどうか判定する（Ｓ３０２）。

今回検出した顔の大きさが検出済みの顔の中で最大であれば、システム制御回路５０は、顔の大きさが最大でなくなった顔に表示している顔枠の色を、顔の大きさが最大の顔に表示する枠色である白からグレーに変更して画像表示部２８に表示する（Ｓ３０３）。次に、システム制御回路５０は、今回検出した顔に、顔の大きさが最大の顔に表示する枠色である白の顔枠を画像表示部２８に表示する（Ｓ３０４）。次に、システム制御回路５０は、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ３０５）。これを別な言い方をすれば、今回検出した顔画像の人物を、不揮発性メモリ３１に記憶された被写体情報の特徴情報で特定できたか否かを判定することと等価である。今回検出した顔が不揮発性メモリ３１に被写体情報として登録済みであると判定した場合、システム制御回路５０は、今回検出した顔の下方に不揮発性メモリ３１に登録されている表示名を画像表示部２８に表示する（Ｓ３０６）。反対に、今回検出した顔が不揮発性メモリ３１に被写体情報として登録されていない場合、システム制御回路５０は、今回検出した顔以外の顔が、不揮発性メモリ３１に被写体情報として登録済みであるとすでに判定されているかどうか判定する（Ｓ３０７）。Ｓ３０７の結果、今回検出した顔以外の顔が、不揮発性メモリ３１に被写体情報として登録済みであると判定されていた場合、システム制御回路５０は、その顔の下方に表示されている表示名を消去する（Ｓ３０８）。

Ｓ３０２の結果、今回検出した顔の大きさが検出済みの顔の中で最大でない場合、システム制御回路５０は、今回検出した顔に、顔の大きさが最大でない顔に表示する枠色であるグレーの顔枠を画像表示部２８に表示する（Ｓ３０９）。次に、システム制御回路５０は、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報が登録済みかどうか判定する（Ｓ３１０）。Ｓ３１０の結果、今回検出した顔が、不揮発性メモリ３１に被写体情報として登録済みの場合、システム制御回路５０は、検出済みの顔の中で顔の大きさが最大の顔が、すでに不揮発性メモリ３１に被写体情報として登録済みと判定されているかどうか判定する（Ｓ３１１）。Ｓ３１１の結果、検出済みの顔の中で顔の大きさが最大の顔が、不揮発性メモリ３１に被写体情報として登録済みの場合、システム制御回路５０は、今回検出した顔の下方に、不揮発性メモリ３１に登録されている名前を画像表示部２８に表示する（Ｓ３１２）。

また、ユーザーによりシャッタースイッチ（ＳＷ２）６４が押下されると、静止画像または動画像を記録する前記一連の動作を行う。これとともに、静止画像または動画像のヘッダ情報の中に、画像処理回路２０によって検出した顔の被写体情報（特徴情報は除く）も記録する。なお、画像処理回路２０によって検出した顔が、あらかじめ不揮発性メモリ３１に該個人情報が登録済みであれば、スルー画像表示中に検出された顔に対して名前を表示するか消去するかの判定結果によらず、常にヘッダ情報への個人情報の記録を行う。

図６（Ａ）乃至（Ｄ）はスルー画像表示中に検出された顔に対して名前を表示するか消去するかを判断して画像表示部２８へ表示した内容を示した図である。

同図（Ａ）は、顔（Ｉ）と顔（ＩＩ）が存在するシーンにおいて、図２に示す処理を行った際の表示内容である。顔（Ｉ）は検出済みの顔の中で大きさが最大、かつ、あらかじめ不揮発性メモリ３１にその被写体情報が登録済みであり、顔（ＩＩ）は検出済みの顔の中で顔の大きさが最大でないが、あらかじめ不揮発性メモリ３１に該個人情報が登録済みである。同図に示すように、撮像した画像中の被写体の人物について、その人物の顔認識が成功し、サイズが最大の主要被写体が、被写体情報として不揮発性メモリ３１に登録されている場合、撮像された画像中の全被写体（図示では２つの顔）の中で、被写体情報を登録してある被写体（主要被写体を含む）については、その近傍（図示では直下）に表示名を表示する。そして、撮像した中で主要被写体には白色の枠を表示し、非主要被写体にはグレーの枠を表示する。

図６（Ｂ）では、顔I）は検出済みの顔の中で顔の大きさが最大、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みであり、顔（ＩＩ）は検出済みの顔の中で顔の大きさが最大でなく、かつ不揮発性メモリ３１にその被写体情報が登録済みでない。不揮発性メモリ３１に登録されていない顔（ＩＩ）の場合には、単に顔を認識したことを伝えるため、グレーの枠を表示するに留める。一方、顔（Ｉ）は、撮像し、認識された顔の中で最大サイズであるので白枠を表示し、尚且つ、登録された顔でもあるので、その表示名も併せて表示する。

図６（Ｃ）では、顔（Ｉ）は検出済みの顔の中で顔の大きさが最大、かつあらかじめ不揮発性メモリ３１に被写体情報が登録済みでなく、顔（ＩＩ）は検出済みの顔の中で顔の大きさが最大でなく、かつあらかじめ不揮発性メモリ３１に被写体情報が登録済みである。同図に示すように、たとえ被写体情報として登録されている顔（ＩＩ）であっても、最大サイズの顔（Ｉ）が被写体情報として登録されていない場合には、その顔（ＩＩ）について表示名は表示されない。

図６（Ｄ）では、顔（I）は検出済みの顔の中で顔の大きさが最大、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでなく、顔（ＩＩ）は検出済みの顔の中で顔の大きさが最大でなく、かつあらかじめ不揮発性メモリ３１に被写体情報が登録済みでない。この場合、当然のことながら、表示名は表示されない。

なお、本第１の実施形態では、顔の大きさが最大である主要被写体に表示する枠色を白、顔の大きさが最大でない非主要被写体の顔に表示する枠色をグレーとしたが、これに限定されるものではない。要は、主要被写体の枠の色を第１の色とするなら、非主要被写体の枠の色を第１の色とは異なる第２の色とすればよい。また、色ではなく、枠の形状、模様で区別できるようにしても良い。

以上説明したように、本第１の実施形態によれば、最大サイズの顔を主要被写体として分類し、その主要被写体の顔画像が被写体情報として登録されている場合（顔画像が被写体情報から特定された場合）、その主要被写体に対応する名称情報（表示名）を表示する。そして、非主要被写体については、その非主要被写体及び主要被写体の両方の顔画像が被写体情報として登録されているという条件を満たした場合のみ、非主要被写体の近傍位置に対応する名称情報（表示名）を表示する。この結果、少なくとも１つの被写体の表示名が表示される状況というのは、主要被写体が被写体情報として登録されている場合となり、装置ユーザにとって操作が分かりやすいものとなる。

［第２の実施形態］
以下、図３、図６を参照して、本発明の第２の実施形態による、スルー画像表示中に検出された顔に対して名前を表示するか消去するかを、顔の位置に基づいて処理する例について説明する。本第２の実施形態では、撮像中の画像の中心位置に最も近い顔を主要被写体と分類するである。そして、主要被写体の顔が被写体情報として登録されている場合にのみ、主要被写体を含み、撮像中の画像内の全顔のうち被写体情報として登録されている顔の近傍に名称（図５の「表示名」）を表示する。換言すれば、主要被写体の顔が被写体情報として登録されていない場合、非主要被写体の顔の中に被写体情報として登録された顔があったとしても、その顔の近傍には名称を表示しない。以下、これを実現する処理の一例を示す。

図３は第２の実施形態におけるスルー画像表示中に検出された顔に対する名前表示処理のフローチャートである。この名前表示処理における各処理は、第１の実施形態と同様、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、撮像素子１４から入力されたデータの中から画像処理回路２０によって顔を検出する（Ｓ４０１）。Ｓ４０１の結果、顔が検出された場合は、システム制御回路５０は、今回検出した顔の位置が検出済みの顔の中で、画像表示部２８に表示される領域内の最も中心近くにあるかどうか判定する（Ｓ４０２）。すなわち、着目顔が主要被写体であるか否かを判定する。

Ｓ４０２の結果、今回検出した顔の位置が検出済みの顔の中で、最も中心近くであると判定した場合、システム制御回路５０は、顔の位置が最も中心近くでなくなった顔に表示している顔枠の色を、顔の位置が最も中心近くの顔に表示する枠色である白から、顔の位置が中心近くでない顔に表示する枠色であるグレーに変更して画像表示部２８に表示する（Ｓ４０３）。次に、システム制御回路５０は、今回検出した着目顔に、顔の位置が最も中心近くの顔に表示する枠色である白の顔枠を画像表示部２８に表示する（Ｓ４０４）。次に、システム制御回路５０は、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ４０５）。これを別な言い方をすれば、今回検出した顔画像の人物を、不揮発性メモリ３１に記憶された被写体情報の特徴情報で特定できたか否かを判定することと等価である。Ｓ４０５の結果、今回検出した顔が、被写体情報とて予め不揮発性メモリ３１に登録済みの場合、システム制御回路５０は、今回検出した顔の近傍（実施形態では下方）に、不揮発性メモリ３１に登録されている表示名を画像表示部２８に表示する（Ｓ４０６）。

Ｓ４０５の結果、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録されていない場合、システム制御回路５０は、今回検出した顔に代わって顔の位置が最も中心近くではなくなった顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ４０７）。Ｓ４０７の結果、今回検出した顔に代わって顔の位置が最も中心近くではなくなった顔が、あらかじめ不揮発性メモリ３１に被写体情報が登録済みの場合、システム制御回路５０は、今回検出した顔に代わって顔の位置が最も中心近くではなくなった顔の下方に表示されている名前を消去する（Ｓ４０８）。

一方、Ｓ４０２にて、今回検出した顔の位置が検出済みの顔の中で中心近くでないと判定した場合、すなわち、着目顔が非主要被写体であると判定した場合、システム制御回路５０は、今回検出した着目顔に、顔の位置が中心近くでない顔に表示する枠色であるグレーの顔枠を画像表示部２８に表示する（Ｓ４０９）。次に、システム制御回路５０は、今回検出した着目顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ４１０）。Ｓ４１０の結果、今回検出した着目顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みの場合、システム制御回路５０は、検出済みの顔の中で画像の中心に最も近くに位置する顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ４１１）。Ｓ４１１の結果、検出済みの顔の中で顔の位置が最も中心近くにある顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みの場合、システム制御回路５０は、今回検出した着目顔の下方に、不揮発性メモリ３１に登録されている表示名を画像表示部２８に表示する（Ｓ４１２）。

なお、ユーザーによりシャッタースイッチ（ＳＷ２）６４が押下されると、静止画像または動画像を記録する前記一連の動作を行うとともに、静止画像または動画像のヘッダ情報の中に、画像処理回路２０によって検出した顔の被写体情報（表示名、正式名称等で、特徴情報は除く）も記録する。なお、画像処理回路２０によって検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みであれば、スルー画像表示中に検出された顔に対して名前を表示するか消去するかの判定結果によらず、常にヘッダ情報への被写体情報の記録を行う。

上記本第２の実施形態の表示処理は、図６（Ａ）乃至（Ｄ）を用いて説明すると次の通りである。

図６（Ａ）は、検出済みの顔の中で顔の位置が最も中心近くであり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（Ｉ）と、検出済みの顔の中で顔の位置が中心近くでなく、かつあらかじめ不揮発性メモリ３１に該被写体が登録済みである顔（ＩＩ）が存在するシーンにおいて、図３に示す処理を行った際の表示内容となる。同図に示すように、撮像した画像中の被写体の人物について、その人物の顔認識が成功し、画像中の中心位置に最も近い主要被写体が、被写体情報として不揮発性メモリ３１に登録されている場合、撮像された画像中の全被写体（図示では２つの顔）の中で、被写体情報を登録してある被写体（主要被写体を含む）については、その近傍（図示では直下）に表示名を表示する。そして、撮像した中で主要被写体には白色の枠を表示し、非主要被写体にはグレーの枠を表示する。

図６（Ｂ）は、検出済みの顔の中で顔の位置が最も中心近くであり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（Ｉ）と、検出済みの顔の中で顔の位置が中心近くでなく、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでない顔（ＩＩ）が存在するシーンにおいて、図３に示す処理を行った際の表示内容である。

図６（Ｃ）は、検出済みの顔の中で顔の位置が最も中心近くであり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでない顔（I）と、検出済みの顔の中で顔の位置が中心近くでなく、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（ＩＩ）が存在するシーンにおいて、図３に示す処理を行った際の表示内容である。同図に示すように、たとえ被写体情報として登録されている顔（ＩＩ）であっても、画像の中心に最も近い顔（Ｉ）が被写体情報として登録されていない場合には、その顔（ＩＩ）について表示名は表示されない。

図６（Ｄ）は、検出済みの顔の中で顔の位置が最も中心近くである、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでない顔（Ｉ）と、検出済みの顔の中で顔の位置が中心近くでなく、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでない顔（ＩＩ）が存在するシーンにおいて、図３に示す処理を行った際の表示内容である。

なお、本第２の実施形態では、画像の中心位置に最も近い主要被写体に表示する枠色を白、それ以外の非被写体に表示する枠色をグレーとしたが、これに限定されるものではない。要は、主要被写体と非主要被写体とを区別できればその表示形態は如何なるものでも構わない。

以上説明したように、本第２の実施形態によれば、画像の中心位置に最も近い顔を主要被写体として認識し、その主要被写体の顔が被写体情報として登録されている場合のみ、その主要被写体、ならびに非主要被写体の中で被写体情報が登録されている顔の近傍に表示名を表示する。この結果、少なくとも１つの被写体の表示名が表示される状況というのは、主要被写体が被写体情報として登録されている場合となり、装置ユーザにとって操作が分かりやすいものとなる。

なお、第２の実施形態では、画像の中心位置に最も近い顔を主要被写体として認識するものとして説明したが、サイズと位置で主要被写体を決定しても良い。例えば、画像の中心から予め設定した距離内にある被写体のうち、最大サイズの主要被写体としても良い。逆に、或るサイズ以上（ユーザがその下限を設定できるようにする）の被写体の中で、画像の中心位置に最も近い被写体を主要被写体としても良い。

［第３の実施形態］
以下、図４、図５を参照して、本発明の第３の実施形態による、スルー画像表示中に検出された顔が主要被写体かどうかに基づいて表示名の表示形態を変える例について説明する。主要被写体の定義は、第１の実施形態のように最大サイズの顔、又は、第２の実施形態における画像の中心位置に最も近い顔のいずれでもよい。便宜的に、本第３の実施形態における主要被写体は、第１の実施形態と同様、画像中の認識された最大サイズの顔として説明する。

図４は本第３の実施形態におけるスルー画像表示中に検出された顔に対する表示名の表示処理のフローチャートである。この表示処理における各処理は、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、撮像素子１４から入力されたデータの中から画像処理回路２０によって顔を検出する（Ｓ６０１）。Ｓ６０１の結果、顔が検出された場合は、システム制御回路５０は、今回検出した顔が主要被写体かどうか判定する（Ｓ６０２）。Ｓ６０２の結果、今回検出した顔が主要被写体と判定された場合、システム制御回路５０は、主要被写体でなくなった顔に表示している顔枠の色を、主要被写体の顔に表示する枠色である白から、主要被写体以外の顔に表示する枠色であるグレーに変更して画像表示部２８に表示する（Ｓ６０３）。

次に、システム制御回路５０は、今回検出した顔に代わって主要被写体ではなくなった顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ６０４）。Ｓ６０４の結果、今回検出した顔に代わって主要被写体ではなくなった顔が、不揮発性メモリ３１に被写体情報として登録済みの場合、システム制御回路５０は、主要被写体でなくなった顔の下方に表示している表示名を構成する文字列の下地を、主要被写体の顔の名前に表示する下地色である白から、主要被写体以外（非主要被写体）の顔の名前に表示する下地色であるグレーに変更して画像表示部２８に表示する（Ｓ６０５）。

次に、システム制御回路５０は、今回検出した顔に、主要被写体の顔に表示する枠色である白の顔枠を画像表示部２８に表示する（Ｓ６０６）。次に、システム制御回路５０は、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ６０７）。Ｓ６０７の結果、今回検出した顔が、不揮発性メモリ３１に被写体情報として登録済みであると判定下場合、システム制御回路５０は、今回検出した顔の下方に、不揮発性メモリ３１に登録されている表示名を、主要被写体の顔の名前に表示する下地色である白の下地色で画像表示部２８に表示する（Ｓ６０８）。

一方、Ｓ６０２の判定結果、今回検出した顔が主要被写体でない、すなわち、非主要被写体であると判定された場合、システム制御回路５０は、今回検出した顔に、非主要被写体の顔に表示する枠色であるグレーの顔枠を画像表示部２８に表示する（Ｓ６０９）。次に、システム制御回路５０は、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みかどうか判定する（Ｓ６１０）。Ｓ６１０の結果、今回検出した顔が、あらかじめ不揮発性メモリ３１に被写体情報として登録済みである場合、システム制御回路５０は、今回検出した顔の下方に、不揮発性メモリ３１に登録されている表示名を、非主要被写体に表示する下地色であるグレーの下地色で画像表示部２８に表示する（Ｓ６１１）。

また、ユーザーによりシャッタースイッチ（ＳＷ２）６４が押下されると、静止画像または動画像を記録する前記一連の動作を行うとともに、静止画像または動画像のヘッダ情報の中に、画像処理回路２０によって検出した顔の被写体情報（特徴情報は除く）も記録する。

本第３の実施形態の処理結果も、図６（Ａ）乃至（Ｄ）を用いて説明できる。

図６（Ａ）は、主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（Ｉ）と、非主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に被写体情報が登録済みである顔（ＩＩ）が存在するシーンにおいて、図４に示す処理を行った際の表示内容である。図示の如く、主要被写体（Ｉ）は、被写体情報として不揮発性メモリ３１に登録済みであるので、その枠、ならびに、表示名の下地は白となる。一方、非主要被写体（ＩＩ）は、被写体情報として不揮発性メモリ３１に登録済みであるので、その枠、ならびに、表示名の下地とも、非主要被写体の色のグレーとなる。

図６（Ｂ）は、主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（Ｉ）と、非主要被写体と判定された顔であり、かつ予め不揮発性メモリ３１に被写体情報として登録されていない顔（ＩＩ）が存在するシーンにおいて、図４に示す処理を行った際の表示内容である。

図６（Ｃ）は、主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みでない顔（Ｉ）と、非主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に被写体情報として登録済みである顔（ＩＩ）が存在するシーンにおいて、図４に示す処理を行った際の表示内容である。同図に示すように、たとえ被写体情報として登録されている顔（ＩＩ）であっても、主要被写体が被写体情報として登録されていない場合には、その顔（ＩＩ）について枠も表示名も表示されない。

図６（Ｄ）は、主要被写体と判定された顔であり、かつあらかじめ不揮発性メモリ３１に該個人情報が登録済みでない顔（Ｉ）と、主要被写体以外と判定された顔であり、かつあらかじめ不揮発性メモリ３１に該個人情報が登録済みでない顔（ＩＩ）が存在するシーンにおいて、図４に示す処理を行った際の表示内容である。

なお、本第３の実施形態では、主要被写体の顔に表示する枠色を白、表示名の下地を白、非主要被写体の顔に表示する枠色及び表示名の下地をグレーとしたが、これに限定されるものではない。要は、主要被写体と非主要被写体とを区別できればその表示形態は如何なるものでも構わない。

なお、上述した実施形態では検出した顔のうち、最大サイズの顔、又は、画像の中心位置に最も近い顔を主要被写体として認識したが、これに限定されるものではなく、様々な公知の技術を適用することができる。例えば、顔が大きいほど高い値となるサイズ評価値と、顔の位置が画像の中心位置に近いほど高い値となる位置評価値の加算結果から、主要被写体を決定するようにしても良い。あるいは、これらの評価値だけでなく、直前に主要被写体として選択された顔に対して加算される履歴評価値や、直前の所定フレームの間に主要被写体として選択された回数が高いほど値が高くなる頻度評価値を加算した結果から、主要被写体を決定するようにしても良い。つまり、主要被写体の認識方法によらず、主要被写体とされた顔が被写体情報として登録されていない場合には、非主要被写体の顔の中に被写体情報として登録された顔があったとしても、その顔の近傍には名称を表示しない構成であれば良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮像手段を有する撮像装置であって、
   前記撮像手段による撮像中の画像を表示する表示手段と、
   前記表示手段に表示される画像中の被写体を検出する検出手段と、
   前記検出手段で検出された被写体を主要被写体と非主要被写体に分類する分類手段と、
   被写体を特定するための特徴情報と被写体を表わす名称情報の夫々を対応付けて記憶する記憶手段と、
   前記表示手段に表示された画像中の被写体について、前記記憶手段に記憶された特徴情報に基づいて特定可能である場合は、対応する名称情報を前記表示手段に表示するように制御する表示制御手段とを有し、
   前記表示制御手段は、
   前記記憶手段に記憶された特徴情報に基づき、画像中の主要被写体について特定できない場合には、前記画像中の非主要被写体について特定できたとしても、前記非主要被写体の名称情報を表示しない
   ことを特徴とする撮像装置。
2. 前記検出手段が検出する前記被写体は人物の顔画像であって、
   前記分類手段は、顔画像のサイズ及び顔画像の位置の少なくともいずれかに基づいて、顔画像が示す被写体を前記主要被写体と前記非主要被写体に分類することを特徴とする請求項１に記載の撮像装置。
3. 前記表示制御手段は、前記主要被写体と前記非主要被写体の名称情報を構成する文字列の下地を、異なる色で表示することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記表示制御手段は、前記主要被写体が示す画像を囲む枠を第１の色で表示し、前記非主要被写体が示す画像を囲む枠を前記第１の色とは異なる第２の色で表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像手段と、被写体を特定するための特徴情報と被写体を表わす名称情報の夫々を対応付けて記憶する記憶手段とを有する撮像装置の制御方法であって、
   表示手段が、前記撮像手段による撮像中の画像を表示画面に表示する表示工程と、
   検出手段が、前記表示画面に表示される画像中の被写体を検出する検出工程と、
   分類手段が、前記検出工程で検出された被写体を主要被写体と非主要被写体に分類する分類工程と、
   表示制御手段が、前記表示画面に表示された画像中の被写体について、前記記憶手段に記憶された特徴情報に基づいて特定可能である場合は、対応する名称情報を前記表示画面に表示するように制御する表示制御工程とを有し、
   前記表示制御工程では、
   前記記憶手段に記憶された特徴情報に基づき、画像中の主要被写体について特定できない場合には、前記画像中の非主要被写体について特定できたとしても、前記非主要被写体の名称情報を表示しない
   ことを特徴とする撮像装置の制御方法。
6. 撮像手段と、被写体を特定するための特徴情報と被写体を表わす名称情報の夫々を対応付けて記憶する記憶手段とを有するコンピュータに読み込ませ実行させることで、前記コンピュータを撮像装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前記撮像手段による撮像中の画像を表示画面に表示する表示手段、
   前記表示手段で表示される画像中の被写体を検出する検出手段、
   前記検出手段で検出された被写体を主要被写体と非主要被写体に分類する分類手段、および、
   前記表示画面に表示された画像中の被写体について、前記記憶手段に記憶された特徴情報に基づいて特定可能である場合は、対応する名称情報を前記表示画面に表示するように制御する表示制御手段として機能させ、
   前記表示制御手段は、
   前記記憶手段に記憶された特徴情報に基づき、画像中の主要被写体について特定できない場合には、前記画像中の非主要被写体について特定できたとしても、前記非主要被写体の名称情報を表示しない
   ことを特徴とするプログラム。
7. 請求項６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images