JP5388611B2 - 撮像装置およびその制御方法、プログラム - Google Patents

Description

本発明は、他機との通信機能および被写体認識機能を備えた撮像装置に関する。

従来から、人物を被写体として撮影した撮影画像から人物の顔の特徴点を抽出したデータと、予め登録されている人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が記載されている（特許文献１参照）。

また、大量の撮影画像から所望の画像データを探し出すために顔認識データを用いる技術が記載されている（特許文献２参照）。

また、顔認識データを用いて被写体ごとの撮影枚数を管理する技術が記載されている（特許文献３参照）。

特開平６−２５９５３４号公報 特開２００７−２５９４１５号公報 特開２００７−０２０１０４号公報

ところで、パーティー会場や学校行事などのイベントにおいては、被写体としてイベントの参加者や関係者を漏れなく、かつまんべんなく撮影するといった要望がある。そのため、ユーザは、誰をどれだけ撮影したか、誰が撮影されていないかといったことを考慮しながら撮影を行う。しかしながら、実際には人物が多ければ全ての被写体に対して撮影したか否かを把握することが難しくなる。

上記特許文献３では、撮影枚数を表示することでユーザに撮影状況を報知する。しかしながら、上記イベントなどでは、複数のユーザが分担して、参加者を撮影したり、一人のユーザであっても複数の撮影機器を用いて撮影を行うことが普通である。このため、撮影機器ごとの被写体の撮影枚数しか把握することがでず、撮影枚数が増えたり、偏った撮影となってしまう。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、被写体の特徴を識別するための識別データを前記画像データから取得する取得手段と、前記画像データを表示する表示手段と、他の撮像装置で撮影された被写体の特徴を識別するための識別データを前記他の撮像装置から受信する通信手段と、前記取得手段により取得された識別データおよび前記通信手段により受信された識別データを、識別される被写体を特定するためのＩＤと共に記憶媒体に記憶する記憶手段と、前記記憶手段により予め前記記憶媒体に記憶されている識別データと、前記取得手段により取得された識別データとに基づき、前記取得手段により取得された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第１の判定手段と、前記記憶手段により予め前記記憶媒体に記憶されている識別データと、前記通信手段により受信された識別データとに基づき、前記通信手段により受信された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第２の判定手段と、を有し、前記表示手段は、前記第１の判定手段および前記第２の判定手段により判定された被写体の撮影状況を識別可能に表示することを特徴とする。

本発明によれば、複数の撮影機器を用いて撮影を行う際に、被写体ごとの撮影状況をユーザが容易に把握することができる。

本発明に係る第１の実施形態における撮像装置の構成を示すブロック図である。 第１の実施形態における撮影処理を示すフローチャートである。 第１の実施形態における識別データの登録処理を示すフローチャートである。 第１の実施形態におけるファイル管理テーブルの内容を例示する図である。 第１の実施形態における人物ＩＤ管理テーブルの内容を例示する図である。 第１の実施形態における再生処理を示すフローチャートである。 第１の実施形態におけるに再生画面を例示する図である。 第１の実施形態における登録人物の一覧表示例を示す図である。 第１の実施形態における再生一覧表示例を示す図である。 第２の実施形態におけるファインダ表示処理を示すフローチャートである。 第２の実施形態におけるファインダ表示画面を例示する図である。 第２の実施形態におけるファインダ表示画面の別の例を示す図である。 第３の実施形態における識別データの登録処理を示すフローチャートである。 第３の実施形態における人物ＩＤ管理テーブルの内容を例示する図である。 第３の実施形態における登録人物の一覧表示例を示す図である。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
図１は、本発明に係る実施形態の撮像装置の概略構成を示すブロック図である。

１００はデジタルカメラなどの撮像装置である。１０１は複数のレンズ群で構成される交換可能なレンズユニットである。レンズユニット１０１は、マイクロコンピュータ１２７と通信し、レンズユニット１０１内部のオートフォーカス（ＡＦ）制御回路１０１ａを制御し、レンズユニット１０１内のフォーカシングレンズを変位させることにより焦点を合わせる。フォーカシングレンズの変位量は測距回路１１７の出力に基づき演算される。また、レンズユニット１０１内には絞り制御回路１０１ｂが設けられ、光学的な絞り値を変化させる。

１０２は撮影光路中に配置されたクイックリターンミラーであり、レンズユニット１０１からの被写体光をファインダ光学系（不図示）に導くミラーダウン位置と撮影光路外に退避するミラーアップ位置との間を移動制御される。１０３はシャッタである。１０４は防塵ガラスで覆われた光学フィルタである。１０５は、レンズユニット１０１を介して入射される被写体の光学像を電気信号に変換する撮像素子である。１０６は撮像素子１０５から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器である。１０７は画像処理回路であり、Ａ／Ｄ変換器１０６からのデジタル画像信号、あるいはメモリ制御回路１１１からの画像データに対して、画像データに付加されている処理データに基づき、所定の画素補間処理や現像処理などを行う。

１０８はタイミング発生回路であり、上記撮像素子１０５およびＡ／Ｄ変換器１０６に対してクロック信号や制御信号を供給する。タイミング発生回路１０８は、後述するメモリ制御回路１１１およびマイクロコンピュータ１２７により制御される。１１１はメモリ制御回路であり、Ａ／Ｄ変換器１０６、画像処理回路１０７、タイミング発生回路１０８、画像表示メモリ１１２、メモリ１１３、圧縮伸長回路１１４を制御する。

Ａ／Ｄ変換器１０６から出力されるデジタル画像信号は、画像処理回路１０７、メモリ制御回路１１１を介して、画像表示メモリ１１２あるいはメモリ１１３に書き込まれる。１１０はＴＦＴ ＬＣＤ等からなる表示部であり、画像表示メモリ１１２に書き込まれた表示用の画像データは表示制御回路１０９により表示部１１０に表示される。

表示部１１０は、主に撮像装置の背面部分に配置されている。表示部１１０は、ユーザに対して操作を促すメニュー画面や画像ファイルの再生画像、また、撮像素子１０５から逐次出力される画像信号を画像処理回路１０７にて処理してスルー表示することで、電子ビューファインダとして機能することも可能である。したがって、ユーザは、表示部１１０にて被写体のフレーミングを確認しながら撮影を行うことが可能である。なお、逐次更新されるスルー画像データは、後述する顔認識部１２６にて被写体である人物の顔認識処理にも使用される。

１１３はメモリであり、撮影した非圧縮の画像データの一時格納するイメージバッファ領域となる。また、メモリ１１３は、画像処理回路１０７にて画像データを現像処理する際に使用する処理データや、ＡＦ（オートフォーカス）／ＡＥ（自動露出）／ＷＢ（ホワイトバランス）の演算結果を保持する。さらにメモリ１１３は、その他一時的に使用するデータを記憶するワークバッファとしての領域、圧縮伸長回路１１４て圧縮された圧縮画像データを格納するファイルバッファとしての領域等を含む。さらにメモリ１１３は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合であっても、メモリ１１３に対して高速かつ大量の画像書き込みを行うことが可能となる。

１１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データをＪＰＥＧデータとして圧縮伸長する圧縮伸長回路であり、メモリ１１３に格納された画像データを読み込んで圧縮処理あるいは伸長処理を行い、処理後のデータをメモリ１１３に書き込む。１１５はシャッタ１０３を制御するシャッタ制御回路である。１１６はクイックリターンミラー１０２を撮影光路内外に駆動制御するミラー制御回路である。１１７は測距制御回路であり、被写体との距離を測定し、その出力に応じてレンズユニット１０１のフォーカシングレンズを制御する。１１８は測光制御回路であり、被写体の輝度を測定し、その出力に応じて露出を制御する。

ここで、撮像装置１００の操作部材について説明する。

１２０，１２１は、ユーザがマイクロコンピュータ１２７に対して各種の動作指示を行うための操作部材であり、各種ボタンスイッチやダイアル、タッチパネル等により構成される。

１２０はレリーズスイッチであり、レリーズボタンの半押し（ＳＷ１）でオンとなるスイッチを含み、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の撮影準備動作開始を指示する。さらにレリーズスイッチ１２０には、レリーズボタンの全押し（ＳＷ２）でオンとるスイッチを含み、撮像素子１０５から読み出した信号をＡ／Ｄ変換器１０６、メモリ制御回路１１１を介してメモリ１１３に画像データを書き込む撮像処理を行う。続いて、画像処理回路１０７が画像データに対して設定されているホワイトバランスモードに応じたホワイトバランス補正処理、現像処理を行い、メモリ１１３から現像された画像データを読み出し、圧縮伸長回路１１４で圧縮を行う。

続いて記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。１２１は、操作スイッチであり、不図示のメニューキー、セットキー、十字キー、再生キーの組み合わせで構成される。ユーザは、操作スイッチ１２１により、カメラの撮影条件や現像条件やなどの各種設定の変更の選択、画像ファイルの再生指示などの各種操作を表示部１１０に表示される画面を見ながら実行できる。

１２７は撮像装置１００の全体を制御するマイクロコンピュータである。
１１９は不揮発性メモリであり、撮像処理を行うプログラム、画像処理を行うプログラム、作成された画像ファイルデータを記録媒体に記録するプログラムなどの各種プログラムが記録されている。さらにメモリ１１９には、上記各種プログラムのマルチタスク構成を実現し実行するＯＳなどの各種プログラム、および各種制御を行うための調整値などが記録されている。

マイクロコンピュータ１２７は顔認識部１２６を有し、記録媒体２００に記録されている画像データや、表示モニタに表示されるスルー画像データから特徴領域を抽出して被写体である人物を識別するための識別データを生成する（識別データ生成手段）。撮影動作時に生成された識別データは、メモリ１１３や不揮発性メモリ１１９あるいは後述する記録媒体２００に記憶する機能も有する。

次に、撮像装置１００と接続される構成要素および付属部材について説明する。

１２２は電源制御回路であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り換えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。さらに、電池残量検出結果およびマイクロコンピュータ１２７の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

１２３はメモリカード等の記録媒体をコントロールする制御回路である。１２５はメモリカード等の記録媒体２００と接続を行うコネクタである。１２４は無線、あるいは有線の通信手段を制御する通信制御回路であり、他の撮影機器や通信装置と通信を行うことが可能である。本実施形態の撮像装置は、他の撮影機器と無線ＬＡＮ、赤外線通信、ブルートゥース等の無線通信で接続される。

２００は、メモリカードやハードディスク等の記録媒体である。ここでは、記録媒体２００は半導体メモリで構成されたメモリカードとする。記録媒体２００は、撮像装置１００との接続を行うコネクタ２０１、撮像装置１００とのインタフェースであり記録部２０３を制御する制御回路２０２、半導体メモリからなる記録部２０３を備える。なお、撮像装置１００の筐体には、メモリカードなどの記録媒体２００を挿入するためのスロットが設けられ、筐体内にカード全体が収容され、そのスロットを覆うための開閉可能な蓋が設けられている（不図示）。

他の撮像装置（以下、他機ともいう）と通信可能に接続された撮像装置１００（以下、自機ともいう）は、他機で生成された人物を識別するための識別データを受信する機能を有する。また、他機も他機で撮像された画像データから特徴領域を抽出して被写体である人物を識別するための識別データを生成する機能を有する。他機から受信した識別データは、自機で生成した識別データと同様に顔認識部１２６にて人物を識別するための識別データとして利用される。また、他機から受信した識別データは、前述したように自機の識別データと同様に記録媒体２００へ記録するようにしても良い。本実施形態では、他機から受信した識別データは自機で生成した識別データとともに記録媒体２００に記録されるものとする。

なお、被写体の顔認識技術としては、様々な手法が公知となっている。例えば、画像データより顔領域を抽出し目、鼻、口、顔の輪郭といった物理的な形状の特徴点から求まる各パーツの大きさや相対的な位置関係などから解析される識別データを用いて、人物を特徴付けるといった手法がある。

本実施形態の顔認識部１２６では、画像処理回路１０７により処理される撮影画像、スルー画像などの画像データから人物を抽出して、上記手法を用いて目、鼻、口、顔の輪郭といった物理的な形状の特徴点を解析する。解析結果は、顔認識部１２６により、記録媒体２００に記録されている識別データ（以下、自機登録識別データ）として、他機から受信した識別データ（他機登録識別データ）と、解析結果の人物とが合致するか否かを判定するために利用される。これにより、人物ごとの撮影状況を認識できる。

また、顔認識部１２６による解析結果に応じて、例えば表示部１１０による画像ファイルの再生時に人物に関する情報を重畳して表示するように撮像装置１００を制御する。撮影時に解析した結果は新たな自機の識別データとして記録媒体２００に記憶し、以後、自機識別データとして使用する。なお、この詳細については後述する。

以下の説明では、予め他機と通信可能なように構成され、顔認識部１２６により生成された識別データを使用する撮影モードが設定されているものとする。

＜撮影処理＞
図２に示すフローチャートを用いて撮像処理の詳細について説明する。

ユーザによりＳＷ１が押下され撮影処理が指示されると、Ｓ２０１にて、測距回路１１７とＡＦ制御回路１０１ａとによりＡＦ制御を行い、フォーカシングレンズを合焦位置に制御する。

Ｓ２０２では、測光制御回路１１８を用いて測光動作を行い、予め設定されている撮影モードに従い制御するシャッタ制御値と絞り値を決定する。これらの動作が終了すると、Ｓ２０３で、マイクロコンピュータ（以下、マイコン）１２７はミラー制御回路１１６に指示して撮影光路外にクイックリターンミラー１０２を退避させる、いわゆるミラーアップをさせる。

次に、Ｓ２０４では、撮像素子１０５が電荷の蓄積を開始する。

次にＳ２０５では、マイコン１２７はシャッタ制御回路１１５に指示してシャッタ１０３を走行させ、露光が行われる（Ｓ２０６）。

次にＳ２０７では、マイコン１２７はシャッタ制御回路１１５に指示してシャッタ１０３を閉じ、Ｓ２０８で撮像素子１０５に蓄積を終了させる。

次のＳ２０９では、マイコン１２７は撮像素子１０５から画像信号を読み出し、Ａ／Ｄ変換器１０６および画像処理回路１０７で処理した画像データをメモリ１１３に一時記憶する。撮像素子１０５から全ての画像信号の読み出しを完了すると、Ｓ２１０でクイックリターンミラー１０２を撮影光路に戻す、いわゆるミラーダウンをさせる。

Ｓ２１１では、マイコン１２７は撮像素子から読み出した画像信号に対して所定の現像処理を施して画像データを生成し、記録媒体２００に画像ファイルとして記録して撮影処理を終了する。

なお、本実施形態の撮像装置では、表示部１１０を電子ビューファインダとして使用できる。操作スイッチ１２１にて表示部１１０を電子ビューファインダとして使用するモードに設定されている場合は、マイコン１２７はミラー制御回路１１６に指示してミラーアップ状態を維持する。さらにマイコン１２７はシャッタ制御回路１１５に指示し、シャッタ１０３を開いた状態を維持する。この状態で撮像素子１０５から逐次画像信号を読み出し、画像処理回路１０７にて表示部１１０に表示する画像処理を施すことで、表示部１１０にスルー画像を表示するファインダ機能を実現している。このような状態からの撮影処理動作は、Ｓ２０３、Ｓ２１０でのミラー制御処理、Ｓ２０５、Ｓ２０７のシャッタ制御処理とは異なるが、これらの処理は既に公知であるため、説明を省略する。

＜識別データの登録処理＞
次に図３に示すフローチャートを用いて識別データの登録処理について説明する。

先ず、Ｓ３０１では、マイコン１２７はユーザによりレリーズスイッチ１２０が押下され撮影処理が指示されたか否かを判定する。撮影処理が指示された場合は、Ｓ３０２に進み撮影処理を実行し、撮影画像データが記録媒体２００に画像ファイルとして記録される。続いてＳ３０３では、顔認識部１２６が撮影画像に対して顔領域の抽出を行う。

Ｓ３０４では、顔認識部１２６は、撮影画像データに人物が含まれていたならば、抽出された人数分の解析データを生成する。
撮影画像データから解析された解析データは、Ｓ３０５にて、記録媒体２００に記録されている自機登録識別データと比較される。自機登録識別データの人物と合致するものがなければ（Ｓ３０６）、新規の人物として識別データを管理するための識別子として人物ＩＤが新規に生成される（Ｓ３０７）。そして、解析データが記録媒体２００に自機登録識別データとして上記人物ＩＤと関連付けて記録される（Ｓ３０８）。

なお、本実施形態において、識別データを記録媒体２００ではなく、不揮発性メモリ１１９や、メモリ１１３に記録するように構成しても良い。

Ｓ３０９では、マイコン１２７は、新規に生成した人物ＩＤに関連付けられる撮影枚数を１にセットする。しかる後に、撮影画像データ内に含まれる人物についての識別データの登録処理が終了するとＳ３１０に進む。Ｓ３１０では、マイコン１２７は抽出された人数分の比較処理、および登録処理が完了したか否かを判定し、完了していなければ、Ｓ３０５に戻り、一連の登録処理を繰り返し実行する。

一方、Ｓ３０６の比較処理にて合致する人物の自機登録識別データが存在する場合は、Ｓ３１２に進み、マイコン１２７は合致する既存の人物ＩＤにの自機登録識別データを更新する。ここで自機登録識別データの更新として、各人物ＩＤごとに解析データを識別データとして追加登録し、複数の識別データを関連付けたりしても良い。あるいは既存の自機登録識別データと解析データあるいは受信した識別データから、新たな識別データを生成し自機登録識別データを更新するようにしても良い。これにより、自機登録識別データの信頼性が高まり、顔認識処理の識別率をより高くすることが可能となる。

続いてＳ３１３では、マイコン１２７は合致した人物ＩＤに関連付けられる撮影枚数を１つインクリメントし、Ｓ３１０に進む。

また、Ｓ３０１にて撮影処理が指示されていないと判定されるとＳ３１１に進み、マイコン１２７は他機から識別データを受信したか否かを判定する。他機から識別データを受信していない場合はＳ３０１に戻る。他機から識別データを受信した場合は、Ｓ３０５に進み、マイコン１２７は記録媒体２００に記録されている自機登録識別データとの比較を行う。以下、撮影画像データに対する処理と同様の処理を行う。

ここで、本実施形態において他機が識別データを送信するタイミングは、他機が撮影処理を行い、識別データを生成した時点であり、自機では他機が撮影時に生成した識別データを受信することになる。すなわち、自機は他機で生成された識別データを受信し、顔認識部１２６にて自機の自機登録識別データとの比較を行うために利用するとともに、他機で撮影された被写体に対する撮影枚数の計数にも使用することになる。また、他機から受信した識別データは、記録媒体２００に記録し自機登録識別データとして利用される。

このようにして撮影処理が行われるごとに、撮影画像データ中に写っている人物を特定して、撮影枚数を更新する処理を行う。また、他機から識別データを受信した場合もその識別データから特定される人物の撮影枚数を更新する処理を行う。

＜データベース＞
図４は、撮影処理時に記録される画像データファイルに対して、顔認識部１２６にて解析された被写体に対する識別結果をデータベースとして記録媒体２００に記録されるデータ構成の一例を示すものであり、ここではファイル管理テーブルと呼ぶ。

図４において、『ファイル名』は記録媒体２００に記録される画像ファイルのファイル名であり、撮影時に所定の命名則によって付されるものである。『人物ＩＤ』は、画像ファイル内にいる人物を特定するための人物ＩＤであり、図３で説明したように顔認識部１２６にて処理される人物を特定するための一意のＩＤである。『人数』は、顔認識部１２６にて抽出された人物の人数である。『顔領域』は、顔認識部１２６にて抽出された顔の位置を示すＸＹ座標で、人物ＩＤごとにその座標位置が管理される。このデータベースは、撮影画像ファイルが作成されるごとに更新されるものである。

なお、ファイル管理テーブルにて管理される内容は、上記に限定されないことは言うまでもない。

図５は、人物ＩＤごとに管理される所定のデータを記録媒体２００に記録するデータ構成の一例を示すものであり、ここでは人物ＩＤ管理テーブルと呼ぶ。

図５において、人物ＩＤは、人物を特定するための一意のＩＤである。撮影枚数とは、図３で説明したように自機で撮影した撮影画像データから顔認識部１２６にて解析された解析データと、各人物ＩＤごとの自機登録識別データと合致した画像データの数であり、被写体ごとの撮影枚数である。またこの自機登録識別データには、他機から受信した識別データも含まれる。

なお、人物ＩＤ管理テーブルにて管理される内容は、上記に限定されないことは言うまでもない。

＜再生処理＞
次に図６に示すフローチャートを用いて記録媒体２００に記録されている画像ファイルを再生する処理について説明する。

図６において、Ｓ６０１にてユーザにより操作スイッチ１２１の再生キーが操作され再生が指示されると、記録媒体２００から画像ファイルがメモリ１１３に読み込まれる。

続いてＳ６０２に進み、マイコン１２７はファイル管理テーブルを参照し、読み込んだ画像ファイルに写っている被写体の人物ＩＤを特定する。そして、マイコン１２７は人物ＩＤ管理テーブルを参照し、Ｓ６０２で特定した人物ＩＤごとの撮影枚数を把握する（Ｓ６０３）。

Ｓ６０４では、マイコン１２７はファイル管理テーブルを参照し人物ＩＤごとの顔領域を参照しその位置を把握する。続いてＳ６０５にて画像処理回路１０７にて読み込んだ画像ファイルに対して各被写体の顔領域近傍に撮影枚数を重畳して表示するように画像処理回路１０７にて処理を行い、処理したデータを画像表示メモリ１１２に転送し、表示部１１０に表示する。ここで顔領域近傍とは、顔領域内に撮影枚数の表示が重なってもよいし、重ならなくともよい。

＜表示画面＞
図７は、画像再生時の表示画面を例示している。この画面では４人の人物が写っており、画像ファイル名「IMG_0002.JPG」が再生されている。顔近傍の数字は、各人物毎の撮影枚数を示しており、画面左の人物から、人物ＩＤが１，２，３，４の人物が写っている。

このように、画像ファイルを再生すると、その画像ファイルに写っている人物ごとの撮影枚数を簡単に把握することが可能となる。なお、ここで表示される撮影枚数とは、自機で撮影した被写体の枚数だけでなく、他機で撮影された被写体の撮影枚数も含まれる。

図８は、人物ＩＤ管理テーブルの内容を表示部１１０に一覧表示した場合の例である。

図示のように、表示部１１０には、人物ＩＤと対応する顔画像、撮影枚数が一覧形式で表示される。ここで顔画像は、例えば図３で説明した識別データの登録処理時に、顔認識部１２６にて抽出された顔領域の画像データをサムネイル画像として人物ＩＤと関連付けして識別データとともに記録するように構成すれば良い。また、他機で撮影された人物のサムネイル画像は、他機の識別データ受信時に一緒に受信するように構成されていれば良い。

この画面には、ユーザが画像の一覧表示を指示するためのアイコンが用意されている。一覧表示されている中から選択枠８０２を操作することで所望の人物を選択して、画面の右下に示す『画像一覧表示』アイコン８０１を操作すると記録媒体２００の中から、対応する人物が写っている画像ファイルを読み出して一覧表示する。

図９は、選択された人物が写っている画像ファイルを一覧表示した場合の例である。

このように、人物ごとの撮影状況の一覧表示を行うと、どの人物の撮影枚数が少ない、多いといったことを把握することが容易に可能となる。なお、ここで表示される撮影状況とは、自機で撮影した枚数だけでなく、他機で撮影された枚数も含まれる。すなわち、あるイベントで一人が複数のカメラを用いて交換しながら撮影したり、複数のユーザによって撮影する場合でも、撮影画像をカメラ間で共有できるので、イベントの参加者をまんべんなく撮影するために撮影状況を把握することが容易となる。なお、この画面には、ユーザが画像一覧表示アイコン８０１を操作する前の画面に戻るよう指示するための『戻る』アイコン９０１が用意されている。

なお、図８に示す一覧表示例では、人物ＩＤの番号順に一覧表示を行っているが、撮影情報に基づいてソート可能に構成してもよく、例えば撮影枚数の多い、少ないといった情報によってソートするように構成しても良い。これにより、どの人物が撮影されていないかといった撮影状況をより把握することが容易となる。

なお、本実施形態において、他機で撮影された被写体の識別データを受信するように構成されているが、これに限らず、他機が抽出した顔領域の画像を受信して、顔認識部１２６にて他機の識別データを生成するように構成しても良い。

また、本実施形態では、他機から識別データを受信する構成についてのみ言及したが、自機が他機に対して識別データを送信するようにしても良いことは言うまでもない。

本実施形態によれば、自機で撮影した画像データを解析して生成した人物を特定するための識別データと他機から受信した人物の識別データとを比較することで、まだ撮影していない被写体や被写体ごとの撮影枚数などの撮影状況を表示する。よって、イベントを一人で複数のカメラを交換しながら撮影したり、複数のユーザによって撮影する場合でも、撮影状況を複数のカメラ間で共有できるので、イベントの参加者をまんべんなく撮影するための状況の把握が容易となる。

［第２の実施形態］
次に、第２の実施形態について説明する。

本実施形態の撮像装置の構成は、図１で述べた第１の実施形態と同様であるので説明を省略する。

本実施形態では、電子ビューファインダ機能を使用しながら、ユーザに被写体の撮影状況を報知することができる撮像装置について説明を行う。

なお、本実施形態において、人物を識別するための識別データの登録処理は、第１の実施形態と同様の処理にて実施されるものとして説明する。

＜ファインダ表示処理＞
図１０のフローチャートを用いて被写体の撮影状況をファインダ上に表示してユーザに報知する方法について説明する。

図１０において、Ｓ１００１では、マイコン１２７は撮像素子１０５から画像信号を読み出し、Ａ／Ｄ変換器１０６および画像処理回路１０７で処理して、電子ビューファインダに表示するスルー画像データをメモリ１１３に一時記憶する（Ｓ１００２）。

続いてＳ１００３では、顔認識部１２６がメモリ１１３に一時記憶されている画像データに対して顔領域の抽出処理を行う。

Ｓ１００４では、顔認識部１２６は撮影画像データに人物が含まれていれば、抽出された人数分の解析データを生成する。解析データは、Ｓ１００５にて、記録媒体２００に記録されている自機登録識別データと比較される。ここでの自機登録識別データは、第１の実施形態と同様に他機から受信した識別データも含まれる。

Ｓ１００６では、マイコン１２７は自機登録識別データと合致するものがあるか否か判定を行い、合致するものがあればＳ１００７に進む。Ｓ１００７では、画像データの合致する人物の顔領域に撮影済みであることを示す指標を表示するように指定する。

Ｓ１００６にて自機登録識別データと合致するものがない場合は、Ｓ１０１０に進み該当する人物の顔領域に未撮影であることを示す指標を表示するように指定する。

スルー画像データから抽出された人物について、その撮影状況の認識処理が終了するとＳ１００８に進み、マイコン１２７は、Ｓ１００３で抽出された人数分の撮影状況の認識処理が完了したか否かを判定する。完了していなければ、Ｓ１００５に戻り一連の認識処理が繰り返し実行される。人数分の撮影状況の認識処理が完了した場合は、Ｓ１００９に進み、スルー画像にＳ１００７、Ｓ１０１０にて被写体ごとに指定した指標を重畳表示するように画像処理回路１０７にて処理を行う。処理されたデータは画像表示メモリ１１２に転送され表示制御回路１０９により表示部１１０に表示される。

なお、上記指標を重畳する処理は、他機からの識別データの受信に同期して、表示部１１０にてスルー画像を表示している間、繰り返し実行される。

図１１は、表示部１１０を電子ビューファインダとして使用した場合の画面を例示しており、スルー画像に被写体ごとの撮影状況を重畳して表示した例である。

本実施形態では、それぞれの顔領域に表示形態の異なる指標（枠）が、重ねて表示される。

図１１（ａ）は、撮影されていない被写体がファインダ構図内に存在する状況の場合であり、同図では人物１１０１が既に撮影されている被写体であり、人物１１０２、人物１１０３、人物１１０４は、まだ撮影されていない被写体を示している。

図１１（ａ）において撮影済みと判定された被写体に対しては濃い色の枠、未撮影と判定された被写体に対しては薄い色の枠というように異なる色の枠が、スルー画像の顔領域に重畳されて、撮影済みの被写体と未撮影の被写体とが区別して表示される。

図１１（ｂ）は、図１１（ａ）の未撮影の被写体がファインダ構図内に存在する状況の場合であり、自機にて撮影した後のスルー画像を示している。スルー画像を表示している間は、図１０で説明した処理が逐次実行されているため、自機にて撮影を実行すると同図に示すように、全ての被写体が撮影済みであることを示す濃い色の枠が重畳されて表示される。

図１１（ｃ）は、図１１（ａ）の未撮影の被写体がファインダ構図内にいる状況の場合であり、他機で人物１１０４が含まれる画像の撮影が行われた後のスルー画像を示している。他機にて人物１１０４が含まれる画像の撮影が実行された場合には、他機から人物１１０４の識別データが送信され、自機はその識別データを受信する。スルー画像を表示している間は、図１０で説明した処理が逐次実行されているため、自機のスルー画像内の人物１１０４は撮影済みであることを示す濃い色の枠が重畳された表示に切り替わる。

なお、本実施形態では、撮影済みか否かの指標を色の異なる枠で顔領域に重畳して表示したが、この形態に限るわけではない。例えば、未撮影の被写体と撮影済みの被写体とが区別できて識別可能な形態であれば、色、指標の形、表示形式はどのような形態であっても良い。また、例えば、未撮影の被写体のみ、あるいは撮影済みの被写体のみに、スルー画像に重ねて指標を表示するようにして良い。

また、自機のみで撮影済みの場合と他機のみで撮影済みの場合とで異なる指標を表示しても良い。また、スルー画像の枠外に被写体ごとの撮影状況が認識できるように表示しても良い。

さらに、図１２に示すように被写体ごとの撮影枚数を示す指標をスルー画像に重ねて表示しても良い。図１２では、未撮影の被写体の撮影枚数を示す指標と、撮影済みの指標とを異なる色で識別可能に表示している。

また、本実施形態では、他機から識別データを受信する構成についてのみ言及したが、自機が他機に対して識別データを送信するようにしても良いことは言うまでもない。

本実施形態によれば、自機で撮影した画像データを解析して生成した人物を特定するための識別データと他機から受信した人物の識別データとを比較し、まだ撮影していない被写体や被写体ごとの撮影枚数などの撮影状況をファインダ上に表示する。よって、イベントを一人で複数のカメラを交換しながら撮影したり、複数のユーザによって撮影する場合でも、撮影状況を複数のカメラ間で共有できるので、イベントの参加者をまんべんなく撮影するための状況の把握が容易となる。

また、ユーザがファインダを見ながら画像のフレーミングをしている場合であっても、他機にて撮影が行われると、他機で撮影された被写体の情報も随時、更新される。これにより、撮影状況をカメラ間で共有できるので、イベントの参加者をまんべんなく撮影するための情報を逐次把握することが容易となる。

［第３の実施形態］
第３の実施形態について説明する。

本実施形態の撮像装置の構成は、図１で述べた第１の実施形態と同様であるので説明を省略する。

本実施形態では、自機登録識別データと他機から受信した識別データとに基づいて、他機と画像ファイルの送受信を行う方法について説明する。

＜識別データの登録処理＞
ここで、図１３に示すフローチャートを用いて本実施形態における識別データの登録処理について説明する。なお、撮影処理については、第１の実施形態の図２で説明したフローと同様であるので説明を省略する。

図１３において、Ｓ１３０１では、マイコン１２７は、ユーザによりレリーズスイッチ１２０が押下され撮影処理が指示されたか否かを判定する。撮影処理が指示された場合は、Ｓ１３０２に進み撮影処理を実行し、撮影画像データが記録媒体２００に画像ファイルとして記録される。

続いてＳ１３０３では、顔認識部１２６は撮影画像データから顔領域の抽出を行い、撮影画像データに人物が含まれていれば、Ｓ１３０４で抽出された人数分の解析データを生成する。撮影画像データから解析された解析データは、Ｓ１３０５にて、記録媒体２００に記録されている自機登録識別データと比較される。自機登録識別データの人物と合致するものがなければ（Ｓ１３０６）、顔認識部１２６は、新規の人物として識別データを管理するための識別子として人物ＩＤを生成する（Ｓ１３０７）。さらに解析データを自機登録識別データとして、上記人物ＩＤと関連付けして記録媒体２００に記録する（Ｓ１３０８）。

なお、本実施形態において、識別データを記録媒体２００に記録しているが、不揮発性メモリ１１９やメモリ１１３に記録しても良い。

Ｓ１３０９では、マイコン１２７は、登録した識別データが自機で撮影し生成した識別データか、他機から受信した識別データか判定する。自機で生成した識別データならばＳ１３１０に進み、新規に生成した人物ＩＤに関連付けられる自機での撮影枚数を１にセットする。また、他機から受信した識別データならば、Ｓ１３１２に進み、新規に生成した人物ＩＤに関連付けられる他機での撮影枚数を１にセットする。しかる後に、識別データの登録処理が終了するとＳ１３１１に進み、マイコン１２７は、Ｓ１３０３に抽出された人数分の登録処理が完了したか否かを判定し、完了していなければ、Ｓ１３０５に戻り一連の処理を繰り返し実行する。

Ｓ１３０６にて合致する人物の自機登録識別データが存在する場合は、Ｓ１３１４に進み、マイコン１２７は合致する既存の人物ＩＤの自機登録識別データを更新する。

ここで自機登録識別データの更新として、各人物ＩＤごとに解析データを識別データとして追加登録し、複数の識別データを関連付けたりしても良い。あるいは既存の自機登録識別データと解析データあるいは受信した識別データから、新たな識別データを生成し自機登録識別データを更新するようにしても良い。これにより、自機登録識別データの信頼性が高まり、顔認識処理の識別率をより高くすることが可能となる。

続いてＳ１３１５では、マイコン１２７は更新した識別データが自機で撮影し生成した識別データか、他機から受信した識別データか判定する。自機で生成した識別データである場合は、Ｓ１３１６に進み、マイコン１２７は合致した人物ＩＤに関連付けられる撮影枚数を１つインクリメントし、Ｓ１３１１に進む。

また、Ｓ１３１５にて他機から受信した識別データである場合は、Ｓ１３１７に進み、マイコン１２７は合致した人物ＩＤに関連付けられる他機での撮影枚数を１つインクリメントする。しかる後に、識別データの更新処理が終了するとＳ１３１１に進み、マイコン１２７は、Ｓ１３０４に抽出された人数分の更新、登録処理が完了したか否かを判定し、完了していなければＳ１３０５に戻り一連の処理が繰り返される。

また、Ｓ１３０１にて撮影処理が指示されていない場合、Ｓ１３１３に進み、マイコン１２７は他機から識別データを受信したか否かを判定する。他機から識別データを受信していない場合はＳ１３０１に戻る。他機から識別データを受信した場合は、Ｓ１３０５に進み、記録媒体２００に記録されている自機登録識別データとの比較を行う。以下、撮影画像データに対する処理と同様の処理を行う。

ここで、本実施形態において他機が識別データを送信するタイミングは、他機が撮影処理を行い、識別データを生成した時点であり、自機では他機が撮影時に生成した識別データを受信することになる。すなわち、自機は他機で生成された識別データを受信し、顔認識部１２６にて自機の自機登録識別データとの比較を行うために利用するとともに、他機で撮影された被写体に対する撮影枚数の計数にも使用することになる。

このようにして撮影処理が行われるごとに、撮影画像データ中に写っている人物を特定して、撮影枚数を更新する処理を行う。また、他機から識別データを受信した場合もその識別データから特定される人物の撮影枚数を更新する処理を行う。そして、自機で撮影したか、他機で撮影されたかを判定して撮影枚数を計数する。

＜データベース＞
図１４は、本実施形態における人物ＩＤごとに管理される人物ＩＤ管理テーブルのデータ構成を例示している。

図１４において、人物ＩＤは、人物を特定するための一意のＩＤである。図１３で説明したように、自機撮影枚数とは、自機で撮影した画像データから顔認識部１２６にて解析された解析データと、各人物ＩＤの自機登録識別データと合致した画像データの数であり、自機で撮影した被写体の撮影枚数である。他機撮影枚数とは、他機から識別データを受信したごとに各人物ＩＤの自機登録識別データと合致した数であり、他機で撮影した被写体の撮影枚数である。

＜表示画面＞
図１５は、図１４の人物ＩＤ管理テーブルの内容を表示部１１０に一覧表示した例である。図示のように、表示部１１０には、人物ＩＤと対応する顔画像、自機での撮影枚数、他機での撮影枚数、自機、他機での全撮影枚数が一覧形式で表示される。ここで、顔画像は、例えば図１３で説明した識別データの登録処理時に、顔認識部１２６にて抽出された顔領域の画像データをサムネイル画像として人物ＩＤと関連付けして識別データとともに記録すれば良い。また、他機で撮影された人物のサムネイル画像は、他機の識別データ受信時に一緒に受信するように構成されていれば良い。

さらに、図示の画面には、他機から画像ファイルを取得するためのアイコンが用意されている。すなわち、自機で未撮影の被写体が写っている画像の取得を指示するための『未撮影の画像』アイコン１５０１は自機で未撮影の被写体が写っている画像の取得を指示するためのアイコンである。『全ての画像』アイコン１５０２は、他機で撮影された全ての画像ファイルの取得を指示するためのアイコンである。『選択人物の画像』アイコン１５０３は、選択枠１５０４で選択された特定の人物ＩＤに対応する画像ファイルの取得を指示するためのアイコン１５０３である。ユーザが所望のアイコンを操作すると、マイコン１２７は、操作指示に従い対応する画像ファイルの取得要求を他機に送信し、他機から送信される画像ファイルを受信し、記録媒体２００に記録する。

なお、本実施形態では、他機から識別データを受信する構成についてのみ言及したが、自機が他機に対して識別データを送信するようにしても良いことは言うまでもない。

本実施形態によれば、自機で撮影した画像データを解析して生成した人物を特定するための識別データと他機から受信した人物の識別データとを比較することで、まだ撮影していない被写体や被写体ごとの撮影枚数などの撮影状況を表示する。よって、イベントを一人で複数のカメラを交換しながら撮影したり、複数のユーザによって撮影する場合でも、撮影状況を複数のカメラ間で共有できるので、カメラごとの撮影状況やイベントの参加者をまんべんなく撮影するための状況の把握が容易となる。

また、ユーザがファインダを見ながら画像のフレーミングをしている場合であっても、他機にて撮影が行われると、他機で撮影された被写体の情報も随時、更新される。これにより、撮影状況をカメラ間で共有できるので、イベントの参加者をまんべんなく撮影するための情報を逐次把握することが容易となる。

また、複数のカメラで共有した撮影状況の情報を利用することによって、他機との間で画像を送受信するための対象ファイルを容易に選択し、送受信することが可能となる。

［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。

しかし、さらにプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合も有得る。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

１００ 撮像装置
１０１ レンズユニット
１０２ クイックリターンミラー
１０３ シャッタ
１０４ 光学フィルタ
１０５ 撮像素子
１０６ Ａ／Ｄ変換器
１０７ 画像処理回路
１０８ タイミング発生回路
１０９ 表示制御回路
１１０ 表示部
１１１ メモリ制御回路
１１２ 画像表示メモリ
１１３ メモリ
１１４ 圧縮伸長回路
１１５ シャッタ制御回路
１１６ ミラー制御回路
１１７ 測距制御回路
１１８ 測光制御回路
１１９ 不揮発性メモリ
１２０ レリーズスイッチ
１２１ メニュー操作スイッチ
１２２ 電源制御回路
１２３ 制御回路（Ｉ／Ｆ）
１２４ 通信制御回路
１２５ コネクタ
１２６ 顔認識部
１２７ マイクロコンピュータ
２００ 記録媒体
２０１ コネクタ
２０２ 制御回路（Ｉ／Ｆ）
２０３ 記録部（半導体メモリ）

Claims (11)

1. 被写体を撮像して画像データを生成する撮像手段と、
   被写体の特徴を識別するための識別データを前記画像データから取得する取得手段と、
   前記画像データを表示する表示手段と、
   他の撮像装置で撮影された被写体の特徴を識別するための識別データを前記他の撮像装置から受信する通信手段と、
   前記取得手段により取得された識別データおよび前記通信手段により受信された識別データを、識別される被写体を特定するためのＩＤと共に記憶媒体に記憶する記憶手段と、
   前記記憶手段により予め前記記憶媒体に記憶されている識別データと、前記取得手段により取得された識別データとに基づき、前記取得手段により取得された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第１の判定手段と、
   前記記憶手段により予め前記記憶媒体に記憶されている識別データと、前記通信手段により受信された識別データとに基づき、前記通信手段により受信された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第２の判定手段と、を有し、
   前記表示手段は、前記第１の判定手段および前記第２の判定手段により判定された被写体の撮影状況を識別可能に表示することを特徴とする撮像装置。
2. 前記通信手段は、前記撮像装置との通信中に前記他の撮像装置で撮影された被写体の特徴を識別するための識別データを、前記他の撮像装置から受信することを特徴とする請求項１に記載の撮像装置。
3. 前記記憶媒体に記憶されている識別データと、前記取得手段により取得された識別データとを比較する第１の比較手段と、
   前記記憶媒体に記憶されている識別データと、前記通信手段により受信された識別データとを比較する第２の比較手段と、を更に有し、
   前記第１の判定手段は、前記第１の比較手段の比較結果に基づき、前記撮影状況を判定し、
   前記第２の判定手段は、前記第２の比較手段の比較結果に基づき、前記撮影状況を判定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の判定手段は、前記記憶媒体に記憶されている識別データと、前記取得手段により取得された識別データとに基づき、前記画像データにまだ撮影されていない被写体が含まれているか判定し、
   前記表示手段は、前記第１の判定手段によりまだ撮影されていない被写体が含まれていると判定された場合、当該被写体を他の被写体と識別可能に表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記通信手段により受信された識別データに基づき、前記識別データによって識別される被写体ごとの撮影枚数を計数する計数手段を更に有し、
   前記表示手段は、前記被写体ごとに撮影枚数を表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記表示手段は、前記通信手段による前記識別データの受信に同期して、被写体の表示を更新することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記通信手段により受信された識別データに基づき、前記識別データによって識別される被写体ごとの撮影枚数を撮像装置ごとに計数する計数手段を更に有し、
   前記表示手段は、撮像装置ごとの被写体の撮影枚数を表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
8. 前記表示手段は、前記撮像手段から逐次出力される画像データを更新しながら表示する電子ビューファインダを構成し、
   前記取得手段は、前記逐次更新される画像データから識別データを取得することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像手段により生成された画像データが前記記憶手段により前記記録媒体に記憶される場合、前記通信手段は、前記記憶される画像データから取得される識別データを、前記他の撮像装置に送信することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体を撮像して画像データを生成する撮像工程と、
    被写体の特徴を識別するための識別データを前記画像データから取得する取得工程と、
    前記画像データを表示する表示工程と、
    他の撮像装置で撮影された被写体の特徴を識別するための識別データを前記他の撮像装置から受信する受信工程と、
    前記取得工程で取得された識別データおよび前記受信工程で受信された識別データを、識別される被写体を特定するためのＩＤと共に記憶媒体に記憶する記憶工程と、
    予め前記記憶媒体に記憶されている識別データと、前記取得工程で取得された識別データとに基づき、前記取得工程で取得された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第１の判定工程と、
    予め前記記憶媒体に記憶されている識別データと、前記受信工程で受信された識別データとに基づき、前記受信工程で受信された識別データに対応するＩＤによって特定される被写体の撮影状況を判定する第２の判定工程と、を有し、
    前記表示工程では、前記第１の判定工程および前記第２の判定工程で判定された被写体の撮影状況を識別可能に表示することを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

Images