JP6023577B2

JP6023577B2 - 撮像装置、撮像装置の制御方法及びプログラム

Info

Publication number: JP6023577B2
Application number: JP2012275105A
Authority: JP
Inventors: 田中　秀哉; 秀哉田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-01-13
Filing date: 2012-12-17
Publication date: 2016-11-09
Anticipated expiration: 2032-12-17
Also published as: US9076031B2; JP2013165481A; US20130182919A1

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関し、特には被写体の個別識別情報を利用する技術に関する。

画像から人物の顔を検出する技術は既に広く知られているが、近年では画像処理技術の進歩により、人物を認識する技術も実用化されてきている（特許文献１）。そして、人物認識機能を用いた撮像装置も市販されている。特許文献２には、電子カメラに人物の顔の特徴と人物の優先順位を登録しておき、撮影時に登録人物が複数人検出されたときには、優先順位の最も高い人物に対応する撮影設定を適用して撮影することが記載されている。

特開平６−２５９５３４号公報特開２００８−２４５００７号公報

しかしながら、従来の撮像装置においては、人物認識機能を有していても、あくまで装置に登録されている人物を判別するために用いられており、その応用範囲は限られていた。例えば、外部から取得した人物の特徴データを用いて人物認識できるようにすれば、面識のない人物であっても、撮像画像からその人物を特定することができるであろう。しかしながら、このような応用は想定されてこなかった。

例えば、子供が参加する運動会等のイベントで撮影を行う場合、子供の友人の写真も合わせて撮影することができれば喜ばれるであろう。しかし、その友人と普段面識がほとんど無い場合、撮影可能な状況にあっても、適切な撮影を行うこと（すなわち、主被写体として見えるように撮影すること）は実際には困難であろう。

本発明は、人物の認識機能を一層有用に活用する装置を提供する。

上記目的を達成するため、本発明の撮像装置は、撮像素子により撮像された画像に含まれる顔領域に関する第１の特徴データを外部装置へ送信する送信手段と、前記第１の特徴データと副被写体に関する第２の特徴データとの照合結果を前記外部装置から受信する受信手段と、主被写体に関する第３の特徴データを予め所定の記憶領域に記憶する記憶手段と、前記第１の特徴データと前記第３の特徴データを照合する照合手段と、前記受信手段により受信された照合結果において前記副被写体と認識された顔領域と、前記照合手段による照合結果において前記主被写体と認識された顔領域とを識別可能に表示する表示手段とを備える。

本発明によれば、人物の認識機能を一層有用に活用することが可能となる。

本発明を適用したサーバーのブロック図本発明を適用した撮像装置のブロック図被写体の登録処理を示すフローチャート被写体の登録処理を示すフローチャート登録処理時におけるディスプレイの表示例撮影処理を示すフローチャート撮影処理を示すフローチャート異なる撮像装置での撮影時のディスプレイの表示例撮影を依頼された画像を提供する処理のフローチャート撮影を依頼された画像を提供する処理のフローチャート異なる装置で撮影された画像の例撮影を依頼された画像の提供を受ける処理のフローチャート撮影を依頼された画像の提供を受ける処理のフローチャート撮影協力処理を示すフローチャート

（実施形態１）
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。

図１は、本発明に係る撮像装置と通信可能な外部装置の一例としてのサーバー１００の構成例を示すブロック図である。図１において、内部バス１０８に対してＣＰＵ１０１、記憶装置１０２、メモリ１０３、表示制御部１０４、操作部１０５、ドライブ装置１０６、通信装置１０９が接続される。内部バス１０８に接続される各部は、内部バス１０８を介して互いにデータのやりとりを行うことができる。

記憶装置１０２には、画像データやその他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。メモリ１０３は、例えばＲＡＭからなる。表示制御、演算等を実行するＣＰＵ１０１は、例えば記憶装置１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、サーバー１００の各部を制御する。なお、ＣＰＵ１０１が動作するためのプログラムは、例えば図示されないＲＯＭに予め記憶しておいてもよい。

操作部１０５は、ユーザー操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１０１に供給する。例えば、操作部１０５は、ユーザー操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。ＣＰＵ１０１は、入力デバイスに対してなされたユーザー操作に応じて操作部１０５で生成され供給される制御信号に基づき、プログラムに従いサーバー１００の各部を制御する。これにより、サーバー１００に対し、ユーザー操作に応じた動作を行わせることができる。

表示制御部１０４は、ディスプレイ１０７に対して画像を表示させるための表示信号を出力する。例えば、表示制御部１０４に対して、ＣＰＵ１０１がプログラムに従い生成した表示制御信号が供給される。表示制御部１０４は、この表示制御信号に基づき表示信号を生成してディスプレイ１０７に対して出力する。例えば、表示制御部１０４は、ＣＰＵ１０１が生成する表示制御信号に基づき、ＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面をディスプレイ１０７に対して表示させる。

なお、操作部１０５としてタッチパネルを用いる場合、操作部１０５とディスプレイ１０７とを一体的に構成することができる。例えば、タッチパネルを光の透過率がディスプレイ１０７の表示を妨げないように構成し、ディスプレイ１０７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、ディスプレイ１０７上の表示座標とを対応付ける。これにより、あたかもユーザーがディスプレイ１０７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

ドライブ装置１０６は、ＣＰＵ１０１の制御に基づき、ＣＤやＤＶＤといった着脱可能な記録媒体からのデータの読み出しや、記録媒体に対するデータの書き込みを行う。なお、ドライブ装置１０６が装着可能な記録媒体は、ＣＤやＤＶＤといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置１０６に装着するものとしてもよい。通信装置１０９は、ＣＰＵ１０１の制御に基づき、ＬＡＮやインターネットといったネットワーク（不図示）に対する通信を行う。撮像装置との通信も通信装置１０９を通じて行う。

図２は、本発明の実施形態に係る撮像装置２００の一例の構成を示す。撮像装置２００は例えばデジタルカメラもしくは、携帯電話やコンピュータなどの、デジタルカメラを備えた、あるいはデジタルカメラを接続可能な任意の電子機器であってよい。図２において、内部バス２０８に対してＣＰＵ２０１、記憶装置２０２、メモリ２０３、表示制御部２０４、操作部２０５、記憶媒体が装着できるドライブ装置２０６、通信装置２０９、撮像素子２１０が接続される。内部バス２０８に接続される各部は、内部バス２０８を介して互いにデータのやりとりを行うことができる。

記憶装置２０２は、画像データやその他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。メモリ２０３は、例えばＲＡＭからなる。表示制御、演算等を実行するＣＰＵ２０１は、例えば記憶装置２０２に格納されるプログラムに従い、メモリ２０３をワークメモリとして用いて、撮像装置２００の各部を制御する。なお、ＣＰＵ２０１が動作するためのプログラムは、例えば図示されないＲＯＭに予め記憶しておいてもよい。なお、撮像装置がデジタルカメラである場合、記憶装置２０２として不揮発性メモリが用いられることが多い。

操作部２０５は、ユーザー操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ２０１に供給する。例えば、操作部２０５は、ユーザー操作を受け付ける入力デバイスとして、キースイッチやタッチパネルといったポインティングデバイスなどを有する。ＣＰＵ２０１は、入力デバイスに対してなされたユーザー操作に応じて操作部２０５で生成され供給される制御信号に基づき、プログラムに従い撮像装置２００の各部を制御する。これにより、撮像装置２００に対し、ユーザー操作に応じた動作を行わせることができる。表示制御部２０４は、撮像装置２００の表示装置としてのディスプレイ２０７に対して画像を表示させるための表示信号を出力する。例えば、表示制御部２０４に対して、ＣＰＵ２０１がプログラムに従い生成した表示制御信号が供給される。表示制御部２０４は、この表示制御信号に基づき表示信号を生成してディスプレイ２０７に対して出力する。例えば、表示制御部２０４は、ＣＰＵ２０１が生成する表示制御信号に基づき、ＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面をディスプレイ２０７に対して表示させる。また、ディスプレイ２０７は撮像装置のＥＶＦとしても機能することができる。

なお、操作部２０５としてタッチパネルを用いる場合、操作部２０５とディスプレイ２０７とを一体的に構成することができる。例えば、タッチパネルを光の透過率がディスプレイ２０７の表示を妨げないように構成し、ディスプレイ２０７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、ディスプレイ２０７上の表示座標とを対応付ける。これにより、あたかもユーザーがディスプレイ２０７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

ドライブ装置２０６は、例えばメモリカードなど着脱可能な記憶媒体が装着され、ＣＰＵ２０１の制御に基づき、装着された記憶媒体からのデータの読み出しや、データの書き込みを行う。通信装置２０９は、ＣＰＵ２０１の制御に基づき、ＬＡＮやインターネットといったネットワーク（不図示）に対する通信を行う。通信装置２０９は撮像装置２００に収容されていてもよいし、撮像装置２００の外部機器であってもよい。通信装置２０９が撮像装置２００の外部機器である場合は、通信装置２０９と撮像装置２００とはアダプタなどで接続されたり、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信を介して接続されているものとする。撮像装置２００は通信装置２０９を介してネットワーク上のサーバー１００と通信可能となる。

光学系２１１はレンズや絞り機能を備え、光学像を撮像素子２１０へ導く。撮像素子２１０の信号はデジタルデータへ変換され、ＣＰＵ２０１の制御に基づき、メモリ２０３へ書き込まれる。メモリ２０３に貯蔵されたデジタルデータがＣＰＵ２０１によって圧縮処理されてドライブ装置２０６に画像データとして記録される。この圧縮及び記録処理と並行して、ＣＰＵ２０１はメモリ２０３に蓄積されたデジタルデータを最適なサイズにリサイズ処理して画像データを生成し、メモリ２０３に保存する。ＣＰＵ２０１は画像データに対して認識処理を行い、認識した被写体に枠等の付加情報を重畳した表示制御信号を表示制御部２０４へ供給する。表示制御部２０４は供給された表示制御信号にしたがって、撮影中の画像をディスプレイ２０７に表示する。

本実施形態の撮像装置２００は、認識すべき人物に関する情報を、他の撮像装置と共有する。従って、自装置において認識すべき人物として登録された人物は、情報を共有する他の撮像装置においても認識すべき人物として取り扱われる。同様に、他の撮像装置において認識すべき人物として登録された人物も、自装置において認識すべき人物として取り扱われる。このように、認識する人物の情報を複数の撮像装置で共有することで、撮像装置間で特定の人物について撮影依頼することが可能となる。

本実施形態における撮像装置２００は、自装置に登録された人物と、他の装置で登録された人物とが判別可能なように認識結果を表示する。例えば、被写体に付加する枠の色などの表示形態を異ならせる。これにより、撮影者は、撮影が依頼されている人物が画面に存在していることを認識することが可能となり、その人物を適切に撮影することができる。

以下、本実施形態の撮像装置２００の動作について説明する。なお、以下はサーバー１００を通じて他の撮像装置とデータ共有を行う構成について説明するが、撮像装置間の直接通信によって人物の認識に必要な情報や撮像データを共有することもできる。また、撮像装置間の直接通信とサーバー１００を通じた通信とを組み合わせてもよい。例えば、人物の認識に必要な情報は撮像装置間で直接通信し、撮像データの格納はサーバー１００をネットワークストレージとして利用してもよい。

まず、撮像装置２００およびサーバー１００における、撮像装置２００が撮影依頼対象とする被写体の情報をサーバー１００へ登録する処理について、図３、図４のフローチャートで説明する。図３のフローチャートおける各処理は、ＣＰＵ２０１が記憶装置２０２に格納されたプログラムをメモリ２０３に展開して実行することにより実現される。図４のフローチャートにおける各処理は、ＣＰＵ１０１が記憶装置１０２に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。

まず、図３のフローチャートの各処理について説明する。Ｓ３０１において撮像装置２００のＣＰＵ２０１は、撮像装置２００内のドライブ装置２０６に装着された記憶媒体から画像データを読み出す。次に、画像データに写っている人物の顔を認識し、顔領域の画像を被写体として表示するよう表示制御信号を表示制御部２０４に送る。図５は撮像装置２００のディスプレイ２０７に表示される、特徴データと対応する被写体（人物の顔）の一覧画面の一例である。一覧画面５０１には、被写体の画像が表示５Ａされる。あるいは、ユーザーの操作に応答して、各被写体と名称を関連付けて記憶装置２０２に記憶しておき、被写体を示すアイコンが表示５Ｂされたり、特徴データと対応する被写体の名前がテキスト表示５Ｃされる。撮像装置２００で一覧画面を使って選択された被写体の情報は特徴データとしてサーバー１００に送信され、サーバー１００は撮影依頼対象の被写体として保存される。これにより、他の撮像装置と被写体の情報を共有することができる。

Ｓ３０２においてＣＰＵ２０１は、撮影依頼対象の被写体の選択操作が操作部２０５からなされたか判別する。撮像装置２００のユーザーは、撮影依頼対象の被写体の選択を次のように行うことができる。例えば、図５の５Ａは、表示領域５０１に選択中の被写体の画像５０２及びその他の被写体の画像５０３、５０４、５０５が表示されている状態を示す。ユーザーは選択キー５０６を使って撮影依頼対象の被写体の画像を選択して、確定キー５０７を押下操作する。ＣＰＵ２０１は、確定キー５０７が操作された際に選択状態にある画像に対応する被写体が、撮影依頼対象として選択されたものと認識する。例えば、図５の５Ｂは、選択中のアイコン５０８及びその他の被写体のアイコン表示５０９、５１０が表示されている状態を示す。図５の５Ａの場合と同様、ユーザーは選択キーで所望の被写体に対応するアイコンを選択後、確定キーを操作することでユーザーは撮影対象の被写体を選択できる。また、図５の５Ｃは、選択中のテキスト５１１及びその他の被写体のテキスト表示５１２、５１３が表示されている状態を示す。この場合も、ユーザーは選択キーでアイコンを選択後に、確定キーを操作することで、ユーザーは撮影対象の被写体を選択できる。ＣＰＵ２０１は、撮影依頼対象の被写体を確定する操作（確定キーの押下操作）が検出されれば処理をＳ３０３へ移し、検出されなければ操作を待つ。

Ｓ３０３においてＣＰＵ２０１は、撮影依頼対象の被写体の登録要求をサーバー１００に送信する。Ｓ３０４においてＣＰＵ２０１は、サーバー１００から撮像装置２００を識別する識別情報（機器ＩＤ）の送信要求を受信する。Ｓ３０５においてＣＰＵ２０１は、サーバー１００に対して撮像装置２００の機器ＩＤを送信する。機器ＩＤは例えばＭＡＣアドレスなど撮像装置２００を一意に特定できるものであればよい。

Ｓ３０６においてＣＰＵ２０１は、サーバー１００から被写体の特徴データの登録受諾を受信しているかどうかを判断する。受信していれば（Ｓ３０６でＹｅｓ）、Ｓ３０７においてＣＰＵ２０１は、Ｓ３０２で選択された被写体を画像から認識するための特徴データをサーバー１００に送信する。なお、特徴データは、前もってＣＰＵ２０１が画像データから人物の顔を認識し、顔領域の画像を解析して特徴データを生成して記憶装置２０２に記憶しておき、選択された被写体と対応する特徴データを読み出してサーバー１００へ送信する。あるいは、ＣＰＵ２０１は、ステップＳ３０２で撮影依頼対象の被写体が選択された時点以降に、選択された被写体と対応する顔領域の画像を解析して特徴データを生成するようにしてもよい。また、被写体名が選択された場合には、被写体名に対応する被写体の顔領域の画像から特徴データを算出することができる。

次に図４のフローチャートの各処理について説明する。Ｓ４０１においてサーバー１００のＣＰＵ１０１は、撮影依頼対象の被写体の特徴データの登録要求を撮像装置２００から受信する。

Ｓ４０２においてＣＰＵ１０１は、撮像装置２００の機器ＩＤの送信を撮像装置２００に要求する。Ｓ４０３においてＣＰＵ１０１は、撮像装置２００から撮像装置２００の機器ＩＤを受信する。

Ｓ４０４においてＣＰＵ１０１は、撮影依頼対象の被写体の特徴データの登録受諾を撮像装置２００へ送信する。Ｓ４０５においてＣＰＵ１０１は、被写体の特徴データを撮像装置２００から受信する。Ｓ４０６においてＣＰＵ１０１は、受信した撮影依頼対象の被写体の特徴データを記憶装置１０２に記憶して、登録処理を終わる。このときＣＰＵ１０１は撮像装置２００からＳ４０５で受信した被写体の特徴データを、Ｓ４０３で受信した機器ＩＤと関連付けて記憶装置１０２に記憶する。以下、撮像装置２００がサーバー１００に送信した特徴データと対応する撮影依頼対象の被写体を該撮像装置２００における主被写体と呼ぶ。一方、他の撮像装置がサーバー１００に送信した特徴データと対応する撮影依頼対象の被写体を該撮像装置２００における副被写体と呼ぶ。

次に、撮影時における撮像装置２００の動作および、それに対応するサーバー１００の動作について図６、図７のフローチャートを用いて説明する。図６のフローチャートにおける各処理は撮像装置２００のＣＰＵ２０１が記憶装置２０２に格納されたプログラムをメモリ２０３に展開して実行することにより実現される。また、図７のフローチャートにおける各処理はサーバー１００のＣＰＵ１０１が、記憶装置１０２に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。

まず、撮像装置２００における動作について図６を参照して説明する。なお、図６に示す処理は、例えば撮像装置２００が撮影処理中（撮影された画像の記録処理中もしくは撮影スタンバイ状態におけるＥＶＦ表示処理中）の定期的あるいは任意の時点に開始することができる。

Ｓ６０１において撮像装置２００側のＣＰＵ２０１は、撮像素子２１０から出力されメモリ２０３に保存された画像データに他の撮像装置の撮影依頼対象の被写体が含まれているかどうかの問合せを、通信装置２０９を通じてサーバー１００に送信する。Ｓ６０２においてＣＰＵ２０１は、サーバー１００から撮像装置２００の機器ＩＤの送信要求を受信する。Ｓ６０３においてＣＰＵ２０１は、撮像装置２００の機器ＩＤをサーバー１００へ送信する。Ｓ６０４においてＣＰＵ２０１は、問合せに対する受諾をサーバー１００から受信する。

Ｓ６０５においてＣＰＵ２０１は、メモリ２０３に保存された画像データから人物の顔領域を検出する。Ｓ６０６においてＣＰＵ２０１は、検出された顔領域ごとに特徴データ（第１の特徴データ）を作成する。なお、画像データから複数の顔領域が検出されれば、ＣＰＵ２０１は複数の顔領域毎に特徴データを作成する。画像データから顔領域を検出したり顔の特徴データを抽出したりする方法は、任意の公知技術を利用することが可能であるので、具体的な手法についての説明は省略する。Ｓ６０７においてＣＰＵ２０１は、Ｓ６０６で作成した特徴データをサーバー１００に送信する。このとき、ＣＰＵ２０１は、Ｓ６０７において顔領域ごとの固有番号（顔ＩＤ）と対応付けて特徴データをサーバー１００に送信する。特徴データを受信したサーバー１００は、記憶装置１０２に記憶されている特徴データとの照合を行う。ここでの照合は、特徴データを送信してきた撮像装置２００が登録した主被写体の特徴データだけでなく、他の撮像装置により登録された主被写体（撮像装置２００にとっては副被写体となる）の特徴データ（第２の特徴データとなる。）に対しても行う。Ｓ６０８においてＣＰＵ２０１は、サーバー１００が行った撮像装置２００の撮影処理により得られた画像データに含まれる被写体の特徴データと他の撮像装置の撮影依頼対象の被写体の特徴データとの照合結果を要求する。Ｓ６０９においてＣＰＵ２０１は、サーバー１００から照合結果を受信する。ここで、サーバー１００は、照合結果として、顔ＩＤとに関連付けて、当該特徴データと対応する被写体が「主被写体である」、「副被写体である」、「登録無し」のいずれか１つを表す結果フラグを撮像装置２００に送信する。

Ｓ６１０においてＣＰＵ２０１は、受信した照合結果に主被写体が存在するかどうかを判断し、存在していれば処理をＳ６１１へ移し、存在していなければＳ６１４へ処理を移す。そして、照合結果に主被写体があった場合、ＣＰＵ２０１はＳ６１１の処理を行う。ＣＰＵ２０１は、撮像素子２１０から出力されてメモリ２０３に保存された画像データのうち主被写体の部分に、例えば太線枠を重畳する等の識別表示をする指示を含む表示制御信号を表示制御部２０４に送る。この結果、撮像装置２００のディスプレイ２０７には図８の８（Ａ）に示されるように、表示領域８０１に表示されている主被写体８０２に対して太線枠８０３が重畳して表示される。この表示態様が主被写体を第１の態様で表示する一例である。なお、ＣＰＵ２０１は、Ｓ６０７で送信した特徴データと顔ＩＤとを対応付けて記憶装置２０２に保存しておく。照合結果において主被写体と認識された顔ＩＤに対応する特徴データを用いて、メモリ２０３に保存された画像データに対する認識処理を適用する。適用の結果、画像データ中の主被写体の部分を検出することができる。

なお、主被写体については、サーバー１００の代わりに、撮像装置２００が主被写体の特徴データを予め記憶装置２０２の所定の記憶領域に記憶しておいてもよい。このときは、記憶装置２０２から読み出された特徴データ（第３の特徴データ）を用いて、メモリ２０３に保存された画像データに対して認識処理を行い、主被写体の部分を検出するようにしても良い。

Ｓ６１２においてＣＰＵ２０１は、メモリ２０３に保存された画像データを記憶装置２０２に記録中であるかどうかを判断し、記録していれば処理をＳ６１３へ移し、記録中でなければ（記録一時停止中もしくはスタンバイ状態）Ｓ６１４へ処理を移す。Ｓ６１３においてＣＰＵ２０１は、画像データの付随情報として主被写体が写っていることを示す主被写体存在情報をメタデータの形式で記録して、処理をＳ６１４へ移す。従って、撮影後に画像データのメタデータを元に検索すれば、主被写体が写っている画像データを取得することができる。また、特に、画像データが動画像であれば、主被写体が写っている画像データ内での期間を取得することができる。なお、画像データが静止画の場合は、Ｅｘｉｆ情報のメーカーノート領域など所定の領域に主被写体存在情報を記録すればよい。また、画像データが動画像の場合は、例えば主被写体が写っているフレーム番号やタイムコードと関連づけて主被写体存在情報を記録してもよい。これは、Ｓ６１７で後述する副被写体の場合も同様である。

Ｓ６１４においてＣＰＵ２０１は、受信した照合結果に副被写体が存在するかどうかを判断し、存在していれば処理をＳ６１５へ移し、存在していなければＳ６１８へ処理を移す。照合結果に副被写体が存在する場合、Ｓ６１５においてＣＰＵ２０１は、撮像素子２１０から出力されてメモリ２０３に保存された画像データのうち副被写体の部分に、例えば細線枠を重畳する等の識別表示をする指示を含む表示制御信号を表示制御部２０４に送る。この結果、撮像装置２００のディスプレイ２０７には図８の８Ａのように、表示領域８０１に表示される副被写体８０４と８０５に対して細線枠８０６を重畳して表示される。この表示態様が副被写体を第２の態様で表示する一例である。

例えば、図８の８Ａには太線枠８０３が重畳された主被写体８０２と、細線枠８０６が重畳された副被写体８０４、８０５が表示されている状態を示している。主被写体が存在せず副被写体のみ存在する場合は８Ｂのように副被写体８０５、８０７に対して細線枠８０６を重畳して表示する。主被写体が存在し、副被写体が存在しない場合はディスプレイ２０７上には８Ｃのように主被写体８０５に対して太線枠８０３を重畳して表示する。主被写体でも副被写体でもない被写体８０８に対しては枠を重畳表示しない。これにより、撮像装置２００のユーザーは、ディスプレイ２０７上で直感的に、自分が撮影しようとしている主被写体はもちろん、他の撮像装置のユーザーから撮影を求められている副被写体の存在を認識できる。また、主被写体と副被写体とを識別できるように枠を表示することにより、ユーザーは被写体の優先順位を考えながら撮影条件を設定して、撮影することができる。

Ｓ６１６においてＣＰＵ２０１は、メモリ２０３に保存された画像データを記憶装置２０２に記録中であるかどうかを判断し、記録していれば処理をＳ６１７へ移し、記録中でなければＳ６１８へ処理を移す。記録中と判断されたときは、Ｓ６１７においてＣＰＵ２０１は、画像データの付随情報として副被写体が写っていることを示す副被写体存在情報を記録する。なお、画像データが動画像であるとき、副被写体情報には、画像データのうち副被写体が写っている区間を示す情報も格納される。これにより、画像データが動画像であるとき、メタデータを元に検索することで、副被写体が記録されている区間を判別できる。

Ｓ６１８においてＣＰＵ２０１は、表示制御信号がディスプレイ２０７に表示されているかどうか判別する。例えば、撮影処理中であれば、ディスプレイ２０７がＥＶＦとして機能しているので表示中と判定する。表示中でなければ（Ｓ６１８でＮｏ）、Ｓ６１９においてＣＰＵ２０１は、サーバー１００に対して問合せの中止要求を送信して処理を終わる。

このように、ＣＰＵ２０１は、画像データを記憶装置２０２へ記録していない間も、モニター出力としてディスプレイ２０７に撮像素子２１０からの画像が表示されている間は、被写体が主被写体や副被写体であるか否かを識別可能に表示する。

次にサーバー１００の処理について図７により説明する。Ｓ７０１においてＣＰＵ１０１は、撮像装置２００から問合せを受信する。

Ｓ７０２においてＣＰＵ１０１は、撮像装置２００に対してその機器ＩＤを要求する。Ｓ７０３においてＣＰＵ１０１は、撮像装置２００からその機器ＩＤを受信する。

Ｓ７０４においてＣＰＵ１０１は、問合せに対する受諾を撮像装置２００に対して送信する。Ｓ７０５においてＣＰＵ１０１は、撮像装置２００から撮影中の画像の被写体の特徴データおよびそれと関連する顔ＩＤを受信する。

Ｓ７０６においてＣＰＵ１０１は、Ｓ４０６で記憶装置１０２に記憶された撮影依頼対象の被写体の特徴データと、Ｓ７０５で受信された撮像装置２００で撮影中の画像の被写体の特徴データとを照合する。

Ｓ７０７においてＣＰＵ１０１は、Ｓ７０５で撮像装置２００から受信した特徴データの中に、Ｓ７０３で受信した機器ＩＤと同一の機器ＩＤと関連付けて記憶装置１０２に記憶された特徴データと一致しているものがあるかどうかを判断する。ＣＰＵ１０１は、一致する特徴データがあれば処理をＳ７０８へ移し、一致する特徴データがなければ処理をＳ７０９へ移す。Ｓ７０８においてＣＰＵ１０１は、一致する特徴データと対応する被写体が「主被写体である」ことを表す結果フラグを、該特徴データと対応する顔ＩＤと関連付けて照合結果に記録する。なお、ここでの「一致」とは、完全な一致である必要は無く、同一被写体である可能性が十分高いと推定される程度の一致性が得られる場合も含まれる。

Ｓ７０９においてＣＰＵ１０１は、Ｓ７０５で撮像装置２００から受信した特徴データの中に、Ｓ７０３で受信した機器ＩＤと異なる機器ＩＤと関連付けて記憶装置１０２に記憶された第２の特徴データと一致しているものがあるかどうか判断する。ＣＰＵ１０１は一致する特徴データがあれば処理をＳ７１０へ移し、一致する特徴データがなければ処理をＳ７１１へ移す。Ｓ７１０においてＣＰＵ１０１は、一致する特徴データと対応する被写体が「副被写体である」ことを表す結果フラグを、対応する顔ＩＤと関連付けて照合結果に記録する。Ｓ７１１においてＣＰＵ１０１は、撮像装置２００から被写体の照合結果の要求を受信する。Ｓ７１２においてＣＰＵ１０１は、照合結果を撮像装置２００へ送信する。

Ｓ７１３においてＣＰＵ１０１は、撮像装置２００から被写体の特徴データ照合停止要求を受信しているかどうかを判断し、受信していれば処理を終わり、受信していなければ処理をＳ７０５へ移し、処理を継続する。

次に撮像装置２００が、副被写体が含まれている画像データをサーバー１００へ提供するための動作および、それに対応するサーバー１００の動作について図９、図１０のフローチャートを用いて説明する。図９のフローチャートにおける各処理は撮像装置２００のＣＰＵ２０１が記憶装置２０２に格納されたプログラムをメモリ２０３に展開して実行することにより実現される。また、図１０のフローチャートにおける各処理はサーバー１００のＣＰＵ１０１が、記憶装置１０２に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。

まず、撮像装置２００における動作について図９を参照して説明する。最初にＳ９０１において、ＣＰＵ２０１は画像データの回収要求をサーバー１００に送信する。Ｓ９０２においてＣＰＵ２０１は、サーバー１００から撮像装置２００の機器ＩＤの送信要求を受信する。

Ｓ９０３においてＣＰＵ２０１は、サーバー１００に対して撮像装置２００の機器ＩＤを送信する。Ｓ９０４においてＣＰＵ２０１は、サーバー１００から画像データの回収の受諾を受信する。

Ｓ９０５においてＣＰＵ２０１は、記憶装置２０２に記憶されている画像データのうち、メタデータに副被写体存在情報を含むものを検索して、サーバー１００に対して副被写体が存在する画像データを送信する。なお、ここで送信する画像データは、副被写体存在情報を含むメタデータが示す区間だけの画像データの一部であっても、そのような区間を有する画像データ全体であっても良い。例えば１０分間の動画像の一部の区間にのみ副被写体が撮影されている場合、１０分間の画像全体を送信してもよいし、副被写体が撮影されている区間のみを抽出して送信してもよい。なお、１回の撮影が終了した時点で撮像装置２００からサーバー１００に回収を依頼する場合のように１回毎に画像データの回収をする場合を除き、まとめて複数の画像データが送信されてもよい。そのため、撮像装置２００では、副被写体が撮影されている画像データごとに、サーバー１００に送信済みか否かを示す情報を付加して記録することができる。

また、ＣＰＵ２０１は、Ｓ９０５において、検索された画像データをディスプレイ２０７に表示する表示制御信号を表示制御部２０４に送り、サーバー１００に送信される前に検索された画像データの一覧を表示するようにしてもよい。そして、Ｓ９０５では、表示された一覧の中からユーザーの操作に応答して、画像データを選択し、選択された画像データをサーバー１００に送信するようにしてもよい。これにより、副被写体が写っていても、共有にしたくない画像データが他のユーザーに入手されるのを防ぐことができる。

次にサーバー１００における動作について図１０を参照して説明する。Ｓ１００１においてＣＰＵ１０１は、撮像装置２００から画像データの回収要求を受信する。Ｓ１００２においてＣＰＵ１０１は、撮像装置２００に対して撮像装置２００の機器ＩＤの送信要求を送信する。

Ｓ１００３においてＣＰＵ１０１は、撮像装置２００から撮像装置２００の機器ＩＤを受信する。Ｓ１００３で機器ＩＤを受信することにより、回収した画像データを撮影した撮像装置を特定することができる。

Ｓ１００４においてＣＰＵ１０１は、画像データの回収受諾を撮像装置２００に送信する。Ｓ１００５においてＣＰＵ１０１は、撮像装置２００から副被写体の画像データを受信する。

Ｓ１００６においてＣＰＵ１０１は、Ｓ１００５で受信された副被写体の画像データを、撮影協力画像として記憶装置１０２へ保存する。Ｓ１００６において、ＣＰＵ１０１は、撮影協力画像のうち、動画像の画像データに付随するメタデータから副被写体存在情報を参照し、画像データから副被写体が写っている区間を抽出して撮影協力画像として記憶装置１０２へ保存する。Ｓ１００７においてＣＰＵ１０１は、Ｓ１００６で保存された撮影協力画像を機器ＩＤごとに分類する。具体的には、ＣＰＵ１０１は、撮影協力画像から人物の顔領域を検出し、検出された顔領域ごとに特徴データを生成する。次にＣＰＵ１０１は、生成された特徴データと一致する、Ｓ４０６で記憶装置１０２に記憶された撮影依頼対象の被写体の特徴データに関連付けられた機器ＩＤを取得する。撮影協力画像に取得された機器ＩＤを関連付けて記憶装置１０２に記憶する。この分類処理は、Ｓ１００５で受信されたすべての撮影協力画像それぞれについて実行される。

以下、各撮像装置２００が副被写体として撮影し、サーバー１００が回収した画像データの配信処理について図１２、図１３を参照して説明する。まず、撮像装置２００における動作について図１２を参照して説明する。Ｓ１２０１において撮像装置２００のＣＰＵ２０１は、サーバー１００に対して撮影協力画像の配信要求を送信する。Ｓ１２０２においてＣＰＵ２０１は、サーバー１００から撮像装置２００の機器ＩＤ要求を受信する。

Ｓ１２０３においてＣＰＵ２０１は、サーバー１００に対して撮像装置２００の機器ＩＤを送信する。Ｓ１２０４においてＣＰＵ２０１は、サーバー１００から撮影協力画像を受信する。Ｓ１２０５においてＣＰＵ２０１は、受信した撮影協力画像を記憶装置２０２へ保存して、処理を終わる。

なお、ＣＰＵ２０１は、Ｓ１２０４において、サーバー１００から撮影協力画像の縮小画像を受信してもよい。このとき、ＣＰＵ２０１は縮小画像をディスプレイ２０７に表示するような表示制御信号を表示制御部２０４に送り、サーバー１００から撮影協力画像を受信する前に撮影協力画像の一覧を表示するようにしてもよい。そして、表示された一覧の中からユーザーの操作に応答して、縮小画像を選択し、Ｓ１２０４では選択された縮小画像と対応する撮影協力画像をサーバー１００に要求し、受信するようにしてもよい。これにより、副被写体が写っていても、不要な画像データを入手するのを防ぐことができる。

次にサーバー１００における動作について図１３を参照して説明する。Ｓ１３０１においてＣＰＵ１０１は、撮像装置２００から撮影協力画像の配信要求を受信する。Ｓ１３０２においてＣＰＵ１０１は、撮像装置２００に対して撮像装置２００の機器ＩＤ要求を送信する。Ｓ１３０３においてＣＰＵ１０１は、撮像装置２００から撮像装置の機器ＩＤを受信する。

Ｓ１３０４においてＣＰＵ１０１は、Ｓ１３０３で受信した機器ＩＤに対応する撮影協力画像を撮像装置２００に対して送信して、処理を終わる。以上のようにしてサーバー１００は、配信要求した撮像装置２００が主被写体とする被写体を含む画像データを、他の撮像装置が副被写体として撮影した画像データの中から抽出して提供することができる。

複数の撮像装置２００が同じイベントで撮影することにより得られた画像の例を図１１に示す。画像１１Ａ〜画像１１Ｋはそれぞれ異なる撮像装置２００で撮影されたものである。

画像１１Ａを撮影した撮像装置２００において、主被写体が８０２、副被写体が８０４と８０５であるとする。この場合、撮像装置のユーザーは、他の撮像装置が撮影した、被写体８０２が写っている画像（例えば、画像１１Ｅ）がサーバー１００にアップロードされていれば、それをサーバー１００からダウンロードできる。これにより撮像装置２００のユーザーは、自分で撮影できなかった所望の画像を入手することができる。また、撮像装置２００が画像１１Ａをサーバーにアップロードすれば、副被写体８０４や８０５を主被写体とする他の撮像装置のユーザーに配信することができる。

同様に、画像１１Ｂを撮影した撮像装置２００において、主被写体が８０４、副被写体が８０５と８０６であるとする。この場合、撮像装置のユーザーは、他の撮像装置が撮影した、被写体８０４が写っている画像（例えば、画像１１Ｆ、１１Ｊ）がサーバー１００にアップロードされていれば、それをサーバー１００からダウンロードすることができる。

また、画像１１Ｃを撮影した撮像装置において、主被写体が８０５、副被写体が８０２であるとする。この場合、撮像装置のユーザーは、他の撮像装置が撮影した、被写体８０５が写っている画像（例えば、画像１１Ｇ、１１Ｋ）がサーバーにアップロードされていれば、それをサーバー１００からダウンロードすることができる。

また、画像１１Ｄを撮影した撮像装置において、主被写体が８０６、副被写体が８０４であるとする。この場合、撮像装置のユーザーは、他の撮像装置が撮影した、被写体８０６が写っている画像（例えば、画像１１Ｈ）がサーバーにアップロードされていれば、それをサーバー１００からダウンロードすることができる。

以上説明したように、本実施形態に係る撮像装置２００は、撮像した画像の中に他の撮像装置の撮影依頼対象の被写体が含まれている場合には、その被写体が判別できるようにモニターに表示を行う。そのため、撮像装置２００のユーザーが知らない被写体であっても、他のユーザーに撮影することが望まれているのを知ることができる。そのため、他の撮像装置のユーザーに撮影協力することが容易である。

また、ユーザーは、他のユーザーと事前に連絡をできない場合であっても、他のユーザーの撮影依頼対象の被写体を知らせてもらえるので、他のユーザーは撮影協力の依頼を容易に行うことができる。

また、撮影協力画像は、どの撮像装置のユーザーからの依頼であっても、サーバー１００に送信しさえすればよいので、他のユーザーと個別に通信をする必要がなく、操作性が向上する。

撮影を依頼した他のユーザーは、どの撮像装置により撮影された撮影協力画像であっても、サーバー１００と通信しさえすれば、受信できるので、ユーザーと個別に通信をする必要がなく、操作性が向上する。

なお、上記では、撮像装置２００がサーバー１００と通信する場合について説明した。しかし、撮像装置２００の代わりに個人の所有するＰＣ（パーソナルコンピュータ）などの情報処理装置がサーバーと通信するようにしてもよい。

また、上述の撮像装置２００の機器ＩＤに代えて、前もってサーバー１００から撮像装置２００のユーザーに発行されたユーザーＩＤとパスワードを利用するようにしてもよい。これにより、撮像装置２００を複数のユーザーが利用する場合にも、主被写体をユーザー毎に設定できるようになり、使い勝手が向上する。

また、上記では、撮像装置２００は特徴データをサーバー１００に送信する場合について説明した。しかし、特徴データではなく、画像データをサーバー１００に送信するようにしてもよい。この場合、サーバー１００が撮像装置２００から受信した画像データから特徴データを生成し、以降の処理に利用する。さらに、特徴データは画像データのうち所定の範囲に存在する被写体、あるいは、所定のサイズ以上を有する被写体の領域から生成するようにしてもよい。これにより、例えば、被写体が画像データの端に存在していたり、被写体が小さく写っていたりするような画像データを共有するのを防ぐことができる。

（実施形態２）
本実施形態では、撮像装置２００が主被写体または副被写体に最適な撮影条件で撮影処理を行う場合について説明する。以下、上記実施形態１と同様の部分については、説明を省略し、本実施形態に固有の部分について詳細に説明する。

撮像時における撮像装置２００の動作について図１４のフローチャートに沿って説明する。画像データに主被写体が存在すると判断されると（Ｓ１４１０でＹｅｓ）、ＣＰＵ２０１は、Ｓ１４１２において主被写体の領域の状態に合わせてピントを合わせる合焦処理や露出処理を行い、撮影処理を実行する。なお、ピントや露出設定に主被写体を追尾処理のターゲットとしたり、色温度を調整して設定する色温度処理をするようにしてもよい。

一方、画像データに主被写体が存在しないと判断されると（Ｓ１４１０でＮｏ）、ＣＰＵ２０１は、Ｓ１４１５において画像データに副被写体が存在するか否かを判定する。副被写体が存在すると判定されると（Ｓ１４１５でＹｅｓ）、ＣＰＵ２０１は、Ｓ１４１７において副被写体の領域の状態に合わせてピントと露出を設定し、撮影処理を実行する。この場合も副被写体を追尾処理のターゲットとしたり、色温度を調整して設定するようにしてもよい。

なお、画像データに副被写体も存在しないと判定されると（Ｓ１４１５でＮｏ）、ＣＰＵ２０１は、Ｓ１４１８において所定の領域、例えば中央領域の状態に合わせてピントと露出を設定し、撮影処理を実行する。

本実施形態によれば、主被写体が撮影されていなければ副被写体に合わせて最適な撮影処理を実行するので、より写りの良い画像データを他のユーザーへ提供することができる。また本実施形態で説明したような合焦等の被写体に対する適切な処理を実施形態１で実施してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像素子により撮像された画像に含まれる顔領域に関する第１の特徴データを外部装置へ送信する送信手段と、
前記第１の特徴データと副被写体に関する第２の特徴データとの照合結果を前記外部装置から受信する受信手段と、
主被写体に関する第３の特徴データを予め所定の記憶領域に記憶する記憶手段と、
前記第１の特徴データと前記第３の特徴データを照合する照合手段と、
前記受信手段により受信された照合結果において前記副被写体と認識された顔領域と、前記照合手段による照合結果において前記主被写体と認識された顔領域とを識別可能に表示する表示手段と、
を備える撮像装置。
前記送信手段が、前記第１の特徴データとして、前記撮像された画像または前記撮像された画像から抽出した顔領域または前記顔領域から算出される特徴データを前記外部装置に送信することを特徴とする請求項１に記載の撮像装置。
前記受信手段により受信された照合結果において前記副被写体と認識された顔領域が前記撮像された画像に存在するとき、
前記撮像された画像を前記副被写体の存在を示す副被写体存在情報と関連付けて記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
前記記録手段により前記副被写体存在情報が関連付けられている画像を前記外部装置にアップロードするアップロード手段をさらに備えることを特徴とする請求項３に記載の撮像装置。
前記照合手段による照合結果において前記主被写体と認識された顔領域が前記撮像された画像に存在しないとき、前記受信手段により受信された照合結果において前記副被写体と認識された顔領域に関して合焦処理、露出処理、色温度処理および追尾処理のうち少なくとも１つを実行するよう撮影条件を設定する設定手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
撮像装置における制御方法であって、
前記撮像装置が、撮像された画像に含まれる顔領域に関する第１の特徴データを外部装置へ送信する工程と、
前記撮像装置が、前記外部装置から前記第１の特徴データと副被写体に関する第２の特徴データとの照合結果を受信する工程と、
前記撮像装置が、主被写体に関する第３の特徴データを予め所定の記憶領域に記憶しておく工程と、
前記撮像装置が、前記第１の特徴データと前記第３の特徴データを照合する工程と、
前記撮像装置が、前記副被写体と認識された顔領域と、前記主被写体と認識された顔領域とを識別可能に表示する工程と、
を含む制御方法。
撮像装置のコンピュータに、請求項６に記載された撮像装置の制御方法の各工程を実行させるためのプログラム。