JP6104059B2 - 画像処理装置、撮像装置、被写体の認識方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、被写体の認識方法及びプログラムに関する。

カメラ、ビデオカメラ等で被写体を撮影すると同時に、カメラ、ビデオカメラ等を操作している撮影者を撮影するためのカメラ、ビデオカメラが提案されている。例えば、特許文献１では、２系統の撮像手段を備え、第一の撮像手段で被写体を撮影し、第二の撮像手段で第一の撮像手段を操作する撮影者を被写体として撮像し、それぞれの映像信号を合成して記録媒体に保存する技術が開示されている。また、複数の撮像手段が連携して撮像制御や信号処理の制御を行う撮像装置が提案されている。例えば、特許文献２では、他のカメラで撮影した映像から信号処理して得られる各種の情報、例えば明るさ推定情報、色温度推定情報、被写体検出情報、被写体識別情報などを取得し、カメラの撮影条件や信号処理を制御するカメラに関する技術が開示されている。

特開平６−１６５０２９号公報 特開２０１１−２５４３３９号公報

雑踏の中など、撮影者とあまり関係がない人が周囲に多くいる状況であっても、撮影者と関係性が高い被写体を検出し、検出した被写体にピントを合わせたいという要望がある。そこで、被写体の中から、撮影者と関係のある被写体を識別して、ピントを合わせて撮影することが求められる。以下、このような特定の被写体の識別や特定等をまとめて「認識」と呼ぶ。被写体の認識のために被写体の画像を辞書データとして記憶手段に登録しておき、撮影時に認識することが考えられる。しかし、認識用の辞書データの数が多くなると、認識処理にかかる時間が増える。その結果、目的被写体へピントを合わせるのに時間がかかってしまい、シャッターチャンスを逃してしまうことがある。また、撮影した画像のうち、閲覧者に関係のある被写体が写っている画像を再生する場合にも、同様の問題によって閲覧に時間を要する場合があった。

本発明はこのような従来技術の課題を少なくとも低減するためになされたものである。本発明は、被写体の認識を用いた動作を行う画像処理装置および被写体の認識方法において、認識に要する時間を短縮することを目的とする。

上記目的を達成するために、本発明は、被写体を認識するための辞書データを記憶するデータ記憶手段と、前記辞書データを用いて、第１の撮像手段によって得られた画像に含まれる被写体と第２の撮像手段によって得られた画像に含まれる被写体を認識する認識手段と、前記データ記憶手段に記憶された辞書データから、複数の辞書データを選択するデータ選択手段と、を備えた画像処理装置であって、前記データ選択手段は、前記認識手段によって認識された、前記第２の撮像手段によって得られた画像に含まれる被写体を示す辞書データを含まない複数の辞書データを選択し、前記認識手段は、前記データ選択手段で選択された辞書データを用いて、前記第１の撮像手段によって得られた画像に含まれる被写体を認識することを特徴とする。

本発明によれば、被写体の認識を用いた動作を行う画像処理装置において、認識に要する時間を短縮する画像処理装置を提供する。

撮像装置の例 辞書データ１１０の構成例 撮像装置１００の外観例 撮像装置１００の処理フローチャート 辞書データ１１０の模式的構成例 撮影者が一人の場合の撮影時のＬＣＤ３０６の表示例 撮影時の処理フローを示したフローチャート 撮影時にメイン撮像部１０１からの被写体を認識するための選択辞書データ１０５の例 サブ撮像装置が撮影した画像と関連づけられた画像の関係を模式的に示す例。 撮影時の処理フローを示したフローチャート 撮影時にメイン撮像部１０１からの被写体を認識するための選択辞書データ１０５の例 閲覧者が一人の場合の、再生時のＬＣＤ３０６の表示例 再生時の処理フローを示したフローチャート 撮影者が複数人いる際の撮影時のＬＣＤ３０６の表示例 撮影時にメイン撮像部１０１からの被写体を認識するための選択辞書データ１０５の例 閲覧者が複数人いる場合の再生時のＬＣＤ３０６の表示例 サブ撮像部用辞書データ１１１およびメイン撮像部用辞書データ１１２から構成される辞書データ１１０の模式的構成例 撮影時にサブ撮像部１０２からの撮影者を認識するための選択辞書データ１０５の例 再生時の処理フローを示したフローチャート

以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる画像処理装置としての撮像装置の主要な構成である。撮像装置１００は、被写体を撮影するメイン撮像部１０１、撮像装置の操作者を撮影するサブ撮像部１０２、撮影、再生のモードを設定するモード設定部１０３、画像の認識に用いる辞書データの選択方法を決定する辞書データ選択方法制御部１０４を備える。辞書データ選択方法制御部１０４は、辞書データ選択部１２０を制御して、サブ撮像部認識結果１０７に基づいて辞書データ１１０から選択辞書データ１０５を抽出する。さらに、メイン撮像部１０１もしくはサブ撮像部１０２からの入力画像に対して、選択辞書データ１０５を用いて認識処理を行う認識部１０６を備える。撮影した画像は撮像装置１００内に設けられた記憶装置又は撮像装置に対して着脱可能な記憶装置に記憶され、閲覧者の操作により撮像装置１００が備える表示部で再生したり、外部の表示装置へ出力できる。被写体および撮像装置の操作者を認識するための辞書データ１１０は、予め撮像装置の操作者が認識したい被写体の画像を、操作者と関連付けて辞書データとして辞書データ記憶部１１０に記憶しておく。なお、認識に使う辞書データには被写体や操作者の画像データを使うことができる。被写体の認識は従来知られている技術を用いることができる。

図２は、辞書データ１１０の構成例である。図２に示す辞書データ１１０の例では、メイン撮像部用辞書データ１１２とサブ撮像部用辞書データ１１１とが分けられている。メイン撮像部用辞書データ１１２は、メイン撮像部１０１からの入力データに対して認識処理する際に用いる辞書データであり、サブ撮像部用辞書データ１１１は、サブ撮像部１０２からの入力データに対して認識処理する際に用いる辞書データである。しかし、辞書データ１１０は１つにまとめられていてもよい。

図３は、本発明の実施形態にかかわる撮像装置１００の外観例である。撮像装置１００の前面部の外観（図３（ａ））と撮像装置１００の背面部の外観（図３（ｂ））を例示している。撮像装置１００は、メイン撮像部１０１用の撮像レンズ３０１、シャッタースイッチ３０２、ストロボ３０３、サブ撮像部１０２用の撮像レンズ３０４、各種操作用の操作ボタン３０５、撮影画像、再生画像、設定内容等を表示するＬＣＤ３０６を備える。サブ撮像部１０２は、撮像装置１１０を操作して撮影を行う撮影者や画像の再生を行う閲覧者を撮影する。

本発明の実施形態に係る撮像装置１００の全体の処理フローについて図４により説明する。処理が開始されるとＳ４０１において撮影モードか再生モードかが判定される。撮影モードのときはＳ４０２においてサブ撮像部１０２が撮影者を撮影して撮影者の認識を行い、撮影処理が開始される。また、再生モードのときはＳ４０３においてサブ撮像部１０２が撮影した再生操作を行っている閲覧者の認識を行い、再生モードが開始される。

（実施形態１）
以下、本発明の実施形態１による、撮影時の処理フローの一例を図５、６、７及び８を参照して説明する。撮影者が一人の場合の撮影時のＬＣＤ３０６の表示例を図６に示す。ＬＣＤ３０６には、メイン撮像部１０１から入力した被写体画像６０１とサブ撮像部１０２から入力した撮影者画像６０２が表示されている。モード設定部１０３により撮像装置１００が撮影モードに設定された時の処理フローを図７のフローチャートにより説明する。まず、Ｓ７０１において撮像装置１００の処理部によりサブ撮像部１０２の撮影と撮影者画像６０２の認識を指示するためのＳＷ１が押されているかどうかが判定される。ＳＷ１の押下は、操作ボタン３０５の操作によって検出されるようにしてもよい。ＳＷ１が押されていると判定されると、Ｓ７０２において認識部１０６は、選択辞書データ１０５を用いてサブ撮像部１０２により撮影された撮影者画像６０２に対する認識処理を行う。認識処理に用いる選択辞書データ１０５は図５の辞書データ１１０から辞書データ選択部１２０により抽出される。辞書データ１１０には予め被写体の画像が登録されている。辞書データ１１０への登録はメイン撮像部が撮影した画像から被写体を選択して辞書データとして記憶したり、サブ撮像部が撮影した画像を記憶することにより行う。この例において、操作開始時には選択辞書データ１０５の内容は辞書データ１１０の内容と等しい。次に、Ｓ７０３において、辞書データ選択部１２０は、辞書データ１１０からＳ７０２において認識された撮影者を除き、選択辞書データ１０５を抽出する。本実施形態では、辞書データ選択部１２０は図５の辞書データ１１０から撮影者画像６０２を除いた図８に示す選択辞書データ１０５を抽出する。

次に、Ｓ７０４において認識部１０６によりメイン撮像部１０１からの被写体画像６０１に対して、図８に示す抽出された選択辞書データ１０５を用いて認識処理を行う。Ｓ７０５においてメイン撮像部１０１からの被写体画像に対する選択辞書データ１０５を用いた認識部１０６による認識処理の結果、被写体画像の中に選択辞書データ１０５内の画像が含まれているか判定される。判定の結果、含まれていた場合は認識処理が成功したとされて、Ｓ７０５からＳ７０６に進み、Ｓ７０６において撮像装置１００は認識された被写体に対してＡＦを動作させてピントを合わせる。認識処理が成功しなかった場合、撮像装置１００は、Ｓ７０７において顔検出処理などによって検出された被写体に対してピントを合わせる。次にＳ７０８においてシャッタースイッチ３０２が押されたか判定され、押されていた場合は、Ｓ７０９においてメイン撮像部１０１およびサブ撮像部１０２により被写体および撮影者を撮影する。撮影された被写体と撮影者の画像は、関連付けされて記憶装置に記憶される。サブ撮像部１０２で撮影された撮影者の辞書データを除いた選択辞書データ１０５を用いて被写体認識を行うことにより、撮影者の辞書データを含む場合よりも少ない量の辞書データで、被写体認識が可能である。

なお、本明細書において、「撮影者の辞書データ」とは、「撮影者を認識するための辞書データ」を意味する。「被写体の辞書データ」も同様に「被写体を認識するための辞書データ」である。また、辞書データ１１０は、予め記憶部に記憶された被写体となる人物や撮影者の画像データや特徴を表すデータから構成される。本実施形態では、人物の辞書データとして、その人物の顔の画像を辞書データ１１０として記憶手段に登録するものとして説明するが、画像から抽出した顔の特徴情報など、他の情報を代わりに、あるいは追加して登録してもよい。

次に、図６の例での撮影時における選択辞書データの抽出の別の例について、図９、図１０及び図１１を参照して説明する。撮像装置１００の辞書データ１１０の構成を図９に模式的に示す。撮像装置の操作者は予め被写体の画像を辞書データ１１０に登録しておく。また、関連性の強い複数の被写体の辞書データをグループ化しておく。その際に撮像装置１００の操作者は、操作者といずれかのグループ化された辞書データを関連づけて辞書データ１１０に登録する。併せて操作者は、操作者自身の画像も予め辞書データ１１０に登録しておく。被写体と操作者の画像の登録は、例えばＬＣＤ３０６に表示された画像を操作ボタン３０５を使って選択することにより行うことができる。あるいは外部のパソコン等を接続して通信機能を使って登録する。関連づけの操作は、例えば被写体の登録の際に被写体と操作者の画像を選択して行うことができる。図１０は、撮影時の処理フローを示したフローチャートである。Ｓ１００１においてＳＷ１が押されたかどうかが判定される。Ｓ１００２において辞書データ選択部１２０は辞書データ１１０から選択辞書データ１０５を抽出し、認識部１０６は抽出された選択辞書データ１０５を用いてサブ撮像部１０２で撮影した撮影者画像に対して認識処理を行う。Ｓ１００２におけるサブ撮像部で撮影した画像の認識結果は辞書データ選択部１２０に入力される。図９はサブ撮像部１０２が撮影した画像の認識結果と認識された画像に関連づけられた被写体の画像の関係を模式的に示している。サブ認識結果の欄にサブ撮像部１０２が撮影して認識された画像を示す。サブ認識結果の欄の横の列には、サブ認識結果の欄の画像と関連づけられて登録された被写体の画像が示されている。Ｓ１００３において辞書データ選択部１２０は撮影者画像６０２の認識結果に基づき辞書データ１１０から、撮影者画像と関連付けされたグループに属する被写体画像を選択辞書データ１０５として抽出する。

この例では、サブ認識結果の欄の撮影者画像６０２に関連づけされた４人の被写体が抽出されて（図９の中段）、図１１（ａ）に示す選択辞書データ１０５となる。Ｓ１００４において、辞書データ選択部１２０はＳ１００３で選択された選択辞書データ１０５にＳ１００２で認識された撮影者自身の撮影者画像６０２の辞書データが含まれるかを判定する。図１１（ａ）の選択辞書データ１０５に撮影者の辞書データが含まれているときは、辞書データ選択部１２０はＳ１００５において、選択辞書データ１０５からＳ１００２で認識された撮影者画像６０２の辞書データを削除し、選択辞書データ１０５の更新を行う。更新された選択辞書データ１０５の例を図１１（ｂ）に示す。選択辞書データ１０５に撮影者の辞書データが含まれていない場合には、選択辞書データの更新は行われずに、Ｓ１００６に進む。Ｓ１００６において、認識部１０６はメイン撮像部１０１からの被写体画像６０１に対して、選択辞書データ１０５を用いて認識処理を行う。Ｓ１００７においてメイン撮像部１０２からの被写体画像に対して認識処理が成功したかどうか判定される。

認識が成功したときはＳ１００８において、撮像装置１００はＳ１００６において認識された被写体に対してピントを合わせる。選択辞書データの中に被写体が含まれていなかった等の理由により認識が成功しなかったときは、Ｓ１００９に進む。この場合、撮像装置１００は顔検出処理などによって検出された被写体を選択し、被写体にピントを合わせる。次に、撮像装置１００は、Ｓ１０１０においてシャッタースイッチ３０２が押されたかを判定し、押されたと判定されると、Ｓ１０１１においてメイン撮像部１０１およびサブ撮像部１０２で被写体および撮影者を撮影する。撮影された被写体と撮影者の画像は関連づけされて記憶装置に記憶される。図１１（ｂ）に示す選択辞書データ１０５を使うことで、被写体認識に用いる辞書データを削減することができ、かつ撮影者と関係のある被写体に対して適したピントや露出を設定して撮影することができる。

なお、ここではＳＷ１が押された後に、サブ撮像部１０２からの被写体画像に対する認識処理を行ったが、これに限られるものではなく、ＳＷ１が押される前からサブ撮像部１０２からの被写体画像に対する認識処理を行っても構わない。また、サブ撮像部１０２からの被写体画像に対する認識処理に成功してから、メイン撮像部１０２からの被写体画像に対して認識処理を行ったが、これに限られるものではない。サブ撮像部１０２からの被写体画像に対する認識処理の成功を待たずに、メイン撮像部１０２からの被写体画像に対して認識処理を行ってもよい。この場合は、サブ撮像部１０２からの被写体画像に対する認識処理が成功するまでは、メイン撮像部１０２からの被写体画像に対して認識処理で用いる辞書データの削減を行うことはできない。しかしながら、サブ撮像部１０２からの被写体画像に対する認識処理がうまくいかない場合に、メイン撮像部１０２からの被写体画像に対して認識処理の開始も待たされてしまうという問題を解消することができる。

次に、図９、図１１、図１２および図１３を参照して、画像の再生を例に再生時の処理について説明する。図１２（ａ）、（ｂ）は、閲覧者が一人の場合の、再生時のＬＣＤ３０６の表示例である。ＬＣＤ３０６には、再生時に、サブ撮像手段１０２により撮影される再生を操作してしている閲覧者１２０１、撮影時にメイン撮像部１０１で撮像された被写体画像１２０２および１２０４が表示される。さらに、ＬＣＤ３０６には被写体画像１２０２および１２０４を撮影した撮影者画像１２０３および１２０５も表示される。被写体画像１２０２と撮影者画像１２０３は撮影操作と関連付けされて記憶装置に記憶されており、閲覧者が再生を指示することにより撮影された被写体画像とそれを撮影した撮影者の２つの画像を同時に再生することができる。被写体画像１２０４と撮影者画像１２０５も同様に再生される。

図１３は再生時の処理フローを示したフローチャートである。撮像装置１００を操作して再生をするときに閲覧者はサブ撮像部１０２を操作して自分を撮影する。この撮影は再生操作に伴って行われてもよい。Ｓ１３０１において、辞書データ選択部１２０は、予め登録された辞書データ１１０から選択辞書データ１０５を抽出し、抽出された選択辞書データ１０５を用いてサブ撮像部１０２で撮影された閲覧者の認識を行う。次にＳ１３０２において、辞書データ選択部１２０は、辞書データ１１０から、Ｓ１３０１で認識された閲覧者１２０１と関連づけられたグループに属する、図９の中段の列に対応する図１１（ａ）に示されるような選択辞書データ１０５を抽出する。Ｓ１３０３において、認識部１０６は図１１（ａ）の選択辞書データ１０５を用いて、メイン撮像部で撮影されて記憶装置に記憶された画像データの被写体認識処理を行う。Ｓ１３０４において認識に成功したかどうかが判定され、Ｓ１３０５において認識に成功した被写体画像１２０２，１２０４が抽出されて表示される。被写体画像の表示と一緒に被写体画像に関連付けされた撮影者画像１２０３，１２０５もＬＣＤ３０６に表示する。記憶装置に記憶された被写体の中に選択辞書データ１０５内の画像がなかったなどの理由により認識が成功しなかったときは、Ｓ１３０６において、撮影した時系列順などにより被写体画像および関連付けされた撮影者画像をＬＣＤ３０６に表示する。これにより、閲覧者と関連がある人物が被写体となった画像を記憶装置から検索して表示することができる。複数枚の画像が検索されたときは、操作ボタン３０５などにより検索された画像を順次閲覧できるようにすればよい。

なお、閲覧時は閲覧者の辞書データも用いて被写体認識処理を行うことで、例えば閲覧者が写っている画像をもれなく抽出することができる。撮影時には選択辞書データ１０５から撮影者の認識データを削除したが、閲覧時には逆に選択辞書データ１０５に閲覧者の認識データを含めるようにしてもよい。

次に、図９、図１０、図１１および図１４を参照して、撮影者が複数人いる場合の撮影時の処理フローを説明する。図１４は、サブ撮像部１０２が撮影した撮影者が複数人いるときの撮影時のＬＣＤ３０６の表示例である。ＬＣＤ３０６には、メイン撮像部１０１から入力された被写体画像１４０１及びサブ撮像部１０２から入力された撮影者画像１４０２が表示されている。以下、図１０の処理フローを使って説明するが、既に説明したことは省略する。Ｓ１００２において、予め登録された辞書データ１１０から撮影時辞書データ選択部１２０は、選択辞書データ１０５を抽出する。次に、認識部１０６は選択辞書データ１０５を用いて、サブ撮像部１０２で撮影された複数人の撮影者画像１４０２に対して認識処理を行う。Ｓ１００３において、撮影時辞書データ選択部１２０により、Ｓ１００２で認識された複数の撮影者とそれぞれ関連付けされたグループに属する辞書データを選択する。この例では図９の上段と下段の辞書データが抽出されて図１５（ａ）に示される選択辞書データ１０５が生成される。Ｓ１００４において、選択辞書データ１０５内に撮影者１４０２の辞書データが含まれるかを判定する。ここでは、図１５（ａ）に撮影者１４０２の辞書データが含まれるとして、Ｓ１００５において辞書データ選択部１２０により図１５（ａ）で示される選択辞書データ１０５から撮影者１４０２の辞書データを除く。この結果、選択辞書データ１０５は、図１５（ｂ）に示すような選択辞書データ１０５に更新される。なお、図１５（ａ）に撮影者１４０２の辞書データが含まれない場合は、選択辞書データ１０５の更新は行わず、Ｓ１００６に進む。Ｓ１００６において、認識部１０６は図１５（ｂ）に示される選択辞書データ１０５を用いてメイン撮像部１０２からの被写体画像６０１に対して認識処理を行う。Ｓ１００６において認識に成功した場合は、Ｓ１００７からＳ１００８に進み、Ｓ１００６において認識された被写体にピントを合わせる。Ｓ１００６において認識に失敗した場合は、Ｓ１００７からＳ１００９に進み、顔検出処理などによって検出された被写体に対してピントを合わせる。これにより、複数の撮影者がいても少ない辞書データを用いて、撮影者に関連付けられた被写体にピントや露出を合わせて撮影することができる。

次に図９および図１３、図１６を参照して、閲覧者が複数人いる場合の再生時の処理について説明する。図１６は、閲覧者が複数人いる場合の再生時のＬＣＤ３０６の表示例である。ＬＣＤ３０６には、サブ撮像部１０２から入力した閲覧者画像１６０１、撮影時にメイン撮像手段１０１で撮像した被写体画像１６０２、１６０４、被写体画像１６０２および１６０４を撮影した撮影者画像１６０３、１６０５が表示される。被写体画像１６０２と撮影者画像１６０３は関連付けされて記憶部に記憶されており、同時に再生される。被写体画像１６０４と撮影者画像１６０５も同様に同時に再生される。

次に再生時の処理フローについて図１３により説明する。なお、閲覧者が１人の場合の処理フローは既に説明したので主に相違するところを以下に説明する。Ｓ１３０２において、辞書データ選択部１２０は、認識された閲覧者画像１６０１と関連づけられたグループに属する選択辞書データ１０５を選択する。ここでは、閲覧者が２人いるので、辞書データ選択部１２０はそれぞれに関連付けられた辞書データを図９に示す辞書データ１１０から選択して、図１５（ａ）に示されるような選択辞書データ１０５を抽出する。次に認識部１０６は図１５（ａ）に示す選択辞書データ１０５を用いて画像記憶装置に記憶された被写体画像の認識処理を行う。Ｓ１３０４において、認識処理が成功したと判別されたときは、Ｓ１３０５において認識した被写体画像１６０２と撮影者画像１６０３あるいは被写体画像１６０４と撮影者画像１６０５をＬＣＤ３０６に表示する。これにより、複数の閲覧者がいても、それぞれの閲覧者に関係する人物が被写体となった画像を検索して表示することができる。

本実施形態により、撮影時および再生時には、サブ撮像部１０２で撮像された撮影者もしくは閲覧者を認識した結果により、辞書データを抽出することにより抽出・検索に用いる辞書データを削減できる。

（実施形態２）
以下、図１０、図１４、図１５、図１７および図１８を参照して、本発明の実施形態２による、撮影時の処理フローについて説明する。辞書データ１１０の構成を図１７に示す。本実施形態では辞書データは、メイン撮像部用辞書データ１１２およびサブ撮像部用辞書データ１１１に分けられている。それぞれの辞書データは別々に撮像装置１００に登録しておく。サブ撮像部用辞書データ１１１に登録された辞書データに関連するメイン撮像部用辞書データ１１２を、サブ撮像部用辞書データ１１１に関連づけて登録しておく。また、サブ撮像部用辞書データ１１１とメイン撮像部用辞書データ１１２とは各撮像部の画素数などの性能に合わせて登録することができる。図１７で構成される辞書データ１１０を用いて図１４の撮影者が複数人いる場合を例に、処理の詳細を図１０のフローチャートにより説明する。なお、図１０の処理フローにおいて主に実施形態１と相違するところについて説明する。Ｓ１００２において、辞書データ選択部１２０は、サブ撮像部からの入力画像を認識するために図１７の辞書データ１１０からサブ撮像部用辞書データ１１１を選択辞書データ１０５（図１８）として抽出する。認識部１０６は図１８に示される選択辞書データ１０５を用いて、サブ撮像部１０２からの撮影者画像６０２に対して認識処理を行う。そしてＳ１００３において、辞書データ選択部１２０はメイン撮像部用辞書データ１１２からＳ１００２で認識された撮影者と関連付けされたグループに属する認識用辞書データを選択する。サブ撮像装置１０２で撮影された撮影者と関連する被写体の画像との関係を模式的に図１７のメイン撮像部用辞書データ１１２に示す。選択の結果、図１５（ａ）に示されるような選択辞書データ１０５が抽出される。Ｓ１００４において、選択辞書データ１０５内に撮影者の辞書データが含まれるかが判定される。ここでは、図１５（ａ）の選択辞書データ１０５に撮影者の辞書データが含まれているとする。Ｓ１００５において辞書データ選択部１２０は、選択辞書データ１０５から撮影者の辞書データを除き、選択辞書データ１０５を図１５（ｂ）に示される選択辞書データ１０５に更新する。このように、辞書データ１１０をサブ撮像部用辞書データ１１１とメイン撮像部用辞書データ１１２に分けておき、撮影者認識時には認識部１０６はサブ撮像部用辞書データ１１１に基づき認識を行うので、撮影者認識時の辞書データを削減することができる。

次に、図１２および図１３を参照して、図１７の辞書データ１１０による再生時の処理について説明する。Ｓ１３０１において、図１７の辞書データ１１０から、辞書データ選択部１２０により、図１８に示されるようなサブ撮像部用の選択辞書データ１０５を抽出する。図１８に示される選択辞書データ１０５を用いて閲覧者１２０１の認識処理を行う。Ｓ１３０２において辞書データ選択部１２０は、閲覧者の認識結果に基づいてメイン撮像部用辞書データ１１２から閲覧者１２０１と関連づけられたグループに属する辞書データを選択する。この結果、図１５（ａ）に示されるような選択辞書データ１０５が抽出される。Ｓ１３０３において、図１５（ａ）の選択辞書データ１０５を用いて、記憶装置に記憶された被写体画像の被写体認識処理を行う。Ｓ１３０４において、記憶装置に記憶された被写体の画像中に選択辞書データ１０５の画像があったときは、認識処理が成功したと判定される。次に、Ｓ１３０５において被写体画像１２０２と撮影者画像１２０３および被写体画像１２０４と撮影者画像１２０５とをＬＣＤ３０６に表示する。これにより、閲覧時において、閲覧者の認識に用いる辞書データを削減することができる。

本実施形態では撮影者および閲覧者の認識に用いる辞書データを、サブ撮像部認識用に用意された辞書データに限定できるので削減された辞書データによる認識処理を行うことが可能となる。また、メイン撮像部１０１とサブ撮像部１０２の性能が異なる場合、メイン撮像部１０１とサブ撮像部１０２で撮像した画像に対して同一の辞書データを用いると、認識精度が低くなる。しかし、メイン撮像部用辞書データ１１２とサブ撮像部用辞書データ１１１を予め別々に登録しておくことで、サブ撮像部１０２の性能に合った辞書データを使用することができ、認識精度が低下するのを防げる。

（実施形態３）
以下、図１２および図１７、図１８、図１９を参照して、本発明の実施形態３による、再生時の処理フローについて説明する。図１９は再生時の処理フローを示したフローチャートである。なお、既に説明した実施形態と共通な処理については説明を簡単にする。Ｓ１９０１において、図１７に示す辞書データ１１０から辞書データ選択部１２０は、図１８に示されるようなサブ撮像部の画像を認識するためのサブ撮影部用辞書データ１１１を選択辞書データ１０５として抽出する。認識部１０６はサブ撮像部１０２が撮影した画像と、図１８に示す選択辞書データ１０５とを用いて図１２の閲覧者１２０１の認識処理を行う。Ｓ１９０２において、辞書データ選択部１２０は、辞書データ１１０から、Ｓ１９０１で認識された閲覧者１２０１と関連づけられたグループに属する辞書データを選択し、図１１（ａ）に示される選択辞書データ１０５を抽出する。Ｓ１９０３において、認識部１０６はＳ１９０１で認識された閲覧者の辞書データを用いて、サブ撮像部１０２で撮影されて記憶されている撮影者の画像１２０３の認識処理を行う。Ｓ１９０４において、撮影者画像１２０３に閲覧者が写っていないと判断されるときは、Ｓ１９０７へ進み、認識部１０６は図１１（ａ）の選択辞書データ１０５を用いて、メイン撮像部１０１で撮影されて記憶されている被写体画像１９０２の認識処理を行う。図１２（ｂ）に示すようにＳ１９０４において撮影者画像に閲覧者の画像が含まれている判断されるときは、さらにＳ１９０５においてＳ１９０３で検索した撮影者画像に、閲覧者が全員写っているかを判定する。次に、Ｓ１９０６において辞書データ選択部１２０により、Ｓ１９０２で選択辞書データから閲覧者のデータを削除して、選択辞書データ１０５を更新する。Ｓ１９０７において認識部１０６はＳ１９０６で選択された選択辞書データ１０５を用いて、被写体画像を認識する。次にＳ１９０８においてＳ１９０７で認識に成功したかを判定される。Ｓ１９０９において認識に成功して検索された被写体画像および関連付けされた撮影者画像をＬＣＤ３０６に表示する。Ｓ１９１０において被写体画像に認識できる対象がいなかった場合は例えば撮影した時系列順に被写体画像および関連付けされた撮影者画像をＬＣＤ３０６に表示する。

本実施形態により、閲覧者が撮影者の場合を判別し、閲覧者が撮影者のときは、認識に不要な閲覧者（撮影者）の辞書データを除いた辞書データを用いて被写体画像の認識処理を行う。この結果、辞書データの量を削減できる。なお、上述した各実施形態では、撮像装置を例にあげて説明を行ってきたがこれに限られるものではない。被写体を認識するためのアプリケーションをインストールしたパーソナルコンピュータ等の画像処理装置が、メイン撮像部１０１とサブ撮像部１０２を備えた撮像装置から、それぞれの撮像部で得られた被写体画像を受け取る。そして、この画像処理装置が、受け取ったそれぞれの画像に対して被写体の認識を行う場合であっても、本発明を適用することができる。

以上、本発明の撮影時及び再生時における実施形態について説明したが、本発明はこれらの実施形態に限定されず、それぞれ説明された構成を組み合わせる等、種々の変形および変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 被写体を認識するための辞書データを記憶するデータ記憶手段と、
   前記辞書データを用いて、第１の撮像手段によって得られた画像に含まれる被写体と第２の撮像手段によって得られた画像に含まれる被写体を認識する認識手段と、
   前記データ記憶手段に記憶された辞書データから、複数の辞書データを選択するデータ選択手段と、を備え、
   前記データ選択手段は、前記認識手段によって認識された、前記第２の撮像手段によって得られた画像に含まれる被写体を示す辞書データを含まない複数の辞書データを選択し、
   前記認識手段は、前記データ選択手段で選択された辞書データを用いて、前記第１の撮像手段によって得られた画像に含まれる被写体を認識することを特徴とする画像処理装置。
2. 前記データ記憶手段は、複数の辞書データをグループ化して記憶しており、
   前記データ選択手段は、前記第２の撮像手段によって得られた画像に含まれる被写体に予め関連づけられたグループに属する辞書データから、前記認識手段によって認識された、前記第２の撮像手段によって得られた画像に含まれる被写体を示す辞書データを除く、残りの辞書データを選択することを特徴とする請求項１に記載の画像処理装置。
3. 第１の撮像手段によって得られた画像を記憶する画像記憶手段と、再生モードにおいて前記画像記憶手段に記憶された画像を再生する再生手段を有し、
   前記再生モードにおいては、
   前記データ選択手段は、前記認識手段によって認識された、前記第２の撮像手段によって得られた画像に含まれる被写体を含む複数の辞書データを選択し、
   前記認識手段は、前記データ選択手段で選択された辞書データを用いて、前記画像記憶手段に記憶された画像に含まれる被写体を認識し、
   前記再生手段は、前記認識手段によって認識された被写体を含む画像を再生することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記データ記憶手段は、前記第１の撮像手段によって得られた画像に含まれる被写体を認識するための辞書データと、前記第２の撮像手段によって得られた画像に含まれる被写体を認識するための辞書データを、分けて記憶していることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記請求項１乃至４のいずれか１項に記載の画像処理装置、前記第１の撮像手段、および前記第２の撮像手段を備えたことを特徴とする撮像装置。
6. 前記第２の撮像手段は前記撮像装置の操作者を撮像するものであることを特徴とする請求項５に記載の撮像装置。
7. 認識手段が、データ記憶手段に記憶された辞書データを用いて、第２の撮像手段によって得られた画像に含まれる被写体を認識する認識ステップと、
   データ選択手段が、前記データ記憶手段に記憶された辞書データのうち、前記第２の撮像手段によって得られた画像に含まれる被写体を示す辞書データを含まない複数の辞書データを選択する選択ステップと、
   前記認識手段が、前記選択ステップで選択された辞書データを用いて、第１の撮像手段によって得られた画像に含まれる被写体を認識するステップと、を含むことを特徴とする被写体の認識方法。
8. 画像処理装置のコンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images