JP5312828B2 - 画像検索装置、画像検索方法、画像再生装置、画像再生方法、画像検索用プログラム、および画像再生用プログラム - Google Patents

Description

本発明は、画像検索装置、画像検索方法、画像再生装置、画像再生方法、画像検索用プログラム、および画像再生用プログラムに関し、詳しくは、複数の撮影画像の中から一つまたは複数の代表的な画像を検索する画像検索装置および画像検索方法、これを再生するようにした画像再生装置および画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムに関する。

近年、デジタルカメラの技術革新によって、記録メディアの大容量化が進んできている。また、フィルム時代のカメラと比較し、格段に連写機能も向上しており、カメラユーザーは、気楽に撮影を楽しむことができ、大量の画像を得るようになってきている。

ところで、イベントや旅行などで撮影した画像を参加者が同時に鑑賞する機会があるが、このような場合にはなるべく多くの人物が写っている画像を鑑賞するほうが楽しいものである。しかし、なるべく多数の人物が写っている画像を、大量の画像の中から無秩序に探して鑑賞するのでは、時間がかかってしまい、楽しい雰囲気をしらけてしまうおそれがある。また、イベントや旅行のあとで、どのような人物が参加していたなど懐かしむことがある。そのような場合も、多数の画像を無秩序に探すのでは時間がかかってしまう。

複数の画像対象の検索として、特許文献１には、複数の画像の中から所望の対象物が写っている画像を表示させる画像表示方法が提案されている。すなわち、特許文献１に記載の画像表示方法は、画像毎にその画像に写っている人物などの対象物の種類と数をタグ情報として記録しておき、検索時には対象物の種類と数を入力することにより、所望の画像をすばやく検索できるようにしている。
特開２００６−２６１９１４号公報

特許文献１に開示の画像表示方法では、検索の条件として対象物の数を入力する必要があり、なるべく多くの人物が写っている画像を探しだすことは困難である。すなわち、過去に撮影した画像においては、人物の数を正確に記憶していないことが多く、なるべく多くの人物が写っている画像を探しだそうとすると、試行錯誤で人物の数を入力するしかなく、検索に時間がかかってしまう。

本発明は、このような事情を鑑みてなされたものであり、複数の画像の中から、すべての人物を含む画像を効率よく検索できる画像検索装置、画像検索方法、この画像検索装置、画像検索方法によって検索された画像を再生する画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像検索装置は、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定する個人特定部と、上記個人特定部による個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるソート部と、上記個人特定部による個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物の和集合を演算する演算部と、上記ソート部によって決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像を検索する動作を上記演算部で演算したすべての人物の和集合が選択されるまで繰り返し行う画像検索部と、を備え、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決める。

第２の発明に係わる画像再生装置は、上記第１の発明において、上記画像検索装置は、
画像の種類に応じて画像を分類する画像分類部と、をさらに備え、上記複数の画像は上記
画像分類部で分類したいずれかの画像群に属する。

第３の発明に係わる画像再生装置は、上記第２の発明により検索した画像を再生する画像再生装置であって、上記画像の種類を表す情報表示する表示部と、この表示部に表示した上記画像の種類を表す情報の中から所望の情報を選択する選択部と、この選択部を選択する操作に応答して上記検索した画像を表示する画像表示部と、を備える。

第４の発明に係わる画像検索方法は、複数の画像の中から、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物の和集合を演算するステップと、上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像を検索するステップと、を備える。

第５の発明に係わる画像再生方法は、上記第３の発明の画像検索装置により検索した画像を再生する画像再生方法であって、上記画像の種類を表す情報を表示するステップと、
上記画像の種類を表す情報の中から所望の情報を選択するステップと、上記所望の情報を
選択する操作に応答して上記検索した画像を表示するステップと、を備える。

第６の発明に係わる画像検索用プログラムは、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物の和集合を演算するステップと、上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像をすべての人物の和集合が検索されるまで繰り返し検索するステップと、をコンピュータに実行させる。

第７の発明に係わる画像再生用プログラムは、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれる人物の和集合を演算するステップと、上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像をすべての人物の和集合が検索されるまで繰り返し検索するステップと、上記検索した画像を表示するステップと、をコンピュータに実行させる。

本発明によれば、複数の画像の中から、すべての人物を含む画像を効率よく検索できる画像検索装置、画像検索方法、この画像検索装置、画像検索方法によって検索された画像を再生する画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムを提供することができる。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本実施形態におけるカメラは、撮影した画像について、登場人物の数、画像のシーンやイベントの種類を記録しておき、シーンやイベントの種類によって決まる画像群の中で、なるべく少ない画像数ですべての人物が登場するように画像の検索を行い、再生を行う。

図１は本発明の一実施形態に係わるカメラの構成を示すブロック図である。このカメラはデジタルカメラであり、このカメラは、撮像部１１、光学系制御部１２、時計部１３、記録部１４、出力部１５、顔検出部１６、制御部２０を有し、これらの各部はデータバス１０に接続されている。

撮像部１１は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部１２は、撮像部１１内の光学系のピント合わせ等の制御を行う。時計部１３は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。

記録部１４は、撮像部１１から出力され圧縮処理された画像データを撮影画像として記録する。また、時計部１３で得られた日時情報は、撮影画像を記録部１４に記録する際に、撮影画像と一緒にファイル化して記録される。さらに、後述する顔検出部１６、個人特定部２２、シーン分類部２３、およびイベント分類部２４における判定結果は、画像に関する情報ファイルとして、記録部１４に記録される。情報ファイルは、テーブル化されており、（１）各画像に誰が写っているか、また何人写っているか、（２）イベント毎のまとまりの画像群の情報、（３）イベントのシーン種類等の情報が記録されている。詳しくは図３を用いて後述する。

出力部１５は、プリンタ、テレビ、パソコン等の外部機器に画像データ等に出力を行う。後述する画像検索部２５によって検索された画像もここから出力される。顔検出部１６は、撮影待機状態において、撮像部１１から出力されるスルー画（ライブビューともいう）用の画像データに、顔パターン判定を行って、顔の部分の検出を行う。また、撮影後には、撮影画像と共に、顔検出部１６によって検出された顔検出情報（検出人数）を前述の情報ファイルに記録する。

制御部２０は、このカメラの全体制御を行い、画像処理部２１、個人特定部２２、シーン分類部２３、イベント分類部２４、および画像検索部２５を有し、画像処理部２１を除けば、ソフトウエアによって実行される。画像処理部２１は、撮像部１１から出力されるデジタル画像データの画像処理や圧縮処理を行う。ここで圧縮処理された画像データは記録部１４において記録される。

個人特定部２２は、顔検出部１６によって検出された顔検出情報を基に、画像内の全員の顔の特徴量を計測し、個人を特定する。ここで、特定された情報を基に画像内の人数と誰であるかの情報は記録部１４に情報ファイルの内の情報として記録される。なお、この個人特定部２２による特定動作は、カメラのパワーオフ時に実行される。

イベント分類部２４は、画像がどのイベントに属するかを決定する。このイベント分類動作は、パワーオフ時に、１回の起動中に撮影された画像群を既存イベントに追加するか、新規イベントに設定するかを判定する。記録部１４には、このイベント単位で複数の画像の共通情報を情報ファイルに記録する。

シーン分類部２３は、イベント分類部２４によって分類されたイベント単位で、複数の画像について、顔検出の割合、撮影日時の偏り、光源を検出し、この結果に基づいて、スナップ、旅行、屋内イベント、屋外イベントの種類にシーンを分類し、この分類情報を記録部１４の情報ファイルに記録する。

画像検索部２５は、記録部１４に記録されている情報ファイルを基にし、１つのイベントに属する複数の画像について、登場人物の多い順に画像を並び換え、一番多くの人物が写っている画像を選択し、この画像に誰が登場するかを判別する。この後、検索された画像に登場しない人物が写っている画像を検索する。全員が登場するまでこの検索を繰り返し、最終的に検索された一つまたは複数の画像は表示部３４で表示される。

操作部３２は、レリーズ釦、撮影モードや再生モードの設定部材、表示部におけるカーソルの操作部材やその決定操作部材等、カメラの各種操作部材であり、ユーザーによって操作される。操作判定部３１は、ユーザーによる操作部３２の操作状態を判定し、この判定結果を制御部２０に出力する。制御部２０はこの操作状態に応じて、カメラの制御を行う。

表示部３４は、カメラの背面等に配置された液晶モニタ等の表示装置で構成され、制御部２０からの指示を受け、記録部１４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のスルー画（ライブビュー）表示も行う。また、記録部１４に記録されている情報ファイルに記録された情報に基づいて、再生時には、イベント毎（イベント番号、撮影日時、シーン種類）に画像の表示を行う。表示部３４の表示制御を行うのが、表示制御部３３である。

このように構成されたカメラにおける動作を図２に示すフローチャートを用いて説明する。パワースイッチがオンとなり、このフローに入ると、まず、撮影者が撮影モードに設定したか、それとも再生モードに設定したかの判定を行う（Ｓ１）。判定の結果、撮影モードに設定していた場合には、顔検出部１６によって顔検出を行う（Ｓ３）。顔検出は、撮像部１１によって取得したスルー画用の被写体の画像データを用いて行う。

次に、レリーズ釦が操作され、撮影を行うか否かの判定を行う（Ｓ５）。ステップＳ５における判定の結果、撮影動作を行わない場合には、ステップＳ１に戻り、前述の動作を行う。本実施形態においては、撮影モードが選択され、撮影動作を実行しない場合には、撮像部１１によって取得した被写体像を用いて、顔検出を繰り返し、実行している。

ステップＳ５における判定の結果、レリーズ釦が操作された場合には、撮影動作を実行する（Ｓ７）。このステップにおいて、撮像部１１によって撮像を行い、静止画の画像データを取得する。撮影画像の画像データを取得すると、次に、撮影の直前にステップＳ３において、顔検出部１６によって検出された、画像に含まれる顔の数等の顔検出情報をテーブル化し（Ｓ９）、記録部１４は、撮影した撮影画像と顔検出情報を含む情報ファイルを記録する（Ｓ１１）。また、撮影画像と共に、時計部１３から出力された撮影日時情報や、ホワイトバランスや補助光源の使用状態等、種々の撮影情報も記録部１４に記録される。

記録が終わると、パワーオフか否かの判定を行う（Ｓ１３）。ユーザーによってパワーオフ操作されると、カメラの主電源はオフとなり、パワースイッチ以外の操作部材の操作ではカメラは動作しなくなる。ただし、このパワーオフ時も制御部２０内の個人特定部２２等は動作可能である。ステップＳ１３における判定の結果、パワーオフでなかった場合には、ステップＳ１に戻る。

一方、ステップＳ１３における判定の結果、パワーオフの場合には、個人特定を行う（Ｓ１５）。このステップでは、記録部１４によって記録された撮影画像に撮像されている人物について、個人特定部２２は個人特定を行う。

個人特定が終わると、次に、イベント分類を行う（Ｓ１７）。このステップでは、撮影画像と共に記録された撮影日時情報に基づいて、イベント分類部２４が一群の画像群に分類する。イベント分類の詳細については、図４を用いて後述する。

イベント分類が終わると、次に、シーン分類を行う（Ｓ１９）。シーン分類は、イベント分類によって分類された画像群について、そのシーンの種類分けを行うものであり、本実施形態においては、スナップ、旅行、屋外イベント、屋内イベントの４種類に分ける。シーン分類の詳細については、図５を用いて後述する。

ステップＳ１５における個人特定、ステップＳ１７におけるイベント分類、ステップＳ１９におけるシーン分類を行うと、それぞれのステップで実行結果を情報ファイルに書き込む。図３に撮影画像と情報ファイルの例を示す。図３の例では、イベント分類によって分類された一群の複数の画像であり、（ａ）〜（ｆ）に示す６駒の画像とそれぞれの画像に対応する情報、および（ｇ）に示すイベント情報とから構成される。

図３（ａ）に示す例では、撮影画像（０００１．ＪＰＧ）の情報として、人物Ａ、Ｂ、Ｃからなる３人の顔が検出され、シーンは屋外である。図３（ｂ）に示す例では、撮影画像（０００２．ＪＰＧ）の情報として、人物Ｂ、Ｄからなる２人の顔が検出され、シーンは屋外である。図３（ｃ）に示す例では、撮影画像（０００３．ＪＰＧ）の情報として、顔は検出されず、シーンは屋外である。

図３（ｄ）に示す例では、撮影画像（０００４．ＪＰＧ）の情報として、人物Ａのみ、１人の顔が検出され、シーンは屋外である。図３（ｅ）に示す例では、撮影画像（０００５．ＪＰＧ）の情報として、顔は検出されず、シーンは屋外である。図３（ｆ）に示す例では、撮影画像（０００６．ＪＰＧ）の情報として、人物Ｅ、Ｆからなる２人の顔が検出され、シーンは屋外である。

図３（ｇ）は、図３（ａ）〜（ｆ）からなる一群の複数の画像に関する情報を示している。すなわち、これらの一群の複数の画像は、イベント番号が０００１であり、画像は０００１〜０００６で構成され、登場人物はＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人であり、シーン分類は屋外イベントである。これらの撮影画像とテーブル化された情報は、前述したように、パワーオフ時に、判定されて記録部１４に記録される。

ステップＳ１における判定の結果、再生モードであった場合には、次に、通常再生か否かの判定を行う（Ｓ２１）。本実施形態における撮影画像の再生表示には、通常再生とグループ再生の２種類を用意している。通常再生は、公知の再生表示であり、記録部１４に記録されている撮影画像を選択して表示するモードである。

ステップＳ２１における判定の結果、通常再生であった場合には、公知の再生表示を行う（Ｓ２５）。一方、ステップＳ２１における判定の結果、通常再生ではなかった場合には、グループ再生を行う（Ｓ２３）。このグループ再生の詳細については、図７を用いて後述する。

次に、図４に示すフローチャートを用いてステップＳ１７（図２）のイベント分類について説明する。イベント分類は、撮影画像と共に記録されている撮影日時情報に基づいて行う。同一のイベントであれば、前回の撮影と今回までの撮影の撮影日時は近接していると想定し、イベント分類を行っている。本実施形態においては、この間隔は２４時間に設定してあるが、勿論、これ以外にも、例えば、１２時間、１８時間等、適宜設計値として設定しておけばよい。

イベント分類のサブルーチンに入ると、まず、今回の撮影が前回の撮影から２４時間以内か否かの判定を行う（Ｓ３１）。この判定の結果、２４時間以内であれば、前回のイベントとして扱い、この撮影画像は前回のイベントに追加する（Ｓ３３）。ステップＳ３１における判定の結果、２４時間以内でなかった場合には、新規のイベントとして扱い、この撮影画像は新規イベントに設定する（Ｓ３５）。ステップＳ３３またはステップＳ３５の処理が終わると、元のフローに戻る。

次に、図５に示すフローチャートを用いてステップＳ１９（図２）のシーン分類について説明する。シーン分類は、撮影画像に添付して記録されている撮影情報に基づいて行う。すなわち、顔検出画像の割合、撮影日時の偏り、光源に関する情報を用いて、スナップ、旅行、屋外イベント、屋内イベントの４種類に分類する。

シーン分類のサブルーチンに入ると、まず、前回の撮影から２４時間以内か否かの判定を行う（Ｓ４１）。シーン分類はイベント分類が確定した後、この同一イベントの画像群に基づいて行うことから、前回の撮影から２４時間経過していない場合には、シーン分類を行わない。

ステップＳ４１における判定の結果、前回の撮影から２４時間以内の場合には、イベント未定とし（Ｓ５９）、このシーン未定を記録部１４に記録する（Ｓ６１）。すなわち、図３に示した例において、図３（ａ）〜（ｆ）の情報ファイル中のシーンに未定を記録し、図３（ｇ）の情報ファイル中のイベントについて未定を記録する。この記録が終わると、元のフローに戻る。

ステップＳ４１における判定の結果、前回の撮影から２４時間を越えている場合には、イベントを確定する。すなわち、図３に示した例において、図３（ａ）〜（ｆ）の撮影画像を同一イベントに属するとして確定し、また図３（ｇ）の情報ファイル中のイベント番号を記録する。

続いて、ステップＳ４３において確定された一群の複数の画像において、顔検出画像の割合が所定値より多いか少ないかの判定を行う（Ｓ４５）。この判定の結果、顔検出が少ない場合には、スナップ撮影が多いとしてスナップを情報ファイルに記録し（Ｓ５３）、元のフローに戻る。

ステップＳ４５における判定の結果、顔検出画像の割合が多かった場合には、次に、撮影日時の偏りも判定する（Ｓ４７）。この判定の結果、撮影日時の偏りが分散していた場合には、旅行を情報ファイルに記録し（Ｓ５５）、元のフローに戻る。

ステップＳ４７における判定の結果、撮影日時の偏りが集中していた場合には、次に、光源が人工光であるか、太陽光であるかの判定を行う（Ｓ４９）。この光源の判定は、撮影画像と共に記録されているホワイトバランスに関する情報や補助光源の使用に関する情報等に基づいて行う。

ステップＳ４９における判定の結果、光源が太陽光であった場合には、屋外イベントを情報ファイルに記録し（Ｓ５１）、光源が人工光であった場合には、屋内イベントを情報ファイルに記録する（Ｓ５７）。これらの記録が終わると、元のフローに戻る。

図６にシーン分類の例を示す。イベントＡは、飲み会のケースであるが、顔検出の割合が多く、撮影日時が集中しており、かつ人工光で撮影されていることから屋内イベントと判定されている。イベントＢは２泊３日の旅行の例であるが、顔検出の割合が多く、撮影日時の偏りが分散していることから旅行と判定されている。

また、イベントＣは運動会のケースであるが、顔検出の割合が多く、撮影日時の偏りが集中しており、太陽光で撮影されていることから屋外イベントと判定されている。イベントＤは結婚式のケースであるが、顔検出の割合が多く、撮影日時が集中しており、かつ人工光で撮影されていることから屋内イベントと判定されている。イベントＥは、顔検出の割合が少ないことから、スナップと判定されている。

次に、図７に示すフローチャートを用いてステップＳ２３（図２）のグループ再生について説明する。グループ再生は、指定したイベントにおいて、なるべく少ない画像数で全員を鑑賞することのできる再生モードである。このグループ再生が選択されると、図１０に示すように、グループ再生表示１００が表示部３４に表示される。

グループ再生のサブルーチンに入ると、まず、イベント名をリスト表示する（Ｓ７１）。イベント名のリスト表示としては、例えば、図１０に示すようにイベント表示１０１が表示され、後述するようにカーソル操作部材を操作することにより、順次、イベント表示１０２、１０３が表示される。ここで、各イベント表示１０１〜１０３においては、イベント番号、撮影月日、シーンがそれぞれ表示される。

次に、ユーザーがイベント名のリスト表示から閲覧したいイベントを選択したか否かの判定を行う（Ｓ７３）。この判定の結果、イベントが選択されていない場合には、カーソル操作がなされたか、またはキャンセル操作がなされたか否かの判定を行う（Ｓ７５）。判定の結果、カーソル操作がなされていた場合には、カーソル操作、すなわち、カーソル操作に応じてイベント表示１０１〜１０３の切り替えを行い（Ｓ７７）、ステップＳ７３に戻る。一方、ステップＳ７５における判定の結果、キャンセル操作がなされていた場合には、元のフローに戻る。

ステップＳ７３における判定の結果、イベントの選択がなされた場合には、抽出処理を行う（Ｓ７９）。この抽出処理は、なるべく少ない画像数で全員を抽出できる一つまたは複数の画像を抽出するステップである。この抽出処理のサブルーチンの詳細は図８を用いて後述する。

抽出処理が終わると、この抽出処理において抽出された閲覧候補の画像を表示する（Ｓ８１）。すなわち、図１０に示すように、閲覧候補の画像１１１〜１１４を、操作部材が操作される毎に、順次、表示する。続いて、閲覧候補の画像のいずれかが選択されたか、またはキャンセルがなされたか否かの判定を行う（Ｓ８３）。この判定の結果、キャンセルされた場合には、ステップＳ７１に戻り、イベント名をリスト表示する。

ステップＳ８３における判定の結果、閲覧候補の画像の中から画像が選択された場合には、この画像を選択し（Ｓ８５）、この画像を出力部１５より、プリンタ等に出力する（Ｓ８７）。画像出力が終わると、ステップＳ７１に戻り、ステップＳ７５においてキャンセル操作がなされると、元のフローに戻る。

次に、ステップ７９の抽出処理のサブルーチンについて、図８に示すフローチャートを用いて説明する。このフローに入ると、情報ファイルの記録に基づいて、選択されたイベント内の全員の集合をＳとする（Ｓ９１）。図９に示す例では、この集合Ｓは、人物Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇの７人である。

続いて、選択されたイベントに関する複数の画像の中で、人物の多い画像順にソートを行う（Ｓ９３）。このステップでは、前述した情報ファイルには、撮影画像ごとに特定された登場人物の人数が記録されているので、これに基づいて画像の並び替えを行う。人物の多い順に並び替えを行うにあたって、登場人物の数が同一の場合には、任意に決めてよい。例えば、駒番が若い方を先にする等である。図９（ａ）は、ソート前の各駒の登場人物を表し、図９（ｂ）はソート後の状態を示す。

登場人物の多い順にソートが終わると、次に、ソート順をｉで表し、先頭の画像をｉ＝１とする（Ｓ９５）。図９（ｂ）の左欄にソート順ｉを示す。続いて、Ｐ（１）、すなわち、ｉ＝１の駒に登場する人物の集合をＱとする（Ｓ９７）。図９（ｂ）に示した例では、集合Ｑはｉ＝１、駒番４の画像に対応し、人物Ａ、Ｃ、Ｄからなる。

次に、画像Ｄ（１）を閲覧候補に追加する（Ｓ９９）。画像Ｄ（１）は、ステップＳ９５、Ｓ９７で選択された駒であり、この駒に対応する画像Ｄ（１）を閲覧候補する。図９（ｂ）に示した例では、ｉ＝１、駒番４の画像である。

続いて、ソート順ｉに１を加算し（Ｓ１０１）、前述の集合Ｑと集合Ｐ（ｉ）のＯＲ集合、すなわち、和集合を求める。図９（ｂ）に示した例で、初めてステップＳ１０３を実行する場合には、ソート順ｉ＝１（駒番４）の画像に登場する人物（Ａ、Ｃ、Ｄ）と、ソート順ｉ＝２（駒番１０）の画像に登場する人物（Ｂ、Ｃ、Ｄ）の和集合を演算する。この演算結果として、集合Ｒは人物Ａ、Ｂ、Ｃ、Ｄの集合となる。

次に、集合Ｒが集合Ｑよりも大きいか、すなわち、集合Ｒに含まれる人物の数が、集合Ｑに含まれる人物の数よりも多いか否かの判定を行う（Ｓ１０５）。この判定の結果、Ｒ＞Ｑでなかった場合には、ステップＳ１１１にジャンプする。

一方、ステップＳ１０５における判定の結果、Ｒ＞Ｑであった場合には、画像Ｄ（ｉ）を閲覧候補に追加し（Ｓ１０７）、ステップＳ１０３で生成した集合Ｒを、集合Ｑに置き換える（Ｓ１０９）。すなわち、集合Ｒは、ステップＳ１０１において指定した駒番に対応する画像に登場する人物とそれまでに登場した人物の和集合である。この集合Ｒと、それまでに登場した人物の集合Ｑとを比較し、登場人物が増加していれば、新たに登場する人物がいることから、その駒番の画像を閲覧候補の画像としている。逆に集合Ｒ＞集合Ｑでなければ、新たに登場する人物がいないことから、その駒番の画像を閲覧候補とはしていない。

図９（ｂ）に示した例において、ソート順ｉ＝２（駒番１０）は、新たに人物Ｂが登場することから、閲覧候補として選択されており、ソート順ｉ＝３（駒番１１）も、新たに人物Ｅ、Ｆが登場することから閲覧候補として選択されている。しかし、次のソート順ｉ＝４（駒番１２）は、新たな閲覧候補がいないことから選択されていない。なお、図９（ｂ）では、閲覧候補となった駒は、網掛けで表示している。

次に、集合Ｓが集合Ｑと同じか否かについて判定する（Ｓ１１１）。集合Ｓは前述したように、イベント内の全員の集合であり、また集合Ｑはそれまでに登場した人物の集合である。両者が同じであれば、全員が登場する画像の検索ができたことになる。ステップＳ１１１における判定の結果、集合Ｓ＝集合Ｑでなければ、ステップＳ１０１に戻り、次の画像を選択し、全員が登場するまで、これらのステップを繰り返す。一方、ステップＳ１１１における判定の結果、集合Ｓ＝集合Ｑになれば、全員が登場する１つまたは複数の画像を検索できたので、元のルーチンに戻る。

以上説明したように、本実施形態においては、複数の画像の中から、顔検出部１６によって人物の顔画像を検出し、さらに個人特定部２２において顔画像に基づいて個人を特定している。そして、複数の画像の中から検索するにあたって、一番多くの人物が写っている画像を最初に検索し（Ｓ９３〜Ｓ９９）、この後、検索された画像に登場しない人物が写っている画像を検索し（Ｓ１０１〜Ｓ１０９）、全員が登場するまで（Ｓ１１１）、この検索を繰り返している。

このため、本実施形態においては、画像群の中から、多くの人物を含む画像を効率よく検索することができる。また、画像を再生表示するにあたって、同じ人物ばかりが登場することを防ぐことができ、再生表示が単調となることがない。

また、本実施形態においては、複数の画像を分類し、同一分類内で、なるべく少ない画像数で、全登場人物をカバーする画像を求めている。このため、画像検索にかかる時間を短縮することができる、また、この画像検索の結果に基づいて再生表示した場合には、同一分類であることから、鑑賞者も理解しやすく楽しむことができる。

なお、本実施形態においては、撮影待機時に顔検出を行っていたが、この検出は撮影待機時に行わずに、パワーオフ時等、別のタイミングで行うようにしてもよい。

また、本実施形態においては、カメラで撮影した画像をカメラ内でグループ再生の処理を行って、カメラの表示装置や外部の表示装置で再生表示するようにしていたが、カメラで撮影した画像をパーソナルコンピュータに記憶させ、この記憶された画像に基づいてグループ再生を行い、再生表示等を行うようにしても良い。

さらに、本実施形態における、イベント分類やシーン分類は例示であって、複数の画像を適宜、画像群に分類付けできれば良く、他の分類を採用しても勿論かまわない。

さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係わるカメラの構成を示すブロック図である。 本発明の一実施形態に係わるカメラの動作を示すフローチャートである。 本発明の一実施形態において、撮影画像と情報ファイルの構成を示す図であり、（ａ）〜（ｆ）は各撮影画像と情報ファイルの構成を示し、（ｇ）はイベント内容を示す情報ファイルを示す図である。 本発明の一実施形態に係わるカメラにおけるイベント分類の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおけるシーン分類の動作を示すフローチャートである。 本発明の一実施形態において、シーン分類の例を示す図である。 本発明の一実施形態に係わるカメラにおけるグループ再生の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける抽出処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける抽出処理において、撮影駒と登場人物の関係を示す図である。 本発明の一実施形態において、グループ再生時の表示を示す図である。

符号の説明

１０・・・データバス、１１・・・撮像部、１２・・・光学系制御部、１３・・・時計部、１４・・・記録部、１５・・・出力部、１６・・・顔検出部、２０・・・制御部、２１・・・画像処理部、２２・・・個人特定部、２３・・・シーン分類部、２４・・・イベント分類部、２５・・・画像検索部、３１・・・操作判定部、３２・・・操作部、３３・・・表示制御部、３４・・・表示部、１００・・・グループ再生表示、１０１・・・イベント表示、１０２・・・イベント表示、１０３・・・イベント表示、１１１・・・画像、１１２・・・画像、１１３・・・画像、１１４・・・画像

Claims (8)

1. 複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定する個人特定部と、上記個人特定部による個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるソート部と、
   上記個人特定部による個人の特定結果に基づいて、上記複数の画像に含まれるすべての
   人物の和集合を演算する演算部と、上記ソート部によって決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像を検索する動作を上記演算部で演算したすべての人物の和集合が選択されるまで繰り返し行う画像検索部と、
   を備え、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めることを特徴とする画像検索装置。
2. 上記画像検索装置は、画像の種類に応じて画像を分類する画像分類部と、をさらに備え、上記複数の画像は上記画像分類部で分類したいずれかの画像群に属することを特徴とする請求項１に記載の画像検索装置。
3. 上記画像の種類を表す情報表示する表示部と、この表示部に表示した上記画像の種類を表す情報の中から所望の情報を選択する選択部と、この選択部を選択する操作に応答して上記検索した画像を表示する画像表示部と、を備えたことを特徴とする請求項２に記載の画像検索装置により検索した画像を再生する画像再生装置。
4. 複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物の和集合を演算するステップと、
   上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像をすべての人物の和集合が検索されるまで繰り返し検索するステップと、
   を備えたことを特徴とする画像検索方法。
5. 上記画像の種類を表す情報を表示するステップと、上記画像の種類を表す情報の中から所望の情報を選択するステップと、上記所望の情報を選択する操作に応答して上記検索した画像を表示するステップと、を備えたことを特徴とする上記請求項２に記載の画像検索装置により検索した画像を再生する画像再生方法。
6. 複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物の和集合を演算するステップと、上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像をすべての人物の和集合が検索されるまで繰り返し検索するステップと、
   をコンピュータに実行させるための画像検索用プログラム。
7. 複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像の順序を決めるステップと、上記複数の画像のそれぞれの画像に含まれる人数の数が同一のときは、駒番が若い方を先に上記順序を決めるステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれる人物の和集合を演算するステップと、上記複数の画像の中で人物を最も多く含む画像を検索するステップと、上記決められた画像の順序に従って、上記複数の画像のそれぞれの画像に含まれる人物の数が多い画像から順番に画像を１つ選択し、選択した画像に含まれる人物の集合の中にそれまでに選択したすべての画像に含まれる人物の和集合に含まれていない人物が含まれているときは、上記選択した画像をすべての人物の和集合が検索されるまで繰り返し検索するステップと、上記検索した画像を表示するステップと、
   をコンピュータに実行させるための画像再生用プログラム。
8. 上記複数の画像を検索するにあたって、上記複数の画像を分類し、この分類に属する画像についてのみ検索を行うことを特徴とする請求項７に記載の画像再生用プログラム。