JP6018029B2 - 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム - Google Patents

Description

この発明は，撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラムに関する。

撮像画像には主要人物以外の他人の顔が含まれていたり，様々な顔の向き，顔の表情，照明などの環境の相違があったりするので，単に顔認識により主要人物を決定することは容易ではない。主要人物を安定して決定することは難しい。

多数の撮像画像から電子アルバムが生成される場合，撮像画像に含まれる人物が分らないので，ユーザが人物を特定するものがある（特許文献１）。特定の人物が多く含まれるような電子アルバムが作成される。多数の撮像画像から電子アルバムに利用される撮像画像が自動抽出される場合には，写っている撮像画像が多い人物が主要人物と考えられることが多いので，その人物の撮像画像が多く含まれるように電子アルバムが生成される。

USP8,379,939

しかしながら，多数の撮像画像の中に写っている人物を主要人物としてしまうと，あるイベントで撮像される機会が多くなるような人物を主要人物とすることはできない。

この発明は，あるイベントで撮像される機会が多くるような人物を主要人物と決定できるようにすることを目的とする。

この発明は，多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成する顔画像グルーピング手段，および顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する主要顔画像決定手段を備えていることを特徴とする。

この発明は，撮像画像の主要顔画像決定装置に適した制御方法も提供している。すなわち，この方法は，顔画像グルーピング手段が，多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成し，主要顔画像決定手段が，顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定するものである。

この発明は，撮像画像の主要顔画像決定装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを１つの顔画像グループにまとめる顔画像グループ混合手段をさらに備えてもよい。この場合，主要顔画像決定手段は，顔画像グループ混合手段においてまとめられた顔画像グループおよび顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を，顔画像グループごとに決定するものとなろう。

また，顔画像グループ混合手段は，たとえば，顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを，一定数以上の顔画像が含まれるように１つの顔画像グループにまとめるものである。

主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表わしているかどうかを判定する第１の主要顔画像判定手段をさらに備えてもよい。

主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているかを判定する第２の主要顔画像判定手段，および第２の主要顔画像判定手段によって，一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているか，いずれも判定不能となった場合に，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定する副顔画像判定手段をさらに備えることが好ましい。この場合，第２の主要顔画像判定手段は，副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより，一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定するものとなろう。

第２の主要顔画像判定手段は，たとえば，副顔画像判定手段により，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物のものであると判定された回数が所定回数以上となったことにより，一の主要顔画像と他の主要顔画像とが同一人物を表していると決定するものである。

顔画像グルーピング手段は，多数の撮像画像を，イベントごとにグループ分けする撮像画像グルーピング手段を備えてもよい。この場合，たとえば，撮像画像グルーピング手段によってイベントごとにグループ分けされた多数の撮像画像から，顔画像を検出してイベントごとに複数の顔画像グループを生成するものである。

顔画像グルーピング手段は，多数の撮像画像のそれぞれから顔画像を検出する顔画像検出手段をさらに備えてもよい。この場合，顔画像検出手段によって検出された多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成するものとなろう。

撮像時期が近い撮像画像を同一のイベントで得られたものとし，撮像時期が離れている撮像画像を異なるイベントで得られたものとして，多数の撮像画像をイベントごとにグループ分けするようにしてもよい。

また，異なるイベントと見なされる撮像時期が離れている期間を調節する期間調節手段をさらに備えるようにしてもよい。

主要顔画像決定手段によって決定された主要顔画像によって特定される主要人物のうち，少なくとも一人の主要人物が含まれている撮像画像が，他の撮像画像よりも多い電子アルバムを生成する電子アルバム生成手段をさらに備えるようにしてもよい。

主要顔画像決定手段によって決定された主要顔画像を表示画面に表示するように表示装置を制御する表示制御手段，および表示制御手段による制御により表示装置の表示画面に表示された主要顔画像のうち，少なくとも一の主要顔画像を指定する主要顔画像指定手段をさらに備えてもよい。この場合，電子アルバム生成手段は，主要顔画像指定手段によって指定された一の主要顔画像によって特定される主要人物が含まれている撮像顔画像が，上記主要人物が含まれていない撮像画像よりも多くなるように上記多数の撮像画像を利用して電子アルバムを生成するものとなろう。

表示制御手段は，たとえば，主要顔画像決定手段によって決定された主要顔画像のうち，同一人物顔画像決定手段によって同一人物を表わしていると決定された主要顔画像については１つの主要顔画像を表示画面に表示するように表示装置を制御するものである。

この発明によると，多数の撮像画像から得られる多数の顔画像がイベントごとにグループ分けさせられて複数の顔画像グループが生成される。生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像が，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定される。イベントごとに得られる撮像画像からイベントごとの主要顔画像（主要人物）が決定されることとなるから，特定のイベントに参加した人物を多数の撮像画像の中の主要人物と決定できるようになる。

電子アルバム生成装置の電気的構成を示すブロック図である。 電子アルバム生成装置の処理手順を示すフローチャートである。 電子アルバム生成装置の処理手順を示すフローチャートである。 電子アルバム生成装置の処理手順を示すフローチャートである。 主要顔画像が得られる様子を示している。 主要顔画像と主要顔画像の人物が含まれている撮像画像との関係を示している。 主要顔画像と主要顔画像の人物が含まれている撮像画像との関係を示している。 表示画面の一例である。 表示画面の一例である。 同一人物の主要顔画像検出処理手順を示すフローチャートである。 撮像画像の一例である。 撮像画像の一例である。

図１は，電子アルバム生成装置１の電気的構成を示すブロック図である。

電子アルバム生成装置１（撮像画像の主要顔画像決定装置）の全体の動作は，ＣＰＵ２によって統括される。

電子アルバム生成装置１には，表示装置５が設けられている。この表示装置５の表示画面にはユーザから電子アルバム生成装置１に指令を与えるためのタッチ・パネル６が形成されている。電子アルバム生成装置１には，メモリ・カード・リーダ４も設けられている。多数の撮像画像を表わす画像ファイルが格納されているメモリ・カード３がメモリ・カード・リーダ４に装填され，それらの画像ファイルがメモリ・カード・リーダ４によって読み取られる。

電子アルバム生成装置１には，CD-ROM（コンパクト・ディスク−リード・オンリ・メモリ）ドライブ８も含まれている。後述する動作制御プログラムが格納されているコンパクト・ディスク７がCD-ROMドライブ８に装填され，プログラムが読み取られる。読み取られたプログラムは，ハードディスク・ドライブ11によってハードディスク12に書き込まれる。電子アルバム生成装置１には，通信装置13も含まれている。この通信装置13から，後述する動作プログラムをダウンロードするようにしてもよい。

また，電子アルバム生成装置１には，キーボードのような入力装置およびメモリ10も含まれている。

電子アルバム生成装置１は，スーパー，コンビニエンス・ストアの店頭などに配置されているが，動作制御プログラムをユーザが所有しているパーソナル・コンピュータにインストールすることにより，そのパーソナル・コンピュータを電子アルバム生成装置１として利用できる。

図２から図４は，電子アルバム生成装置１において電子アルバムを生成する処理手順を示すフローチャートである。

ユーザによって，多数の撮像画像を表わす画像ファイルが格納されているメモリ・カード３がメモリ・カード・リーダ４に装填される。すると，メモリ・カード３に格納されている画像ファイルがメモリ・カード・リーダ４によって読み取られる（図２ステップ21）。読み取られた画像ファイルは，ＣＰＵ２によってメモリ10に一時的に記憶される。

読み取られた画像ファイルによって表わされる多数の撮像画像が，ＣＰＵ２によってイベントごとに分類され，複数の撮像画像グループが生成される（図２ステップ22）（撮像画像グルーピング手段）。

図５を参照して，多数の撮像画像Ｐ１等が時系列順に並べられている。図５において左側から右側となるにつれて時間が経過している。入学式，運動会などのイベントにおいては，それらの入学式，運動会当日に多くの画像が撮像される。イベントが無い日の撮像枚数は少ない。このために，多数の撮像画像Ｐ１が時系列順に並べられると，撮像画像の固まりができる。このように撮像時期が近い撮像画像の固まりが同一のイベントで得られた撮像画像と見なされ，一つのイベントに対応する一つの撮像画像グループとなる。撮像時期が離れた撮像画像は異なるイベントで得られたものとされて，多数の撮像画像がイベントごとにグループ分けされる。図５に示す例では，多数の画像が撮像画像グループＧ１からＧ６に分類されている。撮像画像グループＧ１には撮像画像Ｐ１からＰｎが含まれ，撮像画像グループＧ２には撮像画像Ｐ11からＰ1nが含まれ，撮像画像グループＧ３には撮像画像Ｐ21からＰ2nが含まれ，撮像画像グループＧ４には撮像画像Ｐ31からＰ3nが含まれ，撮像画像グループＧ５には撮像画像Ｐ41からＰ4nが含まれ，撮像画像Ｇ６には撮像画像Ｐ51からＰ5nが含まれている。

撮像画像グループが生成されると，撮像画像グループごとに，撮像画像グループに含まれている撮像画像からＣＰＵ２によって顔検出が行われ，ＣＰＵ２によって顔画像グループが生成される（図２ステップ23）（顔画像グルーピング手段）。

図５を参照して，撮像画像グループＧ１に含まれる撮像画像Ｐ１等について顔検出が行われ，顔画像Ｆ１からＦｎが得られ，顔画像グループＦＧ１が生成される。撮像画像グループＧ２に含まれる撮像画像Ｐ11等について顔検出が行われ，顔画像Ｆ11からＦ1nが得られ，顔画像グループＦＧ２が生成される。撮像画像グループＧ３に含まれる撮像画像Ｐ21等について顔検出が行われ，顔画像Ｆ21からＦ2nが得られ，顔画像グループＦＧ３が生成される。撮像画像グループＧ４に含まれる撮像画像Ｐ31等について顔検出が行われ，顔画像Ｆ31からＦ3ｎが得られ，顔画像グループＦＧ３が生成される。撮像画像グループＧ５に含まれる撮像画像Ｐ41等について顔検出が行われ，顔画像Ｆ41からＦ4nが得られ，顔画像グループＦＧ５が生成される。撮像画像グループＧ６に含まれる撮像画像Ｐ51等について顔検出が行われ，顔画像Ｆ51からＦ5nが得られ，顔画像グループＦＧ６が生成される。

多数の撮像画像から複数の撮像グループＧ１等が生成され，その後複数の顔画像グループＦＧ１等が生成されている。しかしながら，多数の撮像画像から顔画像を検出し，検出された多数の顔画像をイベントごとに顔画像グループに分けるようにしてもよい。その場合，検出された顔画像を表すファイルのヘッダには撮像画像の撮像日時が格納され，その撮像日時を利用して，多数の顔画像がイベントごとに顔画像グループに分けられる。

この実施例では，生成された顔画像グループのそれぞれに含まれる顔画像の中から主要顔画像が決定される。しかしながら，顔画像グループに含まれる顔画像の数が少ない場合（撮像画像グループに含まれる撮像画像の数が少ない場合）には，決定された主要顔画像が，電子アルバムのユーザの他人であるように必ずしも重要人物ではないことがある。このために，この実施例では，顔画像グループに含まれる顔の数が一定数未満の顔画像グループがあるかどうかがＣＰＵ２によって確認され（図２ステップ24），一定数未満の顔画像グループがある場合には（図２ステップ24でＹＥＳ），顔画像グループに含まれる顔の数が一定数以上となるようにＣＰＵ２によって顔画像グループがまとめられる（図２ステップ25）（顔画像グループ混合手段）。まとめられる顔画像グループは，含まれている顔画像の数の少ない順となることが考えられるが，必ずしもそうでなくともよい。

図５を参照して，顔画像グループＦＧ５に含まれている顔画像Ｆ41等の数が一定数未満であり，顔画像グループＦＧ６に含まれている顔画像Ｆ51等の数も一定数未満であったとする。すると，これらの顔画像グループＦＧ５とＦＧ６とがまとめられ，新たな顔画像グループＦＧ５とされる。新たな顔画像グループＦＧ５には，まとめられる前の顔画像グループＦＧ５に含まれていた顔画像Ｆ41等のほか，顔画像グループＦＧ６に含まれていた顔画像Ｆ51等も含まれるようになる。新たな顔画像グループＦＧ５に含まれる顔画像の数が依然として一定数未満であれば，他の顔画像グループとさらにまとめられる。

つづいて，顔画像グループごとに，ＣＰＵ２によって主要顔画像（主要人物の顔画像）が決定される（図２ステップ26）（主要顔画像決定手段）。主要顔画像は，それぞれの顔画像グループに含まれている顔画像のうち，同一人と考えられる顔を表している顔画像の数が最も多いものとなろう。もっとも，単に顔画像の数ではなく，所定の大きさ以上の顔画像のうち，同一人と考えられる顔を表している顔画像の数が最も多いものを主要顔画像としてもよい。主要顔画像は一つでなく，複数でもよい。図５を参照して，顔画像グループＦＧ１，ＦＧ２，ＦＧ３，ＦＧ４およびＦＧ５のそれぞれの主要顔画像は，ＲＦ１，ＲＦ２，ＲＦ３，ＲＦ４およびＲＦ５となる。

顔画像グループごとに主要顔画像が決定されると，メモリ・カード３から読み取られた画像ファイルによって表わされる多数の撮像画像の中から，主要顔画像の人物が含まれている撮像画像が見つけられる（図４ステップ27）。主要顔画像が含まれていた撮像画像グループだけでなく，他の撮像画像グループに含まれている撮像画像の中からも，主要顔画像の人物が含まれている撮像画像が見つけられる。図５において，主要顔画像ＲＦ１の人物が含まれている撮像画像は，撮像画像グループＧ１だけでなく，他の撮像画像グループＧ２からＧ６に含まれている撮像画像からも見つけられる。その他の主要顔画像ＲＦ２からＲＦ５についても同様である。

図６は，主要顔画像の人物が含まれている撮像画像を示すテーブルである。

上述のようにして決定された主要顔画像に対応して，その主要顔画像の人物が含まれている撮像画像（特定するファイル名）が格納されている。たとえば，主要顔画像ＲＦ１の人物が含まれている撮像画像は，Ｐ１，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ12，Ｐ13などであり，主要顔画像ＲＦ１が得られた撮像画像グループＧ１以外の撮像画像グループからも見つけられている。その他の主要顔画像ＲＦ２からＲＦ５についても同様である。

主要顔画像の人物が含まれている撮像画像が多数の撮像画像の中から見つけられると，ＣＰＵ２によって主要顔画像同士が比較され，同一人物を表している複数の主要顔画像があれば，それらの主要顔画像が見つけられる（図３ステップ28）（第１の主要顔画像判定手段）。同一人物を表わしている複数の主要顔画像があれば（図３ステップ29でＹＥＳ），それらの複数の主要顔画像の人物が含まれている撮像画像がまとめられる（図３ステップ30）。たとえば，主要顔画像ＲＦ１によって表わされる人物と主要顔画像ＲＦ３によって表わされる人物とが同じ人物であったとする。主要顔画像ＲＦ１の人物が含まれている撮像画像は，上述のように，Ｐ１，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ12，Ｐ13などである。また，主要顔画像ＲＦ３の人物が含まれている撮像画像は，Ｐ２，Ｐ４，Ｐ７・・・Ｐ21・・・Ｐ32，Ｐ33などである。これらの撮像画像があわせられ，あわせられた撮像画像が主要顔画像ＲＦ１（ＲＦ３でもよい）によって表わされる人物が含まれている撮像画像となる（図７参照）。

主要顔画像ＲＦ１によって表わされる人物と主要顔画像ＲＦ３によって表わされる人物とが同一人物ではないとして扱われていると，主要顔画像ＲＦ１によって特定される人物が含まれている撮像画像を用いて主要顔画像ＲＦ１によって表わされる人物を主人公とした電子アルバムを作成する場合，図６に示す主要顔画像ＲＦ１によって特定される人物が含まれている撮像画像Ｐ１，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ12，Ｐ13などが利用されるので，主要顔画像ＲＦ１によって特定される人物が含まれている撮像画像には含まれていないが，主要顔画像ＲＦ３によって特定される人物が含まれている撮像画像（例えば，撮像画像Ｐ７など）は，利用されなくなってしまう。この実施例では，複数の主要顔画像のうち，同一人物を表わしている主要顔画像が存在する場合，それらの主要顔画像によって表わされる人物が含まれている撮像画像がまとめられる。このために，同一人物を表わす撮像画像ではあるが，一の主要顔画像によって特定される人物が含まれている撮像画像には含まれていないが，他の主要顔画像によって特定される人物が含まれている撮像画像に含まれているものを利用して電子アルバムを作成できるようになる。

上述したように，図６に示す主要顔画像ＲＦ１によって特定される人物と主要顔画像ＲＦ３によって特定される人物とが同一人物であった場合には，図７に示すように，それぞれの撮像画像がまとめられるようになる（主要顔画像ＲＦ１の人物が含まれている撮像画像に撮像画像Ｐ７が加えられている）。

つづいて，表示装置５の表示画面には，主要顔画像が一覧で表示される（図３ステップ31）。

図８は，主要顔画像一覧画像の一例である。

表示装置５の表示画面の左側には，上述のようにして得られた主要顔画像ＲＦ１，ＲＦ２，ＲＦ４およびＲＦ５が表示されている。これらの主要顔画像ＲＦ１，ＲＦ２，ＲＦ４およびＲＦ５の右側には，図７で示したように，主要顔画像の人物が含まれている撮像画像を表示する撮像画像表示領域60，63，66および69が表示されている。撮像画像表示領域60，63，66および69の上部にはスクロール・バー61，64，67および70が形成されている。これらのスクロール・バー61，64，67または70が左右に操作されることにより，撮像画像表示領域60，63，66および69に表示されていない撮像画像が撮像画像表示領域60，63，66および69に表示されるようになる。

表示画面50の右側には，「主人公決定」の文字が付されている主人公決定ボタン81，「主人公訂正」の文字が付されている主人公訂正ボタン82，「主人公統合」の文字が付されている主人公統合ボタン83，「アルバム用画像決定」の文字が付されているアルバム用画像決定ボタン84，「アルバム用画像訂正」の文字が付されているアルバム用画像訂正ボタン85および「アルバム作成」の文字が付されているアルバム作成ボタン86が表示されている。

主人公決定ボタン81は，表示画面50に表示されている主要顔画像の中から電子アルバムの主人公となる主要被写体を決定する場合にユーザによってタッチされるものである。主要顔画像ＲＦ１の人物を主人公としたい場合には，主要顔画像ＲＦ１がタッチされる（図９にタッチされたことがハッチングで示されている）（主要顔画像指定手段）。主人公は一人に限らず，複数でもよい。主人公を複数にする場合複数の主要顔画像がユーザによってタッチされる。その後，主人公決定ボタン81がタッチされることにより，タッチされた主要顔画像ＲＦ１の人物が含まれている撮像画像の割合が多い電子アルバムが生成される。主人公訂正ボタン82は，タッチした主要顔画像を訂正する場合に利用される。図９に示すように，主要顔画像ＲＦ１がタッチされた後に，他の主要顔画像ＲＦ２，ＲＦ３またはＲＦ４の人物を主人公としたい場合に，主要顔画像ＲＦ１がタッチされた後に主人公訂正ボタン82がユーザによってタッチされる。すると，主人公とされていた主要顔画像ＲＦ１がクリアされる。

主人公統合ボタン83は，表示画面50に表示されている主要顔画像ＲＦ１，ＲＦ２，ＲＦ４およびＲＦ５の中で同一人物を表わしている主要顔画像が含まれている場合に利用される。たとえば，主要顔画像ＲＦ１とＲＦ２とが同一人物を表わしているものとすると，主要顔画像ＲＦ１とＲＦ２とがユーザによってタッチされ，その後，主人公統合ボタン83がユーザによってタッチされる。すると，図６と図７とを参照して説明したように，主要顔画像ＲＦ１の人物が含まれている撮像画像と主要顔画像ＲＦ２の人物が含まれている撮像画像とがまとめられる表示画面50に表示される主要顔画像一覧の構成も，主要顔画像ＲＦ１の人物が含まれている撮像画像と主要顔画像ＲＦ２の人物が含まれている撮像画像とがまとめられたものに再構成される。

アルバム用画像決定ボタンは，主要顔画像ＲＦ１等の右側にある撮像画像表示領域60等に表示されている撮像画像をアルバム用画像として利用したい場合にユーザによってタッチされる。撮像画像表示領域60等に表示されている撮像画像がユーザによってタッチされ，その後アルバム用画像決定ボタン84がタッチされると，ユーザによってタッチされた撮像画像が電子アルバムに利用される。主人公が決定すれば，その主人公が含まれている撮像画像が多くなるように自動的に電子アルバムが作成されるから，必ずしもユーザが撮像画像を選ぶ必要は無いが，撮像画像をユーザが選択できるようにすることにより，電子アルバムに入れたい撮像画像をユーザが指定できるようになる。図９に示すように，撮像画像Ｐ２，Ｐ６，Ｐ33，Ｐ53などがタッチされ（タッチされた様子がハッチングで示されている），その後アルバム画像決定ボタン84がユーザによってタッチされると，タッチされた撮像画像Ｐ２，Ｐ６，Ｐ33，Ｐ53などが電子アルバムに含まれるようになる。

アルバム用画像訂正ボタン85は，上述のように，電子アルバムに含まれるようにユーザによってタッチされた撮像画像を訂正する場合に利用される。タッチされた撮像画像が再びタッチされ，その後アルバム画像訂正ボタン85がユーザによってタッチされることにより，電子アルバムに含まれるように指定された撮像画像の指定が解除される。

アルバム作成ボタン86は，指定された主要顔画像の人物を主人公として電子アルバムを自動で作成する場合にユーザによってタッチされる。たとえば，主要顔画像ＲＦ１がタッチされている状態でアルバム作成ボタン86がタッチされると，主要顔画像ＲＦ１の人物が含まれている撮像画像の割合が過半数（好ましくは７割以上）となるように撮像画像が選択されて電子アルバムが生成される。

上述のように，主要顔画像の中から主人公が決定されると（図４ステップ34），その主人公がメモリ10に記憶される。また，ユーザによって撮像画像表示領域60等に表示されている撮像画像の中から所望の撮像画像が決定されると（図４ステップ36でＹＥＳ），決定された撮像画像が電子アルバムに入れられる撮像画像としてメモリ10に記憶される（図４ステップ37）。アルバム作成ボタン86が押され，電子アルバム作成装置１にアルバム作成指令が与えられると（図４ステップ38でＹＥＳ），上述のように決定した主人公の撮像画像の割合が多くなるように電子アルバムが自動で作成される（図４ステップ39）。

図10から図12は，変形例を示すものである。

図10は，同一人物を表わす主要顔画像を見つける処理手順（図３ステップ28の処理手順）を示すフローチャートである。

主要顔画像が子供の場合（必ずしも子供に限らない），顔画像グループごとに決定された複数の主要顔画像の中に同一人物を表しているものがあっても，同一人物を表わしているかどうか分らないことがある。そのような場合に，主要顔画像の人物と一緒に写っている人物が同じ人物である場合には，その主要顔画像の人物が同一人物であると見なすものである。

まず，ＣＰＵ２によって一の主要顔画像と他の主要顔画像とが同一人物であるか，非同一人物であるかどうかの判断が行われる（ステップ91）。明らかに同一人物であれば，それらの主要顔画像で表わされる人物は同一人物であると決定される（ステップ97）。また，明らかに同一人物でなければ（非同一人物），それらの主要顔画像で表わされる人物は同一人物ではないと決定される（ステップ99）（第２の主要顔画像判定手段）。一の主要顔画像と他の主要顔画像とが同一人物であるかどうかの判断がつかない（不能）場合に，次の処理が行われる。

まず，一の主要顔画像と一緒に写っている人物がいる撮像画像が同じ撮像画像グループの中からＣＰＵ２によって見つけられる（ステップ92）。たとえば，図11に示すように撮像画像グループＧ１に含まれる撮像画像Ｐ１において，人物Ｓ２が主要顔画像の人物であるとする。撮像画像Ｐ１は，人物Ｓ２と一緒に写っている人物Ｓ１およびＳ３がいるから，撮像画像Ｐ１が見つけられる。同様に，撮像画像Ｐ２には，主要顔画像の人物Ｓ２と一緒に写っている人物Ｓ３がいるから，撮像画像Ｐ２が見つけられる。

つづいて，他の主要顔画像と一緒に写っている人物がいる撮像画像が同じ撮像画像グループの中から見つけられる（ステップ93）。図12に示すように撮像画像グループＧ２に含まれる撮像画像Ｐ11において，人物Ｓ４が主要顔画像の人物であるとする。撮像画像Ｐ11には，人物Ｓ４と一緒に写っている人物Ｓ５およびＳ６があるから，撮像画像Ｐ11が見つけられる。同様に，撮像画像Ｐ12には，主要顔画像の人物Ｓ４と一緒に写っている人物Ｓ５がいるから，撮像画像Ｐ12が見つけられる。

つづいて，一の主要顔画像の人物と一緒に写っている人物の顔画像と他の主要顔画像の人物と一緒に写っている人物の顔画像とが同一人物かどうかが判断される（ステップ94）（副顔画像判定手段）。たとえば，図11に示す撮像画像Ｐ１に含まれる人物Ｓ１およびＳ３の少なくとも一人の顔画像と図12に示す撮像画像Ｐ11（他の撮像画像Ｐ12であってもよい）に含まれる人物Ｓ４およびＳ５の少なくとも一人の顔画像とが同一人物のものであると判断されると，ステップ94における判断で同一人物となる（ステップ94でＹＥＳ）。すると，同一判定回数がインクレメントされる（ステップ95）。

同一人物との判定回数が，あらかじめ定められていた所定回数とならなければ（ステップ96でＮＯ），一の主要顔画像の人物または他の主要顔画像の人物と一緒に写っている人物がいる撮像画像が撮像グループから無くなったかどうかが確認される（ステップ98）。無くなると，一の主要顔画像の人物と他の主要顔画像の人物とは同一人物ではないと決定される（ステップ99）。一の主要顔画像の人物または他の主要顔画像の人物と一緒に写っている人物がいる撮像画像が撮像グループに残っていれば（ステップ98でＮＯ），再びステップ94からの処理が繰り返される。たとえば，図11に示す撮像画像Ｐ２に主要顔画像の人物Ｓ２と一緒に写っている人物Ｓ３と図12に示す撮像画像Ｐ12に主要顔画像の人物Ｓ４と一緒に写っている人物Ｓ５とが同一人物かどうかが判断される（ステップ94）。同一人物であれば，同一判定回数がインクレメントされる（ステップ95）。

同一人物と判定された回数が所定回数以上となると（ステップ96），一の主要顔画像の人物と他の主要顔画像の人物とが同一人物であると決定される（ステップ97）。もっとも，同一人物と判定された回数が所定回数とならずに，一回判定されただけで，一の主要顔画像の人物と他の主要顔画像の人物とが同一人物であると決定されてもよい。

上述の実施例では，図８等に示すように主要顔画像ＲＦ１等が表示画面50に表示され，表示されている主要顔画像ＲＦ１等の中から電子アルバムの主人公がユーザによって選択されているが，主要顔画像ＲＦ１等を表示せずに主要顔画像ＲＦ１等の中から電子アルバムの主人公が自動的に決定されるようにしてもよい。その場合は，たとえば，主要顔画像の人物のうち，写っている撮像枚数が最も多い人物を主人公とすることが考えられるが，他の方法により主人公が決定されてもよい。

図５に示したように，撮像時期にもとづいて多数の撮像画像が撮像画像グループに分けられているが，異なるイベントと見なされる撮像時間が離れている期間を調節する指令を，電子アルバム生成装置１の入力装置９から与えるようにしてもよい。入力装置９から与えられた期間以上離れている撮像画像の固まりが一つの撮像画像グループとされる。子供の成長は早いため，撮像画像グループから決定された主要顔画像が同じ子供でも異なる人物と判定されてしまうことがあるので，撮像時期が離れていない撮像画像が一つの撮像画像グループに含まれるようにするためである。このために，子供を主人公としたい場合には，撮像グループの間隔が短くなるように入力装置９によって期間が調節される。

１ 電子アルバム生成装置（撮像画像の主要顔画像決定装置）
２ ＣＰＵ（顔画像グルーピング手段，主要顔画像決定手段，顔画像グループ混合手段，第１の主要顔画像判定手段，第２の主要顔画像判定手段，副顔画像判定手段，撮像画像グルーピング手段，表示制御手段，電子アルバム生成手段）
６ タッチ・パネル（主要顔画像指定手段）
７ ＣＤ−ＲＯＭ（プログラムを格納した記録媒体）

Claims (18)

1. 多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成する顔画像グルーピング手段，
   上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する主要顔画像決定手段，ならびに
   上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを１つの顔画像グループにまとめる顔画像グループ混合手段を備え，
   上記主要顔画像決定手段は，
   上記顔画像グループ混合手段においてまとめられた顔画像グループおよび上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定するものである，
   撮像画像の主要顔画像決定装置。
2. 上記顔画像グループ混合手段は，
   上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを，一定数以上の顔画像が含まれるように１つの顔画像グループにまとめるものである，
   請求項１に記載の撮像画像の主要顔画像決定装置。
3. 上記主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表わしているかどうかを判定する第１の主要顔画像判定手段，
   をさらに備えた請求項１または２に記載の撮像画像の主要顔画像決定装置。
4. 上記主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているかを判定する第２の主要顔画像判定手段，および
   上記第２の主要顔画像判定手段によって，一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているか，いずれも判定不能となった場合に，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定する副顔画像判定手段をさらに備え，
   上記第２の主要顔画像判定手段は，上記副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより，一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定するものである，
   請求項１から３のうち，いずれか一項に記載の撮像画像の主要顔画像決定装置。
5. 上記第２の主要顔画像判定手段は，
   上記副顔画像判定手段により，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物のものであると判定された回数が所定回数以上となったことにより，一の主要顔画像と他の主要顔画像とが同一人物を表していると判定するものである，
   請求項４に記載の撮像画像の主要顔画像決定装置。
6. 上記顔画像グルーピング手段は，
   多数の撮像画像を，イベントごとにグループ分けする撮像画像グルーピング手段を備え，
   上記撮像画像グルーピング手段によってイベントごとにグループ分けされた多数の撮像画像から，顔画像を検出してイベントごとに複数の顔画像グループを生成するものである，
   請求項１から５のうち，いずれか一項に記載の撮像画像の主要顔画像決定装置。
7. 上記顔画像グルーピング手段は，
   多数の撮像画像のそれぞれから顔画像を検出する顔画像検出手段をさらに備え，
   上記顔画像検出手段によって検出された多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成するものである，
   請求項１から５のうち，いずれか一項に記載の撮像画像の主要顔画像決定装置。
8. 撮像時期が近い撮像画像を同一のイベントで得られたものとし，撮像時期が離れている撮像画像を異なるイベントで得られたものとして，多数の撮像画像をイベントごとにグループ分けするものである，
   請求項６または７に記載の撮像画像の主要顔画像決定装置。
9. 異なるイベントと見なされる撮像時期が離れている期間を調節する期間調節手段，
   をさらに備えた請求項８に記載の撮像画像の主要顔画像決定装置。
10. 上記主要顔画像決定手段によって決定された主要顔画像によって特定される主要人物のうち，少なくとも一人の主要人物が含まれている撮像画像が，他の撮像画像よりも多い電子アルバムを生成する電子アルバム生成手段，
    をさらに備えた請求項１から９のうち，いずれか一項に記載の撮像画像の主要顔画像決定装置。
11. 上記主要顔画像決定手段によって決定された主要顔画像を表示画面に表示するように表示装置を制御する表示制御手段，および
    上記表示制御手段による制御により表示装置の表示画面に表示された主要顔画像のうち，少なくとも一の主要顔画像を指定する主要顔画像指定手段をさらに備え，
    上記電子アルバム生成手段は，
    上記主要顔画像指定手段によって指定された一の主要顔画像によって特定される主要人物が含まれている撮像画像が，上記主要人物が含まれていない撮像画像よりも多くなるように上記多数の撮像画像を利用して電子アルバムを生成するものである，
    をさらに備えた請求項10に記載の撮像画像の主要顔画像決定装置。
12. 上記主要顔画像決定手段によって決定された主要顔画像のうち，上記第１の主要顔画像判定手段によって同一人物を表わしていると判定された主要顔画像については１つの主要顔画像を表示画面に表示するように表示装置を制御する表示制御手段，
    をさらに備えた請求項３に記載の撮像画像の主要顔画像決定装置。
13. 顔画像グルーピング手段が，多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成し，
    主要顔画像決定手段が，上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する撮像画像の主要顔画像決定装置の制御方法において，
    顔画像グループ混合手段が，上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを１つの顔画像グループにまとめ，
    上記主要顔画像決定手段は，上記顔画像グループ混合手段においてまとめられた顔画像グループおよび上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する，
    撮像画像の主要顔画像決定装置の制御方法。
14. 多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成させ，
    生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定させるように撮像画像の主要顔画像決定装置のコンピュータを制御するプログラムであって，
    生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを１つの顔画像グループにまとめさせ，
    まとめさせられた顔画像グループおよび生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定させるように撮像画像の主要顔画像決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
15. 多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成する顔画像グルーピング手段，
    上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する主要顔画像決定手段，
    上記主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているかを判定する主要顔画像判定手段，および
    上記主要顔画像判定手段によって，一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているか，いずれも判定不能となった場合に，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定する副顔画像判定手段を備え，
    上記主要顔画像判定手段は，上記副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより，一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定するものである，
    撮像画像の主要顔画像決定装置。
16. 顔画像グルーピング手段が，多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成し，
    主要顔画像決定手段が，上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する撮像画像の主要顔画像決定装置の制御方法において，
    主要顔画像判定手段が，上記主要顔画像決定手段によって，顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているかを判定し，
    副顔画像判定手段が，上記主要顔画像判定手段によって，一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているか，いずれも判定不能となった場合に，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定し，
    上記主要顔画像判定手段は，上記副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより，一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定する，
    撮像画像の主要顔画像決定装置の制御方法。
17. 多数の撮像画像から得られる多数の顔画像を，イベントごとにグループ分けして複数の顔画像グループを生成させ，
    生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の１または複数の主要顔画像を，多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定させるように撮像画像の主要顔画像決定装置のコンピュータを制御するプログラムであって，
    顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているかを判定させ，
    一の主要顔画像と他の主要顔画像とが同一人物を表しているか，非同一人物を表わしているか，いずれも判定不能となった場合に，一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定させ，
    一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより，一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定させるように撮像画像の主要顔画像決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
18. 請求項14または17に記載のプログラムを格納した記録媒体。

Images