JP5231178B2

JP5231178B2 - カメラ

Info

Publication number: JP5231178B2
Application number: JP2008289130A
Authority: JP
Inventors: 和弘小沢
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2008-11-11
Filing date: 2008-11-11
Publication date: 2013-07-10
Anticipated expiration: 2028-11-11
Also published as: JP2010118787A

Description

本発明は、複数の画像を代表する代表画像を決定して表示できるカメラに関する。

近年、デジタルカメラに用いられる記録媒体の記録容量が増加して、撮影可能なコマ数が増加する傾向にある。こうした状況にあって、撮影画像を簡単に他の人に見せられるようにする技術が重要になってきている。例えば、何らかのシーンに参加した人がそのシーンの状況を知らせるべく、そのシーン中の撮影画像を家族や友人等に見せる場合に、数十枚の撮影画像をすべて見せていては見るのに時間がかかる。

このような事情に鑑み、特許文献１等において、複数の撮影画像を代表する代表画像を複数の条件に従って決定し、撮影画像の再生時には、まず代表画像を再生するようにしている。これにより、ユーザは記録媒体内に記録された多数の画像の内容を容易に把握することができる。
特開２００２−２１８３８８号公報

ここで、特許文献１においては、撮影画像に写っている人数の情報、撮影画像と関連して集音された音声情報、撮影画像の圧縮率等を利用して代表画像を決めている。しかしながら、特許文献１の手法は各撮影画像の撮影シーンを考慮して代表画像を決定しているわけではないため、必ずしもユーザが所望する代表画像が決定されるとは限らない。

本発明は、上記の事情に鑑みてなされたものであり、撮影画像中の被写体の人数から各撮影画像の撮影シーンを特定してユーザにとっての満足度が高い代表画像を決定することが可能なカメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様のカメラは、複数の画像を記録する記録部と、上記記録された複数の画像のそれぞれに写っている顔から個人を特定し、上記記録された複数の画像のそれぞれに写っている顔の数を、上記特定した個人毎に検出する顔検出部と、上記顔検出部で検出された画像毎の上記顔の数の中で最も多い顔の数に従って、上記複数の画像の中の代表画像を複数決定する代表画像決定部と、上記決定された複数の代表画像を同時表示する表示部と、を具備し、上記表示部は、上記決定された複数の代表画像のうちの主代表画像を画面中央部に表示させる又は上記主代表画像と異なる副代表画像よりも表示サイズを大きくして表示させるとともに、上記副代表画像を画面周辺部に表示させる又は上記主代表画像よりも表示サイズを小さくして表示させ、上記代表画像決定部は、上記最も多い顔の数が１つである場合に、上記記録部に記録された複数の画像の中で１人の人物が写っている画像を上記主代表画像に決定し、上記記録部に記録された複数の画像の中で２人の人物が写っている画像を上記副代表画像に決定することを特徴とする。
上記の目的を達成するために、本発明の第２の態様のカメラは、複数の画像を記録する記録部と、上記記録された複数の画像のそれぞれに写っている顔から個人を特定し、上記記録された複数の画像のそれぞれに写っている顔の数を、上記特定した個人毎に検出する顔検出部と、上記顔検出部で検出された画像毎の上記顔の数の中で最も多い顔の数に従って、上記複数の画像の中の代表画像を複数決定する代表画像決定部と、上記決定された複数の代表画像を同時表示する表示部と、を具備し、上記表示部は、上記決定された複数の代表画像のうちの主代表画像を画面中央部に表示させる又は上記主代表画像と異なる副代表画像よりも表示サイズを大きくして表示させるとともに、上記副代表画像を画面周辺部に表示させる又は上記主代表画像よりも表示サイズを小さくして表示させ、上記顔検出部は、さらに、上記記録された複数の画像に写っている顔から個人を特定し、上記代表画像決定部は、上記最も多い顔の数が１つである場合に、上記記録部に記録された複数の画像の中で１人の人物が写っており且つ最も多く写っている人物を含む画像を上記主代表画像に決定し、上記記録部に記録された複数の画像の中で１人の人物が写っており且つ次に多く写っている人物を含む画像を上記副代表画像に決定することを特徴とする。

本発明によれば、撮影画像中の被写体の人数から各撮影画像の撮影シーンを特定してユーザにとっての満足度が高い代表画像を決定することが可能なカメラを提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係るカメラを有するカメラシステムの構成図である。図１に示すカメラシステムは、デジタルカメラ（以下、単にカメラと記す）１００と、画像表示装置２００とを有している。カメラ１００と画像表示装置２００とは通信自在に構成されている。図１に示す構成において、カメラ１００で撮影された画像を画像表示装置２００に送信し、送信された画像を画像表示装置２００において再生可能である。

カメラ１００は、制御部１０１と、操作部１０２と、撮像部１０３と、顔検出部１０４と、表示部１０５と、時計部１０６と、記録部１０７と、人物登場回数ファイル作成部１０８と、代表画像決定部１０９と、通信部１１０とを有している。

制御部１０１は、カメラ用に構成されたＬＳＩ等から構成されており、ユーザによる操作部１０２の操作を受けて図１のカメラ１００内部の各ブロックの制御を行う。また、制御部１０１は、撮像部１０３によって取得された画像に対してホワイトバランス補正等の画像処理や圧縮処理等を施すことも行う。

操作部１０２は、ユーザがカメラ１００の操作を行うための操作部である。操作部１０２には、例えば、ユーザが撮影の実行を指示するための操作部、ユーザが画像の再生を指示するための操作部、ユーザがカメラ１００に関する各種の選択操作を行うための操作部等が含まれる。

撮像部１０３は、図示しない被写体の撮像を行って、被写体の像を画像として取り込み、取り込んだ画像をデジタルデータとして制御部１０１に出力する。顔検出部１０４は、撮像部１０３で取り込まれた画像における被写体（人物）の顔部分を検出する。ここで、顔画像は、例えば画像中の肌色の略円形領域として検出できる。この他、種々の手法に従って顔画像を検出することが可能である。また、詳細は後述するが、本実施形態における顔検出部１０４は、人物の表情等の特徴も検出可能である。

表示部１０５は、例えばカメラ１００の背面に設けられ、撮像部１０３で撮影された画像や記録部１０７に記録された画像等の各種の画像を表示する。この表示部１０５は、例えば液晶ディスプレイ等から構成されている。また、表示部１０５には、撮像部１０３で逐次得られた画像をリアルタイムに表示させることもできる。このような表示を行うことにより、ユーザは表示部１０５の画像を見てフレーミングを行うことが可能である。

時計部１０６は、撮像部１０３によって撮影がなされた日時等を計時する。記録部１０７は、撮像部１０３によって撮影され、制御部１０１において圧縮された画像が記録される。なお、記録部１０７に記録される画像には、時計部１０６によって計時された撮影日時等の各種の撮影情報も付与される。

人物登場回数ファイル作成部１０８は、記録部１０７に記録された各画像が属する画像群を決定し、その決定結果に基づいて人物登場回数ファイルを作成又は更新する。代表画像決定部１０９は、撮影画像の撮影日時及び顔検出部１０４による顔検出の結果から、各画像群を代表する画像である代表画像を決定する。この代表画像決定部１０９の動作の詳細については後述する。

通信部１１０は、カメラ１００と画像表示装置２００との通信を行うための通信回路である。カメラ１００と画像表示装置２００との通信方式については特に限定されるものではない。例えば、カメラ１００を、図２のように、画像表示装置２００の通信部２０３に近づけた場合に、赤外線通信等の近距離無線通信がなされるように通信部１１０を構成する。

画像表示装置２００は、例えばテレビジョン受像機（以下、ＴＶと記す）等である。なお、画像を表示できるものであれば、画像表示装置２００はＴＶに限定されるものではない。この画像表示装置２００は、制御部２０１と、表示部２０２と、通信部２０３と、操作部２０４とを有している。

制御部２０１は、画像表示装置２００の各ブロックの制御を行う。表示部２０２は、カメラ１００から送信された画像等の各種の画像を表示する。画像表示装置２００がＴＶである場合には、図示しないアンテナを介して受信された映像を表示部２０２に再生することも可能である。通信部２０３は、例えば図２に示すようにして、カメラ１００からの通信信号を受信するための回路を含んでいる。操作部２０４は、ユーザが画像表示装置２００の操作を行うための操作部である。なお、図１においては、操作部２０４が画像表示装置２００に設けられている例を示している。しかしながら、画像表示装置２００がＴＶである場合には、リモートコントローラ（リモコン）によって遠隔操作可能としても良い。この場合にはリモコンが操作部２０４となる。

次に、本実施形態における代表画像決定の概念について説明する。図３は、シーン毎の画像の撮影枚数の一例を示した図である。なお、図３の例では、外出時、運動会時、結婚式時の画像の撮影枚数の例を示している。

例えば、夫婦２人で外出したときに撮影される画像は、被写体Ａ（奥さんだけ）、被写体Ｂ（奥さんに撮ってもらった自分）、被写体Ｃ（夫婦２人）が主であり、この他、外出先の風景の画像等もあり得る。また、運動会時に撮影され得る画像は、被写体Ｄ（子供）が主であり、この他、被写体Ｅ（親子）、被写体Ｆ（親のみ）等があり得る。さらに、結婚式の場合は、被写体Ｇ（新郎新婦）の画像が主であり、この他、被写体Ｈ（新婦や新郎のみ）や、被写体Ｉ（結婚式に参加しているその他大勢の人物）等があり得る。

このように、撮影時の状況に応じて、撮影される人の数とその比率が異なる。本実施形態では、撮影画像中に写っている人物の数とその比率から、撮影時の状況を類推し、この類推結果に従って複数の画像群を代表する代表画像を決定する。例えば、結婚式等の特定の２人の画像が多くなる状況では、まず、その２人（被写体Ｇ）の画像を代表画像に決定する。代表画像は、複数決定できるようにしても良く、この場合には、被写体Ｈや被写体Ｉの画像も代表画像に決定する。画像の再生時には、まず、代表画像のみを例えば図４のように同時表示させる。即ち、最も重要な代表画像である被写体Ｇの画像を主代表画像としてカメラ１００の表示部１０５又は画像表示装置２００の表示部２０２の画面中央部に大きく表示させ、さらに、被写体Ｈの画像及び被写体Ｉの画像を副代表画像としてカメラ１００の表示部１０５又は画像表示装置２００の表示部２０２の画面周辺部に小さく表示させる。このようにして代表画像を表示させることにより、ユーザは撮影時の状況を大まかに把握することができる。

以下、上述のような代表画像の決定及び表示を行うためのカメラ１００の動作について説明する。図５は、カメラ１００のメインの動作について示すフローチャートである。なお、図５の動作はカメラ１００の制御部１０１が司るものである。

図５において、制御部１０１は、カメラ１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０１）。カメラの動作モードの選択はユーザが操作部１０２を操作することにより行われる。ステップＳ１０１の判定において、カメラの動作モードが撮影モードである場合に、制御部１０１は、撮像部１０３を連続動作させてフレーミング用の画像の取り込みを実行させる。さらに、制御部１０１は、撮像部１０３を介して得られた画像における人物の顔部を顔検出部１０４に検出させる（ステップＳ１０２）。顔検出の実行を指示した後、制御部１０１は、撮像部１０３を介して逐次得られた画像を表示部１０５にリアルタイムに表示させる（ステップＳ１０３）。この表示により、ユーザはフレーミング等を行うことが可能である。

画像表示の後、制御部１０１は、顔検出部１０４によって顔が検出できたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、顔検出部１０４によって顔が検出できた場合に、制御部１０１は、顔検出部１０４によって検出された顔の位置及び数を記憶する（ステップＳ１０５）。ここで、記憶した顔の位置は撮像部１０３のフォーカス制御や露出の制御に利用することが可能である。一方、ステップＳ１０４の判定において、顔検出部１０４によって顔が検出できなかった場合に、制御部１０１はステップＳ１０５の処理をスキップする。

次に、制御部１０１は、操作部１０２の操作により、撮影実行指示がなされたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、撮影実行指示がなされていない場合には、処理がステップＳ１０１に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１０６の判定において、撮影実行指示がなされた場合に、制御部１０１は、撮像部１０３を制御して画像の撮影を実行する。その後、制御部１０１は、撮像部１０３で得られた画像に対して画像処理及び圧縮処理等を施した後、処理後の画像を記録部１０７に記録させる（ステップＳ１０７）。画像の記録後、制御部１０１は、代表画像決定部１０９を制御して代表画像を決定する（ステップＳ１０８）。なお、ステップＳ１０８の代表画像の決定処理の詳細については後で詳しく説明する。

また、ステップＳ１０１の判定において、カメラ１００の動作モードが撮影モードでない場合に、制御部１０１は、カメラ１００の動作モードが再生モードであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、カメラ１００の動作モードが再生モードである場合に、制御部１０１は、記録部１０７に記録されている画像群に対応した代表画像を図４で示したようにして表示部１０５に同時表示させる（ステップＳ１１０）。なお、画像群を形成していない画像に対しては、画像群を形成していないそれぞれの画像を代表画像して表示させる。

次に、制御部１０１は、表示部１０５に表示された代表画像の何れかが選択されたか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、代表画像が選択されていない場合に、処理がステップＳ１０９に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１１１の判定において、代表画像が選択された場合に、制御部１０１は、選択された代表画像を含む画像群のサムネイル画像を表示部１０５に表示させる（ステップＳ１１２）。その後、制御部１０１は、ユーザによって何れかのサムネイル画像が選択された場合には、選択されたサムネイル画像に対応した画像を再生して表示部１０５に拡大表示する（ステップＳ１１３）。なお、この拡大表示された画像を画像表示装置２００に送信できるようにしても良い。

また、ステップＳ１０９の判定において、カメラ１００の動作モードが再生モードでない場合に、制御部１０１は、カメラ１００の動作モードが通信モードか否かを判定する（ステップＳ１１４）。ステップＳ１１４の判定において、カメラ１００の動作モードが通信モードでない場合に、処理がステップＳ１０１に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１１４の判定において、カメラ１００の動作モードが通信モードである場合に、制御部１０１は、画像表示装置２００から特定の画像の送信要求がなされているか否かを判定する（ステップＳ１１５）。ステップＳ１１５の判定において、特定の画像の送信要求がなされている場合に、制御部１０１は、通信部１１０を制御して、画像表示装置２００によって要求された画像を画像表示装置２００に送信する（ステップＳ１１６）。

また、ステップＳ１１５の判定において、特定の画像の送信要求がなされていない場合に、制御部１０１は、操作部１０２の操作によって画像の送信指示がなされたか否かを判定する（ステップＳ１１７）。ステップＳ１１７の判定において、画像の送信指示がなされていない場合に、処理がステップＳ１０１に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１１７の判定において、画像の送信指示がなされた場合に、制御部１０１は、その送信指示が１回目の送信指示であるか否かを判定する（ステップＳ１１８）。ステップＳ１１８の判定において、送信指示が１回目の送信指示である場合に、制御部１０１は、代表画像を画像表示装置２００に送信するように通信部１１０を制御する（ステップＳ１１９）。この際、主代表画像を画像表示装置２００の表示部２０２の画面中央部に大きく表示させ、副代表画像を画像表示装置２００の表示部２０２の画面周辺部に小さく表示させるための指示も送る。初回の送信は、記録部１０７に記録された画像のダイジェストを確認するための送信とする。また、ステップＳ１１８の判定において、送信指示が１回目ではない、即ち２回目以後である場合に、制御部１０１は、記録部１０７に記録された最新の画像群を全て送信するように通信部１１０を制御する（ステップＳ１２０）。２回目以後の送信は記録部１０７に記録された画像の詳細を知るための送信とする。なお、この際、ユーザが画像表示装置２００に表示された代表画像の何れかを選択できるようにしておき、ユーザによって選択された代表画像が属する画像群に含まれる画像のみを送信するようにしても良い。また、ユーザによって選択された代表画像と撮影日時や画像そのものが類似しているもののみを送信するようにしても良い。

次に、代表画像決定処理について説明する。この代表画像決定処理においては、画像に写っている人物（顔）の数や表情等の情報から人物登場回数ファイルを作成し、該作成した人物登場回数ファイルを参照して代表画像を決定する。

図６は、人物登場回数ファイルの内容を示す図である。人物登場回数ファイルは日付毎に作成される。即ち、同じ日付に撮影された画像は、同じシーンで撮影されたものとして、該画像に関する情報は同じ人物登場回数ファイル内に記録される。本実施形態では、同じ人物登場回数ファイルに対応している画像は同じ画像群に属しているものとみなす。

図６に示すように、人物登場回数ファイルには、予めカメラ１００に登録されている顔が画像中に含まれているか否かを示す情報、顔が含まれている場合にはそれぞれの顔の笑顔度（詳細は後述する）を示す情報、画像内のトータルの顔数、画像内の最高の笑顔度を示す情報、及び撮影時刻を画像毎に記録する。

図６は、カメラ１００に３人の顔画像（それぞれＡ、Ｂ、Ｃとする）が登録されている例を示している。画像内に顔Ａが存在していた場合には、「顔Ａ」の項目に顔Ａが存在していたことを示す「１」が記録される。また、同様に、画像内に顔Ｂが存在していた場合には、「顔Ｂ」の項目に「１」が記録され、画像内に顔Ｃが存在していた場合には、「顔Ｃ」の項目に顔Ｃが存在していたことを示す「１」が記録される。さらに、顔画像に子供の画像が含まれている場合には、その旨を示す情報も記録される。子供か否かの判定は、例えば画像における顔の大きさと体の大きさとの比が小さい場合に子供と判定する等の各種の手法が考えられる。

なお、図６の例では、３人の顔パターンを判別可能としているが、カメラ１００に４人以上の顔画像を登録しておけば、さらに多くの顔の判別を行うことができる。

笑顔度は、各顔がどの程度の笑顔であるのかを数値として示したものである。この笑顔度について説明する。図７は、人物の笑顔と笑顔でないときの顔（困った顔）とを比較して示した図である。なお、図７（ａ）が笑顔を示し、図７（ｂ）が困った顔を示している。図７（ａ）と図７（ｂ）との比較から分かるように、笑顔とそうでないときの顔とにはそれぞれ眼と口元に特徴があることが分かる。本実施形態では、人物の眼と口元の特徴から、画像中の顔がどの程度の笑顔であるかを数値として求める。

図８は、笑顔度Ｒの算出処理の詳細について示すフローチャートである。図８において、まず、顔検出部１０４によって検出された顔部の画像における目部、口部を検出する（ステップＳ２０１）。目部、口部は、顔部の画像の陰影の分布から検出する手法や目部や口部の特徴量を抽出する手法等の周知の手法で検出することが可能である。

ステップＳ２０１において目部、鼻部を検出した後、顔検出部１０４は、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図７（ａ）参照）を求める（ステップＳ２０２）。次に、顔検出部１０４は、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図７（ａ）参照）を求める（ステップＳ２０３）。ＥＡ及びＥＢを求めた後、顔検出部１０４は、ＥＡとＥＢの差をＥＡとＥＢの和で正規化した値ＲＥを求める（ステップＳ２０４）。ここで、笑顔の場合には図７（ａ）に示すようにＥＢが０に近くなるため、結果ＲＥが大きくなる。逆に笑顔でない顔（困った顔）の場合には図７（ｂ）に示すようにＥＡが０に近くなるため、結果ＲＥが小さくなる。したがって、ＲＥの大小からどの程度の笑顔であるかを判定することが可能である。

ＲＥを求めた後、顔検出部１０４は、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図７（ｂ）参照）を求める（ステップＳ２０５）。次に、顔検出部１０４は、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図７（ｂ）参照）を求める（ステップＳ２０６）。ＬＡ及びＬＢを求めた後、顔検出部１０４は、ＬＢとＬＡの差をＬＡとＬＢの和で正規化した値ＲＬを求める（ステップＳ２０７）。ここで、笑顔の場合には図７（ａ）に示すようにＬＡが０に近くなるため、結果ＲＬが大きくなる。逆に笑顔でない顔の場合には図７（ｂ）に示すようにＬＢが小さくなるため、結果ＲＬが小さくなる。したがって、ＲＬの大小からもどの程度の笑顔であるかを判定することが可能である。

ＲＥ及びＲＬを求めた後、顔検出部１０４はＲＥとＲＬの和である笑顔度Ｒを求める（ステップＳ２０８）。この笑顔度Ｒは大きいほどそのときの表情は笑顔に近いものとなる。さらに、図７（ａ）の符号Ｃで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、顔検出部１０４は口部分に歯（白部分）が検出され、且つ口端部に影があるか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、顔検出部１０４はＲに１を加算する（ステップＳ２１０）。

一方、ステップＳ２０９の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップＳ２１０の後、顔検出部１０４は眉間部分（目の間部分）に符号Ｄで示すような皺があるか否かを判定する（ステップＳ２１１）。皺は例えば、目の間部分の陰影分布から検出できる。ステップＳ２１１の判定において、眉間部分に皺がある場合に、顔検出部１０４はＲから１を減算する（ステップＳ２１２）。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップＳ２１１の判定を行う。

以上のようにして求められる笑顔度Ｒは笑顔に近いほど高い数値となる。この笑顔度Ｒにより、画像に写っている人物の笑顔度を判定することが可能となる。後述する人物登場回数ファイルの作成時（又は更新時）には図８の処理を行って笑顔度Ｒを算出して人物登場回数ファイルの「笑顔度」の項目に記録する。

なお、画像には、顔Ａ、Ｂ、Ｃ以外の顔が含まれている可能性もある。このため、図６に示す人物登場回数ファイルには、画像中の顔画像の総数を記録するための「トータル顔数」の項目及び画像中の最高の笑顔度を記録するための「最高笑顔度」の項目も設けている。

次に、代表画像決定処理の詳細について説明する。図９は、代表画像決定処理の詳細を示すフローチャートである。なお、図９の処理は、制御部１０１、人物登場回数ファイル作成部１０８、代表画像決定部１０９が連携して行う。

図５のステップＳ１０７において新たな画像を記録部１０７に記録した後、制御部１０１は、この新たに記録した画像と同じ日付に撮影された画像が他にもあったか否かを判定する（ステップＳ３０１）。

ステップＳ３０１の判定において、新たに記録した画像と同じ日付に撮影された画像が他にもあった場合には、その日付の人物登場回数ファイルは既に作成されていると考えられる。したがって、この場合に、制御部１０１は、人物登場回数ファイル作成部１０８と顔検出部１０４とを制御して、新たに記録した画像の撮影日付と同じ日付を有する人物登場回数ファイルの更新を行わせる（ステップＳ３０２）。人物登場回数ファイルの更新に際し、顔検出部１０４は、上述の笑顔度Ｒの算出を行う。なお、笑顔度Ｒの算出は顔検出と同時に行うようにしても良い。顔検出部１０４による笑顔度Ｒの算出後、人物登場回数ファイル作成部１０８は、新たに記録された画像に対応する、顔Ａ、顔Ｂ、顔Ｃの有無の情報、顔Ａ、顔Ｂ、顔Ｃの笑顔度の情報、トータル顔数の情報、最高笑顔度の情報、撮影時刻を人物登場回数ファイルに追記して人物登場回数ファイルを更新する。

また、ステップＳ３０１の判定において、新たに記録した画像と同じ日付に撮影された画像が他にない場合には、その日付の人物登場回数ファイルは作成されていない。したがって、この場合に、制御部１０１は、人物登場回数ファイル作成部１０８と顔検出部１０４とを制御して、新たに記録した画像の撮影日付に対応した人物登場回数ファイルを作成させる（ステップＳ３０３）。

人物登場回数ファイルの更新又は作成後、制御部１０１は、人物登場回数ファイルを参照することで、代表画像を決定するか否かを判定する（ステップＳ３０４）。本実施形態の例では画像群毎に代表画像を３枚決定する。したがって、同じ画像群に４枚以上の画像が属していない、即ち人物登場回数ファイルに４枚以上の画像に関する情報が含まれていない場合には、代表画像の決定を行わない。ステップＳ３０４の判定において、代表画像を決定しない場合には、図９の処理が終了される。

また、ステップＳ３０４の判定において、代表画像の決定を行う場合には制御部１０１は、代表画像決定部１０９に代表画像の決定開始を指示する。まず、代表画像決定部１０９は、新たに作成若しくは更新した人物登場回数ファイルの「トータル顔数」の項目を参照して、トータル顔数０が最も多いか、即ち、現在、代表画像の決定対象となっている画像群の中で顔数が０の画像が最も多いか否かを判定する（ステップＳ３０５）。

ステップＳ３０５の判定において、顔数が０の画像が最も多い場合には、現在、代表画像の決定対象となっている画像群の撮影日には風景の画像が多く撮影されていると考えられる。このような状況は、例えば、旅先で美しい風景に出会った時に感動して写真を沢山撮ったような状況を想定している。したがって、代表画像決定部１０９は、ユーザの最初の感動を重視して、代表画像の決定対象の画像群において最初に連続して撮影された複数の画像の中で最初に撮影された風景画像（顔を含まない画像）を主代表画像に決定する（ステップＳ３０６）。次に、代表画像決定部１０９は、代表画像の決定対象の画像群において次に連続して撮影された複数の画像の中で最初に撮影された風景画像を１枚目の副代表画像に決定する（ステップＳ３０７）。このように、顔を含まない画像が最も多い画像群は、人物以外の被写体が主要被写体である可能性が高いので、３枚の代表画像のうちの２枚は風景画像とする。この２枚の代表画像の決定後、代表画像決定部１０９は、画像群において人物が最も多く写っている画像、即ちトータル顔数が最も多い画像を２枚目の副代表画像に決定する。これは、風景画像のみを代表画像としてしまうと、画像群の全ての概要を把握し難くなることが考えられるためである。ただし、人物が写っている画像が存在していない場合には、先に決定した２枚の代表画像と撮影時刻が近い風景画像を３枚目の代表画像とする（ステップＳ３０８）。３枚の代表画像の決定後、図９の処理が終了される。

また、ステップＳ３０５の判定において、顔数が０の画像が最も多くない場合に、代表画像決定部１０９は、トータル顔数１が最も多いか、即ち代表画像の決定対象の画像群の中で顔数が１の画像が最も多いか否かを判定する（ステップＳ３０９）。ステップＳ３０９の判定において、顔数が１の画像が最も多い場合に、代表画像決定部１０９は、詳細は後述する代表画像選択１の処理を行う（ステップＳ３１０）。代表画像選択１の処理によって代表画像が決定した後、図９の処理が終了される。

また、ステップＳ３０９の判定において、顔数が１の画像が最も多くはない場合に、代表画像決定部１０９は、トータル顔数２が最も多いか、即ち代表画像の決定対象の画像群の中で顔数が２の画像が最も多いか否かを判定する（ステップＳ３１１）。ステップＳ３１１の判定において、顔数が２の画像が最も多い場合に、代表画像決定部１０９は、詳細は後述する代表画像選択２の処理を行う（ステップＳ３１２）。代表画像選択２の処理によって代表画像が決定した後、図９の処理が終了される。

また、ステップＳ３１１の判定において、顔数が２の画像が最も多くはない場合、即ちトータル顔数３以上の画像が最も多い場合に、代表画像決定部１０９は、詳細は後述する代表画像選択３の処理を行う（ステップＳ３１３）。代表画像選択３の処理によって代表画像が決定した後、図９の処理が終了される。

次に、代表画像選択１、２、３の処理についてさらに説明する。
図１０は、代表画像選択１の処理について示すフローチャートである。人物が１人の画像が多い場合、例えばデートの時のように相手の写真を中心に撮る場合や、１人の子供が主役で撮る場合が多く、主要被写体は画像に写っている１人の人物である可能性が高い。したがって、代表画像選択１の処理では、主要被写体が１人で写っている中でも笑顔度の高い画像を主代表画像とする。ただし、変化を付けるために、撮影の時刻を変えて選んだり、類似画像判定が出来る場合は類似度の低いものを選んだりすることが望ましい。また、デートの写真や子供の写真でも、例えばカップルの２人で撮ったものや、お母さんと子供といった写真も重要なので、主要被写体を含む２人で写っている画像がある場合にはこの２人画像も代表画像とすることが望ましい。

このような考え方に基づき、代表画像決定部１０９は、人物登場回数ファイルを参照して、現在、代表画像の決定対象となっている画像群に主要被写体の人物（最も多く写っている人物）を含む２人画像が含まれているか否かを判定する（ステップＳ４０１）。ステップＳ４０１の判定において、主要被写体を含む２人の画像が、代表画像の決定対象の画像群に含まれていない場合に、代表画像決定部１０９は、代表画像の決定対象の画像群の主要被写体の人物が写っている画像の中で笑顔度が所定値よりも高く撮影時刻が所定時間以上異なっている３枚の画像を代表画像に決定する（ステップＳ４０２）。なお、最も大きな表示とする主代表画像は例えば最も笑顔度の高い画像とする。

また、ステップＳ４０１の判定において、主要被写体の人物を含む２人の画像が含まれている場合に、代表画像決定部１０９は、まず、代表画像の決定対象の画像群の主要被写体の人物がそれぞれ１人で写っている画像の中で笑顔度が所定値よりも高く撮影時刻が所定時間以上異なっている２枚の画像を代表画像に決定する（ステップＳ４０３）。なお、この２枚は何れも主代表画像とする。その後、代表画像決定部１０９は、主要被写体の人物を含む２人の画像の中で主要被写体の人物の笑顔度が最も高い画像を副代表画像に決定する（ステップＳ４０４）。

なお、代表画像選択１の処理は図１１のような処理としても良い。図１１は、代表画像選択１の変形例の処理について示すフローチャートである。この変形例は、画像に写っている回数の多い上位３人の１人画像のそれぞれを代表画像とするものである。

図１１において、代表画像決定部１０９は、人物登場回数ファイルを参照して、代表画像の決定対象の画像群の各画像に写っている回数が最も多い人物を選定する（ステップＳ５０１）。なお、人物が画像に写っている回数を計数するためには各顔の有無を示す項目の「１」の数を計数すれば良い。例えば、図６の例では、顔Ａの人物が画像１、画像３、画像５、画像７の４枚の画像に写っており、最も画像に写っている回数の多い人物である。

次に、代表画像決定部１０９は、代表画像の決定対象の画像群の各画像に写っている回数が２番目に多い人物を選定する（ステップＳ５０２）。さらに、代表画像決定部１０９は、代表画像の決定対象の画像群の各画像に写っている回数が３番目に多い人物を選定する（ステップＳ５０３）。

次に、代表画像決定部１０９は、上位３人の写っている回数の差が所定値よりも小さいか否かを判定する（ステップＳ５０４）。ステップＳ５０４の判定において、上位３人の写っている回数の差が所定値よりも小さい場合には、上位３人の何れもが主要被写体である場合であると想定して、代表画像決定部１０９は、画像に写っている回数の多い上位３人がそれぞれ１人で写っている画像のうち、笑顔度が最も高い画像を主代表画像に決定する（ステップＳ５０５）。

また、ステップＳ５０４の判定において、上位３人の写っている回数の差が所定値よりも小さくない場合に、代表画像決定部１０９は、画像に写っている回数の多い上位２人の写っている回数の差が所定値よりも小さいか否かを判定する（ステップＳ５０６）。ステップＳ５０６の判定において、上位２人の写っている回数の差が所定値よりも小さい場合に、代表画像決定部１０９は、まず、画像に写っている回数の多い上位２人がそれぞれ１人で写っている画像のうち、笑顔度が最も高い画像を主代表画像に決定する（ステップＳ５０７）。

さらに、代表画像決定部１０９は、３枚目の代表画像として、画像に写っている回数の多い上位２人が２人で写っている画像のうち、笑顔度が最も高い画像を副代表画像に決定する（ステップＳ５０８）。このような状況は、２人が主要被写体でこの２人の主要被写体をあえて別々に撮影したような状況である。例えば、子供の数が２人の人が、あえて２人の子供を別々に撮ったような場合が考えられる。なお、２人で写っている画像がない場合は、例えば画像に写っている回数の最上位の人物の画像で撮影時刻が異なる画像を代表画像に決定する。

また、ステップＳ５０６の判定において、画像に写っている回数の多い上位２人の写っている回数の差が所定値よりも小さくない場合に、代表画像決定部１０９は、画像に写っている回数が最も多い人物が１人で写っている画像の中で笑顔度が所定時間以上異なっており、且つ笑顔度の高い３枚の画像を代表画像に決定する（ステップＳ５０９）。この場合の主代表画像は例えば笑顔度が最も高い画像とする。

以上のように、１人画像が多い状況では、明確に主要被写体が特定できるので、この主要被写体の画像を代表画像とする。

図１２は、代表画像選択２の処理について示すフローチャートである。例えば、子供が２人以上いる場合は２人の子供を並ばせて撮る場合が多くなり、１人画像ではなく２人の画像が多いという判定がなされる確率が高くなる。

ここで、２人の画像が多い場合は、先の１人の画像が多い場合に比べて主要被写体を１人に特定し難い。例えば、結婚式の新郎新婦や２人の子供等のように明確にある２人が主要被写体となる可能性もあり、また親子３人で旅行に行った先で偶々２人の画像が多く撮影されたような場合等も考えられる。

図１２において、代表画像決定部１０９は、人物登場回数ファイルを参照して、代表画像の決定対象の画像群において写っている回数が最も多い人物の組み合わせである最多ペアを選定する（ステップＳ６０１）。この選定も基本的には１人の場合と同様である。しかしながら、今回は２人の顔の組み合わせで判定を行うことになる。例えば、図６の例においては、画像２、画像５、画像７でそれぞれ異なる組み合わせの人物が１回ずつ写っている。この場合の最多ペアは、顔Ｂの人物と顔Ｃの人物のペア、顔Ａの人物と顔Ｃの人物のペア、顔Ａの人物と顔Ｂの人物のペアの３ペアとなる。

最多ペアの選定の後、代表画像決定部１０９は、最多ペアの画像に子供の画像が含まれているか否かを判定する（ステップＳ６０２）。ステップＳ６０２の判定において、最多ペアの画像に子供の画像が含まれている場合に、代表画像決定部１０９は、最多ペアの画像の中でそれぞれの笑顔度が最も高い２枚の画像をそれぞれ主代表画像に決定する（ステップＳ６０３）。このような最多ペアの画像に子供が主に写っているときには家族写真である場合が多い。このため、３枚目の代表画像としては家族全員の写っている画像が代表画像となるように、代表画像決定部１０９は、最多ペアを含み、且つ３人以上の人物が写っている画像の中で最も笑顔度の高い画像を副代表画像に決定する（ステップＳ６０４）。

また、ステップＳ６０２の判定において、最多ペアの画像に子供の画像が含まれていない場合に、代表画像決定部１０９は、最多ペアのみの画像の中で笑顔度が最も高い画像を主代表画像に決定する（ステップＳ６０５）。例えば、図４のようにして表示を行うことにより、中央に新郎新婦の笑っている画像等のユーザが最初に見たい又は見せたい画像が表示されることになる。

続いて、代表画像決定部１０９は、最多ペアを含む３人の画像が所定以上あるか否かを判定する（ステップＳ６０６）。ステップＳ６０６の判定において、最多ペアを含む３人の画像が所定以上ない場合には、例えば結婚式の写真のような最多ペアのみの画像が多いシーンであると考えられる。この場合に、代表画像決定部１０９は、最多ペアの画像の中で別構図の画像を１枚目の副代表画像に決定する（ステップＳ６０７）。なお、別構図の画像とは、例えば縦構図又は横構図といった画像としての構図が異なる画像や、主要被写体の服が替わっている画像等を含む。被写体の服の変化は、例えば画像における顔部の下方の部位の色変化から検出できる。このようにして１枚目の副代表画像を決定した後、代表画像決定部１０９は、最多ペアを含み、且つ最も多くの人物が写っている画像を２枚目の副代表画像に決定する（ステップＳ６０８）。このような画像は、例えば新郎新婦が祝福されている様子を示す画像である。このような画像も、結婚式の様子を伝えるのに重要な代表画像となり得る。

また、ステップＳ６０６の判定において、最多ペアを含む３人の画像が所定以上ある場合には、親子３人の旅行等のシーンであると考えられる。この場合に、代表画像決定部１０９は、最多ペアを含み、且つ３人の人物が写っている画像の中で最も笑顔度の高い画像を１枚目の副代表画像に決定する（ステップＳ６０９）。さらに、代表画像決定部１０９は、最多ペアとは異なるペアの画像を２枚目の副代表画像に決定する（ステップＳ６１０）。これによって、いろいろな組み合わせの写真が楽しめる。例えば、親子３人の旅行を代表する画像としては、全員、母子、父子の３枚が代表画像となる。

図１３は、代表画像選択３の処理について示すフローチャートである。この場合は、例えば、パーティのようなシーンで、誰が主要被写体であるといった明確な場合分けができな。このため、画像群をその撮影時刻に従って３分割し、その中から人物が多く写っているものをそれぞれ選択して時間推移が追えるような画像を代表画像とする。

まず、代表画像決定部１０９は、３分割した時間区分のうちの中央のタイミングに含まれる画像の中で最も人物が多く写っている画像を主代表画像に決定する（ステップＳ７０１）。この場合は、パーティ等が最も盛り上がっているであろう中央のタイミングの画像を主代表画像とする。続いて、代表画像決定部１０９は、３分割した時間区分のうちの初期のタイミングの画像の中で最も人物が多く写っている画像を１枚目の副代表画像に決定する（ステップＳ７０２）とともに、終了のタイミングの画像の中で最も人物が多く写っている画像を２枚目の副代表画像に決定する（ステップＳ７０３）。

以上説明したように、本実施形態によれば、複雑な人物の特定のような技術を極力用いずに、単純な人物数（顔数）や表情の特徴等だけで撮影時のシーンの類推を行い、この類推結果に応じて代表画像を決定することで、ユーザの満足度の高い代表画像の決定を行うことが可能である。

また、代表画像を主代表画像と副代表画像とに分け、それぞれで表示の仕方を変えるようにしているので、ユーザが最初に見たい又は見せたい画像を強調表示することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では代表画像を３枚決定するようにしているが、代表画像を２枚としても良く、また４枚以上としても良い。代表画像を２枚とする場合には、３枚目の代表画像の決定を行わなければ良く、また代表画像を４枚以上とする場合には、例えば笑顔度が高く、且つ過去の代表画像と撮影時刻や構図等が異なる画像を選択すれば良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係るカメラを有するカメラシステムの構成図である。画像表示装置の通信部の一例について示す図である。シーン毎の画像の撮影枚数の一例を示した図である。代表画像の表示例を示す図である。本発明の一実施形態に係るカメラのメインの動作について示すフローチャートである。人物登場回数ファイルの内容を示す図である。図７（ａ）は人物の笑顔の特徴について説明するための図であり、図７（ｂ）は人物の笑顔でないときの特徴について説明するための図である。笑顔度Ｒの算出処理の詳細について示すフローチャートである。代表画像決定処理の詳細を示すフローチャートである。代表画像選択１の処理について示すフローチャートである。代表画像選択１の処理の変形例について示すフローチャートである。代表画像選択２の処理について示すフローチャートである。代表画像選択３の処理について示すフローチャートである。

符号の説明

１００…デジタルカメラ、１０１…制御部、１０２…操作部、１０３…撮像部、１０４…顔検出部、１０５…表示部、１０６…時計部、１０７…記録部、１０８…人物登場回数ファイル作成部、１０９…代表画像決定部、１１０…通信部、２００…画像表示装置、２０１…制御部、２０２…表示部、２０３…通信部、２０４…操作部

Claims

複数の画像を記録する記録部と、
上記記録された複数の画像のそれぞれに写っている顔から個人を特定し、上記記録された複数の画像のそれぞれに写っている顔の数を、上記特定した個人毎に検出する顔検出部と、
上記顔検出部で検出された画像毎の上記顔の数の中で最も多い顔の数に従って、上記複数の画像の中の代表画像を複数決定する代表画像決定部と、
上記決定された複数の代表画像を同時表示する表示部と、
を具備し、
上記表示部は、上記決定された複数の代表画像のうちの主代表画像を画面中央部に表示させる又は上記主代表画像と異なる副代表画像よりも表示サイズを大きくして表示させるとともに、上記副代表画像を画面周辺部に表示させる又は上記主代表画像よりも表示サイズを小さくして表示させ、
上記代表画像決定部は、上記最も多い顔の数が１つである場合に、上記記録部に記録された複数の画像の中で１人の人物が写っている画像を上記主代表画像に決定し、上記記録部に記録された複数の画像の中で２人の人物が写っている画像を上記副代表画像に決定することを特徴とするカメラ。
複数の画像を記録する記録部と、
上記記録された複数の画像のそれぞれに写っている顔から個人を特定し、上記記録された複数の画像のそれぞれに写っている顔の数を、上記特定した個人毎に検出する顔検出部と、
上記顔検出部で検出された画像毎の上記顔の数の中で最も多い顔の数に従って、上記複数の画像の中の代表画像を複数決定する代表画像決定部と、
上記決定された複数の代表画像を同時表示する表示部と、
を具備し、
上記表示部は、上記決定された複数の代表画像のうちの主代表画像を画面中央部に表示させる又は上記主代表画像と異なる副代表画像よりも表示サイズを大きくして表示させるとともに、上記副代表画像を画面周辺部に表示させる又は上記主代表画像よりも表示サイズを小さくして表示させ、
上記顔検出部は、さらに、上記記録された複数の画像に写っている顔から個人を特定し、
上記代表画像決定部は、上記最も多い顔の数が１つである場合に、上記記録部に記録された複数の画像の中で１人の人物が写っており且つ最も多く写っている人物を含む画像を上記主代表画像に決定し、上記記録部に記録された複数の画像の中で１人の人物が写っており且つ次に多く写っている人物を含む画像を上記副代表画像に決定することを特徴とするカメラ。
上記代表画像決定部は、上記最も多い顔の数が２つである場合に、上記記録部に記録された複数の画像の中で２人の人物が写っている画像を上記主代表画像に決定し、上記記録部に記録された複数の画像の中で最も多く写っている人物を含む画像を上記副代表画像に決定することを特徴とする請求項１又は２に記載のカメラ。
画像を外部表示装置に送信する送信部をさらに具備し、
上記送信部は、上記決定された複数の代表画像を上記外部表示装置に同時表示させる指示を上記複数の画像とともに送信することを特徴とする請求項１又は２に記載のカメラ。