JP5434057B2 - 画像表示装置、および画像表示プログラム - Google Patents

Description

本発明は、画像表示装置、および画像表示プログラムに関する。

次のようなアルバム作成装置が知られている。このアルバム作成装置は、グループ化された画像の中に最も多く登場する被写体が写っている画像を代表画像（主画像）として選択する（例えば、特許文献１参照）。

特開２００６−２５９９３２号公報

しかしながら、従来の装置においては、最も多く登場する被写体が写っている画像がグループ内に複数ある場合に、それらの中から代表画像として適切な画像を選択する方法が考慮されていなかった。

本発明による画像表示装置および画像表示プログラムは、グループ分けされ、各グループごとに分類して記録されている画像データに対して被写体認識処理を実行して、画像内に含まれる被写体を認識し、各グループ内に記録されている画像データの中から代表画像を選択するための選択基準を、グループ内の画像データの認識結果に基づいてグループごとに設定し、設定した選択基準に基づいて、各グループ内に記録されている画像データの中から、グループごとに代表画像を選択することを特徴とする。
本発明では、選択された代表画像に関する情報と、代表画像を含むグループに関する情報とを対応付けて表示するようにしてもよい。
また、被写体認識の結果、各グループ内に人物が写っている画像が含まれているか否かを判定し、人物が写っている画像が含まれていると判定した場合には、選択基準として第１の選択基準を設定し、人物が写っている画像が含まれていないと判定した場合には選択基準として第２の選択基準を設定するようにしてもよい。
第１の選択基準は、画像内に写っている人物の顔に基づいて代表画像を選択するための選択基準であるようにしてもよく、このとき、第１の選択基準は、人物の顔が家族または知人の顔であるか、人物の顔が正面を向いているか、人物の顔が笑顔であるか、および人物の顔の面積が最大であるかの判定を行って、代表画像を選択するための選択基準であることが好ましい。
第２の選択基準は、画像がブレていないか、画像が主要被写体にピントが合っているか、画像が適正な明るさであるか、および画像が最適な構図で撮影されているかの判定を行って、代表画像を選択するための選択基準であることが好ましい。

本発明によれば、グループ内に含まれる画像の中から代表画像として適切な画像を選択することができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
＜第一の実施形態＞
図１は、本発明の第一の実施形態における画像表示装置の構成を示すブロック図である。画像表示装置１００は、例えばパソコン（パーソナルコンピュータ）であって、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラやビデオカメラと有線接続を行うためのＵＳＢインターフェースや、無線接続を行うための無線ＬＡＮモジュールなどが搭載される。本実施の形態では、この接続ＩＦ１０２を介してデジタルカメラから画像ファイルが取り込まれる。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される表示用データを表示する。

ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルや、制御装置１０３で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、接続ＩＦ１０２を介して取り込まれた画像ファイルは、あらかじめ画像の属性に応じて分類されているものとする。例えば、撮影年月日ごとにグループ化されて分類されていたり、イベントごとにグループ化されて分類されているものとする。そして、各グループごとにフォルダ分けされて、ＨＤＤ１０４に記録されているものとする。

図２は、本実施の形態におけるフォルダ構造の一例を模式的に示した図である。この図２に示す例は、画像ファイルを撮影年月日ごとにフォルダ分けした場合を示している。すなわち、２００７年１２月１日に撮影された画像ファイルが記録されているフォルダ２ａ、２００７年１２月２日に撮影された画像ファイルが記録されているフォルダ２ｂ、および２００７年１２月５日に撮影された画像ファイルが記録されているフォルダ２ｃがＨＤＤ１０４内に作成されている例を示している。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、被写体認識部１０３ａと、代表画像選択部１０３ｂとを機能的に備えている。なお、制御装置１０３を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０３が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０３は、上述したようにＨＤＤ１０４に作成されているフォルダ構造を使用者に提示するに当たって、各フォルダ内に記録されている画像ファイル（以下、「画像」と呼ぶ）の中から選択した代表画像をフォルダに対応付けて表示する。例えば、図２に示したフォルダ構造を使用者に提供する際には、図３に示すようにフォルダアイコン上に代表画像のサムネイル画像を配置して表示する。このために、被写体認識部１０３ａおよび代表画像選択部１０３ｂは、図４から図６のフローチャートに示す処理を実行する。

なお、図４に示す処理は、使用者によって操作部材１０１が操作されることにより、モニタ１０５上にフォルダ一覧の表示が指示されると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１０において、被写体認識部１０３ａは、ＨＤＤ１０４内のいずれか１つのフォルダを対象として、その対象フォルダ内に記録されている全ての画像に対して公知の被写体認識処理を実行する。被写体認識部１０３ａは、その結果、対象フォルダ内に記録されている各画像ごとに、被写体として何が写っているかを認識することができる。なお、公知の被写体認識処理では、画像内に人物の顔が写っている場合には、画像内における顔の輪郭の座標値が特定される。また、その人物の顔が正面を向いているか、あるいは正面を０度とした場合に、何度横を向いているかも検出される。被写体認識部１０３ａは、この顔の輪郭の座標値情報と、顔の向きに関する情報とをＲＡＭに記録しておく。

その後、ステップＳ２０へ進み、代表画像選択部１０３ｂは、ステップＳ１０における被写体認識処理の結果、対象フォルダ内に被写体として人物が写っている画像が含まれているか否かを判断する。肯定判断した場合には、ステップＳ３０へ進み、代表画像選択部１０３ｂは、図４に示す「人物が写っている場合の代表画像選択処理」を実行し、対象フォルダに記録されている画像の中から代表画像を選択して、ステップＳ５０へ進む。これに対して、否定判断した場合には、ステップＳ４０へ進む。ステップＳ４０では、代表画像選択部１０３ｂは、図５に示す「人物が写っていない場合の代表画像選択処理」を実行し、対象フォルダに記録されている画像の中から代表画像を選択して、ステップＳ５０へ進む。

すなわち、代表画像選択部１０３ｂは、被写体認識部１０３ａによる被写体認識の結果に基づいて、代表画像を選択するための処理を切り替える。ここで、図４および図５に示す処理は、後述するように、代表画像を選択するための選択基準が異なる。よって、換言すれば、代表画像選択部１０３ｂは、被写体認識部１０３ａによる被写体認識の結果に基づいて、代表画像を選択するための選択基準を設定する。

ステップＳ５０では、代表画像選択部１０３ｂは、ＨＤＤ１０４に記録されている全てのフォルダを対象として、ステップＳ１０からステップＳ４０の処理の実行を完了したか否かを判断する。否定判断した場合には、ステップＳ１０へ戻り、現在の対象フォルダとは異なるフォルダを新たな対象フォルダに設定して、処理を繰り返す。これに対して、肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、代表画像選択部１０３ｂは、図３に示したように、選択した代表画像をフォルダアイコン内に配置して表示し、処理を終了する。

図５は、図４のステップＳ３０で実行される「人物が写っている場合の代表画像選択処理」の流れを示すフローチャートである。ステップＳ１１０において、代表画像選択部１０３ｂは、対象フォルダ内に家族または知人が写っている画像が含まれているか否かを判断する。具体的には、あらかじめ家族や知人の顔画像を撮影してＨＤＤ１０４に記録しておき、代表画像選択部１０３ｂは、ＨＤＤ１０４に記録されている顔画像と、対象フォルダ内の人物が写っている画像とをマッチング処理して、画像内の顔が家族や知人の顔であるか否かを判断する。

ステップＳ１１０で肯定判断した場合には、ステップＳ１２０へ進み、代表画像選択部１０３ｂは、対象フォルダ内に家族や知人が写っている画像が１枚だけ含まれているか否かを判断する。肯定判断した場合には、ステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１２０の判定処理で家族や知人が写っている画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ１２０で否定判断した場合、すなわち対象フォルダ内に家族または知人が写っている画像が複数枚含まれていると判断した場合には、ステップＳ１４０へ進む。ステップＳ１４０では、代表画像選択部１０３ｂは、家族や知人が写っている画像の中に、顔が正面を向いている画像が含まれているか否かを判断する。具体的には、代表画像選択部１０３ｂは、図４のステップＳ１０で被写体認識部１０３ａによって検出されてＲＡＭに記録されている顔の向きに関する情報に基づいて、顔の向きが０度の場合、または、０度から所定範囲内、例えば左右に１０度以内である場合には、その顔は正面を向いているものと判定する。

ステップＳ１４０で否定判断した場合には、ステップＳ１８０へ進み、代表画像選択部１０３ｂは、家族や知人が写っている複数枚の画像の中から、顔の面積が最大の画像を特定する。具体的には、代表画像選択部１０３ｂは、図４のステップＳ１０で被写体認識部１０３ａによって検出されてＲＡＭに記録されている顔の輪郭の座標値情報に基づいて、画像内における顔が占める領域を特定してその面積を算出し、算出結果に基づいて顔の面積が最大の画像を特定する。その後、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１８０で特定した顔の面積が最大の画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ１４０で肯定判断した場合には、ステップＳ１５０へ進む。ステップＳ１５０では、代表画像選択部１０３ｂは、家族や知人が写っている画像の中に顔が正面を向いている画像が１枚だけ含まれているか否かを判断する。肯定判断した場合には、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１５０の判定処理で顔が正面を向いている画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ１５０で否定判断した場合、すなわち顔が正面を向いている画像が複数枚含まれていると判断した場合には、ステップＳ１６０へ進む。ステップＳ１６０では、代表画像選択部１０３ｂは、顔が正面を向いている画像の中に、正面を向いている顔の表情が笑顔の画像が含まれているか否かを判断する。具体的には、代表画像選択部１０３ｂは、家族や知人が写っており、かつ顔が正面を向いている複数枚の画像を対象として、公知の表情認識処理を実行して、正面を向いている顔が笑顔であるか否かを判断する。

ステップＳ１６０で否定判断した場合には、上述したステップＳ１８０へ進み、代表画像選択部１０３ｂは、家族や知人が写っており、かつ顔が正面を向いている画像の中から、顔の面積が最大の画像を特定する。その後、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１８０で特定した顔の面積が最大の画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ１６０で肯定判断した場合には、ステップＳ１７０へ進み、代表画像選択部１０３ｂは、家族や知人が写っており、かつ顔が正面を向いている画像の中に、表情が笑顔の画像が１枚だけ含まれているか否かを判断する。否定判断した場合には、上述したステップＳ１８０へ進み、代表画像選択部１０３ｂは、家族や知人が写っており、かつ顔が正面を向いており、かつ表情が笑顔の画像の中から、顔の面積が最大の画像を特定する。その後、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１８０で特定した顔の面積が最大の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ１７０で肯定判断した場合には、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１７０の判定処理で表情が笑顔の画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

次に、ステップＳ１１０で否定判断した場合の処理、すなわちフォルダ内に家族や知人が写っている画像が含まれていない場合の処理について説明する。この場合には、ステップＳ１９０へ進み、代表画像選択部１０３ｂは、上述したように、ＲＡＭに記録されている顔の向きに関する情報に基づいて、人物が写っている画像の中に顔が正面を向いている画像が含まれているか否かを判断する。

否定判断した場合には、上述したステップＳ１８０へ進み、代表画像選択部１０３ｂは、家族や知人以外の人物が写っている画像の中から、顔の面積が最大の画像を特定する。その後、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１８０で特定した顔の面積が最大の画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ１９０で肯定判断した場合には、ステップＳ２００へ進む。ステップＳ２００では、代表画像選択部１０３ｂは、対象フォルダ内に、家族や知人以外の人物が正面を向いている画像が１枚だけ含まれているか否かを判断する。肯定判断した場合には、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ２００の判定処理で顔が正面を向いている画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ２００で否定判断した場合、すなわち顔が正面を向いている画像が複数枚含まれていると判断した場合には、上述したステップＳ１８０へ進み、代表画像選択部１０３ｂは、家族や知人以外の人物が写っており、かつ顔が正面を向いている複数枚の画像の中から、顔の面積が最大の画像を特定する。その後、上述したステップＳ１３０へ進み、代表画像選択部１０３ｂは、ステップＳ１８０で特定した顔の面積が最大の画像を代表画像として選択して、図４に示した処理に復帰する。

図６は、図４のステップＳ４０で実行される「人物が写っていない場合の代表画像選択処理」の流れを示すフローチャートである。ステップＳ２１０において、代表画像選択部１０３ｂは、対象フォルダ内にブレていない画像が含まれているか否かを判断する。具体的には、代表画像選択部１０３ｂは、対象フォルダ内の全画像を対象として、公知のブレ量算処理を実行することにより、各画像ごとにブレ量を算出する。そして、代表画像選択部１０３ｂは、算出したブレ量が閾値以下の画像をブレていない画像と判定する。

ステップＳ２１０で肯定判断した場合には、ステップＳ２２０へ進み、代表画像選択部１０３ｂは、対象フォルダ内にブレていない画像が１枚だけ含まれているか否かを判断する。肯定判断した場合には、ステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２２０の判定処理でブレていない画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ２２０で否定判断した場合、すなわち対象フォルダ内にブレていない画像が複数枚含まれていると判断した場合には、ステップＳ２４０へ進む。ステップＳ２４０では、代表画像選択部１０３ｂは、ブレていない画像の中に、主要被写体にピントが合っている画像が含まれているか否かを判断する。具体的には、代表画像選択部１０３ｂは、画像ファイル内に記録されている測距情報に基づいて、フォーカスエリアに存在する被写体を主要被写体として特定する。そして、代表画像選択部１０３ｂは、画像ファイル内に記録されている撮影光学系のデフォーカス量に基づいて、主要被写体への合焦状態を判定する。なお、測距情報および撮影光学系のデフォーカス量は、画像ファイル内に付加情報、例えばＥｘｉｆ情報として記録されているものとする。

ステップＳ２４０で否定判断した場合には、ステップＳ２８０へ進み、代表画像選択部１０３ｂは、ブレていない画像の中から、最適な構図で撮影されている画像を１枚特定する。ここで、最適な構図で撮影されている画像とは、一般的に最適な構図といわれている手法、例えば、３分割法で撮影された画像をいう。すなわち、代表画像選択部１０３ｂは、ステップＳ２４０で特定した主要被写体の画像内における位置が３分割法における最適な被写体位置に最も近い画像を、最適な構図で撮影されている画像として特定する。その後、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２８０で特定した最適な構図で撮影されている画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ２４０で肯定判断した場合には、ステップＳ２５０へ進む。ステップＳ２５０では、代表画像選択部１０３ｂは、ブレていない画像の中に、主要被写体にピントが合っている画像が１枚だけ含まれているか否かを判断する。肯定判断した場合には、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２５０の判定処理で主要被写体にピントが合っている画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ２５０で否定判断した場合、すなわち主要被写体にピントが合っている画像が複数枚含まれていると判断した場合には、ステップＳ２６０へ進む。ステップＳ２６０では、代表画像選択部１０３ｂは、主要被写体にピントが合っている画像の中に、適正な明るさの画像が含まれているか否かを判断する。具体的には、代表画像選択部１０３ｂは、ブレておらず、かつ主要被写体にピントが合っている複数枚の画像のそれぞれについて、輝度値の分布を表すヒストグラムを作成する。そして、作成したヒストグラムの分布状況に基づいて、各画像が適正な明るさであるか否かを判断する。

ステップＳ２６０で否定判断した場合には、上述したステップＳ２８０へ進み、代表画像選択部１０３ｂは、ブレておらず、かつ主要被写体にピントが合っている複数枚の画像の中から、上述したように最適な構図で撮影されている画像を特定する。その後、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２８０で特定した最適な構図で撮影されている画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ２６０で肯定判断した場合には、ステップＳ２７０へ進み、代表画像選択部１０３ｂは、ブレておらず、かつ主要被写体にピントが合っている画像の中に、適正な明るさの画像が１枚だけ含まれているか否かを判断する。否定判断した場合には、上述したステップＳ２８０へ進み、代表画像選択部１０３ｂは、ブレておらず、かつ主要被写体にピントが合っており、かつ適正な明るさの画像の中から、最適な構図で撮影されている画像を特定する。その後、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２８０で特定した最適な構図で撮影されている画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ２７０で肯定判断した場合には、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２７０の判定処理で適正な明るさの画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

次に、ステップＳ２１０で否定判断した場合の処理について説明する。この場合には、ステップＳ２９０へ進み、代表画像選択部１０３ｂは、対象フィルダ内に適正な明るさの画像が含まれているか否かを判断する。否定判断した場合には、上述したステップＳ２８０へ進み、代表画像選択部１０３ｂは、対象フィルダ内に記録されている画像の中から、最適な構図で撮影されている画像を特定する。その後、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２８０で特定した最適な構図で撮影されている画像を代表画像として選択して、図４に示した処理に復帰する。

これに対して、ステップＳ２９０で肯定判断した場合には、ステップＳ３００へ進む。ステップＳ３００では、代表画像選択部１０３ｂは、対象フィルダ内に適正な明るさの画像が１枚だけ含まれているか否かを判断する。否定判断した場合には、上述したステップＳ２８０へ進み、代表画像選択部１０３ｂは、対象フィルダ内に記録されている適正な明るさの画像の中から、最適な構図で撮影されている画像を特定する。その後、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ２８０で特定した最適な構図で撮影されている画像を代表画像として選択して、図４に示した処理に復帰する。

一方、ステップＳ３００で肯定判断した場合には、上述したステップＳ２３０へ進み、代表画像選択部１０３ｂは、ステップＳ３００の判定処理で適正な明るさの画像として特定した１枚の画像を代表画像として選択して、図４に示した処理に復帰する。

以上説明した第一の実施形態によれば、以下のような作用効果を得ることができる。
（１）ＨＤＤ１０４に、あらかじめ所定の条件でグループ分けされている画像データを各グループごとにフォルダ分けして記録しておき、被写体認識部１０３ａは、ＨＤＤ１０４に記録されている画像に対して被写体認識処理を実行して、画像内に含まれる被写体を認識する。そして、代表画像選択部１０３ｂは、被写体認識部１０３ａによる認識結果に基づいて、各フォルダ内に記録されている画像ファイルの中から代表画像を選択するための選択基準を設定し、設定した選択基準に基づいて、各フォルダ内に記録されている画像ファイルの中から代表画像を選択するようにした。これによって、被写体の認識結果に基づいて設定した選択基準に基づいて、グループ内に含まれる画像の中から代表画像として適切な画像を選択することができる。

（２）代表画像選択部１０３ｂは、フォルダアイコン上に代表画像のサムネイル画像を配置して表示することによって、代表画像に関する情報と、代表画像を含むグループに関する情報とを対応付けて表示するようにした。これによって、使用者は、サムネイル画像を見ることによって、そのフォルダ内に記録されている画像がどのような画像のグループに属するものであるかを把握することができる。

（３）代表画像選択部１０３ｂは、対象フォルダ内に人物が写っている画像が含まれているか否かを判定し、人物が写っている画像が含まれていると判定した場合には「人物が写っている場合の代表画像選択処理」を実行し、人物が写っている画像が含まれていないと判定した場合には「人物が写っていない場合の代表画像選択処理」を実行するようにした。これによって、主要被写体となり得る可能性が高い人物が写っているか否かを優先して、選択基準を設定することができる。

―変形例１―
なお、上述した実施の形態の画像表示装置は、以下のように変形することもできる。
（１）上述した実施の形態では、代表画像選択部１０３ｂは、画像内に人物が写っているか否かを判定し、その判定結果に基づいて、図５に示す「人物が写っている場合の代表画像選択処理」、または図６に示す「人物が写っていない場合の代表画像選択処理」を実行するようにした。そして、「人物が写っている場合の代表画像選択処理」と「人物が写っていない場合の代表画像選択処理」とで、代表画像を選択するための条件（選択基準）を変更するようにした。しかしながら、「人物が写っている場合の代表画像選択処理」と「人物が写っていない場合の代表画像選択処理」とで、代表画像を選択するための条件の一部を共通にするようにしてもよい。

すなわち、「人物が写っている場合の代表画像選択処理」においても、画像がブレているか否か、主要被写体にピントが合っているか否か、適正な明るさの画像であるか否か、および最適な構図で撮影された画像であるか否かの少なくともいずれか１つの条件を追加して、代表画像を選択するようにしてもよい。また、「人物が写っている場合の代表画像選択処理」および「人物が写っていない場合の代表画像選択処理」に、他の条件を追加して、代表画像を選択するようにしてもよい。

（２）上述した実施の形態では、代表画像選択部１０３ｂは、図３に示したように、フォルダアイコン上に代表画像のサムネイル画像を配置して表示することによって、代表画像を含むフォルダに関する情報と代表画像に関する情報とを対応付けて表示する例について説明した。しかしながら、代表画像選択部１０３ｂは、他の方法によって代表画像を含むフォルダに関する情報と代表画像に関する情報とを対応付けて表示するようにしてもよい。例えば、代表画像を含むフォルダのフォルダ名と代表画像のサムネイル画像とを対応付けて表示するようにしてもよい。

（３）上述した実施の形態では、画像表示装置１００としてパーソナルコンピュータを用いる例について説明した。しかしながら、画像ファイルを記録して画像を表示することができる他の装置やシステム、例えば、デジタルカメラ、携帯電話、フォトストレージ装置、またはインターネットを使用したオンラインアルバムサービスなどを用いるようにしてもよい。

＜第二の実施形態＞
第一の実施形態では、画像ファイルが既に格納（記録）されているフォルダについて、該フォルダに格納されている画像の中から代表画像を選択する例を説明した。第二の実施形態では、代表画像が選択されているフォルダの中に、新たな画像ファイルを格納（追加）する場合の代表画像の選択方法について説明する。第二の実施形態の代表画像選択部１０３ｂは、下記（１）〜（３）の手順で代表画像を選ぶ。

（１）代表画像選択部１０３ｂは、既に選択済みの代表画像を選んだ時の情報（図４〜図６に示した処理を実行した際に取得した情報）を、該フォルダに関連づけてＨＤＤ１０４に保存しておく。保存情報は、以下のものが挙げられる。

［Ａ］該フォルダ内に人物が写っている画像が存在する（ステップＳ２０（図４）を肯定判定）場合
家族または知人が写っている画像の有無、当該画像の枚数、顔が正面を向いている画像の有無、当該画像の枚数、笑顔の画像の有無、当該画像の枚数、顔の面積が最大の画像の当該顔の面積を示す情報を、それぞれ保存情報とする。

［Ｂ］該フォルダ内に人物が写っている画像が存在しない（ステップＳ２０（図４）を否定判定）場合
ブレていないと判定した画像の有無、当該画像の枚数、主要被写体にピントが合っている画像の有無、当該画像の枚数、適正な明るさの画像の有無、当該画像の枚数、最適な構図で撮影されている画像の有無、当該画像の枚数を示す情報を、それぞれ保存情報とする。

（２）代表画像選択部１０３ｂは、該フォルダの中へ新たに格納（追加）しようとする画像ファイルについて、人物が写っているか否かの判定処理（ステップＳ２０と同様）を行う。

（３）代表画像選択部１０３ｂは、新たに格納（追加）しようとする画像に人物が写っている場合には図５に示す処理を実行する。このとき、新たに格納（追加）しようとする画像に家族または知人が写っているか否か、新たに格納（追加）しようとする画像に写っている顔が正面を向いているか否か、新たに格納（追加）しようとする画像に写っている顔が笑顔であるか否か、新たに格納（追加）しようとする画像に写っている顔の面積の情報と、ＨＤＤ１０４の保存情報とを用いて、該フォルダを代表する画像を選ぶ。

代表画像選択部１０３ｂは、新たに格納（追加）しようとする画像に人物が写っていない場合には図６に示す処理を実行する。このとき、新たに格納（追加）しようとする画像がブレなし画像か否か、新たに格納（追加）しようとする画像の主要被写体にピントが合っているか否か、新たに格納（追加）しようとする画像の明るさが適正か否か、新たに格納（追加）しようとする画像が最適な構図か否かと、ＨＤＤ１０４の保存情報とを用いて、該フォルダを代表する画像を選ぶ。

以上説明した第二の実施形態によれば、代表画像が選択されているフォルダの中に、新たな画像ファイルを格納（追加）する場合に、適切な代表画像を選ぶことができる。ＨＤＤ１０４の保存情報を用いることにより、これら保存情報を用いずに各判定処理をやり直す場合に比べて、代表画像選択部１０３ｂの処理負担を軽減と、処理時間の短縮を図ることができる。

なお、人物が写っている画像が格納されているフォルダの中へ人物が写っていない画像が新たに格納（追加）された場合は、図５に示す処理を実行することなく、該フォルダの従前の代表画像をそのまま代表画像にするとよい。反対に、人物が写っていない画像が格納されているフォルダの中へ人物が写っている画像が新たに格納（追加）された場合は、図５に示す処理を実行し、該フォルダの従前の代表画像に代えて、図５の処理で選択される画像（すなわち、人物が写っている新たな画像）を代表画像とする。

＜第三の実施形態＞
第三の実施形態では、露出補正や像ブレ軽減などの画像補正処理を施した画像が格納（記録）されているフォルダを対象に代表画像を選択する場合について説明する。第三の実施形態の代表画像選択部１０３ｂは、下記（１）〜（２）の手順で代表画像を選ぶ。

（１）代表画像選択部１０３ｂは、代表画像を選択しようとするフォルダを対象に、図４〜図６に示す処理を実行する。すなわち、対象フォルダ内に記録されている全ての画像を対象に被写体認識処理（ステップＳ１０）と、人物が写っているか否かの判定処理（ステップＳ２０）とを行い、人物が写っている画像がある場合には図５に示す処理を、人物が写っている画像がない場合には図６に示す処理を、それぞれ実行する。

（２）図５に示す処理を実行した場合の代表画像選択部１０３ｂは、図５の処理において選択した代表画像をフォルダアイコン内に配置して表示する（ステップＳ６０）。図６の処理において選択した代表画像をフォルダアイコン内に配置して表示する（ステップＳ６０）。

上述した第三の実施形態によれば、露出補正や像ブレ軽減などの画像処理を施した画像が格納されているフォルダに対しても、適切に代表画像の選択を行うことができる。

−変形例２−
第三の実施形態におけるステップＳ２８０の処理（フォルダ内に記録されている画像の中から最適な構図で撮影されている画像を特定すること）に代えて、あるいはステップＳ２８０の処理と組み合わせて、以下の（Ａ）〜（Ｇ）の処理を行うようにしてもよい。露出補正や像ブレ軽減などの画像処理を施した画像が複数枚格納されている場合は、適正な明るさで、かつ像ブレがない画像が複数枚存在し、１つの画像を特定することが困難になる。そこで、変形例２では下記（Ａ）〜（Ｇ）のいずれかの処理を行うことにより、画像を特定しやすくすることができる。なお、（Ａ）〜（Ｇ）の処理は、複数を適宜組み合わせて行ってもよい。

（Ａ）代表画像選択部１０３ｂは、より撮影頻度が大きい時間帯に撮影された画像を特定する。たとえば、画像ファイル内の付加情報、例えばＥｘｉｆ情報として記録されている撮影時刻情報を参照して、該フォルダ内に記録されている画像の撮影時刻の分布を求め、最も撮影時刻が集中した時間帯で撮影された画像を特定する。撮影頻度が大きいことは、ユーザーにとって関心が高い被写体や興味深い被写体が撮影されている可能性が高いので、代表画像として好適である。

（Ｂ）代表画像選択部１０３ｂは、より画素数の多い画像を特定する。たとえば、該フォルダ内に記録されている画像の画素数情報（データサイズ）を求め、最も精細な画像を特定する。鮮明な画像は代表画像として好適である。

（Ｃ）代表画像選択部１０３ｂは、より閲覧回数が多い画像を特定する。たとえば、該フォルダ内に記録されている画像ごとの閲覧回数情報を参照し、最も数多く閲覧された画像を特定する。この場合の代表画像選択部１０３ｂは、フォルダ内に画像ファイルが記録された以降に当該画像ファイルが読み出された回数（アクセス回数）を計数し、各画像ファイルごとの計数情報を該フォルダに関連づけてＨＤＤ１０４に保存しておく。アクセス回数が多いことは、ユーザーにとって関心が高い被写体や興味深い被写体が撮影されている可能性が高いので、代表画像として好適である。

（Ｄ）代表画像選択部１０３ｂは、エッジヒストグラムまたはカラーヒストグラムが、該フォルダ内に記録されている全ての画像の平均値により近い画像を特定する。フォルダ内の画像の平均的なヒストグラムの情報は、ユーザーにとって関心が高い被写体像や興味深い被写体像の特徴を反映している可能性が高いので、平均的な画像は代表画像として好適である。

（Ｅ）代表画像選択部１０３ｂは、該フォルダ内に記録されている画像の撮影時刻の分布を求め、撮影時刻が最も古い画像を特定する。
（Ｆ）代表画像選択部１０３ｂは、該フォルダ内に記録されている画像の撮影時刻の分布を求め、撮影時刻が最も新しい画像を特定する。
（Ｇ）代表画像選択部１０３ｂは、該フォルダ内に記録されている画像の撮影時刻の分布を求め、所定期間内に含まれる画像のうち、該期間の中央で撮影された画像を特定する。

＜第四の実施形態＞
第四の実施形態では、代表画像を選択済みのフォルダに格納されている画像が、代表画像の選択後に露出補正や像ブレ軽減の画像補正処理を受ける場合について説明する。この場合の代表画像選択部１０３ｂは、画像補正処理が行われた後で新たに代表画像の選択処理を行うが、上記図４に示す処理を実行することなく、図５に示す処理または図６に示す処理のみを実行する。

具体的には、人物が写っていると判定した画像を従前の代表画像に選択していた場合は図５に示す処理を、人物が写っていないと判定した画像を従前の代表画像に選択していた場合は図６に示す処理を、それぞれ実行する。

上述した第四の実施形態によれば、代表画像を選択済みのフォルダ内の画像に対して後から露出補正や像ブレ軽減などの画像処理が施された場合には、必要に応じて代表画像を選び直すことができる。

上記第四の実施形態において、人物が写っていると判定した画像を従前の代表画像にしていた場合には、新たに代表画像の選択処理（本例では図５に示す処理）を行うことなく、該フォルダの従前の代表画像をそのまま代表画像としてもよい。この理由は、画像補正処理として像ブレ軽減および露出補正の少なくとも１つのみが行われた場合には、該画像補正処理後の画像を含むフォルダを対象に図５に示す処理を行っても、選択される代表画像は従前（画像補正処理前）に選択された当該フォルダの代表画像と変わらないからである。

ただし、画像補正処理として像ブレ軽減および露出補正と異なる他の処理（たとえば、笑顔補正処理など）が行われた場合には、新たに代表画像の選択処理（本例では図５に示す処理）を行う。この理由は、該笑顔補正処理後の画像を含むフォルダを対象に図５に示す処理を行うと、選択される代表画像が従前（笑顔補正処理前）に選択された当該フォルダの代表画像と異なる場合もあり得るからである。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述した実施形態および変形例は、これらを適宜組み合わせた構成としてもよい。
い。

画像表示装置の第一の実施形態の構成を示すブロック図である。 フォルダ構造の一例を模式的に示す図である。 代表画像を用いたフォルダ構造の表示例を示す図である。 画像表示装置の処理を示すフローチャート図である。 「人物が写っている場合の代表画像選択処理」の流れを示すフローチャート図である。 「人物が写っていない場合の代表画像選択処理」の流れを示すフローチャート図である。

符号の説明

１００ 画像評価装置、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０３ａ 被写体認識部、１０３ｂ 代表画像選択部、１０４ ＨＤＤ、１０５ モニタ

Claims (12)

1. グループ分けされ、各グループごとに分類して記録されている画像データに対して被写体認識処理を実行して、画像内に含まれる被写体を認識する被写体認識手段と、
   各グループ内に記録されている画像データの中から代表画像を選択するための選択基準を、前記被写体認識手段によるグループ内の画像データの認識結果に基づいて前記グループごとに設定する設定手段と、
   前記設定手段で設定した前記選択基準に基づいて、各グループ内に記録されている画像データの中から、前記グループごとに前記代表画像を選択する選択手段と、を備えることを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記選択手段によって選択された前記代表画像に関する情報と、前記代表画像を含むグループに関する情報とを対応付けて表示する表示手段をさらに備えることを特徴とする画像表示装置。
3. 請求項１または２に記載の画像表示装置において、
   前記設定手段は、前記被写体認識手段による被写体認識の結果、各グループ内に人物が写っている画像が含まれているか否かを判定し、人物が写っている画像が含まれていると判定した場合には前記選択基準として第１の選択基準を設定し、人物が写っている画像が含まれていないと判定した場合には前記選択基準として第２の選択基準を設定することを特徴とする画像表示装置。
4. 請求項３に記載の画像表示装置において、
   前記第１の選択基準は、画像内に写っている人物の顔に基づいて前記代表画像を選択するための選択基準であることを特徴とする画像表示装置。
5. 請求項４に記載の画像表示装置において、
   前記第１の選択基準は、前記人物の顔が家族または知人の顔であるか、前記人物の顔が正面を向いているか、前記人物の顔が笑顔であるか、および前記人物の顔の面積が最大であるかの判定を行って、前記代表画像を選択するための選択基準であることを特徴とする画像表示装置。
6. 請求項３〜５のいずれか一項に記載の画像表示装置において、
   前記第２の選択基準は、前記画像がブレていないか、前記画像が主要被写体にピントが合っているか、前記画像が適正な明るさであるか、および前記画像が最適な構図で撮影されているかの判定を行って、前記代表画像を選択するための選択基準であることを特徴とする画像表示装置。
7. グループ分けされ、各グループごとに分類して記録されている画像データに対して被写体認識処理を実行して、画像内に含まれる被写体を認識する被写体認識手順と、
   各グループ内に記録されている画像データの中から代表画像を選択するための選択基準を、前記被写体認識手順によるグループ内の画像データの認識結果に基づいて前記グループごとに設定する設定手順と、
   前記設定手順で設定した前記選択基準に基づいて、各グループ内に記録されている画像データの中から、前記グループごとに前記代表画像を選択する選択手順と、をコンピュータに実行させるための画像表示プログラム。
8. 請求項７に記載の画像表示プログラムにおいて、
   前記選択手順によって選択された前記代表画像に関する情報と、前記代表画像を含むグループに関する情報とを対応付けて表示する表示手順をさらに有することを特徴とする画像表示プログラム。
9. 請求項７または８に記載の画像表示プログラムにおいて、
   前記設定手順は、前記被写体認識手順による被写体認識の結果、各グループ内に人物が写っている画像が含まれているか否かを判定し、人物が写っている画像が含まれていると判定した場合には前記選択基準として第１の選択基準を設定し、人物が写っている画像が含まれていないと判定した場合には前記選択基準として第２の選択基準を設定することを特徴とする画像表示プログラム。
10. 請求項９に記載の画像表示プログラムにおいて、
    前記第１の選択基準は、画像内に写っている人物の顔に基づいて前記代表画像を選択するための選択基準であることを特徴とする画像表示プログラム。
11. 請求項１０に記載の画像表示プログラムにおいて、
    前記第１の選択基準は、前記人物の顔が家族または知人の顔であるか、前記人物の顔が正面を向いているか、前記人物の顔が笑顔であるか、および前記人物の顔の面積が最大であるかの判定を行って、前記代表画像を選択するための選択基準であることを特徴とする画像表示プログラム。
12. 請求項９〜１１のいずれか一項に記載の画像表示プログラムにおいて、
    前記第２の選択基準は、前記画像がブレていないか、前記画像が主要被写体にピントが合っているか、前記画像が適正な明るさであるか、および前記画像が最適な構図で撮影されているかの判定を行って、前記代表画像を選択するための選択基準であることを特徴とする画像表示プログラム。
    

Images