JP5883843B2 - 画像評価装置，画像評価方法，画像評価プログラム，およびそのプログラムを格納した記録媒体 - Google Patents

Description

この発明は，画像評価装置，画像評価方法，画像評価プログラム，およびそのプログラムを格納した記録媒体に関する。

ディジタル・カメラ，スマートフォンの普及により画像の撮影枚数が大量に増えている。大量の画像から，フォトブック，プリント，電子アルバムなどのフォト・プロダクトを作成する場合，所望の画像を選択し，配置することはユーザにとって困難である。

このために，画像を読み取った際に，画像処理装置内部において画像の解析を行い，解析結果にもとづいて画像の評価値を算出し，その結果にもとづいて画像の選択，配置を行うものがある（特許文献１）。

特開2013-33453号公報

しかしながら，ユーザが保有している画像の枚数が増加していること，また，ディジタル・カメラの高画質化により画像のデータ量が増加しているので，画像評価のための画像解析に時間がかかってしまう。また，画像処理装置に画像データを転送する場合にも時間がかかってしまう。このために，ユーザの待ち時間が長くなってしまう。

この発明は，ユーザの待ち時間を短縮することを目的とする

この発明による画像評価装置は，画像の特性を表わす付帯情報を読み取る付帯情報読み取り手段，付帯情報読み取り手段によって読み取られた付帯情報を用いて，その付帯情報に対応する画像の評価処理を行うかどうかを判定する画像評価処理判定手段，および画像評価処理判定手段によって評価処理を行うと判定されたことに応じて，画像の評価処理を行う画像評価処理手段を備えていることを特徴とする。

この発明は，画像評価方法も提供している。すなわち，この方法は，付帯情報読み取り手段が，画像の特性を表わす付帯情報を読み取り，画像評価処理判定手段が，付帯情報読み取り手段によって読み取られた付帯情報を用いて，その付帯情報に対応する画像の評価処理を行うかどうかを判定し，画像評価処理手段が，画像評価処理判定手段によって評価処理を行うと判定されたことに応じて，画像の評価処理を行うものである。

この発明は，画像評価装置のコンピュータを制御するためのプログラムおよびそのプログラムを格納した記録媒体も提供している。

画像評価処理判定手段によって評価処理を行うと判定された画像を表わす画像ファイルを読み取る画像ファイル読み取り手段をさらに備えてもよい。この場合，画像評価処理手段は，たとえば，画像ファイル読み取り手段において読み取られた画像ファイルによって表わされる画像の評価処理を行うものとなろう。

画像ファイル（グルーピングするほどの量が必要な多数の画像を表わす多数の画像ファイル）を読み取る画像ファイル読み取り手段をさらに備えてもよい。この場合，画像評価処理手段は，たとえば，画像ファイル読み取り手段において読み取られた多数の画像ファイルによって表わされる多数の画像のうち，評価処理判定手段によって評価処理を行うと判定された画像について画像の評価処理を行うものとなろう。

付帯情報読み取り手段によって読み取られた付帯情報にもとづいて，多数の画像をグループ分けするグルーピング手段をさらに備えてもよい。この場合，画像評価処理判定手段は，たとえば，付帯情報読み取り手段によって読み取られた付帯情報を用いて，その付帯情報の特性をもつ画像の評価処理を行うかどうかを，グルーピング手段によってグループ分けされた画像ごとに判定するものであり，画像評価値処理手段は，たとえば，画像評価処理判定手段によって評価処理を行うと判定されたグループに含まれる画像の評価処理を行うものとなろう。

グルーピング手段によってグループ分けされた画像グループのうち，画像評価処理を行うグループを指定する指定手段をさらに備えてもよい。この場合，画像評価処理判定手段は，指定手段によって指定されたグループの画像について画像の評価処理を行うと判定するものとなろう。

付帯情報は，画像ファイルに格納されていてもよいし，画像ファイルとは別のファイルまたは別の媒体に記録されていてもよい。

画像評価処理判定手段によって評価処理を行うと判定された画像を表示するように表示装置を制御する第１の表示制御手段をさらに備えてもよい。

画像評価処理手段による評価処理が行われた画像の評価が一定以上の画像を表示するように表示装置を制御する第２の表示制御手段をさらに備えてもよい。

画像評価処理手段による評価処理が行われた画像の評価が一定以上の画像を，電子アルバムを構成するページに表示するように表示装置を制御する第３の表示制御手段をさらに備えてもよい。

付帯情報は，画像そのものを表わす画像データ以外のものであればよく，たとえば，テキスト・データまたはサムネイル画像データである。但し，付帯情報のデータ量は，画像そのものを表わす画像データのデータ量未満である。上記画像評価処理手段による画像評価に，画像の付帯情報をさらに用いるようにしてもよい。

付帯情報読み取り手段は，たとえば，ネットワークを介して送信された付帯情報を受信する受信手段を備える。この場合，受信手段によって受信された付帯情報を読み取るものとなろう。

この発明によると，画像の付帯情報が読み取られ，読み取られた付帯情報を用いて，その読み取られた付帯情報に対応する画像の評価処理を行うかどうかが判定される。評価処理を行うと判定されると，その評価処理が行われる。画像を表わす画像データのすべてについて画像評価処理手段における評価処理が行われずに，付帯情報を用いて，必要と考えられる画像について画像評価処理手段における評価処理が行われるので，画像評価が終了するまでの時間が短くなる。ユーザの待ち時間も短縮される。

電子アルバム生成装置の電気的構成を示すブロック図である。 画像ファイルのファイル構造を示している。 記録媒体のメモリ構造を示している。 電子アルバム生成装置の処理手順を示すフローチャートである。 電子アルバム生成装置の処理手順を示すフローチャートである。 撮像日時テーブルの一例である。 グループが生成される様子を示している。 重要度テーブルの一例である。 重要度グラフの一例である。 表示画面の一例である。 表示画面の一例である。 パーソナル・コンピュータ，サーバ等の電気的構成を示すブロック図である。 パーソナル・コンピュータとサーバとの処理手順を示すフローチャートである。 パーソナル・コンピュータとサーバとの処理手順を示すフローチャートである。 電子アルバム生成装置の処理手順を示すフローチャートである。 電子アルバム生成装置の処理手順を示すフローチャートである。 パーソナル・コンピュータとサーバとの処理手順を示すフローチャートである。 パーソナル・コンピュータとサーバとの処理手順を示すフローチャートである。

図１は，電子アルバム生成装置１（画像評価装置）の電気的構成を示すブロック図である。電子アルバム生成装置１は，スーパー，コンビニエンス・ストアなどの店頭に配置される。

電子アルバム生成装置１の全体の動作は，ＣＰＵ２によって統括される。

電子アルバム生成装置１には，画像ファイルが格納されている画像ストレージ20，プリンタ・サーバ21などと通信するための通信装置３，データ等を一時的に記憶するＲＡＭ（ランダム・アクセス・メモリ）４，ＲＡＭ４にデータ等を記憶制御するための記憶制御装置５，プリンタ６，メモリ・カードに記録されているデータ等を読み取るカード・リーダ７，およびスマートフォン22と通信するための近距離通信装置８が含まれている。

また，電子アルバム生成装置１には，キーボード10およびマウス11ならびにこれらのキーボード10またはマウス11からの指令を電子アルバム生成装置１に入力するための入力インターフェイス９も含まれている。さらに，電子アルバム生成装置１には，表示装置12，画像処理装置18およびCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ19も含まれている。表示装置12に形成されている表示画面12にはタッチ・パネル14が形成されている。また，画像処理装置18には，顔検出装置15，顔認識装置16，画像解析装置（図示略）および画像評価装置17が接続されている。画像解析装置における画像解析機能は，ＣＰＵ２が行うようにしてもよい。

後述する動作プログラムが格納されているCD-ROM23（記録媒体）がCD-ROMドライブ19に装填されると，CD-ROM23から動作プログラムが読み取られる。読み取られた動作プログラムが電子アルバム生成装置１にインストールされる。これにより電子アルバム生成装置１は動作プログラムにしたがって，後述する動作を行う。

ユーザは，撮りためた数十枚から数千枚の多数の画像を表わす画像ファイルが記録されているメモリ・カード，CD-ROM，スマートフォン22などの記録媒体を持参する。持参した記録媒体に記録されている画像ファイルが電子アルバム生成装置１に読み取られる。画像ストレージ20にユーザの画像ファイルが格納されている場合には，電子アルバム生成装置１が画像ストレージ20にアクセスして，画像ファイルが電子アルバム生成装置１に読み取られるようにしてもよい。読み取られた電子ファイルから電子アルバムが生成される。ユーザが持参した記録媒体がメモリ・カードであれば，カード・リーダ７によって電子アルバム生成装置１に画像ファイルが読み取られ，スマートフォン22であれば，近距離通信装置８によって電子アルバム生成装置１に画像ファイルが読み取られ，CD-ROMドライブ19によって電子アルバム生成装置１に画像ファイルが読み取られる。

この実施例による電子アルバム生成装置１においては，多数の画像のうち，画像評価装置17における画像の評価が高い画像を用いて自動レイアウトで電子アルバムが生成される。画像評価装置17における画像評価は，顔検出装置15により顔が検出されたこと，検出された顔の大きさが大きいこと，検出された顔の明るさが適正であること，検出された顔が画像の中央にあること，顔認識装置16により特定の人物の顔が検出されたこと，また，画像解析装置により，画像の明るさ，彩度，色味，ぼけ，ぶれ，構図などが適正であること，または類似の画像の有無など画像の解析結果および付帯情報からの情報を考慮して総合的に行われる。画像評価装置17における評価の高い画像を用いて電子アルバムにおける自動レイアウトが行われる。

とくに，この実施例においては，ユーザが持参した記録媒体に格納されている画像のすべてについて画像評価装置17において画像評価が行われるのではなく，画像の付帯情報
もとづいて画像評価装置17において画像評価する画像が決定され，その決定された画像について画像評価装置17において評価が行われるため，画像評価に要する時間が短縮される。

図２は，画像ファイルのファイル構造（データ構造）の一例である。

画像ファイルには，ヘッダ領域と画像データ記録領域とが含まれている。画像データ記録領域に画像を表わす画像データが記録される。ヘッダ領域には，画像データ記録領域に記録されている画像データの特性を表わす付帯情報が記録される。この付帯情報には，画像ファイル名，撮像日時，撮像場所，画像の大きさ，解像度，輝度値，彩度，被写体の人物に関する情報，例えば顔の有無，顔の数，人物の有無，人物の人数，人物名などを表わすテキスト・データ，バイナリ・データのほかサムネイル画像データなどがある。電子アルバム生成装置１は，画像ファイルのヘッダ領域から付帯情報を読み取ることができる。

図３は，メモリ・カード，CD-ROM，スマートフォンなどの記録媒体のメモリ領域の構造の一例である。

メモリ領域には，管理領域とデータ記録領域とが含まれている。データ記録領域に，図２にその構造を示した画像ファイルが多数格納される。管理領域に，データ記録領域に格納されている多数の画像ファイルを管理する付帯情報（データ記録領域に記録されている画像ファイルの画像ファイル名，撮像日時，撮像場所，画像の大きさ，解像度，輝度値，彩度，被写体の人物に関する情報，例えば，顔の有無，顔の数，人物の有無，人物の人数，人物名などを表わすテキスト・データ，バイナリ・データ，サムネイル画像データなど）が格納されることがある。そのような場合，記録媒体のメモリ領域に含まれる管理領域から，所望の画像ファイルの付帯情報を読み取ることができる。

また，付帯情報は，画像ファイルが格納されている記録媒体（画像ファイル用記録媒体）とは異なる記録媒体（付帯情報用記録媒体）に記録されていてもよい。たとえば，画像ファイルはメモリ・カードに記録されており，その画像ファイルの付帯情報はスマートフォン22に記録されていてもよい。画像ファイルの付帯情報がスマートフォンから読み取られ，読み取られた付帯情報に対応する画像ファイル名をもつ画像ファイルがメモリ・カードから読み取られる。

図４および図５は，電子アルバム生成装置１（ＣＰＵ２）の処理手順を示すフローチャートである。

図４および図５に示す処理手順は，電子アルバム生成装置１において，最初は画像ファイルを読み取らずに指定された画像の付帯情報を読み取り，その付帯情報を利用して読み取るべき画像ファイル（付帯情報に対応する画像ファイル）が判定され，判定された画像ファイルが電子アルバム生成装置１において読み取られるものである。読み取られた画像ファイルについて，画像評価装置17によって画像評価処理が行われ，その評価の高い画像を利用して電子アルバムが生成される。

ユーザによって持参された記録媒体に記録されている画像ファイルまたは画像ストレージ20に格納されている画像ファイルのうち，所望の画像ファイルが指定され（必ずしも画像ファイルを一つずつ指定するのではなく，記録媒体に記録されているすべての画像ファイル，特定のフォルダに格納されているすべての画像ファイルという指定でもよい），指定された画像ファイルに対応する付帯情報が電子アルバム生成装置１によって読み取られる（ステップ31）（付帯情報読み取り手段）。付帯情報が記録されている記録媒体が画像ストレージ20，メモリ・カード，スマートフォンまたはCD-ROMであれば通信装置３，カード・リーダ７，近距離通信装置８またはCD-ROMドライブ19によって，付帯情報がそれぞれ読み取られる。この実施例では，付帯情報のうち撮像日時が利用されるので，利用される撮像日時のみが読み取られ，他の付帯情報は読み取らなくともよい。もっとも撮像日時のみでなく，他の付帯情報が読み取られてもよい。

付帯情報が読み取られると，その付帯情報に含まれる撮像日時を用いて，ＣＰＵ２によって撮像日時テーブルが生成される。

図６は，撮像日時テーブルの一例である。

撮像日時テーブルは，画像ファイル名と撮像日時とが対応付けられるものである。

ユーザによって指定された画像ファイルについての付帯情報が，ユーザが持参した記録媒体または画像ストレージ20から読み取られ，付帯情報に含まれている撮像日時が，付帯情報に対応する画像ファイル名に対応付けられて撮像日時テーブルに格納される。生成された撮像日時テーブルは，ＲＡＭ４に格納される。

たとえば，ユーザによって画像ファイル名DSC00001.jpgからDSC00945.jpgまでの画像ファイルが指定されたとすると，それらの画像ファイルの付帯情報から電子アルバム生成装置１によって読み取られ，画像が撮像された日時が撮像日時テーブルに格納される。画像ファイル名DSC00001.jpgからDSC00301.jpgまでの301枚の画像，画像ファイル名DSC00302.jpgからDSC00446.jpgまでの144枚の画像，画像ファイル名DSC00447.jpgからDSC00655.jpgまでの208枚の画像，画像ファイル名DSC00448.jpgからDSC00834.jpgまでの178枚の画像または画像ファイル名DSC00835.jpgからDSC00945.jpgは，それぞれ2013年８月３日，2013年８月４日，2013年８月５日，2013年８月６日または2013年８月７日に撮像されたものであるから，それらの撮像日時が画像ファイルに対応づけられて撮像日時テーブルに格納される。

図４に戻って，読み取られた撮像日時からグループが生成される（ステップ32）（グルーピング手段）。

図７は，グループが生成される様子を示している。

図７の横軸は撮像日時，縦軸は撮像枚数である。

たとえば，24時間以内に撮像された画像を同一のグループとするように，あらかじめ設定されている。この実施例では，DSC0001.jpgからDSC00945.jpgまでの945枚の画像が2013年８月３日から2013年８月７日までに撮像されたものとする。すると，2013年８月３日に撮像された画像がグループＧ１，2013年８月４日に撮像された画像がグループＧ２，2013年８月５日に撮像された画像がグループＧ３，2013年８月６日に撮像された画像がグループＧ４，および2013年８月７日に撮像された画像がグループＧ５とされる。

再び，図４に戻って，生成されたグループの数があらかじめ定められている数ｎ±Δ（ｎ，Δは正の整数であり，ｎ＞Δ。）となっているかどうかが確認される（ステップ33）。生成されたグループの数があらかじめ定められている数ｎ±Δとなっていなければ（ステップ33でＮＯ），同一のグループとなる時間の範囲が調整され，あらかじめ定められている数ｎ±Δのグループの数となるようにグループがＣＰＵ２によって再生成される（ステップ32）。

グループの数があらかじめ定められている数ｎ±Δとなると（ステップ33でＹＥＳ），それぞれのグループに属することとなる画像の数がＣＰＵ２によって算出される（ステップ34）。算出された画像の数は，それぞれのグループに属する画像の重要度とされ，重要度テーブルが生成される。生成された重要度テーブルは，ＲＡＭ４に格納される。

図８は，重要度テーブルの一例である。

グループごとに重要度を示す値が格納されている。上述したように，グループＧ１，Ｇ２，Ｇ３，Ｇ４またはＧ５に属することとなる画像の数は，301枚，144枚，208枚，176枚および110枚であり，それぞれの画像の数がグループに属することとなる画像の重要度とされている。

グループに属することとなる画像の数が算出され，重要度テーブルが生成されると，重要度グラフが表示装置12の表示画面12に表示される（図４ステップ35）。

図９は，重要度グラフの一例である。

重要度グラフの横軸は，グループを示し，縦軸は重要度（各グループに属する画像の数）を示している。

グループに属することとなる画像の重要度を判断するために初期しきい値Th０が設定されている。図９に示す例では，初期しきい値Th０は重要度が160に設定されている。しきい値を超えるグループに属することとなる画像が重要な画像と判断され，その画像が画像評価装置17における画像評価の対象となる。

この実施例では，表示画面12に表示されている初期しきい値Th０が上下するようにタッチ・パネル14上をユーザが指でなぞると，その指の動きに応じてしきい値が上下する。図９に示すように，初期しきい値Th０から重要度が80のしきい値Th１に変更できる。しきい値が下がったことにより，そのしきい値を超えるグループが増えるので，画像評価の対象となる画像も多くなる。逆にしきい値が上げられることにより，しきい値を超えるグループが減るので，画像評価の対象となる画像が少なくなる。（画像グループを指定する指定手段）しきい値を超えるグループの数が多すぎた場合にはしきい値を下げ，しきい値を超えるグループの数が少なすぎた場合にはしきい値を上げることとなろう。

図４に戻って，しきい値が変えられていなければ（ステップ36でＮＯ），初期しきい値以上のグループに属することとなる画像を表わす画像ファイルが記録媒体（画像ストレージ20）から読み取られる（ステップ37）。しきい値が変えられていると（ステップ36でＹＥＳ），その変えられたしきい値以上のグループに属することとなる画像を表わす画像ファイルが記録媒体（画像ストレージ20）から読み取られる（ステップ38）。図９に示す重要度グラフと図６に示す撮像日時テーブルとから，しきい値以上のグループに属することとなる画像の画像ファイル名が分るから，その画像ファイルが記録されている記録媒体（画像ストレージ20）から画像ファイルが読み取られることとなる（画像ファイル読み取り手段）。付帯情報が記録されている記録媒体と画像ファイルが記録されている記録媒体とが異なる場合であっても，しきい値以上のグループに属することとなる画像を表わす画像ファイルが読み取られるのはいうまでもない。読み取られた画像ファイルはＲＡＭ４に一時的に記憶される。しきい値以上のグループに属することとなる画像について後述する画像評価が行われるから，しきい値以上のグループに属する画像かどうかにより，付帯情報の特性をもつ画像の評価処理を行うかどうかがＣＰＵ２によって判断されることとなる（画像評価処理判定手段）。

画像ファイルが読み取られると，読み取られた画像ファイルによって表わされる画像が表示装置12の表示画面に一覧で表示される（図５ステップ39）（第１の表示制御手段，第２の表示制御手段）。

図10は，画像一覧表示画面の一例である。

表示画面13には，画像表示領域50が形成されている。この画像表示領域50に，上述のようにして読み取られた画像ファイルによって表わされる画像51が表示されている。画像表示領域50の右側にはスライド・バー52が表示されている。このスライド・バー52上をユーザが指で上下になぞると，画像表示領域50には表示されていないが，読み取られた画像ファイルによって表わされる画像が表示される。

画像表示領域50の上には，ユーザが持参した記録媒体等に記録されている画像のうち，重要と考えられる画像が表示されることをユーザに報知するために「記録媒体内の重要な画像を自動的に選択しました。」という文章が表示されている。また，画像表示領域50の下には，さらに画像を読みとることができることをユーザに報知するために「画像をもっと読み取りますか？」の文章が表示されている。さらに，＜はい＞の文字列53および＜いいえ＞の文字列54ならびに「＜いいえ＞を選択すると自動レイアウトが始まります」の文書および「自動レイアウト後に画像をさらに読み取ることも出来ます。」の文章も表示されている。

＜はい＞の文字列53上がユーザによってタッチされると，電子アルバム生成装置１に再読み取り指令が与えられることとなり（図５ステップ40でＹＥＳ），ユーザが持参した記録媒体から読み取られていない画像ファイルが読み取られる（図５ステップ41）。ユーザが持参した記録媒体に記録されている画像ファイルのうち，読み取られていない画像ファイルのすべてを読みとるようにしてもよいし，図９に示したように重要度グラフにおけるしきい値を下げ，下げられたしきい値以上の重要度となるグループに属することとなる画像を表わす画像ファイルが記録媒体から読み取られるようにしてもよい。たとえば，しきい値が初期しきい値Th０から変えられていない状態で，図10に示す＜はい＞の文字列53がタッチされると，初期しきい値Th０からしきい値Th１に下げられる。これにより，読み取られていなかったグループＧ２およびＧ５に属することとなる画像を表わす画像ファイルが記録媒体から読み取られる。新たに読み取られた画像ファイルを表わす画像は，画像表示領域50に表示される。

＜いいえ＞の文字列54がユーザによってタッチされると，図５ステップ41および図５ステップ42の処理はスキップされ，自動レイアウト指令が電子アルバム生成装置１に与えられることとなる（図５ステップ43）。すると，電子アルバム生成装置１に読み取られた画像ファイルが画像評価装置17に与えられる。画像評価装置17において，画像ファイルによって表わされる画像評価が行われる（図５ステップ44）。電子アルバム生成装置１に読み取られた画像ファイルは評価処理の対象となる画像と判定されたものであるから，その判定結果にもとづいてＣＰＵ２の制御のもとに画像評価装置17（画像評価処理手段）によって画像評価処理が行われることとなる。画像評価は，上述したように画像解析装置により画像の明るさ，彩度，色味，ぼけ，ぶれ，構図等を利用して電子アルバムに表示するのに適するかどうかを調べるものである。電子アルバムに適する画像ほど画像評価が高い。必要であれば，画像ファイルは顔検出装置15に与えられ，画像に顔が含まれているかどうかも検出される。また，顔認識装置16に画像ファイルが与えられ，特定の人物の顔が画像に含まれているかどうかも検出される。顔が含まれている画像または特定の人物の顔が含まれている画像について画像評価を高くできる。この時，付帯情報にディジタル・カメラやスマートフォンによって被写体の人物に関する情報，例えば，顔の有無，顔の数，人物の有無，人物の人数，人物名等が付与されている場合もあるが，通常はこれらディジタル・カメラやスマートフォンよりも，画像評価装置の顔検出装置15および顔認識装置16の方が，性能が良いため，改めてこれらの処理が行われる場合もある。また，付帯情報と解析装置の結果を組み合わせて画像評価を行ってもよい。例えば，付帯情報に基づく撮像時刻情報（撮像日時）から連続的に撮像された画像であると判断されれば画像評価を高くするが，顔検出処理により顔が含まれていないと判断された場合には画像評価を下げることで画像評価の精度を高めることができる。

画像評価装置17における画像評価にもとづいて，電子アルバム生成装置１に読み取られた画像ファイルによって表わされる画像が電子アルバムに自動レイアウトされる（図５ステップ45）。画像は撮像日時順にしたがって電子アルバムにレイアウトされ，かつ電子アルバムの各ページの中央または大きな領域に，評価の高い画像が表示されるように自動的にレイアウトが行われる（図５ステップ45）。

電子アルバムの自動レイアウトが終わると，電子アルバムが表示装置12の表示画面13に表示される（図５ステップ46）（第３の表示制御手段）。

図11は，電子アルバム表示画面の一例である。

電子アルバム表示画面のほぼ全体に電子アルバム表示領域60が形成されている。この電子アルバム表示領域60に電子アルバムを構成する見開きのページが表示されている。この見開きのページ内に自動レイアウトされた画像61が表示されている。電子アルバム表示領域60の下には，「前頁へ」の文字列が表示されている領域62，「次頁へ」の文字列が表示されている領域63，「完了」の文字列が表示されている領域64および「やめる」の文字列が表示されている領域65が形成されている。領域62がタッチされることにより電子アルバム表示領域60に表示されている電子アルバムのページの前ページが電子アルバム表示領域60に表示され，領域63がタッチされることにより電子アルバム表示領域63に表示されている電子アルバムのページの次のページが電子アルバム表示領域60に表示される。領域64がタッチされることにより電子アルバム生成装置１における電子アルバム生成処理が終了する。必要に応じて，生成された電子アルバムを表す電子アルバム・データがプリンタ・サーバ21に送信され，紙媒体のアルバムが作成される。領域65がタッチされることにより電子アルバム生成装置１における電子アルバム生成処理が中止される。

電子アルバム表示領域60の左上には，電子アルバム表示領域60に表示されているページとは異なるページ71を表示する電子アルバム・ページ表示領域70が形成されている。電子アルバム・ページ表示領域70の右側にはスライド・バー72が形成されている。スライド・バー72を動かすことにより，電子アルバム・ページ表示領域70に表示されているページ71と異なるページが電子アルバム・ページ表示領域70に表示される。

電子アルバム・ページ表示領域70の下には，画像表示領域80が形成されている。画像表示領域80には，上述のようにして読み取られた画像ファイルによって表わされる画像81が表示されている。画像表示領域80の右側にもスライド・バー82が形成されている。スライド・バー82を動かすことにより，画像表示領域80に表示されている画像と異なる画像が画像表示領域80に表示される。

上述の実施例では，画像評価の対象とする画像を表わす画像ファイルのみが電子アルバム生成装置１に読み取られるので，画像ファイルの読み取り時間が短縮される。ユーザの待ち時間が短くなる。また，画像評価が不要と考えられる画像についての画像評価も行われないので，画像評価に要する時間も短くなる。

図12から図14は，他の実施例を示すもので，ユーザの自宅等にあるパーソナル・コンピュータと通信するサーバを利用して電子アルバムを生成するものである。

図12は，パーソナル・コンピュータ，サーバ等の電気的構成を示すブロック図である。

パーソナル・コンピュータ90とサーバ110とは互いにインターネットのようなネットワークを介して通信可能である。

パーソナル・コンピュータ90の全体の動作はＣＰＵ91によって統括される。

パーソナル・コンピュータ90には，サーバ110と通信するための通信装置92，ＲＡＭ93，記憶制御装置94，入力インターフェイス95，キーボード96，マウス97および表示装置98が含まれている。表示装置98の表示画面99にはタッチ・パネル100が形成されている。

さらに，パーソナル・コンピュータ90には，CD-ROM102にアクセスするためのCD-ROMドライブ101およびメモリ・カード104にアクセスするためのカード・リーダ103も含まれている。CD-ROM102に動作プログラムが格納されており，その動作プログラムがパーソナル・コンピュータ90によって読み取られる。読み取られた動作プログラムがパーソナル・コンピュータ90にインストールされることにより，後述する動作が行われる。

サーバ110の全体の動作は，ＣＰＵ111によって統括される。

サーバ110には，パーソナル・コンピュータ90，画像ストレージ120およびプリンタ・サーバ121と通信するための通信装置112が含まれている。また，サーバ110には，ＲＡＭ113，記憶制御装置114，画像処理装置115，顔検出装置116，顔認識装置117および画像評価装置118も含まれている。

図13および図14は，パーソナル・コンピュータ90（ＣＰＵ91）およびサーバ110（ＣＰＵ111）の処理手順を示すフローチャートである。

パーソナル・コンピュータのユーザは，付帯情報が格納されているCD-ROM102，メモリ・カード104等をCD-ROMドライブ101，カード・リーダ103等に装填する。すると，装填されたCD-ROM102等から，上述のように画像の付帯情報が読み取られる。読み取られた付帯情報は，パーソナル・コンピュータ90からサーバ110に送信される（ステップ131）。

パーソナル・コンピュータ90から送信された付帯情報がサーバ110において受信されると（ステップ151），上述のように，付帯情報に含まれている撮像日時を用いてグルーピング処理が行われる（ステップ152）。生成されたグループの数がｎ±Δとなると（ステップ153でＹＥＳ），グループに属することとなる画像の数が算出され（ステップ154），サーバ110において重要度グラフ・データが生成される（ステップ155）。生成された重要度グラフ・データがサーバ110からパーソナル・コンピュータ90に送信される（ステップ156）。

サーバ110から送信された重要度グラフ・データがパーソナル・コンピュータ90において受信されると（ステップ132），図９に示すように重要度グラフがパーソナル・コンピュータ90の表示画面99に表示される（ステップ133）。すると，パーソナル・コンピュータ90のユーザによって，必要に応じて，パーソナル・コンピュータ90の表示画面99に表示されている重要度グラフのしきい値が変えられる（ステップ134）。しきい値が変えられなければ（ステップ134でＮＯ），そのしきい値以上のグループに属することとなる画像を表わす画像ファイルがパーソナル・コンピュータ90からサーバ110に送信される（ステップ135）。しきい値が変えられると（ステップ134でＹＥＳ），変更後のしきい値以上のグループに属することとなる画像を表わす画像ファイルがパーソナル・コンピュータ90からサーバ110に送信される（ステップ136）。

サーバ110に送信された画像ファイルによって表わされる画像は，図10に示すように表示画面99に表示される（図14ステップ137）。ユーザは，表示画面99に表示されている画像以外の画像を表わす画像ファイルをサーバ110に送信したい場合には，＜はい＞の文字列53をタッチする。すると，パーソナル・コンピュータ90に，画像再送信指令が与えられ，サーバ110に送信されていない画像ファイルがパーソナル・コンピュータ90からサーバ110に送信される（ステップ139）。新たにサーバ110に送信された画像ファイルによって表わされる画像が表示画面99に表示される（ステップ140）。

パーソナル・コンピュータ90のユーザによって，＜いいえ＞の文字列54がタッチされると，パーソナル・コンピュータ90に自動レイアウト指令が与えられたこととなり（ステップ141でＹＥＳ），パーソナル・コンピュータ90からサーバ110に自動レイアウト指令が送信される（ステップ142）。

パーソナル・コンピュータ90から送信された画像ファイルがサーバ110の通信装置（受信手段）112において受信されると（ステップ157），受信した画像ファイルが画像評価装置118に与えられ，画像評価装置118において，画像評価が行われる（ステップ158）。

パーソナル・コンピュータ90から送信されたレイアウト指令がサーバ110において受信されると（ステップ159），画像評価にもとづいて画像が電子アルバムに自動レイアウトされる（ステップ160）。自動レイアウトされた電子アルバムを表わすデータがサーバ110からパーソナル・コンピュータ90に送信される（ステップ161）。

サーバ110から送信された電子アルバムを表すデータがパーソナル・コンピュータ90において受信されると（ステップ143），パーソナル・コンピュータ90の表示画面99に図11に示すように電子アルバムの画像が表示される（ステップ144）。

上述の実施例では，画像評価の対象となる画像を表わす画像ファイルのみがサーバ110に送信されるので，画像ファイルの送信時間が短縮されることとなる。

図15および図16は，変形例を示すもので，図１に示す処理電子アルバム生成装置１の処理手順を示すフローチャートである。図15および図16は，図４および図５に対応し，図４および図５の処理に対応する処理については図４および図５に示す処理と同一符号を付して説明を省略する。

この実施例では，付帯情報のみが電子アルバム生成装置１によって最初に読み取られるのではなく，画像ファイル（画像データ）と付帯情報とが読み取られる（ステップ31Ａ）。図２に示したように，付帯情報が画像ファイルに格納されている場合には，画像ファイルのほかに付帯情報を読み取る必要は必ずしもない。その後は，図４に示したように，付帯情報に含まれる撮像日時からグループが生成され，図９に示す重要度グラフが生成される（ステップ32から35）。

しきい値が変えられなければ（ステップ36でＮＯ），しきい値以上のグループに属する画像が評価対象とされるようにフラグ等が立てられる（ステップ37）。また，しきい値が変えられると（ステップ36でＹＥＳ），変えられたしきい値以上のグループに属する画像が評価対象とされるようにフラグ等が立てられる（ステップ38Ａ）。

評価対象とされた画像が表示画面13に表示され（図16ステップ39Ａ），上述のように，＜はい＞の文字列53がタッチされると，しきい値が下げられ，評価対象となる画像が増える（図16ステップ41Ａ）。新たに評価対象となった画像を含めて，評価対象の画像が表示画面13に表示される（図16ステップ42Ａ）。

上述のように＜いいえ＞の文字列54がタッチされると，評価対象の画像について画像評価装置17において画像評価が行われる（ステップ44Ａ）。得られた画像評価にもとづいて電子アルバムの自動レイアウトが行われ（ステップ45），自動レイアウト後の電子アルバムが表示画面13に表示される（ステップ46）。

上述の実施例では，画像評価の対象となる画像ファイルのみが画像評価装置17に与えられ画像評価が行われるので，画像評価に要する時間が短くなる。

図17および図18は，さらに他の変形例を示すもので，図12に示すパーソナル・コンピュータ90とサーバ110との処理手順を示すフローチャートである。図17および図18は，図13および図14に対応し，図13および図14の処理と同一の処理については同一符号を付して説明を省略する。

パーソナル・コンピュータ90からサーバ110に付帯情報のみが最初に送信されるのではなく，画像ファイル（画像データ）および付帯情報がパーソナル・コンピュータ90からサーバ110に送信される（ステップ131Ａ）。もちろん，画像ファイルに付帯情報が格納されていれば，画像ファイルとは別に付帯情報をパーソナル・コンピュータ90からサーバ110に送信される必要はない。サーバ110において画像ファイルおよび付帯情報が受信されると（ステップ151Ａ），付帯情報に含まれている撮像日時からグループが生成され（ステップ152Ａ），上述のように重要度グラフ・データが生成される（ステップ153から155）。サーバ110からパーソナル・コンピュータ90に重要度グラフ・データが送信されると（ステップ156），パーソナル・コンピュータ90の表示画面99において重要度グラフが表示される（ステップ133）。パーソナル・コンピュータ90のユーザによってしきい値が変えられなければ（ステップ134でＮＯ），しきい値以上のグループの画像が評価対象とされ（ステップ135Ａ），しきい値が変えられると（ステップ134でＹＥＳ），変えられたしきい値以上のグループの画像が評価対象とされる（ステップ136Ａ）。上述と同様に評価対象の画像が表示画面99に表示される（図18ステップ137Ａ）。また，＜はい＞の文字列53がタッチされると，パーソナル・コンピュータ90には評価対象送信指令が与えられ（ステップ138ＡでＹＥＳ），新たに評価対象となる画像が表示画面99に新たに表示される（ステップ139Ａ）。新たに評価対象となった画像を識別するデータ（たとえば，画像ファイル名）がパーソナル・コンピュータ90からサーバ110に送信される（ステップ140Ａ）。また，パーソナル・コンピュータ90に自動レイアウト指令が与えられると（ステップ141でＹＥＳ），その自動レイアウト指令もパーソナル・コンピュータ90からサーバ10に送信される（ステップ142）。

パーソナル・コンピュータ90から送信された評価対象画像の識別データがサーバ110において受信されると（ステップ157Ａ），すでにサーバ110において受信している画像ファイルのうち，その識別データによって特定される画像ファイルが画像評価装置17に与えられ，画像評価が行われる（ステップ158Ａ）。その後，パーソナル・コンピュータ90から送信された自動レイアウト指令がサーバ110において受信されると（ステップ159），画像評価にもとづいて電子アルバムの自動レイアウトが行われる（ステップ160）。自動レイアウトされた電子アルバムを表わすデータがサーバ110からパーソナル・コンピュータ90に送信される（ステップ161）。

パーソナル・コンピュータ90において電子アルバムを表わすデータが受信されると，表示画面99に電子アルバムが表示される（ステップ143，144）。

上述の実施例においてもすべての画像ファイルが画像評価装置17に与えられるのではなく，重要と思われる画像ファイルのみが画像評価装置17に与えられて画像評価が行われるので，画像評価に要する時間を短縮できる。

上述の実施例においては図９に示す重要度グラフが表示されているが，必ずしも表示されなくともよい。その場合には，しきい値を直接ユーザが変更するのではなく，図10に示すように，＜はい＞の文字列53がユーザによってタッチされたことに応じてしきい値が下げられることとなろう。

上述の実施例では，付帯情報として撮像日時が利用されているが，撮像日時ではなく，ＧＰＳ（グローバル・ポジショニング・システム）情報，色情報，被写体の人物に関する情報，例えば，顔の有無，顔の数，人物の有無，人物の人数など，またはサムネイル画像などの付帯情報を利用して画像の重要度を判断することができる。ＧＰＳ情報を利用する場合であれば，撮像日時と同様に，一定範囲の撮像場所で撮像された画像をグループ化し，グループに属する画像の枚数にもとづいてグループ内に属する画像の重要度を判断できる。ここで判断された重要度は，画像評価装置での画像評価に反映されてもよい。例えば，個別の画像評価結果では同じ評価の画像であっても，重要度が高いと判断されたグループに属している画像はより高い画像評価となる。また，人物が写っていると判断される画像の重要度を高める，あるいは人物が写っている画像のみを重要と判断する，さらには，人物の顔の個数をグループに属する画像の重要度に使うことも可能である。例えば，特定の人物の顔が写っている画像を多数含むグループは，グループの重要度が高くなり，結果としてグループ内に属するが顔を含まない画像の重要度も高くする。また，必ずしもグループ化する必要もなく，画像一つ一つの重要度を判断し，重要と考えられる画像のみを電子アルバム生成装置１が読み取る，サーバ110に送信する，あるいは画像評価装置17に与えるようにしてもよい。

１ 電子アルバム生成装置（画像評価装置）
２，111 ＣＰＵ（画像評価処理判定手段，グルーピング手段，第１の表示制御手段，第２の表示制御手段，第３の表示制御手段）
３，112 通信装置（付帯情報読み取り手段，画像ファイル読み取り手段）
７，103 カード・リーダ（付帯情報読み取り手段，画像ファイル読み取り手段）
８ 近距離通信装置（付帯情報読み取り手段，画像ファイル読み取り手段）
14 タッチ・パネル（指定手段）
17 画像評価装置（画像評価手段）
19，101 CD-ROMドライブ（付帯情報読み取り手段，画像ファイル読み取り手段）
23，102 CD-ROM（プログラムが格納された記録媒体）
90 パーソナル・コンピュータ
110 サーバ

Claims (16)

1. 画像の特性を表わす付帯情報を読み取る付帯情報読み取り手段，
   上記付帯情報読み取り手段によって読み取られた付帯情報にもとづいて，多数の画像をグループ化するグルーピング手段，
   上記グルーピング手段によってグループ分けされたグループの重要度を算出し，上記重要度がしきい値を超えるグループに属する各画像に対して画像評価を行うと判定する画像評価処理判定手段，および
   上記画像評価処理判定手段によって画像評価を行うと判定されたことに応じて，画像の明るさ，彩度，色味，ぼけ，ぶれ，構図，顔が検出されたか否か，検出された顔の大きさ，検出された顔の明るさ，検出された顔の画像内の位置，特定の人物の顔の有無，または類似の画像の有無のうち少なくとも１つを画像解析により求め，上記解析の結果にもとづいて各画像に対する画像評価を行う画像評価処理手段，
   を備えた画像評価装置。
2. 上記グループの重要度は，上記グループに属する画像の数である，
   請求項１に記載の画像評価装置。
3. 上記付帯情報読み取り手段は，画像ファイルを読み取らずに付帯情報を読み取り，
   上記画像評価処理判定手段によって評価処理を行うと判定された画像を表わす画像ファイルを読み取る画像ファイル読み取り手段をさらに備え，
   上記画像評価処理手段は，
   上記画像ファイル読み取り手段において読み取られた画像ファイルによって表わされる画像の評価処理を行うものである，
   請求項１または２に記載の画像評価装置。
4. 画像ファイルを読み取る画像ファイル読み取り手段をさらに備え，
   上記画像評価処理手段は，
   上記画像ファイル読み取り手段において読み取られた多数の画像ファイルによって表わされる多数の画像のうち，上記画像評価処理判定手段によって評価処理を行うと判定された画像について画像の評価処理を行うものである，
   請求項１または２に記載の画像評価装置。
5. 付帯情報は，画像ファイルに格納されている，あるいは画像ファイルとは別のファイルまたは別の媒体に記録されている，
   請求項２から４のうち，いずれか一項に記載の画像評価装置。
6. 上記画像評価処理判定手段によって評価処理を行うと判定された画像を表示するように表示装置を制御する第１の表示制御手段，
   をさらに備えた請求項１から５のうち，いずれか一項に記載の画像評価装置。
7. 上記画像評価処理手段による評価処理が行われた画像の評価が一定以上の画像を表示するように表示装置を制御する第２の表示制御手段，
   をさらに備えた請求項１から６のうち，いずれか一項に記載の画像評価装置。
8. 上記画像評価処理手段による評価処理が行われた画像の評価が一定以上の画像を，電子アルバムを構成するページに表示するように表示装置を制御する第３の表示制御手段，
   をさらに備えた請求項１から７のうち，いずれか一項に記載の画像評価装置。
9. 付帯情報は，テキスト・データまたはサムネイル画像データである，
   請求項１から８のうち，いずれか一項に記載の画像評価装置。
10. 上記画像評価処理手段による画像評価に，画像の付帯情報をさらに用いる，
    請求項１から９のうち，いずれか一項に記載の画像評価装置。
11. 上記付帯情報読み取り手段は，
    ネットワークを介して送信された付帯情報を受信する受信手段を備え，
    上記受信手段によって受信された付帯情報を読み取るものである，
    請求項１から10のうち，いずれか一項に記載の画像評価装置。
12. 上記グルーピング手段は，撮像日ごとに多数の画像をグループ分けし，
    上記画像評価処理判定手段は，上記グルーピング手段によってグループ分けされたグループに属する画像の数がしきい値を超えるグループに属する各画像に対して画像評価を行うと判定する，
    請求項１から11のうち，いずれか一項に記載の画像評価装置。
13. 上記グルーピング手段は，あらかじめ定められている数±正の整数となるように撮像日ごとに多数の画像をグループ分けする，
    請求項12に記載の画像評価装置。
14. 付帯情報読み取り手段が，画像の特性を表わす付帯情報を読み取り，
    グルーピング手段が，上記付帯情報読み取り手段によって読み取られた付帯情報にもとづいて，多数の画像をグループ化し，
    画像評価処理判定手段が，グルーピング手段によってグループ分けされたグループの重要度を算出し，上記重要度がしきい値を超えるグループに属する各画像に対して画像評価を行うと判定し，
    画像評価処理手段が，上記画像評価処理判定手段によって画像評価を行うと判定されたことに応じて，画像の明るさ，彩度，色味，ぼけ，ぶれ，構図，顔が検出されたか否か，検出された顔の大きさ，検出された顔の明るさ，検出された顔の画像内の位置，特定の人物の顔の有無，または類似の画像の有無のうち少なくとも１つを画像解析により求め，上記解析の結果にもとづいて各画像に対する画像評価を行う，
    画像評価方法。
15. 画像評価装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    画像の特性を表わす付帯情報を読み取るステップ，
    読み取られた付帯情報にもとづいて，多数の画像をグループ化するステップ，
    グループ分けされたグループの重要度を算出し，上記重要度がしきい値を超えるグループに属する各画像に対して画像評価を行うと判定するステップ，
    画像評価を行うと判定されたことに応じて，画像の明るさ，彩度，色味，ぼけ，ぶれ，構図，顔が検出されたか否か，検出された顔の大きさ，検出された顔の明るさ，検出された顔の画像内の位置，特定の人物の顔の有無，または類似の画像の有無のうち少なくとも１つを画像解析により求め，上記解析の結果にもとづいて各画像に対する画像評価を行うステップを画像評価装置のコンピュータを実行させるためのプログラム。
16. 請求項15に記載のプログラムを格納した記録媒体。

Images