JP5883821B2 - 画像検索装置およびその動作制御方法ならびに画像検索サーバ - Google Patents

Description

この発明は，画像検索装置およびその動作制御方法ならびに画像検索サーバに関する。

電子アルバムを作成する場合，テンプレートに設けられた配置枠に配置すべき画像を自動的に選択し，選択された画像が配置枠に配置されるものがある（特許文献１）。

特開2011-103135号公報

特許文献１に記載のものでは，自動的に作成された電子アルバムを修正する場合，多数の画像の中から所望の画像を選び直すので，ユーザの好みにあった画像を見つけることは難しい。

この発明は，ユーザの好みにあった画像を比較的簡単に見つけ出すようにすることを目的とする。

第１の発明による画像検索装置は，複数の画像を表示画面の候補エリアに表示するように表示装置を制御する表示制御手段，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，多数の画像のうち複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように点数化手段を制御する第１の点数化制御手段，ならびに点数化手段によって得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定する画像配置決定手段を備えていることを特徴とする。

第１の発明は，画像検索装置に適した動作制御方法も提供している。すなわち，この方法は，表示制御手段が，複数の画像を表示画面の候補エリアに表示するように表示装置を制御し，特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，点数化手段が，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，点数化制御手段が，候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，多数の画像のうち複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして画像を点数化するように点数化手段を制御し，画像配置決定手段が，点数化手段によって得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定するものである。検索結果エリアに表示されている画像を用いて電子アルバムを作成するようにしてもよい。

第１の発明は，画像検索装置のコンピュータを制御するプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

第１の発明によると，複数の画像が表示画面の候補エリアに表示される。多数の画像のそれぞれの画像について，画像の特性を表わす特徴量の値が算出され，算出された特徴量の値にもとづいて画像が点数化される。候補エリアに表示されている画像が，検索結果エリアに移動させられると，多数の画像のうち，表示画面に表示されている複数の画像を除く画像について，その移動させられた画像の特徴量に対応する特徴量の値が高くなるように点数化される。点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像は表示画面の候補エリアに表示されるように画像配置が決定される。検索結果エリアに移動させられる画像はユーザ好みの画像と考えられ，そのような画像の特徴量と同じような特徴量をもつ画像が検索結果エリアに表示されるようになるので，検索結果エリアにはユーザ好みの画像が表示されるようになる。

表示制御手段は，たとえば，画像配置決定手段によって決定された配置の画像表示指令が与えられたことに応じて，決定された配置で画像を表示するように表示装置を制御するものである。

表示制御手段は，候補エリアのほかに削除エリアも表示画面に表示するように表示装置を制御するものでもよい。この場合，候補エリアに表示されている画像または検索結果エリアに表示されている画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて，多数の画像のうち複数の画像を除く画像について第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように点数化手段を制御する第２の点数化制御手段をさらに備えていることが好ましい。

第１の点数化制御手段は，たとえば，第１の移動指令に応じて検索結果エリアに表示されている画像を候補エリアに移動する第３の移動指令が与えられたことに応じて，高くされた特徴量の値をもとの値に戻して画像を点数化するように点数化手段を制御するものである。第２の点数化制御手段は，たとえば，第２の移動指令に応じて検索結果エリアに表示されている画像を候補エリアに移動する第３の移動指令が与えられたことに応じて，低くされた特徴量の値をもとの値に戻して画像を点数化するように点数化手段を制御するものである。

画像配置決定手段によって，検索結果エリアに表示されている画像を用いて電子アルバムを作成する電子アルバム作成手段をさらに備えてもよい。

第２の発明は，クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバにであって，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている複数の画像のうちの一の画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，多数の画像のうち複数の画像を除く画像について，第１の移動指令が与えられた一の画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように点数化手段を制御する第１の点数化制御手段を備えていることを特徴とする。

第２の発明は，画像検索サーバに適した動作制御方法も提供している。すなわち，この方法は，クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバの動作制御方法であって，特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，点数化手段が，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，点数化制御手段が，クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている複数の画像のうちの一の画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，多数の画像のうち複数の画像を除く画像について，第１の移動指令が与えられた一の画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように点数化手段を制御するものである。

第２の発明においても第１の発明と同様に，検索結果エリアにはユーザ好みの画像が表示されるようになる。

クライアント・コンピュータの表示画面に形成されている，候補エリアに表示されている複数の画像のうちの一の画像または検索結果エリアに表示されている複数の画像のうちの一の画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて，多数の画像から複数の画像を除く画像について，第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように点数化手段を制御する第２の点数化制御手段をさらに備えてもよい。

第３の発明は，クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバであって，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，点数化手段によって得られた点数の高い複数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されているようなクライアント・コンピュータの表示画面に形成されている候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する第１の点数化制御手段を備えていることを特徴とする。

第２の発明は，画像検索サーバに適した動作制御方法も提供している。すなわち，この方法は，クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバの動作制御方法であって，特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，点数化手段が，特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，点数化制御手段が，点数化手段によって得られた点数の高い複数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されているようなクライアント・コンピュータの表示画面に形成されている候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように点数化手段を制御するものである。

第２の発明においても第１の発明と同様に，検索結果エリアにはユーザ好みの画像が表示されるようになる。

クライアント・コンピュータの表示画面に形成されている，候補エリアに表示されている画像または検索結果エリアに表示されている画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように上記点数化手段を制御する第２の点数化制御手段をさらに備えていることが好ましい。

フォトブック作成装置の電気的構成を示すブロック図である。 フォトブック作成装置の処理手順を示すフローチャートである。 フォトブック作成装置の処理手順を示すフローチャートである。 画像がグループ分けされた様子を示している。 画像リストの一例である。 画像特徴量テーブルの一例である。 特徴量重み付け係数テーブルの一例である。 未閲覧ページ・リストの一例である。 画像点数を示している。 仮想編集画像の一例である。 ページ編集処理手順のフローチャートである。 編集画像の一例である。 フォトブック作成システムの構成を示している。 フォトブック作成システムの処理手順を示すフローチャートである。 フォトブック作成システムの処理手順を示すフローチャートである。 フォトブック作成システムの処理手順を示すフローチャートである。 フォトブック作成システムの処理手順を示すフローチャートである。 ページ編集処理手順のフローチャートである。 クライアント・コンピュータと画像検索サーバとの処理手順を示すフローチャートである。 クライアント・コンピュータと画像検索サーバとの処理手順を示すフローチャートである。 クライアント・コンピュータと画像検索サーバとの処理手順を示すフローチャートである。 クライアント・コンピュータと画像検索サーバとの処理手順を示すフローチャートである。 検索結果画像の一例である。

図１は，この発明の実施例を示すもので，フォトブック（電子アルバム）作成装置１の電気的構成を示すブロック図である。

フォトブック作成装置１の全体の動作は，ＣＰＵ２によって統括される。

フォトブック作成装置１には，CD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ６が含まれている。このCD-ROMドライブ６に，後述する動作プログラムが格納されているCD-ROM７が装填されることにより，その動作プログラムが読み取られ，フォトブック作成装置１にインストールされる。フォトブック作成装置１には，通信装置10も設けられている。この通信装置10によって動作プログラムを受信し，受信した動作プログラムがフォトブック作成装置１にインストールされてもよい。

フォトブック作成装置１には，表示制御装置３によって制御される表示装置４が含まれている。この表示装置４の表示画面には，タッチ・パネル５が形成されている。タッチ・パネル５をタッチ等した信号は，ＣＰＵ２に入力する。また，フォトブック作成装置１には，ハードディスク・ドライブ11によってアクセスされるハードディスク12およびメモリ・カード・リーダ８も設けられている。多数の画像を表わす画像ファイルが格納されているメモリ・カード９がメモリ・カード・リーダ８に装填されると，メモリ・カード・リーダ８によって，その画像ファイルが読み取られる。

図２および図３は，フォトブック作成装置１の処理手順を示すフローチャートである。

この実施例によるフォトブック作成装置１は，自動的にレイアウトされたフォトブックのページを表示画面に表示して，ユーザが画像を変更する編集作業をした場合に，編集作業を参考にして，フォトブックのページにレイアウトされる画像がユーザ好みの画像となるようにするものである。

ユーザによってフォトブックに含まれる画像の撮像期間が指定される（ステップ21）。メモリ・カード９（その他の媒体でもよい）がメモリ・カード・リーダ８に装填され，メモリ・カード９に格納されている多数の画像を表す画像ファイルが読み取られる（ステップ22）。読み取られた画像ファイルによって表わされる多数の画像が，撮像日時にもとづいてグループ分けさせられ，グループごとに画像リストが作成される（ステップ23）。

図４は，読み取られた多数の画像がグループ分けされている様子を示している。

図４において横軸が撮像日時である。読み取られた多数の画像ｉが撮像日時にもとづいて並べられ，近い撮像日時ごとにグループ化される。図４においては，グループＧ１からＧ11まで11のグループが作成されている。グループに含まれる画像の数がほぼ同じとなるようにグループ分けされるが，必ずしもほぼ同じでなくてもよい。撮像日時は，画像ファイルのヘッダに記録されているのはいうまでもない。

グループ化されると，グループごとに画像リストが作成される。

図５は，グループＧ１およびＧ２の画像リストの一例である。

グループＧ１では，画像Ｉ１からＩ100までの100の画像が一つのグループを構成し，画像リストが作成されている。グループＧ２では，画像Ｉ101からＩ213までの113の画像が一つのグループを構成し，画像リストが作成されている。他のグループでも同様に画像リストが作成される。

図２に戻って，すべての画像リストのすべての画像について特徴量の値が算出される（ステップ24）。

図６は，グループＧ２についての画像特徴量テーブルの一例である。

画像特徴量テーブルには，画像の特性表わす特徴量（ぼけ，明るさ，構図など）に対応して，画像リストに含まれる画像の特徴量の値が格納されている。たとえば，画像Ｉ101のぼけ，明るさおよび構図の特徴量の値はそれぞれ，ｕ101，ｂ101およびａ101である。同様に，画像Ｉ102のぼけ，明るさおよび構図の特徴量の値は，それぞれｕ102，ｂ102およびａ102である。グループＧ１に含まれるその他の画像Ｉ103からＩ212についても同様に特徴量の値が格納されている。

すべての画像リストのすべての画像の特徴量の値が算出されることにより，このような画像特徴量テーブルが，グループ分けされたすべてのグループＧ１からＧ21について作成される。

つづいて，フォトブック・ページ番号ｎが１にセットされる（図２ステップ25）。フォトブック・ページ番号ｎは，ユーザが編集するページを示すもので，そのページ番号ｎによって特定されるページが表示画面に表示されることとなる（図12参照）。また，特徴量重み付け係数が初期化される（ステップ26）。

図７は，特徴量重み付け係数テーブルの一例である。

特徴量重み付け係数テーブルは，特徴量に対応して重み付け係数を格納するものである。重み付け係数は，上述したように（図５参照）特徴量の値に乗じられるものである。後述するように，重み付け係数が乗じられた特徴量の値の総和が，その画像についての点数となる。

詳しくは後述するように，ユーザの編集操作に応じて重み付け係数は変更させられる。このために，特徴量重み付け係数テーブルには，重み付け係数の初期値のほかに，操作後の重み付け係数の履歴が格納されていく。たとえば，ぼけ，明るさおよび構図の特徴量のそれぞれの初期値はすべてｋであったものが，第１回目の編集操作により，ぼけ，明るさおよび構図の特徴量の重み付け係数はｋ１，ｋ２およびｋ３となっている。

つづいて，未閲覧ページ・リストにすべてのページが追加される（図２ステップ27）。

図８は，未閲覧ページ・リストの一例である。

未閲覧ページ・リストは，ユーザによる編集操作が行われていないフォトブックのページを示すものである。初期状態ではユーザによる編集操作が１ページも行われていないので，フォトブックのすべてのページが未閲覧ページ・リストに加入されることとなる。また，この実施例では，見開きページで編集操作が行われるので（必ずしも見開きページで編集操作が行われなくともよい），１ページ目を除いて２ページごとのページが未閲覧ページ・リストに追加されている。

次に，ｎページ目が未閲覧ページ・リストから削除される（図３ステップ28）。ｎ＝１にセットされているから，１ページ目が未閲覧ページ・リストから削除されることとなる。

つづいて，すべての画像リストの画像が特徴量重み付け係数を利用して点数化される（図３ステップ29）。

図９は，グループＧ２の画像リストに属する画像の点数を示す点数テーブル一例である。

点数テーブルには，画像に対応して点数が格納されている。これらの点数は，図５に示す画像特徴量テーブルに格納されている画像ごとの特徴量に，図６に示す特徴量重み付け係数テーブルに格納されている，特徴量の重み付け係数を乗じて得られた特徴量の値の総和である。たとえば，画像101のぼけの特徴量の値，明るさの特徴量の値，構図の特徴量の値は，図６に示すように，それぞれｕ101，ｂ101，ａ102であり，ぼけの特徴量の重み付け係数，明るさの特徴量の重み付け係数，構図の特徴量の重み付け係数は，すべてｋであるから，画像I101の点数Ｐ101＝ｕ101×ｋ＋ｂ101×ｋ＋ａ101×ｋ・・・として算出される。このような点数化が，すべてのグループＧ１からＧ21の画像リストに属する画像について画像リストごとに（グループごとに）行われる。すべてのグループについて点数テーブルが作成される。

この実施例では，まず，ユーザが編集するｎページ（この場合ｎ＝１にセットされているから１ページ）以外のページについてフォトブック作成装置１においてレイアウトが行われる。

図10は，未閲覧リストに含まれている２ページと３ページの仮想編集画像40を示している。

仮想編集画像40は，フォトブック作成装置１の表示装置４の表示画面に実際に表示される画像に相当するもので，表示画面に実際に表示される前にフォトブック作成装置１内部において仮想編集画像40が作成される。作成された仮想編集画像40についての編集指令が与えられたときに，仮想編集画像40が編集用画像として表示画面に表示され，表示された画像を見ながらユーザがレイアウト変更などを行う。

仮想編集画像40には，仮想候補エリア41，仮想レイアウト・エリア42および仮想削除エリア43が含まれている。仮想レイアウト・エリア42は，フォトブックを構成するページのレイアウトを表示するためのもので，フォトブックのページに対応する見開きの仮想ページ44が含まれている。左側の仮想ページ（２ページ）45および右側の仮想ページ（３ページ）46には画像が割り当てられている。これらの画像は，上述したように，２ページと３ページに対応するグループＧ２の画像リストに含まれている画像のうち，点数の高い上位10番目までのものである。仮想候補エリアには２ページと３ページに対応するグループＧ２の画像リストに含まれている画像のうち，点数が11番目以下の画像が割り当てられる。仮想削除エリア43は必ずしも利用されなくともよい。

図10に示すような画像の割り当て処理が，未閲覧リストに格納されているすべてのページについて行われる。

図３に戻って，上述のように，未閲覧リストの見開きページに，その見開きページに対応する画像リストに属する画像のうち，点数が上位10番目までの画像が，仮想レイアウト・エリアに割り当てられ（レイアウトされ）（ステップ30），点数が11番目以下の画像が，仮想候補エリアに割り当てられる（ステップ31）。

ｎページの編集が完了していなければ（ステップ32でＮＯ），ユーザによるページ編集が行われる（ステップ33）。ｎページの編集が完了していると（ステップ32でＹＥＳ），フォトブックのすべてのページの編集が完了したかどうかが確認され（ステップ34），完了していなければ（ステップ34でＮＯ），ユーザによって次に編集するページ番号ｎが指定される（ステップ35）。見開きページなので偶数ページが指定されることなろう。ページ番号ｎが指定されたページ番号ｎに設定され（ステップ36），設定されたページ番号ｎについて上述のステップ28から33までの処理が繰り返される。

図11は，ページ編集処理手順（図３ステップ33の処理手順）を示すフローチャートである。図12は，フォトブック作成装置１の表示装置４の表示画面に実際に表示される編集画像40Ａの一例である。

ｎページ目に対応するグループの編集画像が表示画面に表示される（ステップ51）。編集画像40Ａは，上述した仮想編集画像40に対応するもので，候補エリア41Ａ，レイアウト・エリア42Ａおよび削除エリア43Ａが含まれている。レイアウト・エリア42Ａには，見開きページ画像44Ａが含まれている。この見開きページ画像44Ａに，点数の上位10番目までの画像が表示される。但し，１ページ目を含む見開きページ44Ａの左側のページ45Ａには画像が含まれず，右側のページ46Ａが１ページ目となるため，ｎページ目のグループの画像リストに含まれる画像のうち，点数の上位５番目までの画像が右側のページ46Ａに表示される。候補エリア41Ａには，ｎページ目のグループの画像リストに含まれる画像のうち，６番目以降の点数の画像が表示される。削除エリア43には，電子アルバムに入れる必要の無い画像が表示される。

ユーザは，表示画面に表示された編集画像を用いて，画像，レイアウトの変更を行う。たとえば，図12の矢印47Ａで示すように，候補エリア41Ａまたは削除エリア43Ａに表示されている画像がレイアウト・エリア42Ａの見開きページ画像44Ａ上にドラッグ・アンド・ドロップにより移動させられると（ステップ52でＹＥＳ），ユーザは，その移動した画像の特性が好みであると考えられる。そのために，編集操作が行われると，移動した画像の特徴量に対応する特徴量の重み付け係数が変更させられる（ステップ53）。たとえば，移動した画像の特徴量のうち，ぼけの特徴量が平均的な特徴量よりも高ければ，ユーザは鮮鋭度の高い画像よりもぼけている画像の方が好みであることがわかる。このために，ぼけの重み付け係数が高くされる。たとえば，ぼけの特徴量の初期値ｋからｋ１に変更させられる。このようにして変更した重み付け係数が特徴量重み付け係数テーブルに格納される。明るさ，構図など，その他の特徴量の重み付け係数についても同様である。

また，図12の矢印47Ｂで示すように候補エリア41Ａまたはレイアウト・エリア42Ａに表示されている画像が削除エリア43Ａに移動させられると（ステップ54でＮＯ），その移動させられた画像の特性はユーザの好みではないと考えられる。そのような編集操作が行われると，移動させられた画像の特徴量に対応する特徴量の重み付け係数が下げられる（ステップ55）。

さらに，図12の矢印47Ｃで示すようにレイアウト・エリア41Ａに表示されている画像が候補エリアに移動させられると（ステップ56でＹＥＳ），その画像の特性は，好みでなかったと判断され，高くされた重み付け係数が元に戻される（ステップ57）。また，図12の矢印47Ｄで示すように削除エリア43Ａに表示されている画像が候補エリアに移動させられると（ステップ56でＹＥＳ），その画像の特性は，嫌いではなかったと判断され，下げられた重み付け係数が元に戻される（ステップ57）。

上述のように，ページ編集により重み付け係数が変更させられると，変更された重み付け係数を利用して再び，すべての画像リストの画像が重み付け係数を利用して点数化される（図３ステップ29）。ユーザ好みの特徴量の画像については点数が高くなるように重み付け係数が変更され，ユーザが嫌いな特徴量の画像については点数が低くなるように重み付け係数が変更させられる。したがって，ユーザの好みの画像について点数が高くなるので，図10で示したように，仮想レイアウト・エリア42の仮想ページ44には，ユーザの好みの画像がレイアウトされるようになる。

上述のように，ページ番号ｎが指定されると，ユーザ好みの画像がレイアウトされているページ画像が表示画面に実際に表示されるようになる。このようにして電子アルバム（フォトブック）を表わすファイルが生成され，電子アルバムが作成されていく。

図13から図18は，他の実施例を示すもので，ネットワークを介して通信するフォトブック作成装置60と画像検索サーバ61とから構成されるフォトブック作成システムについてのものである。

フォトブック作成装置60と画像検索サーバ61とは，インターネットのようなネットワークを介して互いに通信可能である。

フォトブック作成装置60および画像検索サーバ61は，図１に示すものと同じ構成である。もっとも画像検索サーバ61は，図１において，表示に関する装置，メモリ・カード・リーダ８などは不要となろう。

図14から図17は，フォトブック作成装置60と画像検索サーバ61との処理手順を示すフローチャートである。

上述の処理は，フォトブック作成装置１において，すべて行っているが，次に述べる処理ではページ編集はフォトブック作成装置１において行われ，レイアウトは画像検索サーバ61において行われるものである。

上述したのと同様に，フォトブック作成装置60において，期間が設定され（図14ステップ71），フォトブック作成装置60に装填されたメモリ・カード９から画像ファイルが読み取られる（図14ステップ72）。読み取られた画像ファイルおよび設定期間を表わすデータがフォトブック作成装置60から画像検索サーバ61に送信される（図14ステップ73）。設定期間内の画像を表わす画像ファイルだけがフォトブック作成装置60から画像検索サーバ61に送信されるようにしてもよい。

多数の画像を表わす画像ファイルおよび設定期間を示すデータが画像検索サーバ61において受信されると（図14ステップ81），上述したのと同様に多数の画像がグループ分けされ，グループごとに画像リストが作成される（図14ステップ82）。すべての画像のリストのすべての画像の特徴量の値が算出され（図14ステップ83），フォトブック・ページ番号ｎが１にセットされる（図14ステップ84）。特徴量重み付け係数が初期化され（図14ステップ85），未閲覧ページ・リストにすべてのページが追加される（図14ステップ86）。

ｎページ目（１ページ目）が未閲覧ページ・リストから削除され（図15ステップ87），すべての画像リストの画像が特徴量重み付け係数を利用して点数化される（図15ステップ88）。上述と同様に未閲覧リストの見開きページに上位10番目までの点数の画像が仮想レイアウト・エリア42にレイアウトされ，11番目以降の点数の画像が仮想候補エリア41に配置される（図15ステップ89，90）。

また，ｎページ目の編集画像（図12参照）を表わすHTML（HyperText Markup Language）ファイルも生成され，そのHTMLファイルが画像検索サーバ61からフォトブック作成装置60に送信される（図15ステップ91）。

画像検索サーバ61から送信されたHTMLファイルがフォトブック作成装置60において受信されると，そのｎページ目の編集が完了していなければ（図17ステップ74），ページ編集が行われる（図17ステップ75）。ページ編集について詳しくは後述する。ページ編集が完了すると（図17ステップ76でＮＯ），ページ番号が指定され（図17ステップ78），指定されたページ番号を表わすデータが画像検索サーバ61に送信される（図17ステップ79）。すべてのページの編集が終了すると（図17ステップ76でＹＥＳ），完了指令が画像検索サーバ61に送信される（図17ステップ77）。

図18は，ページ編集処理手順（図17ステップ75の処理手順）を示すフローチャートの一例である。この図において図11に示す処理と同一の処理については同一符号を付している。

図18を参照して，画像検索サーバ61から送信されたｎページ目のHTMLファイルがフォトブック作成装置60において受信されると，図12に示したように編集画像40Ａがフォトブック作成装置60の表示画面に表示される（図18ステップ51）。

上述と同様に，候補エリアまたは削除エリアからレイアウト・エリアに画像が移動させられると（ステップ52でＹＥＳ），その画像の特徴量に対応する特徴量の重み係数を変更する指令が画像検索サーバ61に送信される（ステップ53Ａ）。候補エリアまたはレイアウト・エリアから削除エリアに画像が移動させられると（ステップ54でＹＥＳ），移動させられた画像の特徴量に対応する特徴量の重み係数を下げる指令が画像検索サーバ61に送信される（ステップ55Ａ）。削除エリアまたはレイアウト・エリアから候補エリアに画像が移動させられると（ステップ56でＹＥＳ），変更した重み付け係数を元に戻す指令が画像検索サーバ61に送信される（ステップ57Ａ）。

図16を参照して，画像検索サーバ61において重み付け係数変更指令が受信されると（ステップ92でＹＥＳ），その指令にしたがって重み付け係数が変更させられる（ステップ93）。完了指令を受信しなければ（ステップ94でＮＯ），ページ番号ｎを表わすデータを受信したかどうかが確認される（ステップ95）。ページ番号ｎを表わすデータが受信されると（ステップ95でＹＥＳ），ページ番号ｎが指定されたページ番号に設定される（ステップ96）。その後は，上述したのと同様である。

上述の実施例において，表示画面に不要人物ゴミ箱（不要人物領域）を設けるようにしてもよい。表示画面に表示されている画像のうち，人物が含まれている画像が，そのような不要人物ゴミ箱に移動させられると，その人物がフォトブックに含まれないようなレイアウト構成となる。このためには，画像ごとに，それぞれの人物らしさの特徴量を検出しておき，それらの人物らしさの特徴量（甲さんの特徴量，乙さんの特徴量，丙さんの特徴量など）を図６に示す特徴量テーブルに格納する。不要人物ゴミ箱に移動させられた画像に含まれている人物が特定される。その特定された人物の特徴量に与えられる重み付け係数を負の方向に大きくすることにより，不要人物ゴミ箱に移動させられた画像に含まれている人物の画像はレイアウトされないようになる。

もっとも，不要人物ゴミ箱を新たに設けなくとも，図６に示した特徴量テーブルに人物ごとの特徴量を加入しておけば，上述した削除エリアに，不要人物が含まれている画像が移動させられることにより，その不要人物が含まれている画像の点数が高くならないので，不要人物が含まれている画像がレイアウトされてしまうことが未然に防止される。

図19から図23は，さらに他の実施例を示すもので，所望の商品画像を見つけるものである。図13に示すシステム構成において，フォトブック作成装置60の代わりにクライアント・コンピュータが利用される。クライアント・コンピュータの構成は，図１に示すものと同じとなる。

図19から図22は，クライアント・コンピュータと画像検索サーバ61との処理手順を示すフローチャートである。

クライアント・コンピュータがインターネットに接続され，所望のショッピング・サイトにアクセスされる。クライアント・コンピュータに第１のキーワード（例えば，時計）が入力されると（図19ステップ101），入力された第１のキーワードを表わすデータが画像検索サーバ61（ショッピング・サイトのサーバ）に送信される（ステップ102）。

画像検索サーバ61において第１のキーワードを表わすデータが受信されると，その第１のキーワードに対応する画像が画像データベースから読み取られ，第１の画像リストが作成される（図19ステップ121）。上述したのと同様に，作成された第１の画像リストのすべての画像の特徴量の値が算出される（図６参照）。また，特徴量重み付け係数が初期化される（図19ステップ123）。画像リストの画像が特徴量重み付け係数を利用して点数化される（図19ステップ124）。

上位10番目までの点数の画像が検索結果表示エリアにレイアウトされ，11番目以降の点数の画像が候補エリアに配置されるHTMLページを表わすHTMLファイルが作成される（図21ステップ125）。作成されたHTMLファイルが画像検索サーバ61からクライアント・コンピュータに送信される（図21ステップ126）。

画像検索サーバ61から送信されたHTMLファイルがクライアント・コンピュータにおいて受信されると，そのHTMLファイルによって表わされる検索結果画像がクライアント・コンピュータの表示装置の表示画面に表示される（図19ステップ103）。つづいて，第２のキーワード（例えば，アナログ腕時計）がクライアント・コンピュータに入力され，入力された第２のキーワードを表わすデータがクライアント・コンピュータから画像検索サーバ61に送信される（図19ステップ105）。

クライアント・コンピュータから送信された第２のキーワードを表すデータが画像検索サーバ61において受信されると，第１の画像リストの中から，第２のキーワードに合致する画像が選択され，第２の画像リストが作成される（図21ステップ127）。作成された第２の画像リストの中から点数の上位10番目までの画像が検索結果エリアにレイアウトされ，11番目以降の画像が候補エリアに配置されるHTMLファイルが作成される（図21ステップ128）。作成されたHTMLファイルが画像検索サーバ61からクライアント・コンピュータに送信される（図21ステップ129）。

画像検索サーバ61から送信されたHTMLファイルがクライアント・コンピュータにおいて受信されると，そのHTMLファイルによって表わされる検索結果画像がクライアント・コンピュータの表示装置の表示画面に表示される（図20ステップ106）。

図23は，検索結果画像140の一例である。

検索結果画像140には，候補エリア141，検索結果エリア142および削除エリア143が含まれている。上述したように，検索結果エリア142には，点数の高い上位10個の商品画像152が表示される。候補エリア141には，それ以下の点数の商品画像151が表示される。検索が終了でなければ（図20ステップ107でＮＯ），検索結果エリア142に表示されている画像150が候補エリア141に移動されたか（図20ステップ108），検索結果エリア142に表示されている画像150が削除エリア143に移動されたか（図20ステップ109）どうかが確認される。いずれかの移動があると，その移動の内容を表わす移動指令がクライアント・コンピュータから画像検索サーバ61に送信される（図20ステップ110）。画像検索サーバ61から送信される検索結果画像を表すHTMLファイルがクライアント・コンピュータにおいて受信されれば，検索結果画像が再び表示され，受信されなければ，ステップ107の処理に戻る（図20ステップ110）

クライアント・コンピュータから送信された移動指令が画像検索サーバ61において受信されると（図22ステップ130でＹＥＳ），移動指令に応じて特徴量の重み付け係数が更新される（図22ステップ131）。たとえば，検索結果エリア152に表示されていた画像150が候補エリア141に移動させられた場合には，その移動させられた画像150が所望の商品の画像に近いものと考えられる。このために，その移動させられた画像150の特徴量に対応する重み付け係数が高くされる。検索結果エリア152に表示されていた画像150が削除エリア143に移動させられた場合には，その移動させられた画像150は所望の商品の画像からは遠いものと考えられる。このために，その須藤させられた150の特徴量に対応する重み付け係数が低くされる。

このようにして重み付け係数が更新されて再び，第２の画像リストの画像が点数化される。その点数化の上位10番目が検索結果エリア142にレイアウトされ，11番目以降の画像が候補エリア141に表示されるHTMLファイルが作成される（図22ステップ132）。作成されたHTMLファイルがクライアント・コンピュータに送信され（図22ステップ133），クライアント・コンピュータにおいて所望の商品画像が見つけられることとなる。終了とならなければ（図22ステップ134でＮＯ），ステップ130からの処理が繰り返される。

１，60 アルバム作成装置
２ ＣＰＵ
41Ａ，141 候補エリア
42Ａ レイアウト・エリア（検索結果エリア）
43Ａ，143 削除エリア
61 画像検索サーバ
142 検索結果エリア

Claims (15)

1. 複数の画像を表示画面の候補エリアに表示するように表示装置を制御する表示制御手段，
   多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，
   上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，
   上記候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する第１の点数化制御手段，ならびに
   上記点数化手段によって得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定する画像配置決定手段，
   を備えた画像検索装置。
2. 上記表示制御手段は，
   上記画像配置決定手段によって決定された配置の画像表示指令が与えられたことに応じて，決定された配置で画像を表示するように表示装置を制御するものである，
   請求項１に記載の画像検索装置。
3. 上記表示制御手段は，候補エリアのほかに削除エリアも表示画面に表示するように表示装置を制御するものであり，
   上記候補エリアに表示されている画像または上記検索結果エリアに表示されている画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように上記点数化手段を制御する第２の点数化制御手段をさらに備えている，
   請求項１または２に記載の画像検索装置。
4. 上記第１の点数化制御手段は，
   上記第１の移動指令に応じて検索結果エリアに表示されている画像を候補エリアに移動する第３の移動指令が与えられたことに応じて，高くされた特徴量の値をもとの値に戻して画像を点数化するように上記点数化手段を制御するものである，
   請求項１から３のうち，いずれか一項に記載の画像検索装置。
5. 上記第２の点数化制御手段は，
   上記第２の移動指令に応じて削除エリアに表示されている画像を候補エリアに移動する第３の移動指令が与えられたことに応じて，低くされた特徴量の値をもとの値に戻して画像を点数化するように上記点数化手段を制御するものである，
   請求項３に記載の画像検索装置。
6. 上記画像配置決定手段によって，検索結果エリアに表示されている画像を用いて電子アルバムを作成する電子アルバム作成手段，
   をさらに備えた請求項１から５のうち，いずれか一項に記載の画像検索装置。
7. クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバであって，
   多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，
   上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，
   上記クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている複数の画像のうちの一の画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた一の画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する第１の点数化制御手段，
   を備えた画像検索サーバ。
8. 上記クライアント・コンピュータの表示画面に形成されている，候補エリアに表示されている複数の画像のうちの一の画像または検索結果エリアに表示されている複数の画像のうちの一の画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて，上記多数の画像から上記複数の画像を除く画像について，第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように上記点数化手段を制御する第２の点数化制御手段をさらに備えている，
   請求項７に記載の画像検索サーバ。
9. クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバであって，
   多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出する特徴量算出手段，
   上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化する点数化手段，
   上記点数化手段によって得られた点数の高い複数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されているような上記クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する第１の点数化制御手段，
   を備えた画像検索サーバ。
10. 上記クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている画像または検索結果エリアに表示されている画像が，削除エリアに移動する第２の移動指令が与えられたことに応じて，第２の移動指令が与えられた画像の特徴量に対応する特徴量の値を低くして画像を点数化するように上記点数化手段を制御する第２の点数化制御手段をさらに備えている，
    請求項９に記載の画像検索サーバ。
11. 表示制御手段が，複数の画像を表示画面の候補エリアに表示するように表示装置を制御し，
    特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，
    点数化手段が，上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，
    点数化制御手段が，上記候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御し，
    画像配置決定手段が，上記点数化手段によって得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定する，
    画像検索装置の動作制御方法。
12. 表示制御手段が，複数の画像を表示画面の候補エリアに表示するように表示装置を制御し，
    特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，
    点数化手段が，上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，
    点数化制御手段が，上記候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御し，
    画像配置決定手段が，上記点数化手段によって得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定し，
    電子アルバム作成手段が，上記画像配置決定手段によって，検索結果エリアに表示されている画像を用いて電子アルバムを作成する，
    電子アルバム製造方法。
13. クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバの動作制御方法であって，
    特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，
    点数化手段が，上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，
    点数化制御手段が，上記クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている複数の画像のうちの一の画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた一の画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する，
    画像検索サーバの動作制御方法。
14. クライアント・コンピュータと画像検索サーバとを備えた画像検索システムを構成する画像検索サーバの動作制御方法であって，
    特徴量算出手段が，多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出し，
    点数化手段が，上記特徴量算出手段によって算出された特徴量の値にもとづいて画像を点数化し，
    点数化制御手段が，上記点数化手段によって得られた点数の高い複数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されているような上記クライアント・コンピュータの表示画面に形成されている候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化するように上記点数化手段を制御する，
    画像検索サーバの動作制御方法。
15. 画像検索装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    複数の画像を表示画面の候補エリアに表示するように表示装置を制御させ，
    多数の画像のそれぞれの画像について画像の特性を表わす特徴量の値を算出させ，
    算出された特徴量の値にもとづいて画像を点数化させ，
    上記候補エリアに表示されている画像が，検索結果エリアに移動する第１の移動指令が与えられたことに応じて，上記多数の画像のうち上記複数の画像を除く画像について，第１の移動指令が与えられた画像の特徴量に対応する特徴量の値を高くして，画像を点数化させ，
    得られた点数の高い所定数の画像が表示画面の検索結果エリアに表示され，その他の画像が表示画面の候補エリアに表示されるように画像配置を決定させるように画像検索装置のコンピュータを制御するプログラム。

Images