JP7128665B2 - 画像処理装置，画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Description

この発明は，画像処理装置，画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体に関する。

多数の撮影画像の中から所望の画像を選択し，選択した画像を用いてアルバムを作成することが行われている。しかしながら，多数の撮影画像の中から画像を選択したり，レイアウトを決定したり，テンプレートを決定したりするように画像の出力形態を決定することは比較的面倒な作業である。顧客の要望に合わせた再プリントを作成する場合には，再プリントに好適なデータを検索するものや(特許文献１)，診断対象の画像に関しては，診断対象に類似している画像を見つけるものが考えられている(特許文献２)。また，ネットプリントシステムにおいては注文履歴からおすすめ画像を提示するもの(特許文献３)，注文履歴に応じて以前に注文した画像を強調表示するものなども考えられている(特許文献４)。

特開2003-288350号公報 特開2005-65728号公報 特開2006-178743号公報 特開2007-310655号公報

しかしながら，引用文献１に記載のものは再プリントをする場合についてのものであるから複数の新たな撮影画像の中から所望の画像の出力形態を決定する場合には適さない。引用文献２に記載のものは診断対象の画像に類似した画像を単に見つけるものであり，引用文献３に記載のものは注文履歴からおすすめ画像を提示するものであり，引用文献４に記載のものは以前に注文した画像を強調表示するものである。いずれにしても複数の画像の中から所望の画像の出力形態を決定することは全く考えられていない。

この発明は，複数の画像の中から画像の出力形態を決定する場合に，比較的適切な出力形態を決定することを目的とする。

この発明による画像処理装置は，画像群を入力する画像群入力手段，ならびに以前に入力した画像群である第１画像群に含まれる画像のうち，一のユーザおよび他のユーザの少なくとも一方のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した画像群である第２画像群に含まれる画像の出力形態を決定する出力形態決定手段を備えていることを特徴とする。

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，画像群入力手段が，画像群を入力し，出力形態決定手段が，以前に入力した画像群である第１画像群に含まれる画像のうち，一のユーザおよび他のユーザの少なくとも一方のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した画像群である第２画像群に含まれる画像の出力形態を決定することを特徴とする。

画像処理装置がプロセッサを備え，そのプロセッサが，画像群を入力し，以前に入力した画像群である第１画像群に含まれる画像のうち，一のユーザおよび他のユーザの少なくとも一方のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した画像群である第２画像群に含まれる画像の出力形態を決定してもよい。

この発明は，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

出力形態決定手段において決定した出力形態によって出力するように出力装置を制御する出力装置制御手段をさらに備えてもよい。

以前に入力した第１画像群は，たとえば，一のユーザが入力した画像群である。

また，以前に入力した第１画像群は，他のユーザが入力した画像群でもよい。

出力形態決定手段は，たとえば，以前に入力した第１画像群のうち，一のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群の中から抽出する画像を決定する，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像のレイアウトを決定する，あるいは，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像を貼り付けるテンプレートを決定する。

出力形態決定手段は，以前に入力した第１画像群のうち，一のユーザが入力した画像群の中から一のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した画像群に含まれる画像の出力形態を決定してもよい。この場合，当該一のユーザの好みをより反映した出力形態を得ることができる。

出力形態決定手段は，以前に入力した第１画像群のうち，他のユーザが入力した画像群の中から他のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像の出力形態を決定してもよい。この場合，他のユーザの一般的な好みをより反映した出力形態を得ることができる。

なお，一のユーザは，基づくべき情報として，当該一のユーザ（自分）が入力した画像群の中から一のユーザが選択した画像を用いるか，他のユーザが入力した画像群の中から他のユーザが選択した画像を用いるかを，選択することができることとしてもよい。また，当該選択をいつでも変更することができることとしてもよい。

以前に入力した第１画像群のうち，一のユーザが入力した画像群の中から，一のユーザが画像群入力手段から新たに入力した第２画像群に類似する画像群を見つける第１の画像群検索手段をさらに備えてもよい。この場合，出力形態決定手段は，たとえば，第１の画像群検索手段において見つけられた画像群に含まれる画像の中から一のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像の出力形態を決定する。

出力形態決定手段は，第１の画像検索手段において見つけられた画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，一のユーザが画像群入力手段から新たに入力した第２画像群の中から抽出する画像を決定してもよい。

以前に入力した第１画像群のうち，他のユーザが入力した画像群の中から，一のユーザが画像群入力手段から新たに入力した第２画像群に類似する画像群を見つける第２の画像群検索手段をさらに備えてもよい。この場合，出力形態決定手段は，たとえば，第２の画像群検索手段において見つけられた画像群に含まれる画像の中から他のユーザが選択した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像の出力形態を決定する。

出力形態決定手段は，たとえば，第２の画像検索手段において見つけられた画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，一のユーザが画像群入力手段から新たに入力した画像群の中から抽出する画像を決定してもよい。

出力形態決定手段は，たとえば，以前に入力した画像群のうち一のユーザが入力した画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，一のユーザが画像群入力手段から新たに入力した第２画像群の中から抽出する画像を決定してもよい。

一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像を解析する画像解析手段をさらに備えてもよい。この場合，出力形態決定手段は，たとえば，画像解析手段における画像解析結果を表わす解析スコアと，以前に入力した第１画像群に含まれる画像のうち，一のユーザおよび他のユーザの少なくとも一方のユーザが選択した画像についての情報と，にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像の出力形態を決定する。

出力形態決定手段は，一のユーザが画像群入力手段から新た入力した第２画像群に含まれる画像のうち，画像解析手段における画像解析結果を表す解析スコアがしきい値以上である画像を抽出する画像と決定してもよい。

出力形態決定手段は，画像解析手段における画像解析結果を表す解析スコアと，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像と以前に入力した第１画像群に含まれる画像のうち一のユーザが選択した画像との類似度を表す類似スコアと，にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群の中から抽出する画像と決定してもよい。

出力形態決定手段において決定した出力形態にもとづいて，出力形態を決定するアルゴリズムを更新する出力形態決定アルゴリズム更新手段をさらに備えてもよい。

出力形態決定手段は，以前に入力した画像群に含まれる画像のうち，さらに，一のユーザが排除した画像についての情報にもとづいて，一のユーザが画像群入力手段から新たに入力した第２画像群に含まれる画像の中から抽出する画像を決定してもよい。

この発明によると，以前に入力した第１画像群に含まれる画像の中から選択された画像の出力形態に準じた出力形態を，新たに入力した第２画像群に含まれる画像について決定できる。

画像処理システムの概要を示している。 アルバム生成の概要を示している。 クライアント・コンピュータの電気的構成を示すブロック図である。 受注サーバの電気的構成を示すブロック図である。 受注データベースの内容を示している。 画像処理システムの処理手順を示すフローチャートである。 画像処理システムの処理手順を示すフローチャートである。 特徴量空間において分類された画像グループの一例である。 画像グループがまとめられる様子を示している。 特徴量空間において分類された画像グループの一例である。 特徴量空間において分類された画像グループの一例である。 第２画像群に含まれる画像から生成されたアルバムの一部を示している。 第１画像群から抽出された画像が配置される様子を示している。 第１画像群から抽出された画像から生成されたアルバムの一部を示している。 画像編集システムの処理手順を示すフローチャートである。 画像編集システムの処理手順を示すフローチャートである。

［第１実施例］
図１は，この発明の第１実施例を示すもので，画像処理システムの概要を示している。

画像処理システムは，複数の画像の中から画像を抽出し，抽出された画像をページにレイアウトしてアルバムを生成するシステムである。

インターネットにｎ台（ｎは自然数）のクライアント・コンピュータ１-ｎおよび受注サーバ５が接続されている。受注サーバ５には受注データベース６が接続されている。クライアント・コンピュータ１-ｎのそれぞれと受注サーバ５とは互いに通信可能である。クライアント・コンピュータ１-ｎのそれぞれと受注サーバ５とが画像処理システムを構成している。

クライアント・コンピュータ１-ｎのいずれかと受注サーバ５とが通信して，アルバムが生成される。

図２は，この実施例によるアルバム生成の概要を示している。

この実施例においては，受注データベース６には複数の第１画像群の情報を表すデータが格納されている。第１画像群は，以前に様々なユーザがアルバムを生成する画像として利用した複数の画像が含まれている画像群であり，ユーザがアルバムに使用する候補となる画像が含まれるものである。第１画像群にはアルバムに利用されなかった画像も含まれている。第１画像群は複数の画像の集まりであり，第１画像群の情報は複数の画像のそれぞれの情報(図５に示すようにレイアウト情報テーブル，テンプレート情報テーブル)である。

アルバムを生成しようとする一のユーザは，複数の画像が含まれている第２画像群を新たに受注サーバ５に入力する。受注データベース６に格納されている複数の第１画像群のうちいずれかの第１画像群においてアルバムに使用する画像として抽出された画像の情報等にもとづいて，第２画像群から複数の画像抽出，アルバムのレイアウトおよびアルバムのテンプレートの決定が行われる。抽出された画像を用いて，決定されたレイアウトおよびテンプレートによるアルバムが生成される。以前に第１画像群にもとづいて生成されたアルバムに準ずるようなアルバムが第２画像群から生成されることとなる。第２画像群からのアルバム生成処理について詳しくは後述する。

図３は，クライアント・コンピュータ１の電気的構成を示すブロック図である。クライアント・コンピュータ２-ｎのそれぞれもクライアント・コンピュータ１と同じ構成である。

クライアント・コンピュータ１の全体の動作は，ＣＰＵ(Central Processing Unit)10によって統括される。

クライアント・コンピュータ１には，画像その他の情報を表示画面に表示する表示装置11およびインターネットその他のネットワークに接続してクライアント・コンピュータ１以外の装置等と通信する通信装置12が含まれている。また，クライアント・コンピュータ１には，ハード・ディスク13，ハード・ディスク13にアクセスするハード・ディスク・ドライブ14，データ等を記憶するメモリ15，コマンド等を入力するキーボード16およびマウス17も含まれている。さらに，クライアント・コンピュータ１には，コンパクト・ディスク19にアクセスするコンパクト・ディスク・ドライブ18ならびにメモリ・カード21へのデータの書き込みおよびメモリ・カード21に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ20も含まれている。

後述するクライアント・コンピュータ１の動作プログラムは，インターネットを介して通信装置12において受信される。受信された動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介してクライアント・コンピュータ１に受信されてクライアント・コンピュータ１にインストールされずに，コンパクト・ディスク19などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムがクライアント・コンピュータ１にインストールされる。動作プログラムは，クライアント・コンピュータ１のコンピュータ(ＣＰＵ10)が読み取り可能であることは言うまでもない。

図４は，受注データベース６が接続されている受注サーバ５の電気的構成を示すブロック図である。

受注サーバ５の全体の動作は，ＣＰＵ30によって統括される。

受注サーバ５には，インターネットその他のネットワークに接続して受注サーバ５以外の装置等と通信する通信装置31が含まれている。また，受注サーバ５には，ハード・ディスク32，ハード・ディスク32にアクセスするハード・ディスク・ドライブ33，データ等を記憶するメモリ34も含まれている。さらに，受注サーバ５には，コンパクト・ディスク36にアクセスするコンパクト・ディスク・ドライブ35ならびにメモリ・カード38へのデータの書き込みおよびメモリ・カード38に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ37も含まれている。

後述する受注サーバ５の動作プログラムは，インターネットを介して通信装置31において受信される。受信された動作プログラムが受注サーバ５にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して受注サーバ５に受信されて受注サーバ５にインストールされずに，コンパクト・ディスク36などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが受注サーバ５にインストールされる。動作プログラムは，受注サーバ５のコンピュータ(ＣＰＵ30)が読み取り可能であることは言うまでもない。

図５は，受注データベース６に格納されている内容を示している。

受注データベース６には，ｍ個（ｍは自然数）のレイアウト情報テーブルおよびｍ個のテンプレート情報テーブルが格納されている。レイアウト情報テーブルには，過去に生成されたアルバムについてのレイアウト情報が格納されている。テンプレート情報テーブルには，過去に生成されたアルバムに利用されたテンプレート情報が格納されている。一つのレイアウト情報テーブルと一つのテンプレート情報テーブルとの組が上述したように一つの第１画像群の情報に対応し，一つのアルバムについての情報に対応する。

表１はｍ個のレイアウト情報テーブルのうちの一のレイアウト情報テーブルの一例である。レイアウト情報テーブルにはユーザＩＤが付与されている。

レイアウト情報テーブルには，複数の画像のそれぞれの特徴量が画像ＩＤに対応して格納されている。特徴量は，画像の解像度，データ量，ピンボケの程度，主要被写体の種類，主要被写体の画像に対する相対的な大きさ，主要被写体の位置，色味などであってよい。また，特徴量は，上記の複数を組み合わせて生成されるものであってもよい。さらには，特徴量は，教師あり学習または教師なし学習により予め学習された学習済みモデルが，画像の入力を受けて出力する，複数のパラメタから構成されるものであってもよい。ここで，学習済みモデルから出力される特徴量は人間には意味解釈できない場合もあるが，少なくとも，１の画像を入力したときに一意に出力されるような数値群であれば，本発明の特徴量として用いることができる。特徴量は，アルバムに使用する画像(複数の画像から抽出する画像)として適するか，アルバムの配置位置などを決定するために必要な情報である。また，レイアウト情報テーブルには，あるユーザが複数の画像のうちアルバムに使用された画像か使用されていないかの選択情報，使用された画像のアルバムのページ，位置および画像のサイズのそれぞれの情報も格納されている。選択情報では，「Ｙ」が付与されているとアルバムに使用された画像であることを示し，「Ｎ」が付与されているとアルバムに使用されていない画像であることを示す。位置は，アルバムの各ページの左上を原点(０，０)とした場合の座標によって示されている。サイズは画像の(横の長さ)mm×(縦の長さ)mmによって表されている。

たとえば，画像ＩＤ１の画像は，選択情報が「Ｙ」であるから，クライアント・コンピュータ１-ｎのそれぞれのユーザによってアルバムに使用する画像として選択され，ＣＰＵ10などにより抽出され，ページ情報が「１」であるからアルバムの１ページに使用されており，位置情報が(０，０)であるから，画像の左上の位置とページの左上の位置とが一致するように位置決めされ，サイズが60×40であるから横の長さが60mm，縦の長さが40mmであることを示している。同様に，画像ＩＤ２の画像は選択情報が「Ｎ」であるから，アルバムに使用されていないことが分かる。

表２はｍ個のテンプレート情報テーブルのうちの一のテンプレート情報テーブルの一例である。テンプレート情報テーブルにもユーザＩＤが付与されている。

表２のテンプレート情報テーブルは，表１のレイアウト情報テーブルに対応している。レイアウト情報テーブルのそれぞれにはレイアウト情報テーブルを識別するレイアウト情報テーブルＩＤが付与されており，かつテンプレート情報テーブルのそれぞれにもテンプレート情報テーブルを識別するテンプレート情報テーブルＩＤが付与されており，レイアウト情報テーブルに対応するテンプレート情報テーブルが，これらのレイアウト情報テーブルＩＤおよびテンプレート情報テーブルＩＤを用いて管理されている。

レイアウト情報テーブルとテンプレート情報テーブルとが第１画像群についてのアルバムの情報であり，受注データベース６には複数のレイアウト情報テーブルとテンプレート情報テーブルとが格納されているから，複数の第１画像群についてのアルバムの情報が受注データベース６に格納されていることとなる。受注データベース６には，複数の第１画像群のアルバムの情報だけでなく，複数の第１画像群のアルバムの情報のほかに複数の第１画像群そのもの(画像データそのもの)が格納されていてもよい。複数の第１画像群そのものが格納されている場合には，解析すれば画像の特徴量が分かるのでレイアウト情報テーブルに画像の特徴量が格納されなくともよい。

後述のようにアルバムの注文が行われる都度，受注サーバ５においてクライアント・コンピュータからレイアウト情報およびテンプレート情報が送信され，それらレイアウト情報およびテンプレート情報(第１画像群についてのアルバムの情報)が受注サーバ５の通信装置31において受信されることにより，受注サーバ５においてレイアウト情報テーブルおよびテンプレート情報テーブルが生成される。生成されたレイアウト情報テーブルおよびテンプレート情報テーブルが受注サーバ５によって受注データベース６に格納される。

図６および図７は，画像処理システムの処理手順を示すフローチャートであり，受注サーバ５とクライアント・コンピュータ１-ｎのうちのいずれかのクライアント・コンピュータとの処理手順を示している。この実施例では，クライアント・コンピュータ１と受注サーバ５(第１実施例においては受注サーバ５が画像処理装置の一例である)との間で通信するものとする。また，クライアント・コンピュータ１のユーザを一のユーザということにする。クライアント・コンピュータ１以外のクライアント・コンピュータ２-ｎのいずれかのユーザが一のユーザであってもよいのはいうまでもない。

上述のように受注データベース６には受注サーバ５に以前に入力した画像群である第１画像群についての情報(レイアウト情報テーブル，テンプレート情報テーブル)が格納されている。

クライアント・コンピュータ１のメモリ15には，アルバムに使用しようとする複数の画像(第２画像群)を表す画像データが記憶されている。たとえば，メモリ・カード21に第２画像群に含まれる画像を表すデータが格納されている場合にはメモリ・カード・リーダ・ライタ20によってメモリ・カード21から第２像群に含まれる画像を表すデータがクライアント・コンピュータ１に入力する。クライアント・コンピュータ１がスマートフォンなどのような場合には，スマートフォンのカメラによって撮影が行われる都度，蓄積されることにより得られる複数の画像を表す画像データが第２画像群に含まれる画像を表すデータとなる。

第２画像群に含まれる画像を表す画像データがクライアント・コンピュータ１から受注サーバ５に送信される（図６ステップ41）。第２画像群に含まれる画像を表す画像データそのものでなく，第２画像群に含まれる画像の特徴量を表すデータがクライアント・コンピュータ１から受注サーバ５に送信されてもよい。特徴量を表すデータはクライアント・コンピュータ１において検出してもよいし，クライアント・コンピュータ１以外の他の装置において検出してもよい。

クライアント・コンピュータ１から送信された第２画像群に含まれる画像を表すデータ(または第２画像群の特徴を表すデータ)が受注サーバ５の通信装置31（画像群入力手段）において受信されると（図６ステップ51），受注データベース６に格納されているレイアウト情報テーブルとテンプレート情報テーブルとからなる複数の第１画像群のアルバムの情報の中から，第２画像群に類似した第１画像群のアルバムの情報が受注サーバ５のＣＰＵ30によって検索される（図６ステップ52）。

受注データベース６に格納されている複数の第１画像群のアルバムの情報には，一のユーザが入力した画像群の情報が含まれていてもよいし，他のユーザが入力した画像群の情報が含まれていてもよい。受注データベース６に一のユーザが入力した画像群の情報および他のユーザが入力した画像群の情報のいずれの情報も含まれている場合には，第２画像群に類似した第１画像群のアルバムの情報として見つけられる情報はいずれでもよい。また，以前に入力した複数の第１画像群の情報のうち，一のユーザが入力した画像群の中から，一のユーザが新たに入力した第２画像群に類似する画像群の情報をＣＰＵ30(第１画像群検索手段)によって見つけてもよいし，以前に入力した複数の第１画像群の情報のうち，他のユーザが入力した画像群の中から，一のユーザが新たに入力した第２画像群に類似する画像群の情報をＣＰＵ30(第２画像群検索手段)によって見つけてもよい。

受注データベース６に複数の第１画像群自体が格納されている場合には，第１画像群の情報でなく第１画像群そのものが検索されてもよい。第１画像群そのものが検索される場合には，第１画像群に含まれる複数の画像についてのレイアウト情報およびテンプレート情報も読み取られる。

画像群が類似するとは，２つの画像群に含まれる画像同士が類似することをいう。第２画像群に類似する第１画像群とは，第２画像群に含まれる複数の画像に類似する複数の画像を含む画像群を第１画像群とすることである。

第２画像群に類似した第１画像群についてのアルバムの情報は，次のようにして検索される。

図８は，第１段階の分類によって第２画像群に含まれる複数の画像が複数のグループに分類された様子を示している。

図８においては，横軸が第１の特徴量（特徴量とは画像を解析して得られる情報の１つをいう。）であり，縦軸が第２の特徴量を示し，２つの特徴量によって複数の画像が複数のグループに分類されている様子を示しているが，特徴量は２つでなく，３つ以上用いてもよいのはいうまでもない。図８においては，グループＧ１からグループＧ100までの100個のグループに分類対象の複数の画像がＣＰＵ30によって分けられている。このグループ分けは，たとえば，k-means法を利用することにより実現できる。グループＧ１からグループＧ100のそれぞれのグループの中に画像が含まれていることとなる。もちろん，実際の画像が無くとも画像の特徴量から対応する画像（画像を識別するデータ）がグループ分けされればよい。

図９は，グループＧ１からグループＧ100の複数のグループに分類された様子を示している。

つづいて，グループ同士の類似度がしきい値以内かどうかがＣＰＵ30によって判断され，しきい値以内のグループについてグループ同士がまとめられる。グループ同士の類似度は，たとえば，グループＧ１からグループＧ100のそれぞれのグループごとに，図８に示す特徴量空間における重心を求め，それらの重心の類似度を利用すればよい。

たとえば，グループＧ１とグループＧ２との類似度(グループＧ１の重心とグループＧ２の重心との類似度)がしきい値以内であれば，それらのグループＧ１とグループＧ２とがまとめられて新たなグループＧ101が生成される。グループＧ１，グループＧ２を小グループと捉えた場合に小グループ同士の類似度がしきい値(第２のしきい値)以上である場合に小グループ同士をまとめることに相当する。同様に，グループＧ３とグループＧ４との類似度がしきい値以内であれば，それらのグループＧ３とグループＧ４とがまとめられて新たなグループＧ102が生成される。同様にして，グループＧ97とグループＧ98とがまとめられて新たなグループＧ149が生成され，グループＧ99とグループＧ100とがまとめられて新たなグループＧ150が生成される。新たに生成されたグループについてもグループ同士の類似度がしきい値以内であれば，まとめられる。たとえば，グループＧ101とグループＧ149とがまとめられ，新たなグループＧ201が生成される。

グループ同士の類似度がしきい値以内のものが無くなると，図９に示すように，第１画像群に含まれる画像が類似する画像ごとの小グループの集まり(第２の小グループの集まり)に分けられる。

図10は，図８と同様に横軸が第１の特徴量，縦軸が第２の特徴量によって規定される特徴量空間を示している。

この特徴量空間に，第２画像群に含まれる画像がグループＧ301からグループＧ307までの７つの小グループに分けられている。また，グループＧ301からグループＧ307のそれぞれのグループにおいてＣＰＵ30によって重心Ｃ301からＣ307が算出される。

同様にして，受注データベース６に格納されている複数の第１画像群の特徴量について，図８および図９を参照して説明した処理が行われ，第１画像群の一つ一つが，図11に示すように第１画像群に含まれる画像の特徴量が類似する画像ごとの小グループの集まり(第１の小グループの集まり)に分けられる。

図11は，図10と同様に横軸が第１の特徴量，縦軸が第２の特徴量によって規定される特徴量空間を示している。

この特徴量空間に，第１画像群に含まれる画像の特徴量がグループＧ401からＧ408までの８つの小グループに分けられている。グループＧ401からグループＧ408においても重心Ｃ401から重心Ｃ408が算出される。

図11に示すような画像の特徴量の分布が，受注データベース６に格納されている複数の第１画像群のそれぞれの第１画像群について生成される。

図10に示すように第２画像群について生成されたグループＧ301からグループＧ307の重心Ｃ301から重心Ｃ307のそれぞれと，図11に示すように第１画像群について生成されたグループＧ401からグループＧ408の重心Ｃ401から重心Ｃ408のそれぞれとの，特徴量空間における距離の和(第１の小グループと第２の小グループとの一致度)が，複数の第１画像群のそれぞれの第１画像群のすべてについて算出される。それらの距離の和がしきい値以下(第１の小グループと第２の小グループとの一致度がしきい値以上に相当する)となる第１画像群が，第２画像群に類似する画像群としてＣＰＵ30(画像群検索手段，第１の画像群検索手段，第２の画像群検索手段)によって検索される。

複数の第１画像群の中から第２画像群に類似する画像群が検索されると，検索された画像群から抽出された画像がＣＰＵ30によって見つけられ，抽出された画像に類似する画像が，ＣＰＵ30によって，第２画像群に含まれる画像の中からアルゴリズムにもとづいて抽出される（図６ステップ53）。被写体，構図などが類似するだけでなく，画像の様々な特徴量が近似する画像同士を類似する画像とするとよい。このようにして，以前に入力した第１画像群の中から一のユーザおよび他のユーザの少なくとも一方が選択した画像についての情報にもとづいて，一のユーザが新たに入力した第２画像群の中から抽出する画像がＣＰＵ30(出力状態決定手段)によって決定(出力形態の決定の一例である)される。

複数の第１画像群の中から第２画像群に類似する画像として検索された画像群から，どの像が抽出されたかは，受注データベース６に格納されているレイアウト情報テーブルとテンプレート情報テーブルとの組のうち，検索された画像群に対応するレイアウト情報テーブルに格納されている選択情報を参照すれば分かる。上述のように，選択情報が「Ｙ」となっている画像が抽出された画像である。

図12は，第１画像群のうち第２画像群に類似する画像群から抽出された画像によって生成されたアルバムの一部のページを示している。

アルバムの一部のページはテンプレート70が利用されている。このテンプレート70には，左上，左下および右に画像をそれぞれ貼り付ける領域71，72およぴ73が規定されている。これらの領域71，72および73に画像Ｉ11，Ｉ12およびＩ13が貼り付けられている。ページ70についての情報(どの領域にどの画像が貼り付けられているかなどの情報)は，第１画像群に対応するレイアウト情報テーブルおよびテンプレート情報テーブルから分かる。

一のユーザによって新たに入力された第２画像群から抽出された画像がＣＰＵ30によってアルバムに配置される（図５ステップ54）。第２画像群に類似する第１画像群に対応するテンプレート情報テーブルとレイアウト情報テーブルとに含まれるアルバム情報にもとづいて画像がアルバムに配置される。

図13は，第２画像群から抽出された画像がアルバムに配置される様子を示している。

第１画像群から抽出された画像Ｉ11，Ｉ12およびＩ13のそれぞれに類似した画像として第２画像群から画像Ｉ21，Ｉ22およびＩ23が抽出されたものとする。また，第１画像群から抽出された画像Ｉ11，Ｉ12およびＩ13が貼り付けられたテンプレート70と同じテンプレートが見つけられる。

第１画像群の画像Ｉ11に類似する第２画像群の画像Ｉ21は，画像Ｉ11が配置されている領域71に配置される。第１画像群の画像Ｉ12に類似する第２画像群の画像Ｉ22は，画像Ｉ12が配置されている領域72に配置される。同様に，第１画像群の画像Ｉ13に類似する第２画像群の画像Ｉ23は，画像Ｉ13が配置されている領域73に配置される。

図14は，一のユーザによって新たに入力された第２画像群から抽出された画像によって生成されたアルバムの一部のページを示している。

図14に示すアルバムの一部のページは，図12に示す第１画像群から抽出された画像によって生成されたアルバムの一部のページを参考にして同じようなアルバムとなるように生成されたものである。

図12と図14とを比較すると分かるように，類似した画像同士が同じレイアウトでアルバムを構成することとなる。

このように，第１画像群に対応するテンプレート情報テーブルに格納されているテンプレートＩＤにもとづいてアルバムのテンプレートが決定され，かつ第２画像群から抽出された画像が，第１画像群から抽出された画像が貼り付けられたページ，位置および大きさにしたがってアルバムに配置される。以前に入力した第１画像群の中から一のユーザが新たに入力した第２画像群のレイアウトや第２画像群から抽出された画像を貼り付けるテンプレートがＣＰＵ30によって決定される(レイアウトの決定，テンプレートの決定は出力形態の決定の一例である)。決定するレイアウト，テンプレートは必ずしも同一のものでなくとも近似するものでよい。

アルバムが生成されると，生成されたアルバムに配置された画像の配置箇所の修正，画像の変更などの処理が行われるが，この処理について詳しくは後述する。

第２画像群からアルバムが生成されると，その第２画像群についてのレイアウト情報テーブルおよびテンプレート情報テーブルが生成され，生成されたレイアウト情報テーブルおよびテンプレート情報テーブルが受注サーバ５のＣＰＵ30によって受注データベース６に格納される（図５ステップ55）。

つづいて，アルバムを表すアルバム・データが受注サーバ５からクライアント・コンピュータ１に送信される（図６ステップ56）。

クライアント・コンピュータ１においてアルバム・データが受信されると（図６ステップ42），受注サーバ５において生成されたアルバムがクライアント・コンピュータ１の表示装置11の表示画面に表示される（図６ステップ43）。

クライアント・コンピュータ１のユーザは，表示されたアルバムを確認してアルバムを修正する必要があると考えると自らアルバムを修正する。たとえば，アルバムに配置されている画像の取替，画像の配置位置の変更，画像の大きさの変更，テンプレートの変更などが，必要に応じて行われる。アルバムが修正された場合には（図６ステップ44でＹＥＳ），修正した内容を表す修正データがクライアント・コンピュータ１から受注サーバ５に送信される（図６ステップ45）。修正データを送信せずに修正後のアルバム・データが受注サーバ５に送信されてもよい。

クライアント・コンピュータ１から送信された修正データが受注サーバ５において受信されると（図６ステップ57でＹＥＳ），第１画像群のレイアウト情報テーブルおよびテンプレート情報テーブルの内容が，受信した修正データにもとづいて更新されて受注データベース６に格納される（図６ステップ58）。また，ユーザによってアルバムが修正(アルバムに貼り付ける画像の変更，レイアウトの変更，テンプレートの変更など)された場合には，その修正データにもとづいて，画像抽出アルゴリズム，レイアウト生成アルゴリズム，テンプレート選択アルゴリズムなどのＣＰＵ30において利用される出力形態を決定するアルゴリズムがＣＰＵ30(出力形態決定アルゴリズム更新手段)によって更新される。

クライアント・コンピュータ１のユーザによって注文ボタンが押されると（図６ステップ46でＹＥＳ），クライアント・コンピュータ１から受注サーバ５に注文コマンドが送信される（図６ステップ47）。

クライアント・コンピュータ１から送信された注文コマンドが受注サーバ５において受信されると（図６ステップ59でＹＥＳ），受注処理が行われる（図６ステップ60）。受注データベース６に格納されているレイアウト情報テーブルおよびテンプレート情報テーブルのうち，一のユーザによって新たに入力された第２画像群に対応するレイアウト情報テーブルおよびテンプレート情報テーブルを用いてアルバムが生成されることとなる。受注サーバ５においてアルバム・データが記憶されている場合には，アルバム・データを用いてアルバムが生成されてもよい。このようにして出力形態が決定されたアルバムがＣＰＵ30(出力制御手段)の制御のもとにプリンタ(出力装置)などにより印刷される。

第１実施例によると，過去のアルバムの受注にしたがって得られるレイアウト情報，テンプレート情報にもとづいて，新たなアルバムを生成できるようになる。

［第２実施例］
図15および図16は，画像処理システムの処理手順を示すフローチャートであり，受注サーバ５とクライアント・コンピュータ１-ｎのうちのいずれかのクライアント・コンピュータとの処理手順を示している。第２実施例においても，クライアント・コンピュータ１と受注サーバ５(第２実施例においてはクライアント・コンピュータ１が画像処理装置の一例である)との間で通信するものとする。

第１実施例においては受注サーバ５において行われていた画像の抽出処理（図６ステップ53）等が，第２実施例においてはクライアント・コンピュータ１において行われる。

受注サーバ５に接続されている受注データベース６には上述したように複数の第１画像群の情報を表すｍ個のレイアウト情報テーブルおよびｍ個のテンプレート情報テーブルが格納されており，これらの複数の第１画像群の情報が受注サーバ５からクライアント・コンピュータ１に送信される（図15ステップ91）。

受注サーバ５から送信された複数の第１画像群の情報がクライアント・コンピュータ１の通信装置12において受信されると（図15ステップ101），受信した情報はメモリ15に一時的に記憶される。

メモリ・カード21には，アルバムの生成に利用される複数の画像を含む第２画像群が格納されており，メモリ・カード・リーダ・ライタ20(画像入力手段)によってメモリ・カード21に格納されている第２画像群が読み取られる。

読み取られた第２画像群に類似する第１画像群の情報が複数の第１画像群の情報の中からＣＰＵ10(画像群検索手段)によって検索される（図18ステップ102）。図15ステップ102の処理において，図６ステップ52の処理と同様の処理がクライアント・コンピュータ１において行われる。複数の第１画像群の中から第２画像群に類似する画像群が実質的に検索されることとなる。複数の第１画像群の情報にはレイアウト情報テーブルが含まれており，そのレイアウト情報テーブルには第１画像群の中からアルバムに使用された画像として選択されたかどうかを示す選択情報が含まれているから，検索された画像群は，第１画像群から抽出された画像の情報を有しているということができる。

つづいて，第１画像群から抽出された画像(たとえば，図12における画像Ｉ11，Ｉ12およびＩ13)と類似する画像(たとえば，図13における画像Ｉ21，Ｉ22およびＩ23)がクライアント・コンピュータ１のＣＰＵ10(出力形態決定手段)によって，検索された画像群から決定されて抽出される（図15ステップ103）。図15ステップ103の処理において上述したように図６ステップ53の処理と同様の処理がクライアント・コンピュータ１において行われる。

第２画像群から抽出された画像が，第１画像群の中から検索された画像群のレイアウトと同様のレイアウトによって，図13に示したようにアルバムに配置される（図15ステップ104）。図15ステップ104において上述したように図５ステップ54の処理と同様の処理がクライアント・コンピュータ１において行われる。

クライアント・コンピュータ１の表示装置11（出力装置）の表示画面には，第２画像群から抽出された画像が配置されたアルバムの内容が表示され，ユーザはその内容を確認する。確認の結果，アルバムの内容を修正する必要があれば（図16ステップ105でＹＥＳ），ユーザの指示にもとづいてＣＰＵ10（出力装置制御手段）によって修正が行われる（図16ステップ106）。ユーザによる修正にもとづいて，ＣＰＵ10による画像抽出アルゴリズム，レイアウト決定アルゴリズム，テンプレート決定アルゴリズムなどが修正される（図16ステップ107）。

クライアント・コンピュータ１のユーザによって注文ボタンが押されると（図16ステップ108でＹＥＳ），注文コマンドおよびアルバム・データがクライアント・コンピュータ１から受注サーバ５に送信される（図16ステップ109）。アルバム・データは上述したようにアルバムを生成するために必要なデータである。アルバム・データにより，第２画像群から抽出された画像が各ページに配置されたアルバムを生成できる。

クライアント・コンピュータ１から送信された注文コマンドおよびアルバム・データが受注サーバ５において受信されると（図16ステップ92でＹＥＳ），受信したアルバム・データが受注サーバ５のＣＰＵ30によって解析されレイアウト情報およびテンプレート情報が得られる。得られたレイアウト情報およびテンプレート情報から新たにレイアウト情報テーブルおよびテンプレート情報テーブルが生成され，受注データベース６に格納される（図16ステップ93）。受信したアルバム・データからアルバムが生成されて受注処理が行われる（図16ステップ94）。

第２実施例においては，過去のアルバムの受注にしたがって得られるレイアウト情報，テンプレート情報にもとづく新たなアルバムの生成をクライアント・コンピュータ１においてできるようになる。第１実施例においては受注サーバ５において生成されたアルバム・データをクライアント・コンピュータ１において受信してアルバムを表示しているが，第２実施例においては，アルバムはクライアント・コンピュータ１において生成されるので，生成されたアルバムの表示までの時間が第１実施例の場合よりも短縮される。

［変形例］
上述の実施例においては，受注データベース６に格納されている複数の第１画像群のうち一のユーザが入力した第１画像群または他のユーザが入力した第１画像群の中から，一のユーザが新たに入力した第２画像群に類似した画像群を検索し，検索された画像群のレイアウト情報およびテンプレート情報にもとづいて，第２画像群からアルバムが生成されている。しかしながら，受注データベース６に一のユーザが入力した第１画像群が格納されている場合には他のユーザが入力した第１画像群を利用しないで一のユーザが入力した第１画像群の中から，一のユーザが新たに入力した第２画像群に類似した画像群を検索してもよい。受注データベース６に一のユーザが入力した第１画像群が格納されていない場合に他のユーザが入力した第１画像群の中から，第２画像群に類似した画像群を検索する。

また，上述の実施例においては，以前に入力した第１画像群の中から，一のユーザが新たに入力した第２画像群に類似する画像群を見つけ，見つけられた画像群のレイアウト情報およびテンプレート情報にもとづいて，第２画像群に含まれる画像から抽出する画像の決定，レイアウトの決定，テンプレートの決定などが行われているが，必ずしも類似する画像群を見つける必要はない。一のユーザまたは他のユーザによって入力されたいずれかの第１画像群から抽出された画像，決定されたレイアウト，決定されたテンプレートなどにもとづいて，新たに入力された第２画像群から画像の抽出，レイアウトの決定，テンプレートの決定などが行われてもよい。好ましくは，以前に一のユーザによって入力された第１画像群から抽出された画像，決定されたレイアウト，決定されたテンプレートなどにもとづいて，一のユーザから新たに入力された第２画像群から画像の抽出，レイアウトの決定，テンプレートの決定などが行われる。過去にアルバムを生成した一のユーザの好みに応じたアルバムが生成されることとなる。この場合，検索された画像群に含まれる人物画像(人物画像とは，画像に含まれる主要被写体が人物であると判断されるような画像，たとえば，画像全体に対して人物の割合がしきい値以上となる画像，画像の中央部分に人物がしきい値以上の大きさで配置されている画像などをいう)と非人物画像(非人物画像は，人物画像以外の画像をいう)との割合と同じ割合となるように，新たに入力した第２画像群から抽出する画像を決定してアルバムを生成するようにしてもよい。以前に入力された第１画像群から抽出された人物画像と非人物画像との割合の好みに対応した割合で第２画像群からアルバムを生成できる。

さらに，一のユーザが以前に入力した第１画像群の中から，一のユーザが新たに入力した第２画像群に類似した画像群が検索された場合に，検索された画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，新たに入力した第２画像群から抽出する画像を決定してアルバムを生成するようにしてもよい。一のユーザによる人物画像と非人物画像との割合の好みに対応した割合で第２画像群からアルバムを生成できる。

また，他のユーザが以前に入力した第１画像群の中から，一のユーザが新たに入力した第２画像群に類似した画像群が検索された場合にも，検索された画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，新たに入力した第２画像群から抽出する画像を決定してアルバムを生成するようにしてもよい。類似した画像群から画像を抽出した場合には，一のユーザと他のユーザとでユーザが異なっても，人物画像と非人物画像との割合の好みは似ていると考えられ，他のユーザが抽出した人物画像と非人物画像との割合に対応した割合で第２画像群からアルバムを生成できるからである。

さらに，一のユーザが新たに入力した第２画像群に含まれる画像をＣＰＵ10または30(画像解析手段)によって解析してもよい。画像解析結果を表わす解析スコアと，一のユーザおよび他のユーザの少なくとも一方のユーザが選択した画像についての情報と，にもとづいて，第２画像群に含まれる画像の出力形態を決定できる。たとえば，第２画像群に含まれる画像を解析し，画像としての評価を示す解析スコアを算出する。たとえば，画像の先鋭度が高い，主要被写体が中央に近い，顔の向きなど画像の評価が高いと考えられるほど高くなるようにする。そのようにして算出された解析スコアがしきい値以上の画像が第２画像群から抽出され，レイアウト，テンプレートなどが決定される。

また，一のユーザが新たに入力した第２画像群に含まれる画像と以前に一のユーザが入力した第１画像群に含まれる画像との類似度とを表す類似スコアをクライアント・コンピュータ１のＣＰＵ10または受注サーバ５のＣＰＵ30によって算出し，算出された類似スコアと画像解析結果から得られる解析スコア，たとえば類似スコアと解析スコアとの和である総合スコアがしきい値以上となる画像を決定し，第２画像群から抽出してもよい。以前に選択された画像に類似する画像であって，画像として評価の高い画像が，第２画像群に含まれる画像から抽出されることとなる。

さらに，上述の実施例では，第１画像群の中から第２画像群に類似した画像群を検索し，検索された画像群においてユーザが抽出した画像に類似する画像が，第２画像群の中から抽出されているが，検索された画像群においてユーザが抽出しなかった画像に類似する画像は第２画像群の中から抽出しないようにして，第２画像群の中から抽出する画像を決定するようにしてもよい。レイアウト情報テーブルの選択情報として「Ｎ」が付与されていることから，ユーザが抽出しなかった画像が分かる。

クライアント・コンピュータ１などは，パーソナル・コンピュータだけでなく，タブレット端末，スマートフォンを利用して構成することもできる。

また，上述の実施例においては，第１画像群から抽出された画像を用いてアルバムが生成されているが，アルバムを生成する場合に限らず，１枚の用紙などの画像商材に複数の画像を貼り付けるシャッフル・プリント，複数の画像の中から画像を抽出して抽出された画像を１枚１枚プリントする場合などにも利用できる。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するクライアント・コンピュータ１のＣＰＵ10，受注サーバ５のＣＰＵ30のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１：コンピュータ，５：受注サーバ，６：受注データベース，10：ＣＰＵ，11：表示装置，12：通信装置，13：ハード・ディスク，14：ハード・ディスク・ドライブ，15：メモリ，16：キーボード，17：マウス，18：コンパクト・ディスク・ドライブ，19：コンパクト・ディスク，20：メモリ・カード・リーダ・ライタ，21：メモリ・カード，30：ＣＰＵ，31：通信装置，32：ハード・ディスク，33：ハード・ディスク・ドライブ，34：メモリ，35：コンパクト・ディスク・ドライブ，36：コンパクト・ディスク，37：メモリ・カード・リーダ・ライタ，38：メモリ・カード，70：テンプレート，71-73：領域，Ｃ301-Ｃ307：重心，Ｃ401-Ｃ408：重心，Ｇ１-Ｇ102：グループ，Ｇ149-Ｇ150：グループ，Ｇ201：グループ，Ｇ301-Ｇ307：グループ，Ｇ401-Ｇ408：グループ，Ｉ11-Ｉ13：画像，Ｉ21-Ｉ23：画像，ＩＤ１-ＩＤ２：画像

Claims (22)

1. 画像群を入力する画像群入力手段，
   以前に入力した画像群である第１画像群のうち，一のユーザが入力した画像群の中から，上記一のユーザが上記画像群入力手段から新たに入力した画像群である第２画像群に類似する画像群を見つける第１の画像群検索手段，ならびに
   上記第１の画像群検索手段において見つけられた画像群に含まれる画像の中から上記一のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する出力形態決定手段，
   を備えた画像処理装置。
2. 上記出力形態決定手段において決定した出力形態によって出力するように出力装置を制御する出力装置制御手段，
   をさらに備えた請求項１に記載の画像処理装置。
3. 以前に入力した上記第１画像群は，
   上記一のユーザが入力した画像群である，
   請求項１または２に記載の画像処理装置。
4. 以前に入力した上記第１画像群は，
   上記一のユーザとは異なる他のユーザが入力した画像群である，
   請求項１または２に記載の画像処理装置。
5. 上記出力形態決定手段は，
   上記情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群の中から抽出する画像を決定する，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像のレイアウトを決定する，あるいは，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像を貼り付けるテンプレートを決定する，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
6. 上記出力形態決定手段は，
   以前に入力した上記第１画像群のうち，上記一のユーザが入力した画像群の中から上記一のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した画像群に含まれる画像の出力形態を決定する，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
7. 上記出力形態決定手段は，
   以前に入力した上記第１画像群のうち，上記一のユーザとは異なる他のユーザが入力した画像群の中から上記一のユーザとは異なる他のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する，
   請求項１，２または４のうち，いずれか一項に記載の画像処理装置。
8. 上記出力形態決定手段は，
   上記第１の画像群検索手段において見つけられた画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群の中から抽出する画像を決定する，
   請求項１に記載の画像処理装置。
9. 以前に入力した上記第１画像群のうち，上記一のユーザとは異なる他のユーザが入力した画像群の中から，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に類似する画像群を見つける第２の画像群検索手段をさらに備え，
   上記出力形態決定手段は，
   上記第２の画像群検索手段において見つけられた画像群に含まれる画像の中から上記一のユーザとは異なる他のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する，
   請求項１，２または４のうち，いずれか一項に記載の画像処理装置。
10. 上記出力形態決定手段は，
    上記第２の画像群検索手段において見つけられた画像群に含まれる人物画像と非人物画像との割合と同じ割合となるように，上記一のユーザが上記画像群入力手段から新たに入力した画像群の中から抽出する画像を決定する，
    請求項９に記載の画像処理装置。
11. 上記出力形態決定手段は，
    以前に入力した画像群のうち上記一のユーザが入力した画像群に含まれる人物画像と非人物画像との割合が同じ割合となるように，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群の中から抽出する画像を決定する，
    請求項１から３のうち，いずれか一項に記載の画像処理装置。
12. 上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像を解析する画像解析手段をさらに備え，
    上記出力形態決定手段は，
    上記画像解析手段における画像解析結果を表わす解析スコアと，以前に入力した上記第１画像群に含まれる画像のうち，上記一のユーザおよび上記一のユーザとは異なる他のユーザの少なくとも一方のユーザが選択した画像についての情報と，にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する，
    請求項１から４のうち，いずれか一項に記載の画像処理装置。
13. 上記出力形態決定手段は，
    上記一のユーザが上記画像群入力手段から新た入力した上記第２画像群に含まれる画像のうち，上記画像解析手段における画像解析結果を表す解析スコアがしきい値以上である画像を抽出する画像と決定する，
    請求項12に記載の画像処理装置。
14. 上記出力形態決定手段は，
    上記画像解析手段における画像解析結果を表す解析スコアと，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像と以前に入力した上記第１画像群に含まれる画像のうち上記一のユーザが選択した画像との類似度を表す類似スコアと，にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群の中から抽出する画像と決定する，
    請求項12に記載の画像処理装置。
15. 上記出力形態決定手段において決定した出力形態にもとづいて，出力形態を決定するアルゴリズムを更新する出力形態決定アルゴリズム更新手段，
    をさらに備えた請求項１から14のうち，いずれか一項に記載の画像処理装置。
16. 上記出力形態決定手段は，
    以前に入力した画像群に含まれる画像のうち，さらに，上記一のユーザが排除した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の中から抽出する画像を決定する，
    請求項１から４のうち，いずれか一項に記載の画像処理装置。
17. 画像群を入力する画像群入力手段，
    以前に入力した画像群である第１画像群のうち，他のユーザが入力した画像群の中から，一のユーザが上記画像群入力手段から新たに入力した画像群である第２画像群に類似する画像群を見つける画像群検索手段，ならびに
    上記画像群検索手段において見つけられた画像群に含まれる画像の中から上記他のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する出力形態決定手段，
    を備えた画像処理装置。
18. 画像群入力手段が，画像群を入力し，
    画像群検索手段が，以前に入力した画像群である第１画像群のうち，一のユーザが入力した画像群の中から，上記一のユーザが上記画像群入力手段から新たに入力した画像群である第２画像群に類似する画像群を見つけ，
    出力形態決定手段が，上記画像群検索手段において見つけられた画像群に含まれる画像の中から上記一のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する，
    画像処理方法。
19. 画像群入力手段が，画像群を入力し，
    画像群検索手段が，以前に入力した画像群である第１画像群のうち，他のユーザが入力した画像群の中から，一のユーザが上記画像群入力手段から新たに入力した画像群である第２画像群に類似する画像群を見つけ，
    出力形態決定手段が，上記画像群検索手段において見つけられた画像群に含まれる画像の中から上記他のユーザが選択した画像についての情報にもとづいて，上記一のユーザが上記画像群入力手段から新たに入力した上記第２画像群に含まれる画像の出力形態を決定する，
    画像処理方法。
20. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    画像群を入力させ，
    以前に入力した画像群である第１画像群のうち，一のユーザが入力した画像群の中から，上記一のユーザが新たに入力した画像群である第２画像群に類似する画像群を見つけさせ，
    見つけられた画像群に含まれる画像の中から上記一のユーザが選択した画像についての情報にもとづいて，上記一のユーザが新たに入力した上記第２画像群に含まれる画像の出力形態を決定させるように画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
21. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    画像群を入力させ，
    以前に入力した画像群である第１画像群のうち，他のユーザが入力した画像群の中から，一のユーザが新たに入力した画像群である第２画像群に類似する画像群を見つけさせ，
    見つけられた画像群に含まれる画像の中から上記他のユーザが選択した画像についての情報にもとづいて，上記一のユーザが新たに入力した上記第２画像群に含まれる画像の出力形態を決定させるように画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
22. 請求項20または21に記載のプログラムを格納した記録媒体。
    

Images