JP5655112B2 - 合成画像作成システム、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、クラウドサービスを提供するサーバのストレージに保存されたユーザの複数の画像を用いて、フォトブックやコラージュプリント等の合成画像を作成してユーザに提供する合成画像作成システム、画像処理装置および画像処理方法に関するものである。

現在、ユーザの画像を、インターネット等のネットワークを介してサーバのストレージに保存するクラウドサービスとして、ＳＮＳ（ソーシャルネットワーキングサービス）やオンラインストレージサービスなどが知られている。

ＳＮＳは、ユーザ同士がコミュニケーションを取り合うことを目的としたコミュニティ型のウェブサービスであり、例えば、ユーザがネットワークを介してサーバにアップロードした画像をユーザ同士で共有して閲覧（画像を公開）する機能等を備えている。
オンラインストレージサービスは、サーバのストレージ（ディスクスペース）をユーザに貸し出すサービスであり、ユーザは、ネットワークを介してサーバに画像をアップロードしたり、ダウンロードしたりすることができる。

上記ＳＮＳやオンラインストレージサービスなどのクラウドサービスでサーバのストレージに保存されたユーザの複数の画像を用いて、フォトブックやコラージュプリント等の合成画像を作成してユーザに提供することが行われている。
ここで、フォトブックは、ユーザの複数の画像から選択された所定数の画像を、所定のレイアウトで所定数のページに配置した画像集を作成するサービスである。
また、コラージュプリントは、ユーザの複数の画像から選択された所定数の画像を、所定のレイアウトで１枚のプリントに配置した合成画像を作成するサービスである。

ここで、本発明に関連性のある先行技術文献として、例えば、特許文献１〜４がある。

特許文献１には、ネットワークを介して画像を複数の情報処理装置に提供する画像管理装置であって、画像に対する閲覧者のお気に入り度が高い行動パターンを閲覧者毎に個別に設定しておき、設定した行動パターンと、提供された画像に対する閲覧者の過去の操作履歴とが一致している画像を検索し、検索した画像を画面に表示させたり、検索した画像を含むブックデータを閲覧者毎に個別作成したりすることが記載されている。

特許文献２には、選別のためのキーとして選別者の「お気に入り度」を画像ごとに付加して、同一カテゴリに属する複数の画像を選別し、あらかじめ用意された複数のフォトアルバム用テンプレートを利用して、フォトアルバムのページを設定し、付加した「お気に入り度」に基づいて、設定されたアルバムによって配置される写真枚数を抽出して配置してアルバムを作成する画像処理方法が記載されている。

特許文献３には、通信回線を介して複数の端末と接続される画像処理サーバの制御方法であって、端末から受信した画像を含む少なくとも一つの画像群を記憶し、端末から受信した画像のうちの特定画像群中の特定画像に関連付けられた投票情報を集計し記憶し、投票情報の集計結果に基づいて、端末又は画像処理サーバに接続可能なその他の端末に表示させるための表示情報を生成することが記載されている。

特許文献４には、複数の画像の中から所定数の画像を抽出する画像抽出方法であって、複数の画像に対するユーザの評価値としての「お気に入り度」を１つの画像毎に順次入力し、入力した「お気に入り度」に基づいて、複数の画像の中から所定数の画像を抽出し、抽出した画像をフォトアルバムの各ページに配置することによりフォトアルバムを作成することが記載されている。

特開２００９−２６５８８６号公報 特開２００６−１２００７６号公報 特開２００４−７０６１４号公報 特開２００４−２４６８６８号公報

特許文献１〜４には、お気に入り度に基づいて、複数の画像の中から所定数の画像を選択し、選択した画像を表示したり、選択した画像を用いてフォトブックを作成したりすることが記載されている。
しかし、ＳＮＳやオンラインストレージサービスなどのクラウドサービスでアップロードされた画像は、元々ユーザがフォトブックやコラージュプリント等の合成画像用に準備した画像ではないため、合成画像用として適さない画像が混在している可能性がある。

本発明の目的は、画像の付帯情報を利用して、よりユーザの満足度が高いフォトブックやコラージュプリント等の合成画像を作成することができる合成画像作成システム、画像処理装置および画像処理方法を提供することにある。

上記目的を達成するために、本発明は、画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理装置であって、
画像管理サーバから複数の画像を取得する画像取得部と、
取得した各々の画像の解析を行って、解析の結果に基づいて、取得した各々の画像の評価値を一定幅の値の範囲内で決定する画像解析部と、
取得した複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングするグルーピング部と、
グルーピングした複数のグループの中から、付帯情報として、ユーザが各々の画像に対して行った操作の情報である操作情報が付与された画像を含むグループを選択するグループ選択部と、
選択したグループに含まれる画像の中から、評価値および操作情報の少なくとも一方に基づいて所定数の画像を選択する画像選択部と、
選択した所定数の画像を所定のレイアウトに配置して合成画像を作成する画像配置部とを備えることを特徴とする画像処理装置を提供するものである。

ここで、グループ選択部は、選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、選択した各々のグループと同じ日付の、操作情報が付与されていないグループの中から、第１の追加のグループを順次選択するものであることが好ましい。

また、グループ選択部は、第１の追加のグループを含む、選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、選択した各々のグループと最も近い日付の、操作情報が付与されていないグループの中から、第２の追加のグループを順次選択するものであることが好ましい。

また、グループ選択部は、第１および第２の追加のグループを含む、選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、選択した各々のグループと最も近い日付のグループの次に近い日付の、操作情報が付与されていないグループの中から、第３の追加グループを順次選択し、これ以後、第１、第２および第３の追加のグループを含む、選択した全てのグループに含まれる画像数が、推奨画像数以上となるまで追加のグループの選択を繰り返すものであることが好ましい。

また、合成画像は、フォトブックであり、
推奨画像数は、フォトブックのページ数に応じてあらかじめ決定された固定値であることが好ましい。

また、合成画像は、フォトブックであり、
推奨画像数は、フォトブックのページ数および選択された所定数の画像の中から抽出されたフォトブックに適した画像の数に応じて、所定の推奨画像数の範囲内で動的に決定された値であることが好ましい。

また、フォトブックに適した画像の数が推奨画像数の範囲の上限値以上である場合、推奨画像数は、推奨画像数の範囲の上限値に決定され、
フォトブックに適した画像の数が推奨画像数の範囲内である場合、推奨画像数は、フォトブックに適した画像の数に決定され、
フォトブックに適した画像の数が推奨画像数の範囲の下限値以下である場合、推奨画像数は、推奨画像数の範囲の下限値に決定されることが好ましい。

また、合成画像は、フォトブックであり、
さらに、選択した所定数のグループを、フォトブックのページ数に合わせて再グルーピングする再グルーピング部を備えることが好ましい。

また、再グルーピング部は、選択したグループの数よりもフォトブックのページ数の方が多い場合、再分割処理を行って、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割するものであることが好ましい。

また、再グルーピング部は、再分割処理後のグループにおいて、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数以下となるまで、再分割処理を繰り返し行うものであることが好ましい。

また、再グルーピング部は、グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループが存在しない場合には、画像数が最も多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割するものであることが好ましい。

また、再グルーピング部は、選択したグループの数よりもフォトブックのページ数の方が少ない場合、再結合処理を行って、撮影日時の間隔が最も小さい２つのグループ同士を結合して１つのグループにするものであることが好ましい。

また、再グルーピング部は、再結合処理によってグループ内の、操作情報が付与された画像の数が、フォトブックのページに配置可能な最大画像数を超える場合には再結合処理を行わず、次に撮影日時の間隔が小さい２つのグループ同士を結合して１つのグループにするものであることが好ましい。

また、画像選択部は、選択したグループに含まれる画像の中から、操作情報が付与された全ての画像を選択し、選択したグループに含まれる、操作情報が付与されていない画像の中から、評価値に基づいて、フォトブックの１ページに配置可能な最大画像数になるまで残りの画像を選択するものであることが好ましい。

また、画像選択部は、選択したグループの中に操作情報が付与された画像がない場合、評価値に基づいて、選択したグループに含まれる、操作情報が付与されていない画像の中から画像を選択するものであることが好ましい。

また、画像配置部は、選択した所定数の画像の中の、操作情報が付与された画像の中から選択した画像を大きなエリアに配置するものであることが好ましい。

また、グループ選択部および画像選択部は、操作情報の重要度に応じて、操作情報を使用するかしないかを決定するものであることが好ましい。

また、重要度は、２段階、もしくは、多段階に設定されるものであることが好ましい。

また、操作情報は、ユーザが各々の画像に付与したお気に入り情報およびコメントの少なくとも一方の付与情報であり、
重要度は、付与情報を付与したユーザ、コメントの長さ、コメントへの返信の有無、お気に入りの付与頻度および付与回数の少なくとも１つに応じて設定されるものであることが好ましい。

また、操作情報は、ユーザが各々の画像に付与したタグ情報、もしくは、ユーザが各々の画像に実施した編集の情報である編集情報であることが好ましい。

また、操作情報は、各々の画像の注文情報であることが好ましい。

また、操作情報は、各々の画像の閲覧情報であることが好ましい。

また、閲覧情報は、画像が公開されている場合には、画像を画像管理サーバにアップロードしたユーザの閲覧情報だけでなく、他のユーザからの閲覧情報を含むことが好ましい。

また、画像管理サーバは、クラウドサービスを提供するものであり、クラウドサービスは、ＳＮＳ、もしくは、オンラインストレージサービスであることが好ましい。

また、合成画像は、コラージュプリントであることが好ましい。

また、画像管理サーバは、複数の画像を、アルバム形式での保存、もしくは、年月日単位での保存を含む画像保存形式で保存するものであることが好ましい。

また、画像配置部は、合成画像の画像データを作成するものであることが好ましい。

また、本発明は、画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理方法であって、
画像管理サーバから複数の画像を取得するステップと、
取得した各々の画像の解析を行って、解析の結果に基づいて、取得した各々の画像の評価値を一定幅の値の範囲内で決定するステップと、
取得した複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングするステップと、
グルーピングした複数のグループの中から、付帯情報として、ユーザが各々の画像に対して行った操作の情報である操作情報が付与された画像を含むグループを選択するステップと、
選択したグループに含まれる画像の中から、評価値および操作情報の少なくとも一方に基づいて所定数の画像を選択するステップと、
選択した所定数の画像を所定のレイアウトに配置して合成画像を作成するステップとを備えることを特徴とする画像処理方法を提供する。

また、本発明は、画像管理サーバと、
画像管理サーバに保存された複数の画像を用いて合成画像を作成する、上記のいずれかに記載の画像処理装置とを備える合成画像作成システムを提供する。

本発明の画像処理装置は、グルーピングした複数のグループの中から、操作情報が付与された画像を含むグループを選択し、選択したグループに含まれる画像の中から、評価値および操作情報に基づいて所定数の画像を選択し、選択した画像を用いて合成画像を作成する。このように、本発明によれば、操作情報を利用して、合成画像を作成するため、よりユーザの満足度が高い合成画像を作成することができる。

本発明の合成画像作成システムの構成を表す一実施形態の概念図である。 画像処理サーバの構成を表す第１実施形態のブロック図である。 画像処理サーバの構成を表す第２実施形態のブロック図である。 合成画像作成部の構成を表すブロック図である。 オンラインアルバムの画像を複数のグループにグルーピングする様子を表す概念図である。 グルーピングされた複数のグループの中から、操作情報が付与された画像を含むグループを選択する様子を表す概念図である。 選択したグループと同じ日付のグループの中から、第１の追加のグループを選択する様子を表す概念図である。 選択したグループと最も近い日付のグループの中から、第２の追加のグループを選択する様子を表す概念図である。 画像数が１５枚で、操作情報が付与された１０枚の画像を含むグループ１と、画像数が最大の２０枚で、操作情報が付与された画像の数が１枚のグループ２を表す概念図である。 画像数が最も多いグループ２内の２０枚の画像を、１０枚ずつの２つのグループに分割する様子を表す概念図である。 操作情報が付与された画像の数が最も多いグループ１内の１５枚の画像を、８枚と７枚の２つのグループに分割する様子を表す概念図である。 画像解析部で実施される画像解析処理を表す概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の合成画像作成システム、画像処理装置および画像処理方法を詳細に説明する。

図１は、本発明の合成画像作成システムの構成を表す一実施形態の概念図である。同図に示す合成画像作成システム１０は、ＳＮＳやオンラインストレージサービスなどのクラウドサービスと連携し、ユーザがサーバにアップロードした画像を用いて、フォトブックやコラージュプリント等の合成画像を自動的に作成してユーザに提示し、さらに、オンライン決済システムやオンライン受注システムと連携し、バーチャル商材もしくはリアル商材として販売し、決済するシステムである。

ここで、バーチャル商材とは、複数の画像の画像データ（デジタルデータ）を用いて作成されたフォトブックやコラージュプリント等の合成画像の画像データ（デジタルデータ）である。バーチャル商材は、インターネット等のネットワーク２４を介してダウンロード販売される、もしくは、生産工場２２でＣＤやＤＶＤ等の記録媒体に記録され、ユーザに配送される。
一方、リアル商材とは、バーチャル商材の画像データに基づいて作成された実物のフォトブックやコラージュプリント等の合成画像である。リアル商材は、生産工場２２で生産され、ユーザに配送される。
なお、バーチャル商材およびリアル商材は、有料のものに限らず、無料で提供するものも含む。

合成画像作成システム１０は、図１に示すように、ユーザ端末１２と、画像管理サーバ１４と、本発明の画像処理装置の一実施形態となる画像処理サーバ１６と、決済サーバ１８と、受注サーバ２０とを備えている。

ユーザ端末１２は、ユーザが、所有する画像（例えば、写真）を、ユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードしたり、画像管理サーバ１４にアップロードされた画像や、画像処理サーバ１６によって作成された合成画像を、ネットワーク２４を介してユーザ端末１２にダウンロードしたり、ユーザが画像や合成画像の閲覧、バーチャル商材やリアル商材の注文等をするためのものである。
ユーザ端末１２は、例えば、携帯電話やスマートフォンなどのモバイル端末、デスクトップＰＣ（パーソナルコンピュータ）、ノートＰＣ、タブレットＰＣ等である。
図示例では、図面の煩雑さを避けるために、１つのユーザ端末１２だけを表示しているが、実際には、合成画像作成システム１０を利用する各々のユーザが所有する複数のユーザ端末１２が備えられている。

画像管理サーバ１４は、ＳＮＳやオンラインストレージサービスなどのクラウドサービスをネットワーク２４を介してユーザに提供するものであり、ストレージ２６を備えている。
画像管理サーバ１４は、ユーザ端末１２からネットワーク２４を介してアップロードされた画像をストレージ２６に保存して管理したり、ストレージ２６に保存した画像や、画像処理サーバ１６から取得したフォトブックやコラージュプリント等の合成画像を、ネットワーク２４を介してユーザ端末１２に提供したりする。
なお、画像管理サーバ１４がクラウドサービスを提供することは必須ではない。
また、画像管理サーバ１４は、複数の画像を、オンラインアルバムのようなアルバム形式（フォルダ形式）での保存、年月日単位での保存、その他の形式での保存を含む、各種の画像保存形式で保存することができる。

本実施形態では、合成画像作成システム１０が、ＳＮＳの画像管理サーバ１４と連携している場合をＳＮＳタイプ、オンラインストレージサービスの画像管理サーバ１４と連携している場合をストレージタイプと呼ぶ。
なお、クラウドサービスは、ＳＮＳやオンラインストレージサービスに限らず、ユーザの画像を、ネットワーク２４を介して画像管理サーバ１４にアップロードしてストレージ２６に保存する各種のサービスを利用することができる。

続いて、画像処理サーバ１６は、画像管理サーバ１４のストレージ２６に保存された画像を用いて、フォトブックやコラージュプリント等の合成画像（の画像データ）を作成するものであり、ストレージ２８を備えている。
画像処理サーバ１６は、本実施形態の場合、画像管理サーバ１４のストレージ２６に保存されたオンラインアルバム毎に、合成画像を作成してストレージ２８に保存する。
また、画像処理サーバ１６は、ユーザからのバーチャル商材やリアル商材の注文をユーザ端末１２から受け付けたり、ストレージ２８に保存した合成画像の有効期限の管理をしたりする。
画像処理サーバ１６の詳細は後述する。

決済サーバ１８は、ユーザの注文についての決済処理をオンラインで行うものである。決済サーバ１８は、既存のオンライン決済システムを利用することができる。

受注サーバ２０は、ユーザの注文についての受注処理をオンラインで行うものである。受注サーバ２０は、既存のオンライン受注システムを利用することができる。

次に、画像処理サーバ１６の詳細について説明する。

図２は、画像処理サーバの構成を表す第１実施形態のブロック図である。同図に示す画像処理サーバ１６は、ＳＮＳタイプであり、画像取得部２９と、合成画像作成部３０と、合成画像管理部３２と、注文受付部３４と、商材合成部３６とを備えている。

ＳＮＳの場合、ユーザが他のユーザに画像を閲覧させる（ユーザが他のユーザと画像を共有する）ために、画像のアップロードが非常に頻繁に行われるという特徴がある。ユーザが一時期にアップロードした一連の画像の集合をオンラインアルバムと呼ぶ。ＳＮＳタイプの合成画像作成システム１０は、新規な画像がアップロードされたり、既にアップロードされている画像が変更されたりすると、オンラインアルバムの単位で合成画像をリアルタイムに作成してユーザ端末１２に提供する。

画像取得部２９は、ユーザが、新規な画像を画像管理サーバ１４にアップロードしたり、画像管理サーバ１４のストレージ２６に保存されているオンラインアルバムに対して、画像を追加、削除、編集したりすることによって、画像管理サーバ１４から画像変更の通知を受け取ると、画像管理サーバ１４のストレージ２６から該当するオンラインアルバムに含まれる画像を取得するものである。

合成画像作成部３０は、取得した画像を用いて、変更された画像を含むオンラインアルバム毎に、フォトブックやコラージュプリント等の合成画像をリアルタイムに作成するものである。
合成画像作成部３０は、変更された画像を含むオンラインアルバム毎に、オンラインアルバムに含まれる全ての画像を画像管理サーバ１４のストレージ２６から取得する。そして、取得したそれぞれの画像を解析して評価し、その評価値に基づいて、合成画像に使用する複数の画像を選択し、選択した複数の画像を用いてレイアウトを実施して合成画像を作成する。合成画像の作成が完了すると、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。
なお、合成画像作成部３０は、ユーザが、オンラインアルバムに含まれる全ての画像を削除した場合、そのオンラインアルバムに対応する合成画像を削除する。
合成画像作成部３０の詳細は後述する。

合成画像管理部３２は、ストレージ２８に保存された合成画像を管理するものである。
合成画像管理部３２は、合成画像の有効期限を管理する。ストレージ２８に保存してから一定期間、例えば、２週間が経過しても注文がない合成画像をストレージ２８から削除するものとすると、合成画像管理部３２は、期限切れ直前の合成画像について、例えば、ＳＮＳのお知らせ機能や、電子メール等を利用して、合成画像がストレージ２８から削除される日時を表すリマインダーをユーザ端末１２に通知する。
また、合成画像管理部３２は、期限切れの合成画像を、例えば、画像処理サーバ１６の負荷が低い夜間などにバッチ処理で削除し、期限切れの合成画像を削除したことをユーザ端末１２に通知する。
その他、公序良俗に違反する画像が含まれているアルバムがあった場合、例えば、画像管理サーバ１４のオペレータが、該当する画像を削除して画像処理サーバ１６に通知するものとすると、合成画像管理部３２は、その公序良俗違反の画像削除の通知に基づいて、合成画像作成部３０が合成画像を作成し直すように管理したり、各々のユーザが、どのくらいの合成画像を作成したとか、どのくらいの製品を購入したかなどの統計情報を収集して管理したりする。

注文受付部３４は、ユーザのバーチャル商材やリアル商材の注文をユーザ端末１２から受け付けるものである。
注文受付部３４は、決済情報を入力するための画面をユーザ端末１２の表示装置に表示させ、ユーザが注文したバーチャル商材やリアル商材の製品とその数を表す注文情報、クレジットカード、代引き、銀行振り込み等の支払い情報、製品の配送に利用する運送会社を表す配送情報、ユーザの住所、氏名、電話番号等のユーザ情報等を含む決済情報を取得し、取得した決済情報および決済の指示を決済サーバ１８に通知する。
また、注文受付部３４は、注文が完了すると、注文が完了したことを画像管理サーバ１４に通知する。

商材合成部３６は、決済サーバ１８から決済処理完了の通知を受け取ると、ユーザが注文したオンラインアルバムに含まれる画像と、このオンラインアルバムの合成画像の画像データを用いて、ユーザが注文したバーチャル商材やリアル商材（の画像データ）を合成するものである。
本実施形態の場合、画像管理サーバ１４は、ユーザ端末１２から画像管理サーバ１４に画像がアップロードされると、アップロードされた画像から解像度の異なる複数の画像、例えば、解像度の異なる５種類の画像を作成してストレージ２６に保存する。
商材合成部３６は、バーチャル商材の場合、ユーザ端末１２の画面上で閲覧することができればよいため、例えば、６４０×４８０ピクセルの画像を入力として、８００×６００ピクセルの画像を出力する合成処理を行う。
一方、リアル商材の場合は、銀塩プリントを行うため、商材合成部３６は、例えば、画像補正ツールを使って画像の補正処理を行った後、バーチャル商材の場合よりも解像度が大きい１０２４×７６８ピクセルの画像を入力として、バーチャル商材の場合よりも解像度が大きい３０００×２０００ピクセルの画像を出力する合成処理を行う。
商材合成部３６は、合成したバーチャル商材やリアル商材の画像データ、決済情報および注文の指示を受注サーバ２０に通知する。

次に、図１および２に示すＳＮＳタイプの合成画像作成システム１０の動作を説明する。

まず、ユーザは、１ないし複数の画像（の画像データ）をユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードする。

画像管理サーバ１４は、ユーザ端末１２から一時期にアップロードされた一連の画像を受け取って、１つのオンラインアルバムとしてストレージ２６に保存し、ストレージ２６内の画像が変更されたことを画像処理サーバ１６に通知する。

アップロードした画像が画像管理サーバ１４のストレージ２６に保存されると、ユーザは、オンラインアルバム毎に、オンラインアルバムに含まれる画像をユーザ端末１２で随時閲覧することができる。
ＳＮＳのウェブサイトでは、例えば、ユーザがアップロードしたオンラインアルバムの一覧として、各々のオンラインアルバムの代表画像のサムネイル画像が表示される。
ユーザが、オンラインアルバムの一覧の中から１つのオンラインアルバムをマウス等の入力装置でクリックすると、クリックしたオンラインアルバムに含まれる画像の一覧として、各々の画像のサムネイル画像が表示される。

続いて、画像処理サーバ１６では、画像管理サーバ１４から画像変更の通知を受け取ると、合成画像作成部３０が、新規にアップロードされたオンラインアルバム毎に、オンラインアルバムに含まれる画像を用いて、フォトブックやコラージュプリント等の合成画像をリアルタイムに作成する。そして、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。

続いて、画像管理サーバ１４は、画像処理サーバ１６から合成画像の作成完了の通知を受け取ると、例えば、ＳＮＳのニュースフィードの機能を利用して、その旨をユーザ端末１２に通知する。
ユーザが、ユーザ端末１２の表示装置に表示されたニュースフィードの一覧の中から、合成画像の作成完了の通知に対応するニュースをマウス等の入力装置を用いてクリックすると、画像管理サーバ１４は、この合成画像の作成完了の通知に対応する合成画像を画像処理サーバ１６のストレージ２８から取得し、ユーザ端末１２の表示装置に表示させる。

つまり、ユーザは、画像をアップロードすると、オンラインアルバム毎に、オンラインアルバムに含まれる画像を用いて作成されたフォトブックやコラージュプリント等の合成画像をリアルタイムに閲覧することができる。
なお、ＳＮＳでは、画像管理サーバ１４にアップロードされた画像を公開する範囲（画像を共有するユーザ）を設定することが可能である。同様に、合成画像も、合成画像を公開する範囲を設定することが可能であり、ユーザ同士の間で合成画像を公開（共有）することができる。

また、ユーザは、オンラインアルバムへの新規な画像の追加、オンラインアルバムに含まれている既存の画像の削除、回転、補正（色調整、トリミングなど）の編集、フォトアルバムの表紙画像の変更、オンラインアルバムの名称や説明文の変更等を行うことができる。

画像管理サーバ１４は、例えば、ユーザが、ストレージ２６内のオンラインアルバムに既に保存されている画像を変更すると、ストレージ２６内の画像が変更されたことを画像処理サーバ１６に通知する。
ここで、画像変更の通知には、画像そのものの変更だけでなく、上記のフォトアルバムの表紙画像の変更、オンラインアルバムの名称や説明文の変更なども含む。

画像処理サーバ１６では、画像管理サーバ１４から画像変更の通知を受け取ると、合成画像作成部３０が、変更された画像を含むオンラインアルバム毎に、合成画像をリアルタイムに作成し直す。そして、作成し直した合成画像をストレージ２８に保存し、合成画像の作成のし直しが完了したことを画像管理サーバ１４に通知する。
これ以後の画像管理サーバ１４の動作は前述の通りである。

つまり、オンラインアルバムに含まれる画像が変更されると、これに対応する合成画像が、リアルタイムに作成し直されてユーザ端末１２の表示装置に表示される。

なお、ユーザが１画像の編集操作を行う毎に合成画像を作成し直すと、サーバ負荷が大きくなる。そこで、合成画像の作成のし直しを自動ではなく、例えば、全ての画像の編集操作が終わった段階で、ユーザが、画像の編集画面がユーザ端末１２の表示装置に表示されているとき同時に表示される合成画像の更新ボタンをマウス等の入力装置でクリックしたタイミングで、合成画像作成部３０が合成画像を作成し直すことが望ましい。
この場合、ユーザは、合成画像の作成のし直しをしたいタイミングで合成画像の更新ボタンを押し、更新された合成画像を表示させることができる。また、ユーザが、更新された合成画像の表示を望まない場合は更新ボタンを押す必要はない。

一方、バックエンド処理として、深夜などのサーバ負荷が低いときに、合成画像作成部３０が、オンラインアルバムの最新状態が反映されていない合成画像を、オンラインアルバムの最新状態が反映された合成画像に自動更新してもよい。
さらに、画像管理サーバ１４のオペレータが公序良俗違反の画像を削除したことを画像処理サーバ１６に通知してきた場合に、合成画像作成部３０が、削除された画像を含んでいたオンラインアルバムの合成画像を更新するのが望ましい。

また、画像処理サーバ１６では、合成画像管理部３２が、期限切れ直前の合成画像について、合成画像がストレージ２８から削除される日時を表すリマインダーをユーザ端末１２に通知する。

ユーザは、画像処理サーバ１６からの期限切れ間近のお知らせを受け取ると、期限切れ間近のオンラインアルバムのバーチャル商材やリアル商材を注文するかしないかを判断する。そして、ユーザは、合成画像がユーザ端末１２の表示装置に表示されているとき同時に表示される注文ボタンをマウス等の入力装置でクリックすることにより、表示中のオンラインアルバムのバーチャル商材やリアル商材を注文することができる。

ここで、オンラインアルバム内の画像の編集時に、オンラインアルバムの最新状態を反映した合成画像が作成されていれば、注文時に合成画像の作成のし直しは行われず、編集時に更新された合成画像が、注文確認用の合成画像として、ユーザ端末１２の表示装置に表示される。
一方、ユーザが、オンラインアルバム内の画像を編集した後に、合成画像の更新ボタンをクリックしていなかった場合、つまり、オンラインアルバム内の最新状態が合成画像に反映されていなかった場合、注文時に合成画像の作成のし直しが行われ、注文時に更新された合成画像が、注文確認用の合成画像として、ユーザ端末１２の表示装置に表示される。

続いて、ユーザがユーザ端末１２の表示装置に表示された注文ボタンをマウス等でクリックすると、画像処理サーバ１６では、注文受付部３４が、決済情報を入力するための画面をユーザ端末１２の表示装置に表示させ、注文情報、支払い情報、配送情報、ユーザ情報等を含む決済情報を取得する。そして、ユーザが最終的な注文の確定ボタンをクリックすると、取得した決済情報および決済の指示を決済サーバ１８に送信するとともに、注文が完了したことを画像管理サーバ１４に通知する。

画像管理サーバ１４では、画像処理サーバ１６から注文完了の通知を受け取って、注文履歴の管理を行う。ユーザは、ユーザ端末１２の表示画面で注文履歴を随時閲覧することができる。

決済サーバ１８は、画像処理サーバ１６から決済情報および決済を指示する通知を受け取ると、決済情報を用いて、ユーザの注文についての決済処理を行う。つまり、ユーザの注文についての製品の購入代金の支払いが、決済サーバ１８から受注サーバ２０に対してオンラインで行われる。決済サーバ１８は、決済処理が完了すると、その旨を画像処理サーバ１６に通知する。

続いて、画像処理サーバ１６では、決済サーバ１８から決済処理完了の通知を受け取ると、商材合成部３６が、ユーザが注文したバーチャル商材やリアル商材を合成する。
商材合成部３６は、合成したバーチャル商材やリアル商材の画像データ、決済情報および注文の指示を受注サーバ２０に通知する。

受注サーバ２０は、画像処理サーバ１６から、バーチャル商材やリアル商材の画像データ、決済情報および注文を指示する通知を受け取ると、ユーザの注文についての受注処理を行う。受注サーバ２０は、決済情報を用いて、ユーザ端末１２の表示装置にバーチャル商材をダウンロードするための画面を表示させたり、バーチャル商材の画像データを格納したＣＤやＤＶＤ、リアル商材の製造を生産工場２２に依頼したりする。
また、ユーザの注文についての製品の生産コストの支払いが、受注サーバ２０から生産工場２２に対してオンラインで行われる。また、ユーザの注文についてのロイヤリティの支払いが、受注サーバ２０から画像管理サーバ１４に対してオンラインで行われる。

生産工場２２は、受注サーバ２０からバーチャル商材やリアル商材の製造の依頼を受け取ると、バーチャル商材やリアル商材の画像データ、決済情報に基づいて、製品を生産し、指定の運送会社を利用してユーザに配送する。

続いて、図３は、画像処理サーバの構成を表す第２実施形態のブロック図である。同図に示す画像処理サーバ１６は、ストレージタイプであり、画像取得部３８と、合成画像作成部４０と、合成画像管理部４２と、注文受付部４４と、商材合成部４６とを備えている。

オンラインストレージの場合、ユーザは、例えば、自分自身のバックアップのために画像をアップロードする。ストレージタイプの合成画像作成システム１０の場合、画像に添付されたＥｘｉｆ等のタグ情報（付帯情報）に応じて、例えば、日付、被写体、夏休みの旅行等のイベントなどの、様々な条件で画像を分類（グルーピング）しておき、画像が蓄積されて、ある分類が、所定の枚数、例えば、３０枚以上になった時点で、分類に応じて、合成画像を作成してユーザ端末１２に提供する。

画像取得部３８は、画像管理サーバ１４のストレージ２６に保存されている画像を取得する同期処理を定期的に行う、例えば、３日に１回行うものであり、ストレージ４８，５０を備えている。
画像取得部３８は、画像管理サーバ１４のストレージ２６から画像を取得し、必要に応じて、画像の解像度を変更してストレージ４８に保存するとともに、取得した各々の画像からタグ情報を抽出してストレージ５０に保存する。
タグ情報は、画像に添付されている。タグ情報には、画像の撮影日時、画像のサイズ、撮影機種等の、撮影装置により画像に自動的に添付される情報の他、ユーザが、キーボード等の入力装置を用いて任意の情報、例えば、誕生日、運動会などのイベント情報、家族、友達などの人物情報、ユーザがお気に入りの画像であることを表すお気に入り情報などを入力することが可能である。
なお、画像取得部３８は、同期処理のたびに、全ての画像を取得し直してもよいが、同期処理の負荷を考慮すると、前回の同期処理から変更された差分の画像のみを取得する方が望ましい。

合成画像作成部４０は、ストレージ５０に保存されたタグ情報が所定の条件を満足したオンラインアルバム毎に、ストレージ４８に保存されたオンラインアルバムに含まれる画像を用いて、ＳＮＳタイプの画像処理サーバ１６の合成画像作成部３０と同様に、合成画像を作成するものである。
合成画像作成部４０は、タグ情報に基づいて、例えば、誕生日の画像を含むオンラインアルバムの合成画像を作成したり、家族の画像を含むオンラインアルバムの合成画像を作成したりする。

合成画像管理部４２、注文受付部４４、商材合成部４６は、それぞれ、ＳＮＳタイプの画像処理サーバ１６の合成画像管理部３２、注文受付部３４、商材合成部３６と同様のものである。

次に、図１および３に示すストレージタイプの合成画像作成システム１０の動作を説明する。

ユーザは、１ないし複数の画像（画像データ）をユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードする。

画像管理サーバ１４は、ユーザ端末１２から一時期にアップロードされた一連の画像を受け取って、１つのオンラインアルバムとしてストレージ２６に保存する。

画像処理サーバ１６では、画像取得部３８が、画像管理サーバ１４のストレージ２６に保存された画像を定期的に取得する同期処理を行って、オンラインアルバム毎に、画像およびタグ情報を、それぞれ、ストレージ４８，５０に保存する。

合成画像作成部４０は、タグ情報が所定の条件を満足したオンラインアルバム毎に、ストレージ４８に保存されたオンラインアルバムに含まれる画像を用いて、合成画像を作成する。そして、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。

画像管理サーバ１４は、画像処理サーバ１６から合成画像の作成完了の通知を受け取ると、例えば、電子メールを利用して、その旨をユーザ端末１２に通知する。
ユーザが、電子メールの中に記載された合成画像へのリンクをマウス等の入力装置を用いてクリック（選択）すると、画像管理サーバ１４は、この合成画像を画像処理サーバ１６のストレージ２８から取得し、ユーザ端末１２の表示装置に表示させる。

これ以後の動作は、ＳＮＳタイプの合成画像作成システム１０の場合と同様である。

次に、合成画像作成部３０の詳細について説明する。
なお、合成画像作成部４０についても同様である。

図４は、合成画像作成部の構成を表すブロック図である。同図に示す合成画像作成部３０は、画像解析部５４と、グルーピング部５６と、グループ選択部５８と、再グルーピング部６０と、画像選択部６２と、画像配置部６４とを備えている。

合成画像作成部３０では、画像解析部５４が、画像取得部２９が取得したオンラインアルバムに含まれる各々の画像の解析を行って、その評価値を決定する。
画像解析部５４の詳細は後述する。

また、グルーピング部５６が、画像取得部２９が取得したオンラインアルバムの複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングする。

グルーピング部５６は、付帯情報として撮影日時を用いた場合、取得したオンラインアルバムの複数の画像を、撮影間隔が比較的大きい画像の間で分けて複数のグループにグルーピングする。
図５の例では、撮影日時に基づいて、複数の画像を、２月２３日のグループ、４月２日の１０：００からのグループ、同１２：００からのグループ、同１４：００からのグループ、４月３日のグループ、４月５日のグループ、７月１２日のグループ、…にグルーピングしている。
なお、付帯情報として撮影位置を用いた場合、グルーピング部５６は、複数の画像を、撮影位置ごとに複数のグループにグルーピングする。また、撮影日時や撮影位置以外の付帯情報を用いて、画像をグルーピングしてもよい。

続いて、グループ選択部５８が、グルーピングされた複数のグループの中から、各々の画像の付帯情報として、ユーザが各々の画像に対して行った操作の情報である操作情報が付与された画像を含むグループを選択する。
図６に示す例では、４月２日の１２：００からのグループ、同１４：００からのグループ、７月１２日のグループ、…が選択されている（太枠で囲まれた画像を含むグループ）。同図中、星印がある画像が、付帯情報として操作情報が付与された画像である。

ここで、操作情報とは、例えば、ユーザが各々の画像に付与した「イイね」（お気に入り情報）、「コメント」などの付与情報、ユーザが各々の画像に付与した５段階の重要度などの評価情報、ユーザが各々の画像に付与したタグ情報、もしくは、ユーザが各々の画像に実施した編集の情報である編集情報、各々の画像の注文情報（デジカメプリントとして注文された画像や、フォトブックに使用された画像等）、各々の画像の閲覧情報（閲覧回数、閲覧時間等）などである。閲覧情報は、画像が公開（共有）されている場合には、画像を画像管理サーバ１４にアップロードしたユーザ（画像の所有者）の閲覧情報だけでなく、他のユーザ（画像の共有者）からの閲覧情報も含む。
「イイね」の付与情報は、例えば、ＳＮＳにおいて、ユーザが、気に入った画像がある場合に、その画像が表示されたウェブページに、その画像と関連付けされて表示された「イイね」ボタンをマウス等の入力装置でクリックすることによって、その画像に付与される。同様に、「コメント」の付与情報は、例えば、ＳＮＳにおいて、ユーザが、「コメント」を書き込もうとする画像がある場合に、その画像が表示されたウェブページに、その画像と関連付けされて表示された「コメント」の入力欄にキーボード等の入力装置で「コメント」を書き込むことによって、その画像に付与される。

ここで、選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。
例えば、１６ページのフォトブックは、１６枚の画像があれば作成可能であるが、この場合、１ページ１画像となり、魅力度が下がる。そこで、フォトブックの魅力を上げる（１ページに複数の画像を配置する）ために推奨する画像枚数（推奨画像数）を定義する。例えば、１ページ当たり４枚の画像を配置する場合、推奨画像数は、４枚×１６ページ＝６４画像となる。

一方、選択した全てのグループに含まれる画像数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと同じ日付のグループ（操作情報が付与されていないグループ）の中から、第１の追加のグループを順次選択する。
図７に示す例では、選択した最初のグループ３と同じ４月２日に撮影されたグループの中から、１０：００からのグループ（点線で囲まれたグループ）が選択されている。なお、７月１２日に撮影されたグループなど、選択した他のグループと同じ日付のグループの中から選択してもよい。
ここで、第１の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。

一方、第１の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと最も近い日付（撮影日時）のグループ（操作情報が付与されていないグループ）の中から、第２の追加のグループを順次選択する。
図８に示す例では、選択した、４月２日に撮影されたグループと最も近い４月３日に撮影されたグループ（点線で囲まれたグループ）が選択されている。同様に、７月１２日に撮影されたグループなど、選択した他のグループと最も近い日付のグループの中から選択してもよい。
ここで、第１および第２の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。

一方、第１および第２の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと最も近い日付のグループの次に近い日付のグループ（操作情報が付与されていないグループ）の中から、第３の追加のグループを順次選択する。これ以後、第１、第２および第３の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上となるまで、追加のグループの選択を繰り返す。

なお、推奨画像数は、例えば、フォトブックのページ数に応じて固定値をあらかじめ決定しておいてもよいし、あるいは、フォトブックのページ数および画像内容（フォトブックに適した画像の数）に応じて動的に値を決定してもよい。

推奨画像数として、フォトブックのページ数に応じた固定値を設定する場合、例えば、ページ数が２４ページで、１ページ当たり２枚の画像を配置する場合、推奨画像数は４８枚となる。また、例えば、ページ数が３２ページで、同様に、１ページ当たり２枚の画像を配置する場合、推奨画像数は６４枚となる。ページ数、１ページ当たりの画像数が異なる場合も同様にして決定することができる。

推奨画像数として、フォトブックのページ数および画像内容（フォトブックに適した画像数）に応じて動的に値を決定する場合、ページ数に応じて推奨画像数の範囲（上限値、下限値）を設定し、画像選択部６２により選択された所定数の画像の中からフォトブックに適していない画像（暗い画像、ボケブレ画像、類似画像等）を抽出し、抽出後のフォトブックに適した画像の数に応じて、推奨画像数の範囲内で推奨画像数を動的に決定する。

フォトブックの各々のページに配置する画像が多くなり過ぎると１画像当たりの画像サイズが小さくなり、逆に少なくなり過ぎるとフォトブックとしての見栄えが悪くなる。
そこで、１ページ当たりの画像数が一定数となるように、ページ数に応じた所定の推奨画像数の範囲（上限値、下限値）を設定する。
そして、フォトブックに適した画像の数が推奨画像数の範囲の上限値以上である場合、推奨画像数は上限値に決定され、フォトブックに適した画像の数が推奨画像数の範囲内である場合、フォトブックに適した画像の数に決定される。ただし、フォトブックに適した画像の数が推奨画像数の範囲の下限値以下である場合、推奨画像数は、一定枚数以上の画像をフォトブックに使用することを優先して、そのまま推奨画像数の範囲の下限値に決定される。

例えば、フォトブックのページ数が２４ページで、推奨画像数の範囲を４０〜６０枚とすると、抽出後のフォトブックに適した画像の数が、推奨画像数の範囲の上限値以上である６５枚の場合、推奨画像数は、推奨画像数の範囲の上限値である６０枚に決定される。抽出後のフォトブックに適した画像の数が、推奨画像数の範囲内の４８枚の場合、推奨画像数は、フォトブックに適した画像の数である４８枚に決定される。抽出後のフォトブックに適した画像の数が、推奨画像数の範囲の下限値以下である３４枚の場合、推奨画像数は、推奨画像数の範囲の下限値である４０枚に決定される。推奨画像数の範囲、抽出後のフォトブックに適した画像の数が異なる場合も同様である。

続いて、再グルーピング部６０が、選択した所定数のグループを、フォトブックのページ数に合わせて再グルーピングする。例えば、フォトブックのページ数が１０ページであれば、１０のグループにグルーピングし直す。

例えば、図９に示す例のように、グループ１（操作情報が付与された画像の数が最も多いグループ）内の画像数が１５枚で、操作情報が付与された画像の数が１０枚であり、グループ２（画像数が最も多いグループ）内の画像数が２０枚で、操作情報が付与された画像の数が１枚の場合を考える。
操作情報が付与された画像の数が多いグループ１は、ユーザにとって重要なグループであり、グループ１内の画像は、操作情報が付与されていない画像であっても他のグループの画像に比べれば重要度が高い。
従って、図１０に示す例のように、画像数が最も多いグループ２内の２０枚の画像を、１０枚ずつの２つのグループに分割すると、重要度が高い、操作情報が付与された画像を多く含むグループ１の画像が、フォトブックの１ページに押し込められる。同図の例では、グループ１内の、操作情報が付与された画像の数が１０枚で、例えば、フォトブックの１ページの最大画像数が８枚であるとすると、グループ１内の、操作情報が付与された画像であっても、フォトブックで使用されない画像が発生する。

そこで、再グルーピング部６０は、選択したグループの数よりもフォトブックのページ数の方が多い場合、再分割処理を行って、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割する。
なお、再分割処理後のグループにおいて、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数以下となるまで、再分割処理を繰り返し行うことが望ましい。
また、グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループが存在しない場合には、画像数が最も多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割する。

一方、選択したグループの数よりもフォトブックのページ数の方が少ない場合、再グルーピング部６０は、再結合処理を行って、撮影日時の間隔が最も小さい２つのグループ同士を結合して１つのグループにする。
ただし、再結合処理によってグループ内の、操作情報が付与された画像の数が、フォトブックのページに配置可能な最大画像数を超える場合には再結合処理を行わず、次に撮影日時の間隔が小さい２つのグループ同士を結合して１つのグループにする。

例えば、前述の図９の例の場合、再グルーピング部６０は、図１１に示すように、操作情報が付与された画像の数が最も多いグループ１内の１５枚の画像を、８枚と７枚の２つのグループ１−１，１−２に分割する。
これにより、重要度が高いグループ１の画像は、２つのグループに分割され、分割されたそれぞれのグループ内の、操作情報が付与された全ての画像が、フォトブックのそれぞれのページに配置される。

上記のように、操作情報が付与された画像を考慮して、グループの再分割処理、再結合処理を行う理由は、グループの再分割処理、再結合処理によって、１グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数を超えると、操作情報が付与された画像が、フォトブックのレイアウト時に使用されなくなるのを防ぐためである。

なお、選択したグループの数が、フォトブックのページ数と同数であり、かつ、グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数以下である場合、再グルーピング部６０は、再分割処理および再結合処理を行う必要はない。

続いて、画像選択部６２が、再グルーピングされたグループ毎に、選択したグループに含まれる複数の画像の中から、操作情報および評価値に基づいて所定数の画像を選択する。

例えば、フォトブックの１ページに配置可能な最大画像数が８枚である場合、操作情報が付与された画像数が８枚であれば、画像選択部６２は、操作情報が付与された全ての画像を選択する。
また、操作情報が付与された画像数が１枚〜７枚であれば、画像選択部６２は、操作情報が付与された全ての画像を選択し、グループに含まれる、操作情報が付与されていない画像の中から、画像解析部５４で決定された画像の評価値に基づいて、フォトブックの１ページに配置可能な最大画像数になるまで残りの画像を選択する。
選択したグループの中に操作情報が付与された画像がない場合、画像選択部６２は、画像解析部５４で決定された画像の評価値に基づいて、選択したグループに含まれる、操作情報が付与されていない画像の中から８枚の画像を選択する。

図１１に示す例では、グループ１−１の８枚全ての画像、グループ１−２の７枚全ての画像、グループ２の２０枚の画像から、操作情報が付与された１枚の画像を含む８枚の画像が選択されている。

続いて、画像配置部６４が、選択された所定数の画像を、フォトブックの対応するページに所定のレイアウトに配置（自動レイアウト）して合成画像を作成する。
図１１に示す例では、各々のグループから選択された画像は、見開きの２ページに配置されている。
画像配置部６４は、選択した所定数の画像の中の、操作情報が付与された画像の中から選択した画像を大きなエリアに配置する（大きな画像サイズで配置する）ことが望ましい。

以上のように、合成画像作成部３０は、グルーピングした複数のグループの中から、操作情報が付与された画像を含むグループを選択し、選択したグループに含まれる画像の中から、評価値および操作情報に基づいて所定数の画像を選択し、選択した画像を用いて合成画像を作成する。
つまり、画像処理サーバ１６は、例えば、「イイね」や「コメント」等の付与情報を含む、操作情報を利用して、フォトブックやコラージュプリント等の合成画像を作成するため、よりユーザの満足度が高い合成画像を作成することができる。

なお、フォトブックを作成する場合を例に挙げて説明したが、コラージュプリントを作成する場合も同様である。コラージュプリントを作成する場合、例えば、グループ選択部５８によって選択されたグループの数に相当するコラージュプリントを作成し、順次ユーザに提示することができる。また、コラージュプリントを作成する場合、再グルーピング部６０によるグルーピングのし直しは、してもしなくてもよい。

また、「イイね」、「コメント」などの付与情報の重要度を考慮してもよい。例えば、「イイね」、「コメント」などの付与情報を付与した人物、「コメント」の長さ、「コメント」への返信の有無、「イイね」の付与頻度、「イイね」の付与回数などに応じて、重要度を設定することができる。

「イイね」、「コメント」などの付与情報を付与した人物について、例えば、友人は重要度高とし、第三者は重要度低とする。
「コメント」の長さについて、例えば、長文（所定の文字数以上のコメント）の場合は重要度高とし、一言のコメント（所定の文字数未満のコメント）の場合は重要度低とする。
「コメント」への返信について、例えば、ユーザがコメントに返信している場合は重要度高とし、返信していない場合は重要度低とする。
「イイね」の付与頻度について、例えば、付与頻度が長い場合、つまり、「イイね」ボタンをクリックしてからその次に「イイね」ボタンをクリックするまでの時間間隔が長い場合には、熟慮して「イイね」を付与したと考えられるため重要度高とし、付与頻度が短い場合は、あまり何も考えずに思いつくまま「イイね」を付与したと考えられるため重要度低とする。
「イイね」の付与回数について、付与回数が少ない場合、例えば、１つのオンラインアルバムの中で「イイね」を１つの画像にしか付けていない場合には重要度高とし、付与回数が多い場合、つまり、１つのオンラインアルバムの中で「イイね」を複数の画像に付けている場合には重要度低とする。

なお、重要度の設定は、高低の２段階でなく、３以上の多段階に設定してもよい。例えば、「イイね」、「コメント」などの付与情報を付与した人物の場合、家族、友人、知人、第三者、…など、複数のカテゴリに対して段階的な重要度を付与してもよい。他も同様である。

例えば、グループ選択部５８のグループの選択時や、画像選択部６２の画像の選択時に、「イイね」、「コメント」などの付与情報の重要度に応じて、「イイね」、「コメント」などの付与情報を使用するかしないかを決定することができる。例えば、重要度が低い場合（重要度が多段階の場合には、所定の段階の重要度以下の場合）には、「イイね」、「コメント」などの付与情報を使用しない。
なお、グループや画像の選択時に限らず、「イイね」、「コメント」などの付与情報の重要度を利用することができる。また、「イイね」、「コメント」などの付与情報に限らず、操作情報の重要度に応じて、操作情報を使用するかしないかを決定してもよい。

最後に、画像解析部５４の詳細について説明する。

画像解析部５４では、図１２に示すように、例えば、顔検出処理、明るさ判定処理、色評価処理、ボケブレ評価処理、イベント分類処理および類似画像判定処理を含む、複数の画像解析処理が実施される。

顔検出処理は、画像の中に含まれる人物の顔（顔領域）の数、顔の大きさ、顔の向き、顔の位置等を検出する処理である。
画像解析部５４は、顔検出処理の結果、例えば、画像に含まれる顔の数が多い場合や、顔の大きさが大きい場合、顔が正面を向いている場合、顔が画像の中央部に配置されている場合等に重要度の高い画像であると判断し、顔検出処理の結果の評価値としての顔スコアを高くする。

明るさ判定処理は、例えば、画像全体、もしくは、顔検出処理により検出された顔領域等の所定の領域について、画像の明るさの程度を評価する処理である。
画像解析部５４は、明るさ判定処理として、例えば、顔検出処理により検出された顔領域の明るさを判定し、その結果、顔領域の明るさが適切な場合に、明るさ判定処理の結果の評価としての明るさスコアを１．０とし、明るすぎる場合や暗すぎる場合は明るさスコアを下げる。

なお、この方法では顔を含む画像の明るさスコアしか決定できないため、例えば、顔を含む画像は上記の通りに明るさスコアを決定し、顔を含まない画像は画像全体の明るさの判定結果に応じて明るさスコアを決定してもよい。

色評価処理は、例えば、画像全体、もしくは、顔領域等の所定の領域について、画像の色合いを評価する処理である。
画像解析部５４は、色評価処理の結果、例えば、画像の色彩が鮮やかな場合に、色評価処理の結果の評価としての色スコアを比較的高くし、くすんでいたり、無色の場合は色スコアを比較的低くする。また、画像の露光が適切な場合に色スコアを比較的高くし、露光アンダーないしオーバーの場合は色スコアを比較的低くする。

ボケブレ評価処理は、画像におけるボケやブレの程度を評価する処理である。
画像解析部５４は、ボケブレ評価処理の結果、例えば、ボケブレがない場合に、ボケブレ評価処理の結果の評価としてのボケブレスコアを１．０とし、ボケブレの程度に応じてスコアを下げる。

イベント分類処理は、各々の画像の撮影日時に基づいて、例えば、画像を誕生会や運動会等のイベント毎に分類（グルーピング）する処理であり、類似画像判定処理は、イベント毎等の複数の画像について、類似した画像を判定する処理である。
画像解析部５４は、イベント分類処理および類似画像判定処理の結果、例えば、画像枚数が多いイベントや、検出された顔の数が多いイベント、類似画像が多いイベント等を重要なイベントと判断し、イベント分類処理および類似画像判定処理の結果の評価としてのイベントスコアを高くする。

なお、類似画像判定処理は、イベント毎の画像について類似した画像を判定することに限らず、例えば、ユーザ毎、同時にアップロードされた画像毎など、任意のグループに含まれる画像について、類似画像を判定してもよい。

上記の各画像解析処理は従来公知のものであり、本発明においても従来公知の各画像解析処理方法を利用することができるため、その詳細な処理方法についての記載は省略する。また、画像解析部５４は、上記以外の画像解析処理を実施してもよい。

画像解析部５４では、顔検出処理、明るさ判定処理、色評価処理、ボケブレ評価処理、イベント分類処理および類似画像判定処理等の各画像解析処理の結果に基づいて、それぞれ、顔スコア、明るさスコア、色スコア、ボケブレスコア、イベントスコアが、０．０〜１．０の範囲で決定され、これら複数の画像解析処理の結果のスコアの総合スコアが算出される。

なお、各画像解析処理の結果のスコアに対して所定の重み付け係数を乗算した結果を足し合わせて総合スコアを算出してもよい。本実施形態では、顔検出処理の結果のスコアに対する重み付けを最も大きくし、顔重み付け係数＝１．００、明るさ重み付け係数＝０．０５、色重み付け係数＝０．１０、ボケブレ重み付け係数＝０．０５、イベント重み付け係数＝０．２０として、下記式（１）により総合スコアが算出される。

総合スコア＝顔スコア＊顔重み付け係数＋明るさスコア＊明るさ重み付け係数＋色スコア＊色重み付け係数＋ボケブレスコア＊ボケブレ重み付け係数＊イベントスコア＊イベント重み付け係数 … （１）

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 合成画像作成システム
１２ ユーザ端末
１４ 画像管理サーバ
１６ 画像処理サーバ
１８ 決済サーバ
２０ 受注サーバ
２２ 生産工場
２４ ネットワーク
２６，２８，４８，５０ ストレージ
２９，３８ 画像取得部
３０，４０ 合成画像作成部
３２，４２ 合成画像管理部
３４，４４ 注文受付部
３６，４６ 商材合成部
５４ 画像解析部
５６ グルーピング部
５８ グループ選択部
６０ 再グルーピング部
６２ 画像選択部
６４ 画像配置部

Claims (29)

1. 画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理装置であって、
   前記画像管理サーバから複数の画像を取得する画像取得部と、
   前記取得した各々の画像の解析を行って、前記解析の結果に基づいて、前記取得した各々の画像の評価値を一定幅の値の範囲内で決定する画像解析部と、
   前記取得した複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングするグルーピング部と、
   前記グルーピングした複数のグループの中から、前記付帯情報として、ユーザが前記各々の画像に対して行った操作の情報である操作情報が付与された画像を含むグループを選択するグループ選択部と、
   前記選択したグループに含まれる画像の中から、前記評価値および前記操作情報の少なくとも一方に基づいて所定数の画像を選択する画像選択部と、
   前記選択した所定数の画像を所定のレイアウトに配置して前記合成画像を作成する画像配置部とを備えることを特徴とする画像処理装置。
2. 前記グループ選択部は、前記選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、前記選択した各々のグループと同じ日付の、前記操作情報が付与されていないグループの中から、第１の追加のグループを順次選択するものである請求項１に記載の画像処理装置。
3. 前記グループ選択部は、前記第１の追加のグループを含む、前記選択した全てのグループに含まれる画像の数が、前記推奨画像数未満である場合、前記選択した各々のグループと最も近い日付の、前記操作情報が付与されていないグループの中から、第２の追加のグループを順次選択するものである請求項２に記載の画像処理装置。
4. 前記グループ選択部は、前記第１および第２の追加のグループを含む、前記選択した全てのグループに含まれる画像の数が、前記推奨画像数未満である場合、前記選択した各々のグループと最も近い日付のグループの次に近い日付の、前記操作情報が付与されていないグループの中から、第３の追加グループを順次選択し、これ以後、前記第１、第２および第３の追加のグループを含む、前記選択した全てのグループに含まれる画像数が、前記推奨画像数以上となるまで追加のグループの選択を繰り返すものである請求項３に記載の画像処理装置。
5. 前記合成画像は、フォトブックであり、
   前記推奨画像数は、前記フォトブックのページ数に応じてあらかじめ決定された固定値である請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記合成画像は、フォトブックであり、
   前記推奨画像数は、前記フォトブックのページ数および前記選択された所定数の画像の中から抽出された前記フォトブックに適した画像の数に応じて、所定の推奨画像数の範囲内で動的に決定された値である請求項２〜４のいずれか１項に記載の画像処理装置。
7. 前記フォトブックに適した画像の数が前記推奨画像数の範囲の上限値以上である場合、前記推奨画像数は、前記推奨画像数の範囲の上限値に決定され、
   前記フォトブックに適した画像の数が前記推奨画像数の範囲内である場合、前記推奨画像数は、前記フォトブックに適した画像の数に決定され、
   前記フォトブックに適した画像の数が前記推奨画像数の範囲の下限値以下である場合、前記推奨画像数は、前記推奨画像数の範囲の下限値に決定される請求項６に記載の画像処理装置。
8. 前記合成画像は、フォトブックであり、
   さらに、前記選択した所定数のグループを、前記フォトブックのページ数に合わせて再グルーピングする再グルーピング部を備える請求項２〜７のいずれか１項に記載の画像処理装置。
9. 前記再グルーピング部は、前記選択したグループの数よりも前記フォトブックのページ数の方が多い場合、再分割処理を行って、前記操作情報が付与された画像の数が、前記フォトブックの１ページに配置可能な最大画像数よりも多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割するものである請求項８に記載の画像処理装置。
10. 前記再グルーピング部は、前記再分割処理後のグループにおいて、前記操作情報が付与された画像の数が、前記フォトブックの１ページに配置可能な最大画像数以下となるまで、前記再分割処理を繰り返し行うものである請求項９に記載の画像処理装置。
11. 前記再グルーピング部は、グループ内の、前記操作情報が付与された画像の数が、前記フォトブックの１ページに配置可能な最大画像数よりも多いグループが存在しない場合には、画像数が最も多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割するものである請求項８〜１０のいずれか１項に記載の画像処理装置。
12. 前記再グルーピング部は、前記選択したグループの数よりも前記フォトブックのページ数の方が少ない場合、再結合処理を行って、撮影日時の間隔が最も小さい２つのグループ同士を結合して１つのグループにするものである請求項８〜１１のいずれか１項に記載の画像処理装置。
13. 前記再グルーピング部は、前記再結合処理によってグループ内の、前記操作情報が付与された画像の数が、前記フォトブックのページに配置可能な最大画像数を超える場合には前記再結合処理を行わず、次に撮影日時の間隔が小さい２つのグループ同士を結合して１つのグループにするものである請求項１２に記載の画像処理装置。
14. 前記画像選択部は、前記選択したグループに含まれる画像の中から、前記操作情報が付与された全ての画像を選択し、前記選択したグループに含まれる、前記操作情報が付与されていない画像の中から、前記評価値に基づいて、前記フォトブックの１ページに配置可能な最大画像数になるまで残りの画像を選択するものである請求項８〜１３のいずれか１項に記載の画像処理装置。
15. 前記画像選択部は、前記選択したグループの中に前記操作情報が付与された画像がない場合、前記評価値に基づいて、前記選択したグループに含まれる、前記操作情報が付与されていない画像の中から画像を選択するものである請求項１４に記載の画像処理装置。
16. 前記画像配置部は、前記選択した所定数の画像の中の、前記操作情報が付与された画像の中から選択した画像を大きなエリアに配置するものである請求項１〜１５のいずれか１項に記載の画像処理装置。
17. 前記グループ選択部および前記画像選択部は、前記操作情報の重要度に応じて、前記操作情報を使用するかしないかを決定するものである請求項１〜１６のいずれか１項に記載の画像処理装置。
18. 前記重要度は、２段階、もしくは、多段階に設定されるものである請求項１７に記載の画像処理装置。
19. 前記操作情報は、ユーザが各々の画像に付与したお気に入り情報およびコメントの少なくとも一方の付与情報であり、
    前記重要度は、前記付与情報を付与したユーザ、前記コメントの長さ、前記コメントへの返信の有無、前記お気に入りの付与頻度および付与回数の少なくとも１つに応じて設定されるものである請求項１７または１８に記載の画像処理装置。
20. 前記操作情報は、ユーザが各々の画像に付与したタグ情報、もしくは、ユーザが各々の画像に実施した編集の情報である編集情報である請求項１〜１６のいずれか１項に記載の画像処理装置。
21. 前記操作情報は、各々の画像の注文情報である請求項１〜１６のいずれか１項に記載の画像処理装置。
22. 前記操作情報は、各々の画像の閲覧情報である請求項１〜１６のいずれか１項に記載の画像処理装置。
23. 前記閲覧情報は、前記画像が公開されている場合には、前記画像を前記画像管理サーバにアップロードしたユーザの閲覧情報だけでなく、他のユーザからの閲覧情報を含む請求項２２に記載の画像処理装置。
24. 前記画像管理サーバは、クラウドサービスを提供するものであり、
    前記クラウドサービスは、ＳＮＳ、もしくは、オンラインストレージサービスである請求項１〜２３のいずれか１項に記載の画像処理装置。
25. 前記合成画像は、コラージュプリントである請求項１〜４のいずれか１項に記載の画像処理装置。
26. 前記画像管理サーバは、前記複数の画像を、アルバム形式での保存、もしくは、年月日単位での保存を含む画像保存形式で保存するものである請求項１〜２５のいずれか１項に記載の画像処理装置。
27. 前記画像配置部は、前記合成画像の画像データを作成するものである請求項１〜２６のいずれか１項に記載の画像処理装置。
28. 画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理方法であって、
    前記画像管理サーバから複数の画像を取得するステップと、
    前記取得した各々の画像の解析を行って、前記解析の結果に基づいて、前記取得した各々の画像の評価値を一定幅の値の範囲内で決定するステップと、
    前記取得した複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングするステップと、
    前記グルーピングした複数のグループの中から、前記付帯情報として、ユーザが前記各々の画像に対して行った操作の情報である操作情報が付与された画像を含むグループを選択するステップと、
    前記選択したグループに含まれる画像の中から、前記評価値および前記操作情報の少なくとも一方に基づいて所定数の画像を選択するステップと、
    前記選択した所定数の画像を所定のレイアウトに配置して前記合成画像を作成するステップとを備えることを特徴とする画像処理方法。
29. 画像管理サーバと、
    前記画像管理サーバに保存された複数の画像を用いて合成画像を作成する、請求項１〜２７のいずれか１項に記載の画像処理装置とを備える合成画像作成システム。

Images