JP4415378B2 - 画像合成システムおよび画像合成プログラム、並びに画像合成方法 - Google Patents

Description

本発明は、画像を合成するシステムおよびプログラム、並びに方法に係り、特に、デザイン知識を有しないユーザであっても、見栄えのよいデザインを実現することができるとともに、合成結果の用途や利用目的等に適したデザインを実現することができる画像合成システムおよび画像合成プログラム、並びに画像合成方法に関する。

従来、画像を合成する技術としては、例えば、特許文献１記載の画像処理装置があった。
特許文献１記載の発明は、あらかじめセットされた原稿を読み取り画像データを生成する画像読取部と、画像読取部によって生成した画像データのうち、任意の１ページをテンプレート画像として記憶し、他のページの画像データと合成する画像合成部と、画像合成部によって合成した画像データを出力する画像出力部とで構成されている。

また、画像を合成するための画像編集アプリケーションとしては、例えば、Adobe（登録商標）会社のPhotoshop（登録商標）（以下、従来例２という。）や、大日本スクリーン（登録商標）社のColorGeniusDC2（登録商標）（以下、従来例３という。）が知られている。
特開２００２−１８５７７３号公報

複数の画像を合成してカタログ等のデザイン性の高いドキュメント（以下、デザインドキュメントという。）を作成する場合、見栄えのよいデザインを実現するには、高度なデザイン知識が必要となる。例えば、画像をどのような大きさ、枚数若しくは位置関係で合成するか、または合成前に画像を加工するか否か、加工するのであればどのように加工するか等を適切に判断するには、高度なデザイン知識が必要となる。そのため、デザイン知識を有しないユーザでは、見栄えのよいデザインを実現するのが困難であった。

特許文献１記載の発明にあっては、テンプレート画像を用いて特定の領域に画像をはめ込むようになっているので、デザイン知識を有しないユーザであってもある程度見栄えのよいデザインを実現することができる。しかしながら、デザインドキュメントの用途や利用目的等がある場合、そのような用途や利用目的等に適したデザインドキュメントを作成することまではできないという問題がある。例えば、特定の用途（例えば、広告）向けのデザインドキュメントを作成する場合は、その用途に対して効果的なデザインが存在するはずである。また、特定の対象者（例えば、高校生）向けのデザインドキュメントを作成する場合は、その対象者に対して受けがよいデザインが存在するはずである。特許文献１記載の発明では、デザインドキュメントの用途や利用目的等がレイアウト結果に一切反映されないため、用途や利用目的等にかかわらず画一的なデザインとなってしまうのである。

また、従来例２にあっては、ユーザが自己のデザイン知識に基づいて操作を行って画像を合成しなければならないため、デザイン知識を有しないユーザでは、デザインドキュメントの用途や利用目的等に適したデザインを実現することができないばかりか、見栄えのよいデザインを実現することすら困難であるという問題があった。
また、従来例３にあっては、ユーザが与えたキーワードに基づいて画像処理を行うようになっているので、デザイン知識を有しないユーザであってもある程度見栄えのよいデザインを実現することができる。しかしながら、キーワードによる画像処理は、あくまで単一の画像について行われるものであり、複数の画像を合成してデザインドキュメントを作成する場合には、やはり高度なデザイン知識が要求される。したがって、デザインドキュメントを作成する場合、デザイン知識を有しないユーザでは、その用途や利用目的等に適したデザインを実現することができないばかりか、見栄えのよいデザインを実現することすら困難であるという問題があった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、デザイン知識を有しないユーザであっても、見栄えのよいデザインを実現することができるとともに、合成結果の用途や利用目的等に適したデザインを実現することができる画像合成システムおよび画像合成プログラム、並びに画像合成方法を提供することを目的としている。

〔発明１〕 上記目的を達成するために、発明１の画像合成システムは、
画像を処理して合成する画像合成システムであって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得手段と、
合成元となる合成元画像を取得する合成元画像取得手段と、
画像を処理するルールを規定した画像処理ルールを前記目的情報と対応付けて記憶する画像処理ルール記憶手段と、
前記目的情報取得手段で取得した目的情報に基づいて、前記画像処理ルール記憶手段のなかから前記画像処理ルールを選択する画像処理ルール選択手段と、
前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記合成元画像取得手段で取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理手段と、
前記合成元画像処理手段で生成した複数の処理画像を合成する処理画像合成手段とを備えることを特徴とする。

このような構成であれば、目的情報取得手段により、合成結果の目的情報が取得され、合成元画像取得手段により、合成元画像が取得される。次いで、画像処理ルール選択手段により、取得された目的情報に基づいて、画像処理ルール記憶手段のなかから画像処理ルールが選択され、合成元画像処理手段により、選択された画像処理ルールに基づいて、取得された合成元画像が処理されて複数の処理画像が生成される。そして、処理画像合成手段により、生成された複数の処理画像が合成される。

これにより、デザイン知識に基づく画像処理ルールにより合成元画像が処理されるので、従来に比して、デザイン知識を有しないユーザであっても、比較的見栄えのよいデザインを実現することができるという効果が得られる。また、合成結果の用途、方針、その他の目的に対応する画像処理ルールにより合成元画像が処理されるので、従来に比して、デザイン知識を有しないユーザであっても、合成結果の用途、方針、その他の目的に比較的適したデザインを実現することができるという効果も得られる。

ここで、画像の処理とは、画像に対して加工、編集その他の処理を行うことをいう。画像の加工には、例えば、画像の大きさ、形状、向き、角度、周波数特性（例えば、色相、彩度、明度、階調）、アスペクト比を変更すること、画像にグラデーション、フィルタ等のエフェクトを付与することが含まれる。また、画像の編集には、例えば、画像の位置関係や順序関係を決定すること、画像をグループ化すること、画像のその他の論理関係を決定することが含まれる。以下、発明７の画像合成システム、発明９および１５の画像合成プログラム、並びに発明１７および２３の画像合成方法において同じである。

また、合成元画像処理手段は、画像処理ルールに基づいて合成元画像を処理して複数の処理画像を生成するようになっていればどのような構成であってもよく、例えば、取得された合成元画像が１つである場合は、その合成元画像を複数複製し、それら合成元画像をそれぞれ処理して複数の処理画像を生成するようになっていてもよいし、取得された合成元画像が複数である場合は、それら合成元画像をそれぞれ処理して複数の処理画像を生成するようになっていてもよい。また、後者の場合、合成元画像の枚数をｎ（ｎは２以上の整数）、処理画像の枚数をｍ（ｍは２以上の整数）としたとき、例えば、ｎ＜ｍの場合は、ｎ＝ｍとなるように、いずれかの合成元画像を複数複製し、ｎ＞ｍの場合は、ｎ＝ｍとなるように、いずれかの合成元画像を破棄するか、いずれかの合成元画像同士を合成して１つに統合することができる。以下、発明７の画像合成システムにおいて同じである。

また、合成元画像処理手段は、例えば、選択された画像処理ルールが複数である場合は、それら画像処理ルールに基づいて、合成元画像をそれぞれ処理して複数の処理画像を生成するようになっていてもよいし、選択された画像処理ルールが１つである場合は、その画像処理ルールが、与えられたパラメータに基づいて画像を処理するルールを規定したものであれば、その画像処理ルールおよび異なる複数のパラメータに基づいて、合成元画像をそれぞれ処理して複数の処理画像を生成するようになっていてもよい。また、画像処理ルールおよびパラメータの組み合わせで合成元画像を処理する場合は、１つの画像処理ルールに対して異なる複数のパラメータを与える場合に限らず、画像処理ルールの数をｎ（ｎは１以上の整数）、パラメータの数をｍ（ｍは１以上の整数）としたときに、その組み合わせによりｎ×ｍ個の処理画像を生成することができる。以下、発明７の画像合成システムにおいて同じである。

また、目的情報取得手段は、目的情報を取得するようになっていればどのような構成であってもよく、例えば、入力装置等から目的情報を入力するようになっていてもよいし、外部の端末等から目的情報を獲得または受信するようになっていてもよいし、記憶装置等から目的情報を読み出すようになっていてもよい。すなわち、取得には、少なくとも入力、獲得、受信および読出が含まれる。このことは、合成元画像取得手段で合成元画像を取得する場合について同じである。以下、発明７の画像合成システムにおいて同じである。

また、画像処理ルール記憶手段は、画像処理ルールをあらゆる手段でかつあらゆる時期に記憶するものであり、画像処理ルールをあらかじめ記憶してあるものであってもよいし、画像処理ルールをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって画像処理ルールを記憶するようになっていてもよい。以下、発明７の画像合成システムにおいて同じである。

また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明７の画像合成システムにおいて同じである。

〔発明２〕 さらに、発明２の画像合成システムは、発明１の画像合成システムにおいて、
前記画像処理ルールは、与えられたパラメータに基づいて画像を処理するルールを規定したものであり、
前記合成元画像処理手段は、前記画像処理ルール選択手段で選択した画像処理ルールおよび異なる複数のパラメータに基づいて、前記合成元画像を処理して複数種の処理画像を生成するようになっていることを特徴とする。

このような構成であれば、合成元画像処理手段により、選択された画像処理ルールに異なる複数のパラメータが与えられることにより、選択された画像処理ルールに基づいて、合成元画像が処理されて複数種の処理画像が生成される。
これにより、異なる複数のパラメータを画像処理ルールに与えるだけで複数種の処理画像を生成することができるので、複数種の処理画像を比較的容易に生成することができるという効果が得られる。

〔発明３〕 さらに、発明３の画像合成システムは、発明１および２のいずれか１の画像合成システムにおいて、
さらに、画像の合成ルールを記憶する合成ルール記憶手段と、
前記合成ルール記憶手段のなかから前記合成ルールを選択する合成ルール選択手段とを備え、
前記処理画像合成手段は、前記合成ルール選択手段で選択した合成ルールに基づいて、前記複数の処理画像を合成するようになっていることを特徴とする。

このような構成であれば、合成ルール選択手段により、合成ルール記憶手段のなかから合成ルールが選択され、処理画像合成手段により、選択された合成ルールに基づいて複数の処理画像が合成される。
これにより、デザイン知識に基づく合成ルールにより複数の処理画像が合成されるので、デザイン知識を有しないユーザであっても、さらに見栄えのよいデザインを実現することができるという効果が得られる。

ここで、合成ルール記憶手段は、合成ルールをあらゆる手段でかつあらゆる時期に記憶するものであり、合成ルールをあらかじめ記憶してあるものであってもよいし、合成ルールをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって合成ルールを記憶するようになっていてもよい。

〔発明４〕 さらに、発明４の画像合成システムは、発明１ないし３のいずれか１の画像合成システムにおいて、
さらに、前記合成元画像取得手段で取得した合成元画像から特定の処理領域を処理元画像として抽出する処理元画像抽出手段を備え、
前記合成元画像処理手段は、前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記処理元画像抽出手段で抽出した処理元画像を処理して複数の処理画像を生成するようになっていることを特徴とする。

このような構成であれば、処理元画像抽出手段により、取得された合成元画像から特定の処理領域が処理元画像として抽出され、合成元画像処理手段により、選択された画像処理ルールに基づいて、抽出された処理元画像が処理されて複数の処理画像が生成される。
これにより、特定の領域をクローズアップした合成結果を得ることができるという効果が得られる。

〔発明５〕 さらに、発明５の画像合成システムは、発明４の画像合成システムにおいて、
前記特定の処理領域は、人物が映っている人物領域であることを特徴とする。
このような構成であれば、処理元画像抽出手段により、取得された合成元画像から人物領域が処理元画像として抽出される。
これにより、人物領域をクローズアップした合成結果を得ることができるという効果が得られる。

〔発明６〕 さらに、発明６の画像合成システムは、発明１ないし５のいずれか１の画像合成システムにおいて、
前記画像処理ルール記憶手段は、前記画像処理ルールを前記目的情報および重要度と対応付けて記憶するようになっており、
前記画像処理ルール選択手段は、前記目的情報取得手段で取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから選択するようになっていることを特徴とする。

このような構成であれば、画像処理ルール選択手段により、取得された目的情報に対応する画像処理ルールのうち重要度が大きいものほど優先的に画像処理ルール記憶手段のなかから選択される。
これにより、画像処理ルールに対して適切な重要度を設定すれば、その重要度に応じた画像処理ルールが選択されるので、さらに見栄えのよいデザインを実現することができるという効果が得られる。

〔発明７〕 さらに、発明７の画像合成システムは、
画像を処理して合成する画像合成システムであって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得手段と、
合成元となる合成元画像を取得する合成元画像取得手段と、
画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶する画像処理ルール記憶手段と、
前記目的情報取得手段で取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから選択する画像処理ルール選択手段と、
前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記合成元画像取得手段で取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理手段と、
前記合成元画像処理手段で生成した複数の処理画像を合成する処理画像合成手段と、
前記処理画像合成手段で合成した合成画像を提示する合成画像提示手段と、
前記合成画像提示手段で提示した合成画像に対する評価結果を入力する評価結果入力手段と、
前記評価結果入力手段で入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新手段とを備えることを特徴とする。

このような構成であれば、目的情報取得手段により、合成結果の目的情報が取得され、合成元画像取得手段により、合成元画像が取得される。次いで、画像処理ルール選択手段により、取得された目的情報に対応する画像処理ルールのうち重要度が大きいものほど優先的に画像処理ルール記憶手段のなかから選択され、合成元画像処理手段により、選択された画像処理ルールに基づいて、取得された合成元画像が処理されて複数の処理画像が生成される。そして、処理画像合成手段により、生成された複数の処理画像が合成される。

また、合成画像提示手段により、合成された合成画像が提示される。ここで、評価結果入力手段により、例えばユーザが、提示された合成画像に対する評価結果を入力すると、重要度更新手段により、入力された評価結果に基づいて画像処理ルール記憶手段の重要度が更新される。
これにより、デザイン知識に基づく画像処理ルールにより合成元画像が処理されるので、従来に比して、デザイン知識を有しないユーザであっても、比較的見栄えのよいデザインを実現することができるという効果が得られる。また、合成結果の用途、方針、その他の目的に対応する画像処理ルールにより合成元画像が処理されるので、従来に比して、デザイン知識を有しないユーザであっても、合成結果の用途、方針、その他の目的に比較的適したデザインを実現することができるという効果も得られる。さらに、合成画像に対する評価結果に基づいて重要度が更新されるので、更新を重ねるに連れて、さらに見栄えのよいデザインを実現することができるという効果も得られる。

〔発明８〕 さらに、発明８の画像合成システムは、発明７の画像合成システムにおいて、
前記合成画像提示手段は、異なる複数の前記画像処理ルールに基づいてそれぞれ合成された合成画像を提示するようになっており、
前記評価結果入力手段は、前記合成画像提示手段で提示した複数の合成画像のなかからいずれかの選択を入力するようになっており、
前記重要度更新手段は、前記評価結果入力手段で選択された合成画像に使用された画像処理ルールに対応する重要度を更新するようになっていることを特徴とする。

このような構成であれば、合成画像提示手段により、異なる複数の画像処理ルールに基づいてそれぞれ合成された合成画像が提示される。ここで、評価結果入力手段により、例えばユーザが、提示された複数の合成画像のなかからいずれかの選択を入力すると、重要度更新手段により、選択された合成画像に使用された画像処理ルールに対応する重要度が更新される。

これにより、提示された複数の合成画像のなかからいずれかを選択するだけでよいので、合成画像に対する評価を比較的容易に行うことができるという効果が得られる。また、選択された合成画像に使用された画像処理ルールに対応する重要度が更新されるので、更新を重ねるに連れて、選択された合成画像と同じようなデザインの合成画像が生成されやすくなるという効果も得られる。

〔発明９〕 一方、上記目的を達成するために、発明９の画像合成プログラムは、
画像を処理して合成する画像合成プログラムであって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
合成元となる合成元画像を取得する合成元画像取得ステップと、
前記目的情報取得ステップで取得した目的情報に基づいて、画像を処理するルールを規定した画像処理ルールを前記目的情報と対応付けて記憶した画像処理ルール記憶手段のなかから前記画像処理ルールを選択する画像処理ルール選択ステップと、
前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の画像合成システムと同等の作用および効果が得られる。
ここで、合成元画像処理ステップは、画像処理ルールに基づいて合成元画像を処理して複数の処理画像を生成すればどのような形態であってもよく、例えば、取得された合成元画像が１つである場合は、その合成元画像を複数複製し、それら合成元画像をそれぞれ処理して複数の処理画像を生成してもよいし、取得された合成元画像が複数である場合は、それら合成元画像をそれぞれ処理して複数の処理画像を生成してもよい。また、後者の場合、合成元画像の枚数をｎ（ｎは２以上の整数）、処理画像の枚数をｍ（ｍは２以上の整数）としたとき、例えば、ｎ＜ｍの場合は、ｎ＝ｍとなるように、いずれかの合成元画像を複数複製し、ｎ＞ｍの場合は、ｎ＝ｍとなるように、いずれかの合成元画像を破棄するか、いずれかの合成元画像同士を合成して１つに統合することができる。以下、発明１５の画像合成プログラム、並びに発明１７および２３の画像合成方法において同じである。

また、合成元画像処理ステップは、例えば、選択された画像処理ルールが複数である場合は、それら画像処理ルールに基づいて、合成元画像をそれぞれ処理して複数の処理画像を生成してもよいし、選択された画像処理ルールが１つである場合は、その画像処理ルールが、与えられたパラメータに基づいて画像を処理するルールを規定したものであれば、その画像処理ルールおよび異なる複数のパラメータに基づいて、合成元画像をそれぞれ処理して複数の処理画像を生成してもよい。また、画像処理ルールおよびパラメータの組み合わせで合成元画像を処理する場合は、１つの画像処理ルールに対して異なる複数のパラメータを与える場合に限らず、画像処理ルールの数をｎ（ｎは１以上の整数）、パラメータの数をｍ（ｍは１以上の整数）としたときに、その組み合わせによりｎ×ｍ個の処理画像を生成することができる。以下、発明１５の画像合成プログラム、並びに発明１７および２３の画像合成方法において同じである。

また、目的情報取得ステップは、目的情報を取得すればどのような形態であってもよく、例えば、入力装置等から目的情報を入力してもよいし、外部の端末等から目的情報を獲得または受信してもよいし、記憶装置等から目的情報を読み出してもよい。すなわち、取得には、少なくとも入力、獲得、受信および読出が含まれる。このことは、合成元画像取得ステップで合成元画像を取得する場合について同じである。以下、発明１５の画像合成プログラム、並びに発明１７および２３の画像合成方法において同じである。

〔発明１０〕 さらに、発明１０の画像合成プログラムは、発明９の画像合成プログラムにおいて、
前記画像処理ルールは、与えられたパラメータに基づいて画像を処理するルールを規定したものであり、
前記合成元画像処理ステップは、前記画像処理ルール選択ステップで選択した画像処理ルールおよび異なる複数のパラメータに基づいて、前記合成元画像を処理して複数種の処理画像を生成することを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の画像合成システムと同等の作用および効果が得られる。

〔発明１１〕 さらに、発明１１の画像合成プログラムは、発明９および１０のいずれか１の画像合成プログラムにおいて、
さらに、画像の合成ルールを記憶した合成ルール記憶手段のなかから前記合成ルールを選択する合成ルール選択ステップをコンピュータに実行させるためのプログラムを含み、
前記処理画像合成ステップは、前記合成ルール選択ステップで選択した合成ルールに基づいて、前記複数の処理画像を合成することを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明３の画像合成システムと同等の作用および効果が得られる。

〔発明１２〕 さらに、発明１２の画像合成プログラムは、発明９ないし１１のいずれか１の画像合成プログラムにおいて、
さらに、前記合成元画像取得ステップで取得した合成元画像から特定の処理領域を処理元画像として抽出する処理元画像抽出ステップをコンピュータに実行させるためのプログラムを含み、
前記合成元画像処理ステップは、前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記処理元画像抽出ステップで抽出した処理元画像を処理して複数の処理画像を生成することを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明４の画像合成システムと同等の作用および効果が得られる。

〔発明１３〕 さらに、発明１３の画像合成プログラムは、発明１２の画像合成プログラムにおいて、
前記特定の処理領域は、人物が映っている人物領域であることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明５の画像合成システムと同等の作用および効果が得られる。

〔発明１４〕 さらに、発明１４の画像合成プログラムは、発明９ないし１３のいずれか１の画像合成プログラムにおいて、
前記画像処理ルール記憶手段は、前記画像処理ルールを前記目的情報および重要度と対応付けて記憶し、
前記画像処理ルール選択ステップは、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから選択することを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明６の画像合成システムと同等の作用および効果が得られる。

〔発明１５〕 さらに、発明１５の画像合成プログラムは、
画像を処理して合成する画像合成プログラムであって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
合成元となる合成元画像を取得する合成元画像取得ステップと、
画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に選択する画像処理ルール選択ステップと、
前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップと、
前記処理画像合成ステップで合成した合成画像を提示する合成画像提示ステップと、
前記合成画像提示ステップで提示した合成画像に対する評価結果を入力する評価結果入力ステップと、
前記評価結果入力ステップで入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明７の画像合成システムと同等の作用および効果が得られる。

〔発明１６〕 さらに、発明１６の画像合成プログラムは、発明１５の画像合成プログラムにおいて、
前記合成画像提示ステップは、異なる複数の前記画像処理ルールに基づいてそれぞれ合成された合成画像を提示し、
前記評価結果入力ステップは、前記合成画像提示ステップで提示した複数の合成画像のなかからいずれかの選択を入力し、
前記重要度更新ステップは、前記評価結果入力ステップで選択された合成画像に使用された画像処理ルールに対応する重要度を更新することを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明８の画像合成システムと同等の作用および効果が得られる。

〔発明１７〕 一方、上記目的を達成するために、発明１７の画像合成方法は、
画像を処理して合成する画像合成方法であって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
合成元となる合成元画像を取得する合成元画像取得ステップと、
前記目的情報取得ステップで取得した目的情報に基づいて、画像を処理するルールを規定した画像処理ルールを前記目的情報と対応付けて記憶した画像処理ルール記憶手段のなかから前記画像処理ルールを選択する画像処理ルール選択ステップと、
前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップとを含むことを特徴とする。
これにより、発明１の画像合成システムと同等の効果が得られる。

〔発明１８〕 さらに、発明１８の画像合成方法は、発明１７の画像合成方法において、
前記画像処理ルールは、与えられたパラメータに基づいて画像を処理するルールを規定したものであり、
前記合成元画像処理ステップは、前記画像処理ルール選択ステップで選択した画像処理ルールおよび異なる複数のパラメータに基づいて、前記合成元画像を処理して複数種の処理画像を生成することを特徴とする。
これにより、発明２の画像合成システムと同等の効果が得られる。

〔発明１９〕 さらに、発明１９の画像合成方法は、発明１７および１８のいずれか１の画像合成方法において、
さらに、画像の合成ルールを記憶した合成ルール記憶手段のなかから前記合成ルールを選択する合成ルール選択ステップを含み、
前記処理画像合成ステップは、前記合成ルール選択ステップで選択した合成ルールに基づいて、前記複数の処理画像を合成することを特徴とする。
これにより、発明３の画像合成システムと同等の効果が得られる。

〔発明２０〕 さらに、発明２０の画像合成方法は、発明１７ないし１９のいずれか１の画像合成方法において、
さらに、前記合成元画像取得ステップで取得した合成元画像から特定の処理領域を処理元画像として抽出する処理元画像抽出ステップを含み、
前記合成元画像処理ステップは、前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記処理元画像抽出ステップで抽出した処理元画像を処理して複数の処理画像を生成することを特徴とする。
これにより、発明４の画像合成システムと同等の効果が得られる。

〔発明２１〕 さらに、発明２１の画像合成方法は、発明２０の画像合成方法において、
前記特定の処理領域は、人物が映っている人物領域であることを特徴とする。
これにより、発明５の画像合成システムと同等の効果が得られる。

〔発明２２〕 さらに、発明２２の画像合成方法は、発明１７ないし２１のいずれか１の画像合成方法において、
前記画像処理ルール記憶手段は、前記画像処理ルールを前記目的情報および重要度と対応付けて記憶し、
前記画像処理ルール選択ステップは、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから選択することを特徴とする。
これにより、発明６の画像合成システムと同等の効果が得られる。

〔発明２３〕 さらに、発明２３の画像合成方法は、
画像を処理して合成する画像合成方法であって、
合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
合成元となる合成元画像を取得する合成元画像取得ステップと、
画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に選択する画像処理ルール選択ステップと、
前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップと、
前記処理画像合成ステップで合成した合成画像を提示する合成画像提示ステップと、
前記合成画像提示ステップで提示した合成画像に対する評価結果を入力する評価結果入力ステップと、
前記評価結果入力ステップで入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新ステップとを含むことを特徴とする。
これにより、発明７の画像合成システムと同等の効果が得られる。

〔発明２４〕 さらに、発明２４の画像合成方法は、発明２３の画像合成方法において、
前記合成画像提示ステップは、異なる複数の前記画像処理ルールに基づいてそれぞれ合成された合成画像を提示し、
前記評価結果入力ステップは、前記合成画像提示ステップで提示した複数の合成画像のなかからいずれかの選択を入力し、
前記重要度更新ステップは、前記評価結果入力ステップで選択された合成画像に使用された画像処理ルールに対応する重要度を更新することを特徴とする。
これにより、発明８の画像合成システムと同等の効果が得られる。

以下、本発明の第１の実施の形態を図面を参照しながら説明する。図１ないし図１２は、本発明に係る画像合成システムおよび画像合成プログラム、並びに画像合成方法の第１の実施の形態を示す図である。
まず、本発明を適用する画像処理装置１００の機能概要を図１を参照しながら説明する。

図１は、画像処理装置１００の機能概要を示す機能ブロック図である。
画像処理装置１００は、図１に示すように、複数の画像をデータとして登録した画像登録データベース（以下、データベースのことを単にＤＢと略記する。）１０と、合成元となる合成元画像を画像登録ＤＢ１０から取得する画像取得部１２と、画像取得部１２で取得した合成元画像から人物領域を加工元画像として抽出する人物領域抽出部１４とを有して構成されている。

画像処理装置１００は、さらに、合成結果の用途、方針、その他の目的に関する目的情報を入力する目的情報入力部１６と、与えられたパラメータに基づいて画像を加工する加工ルールを目的情報と対応付けて登録した加工ルール登録ＤＢ１８と、目的情報入力部１６で取得した目的情報に基づいて加工ルール登録ＤＢ１８のなかから加工ルールを選択する加工ルール選択部２０とを有して構成されている。

画像処理装置１００は、さらに、画像の合成ルールを登録した合成ルール登録ＤＢ２２と、合成ルール登録ＤＢ２２のなかから合成ルールを選択する合成ルール選択部２４と、人物領域抽出部１４で抽出した加工元画像を加工して複数の加工画像を生成する画像加工部２６と、画像加工部２６で生成した複数の加工画像を合成する画像合成部２８とを有して構成されている。

合成ルール登録ＤＢ２２は、合成に必要な画像の枚数（以下、合成必要枚数という。）、背景画像の有無、加工画像の配置位置、および合成時の重なり処理を規定した合成ルールを登録している。
画像加工部２６は、合成ルール選択部２４で選択した合成ルールにより規定される合成必要枚数だけ加工元画像を複製し、加工ルール選択部２０で選択した加工ルールおよび異なる複数のパラメータに基づいて、複製したそれら加工元画像をそれぞれ加工して複数の加工画像を生成する。

画像合成部２８は、合成ルール選択部２４で選択した合成ルールに基づいて、複数の加工画像および必要な背景画像を合成して合成画像を生成する。
次に、画像処理装置１００の構成を図２ないし図８を参照しながら説明する。
図２は、画像処理装置１００のハードウェア構成を示すブロック図である。
画像処理装置１００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。

Ｉ／Ｆ５８には、外部装置として、画像登録ＤＢ１０と、加工ルール登録ＤＢ１８と、合成ルール登録ＤＢ２２と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、画像信号に基づいて画面を表示する表示装置４２とが接続されている。
次に、加工ルール登録ＤＢ１８のデータ構造を図３ないし図５を参照しながら詳細に説明する。

加工ルール登録ＤＢ１８は、加工ルールを登録した加工ルール登録テーブル４００を格納している。
図３は、加工ルール登録テーブル４００のデータ構造を示す図である。
加工ルール登録テーブル４００には、図３に示すように、各加工ルールごとに１つのレコードが登録されている。各レコードは、加工ルールに対して一意に割り当てられる加工ルールＩＤを登録したフィールド４０２と、加工ルールである画像処理関数を登録したフィールド４０４と、加工ルールの概要説明を登録したフィールド４０６とを含んで構成されている。

図３の例では、第１段落目のレコードには、加工ルールＩＤとして「加工１」が、加工ルールとして「Gradation(X1,Y1,X2,Y2,RGB1,RGB2)」がそれぞれ登録されている。これは、加工ルール１（加工ルールＩＤ「加工１」により特定される加工ルールをいう。以下、同様に略記する。）が、画像における始点座標（Ｘ１，Ｙ１）から終点座標（Ｘ２，Ｙ２）に向けて、第１色（ＲＧＢ１）から第２色（ＲＧＢ２）へと変化するグラデーションを施す画像処理関数であることを示している。その他、登録される加工ルールとしては、色変換、２値化、トリミング（位置、サイズ）など画像を加工するあらゆる画像処理を対象とする。

加工ルール登録ＤＢ１８は、さらに、加工ルールに与えるパラメータを登録したパラメータ登録テーブル４２０を格納している。
図４は、パラメータ登録テーブル４２０のデータ構造を示す図である。
パラメータ登録テーブル４２０には、図４に示すように、各パラメータごとに１つのレコードが登録されている。各レコードは、パラメータに対して一意に割り当てられるパラメータＩＤを登録したフィールド４２２と、加工ルールＩＤを登録したフィールド４２４と、パラメータを登録したフィールド４２６とを含んで構成されている。

図４の例では、第１段目のレコードには、パラメータＩＤとして「パラ１」が、加工ルールＩＤとして「加工１」が、パラメータとして「(0,0,X,Y,白,グレー２５％)」がそれぞれ登録されている。これは、パラメータ１（パラメータＩＤ「パラ１」により特定されるパラメータをいう。以下、同様に略記する。）が、加工ルール１に与えられるパラメータであり、その内容が「(0,0,X,Y,白,グレー２５％)」であることを示している。

加工ルール登録ＤＢ１８は、さらに、適用する加工ルールの組み合わせ設定を登録した組合設定登録テーブル４４０を格納している。
図５は、組合設定登録テーブル４４０のデータ構造を示す図である。
組合設定登録テーブル４４０には、図５に示すように、加工ルールの各組み合わせ設定ごとに１つのレコードが登録されている。各レコードは、複数の加工ルールＩＤを組み合わせ設定として登録したフィールド４４２と、目的情報を登録したフィールド４４４とを含んで構成されている。フィールド４４４は、さらに、合成結果を提供する対象者（ターゲット）を登録したフィールド４４６と、合成結果の用途または利用目的を登録したフィールド４４８と、合成結果の使用箇所を登録したフィールド４５０とを含んで構成されている。

図５の例では、第１段目のレコードには、組み合わせ設定として「加工１＆加工２」が、ターゲットとして「＊」が、用途または利用目的として「カタログ」が、使用箇所として「付加画像」がそれぞれ登録されている。これは、すべての対象者向けのカタログを作成する場合において付加画像として使用するために画像を合成するときは、加工ルール１，２により画像を加工することを示している。

また、第３段目のレコードには、組み合わせ設定として「加工２＆加工５」が、ターゲットとして「高校生」が、用途または利用目的として「ポスタ」が、使用箇所として「メイン画像」がそれぞれ登録されている。これは、高校生向けのポスタを作成する場合においてメイン画像として使用するために画像を合成するときは、加工ルール２，５により画像を加工することを示している。

次に、合成ルール登録ＤＢ２２のデータ構造を図６および図７を参照しながら詳細に説明する。
合成ルール登録ＤＢ２２は、合成ルールを登録した合成ルール登録テーブル４６０を格納している。
図６は、合成ルール登録テーブル４６０のデータ構造を示す図である。

合成ルール登録テーブル４６０には、図６に示すように、各合成ルールごとに１つのレコードが登録されている。各レコードは、合成ルールに対して一意に割り当てられる合成ルールＩＤを登録したフィールド４６２と、合成必要枚数を登録したフィールド４６４と、背景画像のファイル名を登録したフィールド４６６と、加工画像の配置位置を規定したテンプレートのファイル名を登録したフィールド４６８と、合成時の重なり処理を登録したフィールド４７０とを含んで構成されている。

図６の例では、第１段目のレコードには、合成ルールＩＤとして「合成１」が、合成必要枚数として「４」が、背景画像のファイル名として「なし」が、テンプレートのファイル名として「テンプレートＡ」が、重なり処理として「なし」がそれぞれ登録されている。これは、合成ルール１（合成ルールＩＤ「合成１」により特定される合成ルールをいう。以下、同様に略記する。）は、合成必要枚数が４枚、背景画像および重なり処理が不要、加工画像の配置位置の決定に「テンプレートＡ」のテンプレートを用いることを示している。

また、第４段目のレコードには、合成ルールＩＤとして「合成４」が、合成必要枚数として「３」が、背景画像のファイル名として「Image1.jpg」が、テンプレートのファイル名として「なし」が、重なり処理として「αブレンド（２５％）」がそれぞれ登録されている。これは、合成ルール４は、合成必要枚数が３枚、加工画像の配置位置の決定が任意、背景画像として「Image1.jpg」の画像を用い、重なり処理としてαブレンドを用いることを示している。なお、αブレンドとは、２つの画像を合成する場合に、一方の画像の透過率をα％、他方の画像の透過率を（１００−α）％として合成する処理をいう。

合成ルール登録ＤＢ２２は、さらに、加工画像の配置位置を規定したテンプレート４８０を格納している。
図７は、テンプレート４８０の概略的な構成を示す図である。
テンプレート４８０は、例えば、図７に示すように、画像格納枠４８４，４８６の一部を重ね合わせてレイアウト領域４８２の右上に配置し、画像格納枠４８８，４９０の一部を重ね合わせてレイアウト領域４８２の左下に配置したレイアウトを規定している。画像格納枠４８４，４８６の重複部分では、画像格納枠４８４が前面に位置し、画像格納枠４８８，４９０の重複部分では、画像格納枠４８８が前面に位置している。

図７のテンプレート４８０に４つの加工画像が与えられた場合、各加工画像を画像格納枠４８４〜４９０に格納する。このとき、画像格納枠４８４，４８６の重複部分では画像格納枠４８４が前面に位置しているため、重なり処理が特に規定されていなければ、画像格納枠４８６に格納された画像の一部を、画像格納枠４８４に格納された画像で完全に覆うかたちでそれらが合成される。同様に、画像格納枠４８８，４９０の重複部分では画像格納枠４８８が前面に位置しているため、重なり処理が特に規定されていなければ、画像格納枠４９０に格納された画像の一部を、画像格納枠４８８に格納された画像で完全に覆うかたちでそれらが合成される。

なお、図７のテンプレート４８０はあくまで一例であり、加工画像の他の配置位置を規定する場合は、図７と同じ要領でテンプレート４８０を構成することができる。
次に、ＣＰＵ５０で実行される処理を図８を参照しながら説明する。
ＣＰＵ５０は、マイクロプロセッシングユニット等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図８のフローチャートに示す画像合成処理を実行するようになっている。

図８は、画像合成処理を示すフローチャートである。
画像合成処理は、合成元画像を加工して合成する処理であって、ＣＰＵ５０において実行されると、図８に示すように、まず、ステップＳ１０２に移行するようになっている。
ステップＳ１０２では、目的情報の一覧を表示装置６２に表示してそのなかからいずれかを選択すべきことをユーザに促し、目的情報を入力装置６０から入力し、ステップＳ１０４に移行して、画像登録ＤＢ１０から合成元画像を取得し、ステップＳ１０６に移行する。

ステップＳ１０６では、取得した合成元画像から人物領域を加工元画像として抽出する。例えば、背景パターンが一様な場合には背景パターンを自動的にトリミングして削除することにより人物領域を抽出することができるし、顔画像認識の技術を利用して、顔が映っている顔領域を特定し、そこから規定サイズでトリミングすることにより人物領域を抽出することができる。さらに、取得した合成元画像に人物領域の画像が付加されている場合は、合成元画像からその人物領域の画像を抽出すればよい。また、合成元画像に人物領域の位置に関する位置情報が付加されている場合は、位置情報に基づいて人物領域を抽出することができる。

次いで、ステップＳ１０８に移行して、合成ルール登録テーブル４６０のなかからランダムまたは所定の優先順位で合成ルールを選択し、ステップＳ１１０に移行して、入力した目的情報に対応する組み合わせ設定を組合設定登録テーブル４４０から読み出し、ステップＳ１１２に移行して、読み出した組み合わせ設定に含まれる加工ルールＩＤに対応する加工ルールを加工ルール登録テーブル４００から読み出し、ステップＳ１１３に移行する。

ステップＳ１１３では、選択した合成ルール（以下、選択合成ルールという。）により規定される合成必要枚数だけ、抽出した加工元画像を複製し、ステップＳ１１４に移行して、読み出した組み合わせ設定に含まれる加工ルールＩＤに対応するパラメータをランダムまたは所定の優先順位でパラメータ登録テーブル４２０から読み出し、ステップＳ１１６に移行する。

ステップＳ１１６では、読み出した加工ルールおよび読み出したパラメータに基づいて、複製した複数の加工元画像のうち未加工のものを加工して加工画像を生成し、ステップＳ１１８に移行して、選択合成ルールにより規定される合成必要枚数に相当する回数だけ、ステップＳ１１４，Ｓ１１６の処理を繰り返したか否かを判定し、合成必要枚数に相当する回数だけ処理を繰り返したと判定したとき(Yes)は、ステップＳ１２０に移行する。

ステップＳ１２０では、選択合成ルールにより規定されるテンプレートを合成ルール登録ＤＢ２２から読み出し、ステップＳ１２２に移行して、選択合成ルールに背景画像が規定されているか否かを判定し、背景画像が規定されていると判定したとき(Yes)は、ステップＳ１２４に移行する。
ステップＳ１２４では、選択合成ルールにより規定される背景画像を画像登録ＤＢ１０から読み出し、ステップＳ１２６に移行して、読み出したテンプレートに従って、読み出した画像を背景画像として割り当て、ステップＳ１２８に移行して、読み出したテンプレートに従って、生成した複数の加工画像を合成して合成画像を生成し、ステップＳ１３０に移行して、生成した合成画像を表示装置６２に表示し、一連の処理を終了して元の処理に復帰させる。

一方、ステップＳ１２２で、選択合成ルールに背景画像が規定されていないと判定したとき(No)は、ステップＳ１２８に移行する。
一方、ステップＳ１１８で、選択合成ルールにより規定される合成必要枚数に相当する回数だけ、ステップＳ１１４，Ｓ１１６の処理を繰り返していないと判定したとき(No)は、ステップＳ１１４に移行する。

次に、本実施の形態の動作を図９ないし図１２を参照しながら説明する。
画像処理装置１００では、ステップＳ１０２を経て、目的情報の一覧が表示されてそのなかからいずれかを選択すべきことがユーザに促される。ここで、ユーザは、ターゲットとして「一般向け」を、用途または利用目的として「カタログ」を、使用箇所として「付加画像」を選択したとする。

図９は、合成元画像５００を示す図である。
次いで、ステップＳ１０４を経て、画像登録ＤＢ１０から合成元画像が取得される。例えば、図９に示すように、左半分の領域に人物が映った画像５００が取得されたとする。
図１０は、加工元画像５０２を示す図である。
次いで、ステップＳ１０６を経て、取得された合成元画像５００から人物領域が加工元画像として抽出される。合成元画像５００では、左半分の領域に人物が映っているので、図１０に示すように、左半分の領域が加工元画像５０２として抽出される。

次いで、ステップＳ１０８を経て、合成ルール登録テーブル４６０のなかから合成ルールが選択される。例えば、図６の合成ルールのうち合成ルール１が選択されたとする。
次いで、入力された目的情報が「一般向け」、「カタログ」および「付加画像」であるので、ステップＳ１１０を経て、図５の組み合わせ設定のうちこれに該当するものとして組み合わせ設定「加工１＆加工２」が組合設定登録テーブル４４０から読み出される。そして、ステップＳ１１２を経て、読み出された組み合わせ設定に基づいて、加工ルール１，２が加工ルール登録テーブル４００から読み出される。また、選択合成ルール１には合成必要枚数として「４」が規定されているので、ステップＳ１１３を経て、加工元画像５０２が４枚複製される。

図１１は、加工画像５０６〜５１２を示す図である。
次いで、ステップＳ１１４，Ｓ１１６を繰り返し経て、読み出された組み合わせ設定に基づいて、加工ルール１，２に与えるパラメータがパラメータ登録テーブル４２０から読み出され、読み出された加工ルール１，２および読み出されたパラメータに基づいて、複製された複数の加工元画像５０２がそれぞれ加工されて加工画像が生成される。この場合、加工元画像５０２が４枚であるので、加工ルール１，２により４枚の加工元画像５０２がそれぞれ加工される。

例えば、加工ルール１に与えるパラメータとしてパラメータ２，４，３，１が、加工ルール２に与えるパラメータとしてパラメータ９，６がパラメータ登録テーブル４２０から読み出されたとすると、図１１に示すように、加工ルール１およびパラメータ２、並びに加工ルール２およびパラメータ９に基づいて１枚目の加工元画像が加工されて加工画像５０６が生成される。これにより、左から右に向けて白色からグレーに変化するようにグラデーションが施される。

また、加工ルール１およびパラメータ４、並びに加工ルール２およびパラメータ９に基づいて２枚目の加工元画像が加工されて加工画像５０８が生成される。これにより、右から左に向けて白色からグレーに変化するようにグラデーションが施される。
また、加工ルール１およびパラメータ３、並びに加工ルール２およびパラメータ６に基づいて３枚目の加工元画像が加工されて加工画像５１０が生成される。これにより、時計回りに９０°回転した後、右下から左上に向けて白色からグレーに変化するようにグラデーションが施される。

また、加工ルール１およびパラメータ１、並びに加工ルール２およびパラメータ６に基づいて４枚目の加工元画像が加工されて加工画像５１２が生成される。これにより、時計回りに９０°回転した後、左上から右下に向けて白色からグレーに変化するようにグラデーションが施される。
図１２は、合成画像５１４を示す図である。

次いで、選択合成ルール１にはテンプレートＡが規定されているので、ステップＳ１２０を経て、テンプレートＡが合成ルール登録ＤＢ２２から読み出される。そして、選択合成ルール１には背景画像が規定されていないので、ステップＳ１２８，Ｓ１３０を経て、読み出されたテンプレートＡに従って、生成された複数の加工画像５０６〜５１２が合成されて合成画像が生成され、生成された合成画像が表示される。テンプレートＡが図７の構成であるとすると、例えば、図１２に示すように、加工画像５１０が画像格納枠４８４に、加工画像５１２が画像格納枠４８６にそれぞれ格納されることにより加工画像５１０，５１２が合成される。また、加工画像５０６が画像格納枠４８８に、加工画像５０８が画像格納枠４９０にそれぞれ格納されることにより加工画像５０６，５０８が合成される。これにより、合成画像５１４が生成される。

なお、合成ルール１には背景画像が規定されていなかったが、合成ルール４のように選択合成ルールに背景画像が規定されていると、ステップＳ１２４，Ｓ１２６を経て、選択合成ルールにより規定される背景画像が画像登録ＤＢ１０から読み出され、読み出されたテンプレートに従って、読み出された画像が背景画像として割り当てられる。加工画像５０６〜５１２は、この背景画像と合成される。

このようにして、本実施の形態では、合成結果の用途、方針、その他の目的に関する目的情報を入力し、入力した目的情報に基づいて加工ルール登録ＤＢ１８のなかから加工ルールを選択し、選択加工ルールに基づいて合成元画像を加工して複数の加工画像を生成し、生成した複数の加工画像を合成するようになっている。
これにより、デザイン知識に基づく加工ルールにより合成元画像が加工されるので、従来に比して、デザイン知識を有しないユーザであっても、比較的見栄えのよいデザインを実現することができる。また、合成結果の用途、方針、その他の目的に対応する加工ルールにより合成元画像が加工されるので、従来に比して、デザイン知識を有しないユーザであっても、合成結果の用途、方針、その他の目的に比較的適したデザインを実現することができる。

さらに、本実施の形態では、選択加工ルールおよび異なる複数のパラメータに基づいて合成元画像を加工して複数種の加工画像を生成するようになっている。
これにより、異なる複数のパラメータを加工ルールに与えるだけで複数種の加工画像を生成することができるので、複数種の加工画像を比較的容易に生成することができる。
さらに、本実施の形態では、合成ルール登録ＤＢ２２のなかから合成ルールを選択し、選択した合成ルールに基づいて複数の加工画像を合成するようになっている。

これにより、デザイン知識に基づく合成ルールにより複数の加工画像が合成されるので、デザイン知識を有しないユーザであっても、さらに見栄えのよいデザインを実現することができる。
さらに、本実施の形態では、合成元画像から人物領域を加工元画像として抽出し、選択加工ルールに基づいて加工元画像を加工して複数の加工画像を生成するようになっている。

これにより、人物領域をクローズアップした合成結果を得ることができる。
上記第１の実施の形態において、加工ルール登録ＤＢ１８は、発明１、９または１７の画像処理ルール記憶手段に対応し、合成ルール登録ＤＢ２２は、発明３、１１または１９の合成ルール記憶手段に対応し、目的情報入力部１６、入力装置６０およびステップＳ１０２は、発明１の目的情報取得手段に対応している。また、ステップＳ１０２は、発明９または１７の目的情報取得ステップに対応し、画像取得部１２およびステップＳ１０４は、発明１または４の合成元画像取得手段に対応し、ステップＳ１０４は、発明９、１２、１７または２０の合成元画像取得ステップに対応している。

また、上記第１の実施の形態において、人物領域抽出部１４およびステップＳ１０６は、発明４の処理元画像抽出手段に対応し、ステップＳ１０６は、発明１２または２０の処理元画像抽出ステップに対応し、合成ルール選択部２４およびステップＳ１０８は、発明３の合成ルール選択手段に対応している。また、ステップＳ１０８は、発明１１または１９の合成ルール選択ステップに対応し、加工ルール選択部２０およびステップＳ１１０は、発明１、２または４の画像処理ルール選択手段に対応し、ステップＳ１１０は、発明９、１０、１２、１７、１８または２０の画像処理ルール選択ステップに対応している。

また、上記第１の実施の形態において、画像加工部２６およびステップＳ１１２〜Ｓ１１６は、発明１、２または４の合成元画像処理手段に対応し、ステップＳ１１２〜Ｓ１１６は、発明９、１０、１２、１７、１８または２０の合成元画像処理ステップに対応し、画像合成部２８およびステップＳ１２０，Ｓ１２８は、発明１または３の処理画像合成手段に対応している。また、ステップＳ１２０，Ｓ１２８は、発明９、１１、１７または１９の処理画像合成ステップに対応している。

次に、本発明の第２の実施の形態を図面を参照しながら説明する。図１３ないし図１９は、本発明に係る画像合成システムおよび画像合成プログラム、並びに画像合成方法の第２の実施の形態を示す図である。
本実施の形態は、本発明に係る画像合成システムおよび画像合成プログラム、並びに画像合成方法を、合成元画像を加工して合成する場合について適用したものであり、上記第１の実施の形態と異なるのは、表示した合成画像に対するユーザの評価結果を入力し、入力した評価結果をフィードバックして加工ルールおよびパラメータの選択に反映する点にある。なお、以下、上記第１の実施の形態と異なる部分についてのみ説明し、上記第１の実施の形態と重複する部分については同一の符号を付して説明を省略する。

まず、本発明を適用する画像処理装置１００の機能概要を図１３を参照しながら説明する。
図１３は、画像処理装置１００の機能概要を示す機能ブロック図である。
画像処理装置１００は、図１３に示すように、画像登録ＤＢ１０、画像取得部１２、人物領域抽出部１４、目的情報入力部１６、合成ルール登録ＤＢ２２、合成ルール選択部２４、画像加工部２６および画像合成部２８を有して構成されている。

画像処理装置１００は、さらに、加工ルールを目的情報および重要度と対応付けて登録した加工ルール登録ＤＢ３０と、目的情報入力部１６で入力した目的情報に対応する加工ルールのうち重要度が大きいものほど優先的に加工ルール登録ＤＢ３０のなかから選択する加工ルール選択部３２とを有して構成されている。
画像処理装置１００は、さらに、ユーザに提示する合成画像の枚数（以下、提示枚数という。）を入力する提示枚数入力部３４と、画像合成部２８で生成した合成画像を表示する画像表示部３６とを有して構成されている。

合成ルール選択部２４、画像加工部２６、画像合成部２８および画像表示部３６は、提示枚数入力部３４で入力した提示枚数に相当する回数だけ、合成ルールの選択、並びに画像の加工、合成および表示を行う。
画像処理装置１００は、さらに、画像表示部３６で表示した合成画像に対する評価結果を入力する評価結果入力部３８と、評価結果入力部３８で入力した評価結果に基づいて加工ルール登録ＤＢ３０の重要度を更新する重要度更新部４０とを有して構成されている。

評価結果入力部３８は、画像表示部３６で表示した複数の合成画像のなかからいずれか１つの選択を入力する。
重要度更新部４０は、評価結果入力部３８で選択された合成画像に使用された加工ルールに対応する重要度を更新する。
次に、パラメータ登録テーブル４２０のデータ構造を図１４を参照しながら説明する。

図１４は、パラメータ登録テーブル４２０のデータ構造を示す図である。
パラメータ登録テーブル４２０には、図１４に示すように、各パラメータごとに１つのレコードが登録されている。各レコードは、フィールド４２２〜４２６と、重要度を登録したフィールド４２８とを含んで構成されている。重要度は、合成画像に対するユーザの評価結果に基づいて更新される。

図１４の例では、第１段目のレコードには、パラメータＩＤとして「パラ１」が、重要度として「０．１」がそれぞれ登録されている。これは、パラメータ１の重要度が現在「０．１」であることを示している。
次に、組合設定登録テーブル４４０のデータ構造を図１５を参照しながら説明する。
図１５は、組合設定登録テーブル４４０のデータ構造を示す図である。

組合設定登録テーブル４４０には、図１５に示すように、加工ルールの各組み合わせ設定ごとに１つのレコードが登録されている。各レコードは、フィールド４４２〜４５０と、重要度を登録したフィールド４５２とを含んで構成されている。重要度は、合成画像に対するユーザの評価結果に基づいて更新される。
図１５の例では、第１段目のレコードには、組み合わせ設定として「加工１＆加工２」が、重要度として「０．３」がそれぞれ登録されている。これは、組み合わせ設定「加工１＆加工２」の重要度が現在「０．３」であることを示している。

次に、ＣＰＵ５０で実行される処理を図１６および図１７を参照しながら説明する。
ＣＰＵ５０は、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、図８のフローチャートに示す画像合成処理に代えて、図１６および図１７の画像合成処理および重要度更新処理をそれぞれ時分割で実行するようになっている。
初めに、画像合成処理を図１６を参照しながら説明する。

図１６は、画像合成処理を示すフローチャートである。
画像合成処理は、合成元画像を加工して合成する処理であって、ＣＰＵ５０において実行されると、図１６に示すように、まず、ステップＳ２００に移行するようになっている。
ステップＳ２００では、提示枚数を入力装置６０から入力し、ステップＳ２０２に移行して、目的情報の一覧を表示装置６２に表示してそのなかからいずれかを選択すべきことをユーザに促し、目的情報を入力装置６０から入力し、ステップＳ２０４に移行する。

ステップＳ２０４では、画像登録ＤＢ１０から合成元画像を取得し、ステップＳ２０６に移行して、取得した合成元画像から人物領域を加工元画像として抽出し、ステップＳ２０８に移行して、合成ルール登録テーブル４６０のなかからランダムまたは所定の優先順位で合成ルールを選択し、ステップＳ２１０に移行する。
ステップＳ２１０では、入力した目的情報に対応する組み合わせ設定を組合設定登録テーブル４４０から読み出す。このとき、入力した目的情報に対応する組み合わせ設定が複数存在するときは、それらの組み合わせ設定のうち、既に選択されたものを除き、重要度が最も大きい組み合わせ設定を組合設定登録テーブル４４０から読み出す。

次いで、ステップＳ２１２に移行して、読み出した組み合わせ設定に含まれる加工ルールＩＤに対応する加工ルールを加工ルール登録テーブル４００から読み出し、ステップＳ２１３に移行して、選択合成ルールにより規定される合成必要枚数だけ、抽出した加工元画像を複製し、ステップＳ２１４に移行する。
ステップＳ２１４では、読み出した組み合わせ設定に含まれる加工ルールＩＤに対応するパラメータをパラメータ登録テーブル４２０から読み出す。このとき、加工ルールＩＤに対応するパラメータが複数存在するときは、それらのパラメータのうち、既に選択されたものを除き、重要度が大きいものから順に必要なパラメータをパラメータ登録テーブル４２０から読み出す。

次いで、ステップＳ２１６に移行して、読み出した加工ルールおよび読み出したパラメータに基づいて、複製した複数の加工元画像のうち未加工のものを加工して加工画像を生成し、ステップＳ２１８に移行して、選択合成ルールにより規定される合成必要枚数に相当する回数だけ、ステップＳ２１４，Ｓ２１６の処理を繰り返したか否かを判定し、合成必要枚数に相当する回数だけ処理を繰り返したと判定したとき(Yes)は、ステップＳ２２０に移行する。

ステップＳ２２０では、選択合成ルールにより規定されるテンプレートを合成ルール登録ＤＢ２２から読み出し、ステップＳ２２２に移行して、選択合成ルールに背景画像が規定されているか否かを判定し、背景画像が規定されていると判定したとき(Yes)は、ステップＳ２２４に移行する。
ステップＳ２２４では、選択合成ルールにより規定される背景画像を画像登録ＤＢ１０から読み出し、ステップＳ２２６に移行して、読み出したテンプレートに従って、読み出した画像を背景画像として割り当て、ステップＳ２２８に移行して、読み出したテンプレートに従って、生成した複数の加工画像を合成して合成画像を生成し、ステップＳ２３０に移行して、生成した合成画像を表示装置６２に表示し、ステップＳ２３２に移行する。

ステップＳ２３２では、入力した提示枚数に相当する回数だけ、ステップＳ２０８〜Ｓ２３０の処理を繰り返したか否かを判定し、提示枚数に相当する回数だけ処理を繰り返したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
一方、ステップＳ２３２で、入力した提示枚数に相当する回数だけ、ステップＳ２０８〜Ｓ２３０の処理を繰り返していないと判定したとき(No)は、ステップＳ２０８に移行する。

一方、ステップＳ２２２で、選択合成ルールに背景画像が規定されていないと判定したとき(No)は、ステップＳ２２８に移行する。
一方、ステップＳ２１８で、選択合成ルールにより規定される合成必要枚数に相当する回数だけ、ステップＳ２１４，Ｓ２１６の処理を繰り返していないと判定したとき(No)は、ステップＳ２１４に移行する。

次に、重要度更新処理を図１７を参照しながら説明する。
図１７は、重要度更新処理を示すフローチャートである。
重要度更新処理は、合成画像に対するユーザの評価結果に基づいて、パラメータ登録テーブル４２０および組合設定登録テーブル４４０の重要度を更新する処理であって、ＣＰＵ５０において実行されると、図１７に示すように、まず、ステップＳ３００に移行するようになっている。

ステップＳ３００では、ステップＳ２３０で表示された合成画像のなかからいずれか１つを選択すべきことをユーザに促し、合成画像の選択を入力装置６０から入力し、ステップＳ３０２に移行する。
ステップＳ３０２では、選択された合成画像に使用された組み合わせ設定を特定し、ステップＳ３０４に移行して、組合設定登録テーブル４４０において、特定された組み合わせ設定に対応する重要度を更新する。特定された組み合わせ設定に対応する重要度をＰ（Ｘ）、組合設定登録テーブル４４０の重要度のうちＰ（Ｘ）以外のものをＰ（Ｙｎ）、組合設定登録テーブル４４０のレコード数をＮ、重み付け係数をαとすると、更新後の重要度Ｐ（Ｘ）’およびＰ（Ｙｎ）’は、下式（１），（２）により算出することができる。

Ｐ’（Ｘ）＝α×Ｐ（Ｘ） …（１）
Ｐ’（Ｙｎ）＝Ｐ（Ｙｎ）−（Ｐ（Ｘ）’−Ｐ（Ｘ））／（Ｎ−１） …（２）

次いで、ステップＳ３０６に移行して、選択された合成画像に使用されたパラメータを特定し、ステップＳ３０８に移行して、パラメータ登録テーブル４２０において、特定されたパラメータに対応する重要度を更新する。特定されたパラメータに対応する重要度をＰ（Ｘ）、パラメータ登録テーブル４２０の重要度のうちＰ（Ｘ）以外のものをＰ（Ｙｎ）、パラメータ登録テーブル４２０のレコード数をＮ、重み付け係数をαとすると、更新後の重要度Ｐ（Ｘ）’およびＰ（Ｙｎ）’は、上式（１），（２）により算出することができる。

ステップＳ３０８の処理が終了すると、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を図１８および図１９を参照しながら説明する。
まず、ユーザは、画像処理装置１００において提示枚数および目的情報を入力する。
画像処理装置１００では、提示枚数および目的情報が入力されると、ステップＳ２０４〜Ｓ２０８を経て、画像登録ＤＢ１０から合成元画像が取得され、取得された合成元画像から人物領域が加工元画像として抽出され、合成ルール登録テーブル４６０のなかから合成ルールが選択される。

次いで、ステップＳ２１０〜Ｓ２１３を経て、入力された目的情報に対応する組み合わせ設定のうち重要度が最も大きいものが組合設定登録テーブル４４０から読み出され、読み出された組み合わせ設定に含まれる加工ルールＩＤに対応する加工ルールが加工ルール登録テーブル４００から読み出され、選択合成ルールにより規定される合成必要枚数だけ加工元画像が複製される。

次いで、ステップＳ２１４，Ｓ２１６を繰り返し経て、読み出された組み合わせ設定に含まれる加工ルールＩＤに対応するパラメータのうち重要度が大きいものから優先的にパラメータ登録テーブル４２０から読み出され、読み出された加工ルールおよびパラメータに基づいて、複製された複数の加工元画像がそれぞれ加工されて複数の加工画像が生成される。

そして、ステップＳ２２０，Ｓ２２８，Ｓ２３０を経て、選択合成ルールにより規定されるテンプレートが合成ルール登録ＤＢ２２から読み出され、読み出されたテンプレートに従って、生成された複数の加工画像が合成されて合成画像が生成され、生成された合成画像が表示される。
図１８は、合成画像５１６，５１８を示す図である。

ステップＳ２０８〜Ｓ２３０の処理は、入力された提示枚数に相当する回数だけ繰り返し行われる。例えば、提示枚数として「２」が入力されると、図１８に示すように、２枚の合成画像５１６，５１８が表示される。
画像処理装置１００では、ステップＳ３００を経て、表示された合成画像のなかからいずれか１つを選択すべきことがユーザに促される。ここで、ユーザは、自己のイメージするデザインに適合した合成画像を選択する。

図１９は、組合設定登録テーブル４４０の重要度を変更する場合を説明するための図である。
画像処理装置１００では、合成画像が選択されると、ステップＳ３０２，Ｓ３０４を経て、選択された合成画像に使用された組み合わせ設定が特定され、組合設定登録テーブル４４０において、特定された組み合わせ設定に対応する重要度が更新される。例えば、図１９（ａ）に示すように、組合設定登録テーブル４４０に４つのレコードが登録され、各レコードの重要度がそれぞれ「０．３」、「０．２５」、「０．２５」および「０．２」であるとする。そして、選択された合成画像に使用された組み合わせ設定が「加工１＆加工２」であるとすると、更新後の重要度Ｐ’（１）〜Ｐ’（４）は、重み付け係数αを「１．５」とした場合、下式（３）〜（６）により算出される。

Ｐ’（１）＝１．５×０．３＝０．４５ …（３）
Ｐ’（２）＝０．２５−（０．４５−０．３）／３＝０．２ …（４）
Ｐ’（３）＝０．２５−（０．４５−０．３）／３＝０．２ …（５）
Ｐ’（４）＝０．２−（０．４５−０．３）／３＝０．１５ …（６）

したがって、組合設定登録テーブル４４０の重要度は、図１９（ｂ）に示すように、「０．４５」、「０．２」、「０．２」および「０．１５」に更新される。

そして、ステップＳ３０６，Ｓ３０８を経て、選択された合成画像に使用されたパラメータが特定され、パラメータ登録テーブル４２０において、特定されたパラメータに対応する重要度が更新される。重要度の更新方法は、上記同様である。
このようにして、本実施の形態では、合成結果の用途、方針、その他の目的に関する目的情報を入力し、入力した目的情報に対応する加工ルールのうち重要度が大きいものほど優先的に加工ルール登録ＤＢ３０のなかから選択し、選択加工ルールに基づいて合成元画像を加工して複数の加工画像を生成し、生成した複数の加工画像を合成し、合成した合成画像を表示し、表示した合成画像に対する評価結果を入力し、入力した評価結果に基づいて加工ルール登録ＤＢ３０の重要度を更新するようになっている。

これにより、デザイン知識に基づく加工ルールにより合成元画像が加工されるので、従来に比して、デザイン知識を有しないユーザであっても、比較的見栄えのよいデザインを実現することができる。また、合成結果の用途、方針、その他の目的に対応する加工ルールにより合成元画像が加工されるので、従来に比して、デザイン知識を有しないユーザであっても、合成結果の用途、方針、その他の目的に比較的適したデザインを実現することができる。さらに、合成画像に対する評価結果に基づいて重要度が更新されるので、更新を重ねるに連れて、さらに見栄えのよいデザインを実現することができる。

さらに、本実施の形態では、表示された複数の合成画像のなかからいずれか１つの選択を入力し、選択された合成画像に使用された加工ルールおよびパラメータに対応する重要度を更新するようになっている。
これにより、ユーザは、表示された複数の合成画像のなかからいずれか１つを選択するだけでよいので、合成画像に対する評価を比較的容易に行うことができる。また、選択された合成画像に使用された加工ルールおよびパラメータに対応する重要度が更新されるので、更新を重ねるに連れて、選択された合成画像と同じようなデザインの合成画像が生成されやすくなる。

上記第２の実施の形態において、加工ルール登録ＤＢ３０は、発明６、７、１４、１５、２２または２３の画像処理ルール記憶手段に対応し、目的情報入力部１６、入力装置６０およびステップＳ２０２は、発明６または７の目的情報取得手段に対応し、ステップＳ２０２は、発明１４、１５、２２または２３の目的情報取得ステップに対応している。また、画像取得部１２およびステップＳ２０４は、発明７の合成元画像取得手段に対応し、ステップＳ２０４は、発明１５または２３の合成元画像取得ステップに対応し、加工ルール選択部３２およびステップＳ２１０は、発明６または７の画像処理ルール選択手段に対応している。

また、上記第２の実施の形態において、ステップＳ２１０は、発明１４、１５、２２または２３の画像処理ルール選択ステップに対応し、画像加工部２６およびステップＳ２１２〜Ｓ２１６は、発明７の合成元画像処理手段に対応し、ステップＳ２１２〜Ｓ２１６は、発明１５または２３の合成元画像処理ステップに対応している。また、画像合成部２８およびステップＳ２２０，Ｓ２２８は、発明７の処理画像合成手段に対応し、ステップＳ２２０，Ｓ２２８は、発明１５または２３の処理画像合成ステップに対応し、画像表示部３６、表示装置６２およびステップＳ２３０は、発明７または８の合成画像提示手段に対応している。

また、上記第２の実施の形態において、ステップＳ２３０は、発明１５、１６、２３または２４の合成画像提示ステップに対応し、評価結果入力部３８、入力装置６０およびステップＳ３００は、発明７または８の評価結果入力手段に対応し、ステップＳ３００は、発明１５、１６、２３または２４の評価結果入力ステップに対応している。また、重要度更新部４０およびステップＳ３０２〜Ｓ３０８は、発明７または８の重要度更新手段に対応し、ステップＳ３０２〜Ｓ３０８は、発明１５、１６、２３または２４の重要度更新ステップに対応している。

なお、上記第２の実施の形態においては、ユーザからの評価結果を入力したタイミングで重要度を更新するように構成したが、これに限らず、画像合成に使った加工ルール、組み合わせ設定、パラメータ群、およびユーザからの評価結果を記憶装置に保存しておき、ある一定期間（例えば、２４時間ごと、１週間ごと）が経過したタイミングで、記憶装置の評価結果に基づいて重要度を更新するように構成することもできる。

また、上記第１および第２の実施の形態においては、選択合成ルールに基づいて複数の加工画像を合成するように構成したが、これに限らず、合成ルールを使用しない構成とすることもできる。この場合、例えば、加工画像の配置位置等を加工ルールに含めることにより、加工ルールに基づいて合成を行うことができる。それ以外にも、同じ大きさに加工した後に合成することもできる。

また、上記第１および第２の実施の形態においては、合成ルールにより規定された合成必要枚数だけパラメータを読み出し、加工ルールおよび読み出したパラメータに基づいて複数の加工画像を生成するように構成したが、これに限らず、組み合わせ設定およびパラメータを対応付け、組み合わせ設定の加工ルールおよびこれに対応するパラメータに基づいて複数の加工画像を生成するように構成することもできる。この場合、例えば、組合設定登録テーブル４４０には、図２０に示すように、必要画像枚数を登録したフィールド４５３と、加工ルールに与えるパラメータのパラメータＩＤを登録したフィールド４５４とが追加される。

図２０は、組合設定登録テーブル４４０のデータ構造を示す図である。
また、上記第２の実施の形態においては、表示した複数の合成画像のなかからいずれか１つを選択するように構成したが、これに限らず、複数の合成画像を選択するように構成することもできる。この場合、１番初めに選択された合成画像については、これに使用された組み合わせ設定およびパラメータに対応する重要度を算出する際の重み付け係数αを大きくし、２番目、３番目の合成画像については、重み付け係数αを徐々に小さくするように構成してもよい。さらに、単に合成画像を選択するだけでなく、合成画像を選択する際に１００点満点中何点かを併せて入力し、入力した点数に応じて重み付け係数αを変更するように構成してもよい。

また、上記第２の実施の形態においては、合成ルール登録テーブル４６０に重要度を設定しなかったが、これに限らず、パラメータ登録テーブル４２０および組合設定登録テーブル４４０と同様に、合成ルール登録テーブル４６０にも重要度を設定するように構成することもできる。この場合、合成ルールを選択する処理は、組み合わせ設定およびパラメータを読み出すのと同様に行うことができる。

また、上記第２の実施の形態においては、加工ルールの学習として、組み合わせ設定およびパラメータに対応する重要度をフィードバックによって更新するように構成したが、これに限らず、パラメータを更新するように構成することもできる。例えば、グレー２５％とグレー３０％のパラメータがあった場合、グレー２５％、グレー３０％がそれぞれ５回ずつ選択されたとき、これらのパラメータをマージして、グレー２７．５％を新しいパラメータとして追加することができる。さらに、この場合、追加ではなく、パラメータを変更してもよい。

また、上記第２の実施の形態においては、加工ルールを学習するために、重要度を利用した学習方法を示したが、これに限らず、遺伝的アルゴリズム（ＧＡ）を使った学習や、ベイジアンネットワークを使った学習、ニューラルを使った学習、Ｎ−Ｇｒａｍに基づく重要度と遷移確率を利用した学習など、他の学習アルゴリズムを適用して学習することもできる。これら他の学習方法を利用した場合は、各ルールの選択手段と、フィードバック手段と、各ルールの保存手段とがそれぞれの学習に対応した形式に変更されるだけで同じ枠組みで動作する。

また、上記第２の実施の形態においては、組合設定登録テーブル４４０に重要度を１つ設定するように構成したが、これに限らず、例えば、合成元画像の分類属性ごとに重要度を設定するように構成することもできる。
図２１は、組合設定登録テーブル４４０のデータ構造を示す図である。
この場合、組合設定登録テーブル４４０には、図２１に示すように、合成元画像の分類属性が風景画像であるときの重要度を登録したフィールド４５５と、合成元画像の分類属性が動物画像であるときの重要度を登録したフィールド４５６と、合成元画像の分類属性が人物画像であるときの重要度を登録したフィールド４５７とが追加される。

図２１の例では、加工ルール５，６は、画像をイラスト風に加工することができるが、風景より、動物や人に適応した方がこの加工ルールの効果が大きいといえる。合成元画像の分類属性に応じて重要度を変更することにより、このような場合に容易に対処できるようになる。
ステップＳ２１０では、入力した目的情報に対応する組み合わせ設定を組合設定登録テーブル４４０から読み出す。このとき、入力した目的情報に対応する組み合わせ設定が複数存在するときは、合成元画像の分類属性を判定し、それらの組み合わせ設定のうち、既に選択されたものを除き、判定した分類属性に対応する重要度が最も大きい組み合わせ設定を組合設定登録テーブル４４０から読み出す。

また、上記第２の実施の形態においては、重要度の持ち方として、ユーザごとに分けるなど特に説明しなかったが、上記第２の実施の形態のように、画像処理装置１００全体で１つの重要度を扱うように構成してもよいし、ユーザプロファイルを保存するユーザプロファイル保存手段を備え、ユーザプロファイルごとに重要度を保持／利用／更新するように構成することもできる。また、ユーザが属するグループごとに扱うように構成することもできる。ユーザやグループごとに重要度を管理できるようになれば、ユーザやグループの希望に適したデザインを実現することができる。

また、上記第１および第２の実施の形態においては、配置位置、合成必要枚数、背景画像の有無、重なり処理を合成ルールとして規定したが、これに限らず、それぞれを別に持っていて、自動的に組み合わせるように構成することもできる。さらに、この組み合わせも自動的に学習するように、パラメータを別のテーブルに保存するように構成することもできる。

また、上記第１および第２の実施の形態においては、目的情報の一覧を表示装置６２に表示してそのなかからいずれかを選択すべきことをユーザに促し、目的情報を入力装置６０から入力するように構成したが、これに限らず、あらかじめどこかのファイルに保存されている目的情報を読み込むように構成することもできる。
また、上記第２の実施の形態においては、入力した目的情報に対応する組み合わせ設定が複数存在するときは、重要度の高い組み合わせ設定を組合設定登録テーブル４４０から読み出すように構成したが、さらに、同一の重要度となる組み合わせ設定が複数存在するときは、それら組み合わせ設定のうちいずれか１つをランダムまたは所定の優先順位（例えば、組合設定登録テーブル４４０に登録されている順）で組合設定登録テーブル４４０から読み出すように構成することもできる。

また、上記第１および第２の実施の形態においては、適用する複数の加工ルールを組み合わせ設定として規定したが、これに限らず、１つの組み合わせのなかで加工ルールの適用順序も併せて規定することもできる。例えば、「加工１＆加工２」という組み合わせ設定に対して「加工１→加工２」というようにすれば、加工ルール１を適用した後に加工ルール２を適用することを規定することができる。加工ルール１を先に適用した場合と、加工ルール２を先に適用した場合で仕上がりが異なる場合に、それら組み合わせ設定を別々に規定することができるので、さらに見栄えのよいデザインを実現することができる。

さらに、この場合、上記第２の実施の形態においては、組み合わせ設定および適用順序を考慮して重要度を更新することができる。例えば、組み合わせ設定として「加工１→加工２」が選択された場合、重要度の更新では、組み合わせ設定「加工１→加工２」に対応する重要度を更新する。また、加工ルール１および加工ルール２に対応する重要度をそれぞれ更新する。このとき、適用順序が後となる加工ルール２は、加工ルール１より合成画像への影響が大きいため、加工ルール２に対応する重要度を加工ルール１に対応する重要度よりも大きい度合いで更新する。

これにより、合成画像への影響度合いを考慮して重要度を更新することができる。
また、上記第１および第２の実施の形態においては、合成元画像から抽出した人物領域を加工するように構成したが、これに限らず、例えば、合成元画像を人の顔領域と動物領域の２つの領域に区分し、それぞれの部分領域に対して別々の加工を行ってから合成するように構成することもできる。

これにより、例えば、部分領域として動物領域と人物領域が抽出された場合に、それぞれの部分領域に対して別々の加工を行うことができる。
また、上記第１および第２の実施の形態においては、画像登録ＤＢ１０、加工ルール登録ＤＢ１８，３０および合成ルール登録ＤＢ２２を画像処理装置１００の外部装置として設けたが、これに限らず、画像登録ＤＢ１０、加工ルール登録ＤＢ１８，３０または合成ルール登録ＤＢ２２をネットワーク上の任意の端末に設け、画像処理装置１００とそれら端末とをネットワークで接続し、画像処理装置１００がそれら端末のＤＢ１０，１８，２２，３０を利用するように構成することもできる。

また、上記第１および第２の実施の形態において、図８、図１６および図１７のフローチャートに示す処理を実行するにあたってはいずれも、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。

ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

また、上記第１および第２の実施の形態においては、本発明に係る画像合成システムおよび画像合成プログラム、並びに画像合成方法を、合成元画像を加工して合成する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。

画像処理装置１００の機能概要を示す機能ブロック図である。 画像処理装置１００のハードウェア構成を示すブロック図である。 加工ルール登録テーブル４００のデータ構造を示す図である。 パラメータ登録テーブル４２０のデータ構造を示す図である。 組合設定登録テーブル４４０のデータ構造を示す図である。 合成ルール登録テーブル４６０のデータ構造を示す図である。 テンプレート４８０の概略的な構成を示す図である。 画像合成処理を示すフローチャートである。 合成元画像５００を示す図である。 加工元画像５０２を示す図である。 加工画像５０６〜５１２を示す図である。 合成画像５１４を示す図である。 画像処理装置１００の機能概要を示す機能ブロック図である。 パラメータ登録テーブル４２０のデータ構造を示す図である。 組合設定登録テーブル４４０のデータ構造を示す図である。 画像合成処理を示すフローチャートである。 重要度更新処理を示すフローチャートである。 合成画像５１６，５１８を示す図である。 組合設定登録テーブル４４０の重要度を変更する場合を説明するための図である。 組合設定登録テーブル４４０のデータ構造を示す図である。 組合設定登録テーブル４４０のデータ構造を示す図である。

符号の説明

１００…画像処理装置， １０…画像登録ＤＢ， １２…画像取得部， １４…人物領域抽出部， １６…目的情報入力部， １８，３０…加工ルール登録ＤＢ， ２０，３２…加工ルール選択部， ２４…合成ルール選択部， ２６…画像加工部， ２８…画像合成部， ３４…提示枚数入力部， ３６…画像表示部， ３８…評価結果入力部， ４０…重要度更新部， ５０…ＣＰＵ， ５２…ＲＯＭ， ５４…ＲＡＭ， ５８…Ｉ／Ｆ， ６０…入力装置， ６２…表示装置， ４００…加工ルール登録テーブル， ４２０…パラメータ登録テーブル， ４４０…組合設定登録テーブル， ４６０…合成ルール登録テーブル， ４８０…テンプレート， ４８２…レイアウト領域， ４８４〜４９０…画像格納枠， ５００…合成元画像， ５０２…加工元画像， ５０６〜５１２…加工画像， ５１４〜５１８…合成画像

Claims (11)

1. 画像を処理して合成する画像合成システムであって、
   合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得手段と、
   合成元となる合成元画像を取得する合成元画像取得手段と、
   画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶する画像処理ルール記憶手段と、
   前記目的情報取得手段で取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから前記画像処理ルールを選択する画像処理ルール選択手段と、
   前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記合成元画像取得手段で取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理手段と、
   前記合成元画像処理手段で生成した複数の処理画像を合成する処理画像合成手段とを備えることを特徴とする画像合成システム。
2. 請求項１において、
   前記画像処理ルールは、与えられたパラメータに基づいて画像を処理するルールを規定したものであり、
   前記合成元画像処理手段は、前記画像処理ルール選択手段で選択した画像処理ルールおよび異なる複数のパラメータに基づいて、前記合成元画像を処理して複数種の処理画像を生成するようになっていることを特徴とする画像合成システム。
3. 請求項１および２のいずれか１項において、
   さらに、画像の合成ルールを記憶する合成ルール記憶手段と、
   前記合成ルール記憶手段のなかから前記合成ルールを選択する合成ルール選択手段とを備え、
   前記処理画像合成手段は、前記合成ルール選択手段で選択した合成ルールに基づいて、前記複数の処理画像を合成するようになっていることを特徴とする画像合成システム。
4. 請求項１ないし３のいずれか１項において、
   さらに、前記合成元画像取得手段で取得した合成元画像から特定の処理領域を処理元画像として抽出する処理元画像抽出手段を備え、
   前記合成元画像処理手段は、前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記処理元画像抽出手段で抽出した処理元画像を処理して複数の処理画像を生成するようになっていることを特徴とする画像合成システム。
5. 請求項４において
   前記特定の処理領域は、人物が映っている人物領域であることを特徴とする画像合成システム。
6. 画像を処理して合成する画像合成システムであって、
   合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得手段と、
   合成元となる合成元画像を取得する合成元画像取得手段と、
   画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶する画像処理ルール記憶手段と、
   前記目的情報取得手段で取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルール記憶手段のなかから選択する画像処理ルール選択手段と、
   前記画像処理ルール選択手段で選択した画像処理ルールに基づいて、前記合成元画像取得手段で取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理手段と、
   前記合成元画像処理手段で生成した複数の処理画像を合成する処理画像合成手段と、
   前記処理画像合成手段で合成した合成画像を提示する合成画像提示手段と、
   前記合成画像提示手段で提示した合成画像に対する評価結果を入力する評価結果入力手段と、
   前記評価結果入力手段で入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新手段とを備えることを特徴とする画像合成システム。
7. 請求項６において、
   前記合成画像提示手段は、異なる複数の前記画像処理ルールに基づいてそれぞれ合成された合成画像を提示するようになっており、
   前記評価結果入力手段は、前記合成画像提示手段で提示した複数の合成画像のなかからいずれかの選択を入力するようになっており、
   前記重要度更新手段は、前記評価結果入力手段で選択された合成画像に使用された画像処理ルールに対応する重要度を更新するようになっていることを特徴とする画像合成システム。
8. 画像を処理して合成する画像合成プログラムであって、
   合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
   合成元となる合成元画像を取得する合成元画像取得ステップと、
   前記目的情報取得ステップで取得した目的情報に基づいて、画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから前記目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルールを選択する画像処理ルール選択ステップと、
   前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
   前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップとをコンピュータに実行させるためのプログラムであることを特徴とする画像合成プログラム。
9. 画像を処理して合成する画像合成プログラムであって、
   合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
   合成元となる合成元画像を取得する合成元画像取得ステップと、
   画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に選択する画像処理ルール選択ステップ、
   前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
   前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップと、
   前記処理画像合成ステップで合成した合成画像を提示する合成画像提示ステップと、
   前記合成画像提示ステップで提示した合成画像に対する評価結果を入力する評価結果入力ステップと、
   前記評価結果入力ステップで入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新ステップとをコンピュータに実行させるためのプログラムであることを特徴とする画像合成プログラム。
10. 画像を処理して合成する画像合成方法であって、
    合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
    合成元となる合成元画像を取得する合成元画像取得ステップと、
    前記目的情報取得ステップで取得した目的情報に基づいて、画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから前記目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に前記画像処理ルールを選択する画像処理ルール選択ステップと、
    前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
    前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップとを含むことを特徴とする画像合成方法。
11. 画像を処理して合成する画像合成方法であって、
    合成結果の用途、方針、その他の目的に関する目的情報を取得する目的情報取得ステップと、
    合成元となる合成元画像を取得する合成元画像取得ステップと、
    画像を処理するルールを規定した画像処理ルールを前記目的情報および重要度と対応付けて記憶した画像処理ルール記憶手段のなかから、前記目的情報取得ステップで取得した目的情報に対応する画像処理ルールのうち前記重要度が大きいものほど優先的に選択する画像処理ルール選択ステップ、
    前記画像処理ルール選択ステップで選択した画像処理ルールに基づいて、前記合成元画像取得ステップで取得した合成元画像を処理して複数の処理画像を生成する合成元画像処理ステップと、
    前記合成元画像処理ステップで生成した複数の処理画像を合成する処理画像合成ステップと、
    前記処理画像合成ステップで合成した合成画像を提示する合成画像提示ステップと、
    前記合成画像提示ステップで提示した合成画像に対する評価結果を入力する評価結果入力ステップと、
    前記評価結果入力ステップで入力した評価結果に基づいて前記画像処理ルール記憶手段の重要度を更新する重要度更新ステップとを含むことを特徴とする画像合成方法。

Images