JP6260144B2 - 画像処理装置およびコンピュータプログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、元画像と、テンプレート画像とを合成する画像処理技術に関する。

合成処理の対象となる画像である複数個の元画像と、テンプレート画像の複数個の合成対象領域と、を合成して、合成画像を生成する技術が知られている（例えば、特許文献１）。この技術では、スキャナなどで取得された複数個の元画像を、取得された順序で、複数個の合成対象領域に順次に合成している。

特開平２００１−０７６１２７号公報

しかしながら、各元画像を、どの合成対象領域に合成するかについて、上記の技術では十分に考慮されていない。このために、各元画像が適切な合成対象領域に合成されるとは限らず、適切な合成画像を生成できない可能性があった。

本発明の目的は、複数個の元画像を、複数個の合成対象領域を含むテンプレート画像に合成する際に、各元画像を適切な合成対象領域に合成して適切な合成画像を生成する技術を提供することである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］画像処理装置であって、
合成処理の対象となる画像である複数個の元画像を表す複数個の元画像データと、複数個の合成対象領域を含むテンプレート画像を表すテンプレート画像データと、を取得する第１の取得部と、
複数個の合成対象領域のうち、少なくとも１個の前記合成対象領域に関する領域情報を取得する第２の取得部と、
各前記元画像データを用いて各前記元画像の特徴を示す特徴値を算出する算出部と、
前記元画像の特徴値と、前記領域情報と、を用いて、複数個の前記元画像を比較した結果、および、複数個の合成対象領域を比較した結果、の少なくとも一方に基づいて、複数個の元画像の中から、複数個の前記合成対象領域のそれぞれに合成する前記元画像を決定する決定部と、
前記テンプレート画像内の複数個の前記合成対象領域のそれぞれに、決定された前記元画像を合成して合成画像を生成する合成部と、
を備える、画像処理装置。

上記構成によれば、元画像の特徴値と、領域情報と、を用いて、複数個の合成対象領域のそれぞれに合成する元画像が決定される。この結果、各元画像を適切な合成対象領域に合成して適切な合成画像を生成することができる。

［適用例２］適用例１に記載の画像処理装置であって、
特定の前記合成対象領域の前記領域情報は、特定の前記合成対象領域に合成すべき画像の色を示す領域色情報を含み、
前記算出部は、前記元画像の色に関する前記特徴値を算出し、
前記決定部は、前記領域色情報と、前記元画像の色に関する前記特徴値と、を用いて、特定の前記合成対象領域に合成する前記元画像として決定する、画像処理装置。

この構成によれば、適切な色の元画像を合成対象領域に合成して適切な合成画像を生成することができる。

［適用例３］適用例２に記載の画像処理装置であって、
前記決定部は、複数個の前記元画像のうち、特定の前記合成対象領域の前記領域色情報によって示される色に最も近い色を有する前記元画像を、特定の前記合成対象領域に合成する前記元画像として決定する、画像処理装置。

この構成によれば、特定の合成対象領域に適切な色の元画像を合成することができる。

［適用例４］適用例２に記載の画像処理装置であって、
前記決定部は、Ｍ個（Ｍは自然数）の前記元画像と、Ｎ個（Ｎは自然数）の前記合成対象領域と、によって、Ｎ個のペアを構成した場合に、Ｎ個のペアの色の差分の合計値が最小となるように、Ｍ個の前記元画像の中から、Ｎ個の前記合成対象領域に合成する前記元画像を前記合成対象領域ごとに決定し、
前記ペアの色の差分は、ペアを構成する前記元画像の色と、ペアを構成する前記合成対象領域の前記領域色情報によって示される色と、の差分である、画像処理装置。

この構成によれば、複数個の合成対象領域のそれぞれに適切な色の元画像を合成することができる。

［適用例５］適用例２ないし適用例４のいずれかに記載の画像処理装置であって、
特定の前記合成対象領域の前記領域色情報は、複数個の色を示す情報を含み、
前記決定部は、前記複数個の色を示す情報を用いて、特定の前記合成対象領域に合成する前記元画像を決定する、画像処理装置。

この構成によれば、特定の合成対象領域により適切な色の元画像を合成することができる。

［適用例６］適用例２ないし適用例５のいずれかに記載の画像処理装置であって、
複数個の前記合成対象領域は、対応する前記領域色情報を有する第１の合成対象領域と、対応する前記領域色情報を有さない第２の合成対象領域と、を含み、
前記決定部は、前記第１の合成対象領域に合成する前記元画像を、前記第２の合成対象領域より優先して決定する、画像処理装置。

この構成によれば、第１の合成対象領域に合成する元画像を、第２の合成対象領域より優先して決定することによって、第１の合成対象領域と第２の合成対象領域とに合成される元画像をそれぞれ適切に決定することができる。

［適用例７］適用例２ないし適用例６のいずれかに記載の画像処理装置であって、
特定の前記合成対象領域の前記領域色情報は、さらに、前記合成対象領域に合成すべき画像の色として許容できる範囲と、許容できない範囲と、を示す許容範囲情報を含み、
前記決定部は、前記許容範囲情報を用いて、前記許容できる範囲内の色を有する前記元画像を、特定の前記合成対象領域に合成する前記元画像として決定する、画像処理装置。

この構成によれば、特定の合成対象領域に、不適切な色を有する前記元画像が合成されることを抑制することができる。

［適用例８］適用例２ないし適用例５のいずれかに記載の画像処理装置であって、さらに、
特定の前記合成対象領域の前記領域色情報を用いて、特定の前記合成対象領域に合成される前記元画像の色を補正する補正部を備える、画像処理装置。

この構成によれば、特定の合成対象領域に合成される元画像の色を補正することによって、合成画像の見栄えを向上することができる。

［適用例９］適用例１ないし適用例８のいずれかに記載の画像処理装置であって、
特定の前記合成対象領域の前記領域情報は、特定の前記合成対象領域のサイズを示す領域サイズ情報を含み、
前記算出部は、前記元画像のサイズに関する前記特徴値を算出し、
前記決定部は、前記領域サイズ情報と、前記元画像のサイズに関する前記特徴値と、を用いて、特定の前記合成対象領域に合成する前記元画像を決定する、画像処理装置。

この構成によれば、元画像のサイズと合成対象領域のサイズに応じて、特定の合成対象領域に、適切なサイズの元画像を合成することができる。

［適用例１０］適用例９に記載の画像処理情報であって、
前記領域サイズ情報は、特定の前記合成対象領域に外接する外接矩形のサイズ、および、前記外接矩形に占める特定の前記合成対象領域の割合、のうち少なくとも一方に基づく情報を含む、画像処理装置。

この構成によれば、特定の合成対象領域に、より適切なサイズの元画像を合成することができる。

［適用例１１］適用例９または適用例１０に記載の画像処理装置であって、
前記合成部は、特定の前記合成対象領域に合成する前記元画像のサイズが、特定の前記合成対象領域のサイズより小さい場合には、前記元画像を複数個連続して並べた画像を、特定の前記合成対象領域に合成する、画像処理装置。

この構成によれば、合成すべき元画像のサイズが、特定の合成対象領域のサイズより小さい場合であっても、適切な合成画像を生成することができる。

［適用例１２］適用例９ないし適用例１１のいずれかに記載の画像処理装置であって、
前記合成部は、特定の前記合成対象領域に合成する前記元画像のサイズと、特定の前記合成対象領域のサイズと、に応じて、前記元画像のサイズを変更し、
サイズが変更された前記元画像を、特定の前記合成対象領域に合成する、画像処理装置。

この構成によれば、合成すべき元画像のサイズと、特定の合成対象領域のサイズと、に応じて、サイズが適切に変更された元画像を特定の合成対象領域に合成することができる。

［適用例１３］適用例１ないし適用例１２のいずれかに記載の画像処理装置であって、
前記第１の取得部は、
前記元画像を含む対象画像を表す対象画像データを取得し、
前記対象画像内の複数個の画素を、背景を表す背景画素と、オブジェクトを表すオブジェクト画素と、に分類し、
複数個の前記オブジェクト画素によって構成される前記元画像を特定し、
特定された前記元画像を表す前記元画像データを取得する、画像処理装置。

この構成によれば、対象画像内のオブジェクトを表す画像を、元画像として適切に特定することができる。

［適用例１４］適用例１ないし適用例１３のいずれかに記載の画像処理装置であって、さらに、
前記合成画像を表す第１の合成画像データと、前記合成画像と余白とを含む画像を表す第２の合成画像データと、を出力する第１の出力部を備え、
前記第１の合成画像データを用いて第１種の用紙に印刷される前記合成画像の用紙上のサイズと、前記第２の合成画像データを用いて前記第１種の用紙より大きな第２種の用紙に印刷される前記合成画像の用紙上のサイズは等しい、画像処理装置。

こうすれば、ユーザは、第２の合成画像データを用いて第２種の用紙に画像を印刷することによって、合成画像を第１種の用紙に印刷することなく、合成画像の内容を適切に確認することができる。

［適用例１５］適用例１ないし適用例１４のいずれかに記載の画像処理装置であって、さらに、
複数個の前記元画像を、前記テンプレート画像に合成して得られる複数種類の前記合成画像を含むテスト画像を表すテスト画像データを出力する第２の出力部を備える、画像処理装置。

ユーザは、複数種類の合成画像の内容を１個のテスト画像を用いて確認できるので、ユーザに対する利便性を向上することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法、これらの装置の機能または方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

第１実施例における画像処理システムの構成を示すブロック図である。 テンプレートデータの一例を示す図である。 領域色情報ＣＩの一例を示す図である。 画像処理システム１０００の動作を示すフローチャートである。 ＵＩ画像の一例を示す図である。 スキャン画像の一例を示す図である。 テクスチャ画像生成処理のフローチャートである。 素材画像と対象領域との組み合わせパターンを示す図である。 本実施例の一次元ルックアップテーブルの一例を説明する図である。 サイズ調整処理のフローチャートである。 サイズ調整処理について説明する図である。 合成画像データによって表される合成画像１０Ｍの一例を示す図である。 第２実施例のテクスチャ画像生成処理のフローチャートである。 第３実施例のテクスチャ画像生成処理のフローチャートである。 変形例のサイズ調整処理の説明図である。

Ａ．第１実施例：
Ａ−１：画像処理システム１０００の構成
図１は、第１実施例における画像処理システムの構成を示すブロック図である。画像処理システム１０００は、画像処理装置としてのサーバ４００と、複合機２００と、を備えている。サーバ４００は、インターネット７０に接続されており、複合機２００は、ＬＡＮ（Local Area Network）５０を介して、インターネット７０に接続されている。この結果、サーバ４００と複合機２００は、ＬＡＮ５０とインターネット７０とを介して、通信可能である。また、ＬＡＮ５０には、複合機２００のユーザのパーソナルコンピュータ５００が接続されていても良い。

サーバ４００は、ＣＰＵ４１０と、ＤＲＡＭなどの揮発性記憶装置４２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置４３０と、インターネット７０などのネットワークに接続するためのインタフェースを含む通信部４８０と、を備えている。揮発性記憶装置４２０には、ＣＰＵ４１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域４２１が設けられている。不揮発性記憶装置４３０には、コンピュータプログラム４３１と、複数個のテンプレートデータを含むテンプレートデータ群４３２と、後述するＵＩデータ群４３３と、が格納されている。

コンピュータプログラム４３１は、例えば、ＤＶＤ−ＲＯＭなどに格納された形態で提供され、サーバ４００の管理者によって、サーバ４００にインストールされる。ＣＰＵ４１０は、コンピュータプログラム４３１を実行することにより、後述する画像処理を実現する。

図２は、テンプレートデータの一例を示す図である。１個のテンプレートデータは、テンプレート画像１０（図２（Ａ））を表すテンプレート画像データと、マスク画像１１（図２（Ｂ））を表すマスク画像データと、領域情報１２と、を含んでいる。

テンプレート画像データは、例えば、ＲＧＢ画像データである。図２の例では、テンプレート画像１０には、文字１０Ａなどのオブジェクトがデザインされた背景画像ＢＧと、他の画像を合成するための合成対象領域１０Ｂ、１０Ｄと、を含んでいる。合成対象領域１０Ｂ、１０Ｄの個数や形状やサイズ、および、背景画像ＢＧのデザインは、テンプレート画像ごとに異なり得る。合成対象領域は、後述する画像処理において、テンプレート画像１０を用いて合成画像を生成する際に、後述するテクスチャ画像内の画像が、合成される領域である。

マスク画像１１は、テンプレート画像１０内の合成対象領域１０Ｂ、１０Ｄを特定するための画像である。マスク画像１１は、テンプレート画像１０と同じサイズ（すなわち、縦方向の画素数および横方向の画素数）を有する。マスク画像１１内の画素の値は、第１値と、第２値と、の２つの値を取る。このマスク画像１１では、第１値は、対応するテンプレート画像１０内の画素が背景画像ＢＧを構成する画素であることを示す。第２値は、対応するテンプレート画像１０内の画素が合成対象領域１０Ｂ、１０Ｄを構成する画素であることを示す。例えば、マスク画像データには、画素ごとに透過率を規定するアルファチャンネルが用いられる。この場合には、例えば、第１値は、透過率が０％であること、すなわち、不透明であることを示す値（例えば、２５５）であり、第２値は、透過率が１００％であること、すなわち、透明であることを示す値（例えば、０）である。

マスク画像１１内のハッチングされていない領域ＭＡは、第１値を有する複数個の画素で構成される領域である。領域ＭＡは、テンプレート画像１０の背景画像ＢＧに対応する。マスク画像１１内のハッチングされた領域１１Ｂ、１１Ｄは、第２値を有する複数個の画素で構成される領域である。領域１１Ｂ、１１Ｄは、テンプレート画像１０内の合成対象領域１０Ｂ、１０Ｄに対応する。

領域情報１２は、合成対象領域１０Ｂ、１０Ｄに関する情報である。具体的には、領域情報１２は、合成対象領域１０Ｂ、１０Ｄを識別する識別子としての領域番号と、合成対象領域１０Ｂ、１０Ｄの代表点ＳＰ１、ＳＰ２の座標と、領域サイズ情報と、領域色情報ＣＩと、を含む。代表点ＳＰ１、ＳＰ２には、例えば、合成対象領域１０Ｂ、１０Ｄに外接する外接矩形１０Ｃ、１０Ｅの左上の頂点が用いられる。領域サイズ情報は、合成対象領域１０Ｂ、１０Ｄの外接矩形１０Ｃ、１０Ｅの幅Ｗ１、Ｗ２（横方向の長さ）および高さＨ１、Ｈ２（縦方向の長さ）を含む。

図３は、領域色情報ＣＩの一例を示す図である。領域色情報ＣＩは、合成対象領域ごとに、合成対象領域に合成すべき画像の色を示す情報である。図３の領域色情報ＣＩは、理想色情報と、許容範囲情報と、を含む。理想色情報は、合成対象領域に合成される画像の色として理想的な色（理想色とも呼ぶ）を示す情報である。本実施例では、理想色は、機器独立色空間であるＣＩＥＬＡＢ色空間（＊Ｌ＊ａ＊ｂ色空間）における表色値を用いて表されている。例えば、馬の形状を有する第１の合成対象領域１０Ｂには、馬の色として一般的な茶色、葦毛の色などが理想色に設定され得る。

１個の合成対象領域には、１個の理想色に限らず、複数個の理想色が対応付けられてもよい。例えば、図３の領域色情報ＣＩでは、第１の合成対象領域１０Ｂに対して、２個の理想色（L1,a1,b1）、（L2,a2,b2）が対応付けられている。この結果、合成対象領域１０Ｂの形状などに応じて、適切な理想色を対応付けることができる。したがって、合成対象領域１０Ｂにより適切な色の素材画像を合成することができる。

また、１個の合成対象領域には、理想色が対応付けられていなくても良い。例えば、文字の形状を有する第２の合成対象領域１０Ｄには、理想色は対応付けられていない。第２の合成対象領域１０Ｄに理想色が対応付けられていないことによって、後述するテクスチャ画像生成処理において、理想色が対応付けられている第１の合成対象領域１０Ｂに合成する素材画像を、第２の合成対象領域１０Ｄより優先的に決定することができる。

許容範囲情報は、本実施例では、合成対象領域に合成される画像の色として許容できない色の範囲（非許容範囲とも呼ぶ）が記述されている。非許容範囲外の範囲は、許容できる色の範囲（許容範囲とも呼ぶ）と言うことができるので、許容範囲情報は、許容範囲と、非許容範囲を規定する情報であると、言うことができる。図３の領域色情報ＣＩでは、合成対象領域１０Ｂ、１０Ｄのそれぞれについて、明度（＊Ｌ値）の非許容範囲が規定されている。非許容範囲が規定されていない成分値（図３の例では＊ａ値と＊ｂ値）は、全ての範囲の値が許容されることを示している。図３の領域色情報ＣＩで、明度（＊Ｌ値）の非許容範囲（Ｌ４≦＊Ｌや、Ｌ５≦＊Ｌ）が規定されているのは、背景画像ＢＧ（主として白色（最明色））とのコントラストをある程度確保するためである。

図１に戻って説明を続ける。図１の複合機２００は、ＣＰＵ２１０と、ＤＲＡＭなどの揮発性記憶装置２２０と、フラッシュメモリやハードディスクドライブなどの不揮発性記憶装置２３０と、プリンタ部２４０と、スキャナ部２５０と、タッチパネルやボタンなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、外部機器と通信を行う通信部２８０と、を備えている。例えば、通信部２８０は、ＬＡＮ５０などのネットワークに接続するためのインタフェースや、外部記憶装置（例えば、ＵＳＢメモリ）と接続するためのインタフェースを含んでいる。

揮発性記憶装置２２０には、ＣＰＵ２１０が処理を行う際に生成される種々のデータを一時的に格納するバッファ領域２２１が設けられている。不揮発性記憶装置２３０には、制御プログラム２３１が格納されている。

プリンタ部２４０は、インクジェット方式やレーザー方式などの印刷方式を用いて印刷を実行する。スキャナ部２５０は、光電変換素子（例えば、ＣＣＤ、ＣＭＯＳ）を用いて光学的に原稿を読み取ることによってスキャンデータを生成する。

ＣＰＵ２１０は、制御プログラム２３１を実行することにより、複合機２００の制御を実行する。例えば、ＣＰＵ２１０は、プリンタ部２４０やスキャナ部２５０を制御して、コピー処理、印刷処理、スキャン処理などを実行する。さらに、ＣＰＵ２１０は、サーバ４００にアクセスして、サーバ４００が提供するサービスを利用するサービス利用処理を、実行することができる。

Ａ−２：画像処理システム１０００の動作
サーバ４００のＣＰＵ４１０は、クライアントとしての複合機２００の要求に応じて、後述するテクスチャ画像を生成し、生成されたテクスチャ画像をテンプレート画像に合成して、合成画像を生成する画像処理を実行する。この画像処理は、本実施例では、サーバ４００がクライアントに提供する画像生成サービスを実現するために、実行される。以下では、サーバ４００が提供する画像生成サービスを含む画像処理システム１０００の動作について説明する。

図４は、画像処理システム１０００の動作を示すフローチャートである。このフローチャートの処理は、複合機２００が、サーバ４００が提供する画像生成サービスの利用指示を、ユーザから受け付けた場合に開始される。この画像生成サービスは、具体的には、スキャナ部２５０を用いて生成されたスキャンデータを用いて、ハガキ（例えば、年賀ハガキ）に印刷するための合成画像を生成するサービスである。スキャンデータは、例えば、ＲＧＢ画像データである。

処理が開始されると、ステップＳ５では、複合機２００のＣＰＵ２１０は、サービス開始要求を、サーバ４００に対して送信する。サーバ４００のＣＰＵ４１０は、サービス開始要求を受信すると、ＵＩデータ群４３３（図１）から画像生成サービスの提供に必要なＵＩデータを選択し、該ＵＩデータを複合機２００に対して送信する（ステップＳ１０）。ＵＩデータは、具体的には、ＵＩ画像を表示するために必要な各種の画像データと、制御データと、を含む。この制御データは、例えば、ＵＩ画像を利用して複合機２００が所定の処理（具体的には、後述するＳ１５、Ｓ２０、Ｓ３０、Ｓ３５の処理）を行うために必要な各種のデータを含む。例えば、制御データは、ＵＩ画像（例えば、図５）を介して受け付けたユーザの指示に基づいて、複合機２００が実行すべき処理、例えば、サーバ４００に選択指示データを送信する処理を示す情報を含む。

ステップＳ１５では、ＣＰＵ２１０は、受信したＵＩデータに基づいて、テンプレート画像選択処理を実行する。テンプレート画像選択処理は、テンプレート画像（例えば、図２のテンプレート画像１０）を選択する指示を、ユーザから受け付ける処理である。

図５は、ＵＩ画像の一例を示す図である。先ず、ＣＰＵ２１０は、図５（Ａ）のＵＩ画像ＵＧ１を表示部２７０に表示して、利用するテンプレート画像の選択をユーザから受け付ける。例えば、ＵＩ画像ＵＧ１は、選択可能な複数個のテンプレート画像を示す複数個のサムネイル画像ＳＭ１、ＳＭ２と、テンプレート画像の選択を促すメッセージＭＳ１と、を含む。ＵＩ画像ＵＧ１やサムネイル画像ＳＭ１、ＳＭ２示す画像データ群は、サーバ４００から受信されたＵＩデータに含まれているデータ群が用いられる。

ステップＳ２０では、ＣＰＵ２１０は、ユーザによって選択されたテンプレート画像を指定する情報を含む選択指示データを、サーバ４００に対して送信する。

ステップＳ２５では、サーバ４００のＣＰＵ４１０は、受信された選択指示データに基づいて、不揮発性記憶装置４３０に格納されたテンプレートデータ群４３２（図１）の中から、ユーザによって選択されたテンプレート画像に対応するテンプレートデータを取得する。テンプレートデータは、外部機器、例えば、サーバ４００と接続された他のサーバや外部記憶装置から取得されても良い。なお、図２に示すテンプレート画像１０がユーザによって選択された場合を例として、以後の処理を説明する。

ステップＳ２０の選択指示データの送信に続いて、複合機２００のＣＰＵ２１０は、スキャンデータ生成処理を実行する（ステップＳ３０）。スキャンデータ生成処理は、テンプレート画像１０に合成すべきテクスチャ画像（詳細は後述）を生成するために用いられるスキャンデータを生成する処理である。具体的には、ＣＰＵ２１０は、図５（Ｂ）のＵＩ画像ＵＧ２を表示部２７０に表示する。ＵＩ画像ＵＧ２は、例えば、使用する素材をスキャナ部２５０に読み取らせるように、ユーザに促すメッセージＭＳ２を含む。使用する素材には、本実施例では、比較的薄く、様々な模様や形状を有する物、具体的には、植物の葉、布、和紙、折り紙、金属板、などが想定されている。ステップＳ３０では、ＣＰＵ２１０は、利用者が用意した素材を、スキャナ部２５０を用いて読み取ることによって、スキャンデータを生成する。例えば、テンプレート画像１０内の２個の合成対象領域１０Ｂ、１０Ｄに対応して、２種類の布を素材として読み取ることによって、第１のスキャンデータと第２のスキャンデータが生成される。

図６は、スキャン画像の一例を示す図である。図６（Ａ）のスキャン画像１４は、円形の布を読み取って得られた第１のスキャンデータによって表される画像である。スキャン画像１４は、素材としての円形の布を表す部分画像５と、異物を表す部分画像６と、背景画像７と、含んでいる。図６（Ｂ）のスキャン画像１５は、略矩形の布を読み取って得られる第２のスキャンデータによって表される画像である。スキャン画像１５は、素材としての略矩形の布を表す部分画像８と、背景画像９と、を含んでいる。

スキャンデータが生成されると、続くステップＳ３５では、ＣＰＵ４１０は、生成されたスキャンデータを、サーバ４００に送信する。この結果、サーバ４００のＣＰＵ４１０は、スキャンデータを取得する（ステップＳ４０）。

ステップＳ４５では、ＣＰＵ４１０は、テクスチャ画像生成処理を実行する。テクスチャ画像生成処理では、スキャン画像１４、１５の部分画像である素材画像を用いてテクスチャ画像が生成される。

図７は、テクスチャ画像生成処理のフローチャートである。ステップＳ１００では、処理対象のスキャンデータを選択する。例えば、スキャン画像１４を表す第１のスキャンデータと、スキャン画像１５を表す第２のスキャンデータの中から、１個のスキャンデータが処理対象として選択される。以下では、スキャン画像１４を表す第１のスキャンデータが処理対象である場合を先に説明する。

ステップＳ１１０では、ＣＰＵ４１０は、処理対象のスキャン画像１４（図６（Ａ））内のオブジェクト画素と背景画素とを特定する。具体的には、ＣＰＵ４１０は、第１のスキャンデータを二値化して、スキャン画像１４内の複数個の画素を、背景の色（例えば、白）を有する背景画素と、背景の色とは異なる色を有するオブジェクト画素とに分類する。

図６（Ｃ）には、二値化された第１のスキャンデータによって表される二値画像１６が示されている。二値画像１６において、黒色の領域は、オブジェクト画素によって構成される領域であり、白色の領域は、背景画素によって構成される領域を示す。

ステップＳ１２０では、ＣＰＵ４１０は、二値画像１６において、連続する複数個のオブジェクト画素を、１個のオブジェクトとして特定する。図６（Ｃ）の例では、スキャン画像１４内の２個のオブジェクト、すなわち、円形の布と異物とに対応する２個の領域５Ａ、６Ａが特定される。この結果、スキャン画像１４内において、円形の布を表す部分画像５と、異物を表す部分画像６と、が特定される。

ステップＳ１３０では、ＣＰＵ４１０は、特定されたオブジェクトのうち、サイズが最大のオブジェクトの内接矩形を特定する。オブジェクトのサイズは、例えば、オブジェクトを構成するオブジェクト画素の個数で表すことができる。図６（Ａ）の例では、スキャン画像１４内の円形の布を表す部分画像５のサイズは、異物を表す部分画像６より大きいので、円形の布を表す部分画像５の内接矩形ＩＳが特定される（図６（Ａ））。本実施例では、部分画像５の内接矩形ＩＳとして、部分画像５の輪郭に内接する最大の内接矩形が特定される。

最大の内接矩形ＩＳは、公知の方法で決定される。例えば、特開２００７−１４０５９３には、所定のアスペクト比の矩形のマスクで画像の所定領域内を走査して、所定領域内に留まる矩形のマスクの最大のサイズを記録する処理を、様々なアスペクト比のマスクを用いて繰り返す方法が開示されている。

ステップＳ１４０では、ＣＰＵ４１０は、部分画像５の最大の内接矩形ＩＳ１内の画像を、スキャン画像１４から抽出して（切り出して）、第１の素材画像１７（図６（Ｄ））を生成する。すなわち、この結果、スキャン画像１４からオブジェクトを表す複数個のオブジェクト画素によって構成された第１の素材画像１７を表す画像データが生成される。

ステップＳ１１０〜１４０の処理によって、スキャン画像１４内のオブジェクト（具体的には、布などの素材）を表す画像を適切に特定して、第１の素材画像１７を表す画像データを生成することができる。

ステップＳ１５０では、ＣＰＵ４１０は、全てのスキャンデータが処理されたか否かを判断する。未処理のスキャンデータがある場合には（ステップＳ１５０：ＮＯ）、ＣＰＵ４１０は、ステップＳ１００に戻って、未処理のスキャンデータを選択して、上述したステップＳ１１０〜１４０の処理を繰り返す。この結果、スキャン画像１５（図６（Ｂ））から、略矩形の布を表す部分画像８の内接矩形ＩＳ２内の画像が抽出されて、第２の素材画像１８（図６（Ｅ））を表す画像データが生成される。

未処理のスキャンデータがない場合には（ステップＳ１５０：ＹＥＳ）、ＣＰＵ４１０は、各素材画像１７、１８の代表色を算出する（ステップＳ１６０）。具体的には、ＣＰＵ４１０は、第１の素材画像１７を表す画像データの色空間を、ＲＧＢ色空間からＣＩＥＬＡＢ色空間に変換する。ＣＰＵ４１０は、第１の素材画像１７のヒストグラムデータを、＊Ｌ値、＊ａ値、＊ｂ値についてそれぞれ作成し、＊Ｌ値、＊ａ値、＊ｂ値の最頻値（Ｌｍ、ａｍ、ｂｍ）を第１の素材画像１７の代表色として算出する。第２の素材画像１８についても同様である。なお、代表色は、＊Ｌ値、＊ａ値、＊ｂ値の最頻値に限らず、平均値や中間値であっても良い。

ステップＳ１７０では、ＣＰＵ４１０は、素材画像と合成対象領域との組み合わせパターンを特定する。例えば、Ｎ個（Ｎは自然数）の素材画像と、Ｎ個の合成対象領域と、が存在する場合には、Ｎ個（Ｎは自然数）の素材画像と、Ｎ個の合成対象領域と、によって構成されたＮ個のペアを含む全ての組み合わせパターンが特定される。図８は、素材画像と対象領域との組み合わせパターンを示す図である。この例では、２個の素材画像１７、１８と、２個の合成対象領域１０Ｂ、１０Ｄと、の組み合わせであるので、パターン１と、パターン２と、の２つのパターンが特定される。パターン１は、第１の合成対象領域１０Ｂと第１の素材画像１７とのペアと、第２の合成対象領域１０Ｄと第２の素材画像１８とのペアと、を含む。パターン２は、第１の合成対象領域１０Ｂと第２の素材画像１８とのペアと、第２の合成対象領域１０Ｄと第１の素材画像１７とのペアと、を含む。

ステップＳ１８０では、ＣＰＵ４１０は、各パターンの色差合計値ΔＶＴを算出する。パターンが、Ｎ個（Ｎは自然数）の素材画像と、Ｎ個の合成対象領域と、によって構成されたＮ個のペアを含む場合には、当該パターンの色差合計値ΔＶＴは、Ｎ個のペアの色の差分ΔＰＣ（１）〜ΔＰＣ（Ｎ）の合計値である。ペアの色の差分ΔＰＣは、ペアを構成する合成対象領域の理想色と、素材画像の代表色と、のＣＩＥＬＡＢ色空間におけるユークリッド距離である。

ここで、特定の合成対象領域に、複数個の理想色が対応付けられている場合には、複数個の理想色のうち、ペアを構成する素材画像の代表色との間のユークリッド距離が最小となる理想色が採用される。この結果、素材画像の色に応じて、複数個の理想色を適切に使い分けることによって、合成対象領域により適切な色の素材画像を合成することができる。

また、特定の合成対象領域に、理想色が対応付けられていない場合には、当該特定の合成対象領域を含むペアの色の差分は、「０」とされる。例えば、図３の例では、第２の合成対象領域１０Ｄに理想色が対応付けられていないので、第２の合成対象領域１０Ｄと、任意の素材画像と、のペアの色の差分は、常に「０」とされる。したがって、図８の例では、パターン１の色差合計値ΔＶＴ１は、第１の合成対象領域１０Ｂの理想色と第１の素材画像１７の代表色とのユークリッド距離である。パターン２の色差合計値ΔＶＴ２は、第１の合成対象領域１０Ｂの理想色と第２の素材画像１８の代表色とのユークリッド距離である。

ステップＳ１９０では、ＣＰＵ４１０は、色差合計値ΔＶＴが最小となる組み合わせパターンを、合成対象領域と素材画像との対応関係を定める組み合わせパターンに決定する。例えば、パターン１の色差合計値ΔＶＴ１が、パターン２の色差合計値ΔＶＴ２より小さい場合には、パターン１に示すように、第１の合成対象領域１０Ｂに第１の素材画像１７を合成し、第２の合成対象領域１０Ｄに第２の素材画像１８を合成することが決定される。また、パターン１の色差合計値ΔＶＴ１が、パターン２の色差合計値ΔＶＴ２以上である場合には、パターン２に示すように、第１の合成対象領域１０Ｂに第２の素材画像１８を合成し、第２の合成対象領域１０Ｄに第１の素材画像１７を合成することが決定される。

ここで、上述したように、第２の合成対象領域１０Ｄには、理想色が対応付けられていないので、第２の合成対象領域１０Ｄと、任意の素材画像と、のペアの色の差分は、常に「０」とされる。すなわち、第２の合成対象領域１０Ｄを含むペアの色の差分は、色差合計値ΔＶＴに影響を与えない。したがって、ステップＳ１９０では、第２の合成対象領域１０Ｄについては考慮されずに、第１の合成対象領域１０Ｂを含むペアの色の差分に基づいて、合成対象領域１０Ｂ、１０Ｄに合成すべき素材画像が決定されることになる。換言すれば、理想色が対応付けられている第１の合成対象領域１０Ｂに合成する素材画像が、第２の合成対象領域１０Ｄより優先的に決定される。この結果、第１の合成対象領域１０Ｂと第２の合成対象領域１０Ｄとに合成される素材画像をそれぞれ適切に決定することができる。

ステップＳ２００では、ＣＰＵ４１０は、合成すべき合成対象領域に対応付けられた許容範囲外にある代表色を有する素材画像があるか否かを判断する。このような素材画像がある場合には（ステップＳ２００：ＹＥＳ）、ＣＰＵ４１０は、その素材画像の色を補正する色補正処理を実行する（ステップＳ２１０）。具体的には、ＣＰＵ４１０は、その素材画像の各画素の色値（＊Ｌ、＊ａ、＊ｂ）の成分値を、一次元ルックアップテーブルを用いて、補正する。

図９は、本実施例の一次元ルックアップテーブルの一例を説明する図である。図９には、＊Ｌ値を補正するためのγカーブである。本実施例の一次元ルックアップテーブルは、図９に示すγカーブの入力値＊Ｌｉｎと出力値＊Ｌｏｕｔとを対応付けたテーブルである。図９に示すγカーブでは、補正対象の素材画像の代表色の＊Ｌ値であるＬｒｅを入力した場合に、＊Ｌ値の目標値Ｌｔａｒが出力されるように、γ値が調整されている。＊Ｌ値の目標値Ｌｔａｒは、例えば、対応する合成対象領域の＊Ｌ値の許容範囲の上限値および下限値のうち、素材画像の代表色の＊Ｌ値Ｌｒｅに近い値であっても良い。また、合成すべき合成対象領域に理想色が対応付けられている場合には、＊Ｌ値の目標値Ｌｔａｒは、理想色の＊Ｌ値Ｌｉｄであっても良い。この色補正は、例えば、代表色を理想色に近づける補正を行う場合には、色値（＊Ｌ、＊ａ、＊ｂ）の３つの成分値の全てに対して実行される。また、許容範囲外の代表色を許容範囲内の色に補正する場合には、色値（＊Ｌ、＊ａ、＊ｂ）の３つの成分値のうち、代表色の値が許容範囲外である成分値に対して実行される。このように、γカーブを用いて補正を行うことによって、素材画像の模様や質感を維持しつつ、全体の色を変更することができる。

このように、理想色や色の許容範囲が規定された領域色情報ＣＩ（図３）を用いて、素材画像の補正を行うことによって、後に生成される合成画像１０Ｍ（図１２）の見栄えを向上することができる。

図７のステップＳ２００において、合成すべき合成対象領域に対応付けられた許容範囲外にある代表色を有する素材画像がない場合には（ステップＳ２００：ＮＯ）、ＣＰＵ４１０は、ステップＳ２１０をスキップする。

ステップＳ２２０では、ＣＰＵ４１０は、サイズ調整処理を実行する。サイズ調整処理は、合成すべき合成対象領域１０Ｂ、１０Ｄのサイズに応じて、素材画像１７、１８のサイズを調整する処理である。

図１０は、サイズ調整処理のフローチャートである。図１０のサイズ調整処理は、合成に用いられる全ての素材画像（本実施例では、素材画像１７、１８）に対して、それぞれ実行される。ステップＳ３００では、ＣＰＵ４１０は、素材画像が、合成されるべき合成対象領域より小さいか否かを判断する。具体的には、素材画像の幅、および、高さのうちの少なくとも一方が、合成対象領域の幅、および、高さより小さい場合には、素材画像が、合成対象領域より小さいと判断される。素材画像の幅、および、高さの両方が、合成対象領域の幅、および、高さ以上である場合には、素材画像が、合成対象領域以上のサイズであると判断される。本実施例では、合成対象領域は、図２の合成対象領域１０Ｂ、１０Ｄのように、馬や文字などの様々な形状を有し得る（図２）。このために、合成対象領域０Ｂ、１０Ｄのサイズを示す値には、合成対象領域の外接矩形１０Ｃ、１０Ｅの幅および高さが用いられる（図２（Ａ））。

素材画像が、合成対象領域以上のサイズである場合には（ステップＳ３００：ＮＯ）、ＣＰＵ４１０は、素材画像を合成対象領域のサイズにトリミングして、合成対象領域のサイズを有するテクスチャ画像を生成する（ステップＳ３１０）。すなわち、合成対象領域の幅および高さを有する矩形のテクスチャ画像が生成される。

図１１は、サイズ調整処理について説明する図である。図１１（Ａ）の例では、第２の素材画像１８の幅ＳＷ２および高さＳＨ２が、第２の素材画像１８を合成すべき第１の合成対象領域１０Ｂの高さＨ１および幅Ｗ１より大きい場合を示している。この場合には、ＣＰＵ４１０は、第２の素材画像１８をトリミングして、第１の合成対象領域１０Ｂの幅Ｗ１および高さＨ１を有する矩形のテクスチャ画像２８を生成する。テクスチャ画像２８は、第１の合成対象領域１０Ｂの外接矩形１０Ｃと同じサイズである、とも言うことができる。

素材画像が、合成対象領域より小さい場合には（ステップＳ３００：ＹＥＳ）、ＣＰＵ４１０は、複数個の素材画像を連続して並べることによって、合成対象領域のサイズを有するテクスチャ画像を生成する（ステップＳ３２０）。この結果、素材画像のサイズが、対応する合成対象領域のサイズより小さい場合であっても、適切な合成画像を生成することができる。複数個の素材画像を連続して並べる処理をタイリング処理とも呼ぶ。

図１１（Ｂ）の例では、第１の素材画像１７の幅ＳＷ１および高さＳＨ１が、素材画像１７を合成すべき第２の合成対象領域１０Ｄの高さＨ２および幅Ｗ２より小さい場合を示している。ＣＰＵ４１０は、４個の素材画像１７を、縦２×横２のマトリクス状に並べることで、第２の合成対象領域１０Ｄより大きなサイズのテクスチャ画像を生成する。ＣＰＵ４１０は、第２の合成対象領域１０Ｄより大きなサイズのテクスチャ画像をトリミングして、第２の合成対象領域１０Ｄの幅Ｗ２および高さＨ２を有する矩形のテクスチャ画像２７を生成する。テクスチャ画像２７は、第２の合成対象領域１０Ｄの外接矩形１０Ｅと同じサイズである、とも言うことができる。サイズ調整処理が終了すると、テクスチャ画像生成処理が終了される。

図４に戻って説明を続ける。テクスチャ画像生成処理が終了すると、続くステップＳ５５では、合成処理が実行される。合成処理は、テクスチャ画像２７、２８を、テンプレート画像１０の合成対象領域１０Ｄ、１０Ｂ（図２（Ａ））に合成して、合成画像を表す合成画像データを生成する処理である。

第１の合成対象領域１０Ｂに、テクスチャ画像２８（図１１（Ａ））を合成する場合を例に説明する。ＣＰＵ４１０は、領域情報１２（図２（Ｃ））を参照して、テンプレート画像１０上における第１の合成対象領域１０Ｂの外接矩形１０Ｃの左上の頂点ＳＰ１の位置（座標）を取得する。ＣＰＵ４１０は、第１の合成対象領域１０Ｂの頂点ＳＰ１の画素と、テクスチャ画像２８の左上の頂点の画素と、が対応するように、テンプレート画像１０の座標系と、テクスチャ画像２８の座標系と、を対応付ける。

そして、ＣＰＵ４１０は、テクスチャ画像２８の画素を１個ずつ注目画素に設定して、テクスチャ画像２８内の画素ごとに次の処理を実行する。すなわち、ＣＰＵ４１０は、テクスチャ画像２８内の注目画素に対応する、マスク画像１１（図２（Ｂ））内の画素を参照する。ＣＰＵ４１０は、参照したマスク画像１１内の画素の値が第２値である場合には、参照したマスク画像１１内の画素に対応するテンプレート画像１０内の画素の色値を、テクスチャ画像２８の注目画素の色値に置換する。ＣＰＵ４１０は、参照したマスク画像１１内の画素の値が第１値である場合には、参照したマスク画像１１内の画素に対応するテンプレート画像１０内の画素の色値を、元の値に維持する。

この結果、テンプレート画像１０の第１の合成対象領域１０Ｂを構成する複数個の画素の色値が、テクスチャ画像２８内の画素の色値に置換されて、合成画像データが生成される。ＣＰＵ４１０は、同様の処理を行うことによって、テンプレート画像１０の第２の合成対象領域１０Ｄに、テクスチャ画像２７（図１１（Ｂ））を合成する。

図１２は、合成画像データによって表される合成画像１０Ｍの一例を示す図である。合成画像１０Ｍにおいて、第１の合成対象領域１０Ｂの形状（馬の形状）を有するテクスチャ画像２８Ｐが、第１の合成対象領域１０Ｂに合成されている。また、第２の合成対象領域１０Ｄの形状（文字の形状）を有するテクスチャ画像２７Ｐが、第２の合成対象領域１０Ｄに合成されている。テクスチャ画像２８Ｐは、矩形のテクスチャ画像２８（図１１（Ａ））の部分画像であり、テクスチャ画像２７Ｐは、矩形のテクスチャ画像２７（図１１（Ｂ））の部分画像である。

ステップＳ６０では、ＣＰＵ４１０は、ステップＳ５５で生成された合成画像データを用いて、テスト画像１０Ｔ（図１２（Ｂ））を表すテスト画像データを生成する。テスト画像１０Ｔは、合成画像１０Ｍと余白ＭＪとを含んでいる。余白ＭＪには、テスト画像１０Ｔが、合成画像１０Ｍのテスト印刷のための画像であることを示すメッセージＭＳ３、ＭＳ４が配置されている。

なお、合成画像１０Ｍを示す合成画像データは、ハガキに合成画像１０Ｍを印刷するための画像データである。一方、テスト画像１０Ｔを表すテスト画像データは、ハガキより大きなＡ４サイズの用紙にテスト画像１０Ｔを印刷するためのデータである。合成画像データを用いて、ハガキに印刷される合成画像１０Ｍのハガキ上のサイズと、テスト画像データを用いて、Ａ４サイズの用紙に印刷されるテスト画像１０Ｔ内の合成画像１０Ｍの用紙上のサイズとは、互いに等しい。このために、Ａ４サイズの用紙に印刷されたテスト画像１０Ｔを見たユーザは、ハガキに合成画像１０Ｍを印刷することなく、ハガキに印刷された場合の合成画像１０Ｍの内容を適切に確認することができる。

ステップＳ６５では、ＣＰＵ４１０は、生成された合成画像データと、テスト画像データと、を複合機２００に対して送信して処理を終了する。複合機２００のＣＰＵ２１０は、合成画像データとテスト画像データとを受信すると、これらの画像データをバッファ領域２２１に格納するとともに、ユーザに合成画像データとテスト画像データを受信したことを通知する。

合成画像データとテスト画像データは、ユーザの利用に供される。ユーザは、例えば、複合機２００に、テスト画像１０ＴをＡ４サイズの用紙上に印刷させる。そして、ユーザは、Ａ４サイズの用紙に印刷されたテスト画像１０Ｔに含まれる合成画像１０Ｍを確認する。ユーザは、合成画像１０Ｍの内容に満足した場合には、複合機２００に、合成画像１０Ｍをハガキ上に印刷させる。ユーザは、合成画像１０Ｍの内容に満足しない場合には、合成画像１０Ｍの生成をもう一度行ってもよい。例えば、使用するテンプレート画像や、
利用する素材を変更して、複合機２００とサーバ４００とに図３の処理をもう一度実行させても良い。

上記実施例によれば、ユーザが用意した素材を表す素材画像を利用して、見栄えの良いテクスチャ画像２７、２８が生成される。そして、テクスチャ画像２７、２８がテンプレート画像１０に合成されることによって、独創性のある魅力的な合成画像１０Ｍが生成され得る。

上記実施例によれば、合成対象領域１０Ｂ、１０Ｄに関する領域色情報ＣＩ（図３）を含むテンプレートデータが取得され（図４のステップＳ２５）、素材画像１７、１８の代表色を示す色値が算出される（図７のステップＳ１６０）。そして、代表色を示す色値と領域色情報ＣＩとを用いて算出される色差合計値ΔＶＴを用いて、複数個の素材画像１７、１８と、合成対象領域１０Ｂ、１０Ｄと、が比較される（ステップＳ１８０、Ｓ１９０）。この比較結果に基づいて、複数個の合成対象領域１０Ｂ、１０Ｄに合成する素材画像が決定される（ステップＳ１９０）。この結果、各素材画像１７、１８を適切な合成対象領域１０Ｂ、１０Ｄに合成して適切な合成画像１０Ｍを生成することができる。なお、素材画像１７、１８は、元画像の例であり、素材画像１７、１８の代表色を示す色値は、「元画像の色に関する特徴値」の例である。

特に、領域色情報ＣＩは、合成対象領域１０Ｂに合成すべき画像の色を示す理想色情報を含んでいるので、適切な色の素材画像１７、１８を合成対象領域１０Ｂに合成して適切な合成画像１０Ｍを生成することができる。

また、色差合計値ΔＶＴが最小となるように、素材画像１７、１８と合成対象領域１０Ｂ、１０Ｄとペアの組み合わせパターンを決定し、当該パターンに従って、複数個の合成対象領域１０Ｂ、１０Ｄに合成する素材画像が決定される（ステップＳ１９０）。換言すれば、全体として、各合成対象領域に対応付けられた理想色と、各素材画像の代表色と、が最も近い色になるように、合成対象領域と素材画像との組み合わせパターンが決定される。各合成対象領域に対して、したがって、複数個の合成対象領域のそれぞれに適切な色の素材画像を合成することができる。

Ｂ.第２実施例：
第２実施例では、第１実施例とは異なるテクスチャ画像生成処理が実行される。図１３は、第２実施例のテクスチャ画像生成処理のフローチャートである。ステップＳ４００では、図７のステップＳ１００〜Ｓ１５０までの処理が実行され、テンプレート画像１０に合成すべき複数個の素材画像１７、１８が生成される。

ステップＳ４１０では、素材画像１７、１８のサイズを算出する。すなわち、ＣＰＵ４１０は、素材画像１７、１８の幅ＳＷ１、ＳＷ２と高さＳＨ１、ＳＨ２とを算出し（図６）、素材画像１７、１８の面積ＳＳ１（ＳＷ１×ＳＨ１）、ＳＳ２（ＳＷ２×ＳＨ２）を算出する。

ステップＳ４２０では、合成対象領域１０Ｂ、１０Ｄのサイズを取得する。すなわち、ＣＰＵ４１０は、領域情報１２に含まれる領域サイズ情報（図２（Ｃ））を取得する。そして、ＣＰＵ４１０は、合成対象領域１０Ｂ、１０Ｄの領域サイズ情報（幅Ｗ１、Ｗ２と高さＨ１、Ｈ２）を用いて、合成対象領域１０Ｂ、１０Ｄの面積Ｓ１（Ｗ１×Ｈ１）、ＳＳ２（Ｗ２×Ｈ２）を算出する。

ステップＳ４３０では、ＣＰＵ４１０は、素材画像１７、１８と、合成対象領域１０Ｂ、１０Ｄと、をサイズ順に組み合わせることによって、組み合わせパターンを決定する。すなわち、素材画像１７、１８のうち、サイズが大きい方の素材画像が、合成対象領域１０Ｂ、１０Ｄのうち、サイズが大きい方の合成対象領域に合成されることが決定され、サイズが小さい方の素材画像が、サイズが小さい方の合成対象領域に合成されることが決定される。

ステップＳ４４０では、ＣＰＵ４１０は、図７のステップＳ１６０と同様に、各素材画像１７、１８の代表色を算出する。ステップＳ４５０〜Ｓ４７０では、図７のステップＳ２００〜ステップＳ２２０までの処理が実行される。

以上説明した第２実施例によれば、素材画像１７、１８のサイズと、合成対象領域１０Ｂ、１０Ｄのサイズに応じて、合成対象領域に、適切なサイズの素材画像を合成することができる。詳しく説明すると、素材画像が合成対象領域に合成される際に、素材画像に対するタイリング処理（図１０のＳ３２０、図１１（Ｂ））が行われない方が、素材画像をそのまま生かした合成画像１０Ｍを生成することができると、考えられる。このために、本実施例では、サイズが大きい素材画像ほど、サイズが大きい合成対象領域に合成されるように、各合成対象領域に合成する素材画像が決定される。この結果、タイリング処理の実行を抑制して、より適切な合成画像１０Ｍを生成することができる。素材画像１７、１８の面積ＳＳ１、ＳＳ２は、「元画像のサイズに関する特徴値」の例である。

なお、ステップＳ４１０では、合成対象領域１０Ｂ、１０Ｄのサイズとして、外接矩形１０Ｃ、１０Ｄのサイズ（幅×高さ）を用いているが、外接矩形１０Ｃ、１０Ｄに占める合成対象領域１０Ｂ、１０Ｄの割合を考慮して、合成対象領域１０Ｂ、１０Ｄのサイズを算出しても良い。

具体的には、領域情報１２に、合成対象領域の外接矩形に占める合成対象領域の割合、すなわち、合成対象領域の密度を示す情報を含めても良い。また、領域情報１２に、合成対象領域１０Ｂ、１０Ｄの外接矩形の面積に密度を乗じた値（すなわち、合成対象領域１０Ｂ、１０Ｄそのものの面積）を含めても良い。そして、ステップＳ４１０では、領域情報１２を参照して、合成対象領域１０Ｂ、１０Ｄそのものの面積が算出されても良い。例えば、文字の形状を示す第２の合成対象領域１０Ｄ（図２）は、文字以外のオブジェクト（例えば、馬）などの形状を有する第１の合成対象領域１０Ｂより、外接矩形に占める割合（密度）が低い。このような合成対象領域にタイリング処理後の素材画像が合成されても、タイリング処理の継ぎ目が目立ちにくいので、合成画像１０Ｍの見栄えの低下は発生しがたい。このように、合成対象領域の形状などによっては、合成対象領域１０Ｂ、１０Ｄのサイズとして外接矩形１０Ｃ、１０Ｄのサイズ（幅×高さ）を用いるよりも、合成対象領域の密度を考慮したサイズ、具体的には、合成対象領域１０Ｂ、１０Ｄそのものの面積を用いることが好ましい場合がある。この結果、タイリング処理が目立つことを抑制して、より適切な合成画像１０Ｍを生成することができる。

Ｃ.第３実施例：
上記第１実施例では、領域色情報ＣＩ（図３）に含まれる許容範囲情報は、素材画像に対して色補正を行うか否かの判断に用いられている（図７のＳ２００）が、これに限られない。許容範囲情報は、対象領域に合成する素材画像を決定するために用いられても良い。この例を第３実施例として説明する。具体的には、第３実施例の領域色情報ＣＩは、理想色情報を含まず、各合成対象領域の色の許容範囲を示す許容範囲情報のみを含んでいる（図３参照）。

図１４は、第３実施例のテクスチャ画像生成処理のフローチャートである。ステップＳ５００では、図７のステップＳ１００〜Ｓ１５０までの処理が実行され、テンプレート画像１０に合成すべき複数個の素材画像１７、１８が生成される。

さらに、ＣＰＵ４１０は、第１実施例のステップＳ１６０、Ｓ１７０（図７）と同様に、各素材画像１７、１８の代表色を算出し（ステップＳ５１０）、素材画像と合成対象領域との組み合わせパターンを特定する（ステップＳ５２０）。すなわち、Ｎ個（Ｎは自然数）の素材画像と、Ｎ個の合成対象領域と、が存在する場合には、Ｎ個（Ｎは自然数）の素材画像と、Ｎ個の合成対象領域と、によって構成されたＮ個のペアを含む全ての組み合わせパターンが特定される。

続くステップＳ５３０では、ＣＰＵ４１０は、合成対象領域に対応付けられた許容範囲内の代表色を有する対象画像の個数を、組み合わせパターンごとに算出する。換言すれば、各組み合わせパターンについて、ペアを構成する素材画像の代表色が、ペアを構成する合成対象領域の許容範囲内の色であるペアの個数を、算出する。

ステップＳ５４０では、許容範囲内の代表色を有する対象画像の個数が最大である組み合わせパターンを、合成対象領域と素材画像との対応関係を定める組み合わせパターンに決定する。

続くステップＳ５６０〜Ｓ５８０では、図６のステップＳ２００〜ステップＳ２２０までの処理が実行される。

以上説明した第３実施例によれば、ＣＰＵ４１０は、許容範囲内の色を有する素材画像が、その許容範囲が定められた合成対象領域に合成されるように、合成対象領域に合成される素材画像を決定する。この結果、合成対象領域に、不適切な色を有する素材画像が合成されることを抑制することができる。

Ｄ．変形例
（１）上記実施例のサイズ調整処理（図１０）では、ＣＰＵ４１０は、素材画像が、合成されるべき合成対象領域より小さい場合に、複数個の素材画像を連続して並べてテクスチャ画像を生成するタイリング処理（図１１（Ｂ））を実行している。これに代えて、ＣＰＵ４１０は、図１０に破線で示すように、１個の素材画像を、縦横比を維持しながら拡大して、合成対象領域のサイズを有するテクスチャ画像を生成しても良い（ステップＳ３３０）。

図１５は、変形例のサイズ調整処理の説明図である。図１５の例では、ＣＰＵ４１０は、素材画像１７の幅ＳＷ１と、第２の合成対象領域１０Ｄの幅Ｗ２と、のサイズ比に基づいて、縦横比を維持しながら素材画像１７を拡大する。拡大後の素材画像１７Ｌの幅ＳＷ２は、第２の合成対象領域１０Ｄの幅Ｗ２と等しく、素材画像１７Ｌの高さＳＨ２は、第２の合成対象領域１０Ｄの高さＨ２より大きい。ＣＰＵ４１０は、拡大後の素材画像１７Ｌをトリミングして、第２の合成対象領域１０Ｄの外接矩形１０Ｅの幅Ｗ２および高さＨ２を有する矩形のテクスチャ画像２３を生成しても良い。この結果、素材画像のサイズと、第２の合成対象領域１０Ｄのサイズと、に応じて、サイズが適切に変更された素材画像を第２の合成対象領域１０Ｄに合成することができる。

（２）上記第１実施例では、素材画像と合成対象領域とのペアの組み合わせパターンごとに、算出される色差合計値ΔＶＴを用いて、採用する組み合わせパターンを決定している（ステップＳ１８０、Ｓ１９０）。これに代えて、特定の合成対象領域に合成する１個の素材画像を、複数個の素材画像の中から決定する場合などには、ＣＰＵ４１０は、素材画像の代表色と、特定の合成対象領域に対応付けられた理想色と、のユークリッド距離を、素材画像ごとに算出しても良い。そして、複数個の素材画像のうち、算出されたユークリッド距離が最も短い素材画像、すなわち、特定の合成対象領域に対応付けられた理想色に最も近い色を代表色として有する素材画像を、特定の合成対象領域に合成する素材画像として決定しても良い。この構成によれば、合成対象領域に適切な色の素材画像を合成することができる。

また、特定の素材画像を合成すべき１個の合成対象領域を、複数個の合成対象領域の中から決定する場合などには、ＣＰＵ４１０は、特定の素材画像の代表色と、合成対象領域に対応付けられた理想色と、のユークリッド距離を、合成対象領域ごとに算出しても良い。そして、複数個の合成対象領域のうち、算出されたユークリッド距離が最も短い合成対象領域、すなわち、特定の素材画像の代表色に最も近い色を理想色として有する合成対象領域を、特定の素材画像を合成する合成対象領域として決定しても良い。この構成によれば、合成対象領域に適切な色の素材画像を合成することができる。

一般的に言えば、素材画像の特徴値としての代表色と、合成対象領域の領域情報としての理想色と、を用いて、複数個の素材画像を比較した結果、および、複数個の合成対象領域を比較した結果、の少なくとも一方に基づいて、複数個の素材画像の中から、合成対象領域に合成する素材画像を決定することが好ましい。

（３）上記第１実施例では、テスト画像データによって表されるテスト画像１０Ｔ（図１２（Ｂ））は、１個の合成画像１０Ｍを含んでいるが、テスト画像は、互いに異なる複数種類の合成画像を含んでいても良い。ただし、複数種類の合成画像は、テンプレート画像１０を用いて生成された合成画像であることが好ましい。さらには、複数種類の合成画像は、同じ素材画像１７、１８を用いて生成された合成画像であることが好ましい。例えば、
複数種類の合成画像は、第１の合成対象領域１０Ｂに素材画像１７が、第２の合成対象領域１０Ｄに第２の素材画像１８が、それぞれ合成された合成画像１０Ｍ１と、第２の合成対象領域１０Ｄに素材画像１７が、第１の合成対象領域１０Ｂに第２の素材画像１８が、それぞれ合成された合成画像１０Ｍ２と、を含んでも良い。また、複数種類の合成画像は、色補正（Ｓ２１０）を行う必要がある場合に、色補正前の素材画像１７、１８が合成された合成画像１０Ｍ３と、色補正後の素材画像１７、１８が合成された合成画像１０Ｍ４と、を含んでも良い。こうすれば、複数種類の合成画像の内容を１個のテスト画像を用いて確認できるので、ユーザに対する利便性を向上することができる。

（４）上記第１実施例において、テクスチャ画像２７、２８は、ユーザが用意した素材を読み取って得られるスキャン画像１４、１５を用いて生成されている。これに代えて、写真や描画などを表す様々なデジタル画像を用いてテクスチャ画像２７、２８が生成されても良い。これらの画像を表す画像データは、例えば、ユーザが所有するＵＳＢメモリなどの記憶装置から取得されて、サーバ４００に送信される。

（５）上記第１実施例において、領域色情報ＣＩ（図３）は、理想色情報を含み、許容範囲情報を含まなくても良い。この場合には、例えば、上記第１実施例のように、各合成対象領域に合成する素材画像が決定される（図７のステップＳ１８０、Ｓ１９０）。また、許容範囲情報を用いて行われる図６の色補正処理（ステップＳ２００、Ｓ２１０）は省略されても良い。一方、領域色情報ＣＩ（図３）は、許容範囲情報のみを含み、理想色情報を含まなくても良い。この場合には、上記第３実施例のように、各合成対象領域に合成する素材画像が決定される。

（６）上記第１実施例では、１個のスキャンデータから１個の素材画像が生成されているが、１個のスキャンデータから２個の素材画像が生成されても良い。この場合には、ユーザは、例えば、２個の素材をスキャナ台において１回の読み取りによってスキャンデータを生成すれば良い。そして、テクスチャ生成処理のステップＳ１２０では、ＣＰＵ４１０は、２個のオブジェクトを特定し、ステップＳ１３０、Ｓ１４０の処理を、２個のオブジェクトに対してそれぞれ実行すれば良い。

（７）上記第１実施例では、素材画像の個数と、合成対象領域の個数とは、同じである。すなわち、テンプレート画像が、Ｎ個（Ｎは、自然数）の合成対象領域を含む場合には、Ｎ個の素材画像が取得されている。これに代えて、取得される素材画像の個数と、合成対象領域の個数とは、異なっていても良い。一般的に言えば、ＣＰＵ４１０は、Ｍ個（Ｍは自然数）の素材画像の中から、Ｎ個の合成対象領域に合成される素材画像が、合成対象領域ごとに決定されれば良い。例えば、素材画像の個数が合成対象領域の個数より多い場合には（Ｍ＞Ｎ）、一部の素材画像は、合成対象領域に合成されなくても良い。また、素材画像の個数が合成対象領域の個数より少ない場合には（Ｍ＜Ｎ）、複数個の合成対象領域に、同じ素材画像が合成されても良い。

例えば、図７のステップＳ１７０では、Ｍ個の素材画像と、Ｎ個の合成対象領域と、が存在する場合には、Ｍ個の素材画像と、Ｎ個の合成対象領域と、によって構成されたＮ個のペアを含む全ての組み合わせパターンが特定される。

そして、続くステップＳ１８０では、各パターンの色差合計値ΔＶＴが算出され、続くステップＳ１９０では、色差合計値ΔＶＴが最小となる組み合わせパターンに従って、Ｍ個の素材画像の中から、Ｎ個の合成対象領域に合成する元画像が合成対象領域ごとに決定されれば良い。

（８）上記実施例においてサーバ４００のＣＰＵ４１０によって実行される画像処理（例えば、図３のステップＳ４５〜Ｓ６０の処理）は、サーバ４００とは異なる装置、例えば、複合機２００のＣＰＵ２１０によって実行されても良い。この場合には、例えば、ＣＰＵ２１０は、合成画像を生成した後に、テスト画像データや合成画像データをプリンタ部２４０に出力することによって、テスト画像１０Ｔや合成画像１０Ｍ（図１２）をプリンタ部２４０に印刷させる。また、これらの画像処理は、プリンタなどの印刷装置と接続されたパーソナルコンピュータ５００（図１）のＣＰＵ（図示省略）によって実行されても良い。この場合には、ＣＰＵは、合成画像を生成した後に、テスト画像データや合成画像データを外部のプリンタに出力することによって、テスト画像１０Ｔや合成画像１０Ｍ（図１２）を外部のプリンタに印刷させる。すなわち、テスト画像データや合成画像データの出力には、第１実施例のようなサーバ４００からクライアント装置（例えば、複合機２００）への送信に加えて、複合機２００の内部でのＣＰＵ２１０からプリンタ部２４０への供給、パーソナルコンピュータ５００から外部のプリンタへの送信などが含まれる。

（９）これらの画像処理は、例えば、複合機２００のスキャナ部２５０や、単体のスキャナ（図示せず）を、制御するためにパーソナルコンピュータ５００にインストールされたスキャナドライバによって実行されても良い。また、サーバ４００は、本実施例のように１つの計算機で構成されても良く、複数個の計算機を含む計算システム（例えば、いわゆるクラウドコンピューティングを実現する分散型の計算システム）によって構成されていても良い。

（１０）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

５０...ＬＡＮ、７０...インターネット、２００...複合機、２１０...ＣＰＵ、２２０...揮発性記憶装置、２２１...バッファ領域、２３０...不揮発性記憶装置、２３１...制御プログラム、２４０...プリンタ部、２５０...スキャナ部、２６０...操作部、２７０...表示部、２８０...通信部、４００...サーバ、４１０...ＣＰＵ、４２０...揮発性記憶装置、４２１...バッファ領域、４３０...不揮発性記憶装置、４３１...コンピュータプログラム、４３２...テンプレートデータ群、４３３...ＵＩデータ群、４８０...通信部、５００...パーソナルコンピュータ、１０００...画像処理システム

Claims (11)

1. 画像処理装置であって、
   合成処理の対象となる画像である複数個の元画像を表す複数個の元画像データと、第１の合成対象領域と第２の合成対象領域とを含むテンプレート画像を表すテンプレート画像データと、を取得する第１の取得部と、
   前記第１の合成対象領域に合成すべき画像の色を示す第１の領域色情報を取得する第２の取得部であって、前記第１の領域色情報は、複数個の色を示す、前記第２の取得部と、
   前記複数個の元画像データを用いて、前記複数個の元画像の代表色を、それぞれ決定する第１の決定部と、
   前記複数個の元画像の前記代表色と、前記第１の領域色情報と、を用いて、前記複数個の元画像の中から、前記第１の合成対象領域と前記第２の合成対象領域とのそれぞれに合成する前記元画像を決定する第２の決定部と、
   前記テンプレート画像内の複数個の前記合成対象領域のそれぞれに、決定された前記元画像を合成して合成画像を生成する合成部と、
   を備え、
   前記第２の決定部は、
   前記複数個の元画像のそれぞれについて、前記第１の領域色情報によって示される前記複数個の色の中から、前記代表色との差分が最小となる差分最小色を決定し、
   前記複数個の元画像のそれぞれについて決定された前記差分最小色を用いて、前記第１の合成対象領域に合成する前記元画像を決定する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第２の決定部は、前記複数個の元画像のうち、前記差分最小色に最も近い色を有する前記元画像を、前記第１の合成対象領域に合成する前記元画像として決定する、画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記テンプレート画像は、前記第１の合成対象領域と前記第２の合成対象領域とを含むＮ個（Ｎは２以上の整数）の合成対象領域を含み、
   前記第２の取得部は、前記Ｎ個の合成対象領域のそれぞれについて、合成すべき画像の色を示す領域色情報を取得し、
   前記第２の決定部は、Ｍ個（Ｍは２以上の整数）の前記元画像と、Ｎ個の前記合成対象領域と、によって、Ｎ個のペアを構成した場合に、Ｎ個のペアの色の差分の合計値が最小となるように、Ｍ個の前記元画像の中から、Ｎ個の前記合成対象領域に合成する前記元画像を前記合成対象領域ごとに決定し、
   前記ペアの色の差分は、ペアを構成する前記元画像の前記代表色と、ペアを構成する前記合成対象領域に対応する前記領域色情報によって示される色と、の差分であり、
   ペアを構成する前記合成対象領域が、前記第１の合成対象領域である場合には、前記ペアを構成する前記元画像について決定された前記差分最小色を用いて、前記ペアの色の差分が算出される、画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
   前記第２の合成対象領域に、前記第２の合成対象領域に合成すべき画像の色を示す情報が対応付けられていない場合には、
   前記第２の決定部は、前記第１の合成対象領域に合成する前記元画像を、前記第２の合成対象領域より優先して決定する、画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、さらに、
   前記第１の領域色情報を用いて、前記第１の合成対象領域に合成される前記元画像の色を補正する補正部を備える、画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記第２の取得部は、さらに、前記第１の合成対象領域のサイズを示す領域サイズ情報を取得し、
   前記合成部は、前記第１の合成対象領域に合成する前記元画像のサイズが、前記第１の合成対象領域のサイズより小さい場合には、前記元画像を複数個連続して並べた画像を、前記第１の合成対象領域に合成する、画像処理装置。
7. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記第２の取得部は、さらに、前記第１の合成対象領域のサイズを示す領域サイズ情報を取得し、
   前記合成部は、前記第１の合成対象領域に合成する前記元画像のサイズと、前記第１の合成対象領域のサイズと、に応じて、前記元画像のサイズを変更し、
   サイズが変更された前記元画像を、前記第１の合成対象領域に合成する、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
   前記第１の取得部は、
   前記元画像を含む対象画像を表す対象画像データを取得し、
   前記対象画像内の複数個の画素を、背景を表す背景画素と、オブジェクトを表すオブジェクト画素と、に分類し、
   複数個の前記オブジェクト画素によって構成される前記元画像を特定し、
   特定された前記元画像を表す前記元画像データを取得する、画像処理装置。
9. 請求項１ないし請求項８のいずれかに記載の画像処理装置であって、さらに、
   前記合成画像を表す第１の合成画像データと、前記合成画像と余白とを含む画像を表す第２の合成画像データと、を出力する第１の出力部を備え、
   前記第１の合成画像データを用いて第１種の用紙に印刷される前記合成画像の用紙上のサイズと、前記第２の合成画像データを用いて前記第１種の用紙より大きな第２種の用紙に印刷される前記合成画像の用紙上のサイズは等しい、画像処理装置。
10. 請求項１ないし請求項９のいずれかに記載の画像処理装置であって、さらに、
    前記複数個の元画像を、前記テンプレート画像に合成して得られる複数種類の前記合成画像を含むテスト画像を表すテスト画像データを出力する第２の出力部を備える、画像処理装置。
11. コンピュータプログラムであって、
    合成処理の対象となる画像である複数個の元画像を表す複数個の元画像データと、第１の合成対象領域と第２の合成対象領域とを含むテンプレート画像を表すテンプレート画像データと、を取得する第１の取得機能と、
    前記第１の合成対象領域に合成すべき画像の色を示す第１の領域色情報を取得する第２の取得機能であって、前記第１の領域色情報は、複数個の色を示す、前記第２の取得機能と、
    前記複数個の元画像データを用いて、前記複数個の元画像の代表色を、それぞれ決定する第１の決定機能と、
    前記複数個の元画像の前記代表色と、前記第１の領域色情報と、を用いて、前記複数個の元画像の中から、前記第１の合成対象領域と前記第２の合成対象領域とのそれぞれに合成する前記元画像を決定する第２の決定機能と、
    前記テンプレート画像内の複数個の前記合成対象領域のそれぞれに、決定された前記元画像を合成して合成画像を生成する合成機能と、
    をコンピュータに実現させ、
    前記第２の決定機能は、
    前記複数個の元画像のそれぞれについて、前記第１の領域色情報によって示される前記複数個の色の中から、前記代表色との差分が最小となる差分最小色を決定し、
    前記複数個の元画像のそれぞれについて決定された前記差分最小色を用いて、前記第１の合成対象領域に合成する前記元画像を決定する、コンピュータプログラム。

Images