JP5944624B2 - 画像形成装置、画像形成装置における処理方法および画像形成装置に向けられたプログラム - Google Patents

Description

本発明は、画像合成に適した画像形成装置、画像形成装置における処理方法および画像形成装置に向けられたプログラムに関する。

画像処理技術のデジタル化に伴って、近年の画像形成装置（Multi Function Peripheral；以下「ＭＦＰ」とも称す）には、各種の画像処理機能が実装されている。このような画像処理機能の一つとして、画像合成機能がある。

この画像合成機能は、複数の画像データの一部または全部を適宜レイアウトして、単一の画像データとして生成するような処理である。このような画像合成機能に関しては、以下のような先行技術が存在する。

特開２００８−２２７８１３号公報（特許文献１）は、撮像画像を加工し、ユーザへの情報提供を行ったり、ユーザの楽しみを広げたり、利便性を高めるなどして、撮像画像の付加価値を高めるための構成を開示している。

特開２００７−３０４３６７号公報（特許文献２）は、原稿の所持者に適合した広告画像を検索して自動的に原稿画像と合成して出力する構成を開示している。より具体的には、広告画像管理装置が原稿の所持者を特定する所持者特定データを基にして予め記憶保持されている広告画像データを検索して出力し、画像形成装置が原稿画像を複写するときに原稿に付された所持者特定データを抽出して広告画像データの検索に供す。そして、広告画像管理装置において検索して得られた広告画像データを原稿画像と合成して出力することによって、原稿の所持者に適合した広告画像が印刷される。

特開２００７−２５９４６６号公報（特許文献３）は、画像を合成することにより効果的な広告を行なうことのできる画像形成装置を開示する。より具体的には、読取った原稿画像の中から文字領域を判別して、判別した文字領域に重ねて広告画像が印刷される。これによって、文字領域に対して画像を重ねても文字が読めなくなることはないので、より大きな広告画像を合成することができる。

特開２００７−２４３３６２号公報（特許文献４）は、広告画像が付加される複写が行われ、その広告画像付きの原稿に対して再複写が行われたとしても、広告画像がない最初の原稿画像を復元することができるようにした画像処理システムを開示する。

特開２００７−２０８６５０号公報（特許文献５）は、多数の人間に配布する文書を印刷する際の余白部分にネットワークを介して得られた広告データを合成することで、文書の余白部分を有効活用することができる画像形成システムを開示する。

特開２００４−１０２４７５号公報（特許文献６）は、コンテンツに広告を重畳する形態で挿入し、コンテンツを視聴すれば自然に広告も視聴することになる広告情報重畳装置を開示する。また、重畳する広告情報は、利用者の属性情報や、利用の際の環境に関する情報などに基づいて選択できるようになっており、利用者のニーズに応じてより広告効果の高い広告情報を重畳し、視聴させることができるようにされている。

特開２００２−２８７６７４号公報（特許文献７）は、形状が四角形以外の広告画像であっても、ホームページなどの放送あるいは通信にて提供される表示用のコンテンツ情報中に容易に挿入可能な広告挿入方法およびそれを用いた広告挿入装置を開示する。

特開２００２−０２７２３５号公報（特許文献８）は、利用者と広告提供者とが居合わせる任意の場所で、利用者の所望する背景、構図に応じて撮影した画像と、その場所に関連する広告情報とを有した画像情報を、利用者が親族や知人へその現地の状況を知らしめる手段として手間を掛けずに利用でき、その際広告媒体としての機能を失わない媒体を提供する広告付き画像情報の提供方法などを開示する。

特開２００８−２２７８１３号公報 特開２００７−３０４３６７号公報 特開２００７−２５９４６６号公報 特開２００７−２４３３６２号公報 特開２００７−２０８６５０号公報 特開２００４−１０２４７５号公報 特開２００２−２８７６７４号公報 特開２００２−０２７２３５号公報

上述のような画像合成技術の他、近年では、自社のＷｅｂページ内に本来のコンテンツに加えて、自社製品や関連製品の広告を同時に表示することで、商品のＰＲなどを行なう手法が一般的になっている。

このようなＷｅｂページに広告を含ませる形態に加えて、各種のドキュメント（たとえば、プレゼンテーション資料など）に自社製品や関連製品の広告を含ませるようなニーズも高い。

一方で、プレゼンテーション資料などは、本来的に訴求したい内容が記載されており、この内容を考慮せず製品のＰＲを含ませると、プレゼンテーション資料の本来的な目的を達成することができない可能性がある。すなわち、プレゼンテーション資料の可読性や可判性などの低下を招く。

また、プレゼンテーション資料に製品のＰＲを含ませることができるか否か、および、いずれの位置に製品のＰＲを含ませるべきかといった内容を作業者がいちいち確認することは非常に手間であり、現実的ではない。

本発明は、上記のような問題を解決するためになされたものであって、その目的は、ドキュメントなどの画像データに対して、その可読性を可能な限り維持しつつ、広告対象となる製品を示す画像データを合成することのできる画像形成装置、その画像形成装置における処理方法およびその画像形成装置に向けられたプログラムを提供することである。

本発明のある局面に従う画像形成装置は、画像合成に用いられる第１の画像データを保持する記憶手段と、画像合成の対象の候補である第２の画像データを取得する取得手段と、第２の画像データのうち画像領域を抽出する抽出手段と、抽出手段により抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、第１の画像データを抽出された画像領域に合成可能であるか否かを判断する判断手段と、判断手段による合成可能との判断に応答して、第１の画像データを第２の画像データの画像領域に合成することで、合成画像を生成する画像生成手段とを含む。

さらに好ましくは、記憶手段は、１つまたは複数の第１の画像データを保持しており、予め定められた条件は、第１の画像データの各々に関連付けて定義される。

さらに好ましくは、判断手段は、画像領域に含まれる部分領域の種別に基づいて、予め定義されたいずれかのシーンと合致するか否かを判断する。

さらに好ましくは、予め定められた条件は、対応する第１の画像データを合成すべき部分領域の定義を含み、画像生成手段は、第２の画像データの画像領域のうち指定された部分領域に第１の画像データを合成する。

さらに好ましくは、判断手段は、第１の画像データに関連付けられている合成すべき部分領域の定義に適合する部分領域が複数存在する場合に、第１の画像データを合成すべき部分領域についてのユーザからの選択を促す。

好ましくは、画像生成手段は、第１の画像データを合成する第２の画像データの画像領域、または、当該画像領域に含まれる部分領域に応じて、第１の画像データを調整した上で、合成処理を行なう。

さらに好ましくは、画像生成手段は、第１の画像データについて、大きさ、角度、輝度、下地の少なくとも１つを調整する。

本発明の別の局面に従えば、画像合成が可能な画像形成装置における処理方法を提供する。処理方法は、画像合成に用いられる第１の画像データを保持するステップと、画像合成の対象の候補である第２の画像データを取得するステップと、第２の画像データのうち画像領域を抽出するステップと、抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、第１の画像データを抽出された画像領域に合成可能であるか否かを判断するステップと、合成可能との判断に応答して、第１の画像データを第２の画像データの画像領域に合成することで、合成画像を生成するステップとを含む。

本発明のさらに別の局面に従えば、画像合成が可能な画像形成装置に向けられたプログラムを提供する。プログラムは、画像形成装置のプロセッサを、画像合成に用いられる第１の画像データを保持する記憶手段と、画像合成の対象の候補である第２の画像データを取得する取得手段と、第２の画像データのうち画像領域を抽出する抽出手段と、抽出手段により抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、第１の画像データを抽出された画像領域に合成可能であるか否かを判断する判断手段と、判断手段による合成可能との判断に応答して、第１の画像データを第２の画像データの画像領域に合成することで、合成画像を生成する画像生成手段として機能させる。

本発明によれば、ドキュメントなどの画像データに対して、その可読性を可能な限り維持しつつ、広告対象となる製品を示す画像データを合成することができる。

本発明の実施の形態に従うＭＦＰのハードウェア構成を示す模式図である。 本発明の実施の形態に従う画像合成処理に用いられる原稿の一例を示す図である。 本発明の実施の形態に従う画像合成処理の結果得られる印刷物（画像合成結果）の一例を示す図である。 本発明の実施の形態に従うＭＦＰに含まれる制御構造を示す模式図である。 本発明の実施の形態に従うオブジェクト抽出用テーブルの一例を示す図である。 本発明の実施の形態に従う状況判断処理の結果の一例を示す図である。 本発明の実施の形態に従うシーン判断用テーブルの結果の一例を示す図である。 本発明の実施の形態に従う合成用画像データの登録例を示す図である。 本発明の実施の形態に従う合成条件テーブルの一例を示す図である。 本発明の実施の形態に従うＭＦＰにおける合成用画像データの登録処理の処理手順を示すフローチャートである。 本発明の実施の形態に従うＭＦＰにおいて実行される画像合成処理の処理手順を示すフローチャートである。 本発明の実施の形態に従うＭＦＰにおける画像合成処理によって得られた結果の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．ハードウェア構成＞
本実施の形態に従う画像形成装置のハードウェア構成について説明する。以下の説明では、画像合成処理の結果得られた画像データを紙媒体にプリントする機能を備えた画像形成装置（ＭＦＰ）１を典型例として説明する。但し、たとえば、汎用的なコンピュータを用いて画像合成処理までを行ない、実際の印刷処理は、当該コンピュータとは別体の印刷装置を用いて行なうようにしてもよい。このような場合であっても、本発明の技術的範囲に含まれることは言うまでもない。

図１は、本発明の実施の形態に従うＭＦＰ１のハードウェア構成を示す模式図である。図１を参照して、ＭＦＰ１は、ＣＰＵ（Central Processing Unit）１０と、メモリ１２と、ネットワークインターフェイス（Ｉ／Ｆ）１４と、ハードディスク１６と、原稿搬送機構１８と、スキャナ２０と、プリントエンジン２２と、操作パネル２４とを含む。これらの各部は、バス２６を介して、互いにデータ通信可能に構成されている。

ＣＰＵ１０は、メモリ１２などに予め格納されているプログラムを読み出してタイミングをはかりながら各動作を統一的に制御し、たとえば、プリントエンジン２２において処理されるプリントジョブを統括的に制御する。また、後述する本実施の形態に係る画像合成処理については、基本的にはＣＰＵ１０がプログラムを実行することで実現される。メモリ１２は、プログラムなどを格納する不揮発性メモリと、動作時のワークメモリとして使用される揮発性メモリとを含む。

ネットワークインターフェイス１４は、ネットワークＬＡＮを介してパーソナルコンピュータなどと電気的に接続する。ネットワークインターフェイス１４は、画像合成の対象となる画像データを受信したり、画像合成結果４２を他の装置へ送信したりする。

ハードディスク１６は、スキャナ２０によるスキャン動作によって得られた画像データや、画像合成の対象となる画像データなどを格納する。また、ハードディスク１６には、本実施の形態に係る画像合成処理に必要なパラメータ（設定値）などが格納される。

原稿搬送機構１８は、スキャナ２０に原稿３０を自動的に供給する機構であり、原稿３０をセットするための戴荷台と、戴荷台にセットされた原稿３０を原稿台ガラスに自動的に１枚ずつ搬送する搬送部とを含む。本実施の形態に係る画像合成処理において、原稿３０から読取られた画像データが画像合成に用いられる。すなわち、原稿３０は、典型的にはプレゼンテーション資料であり、このプレゼンテーション資料の画像データが取得され、当該取得された画像データの上に予め定められた条件や処理手順に従って、画像データが合成される。

スキャナ２０は、原稿３０に光を照射し、その反射光を受光することで、原稿３０の内容を示す画像を読取る。典型的には、スキャナ２０は、原稿３０を照射する露光ランプ、原稿３０からの反射光の向きを変える反射ミラー、反射ミラーからの光路を変えるミラー、反射光を集光するレンズ、および、受光した反射光に応じて電気信号を発生する３列のＣＣＤ（Charge Coupled Device）などの光電変換素子を含む。

プリントエンジン２２は、物理的に画像形成処理（プリント処理）を実行する主体であり、典型的には、感光体ユニット、現像ユニット、定着器ユニット、および、搬送機構などを含む。プリントエンジン２２による画像処理動作によって、紙媒体の表面に画像を形成した印刷物４０が出力される。

操作パネル２４は、ユーザにＭＦＰ１の操作や状態に係る情報を通知するとともに、ユーザからの操作を受付けて、その操作に応じた命令をＣＰＵ１０へ与える。この操作パネル２４は、典型的には、筐体に埋め込まれた液晶ディスプレイと、液晶ディスプレイ上に配置されたタッチセンサと、液晶ディスプレイの周辺に配置された各種の操作ボタンなどを含む。

＜Ｂ．処理の概要＞
次に、本実施の形態に係る画像合成処理について説明する。

図２は、本発明の実施の形態に従う画像合成処理に用いられる原稿３０の一例を示す図である。図３は、本発明の実施の形態に従う画像合成処理の結果得られる印刷物４０（画像合成結果４２）の一例を示す図である。

図２に示すように、入力される資料である原稿３０としては、プレゼンテーション資料などが想定される。この原稿３０は、写真や絵などを含む画像領域３１と、文字が記述されるテキスト領域３２とを含む。

本実施の形態に従う画像合成処理においては、主として、原稿３０に含まれる画像領域３１の状況を判断し、この状況の判断結果に応じて、予め登録された画像データのうち適切な画像データを選択するとともに、画像領域３１内の適切な位置に合成される。

このような画像合成処理によって得られた合成画像の一例を図３に示す。図３に示す合成画像では、ＭＦＰを示す画像データ３３（以下「合成用画像データ」とも称す。）が合成されている。図２および図３に示す例では、画像領域３１には、あるオフィスを写した写真が含まれている。そのため、このような状況を判断して、ＭＦＰを示す合成用画像データは、オフィスの床面に対応する位置に位置決めされる。

以下の説明では、スキャナ２０が原稿を読取って生成した画像データやＭＦＰ１に外部入力された画像データであって、本実施の形態に従う画像合成処理において合成対象となる画像データ（被合成画像データ）を「入力画像データ」とも称す。

＜Ｃ．制御構造＞
次に、本実施の形態に従う画像形成装置の制御構造について説明する。図４は、本発明の実施の形態に従うＭＦＰ１に含まれる制御構造を示す模式図である。

図４を参照して、ＭＦＰ１は、その制御構造として、画像バッファ１０２と、画像分離部１０４と、画像解析部１０６と、登録画像蓄積部１０８と、画像調整部１１０と、画像補正部１１２と、画像合成部１１４と、画像出力部１１６と、テーブル格納部１２０とを含む。

画像バッファ１０２は、入力画像データを一次的に保持する。上述したように、入力画像データの取得方法については、特に制限されることはない。すなわち、ＭＦＰ１に搭載されているスキャナ２０を用いて原稿を読取ることで入力画像データを取得する方法、ＭＦＰ１の外部にあるパーソナルコンピュータなどから入力画像データを入手する方法などを採用することができる。すなわち、画像バッファ１０２は、画像合成の対象の候補である入力画像データを取得する取得手段の少なくとも一部に相当する。

画像分離部１０４は、合成用画像データを合成すべき領域を特定するために、入力画像データに含まれる領域を識別する。より具体的には、画像分離部１０４は、図３に示すように、入力画像データを、少なくとも画像領域とテキスト領域とに分離する。なお、これらの領域に加えて、表領域やヘッダ／フッタ領域などを加えて、より詳細に区分してもよい。このような領域判別は、公知の画像処理技術を用いることで実現できる。

画像分離部１０４は、領域分離の結果を画像解析部１０６、画像補正部１１２および画像合成部１１４へ出力する。すなわち、画像分離部１０４は、入力画像データのうち画像領域を抽出する抽出手段に相当する。この領域分離の結果としては、入力画像データの全体と入力画像データ内の各領域を示す座標情報との組合せ、あるいは、各部で必要な部分画像データのみの出力といった方法を採用することができる。

画像解析部１０６は、画像分離部１０４によって分離された画像領域の内容を解析して評価する。すなわち、画像解析部１０６は、画像分離部１０４により抽出された画像領域の状況を判断するとともに、当該判断した状況に基づいて合成用画像データを抽出された画像領域に合成可能であるか否かを判断する判断手段に相当する。画像解析部１０６は、判断結果を画像調整部１１０および画像補正部１１２へ出力する。この判断処理の内容については、後述する。

登録画像蓄積部１０８は、本実施の形態に従う画像合成処理に用いられる１つまたは複数の合成用画像データを保持する。後述するように、登録画像蓄積部１０８に登録される合成用画像データには、画像合成に係る条件などが関連付けられている。この画像合成に係る条件は、画像解析部１０６における判断処理において参照される。

画像調整部１１０は、画像合成が可能と判断され、画像合成処理に用いられる合成用画像データが決定されると、当該合成用画像データを調整する。より具体的には、画像調整部１１０は、合成用画像データを合成する入力画像データの画像領域、または、当該画像領域に含まれる部分領域に応じて、合成用画像データを調整した上で合成処理を行なう。この調整の内容としては、合成用画像データについて、大きさ、角度、輝度、下地の少なくとも１つが調整される。

画像補正部１１２は、入力画像データに対して、各種の画像補正処理を実行する。この画像補正後の入力画像データは、画像合成部１１４へ出力される。

画像合成部１１４は、画像補正部１１２から入力された入力画像データと、画像調整部１１０から入力された合成用画像データとを合成する。すなわち、画像合成部１１４は、画像解析部１０６による合成可能との判断に応答して、合成用画像データを入力画像データの画像領域に合成することで合成画像を生成する画像生成手段に相当する。

画像出力部１１６は、画像合成部１１４によって生成された合成画像を画像合成結果として出力する。

テーブル格納部１２０は、オブジェクト抽出用テーブル１２１と、シーン判断用テーブル１２２と、合成条件テーブル１２３とを保持する。これらのテーブルの内容および使用方法については、後述する。

＜Ｄ．処理の詳細＞
（ｄ１：状況判断処理）
まず、画像解析部１０６によって実行される入力画像データの画像領域に対する状況判断処理について説明する。

図５は、本発明の実施の形態に従うオブジェクト抽出用テーブル１２１の一例を示す図である。図６は、本発明の実施の形態に従う状況判断処理の結果の一例を示す図である。図７は、本発明の実施の形態に従うシーン判断用テーブル１２２の結果の一例を示す図である。

画像解析部１０６（図４）は、入力画像データに含まれる画像領域の状況を認識するために、図５に示すようなオブジェクト抽出用テーブル１２１を利用する。このオブジェクト抽出用テーブル１２１には、画像領域に写っている被写体（オブジェクト）の種類別にそれぞれ特徴量が定義されている。図５には、「机」や「パソコン」についての特徴量が定義されている例を示す。もちろん、画像領域の状況として認識すべきオブジェクトの種類に応じて、より多くのオブジェクト抽出用テーブル１２１を作成することが好ましい。

図６（ａ）には、画像分離部１０４によって抽出された入力画像データの画像領域の一例を示す。このような画像領域に対して、本実施の形態に従う状況判断処理が実行されることで、図６（ｂ）に示すようにオブジェクト（部分領域）が抽出され、かつ、各オブジェクト（部分領域）が何であるかが判断される。

図６（ｂ）に示す例では、部分領域２０１が「照明」であり、部分領域２０２が「地面」であり、部分領域２０３が「パーティション」であり、部分領域２０４が「植物」であり、部分領域２０５が「机」であると認識されている。

なお、本発明に係る画像合成処理は、入力画像データの画像領域の状況を判断できさえすればよいので、図５に示すようなオブジェクト抽出用テーブル１２１を用いる形態に限られることはない。むしろ、様々な公知の画像認識技術を用いて、入力画像データに含まれる被写体の種類などを認識すればよい。

上述のような手順によって、入力画像データに含まれるオブジェクトが特定されると、これらの特定されたオブジェクトに基づいて、予め登録されているいずれの状況（シーン）であるかが判断される。

より具体的には、画像解析部１０６（図４）は、図７に示すようなシーン判断用テーブル１２２を参照して、画像領域に含まれると特定されたオブジェクトとシーン判断用テーブル１２２に定義されている配置物の条件（配置物１〜５）とを比較する。そして、シーン判断用テーブル１２２に定義されているいずれかのシーンに対応する配置物の条件をすべて満足した場合には、画像領域の状況が当該シーンであると判断される。図６および図７に示す例では、シーン名「オフィス」に対応付けて定義されている配置物１〜４のすべてが特定されているので、図６（ａ）に示す画像領域の状況（シーン）が「オフィス」であると判断される。

なお、シーン判断用テーブル１２２は、ユーザが任意に定義してもよいし、予め既知の状況（シーン）を示す画像データに対して、上述したようなオブジェクト抽出処理を行ない、その結果得られたオブジェクトを対応するシーンの配置物の条件として設定してもよい。

なお、シーン判断用テーブル１２２には、各シーンについて「室内／外」の属性値が付加されている。この属性値は、入力画像データの補正および／または合成用画像データの調整に利用される。

（ｄ２：合成用画像データの登録処理）
次に、登録画像蓄積部１０８への合成用画像データの登録処理について説明する。本実施の形態に従うＭＦＰ１では、ユーザが任意の合成用画像データを予め登録することができる。この予め登録される合成用画像データの数についても複数とすることもできる。このような合成用画像データは、上述したような、自社製品のＰＲ用の画像データなどが想定されている。

このように１つ以上登録される合成用画像データのうち、入力画像データに応じて、いずれの合成用画像データを合成すべきという条件についても、ユーザは予め設定することができる。

図８は、本発明の実施の形態に従う合成用画像データの登録例を示す図である。図８に示す登録例においては、ＭＦＰを示す合成用画像データ（登録画像）に関連付けて、画像合成処理に係る条件が設定される。図８に示す例では、合成用画像データに関連付けて、「登録シーン」、「サイズ」、「設置位置」などの条件（属性情報）が登録される。

「登録シーン」の属性値としては、図７に示されるシーン判断用テーブル１２２に規定される「シーン」のいずれかの値が設定される。「サイズ」の属性値としては、対応する合成用画像データの実サイズ、または、入力画像データに対して合成される際のサイズが設定される。「設置位置」には、入力画像データの画像領域の状況（シーン）が判断され、当該シーンのうち、いずれの部分領域に合成すべきかが定義される。この「設置位置」の属性値としては、図５に示されるオブジェクト抽出用テーブル１２１に規定される「オブジェクト（配置物）」のいずれかの値が設定される。

なお、合成用画像データの画像合成処理に係る条件については、処理を簡便化する観点から、テーブルにまとめて管理しておくことが好ましい。図９は、本発明の実施の形態に従う合成条件テーブル１２３の一例を示す図である。図９に示す合成条件テーブル１２３では、それぞれの合成用画像データ（画像データ名）に関連付けて、「縦サイズ」、「横サイズ」、「登録シーン」、「設置位置」が条件として定義される。

この合成条件テーブル１２３を使用して画像合成の可否判断処理が実行される。この画像合成の可否判断処理について、以下説明する。

（ｄ３：画像合成の可否判断処理）
ＭＦＰ１の画像解析部１０６（図４）は、入力画像データの画像領域について判断した状況（判断された「シーン」の属性値）が予め定められた条件を満足しているか否かを評価することで、合成可能であるか否かを判断する。すなわち、画像解析部１０６は、図９に示す合成条件テーブル１２３に定義される「登録シーン」の属性値のうち、入力画像データの画像領域について判断されたシーンの属性値と一致するものがあるか否かを判断する。

上述したように、登録画像蓄積部１０８には、１つまたは複数の合成画像用データが保持されており、この画像合成に係る予め定められた条件は、これらの合成画像用データの各々に関連付けて定義されている。

また、画像解析部１０６は、図７に示すようなシーン判断用テーブル１２２を参照して、入力画像データの画像領域に含まれる部分領域（オブジェクト／配置物）の種別に基づいて、予め定義されたいずれかの状況と合致するか否かを判断する。そして、図９に示すように、予め定められた条件である合成条件テーブル１２３では、対応する合成用画像データを合成すべき部分領域（配置位置）の定義を含み、画像合成部１１４は、入力画像データの画像領域のうち指定された部分領域（配置位置）に合成用画像データを合成する。

すなわち、入力画像データの画像領域に対して判断された状況（シーン）が、合成条件テーブル１２３に定義される「登録シーン」の属性値と一致し、かつ、当該画像領域に「設置位置」の属性値として登録された部分領域が含まれる場合には、対応する合成用画像データが当該「設置位置」として定義された部分領域の位置に合成される。

なお、合成条件テーブル１２３に定義される出力画像データの条件のうち、対象の入力画像データの画像領域について、複数の出力画像データの条件が適合すると判断された場合には、予め定められた優先順位に基づいて１つの出力画像データのみを合成するようにしてもよい。

あるいは、ユーザにいずれの出力画像データを合成すべきかを選択してもらうようにしてもよい。この場合には、画像解析部１０６は、合成用画像データに関連付けられている合成すべき部分領域の定義に適合する部分領域が複数存在する場合に、合成用画像データを合成すべき部分領域についてのユーザからの選択を促す。

（ｄ４：合成用画像データの調整処理および入力画像データの補正処理）
画像調整部１１０（図５）は、いずれかの合成用画像データを入力画像データに合成できると判断されると、必要に応じて、合成用画像データの大きさ、角度、輝度、下地などを調整する。大きさについては、合成条件テーブル１２３（図９）に各出力画像データのサイズが定義されており、このサイズを用いて合成用画像データの大きさが調整される。より具体的には、入力画像データの画像領域におけるオブジェクトの大きさまたはオブジェクト間の距離と、出力画像データのサイズとの関係から、画像合成について好ましいサイズに出力画像データを調整する。たとえば、画像領域内に地面と照明とが検出された場合には、当該地面と証明との間の距離が当該場所の高さ（地面から天井までの高さ）と判断できるので、この高さと合成用画像データが表わす物体との相対的な大きさを調整することになる。

また、角度についても、画像領域内で検出されたオブジェクトの領域などから入力画像データの傾き（回転）の度合いを評価した上で、その度合いに応じて合成用画像データを回転させることになる。

輝度および下地については、合成対象となる入力画像データのホワイトバランス、全体的なスペクトル、画像濃度などに応じて、合成画像全体がより自然になるように、調整がなされる。この際、合成用画像データだけではなく、入力画像データについても、画像補正部１１２がその色属性を補正してもよい。

＜Ｅ．処理手順＞
次に、本実施の形態に従うＭＦＰ１において実行される処理手順について説明する。

（ｅ１：合成用画像データの登録処理）
図１０は、本発明の実施の形態に従うＭＦＰ１における合成用画像データの登録処理の処理手順を示すフローチャートである。図１０に示す各ステップは、ＭＦＰ１のＣＰＵ１０がプログラムを実行することで実現される。

図１０を参照して、ユーザ指示に応答して、ＭＦＰ１のＣＰＵ１０は、合成用画像データの登録処理に係るメニューを操作パネル２４（図１）に表示する（ステップＳ１００）。続いて、ＣＰＵ１０は、何らかの方法で入力される合成画像用データを受付ける（ステップＳ１０２）。ユーザは、ＭＦＰ１のスキャナ２０を用いて合成用画像データを生成したり、パーソナルコンピュータから合成用画像データをＭＦＰ１へ送信したりする。

合成用画像データが入力されると、ＣＰＵ１０は、入力された合成用画像データに係る条件などを入力するためのメニューを操作パネル２４（図１）に表示する（ステップＳ１０４）。すなわち、合成条件テーブル１２３（図９）に定義される各属性値の入力をユーザに促す。

入力された合成用画像データに係る条件などが入力されると、ＣＰＵ１０は、入力された合成用画像データを格納するとともに、合成条件テーブル１２３の内容を更新する（ステップＳ１０６）。

そして、合成用画像データの登録処理は終了する。
（ｅ２：画像合成処理）
図１１は、本発明の実施の形態に従うＭＦＰ１において実行される画像合成処理の処理手順を示すフローチャートである。図１１に示す各ステップは、ＭＦＰ１のＣＰＵ１０がプログラムを実行することで実現される。

図１１を参照して、ユーザ指示に応答して、ＭＦＰ１のＣＰＵ１０は、入力画像データを受付ける（ステップＳ２００）。すなわち、ＣＰＵ１０は、画像合成の対象の候補である入力画像データを取得する。ユーザは、ＭＦＰ１のスキャナ２０を用いて入力画像データを生成したり、パーソナルコンピュータから入力画像データをＭＦＰ１へ送信したりする。

入力画像データが入力されると、ＣＰＵ１０は、入力画像データから画像領域を抽出する（ステップＳ２０２）。すなわち、ＣＰＵ１０は、入力画像データのうち画像領域を抽出する。続いて、ＣＰＵ１０は、ステップＳ２０４〜Ｓ２２４の処理を実行することで、抽出された画像領域の状況を判断するとともに、当該判断した状況に基づいて合成用画像データを抽出された画像領域に合成可能であるか否かを判断する。

すなわち、ＣＰＵ１０は、オブジェクト抽出用テーブル１２１（図５）を参照して、抽出した画像領域に含まれるオブジェクトを抽出する（ステップＳ２０４）。続いて、ＣＰＵ１０は、シーン判断用テーブル１２２に定義されている第１番目のエントリを参照して、当該エントリに定義されている配置物のすべてが画像領域から抽出されているか否かを判断する（ステップＳ２０６）。

対象の当該エントリに定義されている配置物のすべてが画像領域から抽出されていれば（ステップＳ２０６においてＹＥＳ）、ＣＰＵ１０は、対応するシーンを対象の画像領域についての状況であると決定する（ステップＳ２０８）。このように、ＣＰＵ１０は、画像領域に含まれる部分領域の種別に基づいて、予め定義されたいずれかの状況と合致するか否かを判断する。そして、処理はステップＳ２１６へ進む。

対象の当該エントリに定義されている配置物の一部でも画像領域から抽出されていなけ（ステップＳ２０６においてＮＯ）、ＣＰＵ１０は、シーン判断用テーブル１２２に定義されているすべてのエントリについての判断が完了しているか否かを判断する（ステップＳ２１０）。

シーン判断用テーブル１２２に定義されているすべてのエントリについての判断が完了していなければ（ステップＳ２１０においてＮＯ）、ＣＰＵ１０は、シーン判断用テーブル１２２に定義されている次のエントリを判断対象のエントリに設定する（ステップＳ２１２）。その後、ステップＳ２０６以下の処理を繰返す。

一方、シーン判断用テーブル１２２に定義されているすべてのエントリについての判断が完了していれば（ステップＳ２１０においてＹＥＳ）、画像合成処理が不可能であると決定し（ステップＳ２１４）、処理はステップＳ２２８へ進む。

このように、ＣＰＵ１０は、判断した状況が予め定められた条件を満足しているか否かを評価することで、合成可能であるか否かを判断する。

ステップＳ２１６において、ＣＰＵ１０は、合成条件テーブル１２３（図９）を参照して、ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが存在するか否かを判断する（ステップＳ２１６）。

ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが存在しなければ（ステップＳ２１６においてＮＯ）、画像合成処理が不可能であると決定し（ステップＳ２１４）、処理はステップＳ２２８へ進む。

これに対して、ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが存在していれば（ステップＳ２１６においてＹＥＳ）、ＣＰＵ１０は、ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが複数存在するか否かを判断する（ステップＳ２１８）。

ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが複数存在していれば（ステップＳ２１８においてＹＥＳ）、ＣＰＵ１０は、いずれのエントリに対応する合成用画像データを用いて画像合成処理を行なうかの選択をユーザから受付ける（ステップＳ２２０）。ＣＰＵ１０は、ユーザからの選択に対応する合成用画像データを画像合成処理に用いると決定する（ステップＳ２２２）。このように、ＣＰＵ１０は、合成用画像データに関連付けられている合成すべき部分領域の定義に適合する部分領域が複数存在する場合に、合成用画像データを合成すべき部分領域についてのユーザからの選択を促す。そして、処理はステップＳ２２６へ進む。

ステップＳ２０８において決定したシーンを「登録シーン」の属性値として登録されているエントリが複数存在していなければ（ステップＳ２１８においてＮＯ）、ＣＰＵ１０は、対象のエントリに対応する合成用画像データを画像合成処理に用いると決定する（ステップＳ２２４）。そして、処理はステップＳ２２６へ進む。

続いて、ＣＰＵ１０は、合成可能との判断に応答して、合成用画像データを入力画像データの画像領域に合成することで、合成画像を生成する。すなわち、ステップＳ２２６において、ＣＰＵ１０は、合成条件テーブル１２３の対応するエントリの「設置位置」の属性値を参照して、対象の合成用画像データを入力画像データの指定された位置に合成する（ステップＳ２２６）。このように、ＣＰＵ１０は、入力画像データの画像領域のうち指定された部分領域に合成用画像データを合成する。そして、処理はステップＳ２２８へ進む。

ステップＳ２２８において、ＣＰＵ１０は、画像データを出力する（ステップＳ２２８）。この出力される画像データは、上述の処理によって、画像合成処理が可能であると判断された場合には、画像合成結果が出力され、そうでなければ、基本的には入力画像データがそのまま出力される。そして、処理は終了する。

＜Ｆ．処理結果例＞
図１２は、本発明の実施の形態に従うＭＦＰ１における画像合成処理によって得られた結果の一例を示す図である。図１２に示すように、図６（ａ）に示す入力画像データと比較して、ＭＦＰを示す合成用画像データ３３がより自然な位置に自然な大きさで合成されていることがわかる。

＜Ｇ．作用効果＞
本実施の形態によれば、合成用画像データの別に予め定められた条件を満たした場合に限って、入力画像データ内の指定された部分領域（設置位置）に合成用画像データが合成されるので、入力画像データの可読性を維持しつつ、合成用画像データの内容をユーザに訴求することができる。

また、本実施の形態によれば、画像合成処理において、合成用画像データのサイズなどが調整された上で、入力画像データに合成されるので、画像合成結果をより自然な態様にすることができる。

＜Ｈ．その他の実施の形態＞
上述したように、本発明に係る画像形成装置は、汎用コンピュータを用いて実現することもできる。このような場合には、本発明に係るプログラム（コード）を公知の方法（ネットワークを介した配信や記録媒体を通じた配布）で汎用コンピュータにインストールすることになる。このようなプログラムは、オペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼び出して処理を実行するような形態として構成してもよい。この場合、プログラム自体には上記のようなモジュールは含まれず、ＯＳと協働して処理が実行される。

また、本発明に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。このような場合にも、プログラム自体には上記のような他のプログラムに含まれるモジュールは含まれず、他のプログラムと協働して処理が実行される。

したがって、上述のような一部のモジュールを含まないプログラムであっても、本発明に係るプログラムの技術的範囲に含まれる。

さらに、本発明に係るプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ ＣＰＵ、１２ メモリ、１４ ネットワークインターフェイス、１６ ハードディスク、１８ 原稿搬送機構、２０ スキャナ、２２ プリントエンジン、２４ 操作パネル、２６ バス、３０ 原稿、３１ 画像領域、３２ テキスト領域、３３ 合成用画像データ、４０ 印刷物、４２ 画像合成結果、１０２ 画像バッファ、１０４ 画像分離部、１０６ 画像解析部、１０８ 登録画像蓄積部、１１０ 画像調整部、１１２ 画像補正部、１１４ 画像合成部、１１６ 画像出力部、１２０ テーブル格納部、１２１ オブジェクト抽出用テーブル、１２２ シーン判断用テーブル、１２３ 合成条件テーブル、ＬＡＮ ネットワーク。

Claims (9)

1. 画像合成に用いられる第１の画像データを保持する記憶手段と、
   画像合成の対象の候補である第２の画像データを取得する取得手段と、
   前記第２の画像データのうち画像領域を抽出する抽出手段と、
   前記抽出手段により抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、前記第１の画像データを前記抽出された画像領域に合成可能であるか否かを判断する判断手段と、
   前記判断手段による合成可能との判断に応答して、前記第１の画像データを前記第２の画像データの前記画像領域に合成することで、合成画像を生成する画像生成手段とを備える、画像形成装置。
2. 前記記憶手段は、１つまたは複数の前記第１の画像データを保持しており、
   前記予め定められた条件は、前記第１の画像データの各々に関連付けて定義される、請求項１に記載の画像形成装置。
3. 前記判断手段は、前記画像領域に含まれる部分領域の種別に基づいて、予め定義されたいずれかのシーンと合致するか否かを判断する、請求項２に記載の画像形成装置。
4. 前記予め定められた条件は、対応する前記第１の画像データを合成すべき部分領域の定義を含み、
   前記画像生成手段は、前記第２の画像データの画像領域のうち指定された部分領域に前記第１の画像データを合成する、請求項３に記載の画像形成装置。
5. 前記判断手段は、前記第１の画像データに関連付けられている合成すべき部分領域の定義に適合する部分領域が複数存在する場合に、前記第１の画像データを合成すべき部分領域についてのユーザからの選択を促す、請求項４に記載の画像形成装置。
6. 前記画像生成手段は、前記第１の画像データを合成する前記第２の画像データの画像領域、または、当該画像領域に含まれる部分領域に応じて、前記第１の画像データを調整した上で、合成処理を行なう、請求項３〜５のいずれか１項に記載の画像形成装置。
7. 前記画像生成手段は、前記第１の画像データについて、大きさ、角度、輝度、下地の少なくとも１つを調整する、請求項６に記載の画像形成装置。
8. 画像合成が可能な画像形成装置における処理方法であって、
   画像合成に用いられる第１の画像データを保持するステップと、
   画像合成の対象の候補である第２の画像データを取得するステップと、
   前記第２の画像データのうち画像領域を抽出するステップと、
   抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、前記第１の画像データを前記抽出された画像領域に合成可能であるか否かを判断するステップと、
   合成可能との判断に応答して、前記第１の画像データを前記第２の画像データの前記画像領域に合成することで、合成画像を生成するステップとを備える、処理方法。
9. 画像合成が可能な画像形成装置に向けられたプログラムであって、前記プログラムは、前記画像形成装置のプロセッサを、
   画像合成に用いられる第１の画像データを保持する記憶手段と、
   画像合成の対象の候補である第２の画像データを取得する取得手段と、
   前記第２の画像データのうち画像領域を抽出する抽出手段と、
   前記抽出手段により抽出された画像領域に含まれる部分領域の種別の組み合わせに基づいて当該画像領域が属するシーンを判断するとともに、当該判断したシーンが予め定められた条件を満足しているか否かを評価することで、前記第１の画像データを前記抽出された画像領域に合成可能であるか否かを判断する判断手段と、
   前記判断手段による合成可能との判断に応答して、前記第１の画像データを前記第２の画像データの前記画像領域に合成することで、合成画像を生成する画像生成手段として機能させる、プログラム。