JP4926589B2 - 画像合成装置、画像合成方法、およびプログラム - Google Patents

Description

本発明は、合成対象の画像と、ユーザがシートに付加した情報とを合成する画像合成装置、画像合成方法、およびプログラムに関する。

近年、デジタルカメラやカラースキャナなどの写真画像入力装置、カラープリンタなどの画像出力装置の普及と高性能化とに伴い、デジタル写真画像のさまざまな使われ方が提案されている。

単に写真を撮影し、そのまま記録用紙に印刷するだけではなく、さまざまな加工、編集をして、写真画像を利用することが多い。たとえば、写真画像に、メッセージを描き込んで手紙として送り、また、タイトルやイラストを描き込んでアルバムに貼るという作業が行われている。

このように、画像入力装置から入力した写真画像に、メッセージやイラストを手書きで追加する手段として、いくつかの方法が提案されている。

たとえば、入力した写真画像を液晶パネルなどの表示装置に表示し、表示装置に設けられているタッチパネル入力装置によって、手書き画像を入力し、写真画像と手書き画像とを合成する方法が知られている（たとえば、特許文献１参照）。

また、入力された写真画像とは別に紙に書いた手書き原稿を、読取装置が読み取り、写真画像と合成する方法が知られている（たとえば、特許文献２参照）。
特開昭６３−０４０９３３号公報 特開平０９−１３９８３２号公報

しかし、写真画像に対して、たとえば被写体として映っている人物以外の背景部分を選んで位置を合わせ、メッセージやイラストを描こうとする場合、従来提案されている方法では、次の問題がある。

タッチパネル方式では、写真画像を見ながら、その上に、手書き文字、イラストを直接描くことができるが、表示装置やタッチパネル入力機構を設ける必要があるので、ハードウエアコストが高くなるという問題がある。

また、手書き入力の画像解像度は、表示装置やタッチパネルの分解能によって規定されるので、表現力に制約が出るという問題がある。

原稿読取方式では、手軽で簡単に手書き原稿を作成することができ、筆記用具の種類によってはさまざまな表現ができるという利点がある。しかし、この方式では、写真画像と別の原稿シートに手書き原稿とを描くので、写真画像に対してどのような位置関係で手書き原稿が重なるかを、原稿作成時に正確に確認することができないという問題がある。

また、手書き原稿領域に染料インクによって淡色（ドロップアウトカラー）で画像を下地印刷する場合、手書き原稿に使用するペンの種類によって、下地印刷の染料インクと混ざり、滲みが生じ、汚れる。この結果、ユーザが意図した色とは違った色になり、また、合成結果に印刷した下地画像が映り込まれることがある。

さらに、ペンの種類だけでなく、記録媒体の種類によっても、上記と同様の問題が発生する。

本発明は、シートに印刷されている合成対象の画像にユーザにより付加された情報を適切に抽出して、合成対象の画像と合成することができる画像合成装置、画像合成方法、およびプログラムを提供することを目的とする。

本発明の画像合成装置は、メモリに記憶されている合成対象の画像を、印刷装置にシートへ印刷させる印刷制御手段と、上記印刷制御手段により上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた読取画像を取得する取得手段と、上記取得手段により取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出手段と、上記抽出手段により抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成手段とを有し、上記印刷制御手段は、上記合成対象の画像がネガ傾向の画像であるときに、当該合成対象の画像のネガポジ反転を行って、ネガポジ反転された当該合成対象の画像を、印刷装置に上記シートへ印刷させることを特徴とする。
また、本発明の画像合成装置は、メモリに記憶されている合成対象の画像を、印刷装置に、シートにおける一部の領域へ印刷させる印刷制御手段と、上記印刷制御手段により上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた、複数の画素で構成される読取画像を取得する取得手段と、上記取得手段により取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出手段と、上記抽出手段により抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成手段とを有し、上記抽出手段は、上記取得手段により取得された読取画像から、上記シートにおける上記合成対象の画像を含む上記一部の領域に対応する画像を切り出し、切り出された当該画像に含まれる複数の画素のそれぞれの画像データと、上記メモリに記憶されている上記合成対象の画像に含まれる複数の画素のそれぞれの画像データであって、当該読取画像から切り出された当該画像に含まれる当該複数の画素のそれぞれに対応する画素の画像データとの比較結果に基づき、当該読取画像に含まれる当該複数の画素のそれぞれがユーザにより付加された情報であるか判定することによって、当該読取画像からユーザにより付加された情報を抽出することを特徴とする。

本発明によれば、シートに印刷されている合成対象の画像にユーザにより付加された情報を適切に抽出して、合成対象の画像と合成することができるという効果を奏する。

本発明を実施するための最良の形態は、次の実施例である。

図１は、本発明の実施例１である画像合成装置１の構成を示すブロック図である。

マイクロプロセッサ形態のＣＰＵ２は、内部バス３を介して接続されているＲＯＭ形態のプログラムメモリ４に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ５の内容とに従って動作する。

ＣＰＵ２は、読取制御部６を通じて、読取機構７を動作させ、読取機構７内に設けられている不図示のイメージセンサによって読み取った原稿画像データを、データメモリ５中の読取バッファメモリ８に格納する。

読取バッファメモリ８に格納された原稿画像データは、データ変換部９によって読み出され、印字記録データに変換された後に、データメモリ５中の印字バッファメモリ１０に格納される。ＣＰＵ２は、記録制御部１１を通じて、印字記録機構１２を動作させるとともに、印字バッファメモリ１０に格納されている印字記録データを読み出し、印字記録機構１２に送り、記録媒体へ印字記録することによって、コピー動作を実現する。

データメモリ５には、画像メモリ１３が設けられ、読取機構７が読み取った原稿画像データの他に、各種の画像データを一時的に記憶し、編集することができる。画像メモリ１３に記憶されている画像データは、データ変換部９によって読み出され、印字記録データに変換し、印字記録動作を行うことによって、コピー動作以外にも、写真画像その他の印刷を行うことができる。

なお、データメモリ５上の読取バッファメモリ８、印字バッファメモリ１０、画像メモリ１３は、ＣＰＵ２の管理によって、動作モードやユーザ設定など動作状況に応じて、各メモリの容量配分を動的に変更し、割り付けて動作することができる。

また、データ変換部９は、画像解析、サムネイル作成、サムネイル補正、出力画像補正等の画像処理も行う。

画像合成装置１には、ＬＥＤ、ＬＣＤなどの表示部１４と、各種キーなどの操作部１５とを具備する操作パネル１６が設けられ、オペレータによる各種入力操作や動作状況の表示などを実行することができる。

メモリカード制御部１７は、データ記憶媒体であるメモリカード１８へのアクセスを制御し、メモリカード１８に記憶されている画像データなどを読み書きする。これによって、メモリカード１８に記憶されている写真画像データを読み出し、画像メモリ１３に格納し、印字記録データに変換し、印字記録する。

インタフェース制御部１９は、インタフェース２０による通信を制御し、外部に接続されている外部装置２１との間で、データを送受信する。外部装置２１として、パーソナルコンピュータを接続し、コンピュータ上で動作するプリンタドライバによって作成された印字記録データを受信し、印字記録する。また、この他にも、デジタルカメラ等の機器を接続し、写真画像データを読み出し、画像メモリ１３に格納し、印字記録データに変換して印字記録する。

通信制御部２２は、ＭＯＤＥＭ（変復調装置）や、ＮＣＵ（網制御装置）等によって構成され、アナログの通信回線２３に接続され、通信制御、通信回線に対する発呼と着呼等の回線制御を行う。

図２は、実施例１における手書き原稿シート２４の構成を示す図である。

手書き原稿シート２４の最上部には、各種設定領域２５が設けられ、この各種設定領域２５に記載されているマークシート枠をユーザが塗りつぶすことによって、合成結果印刷に関する設定を選択することができる。

各種設定領域２５内に、用紙サイズ選択マークシート枠２６が配置され、この用紙サイズ選択マークシート枠２６のいずれかを、ユーザが塗りつぶすことによって、合成結果を印刷する記録媒体の用紙サイズが選択される。

手書き原稿シート２４において、各種設定領域２５の下には、手書き原稿領域２８が設けられ、ユーザは、手書き原稿領域２８に、手書き原稿２９を任意の筆記具で描くことができる。また、後述の図３のＳ１０２で、ユーザが選択した写真画像が、参照画像２７として、手書き原稿領域２８に印刷されている。

図３は、実施例１において、手書き原稿シート２４を印刷する際に、画像合成装置１のＣＰＵ２による処理内容を示すフローチャートである。

図３に示すフローチャートは、操作パネル１６に表示されているメニューにおいて、ユーザが「手書き原稿シート印刷」を選択した場合に実行される処理である。

画像合成装置１は、Ｓ１０１では、メモリカード１８内の写真画像データファイルを読み込み、表示部１４に表示し、操作部１５のキー操作を監視し、写真画像が選択されたかどうかをチェックする（Ｓ１０２）。

写真画像が選択された場合、Ｓ１０３で、選択された写真画像を、メモリカード１８から読み出し、画像メモリ１３に格納し、Ｓ１０４で、後述の図５に示すフローチャートで説明する参照画像作成処理によって参照画像２７を作成する。

次に、ＣＰＵ２は、Ｓ１０５では、Ｓ１０４で作成した参照画像２７と、予めプログラムメモリ４に記憶されている各種設定領域印刷用のデータとを組み合わせて、手書き原稿シート２４の印刷データを作成する。さらに、Ｓ１０６で、作成した印刷データに基づいて、印字記録機構１２を制御することによって、手書き原稿シート２４を印刷する。

図４は、実施例１において、記入済みの手書き原稿シート２４を読み込み、写真画像と手書き原稿２９とを合成して印刷する際における画像合成装置１の処理内容を示すフローチャートである。

図４に示す処理は、操作パネル１６に表示されているメニューにおいて、ユーザが、「手書き原稿シートを読込・合成印刷」を選択した場合に実行される処理である。画像合成装置１は、Ｓ２０１で、読取機構７を制御し、手書き原稿シート２４を読み取り、手書き原稿シート画像データ（原稿シートを読み取った画像データ）とする。

次に、読み取った手書き原稿シート画像データから、各種設定領域２５部分を切出し、マークシート枠２６の塗りつぶし状態を解析することによって、用紙サイズの選択情報を取得する（Ｓ２０２）。次に、画像合成装置１は、Ｓ２０３では、Ｓ２０１で読み取った手書き原稿シート画像データから、手書き原稿領域２８の画像を切り出し、手書き原稿画像データとする。

さらに、ＣＰＵ２は、Ｓ２０４では、後述の図６のフローチャートで説明する原稿抽出処理によって、手書き原稿画像データから手書き原稿２９を抽出する。

さらに、Ｓ２０５では、図３に示す手書き原稿シート印刷処理のＳ１０２で、ユーザが選択した写真画像と同一の写真画像を、メモリカード１８から読み出し、先のＳ２０４で抽出した手書き原稿２９と合成し、合成画像データとする。

すなわち、Ｓ２０４で、手書き原稿部分であると判断された画素を、手書き原稿画像データの画素データとしてとり、背景部分であると判断された画素を、写真画像の画素データとしてとる。

次に、画像合成装置１は、Ｓ２０６では、先のＳ２０２で取得した用紙サイズ選択情報に基づいて、合成画像データの拡大または縮小処理を行い、印字記録機構１２を制御することによって、合成画像を、出力用紙に印刷する（Ｓ２０７）。

図５は、参照画像作成ステップ（図３のＳ１０４）の詳細処理内容を示すフローチャートである。

参照画像作成処理では、Ｓ３０１〜Ｓ３０３の処理を、画像メモリ１３に格納されている写真画像の全ての画素について繰り返す。

ＣＰＵ２は、Ｓ３０１では、写真画像の各画素の輝度データ（Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ）を取得する。Ｓ３０２では、所定のデータ変換を行い、印刷に使用するインク色に合わせたシアンＣ、マゼンタＭ、イエローＹの色プレーンに変換し、印刷画素濃度データ（Ｃｏｒｇ、Ｍｏｒｇ、Ｙｏｒｇ）を得る。ここで、Ｃｏｒｇ、Ｍｏｒｇ、Ｙｏｒｇは、それぞれ０〜２５５までの値をとる濃度データである。

次に、Ｓ３０３では、以下の式（１）によって、階調変換を行い、参照画像印刷画素濃度データ（Ｃｒｅｆ、Ｍｒｅｆ、Ｙｒｅｆ）を得る。

以上の処理を、写真画像の全画素データについて繰り返すことによって、印刷の濃度が（Ｃｍａｘ、Ｍｍａｘ、Ｙｍａｘ）に制限された参照画像２７が生成される。

図６は、原稿抽出ステップ（図４に示すＳ２０４）の詳細処理内容を示すフローチャートである。

原稿抽出処理では、画像メモリ１３に格納されている手書き原稿画像データの全ての画素について、Ｓ４０１〜Ｓ４０４を繰り返す。

ＣＰＵ２は、Ｓ４０１では、手書き原稿画像データの各画素の輝度データ（Ｒｓｃａｎ、Ｇｓｃａｎ、Ｂｓｃａｎ）を取得する。Ｓ４０２では、各画素各プレーンの輝度が所定しきい値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）以上であるか否かを調べる。すなわち、以下の式（２）の不等号が全て成り立つか否かを調べる。

上記式（２）の全てが成立する場合、手書き原稿画像データの着目画素の輝度が所定レベル以上（すなわち紙面上での濃度が所定レベル以下）であるので、ＣＰＵ２は、Ｓ４０３へ進み、着目画素は背景部分であると判定する。一方、式（２）のいずれかが不成立の場合、紙面上での濃度が所定レベル以上であるので、ＣＰＵ２は、Ｓ４０４へ進み、着目画素は手書き原稿部分であると判定する。

なお、Ｒｔｈ、Ｇｔｈ、Ｂｔｈの各定数について、参照画像作成処理で作成した参照画像２７の最大濃度データを印字記録機構１２で印字し、これを読取機構７が読み取った場合の輝度データ値が、Ｒｔｈ、Ｇｔｈ、Ｂｔｈの輝度を下回らないように設定する。

図７は、実施例１における合成結果出力例を示す図である。

図７から明らかなように、写真画像３０と、手書き原稿領域２８に描き込まれた手書き原稿２９とを重ね合わせるように合成し、用紙サイズ選択マークシート２６で選択されたサイズに合うように拡大・縮小し、記録媒体３１に、この合成結果が出力される。

このように構成することによって、ユーザは、手書き原稿シート２４の手書き原稿領域２８に手書き原稿２９を描き込むときに、手書き原稿領域２８内に印刷された参照画像２７に重ねて描くことができる。したがって、重ね合わせ合成したときの位置関係を把握しながら、手書き原稿２９を描くことができる。

本発明の第２の実施例は、参照画像２７を印刷する場合、特定の色プレーン（ここではシアン）のみを使用する実施例である。

実施例２において、手書き原稿シート２４の構成、手書き原稿シート２４を印刷する際の処理内容、手書き原稿シート２４を読み込んで合成印刷する際の処理内容は、実施例１で説明した図２、図３、図４と同等である。実施例２は、図３のＳ１０４の参照画像作成ステップから呼び出される詳細処理内容だけが、実施例１と異なる。

図８は、実施例２における参照画像作成ステップの詳細処理内容を示すフローチャートである。

ＣＰＵ２は、Ｓ５０１では、写真画像の各画素の輝度データ（Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ）を取得する。Ｓ５０２では、ＲＧＢ各プレーンの輝度から、次の式（３）によって、グレースケール輝度データＬｏｒｇを得る。

Ｌｏｒｇ＝（Ｒｏｒｇ＋Ｇｏｒｇ＋Ｂｏｒｇ）／３ …… 式（３）
なお、上記の式（３）では、単純にＲＧＢ各プレーン輝度データの平均をグレースケール輝度データＬｏｒｇとしているが、各プレーンごとに、異なる係数を掛けて平均をとるようにしてもよい。

次に、Ｓ５０３では、所定のデータ変換を行い、印刷画素濃度データＤｏｒｇを得る。ここで、Ｄｏｒｇは、それぞれ、０〜２５５までの値をとる濃度データである。

次に、Ｓ５０４において、以下の式（４）によって階調変換を行い、参照画像印刷画素濃度データ（Ｃｒｅｆ、Ｍｒｅｆ、Ｙｒｅｆ）を得る。

以上の処理を、写真画像の全画素データについて繰り返すことによって、シアンのみを使用し、シアンインクの印刷の濃度がＣｍａｘに制限された参照画像２７が生成される。

実施例２における原稿抽出ステップの詳細処理内容は、実施例１の原稿抽出処理内容（図６）と同じである。ただし、実施例２では、参照画像印刷にシアンインクのみを使用し、シアンのみで印刷した画像を読み取った画像は、主にＲチャネルに影響する。したがって、実施例２では、上記式（２）において、Ｇｔｈ、Ｂｔｈを、Ｒｔｈに対して、より大きい値を設定することができる。

このように構成することによって、参照画像２７の印刷で使用する色プレーン以外のしきい値をより大きく設定することができるので、濃度の薄い筆記具を用いた場合でも、より正確に手書き原稿２９を抽出することができる。

なお、実施例２は、参照画像２７の印刷で、シアンのみを使用するが、他の色を使用するようにしてもよく、この場合であっても有効である。

さらに、手書き原稿シート２４の印刷に際して、参照画像２７の印刷で使用する色を選択するステップを設けるようにしてもよい。このようにすることによって、ユーザは、使用する筆記具の色を考慮して、参照画像２７の印刷で使用する色を選択することができ、また、手書き原稿２９を、より正確に抽出することができる。

本発明の実施例３は、参照画像２７の印刷に際して、元となる写真画像に輪郭抽出処理を加える実施例である。

実施例３において、手書き原稿シート２４の構成、手書き原稿シート２４を印刷する際の処理内容、手書き原稿シート２４を読み込んで合成印刷する際の処理内容は、実施例１または実施例２で説明した内容と同等である。実施例３は、参照画像作成ステップの詳細処理内容だけが、実施例１、実施例２とは異なる。

図９は、実施例３における参照画像作成ステップの詳細処理内容を示すフローチャートである。

実施例３における参照画像作成処理は、実施例２において、参照画像作成処理の前に、輪郭抽出処理（Ｓ６０１）を加えている点だけが異なる。図９におけるＳ６０２〜Ｓ６０５の処理は、実施例２における参照画像作成処理のＳ５０１〜Ｓ５０４（図８）と同等である。

図１０は、実施例３において作成される参照画像２７の例を示す図である。

図１０（ａ）は、元となる写真画像データを示す図であり、図１０（ｂ）は、実施例２で説明した参照画像作成処理によって作成された参照画像２７の例である。このように、元となる写真画像を、そのまま濃度を落として印刷すると、階調性が低下し、元の画像が判読し難くなる。

そこで、実施例３では、図１０（ｃ）に示すように、元となる写真画像データに輪郭抽出処理を行った後に、図１０（ｄ）に示すような参照画像２７を生成する。

つまり、図１０（ｃ）は、元となる写真画像データに輪郭抽出処理したデータを示す図であり、図１０（ｄ）は、濃度が落とされた参照画像２７に、輪郭強調された参照画像２７ａを示す図である。

このように、輪郭抽出した後に、濃度を落とした画像を生成することによって、参照画像２７の位置判読性を高めることができる。

本発明の実施例４は、参照画像２７を印刷する際に、参照画像データを保存し、原稿抽出処理では、保存してある参照画像２７と手書き原稿画像データとの差分を取ることによって、手書き原稿２９を抽出する実施例である。

なお、実施例４において、手書き原稿シート２４の構成、手書き原稿シート２４を印刷する際の処理内容、手書き原稿シート２４を読み込んで合成印刷する際の処理内容は、実施例１における図２、図３、図４に示す処理内容と同等である。実施例４は、参照画像作成ステップ（図３に示すＳ１０４）の詳細処理内容と、原稿抽出ステップ（図４に示すＳ２０４）の詳細処理内容とが、実施例１とは異なる。

図１１は、実施例４における参照画像作成ステップの詳細処理内容を示すフローチャートである。

ＣＰＵ２は、Ｓ７０１では、写真画像の各画素の輝度データ（Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ）を取得する。Ｓ７０２では、所定のデータ変換を行い、印刷に使用するインク色に合わせたシアンＣ、マゼンタＭ、イエローＹの色プレーンに変換し、参照画像印刷画素濃度データ（Ｃｒｅｆ、Ｍｒｅｆ、Ｙｒｅｆ）を得る。

ここで、Ｃｒｅｆ、Ｍｒｅｆ、Ｙｒｅｆは、それぞれ０〜２５５までの値をとる濃度データである。これを、参照画像印刷画素濃度データとして使用し、また、Ｓ７０３で画像メモリ１３に記憶する。

図１２は、実施例４における原稿抽出ステップの詳細処理内容を示すフローチャートである。

ＣＰＵ２は、Ｓ８０１では、手書き原稿画像データの各画素の輝度データ（Ｒｓｃａｎ、Ｇｓｃａｎ、Ｂｓｃａｎ）を取得する。Ｓ８０２では、参照画像作成時と同様のデータ変換を行い、Ｃ、Ｍ、Ｙのプレーンに変換し、参照画像印刷画素濃度データ（Ｃｓｃａｎ、Ｍｓｃａｎ、Ｙｓｃａｎ）を得る。Ｓ８０３では、画像メモリ１３に保存されている参照画像データと比較し、以下の式（５）が全て成り立つか否かを調べる。

上記式（５）の全てが成立する場合、手書き原稿画像データの着目画素と、参照画像２７の着目画素との濃度レベル差が、所定レベル以内であるので、ＣＰＵ２は、着目画素は背景部分であると判定する（Ｓ８０４）。一方、式（５）のいずれかが不成立である場合、手書き原稿画像データと、参照画像２７との濃度差が、所定レベル以上であるので、ＣＰＵ２は、着目画素は手書き原稿部分であると判定する（Ｓ８０５）。

このように構成することによって、参照画像２７の濃度を落とすことなく処理できるので、手書き原稿２９を書き込む際の参照画像２７の視認性を上げることができる。

なお、実施例４は、参照画像２７を印刷するときに、その印刷データを保存し、原稿抽出時に保存してある参照画像２７との差分を取る。しかし、参照画像２７データを保存せずに、原稿抽出時に、参照画像２７作成時と同等の処理を再度実行して、画像データを生成し、この画像データと手書き原稿画像データとの差分を比較するようにしてもよい。このようにしても、上記と同様の効果を奏する。

本発明の実施例５は、写真画像と手書き原稿２９とを重ねて合成する重ね合成モードと、写真画像と手書き原稿２９とを並べてレイアウトして合成する並べ合成モードとを有する実施例である。

図１３は、実施例５において、合成結果出力例を示す図である。

図１３（ａ）は、重ね合成モードの合成結果出力例を示す図である。図１３（ａ）から明らかなように、写真画像３０と、手書き原稿領域２８に描き込まれた手書き原稿２９とを重ね合わせるように合成し、用紙サイズ選択マークシート２６で選択したサイズに合うように拡大・縮小し、この結果を記録媒体３１に出力する。

また、図１３（ｂ）は、並べ合成モードの合成結果出力例を示す図である。写真画像３０と、手書き原稿領域２８に描き込まれた手書き原稿２９とを、図１３（ｂ）に示すように、突き合わせるように並べて合成する。そして、各種設定領域２５の用紙サイズ選択マークシート２６で選択したサイズに合うように、拡大・縮小して、記録媒体３１に、この結果を出力する。

図１４は、実施例５において、手書き原稿シート２４を印刷する際に、画像合成装置１のＣＰＵ２が処理する内容を示すフローチャートである。

ＣＰＵ２は、Ｓ９０１では、メモリカード１８内の写真画像データファイルを読み込んで、表示部１４に表示し、操作部１５のキー操作を監視し、写真画像が選択されたかどうかをチェックする（Ｓ９０２）。写真画像が選択されると、Ｓ９０３へ進み、重ね合成モードと並べ合成モードとのどちらを使用するかを、選択画面に表示し、操作部１５のキー操作によって、いずれかのモードが選択されるのを待つ。

Ｓ９０４で、重ね合成モードが選択されると、ＣＰＵ２は、Ｓ９０５へ進み、選択された写真画像をメモリカード１８から読み出し、画像メモリ１３に格納し、Ｓ９０６で、参照画像２７を作成する。

なお、Ｓ９０６における参照画像作成処理は、実施例１〜実施例４のいずれかにおける参照画像作成処理と同じでもよい。

次に、ＣＰＵ２は、Ｓ９０７では、Ｓ９０６で作成した参照画像２７と、予めプログラムメモリ４に記憶されている各種設定領域印刷用のデータとを組み合わせて、手書き原稿シート２４の印刷データを作成する。さらに、Ｓ９０８では、作成した印刷データを元に、印字記録機構１２を制御することによって、手書き原稿シート２４を印刷する。

一方、Ｓ９０４で、並べ合成モードが選択されると、ＣＰＵ２は、Ｓ９０７へ進み、手書き原稿シート２４の印刷データを作成する。このときに、手書き原稿シート２４の手書き原稿領域２８内には、参照画像２７は印刷されない。さらに、ＣＰＵ２は、Ｓ９０８へ進み、作成した印刷データを元に、印字記録機構１２を制御することによって、手書き原稿シート２４を印刷する。

このように構成することによって、ユーザが重ね合成モードを選択した場合についてのみ、手書き原稿領域２８内に参照画像２７を印刷することができる。

なお、実施例５は、ユーザが並べ合成モードを選択した場合、手書き原稿シート２４に参照画像２７を印刷しない。しかし、並べ合成モード時に、手書き原稿シート２４の手書き原稿領域２８の外側に、参照画像２７を印刷することによって、並べ合成モード時にも、写真画像の位置や向きを確認できるようにするようにしてもよい。この場合、重ね合成モード時と並べ合成モード時とにおいて、参照画像２７の作成処理を異ならせ、これによって、それぞれの場合に、参照画像２７の視認性を最適にすることができる。

実施例１〜実施例５は、写真画像データを入力する画像入力手段として、メモリカード１８を使用する実施例である。

本発明の実施例６は、原稿を読み取る読取手段と同一の読取手段を用いて、写真画像データを入力する実施例である。また、通信回線２３またはインタフェース２０を介して、外部の機器から、写真画像データを取得するようにしてもよい。

本発明の実施例７は、参照画像を印刷する場合、元となる写真画像に、必要に応じてネガポジ反転処理を行う実施例である。

実施例７において、手書き原稿シートの構成、手書き原稿シートを印刷する際の処理内容、手書き原稿シートを読み込んで合成印刷する際の処理内容は、実施例１または実施例２における内容と同等である。

実施例７は、参照画像作成ステップの詳細処理内容だけが、実施例１、実施例２とは異なる。

図１５は、実施例７において、参照画像作成ステップの詳細処理内容を示すフローチャートである。

実施例７における参照画像作成処理は、実施例２において、参照画像作成処理の前に、ヒストグラム処理（Ｓ１００１）とネガ傾向判定処理（Ｓ１００２）とネガポジ反転処理（Ｓ１００３）とを加えた点だけが異なる。

また、図１５に示すＳ１００４〜Ｓ１００７の処理は、実施例２における参照画像作成処理のＳ５０１〜Ｓ５０４（図８）と同等である。

図１６は、実施例７において作成される参照画像の例を示す図である。

図１６（ａ）は、元となる写真画像データを示す図である。図１６（ａ）は、ネガ傾向の写真画像（濃度が高い画素の比率が高い写真画像）であり、たとえば夜景の写真のようにネガ傾向である。

図１６（ｂ）は、図１６（ａ）の画像に、実施例２で説明した参照画像作成処理を行った参照画像の例である。このように、元となる写真画像について、そのまま濃度を落として印刷すると、図１６（ａ）に示す元の画像のようなネガ傾向の写真画像データでは、濃度は落とされたものの、印刷される領域が多くなる。

印刷される領域が多いと、元となる写真画像によっては、たとえば人物像よりも背景部分が強調され、元の画像を判読することが困難になることがある。

また、参照画像に重ねて手書きすると、ユーザが手書きした手書き原稿の色が、参照画像の色に影響されるので、参照画像の塗りつぶし部分が多く、好ましくない。

また、参照画像部分の印刷領域が多いことは、手書き描画領域から手書き原稿を抽出する抽出処理の精度の点でも、好ましくない。

そこで、実施例７では、図１６（ｃ）に示すように、ヒストグラム処理（Ｓ１００１）によって、参照画像データがネガ傾向の特徴を示すことが、ネガ傾向判定処理（Ｓ１００２）で判定されたときにのみ、ネガポジ反転処理処理（Ｓ１００３）を行う。

図１６（ｄ）は、図１６（ｃ）のネガポジ反転された参照画像について、その濃度を落とした参照画像を示す図である。

ただし、図１５に示すネガポジ判定処理（Ｓ１００２）において、参照画像がポジ傾向の画像データであると判定されると、図１５に示すネガポジ判定処理（Ｓ１００３）を行わない。

このように、ヒストグラム処理とネガポジ判定処理とを実行した後に、ネガ傾向の写真画像に対してのみ、濃度を落とした画像を生成することによって、参照画像は、常にポジ傾向の画像になる。この結果、参照画像と手書き原稿との位置判読性と、手書き原稿の色再現性と、手書き原稿の抽出処理との精度を高めることができる。

図１７は、本発明の実施例８の概要を示す図である。

実施例８は、原稿読取方式において、参照画像として下地印刷した画像またはマーカを、除去しながら、手書き文字／イラスト合成を実行する実施例である。

また、実施例８は、手書き文字に輪郭線を付ける設定、閉領域を塗りつぶす設定であれば、その輪郭線や閉領域塗りつぶしの色を変える実施例である。

実施例８は、参照画像として下地印刷した画像を除去しながら合成画像を得る際、手書き原稿領域画像を使用する画素には、「１」を付与し、写真画像を使用する画素には、「０」を付与するマスクデータ３４を生成する。そして、マスクデータ３４を参照しながら、手書き原稿３２と写真画像３３とを合成処理し、合成印刷結果３５を得る。また、マスクデータを生成する際に、手書き原稿シートで指示された画像処理を考慮する。

次に、実施例８において、上記合成印刷結果を得るまでの処理を説明する。

図１８は、実施例８の全体の動作を示すフローチャートである。

原稿読取方式による合成印刷処理は、３つのステップに大別される。すなわち、手書き原稿シートを作成するステップ（Ｓ１１０１）と、手書き原稿シートを記入するステップ（Ｓ１１０２）と、手書き原稿シートを解析印刷するステップ（Ｓ１１０３）とである。

まず、手書き原稿シートを作成する。

図１９は、ＣＰＵ２が手書き原稿シートを作成する手順を示すフローチャートである。

Ｓ１２０１で、合成したい写真画像データを選択する。カードインタフェースに接続されているメモリカードに記憶されている任意の画像データの中から、操作部と表示部とを介して、対象とされる写真画像デーが指定され、決定される。

Ｓ１２０１で、写真画像データを指定することによって、上記写真画像データの格納先を、手書き原稿シートに、バーコード等の識別情報として印刷することができる。写真画像データの格納先が手書き原稿シートに盛り込まれることによって、後に上記手書き原稿シートを解析するときに、写真画像データを自動的に選択することができる。

次に、手書き原稿領域２８に印刷するためにＳ１２０２では、Ｓ１２０１で選択された写真画像データから、参照画像として下地印刷を行うためのグレースケール画像を生成する。

後に説明する参照画像除去処理において、その処理効果が最適に得られるように、階調変換を行い、しかも、一定画素ごとに間引きすることによって、グレースケール画像を生成する。たとえば、マスクデータを生成するために、この領域に２値化処理し、この閾値がｔ（０＜ｔ＜２５５）であったとする。この場合、ｔ＋１〜２５５の輝度値に階調変換し、また、ｐ（＞１）ピクセル毎に、データを間引くことによって、参照画像用のグレースケール画像を生成する。

次に、Ｓ１２０３で、定型レイアウトを作成する。上記「定型レイアウト」は、手書き原稿シートのレイアウトである。このレイアウトは、図２に示す手書き原稿シートであってもよく、手書き原稿領域と参照画像用のグレースケール画像とを、両サイズが互いにほぼ同一とし、互いに隣接した位置に並べて配置するようにしてもよい。

続けて、定型レイアウトの種類に応じて、必要があれば、Ｓ１２０３では、Ｓ１２０１で選択された写真画像データを、作成した定型レイアウトの任意のエリアにレイアウトする。たとえば、Ｓ１２０３で、画像メモリ１３に展開された定型レイアウトの指定のデータ領域に、Ｓ１２０１で指定された写真画像データを上書きする。

なお、写真画像データ選択のタイミングについては特に規定しないので、たとえば、Ｓ１２０１の処理が省略された仕様であれば、Ｓ１２０４の写真画像データをレイアウトに含める処理を省略するようにしてもよい。

次に、Ｓ１２０５で、手書き原稿シートを印刷する。

下地印刷するために参照画像を生成するときに、間引き処理と階調変換処理とを実行するが、どちらか一方のみを実行するようにしてもよい。

上記のように、Ｓ１２０１〜Ｓ１２０５の動作に従って、文字／イラストの合成をユーザが指示するための手書き原稿シートを、ＭＦＰが印刷する。

また、印刷制御命令を指示するユーザインタフェースについては特に規定しない。たとえば、実施例８では、印刷指示するユーザインタフェースを、手書き原稿シートで提供するが、ＭＦＰのキー入力によって提供するようにしてもよい。さらに、必ずしもＭＦＰ装置内で、印刷指示を発行する必要はなく、たとえば、ＵＳＢインタフェースで接続されているデジタルカメラ等から、印刷指示命令を発行するようにしてもよい。

また、手書き原稿シートには、合成する写真画像と、この写真画像から生成された下地画像とを、手書き原稿領域に印刷するようにしてもよい。

ユーザは、これらの印刷画像から、どこに手書きすれば、どのような位置関係で合成結果が生じるかを容易に推測することができるので、合成結果における手書き原稿の位置関係を考慮しながら、手書きする。

図１９に示す動作に従って処理し、手書き原稿シートを作成する。

続いて、記入済み手書き原稿シートを、ＭＦＰが解析処理し、解析した内容に従って合成印刷を行う処理について説明する。

図２０は、手書き原稿シート解析から合成印刷までの一連の処理手順を説明する全体フローチャートである。

まず、Ｓ１３０１で、手書き原稿シートを読み取る。手書き原稿シートの詳細な読み取り動作については、本発明では特に規定しない。しかし、たとえば、マークシート解析に必要十分な解像度によって、任意の読み取り画像メモリに格納するために、ＲＧＢ各８ｂｉｔのカラーデータとして読み取ってもよい。

次に、Ｓ１３０２で、手書き原稿シートを解析する。実施例では、読み取った画像が、手書き原稿シートであるか否かの判別方法については、特に規定しない。しかし、たとえば、手書き原稿シートの固有の予め決まった特徴点（特徴画素）が、上記画像メモリに記憶されている画像に基づいて、検出できるか否かに応じて、読み取った画像が手書き原稿シートであったか否かを判別するようにしてもよい。

また、印刷指示エリアが解析される。実施例において、印刷指示エリアの解析方法については、特に規定しない。しかし、たとえば、実施例８では、印刷指示エリアには、マークシート方式が採用されているので、予め決められている座標のマークエリアに、一定以上の濃度の画素が検出された数量に基づいて、マークの塗りつぶしを判別する。この解析結果が、手書き原稿シートではないか、または、シートの記入方法が間違っていると判断されると（Ｓ１３０３）、Ｓ１３１４へ進み、ユーザにエラー通知し、終了する。全てが正しかった場合は、次の正常ステップＳ１３０４へ進む。

次に、Ｓ１３０４で、大まかな手書き原稿領域を抽出する。Ｓ１３０２で行った手書き原稿シート解析では、マークシート方式を利用しているが、これらマークの位置から相対的に４つの＋マーク（不図示）を完全に含む大まかな手書き原稿領域を抽出する。そして、Ｓ１３０５で抽出された大まかな手書き原稿領域から、実際に有効な手書き原稿領域を再抽出し、その有効領域内を解析し、この有効領域内の画素について、マスクデータを生成する。

Ｓ１３０５の大まかな手書き原稿領域から有効な手書き原稿領域を再抽出する場合、次のように再抽出する。つまり、２値化を行って全ての上記＋マークを検出した後に、検出された各＋マーク位置に基づいて、手書き原稿領域枠の内側になるように、有効な手書き原稿領域を相対的に再抽出する。

ここで、＋マークを検出するために２値化した画像をみると、この領域に、参照画像として下地印刷されている画像は、画素間引き画像であるので、孤立点画素として残っている。一方、ユーザが手書きした文字・図形等は、連続する画素の塊として残っている。この２値画像に対し、メディアンフィルタリング等、孤立点除去フィルタ処理を実施することによって、下地として印刷した画像を除去することができ、しかも、ユーザの手書き原稿が残っている２値画像を得ることができる。そして、このフィルタリング処理後の２値画像（黒画素＝１、白画素＝０）を、マスクデータとする。

Ｓ１３０９で、ユーザの手書き原稿と写真画像とを合成した画像を生成する。その際、Ｓ１３０５で生成したマスクデータを参照しながら、マスクデータが１である位置に、手書き原稿領域画像の画素を使用し、マスクデータが０である位置に、写真画像の画素を使用するので、これによって、合成画像が生成される。

ここまでの処理で、マスクデータには、孤立点除去フィルタ処理を施しているので、手書き原稿領域に参照画像を下地印刷した影響は、全く存在しない。しかし、合成に利用する手書き原稿に対応する画像そのものには、依然、参照画像として下地印刷した画像が残っている。

そこで、Ｓ１３０９で合成画像を生成する前に、Ｓ１３０６で、マスクデータを参照しながら、手書き原稿以外の画素であると判断される画素の全てを白で塗りつぶす。ここで、塗りつぶす色として白を指定したが、手書き原稿シート上に色選択の項目を追加することによって、塗りつぶす色を変更するようにしてもよく、操作部１５上で色指示を行うことによって、別の色で塗りつぶすようにしてもよい。

このように、手書き原稿領域を、手書き原稿画素以外の画素で塗りつぶすことによって、合成に利用する手書き原稿の画像から、参照画像として下地印刷された画像を除去することができる。

また、実施例８では、太い輪郭線付加＋閉領域塗りつぶしモードが選択されているので、Ｓ１３１２へ進む。そして、マスクデータにモーフォルジ処理を実行することによって、マスクデータを膨張させる。さらに、そのマスクデータにフラッドフィル処理を実施することによって、黒画素の閉領域画素を黒画素に置き換えたマスクデータを生成することができる。

この結果、Ｓ１３０９で合成された画像には、Ｓ１３０６で塗りつぶした色の輪郭線が付加され、かつ、閉領域がその色で塗りつぶされる。そして、最終的に、Ｓ１３１０では、Ｓ１３０９で合成された合成画像を印刷し、処理を終了する。

ちなみに、手書き原稿シートに、細い輪郭線付加モードが選択されていると、Ｓ１３０８で、マスクデータにモーフォルジ処理を実行することによって、マスクデータを膨張させ、合成画像に輪郭線を付加することができる。

単純合成が選択されていれば、Ｓ１３０５で生成されたマスクデータには一切、処理を加えず、マスクデータを参照することによって、合成画像を生成し、それを印刷することができる。

上記のように処理することによって、手書き原稿領域に、写真画像を下地印刷する場合、従来の染料インクによる淡色印刷（ドロップアウトカラー印刷）を用いずに、顔料インクによる下地印刷を実行することができる。これによって、手書きするために使用するペンの種類に制限を設けず、かつ、下地印刷の影響を受けない、きれいな合成印刷結果を得ることができる。

実施例９は、合成画像を印刷する印刷メディアが、ＣＤ、ＤＶＤ等のディスクである場合の実施例である。

図２１は、実施例９において、印刷メディアがＣＤやＤＶＤである場合における手書き原稿シートであるＣＤ／ＤＶＤ用手書き原稿シート２４ａの例を示す図である。

図２２は、実施例９におけるＣＤ／ＤＶＤ用手書き原稿シート２４ａの例を示す図である。

合成画像に対する「効果処理設定」と、手書き原稿に付加する輪郭線や閉領域塗りつぶしのための「色設定」との項目が、ＣＤ／ＤＶＤ用手書き原稿シート２４ａには存在するが、これら２つの機能以外の機能を設けるようにしてもよい。

また、ＣＤ／ＤＶＤ用手書き原稿シート２４ａの手書き原稿領域には、ＣＤ／ＤＶＤの印刷領域を示すマーカが下地印刷されている。もちろん、実施例８で説明したように、ＣＤ／ＤＶＤの印刷領域を示すマーカは、間引き画像として印刷されている。また、手書き原稿領域解析時の２値化閾値がｔ（０＜ｔ＜２５５）であれば、ここで生成される下地印刷用のＣＤ／ＤＶＤの印刷領域マーカ画像の輝度値は、ｔ＋１（＜２５５）よりも大きい値である。

ユーザは、これらのＣＤ／ＤＶＤ用手書き原稿シート２４ａを見たときに、どこに手書きすれば、きちんとＣＤ／ＤＶＤレーベル上に手書き原稿を印刷できるかを容易に認識することができる。

また、実施例８で説明した処理を実行すれば、図２２に示すような合成印刷結果を得ることができる。なお、図２２に示す結果は、図２１に示すＣＤ／ＤＶＤ用手書き原稿シート設定（つまり、手書き原稿に太い輪郭線付加＋閉領域を白色で塗りつぶす設定）によって実行したものである。したがって、手書き原稿の周囲に太い輪郭線が付加された場合、また、“００”や“ロ”等の閉領域は塗りつぶされている。

図２３は、星型カード用手書き原稿シート２４ｂを示す図である。

図２４は、星型カードを示す図である。

星型のカードを作りたい場合、図２３に示す星型カード用手書き原稿シート２４ｂを使用する。そして、上記と同様な処理を行った後に、四角形の印刷メディアへ、合成画像を印刷した後に、そのカードを、印刷結果通りに、はさみ等を用いて切り取ると、図２４に示す星型カードを簡単に作成することができる。

上記のように、異型の印刷メディアについて、手書きするために使用するペンの種類に制限を設けなくても、きれいな合成印刷結果を得ることができ、また、下地印刷の影響を受けずに、きれいな合成印刷結果を得ることができる。

また、実施例１〜実施例５は、手書き原稿領域２８に描き込まれた手書き原稿を、写真画像３０と合成するが、手書き原稿領域２８に描き込まれた図形を元に、異なる画像処理を加えるようにしてもよい。たとえば、描き込まれた図形によって囲まれた領域を、トリミング枠として、写真画像３０のトリミング処理を行うようにしてもよい。

また、実施例１〜実施例５、実施例７は、写真画像３０と手書き原稿２９とを合成した結果を、印字記録機構１２で記録媒体に印刷記録するが、合成した結果を、操作パネル１６の表示部１４に表示するようにしてもよい。このようにしても、本発明の効果と同様の効果を奏する。また、合成した結果を、メモリカード１８等の記憶媒体に書き込み、保存する場合、または、通信回線２３またはインタフェース２０を介して、他の機器に画像データを転送する場合にも、本発明の効果と同様の効果を奏する。

つまり、上記実施例によれば、紙に手書き原稿を描く時点で、合成する写真画像に対してどのような位置関係で合成されるのかを確認しながら描くことができる。

また、上記実施例によれば、上記原稿読取方式の手書き原稿領域において、参照画像と手書き原稿との位置関係の視認性を損なうことなく、参照画像が手書き原稿へ及ぼす影響を少なくすることができる。

そして、上記実施例によれば、ドロップアウトカラーを用いなくても、参照画像として下地印刷された画像を除去することができる。

さらに、上記実施例によれば、手書き原稿に使用する記録媒体の制限を少なくすることができる。

また、上記実施例によれば、印刷メディアの形状を示すマーカを下地印刷することによって、印刷メディア形状に合わせた容易な位置合わせをユーザに提供することができる。

本発明の実施例１である画像合成装置１の構成を示すブロック図である。 実施例１における手書き原稿シート２４の構成を示す図である。 実施例１において、手書き原稿シート２４を印刷する際に、画像合成装置１のＣＰＵ２による処理内容を示すフローチャートである。 実施例１において、記入済みの手書き原稿シート２４を読み込み、写真画像と手書き原稿２９とを合成して印刷する際における画像合成装置１の処理内容を示すフローチャートである。 参照画像作成ステップ（図３のＳ１０４）の詳細処理内容を示すフローチャートである。 原稿抽出ステップ（図４に示すＳ２０４）の詳細処理内容を示すフローチャートである。 実施例１における合成結果出力例を示す図である。 実施例２における参照画像作成ステップの詳細処理内容を示すフローチャートである。 実施例３における参照画像作成ステップの詳細処理内容を示すフローチャートである。 実施例３において作成される参照画像２７の例を示す図である。 実施例４における参照画像作成ステップの詳細処理内容を示すフローチャートである。 実施例４における原稿抽出ステップの詳細処理内容を示すフローチャートである。 実施例５において、合成結果出力例を示す図である。 実施例５において、手書き原稿シート２４を印刷する際に、画像合成装置１のＣＰＵ２が処理する内容を示すフローチャートである。 実施例７において、参照画像作成ステップの詳細処理内容を示すフローチャートである。 実施例７において作成される参照画像の例を示す図である。 本発明の実施例８の概要を示す図である。 実施例８の全体の動作を示すフローチャートである。 ＣＰＵ２が手書き原稿シートを作成する手順を示すフローチャートである。 手書き原稿シート解析から合成印刷までの一連の処理手順を説明する全体フローチャートである。 実施例９において、印刷メディアがＣＤやＤＶＤである場合における手書き原稿シートであるＣＤ／ＤＶＤ用手書き原稿シート２４ａの例を示す図である。 実施例９におけるＣＤ／ＤＶＤ用手書き原稿シート２４ａの例を示す図である。 星型カード用手書き原稿シート２４ｂを示す図である。 星型カードを示す図である。

符号の説明

１…画像合成装置、
２…ＣＰＵ、
４…プログラムメモリ、
５…データメモリ、
６…読取制御部、
７…読取機構、
８…読取バッファメモリ、
９…データ変換部、
１１…記録制御部、
１２…印字記録機構、
１３…画像メモリ、
１４…表示部、
１５…操作部、
１６…操作パネル、
１７…メモリカード制御部、
１８…メモリカード、
２１…外部装置、
２４、２４ａ、２４ｂ…手書き原稿シート、
２５…各種設定領域、
２６…用紙サイズ選択マークシート枠、
２７…参照画像、
２８…手書き原稿領域、
２９、３２…手書き原稿、
３０、３３…写真画像、
３４…マスクデータ、
３５…合成印刷結果。

Claims (11)

1. メモリに記憶されている合成対象の画像を、印刷装置にシートへ印刷させる印刷制御手段と；
   上記印刷制御手段により上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた読取画像を取得する取得手段と；
   上記取得手段により取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出手段と；
   上記抽出手段により抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成手段と；
   を有し、
   上記印刷制御手段は、上記合成対象の画像がネガ傾向の画像であるときに、当該合成対象の画像のネガポジ反転を行って、ネガポジ反転された当該合成対象の画像を、印刷装置に上記シートへ印刷させることを特徴とする画像合成装置。
2. 請求項１において、
   上記印刷制御手段は、さらに上記合成対象の画像が所定レベル以下の濃度で上記シートに印刷されるように、当該合成対象の画像を印刷させることを特徴とする画像合成装置。
3. 請求項２において、
   上記抽出手段は、上記取得手段により取得された読取画像のうちの、輝度が所定レベルを超える部分を抽出することを特徴とする画像合成装置。
4. 請求項２または３において、
   上記印刷制御手段は、上記合成対象の画像がネガ傾向の画像であるときに、当該合成対象の画像のネガポジ反転を行った後に、ネガポジ反転された当該合成対象の画像を、所定レベル以下の濃度で上記シートに印刷されるように変換することによって、当該合成対象の画像を印刷させることを特徴とする画像合成装置。
5. 請求項１乃至４のいずれか１項において、
   上記印刷制御手段は、上記合成対象の画像がポジ傾向の画像であるときには、当該合成対象の画像のネガポジ反転を行わずに、当該合成対象の画像を印刷装置に印刷させることを特徴とする画像合成装置。
6. メモリに記憶されている合成対象の画像を、印刷装置にシートへ印刷させる印刷制御工程と；
   上記印刷制御工程において上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた読取画像を取得する取得工程と；
   上記取得工程において取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出工程と；
   上記抽出工程において抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成工程と：
   を有し、
   上記印刷制御工程では、上記合成対象の画像がネガ傾向の画像であるときに、当該合成対象の画像のネガポジ反転を行って、ネガポジ反転された当該合成対象の画像を、印刷装置に上記シートへ印刷させることを特徴とする画像合成方法。
7. 請求項６に記載の画像合成方法をコンピュータに実行させることを特徴とするプログラム。
8. メモリに記憶されている合成対象の画像を、印刷装置に、シートにおける一部の領域へ印刷させる印刷制御手段と；
   上記印刷制御手段により上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた、複数の画素で構成される読取画像を取得する取得手段と；
   上記取得手段により取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出手段と；
   上記抽出手段により抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成手段と：
   を有し、
   上記抽出手段は、上記取得手段により取得された読取画像から、上記シートにおける上記合成対象の画像を含む上記一部の領域に対応する画像を切り出し、切り出された当該画像に含まれる複数の画素のそれぞれの画像データと、上記メモリに記憶されている上記合成対象の画像に含まれる複数の画素のそれぞれの画像データであって、当該読取画像から切り出された当該画像に含まれる当該複数の画素のそれぞれに対応する画素の画像データとの比較結果に基づき、当該読取画像に含まれる当該複数の画素のそれぞれがユーザにより付加された情報であるか判定することによって、当該読取画像からユーザにより付加された情報を抽出することを特徴とする画像合成装置。
9. 請求項８において、
   上記抽出手段は、上記読取画像に含まれる画素に対応する、複数の色成分のそれぞれのレベルと、上記メモリに記憶されている上記合成対象の画像に含まれる画素であって、当該読取画像の当該画素に対応する画素の、複数の色成分のそれぞれのレベルとの比較結果に基づき、当該読取画像からユーザにより付加された情報を抽出することを特徴とする画像合成装置。
10. メモリに記憶されている合成対象の画像を、印刷装置に、シートにおける一部の領域へ印刷させる印刷制御工程と；
    上記印刷制御工程において上記合成対象の画像が印刷されたシートを読取装置が読み取ることで得られた、複数の画素で構成される読取画像を取得する取得工程と；
    上記取得工程において取得された読取画像に基づき、上記シートに印刷されている合成対象の画像にユーザにより付加された情報を、当該読取画像から抽出する抽出工程と；
    上記抽出工程において抽出された情報と、上記メモリに記憶されている上記合成対象の画像とを合成する合成工程と：
    を有し、
    上記抽出工程では、上記取得工程において取得された読取画像から、上記シートにおける上記合成対象の画像を含む上記一部の領域に対応する画像を切り出し、切り出された当該画像に含まれる複数の画素のそれぞれの画像データと、上記メモリに記憶されている上記合成対象の画像に含まれる複数の画素のそれぞれの画像データであって、当該読取画像から切り出された当該画像に含まれる当該複数の画素のそれぞれに対応する画素の画像データとの比較結果に基づき、当該読取画像に含まれる当該複数の画素のそれぞれがユーザにより付加された情報であるか判定することによって、当該読取画像からユーザにより付加された情報を抽出することを特徴とする画像合成方法。
11. 請求項１０に記載の画像合成方法をコンピュータに実行させることを特徴とするプログラム。
    

Images