JP5014284B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、シートの読取画像から抽出された画像と、メモリに記憶されている画像とを合成する画像処理装置、画像処理方法、およびプログラムに関する。

近年、デジタルカメラやスキャナ、プリンタなどの装置の普及と高性能化によって、デジタル写真画像を単に記録シートに印刷するだけではなく、写真画像のさまざまな使われ方が提案されている。

その一例として、写真画像に手書きの文字や絵を書き込む加工や、写真画像にイラスト画像などのデジタル画像データを合成する技術がある。これらの技術を用いて、例えばデジタルカメラで撮影した写真画像にメッセージを書き込み、さらに装飾用のフレームを合成した葉書を作成することができる。

このように、デジタルカメラやスキャナなど画像入力装置から入力した写真画像に手書きの文字や絵、またはイラストを合成する手段として、いくつかの方法が提案されている。

その一つとして特許文献１には、入力した写真画像にイラスト画像を合成した原稿シートを印刷する。そして印刷した原稿シートの手書き領域にユーザが文字や絵を書き込み、その原稿シートを読取って写真画像に手書き画像を重ねて合成する方法が記載されている。またその際に、手書きした文字や絵が写真画像のどの位置に重ねて合成されるのかをユーザが認識できるようにするために、原稿シートの手書き領域内に写真画像を印刷する方法が記載されている。

また、この方法により作成された原稿シートを読取る際には、印刷された背景画像と手書きされた領域とを判別し、手書きされた文字や絵を抽出する必要がある。そこで特許文献１では背景画像を淡く印刷し、読取る際には輝度に閾値を設けて、読取られた画像のうち閾値よりも輝度が低い部分をユーザにより手書きされた部分として判断している。

またイラスト画像を合成する方法として特許文献２では、メモリカード等の記録媒体に記録されたフレームの画像を読出して写真画像と合成し、写真画像を装飾して印刷する方法が記載されている。
特許第３７７８２９３号公報 特開２０００−２９５５６５号公報

上述の背景技術を用いて、写真画像にイラスト画像を合成し、更にユーザによる手書き画像を合成することが考えられる。

その際、ユーザが合成結果を確認しながら手書きを行うことができるようにするために、上記特許文献１記載の方法を用いて、イラスト画像と淡く印刷した背景画像（以下、参照画像という）とを原稿シートの手書き領域に重ねて合成し、印刷することが考えられる。

このとき原稿シートを読取る際に、印刷されたイラスト画像は手書き画像と同様に参照画像と判別されて抽出され、背景画像と合成して印刷される。

しかしこのように、イラスト画像を手書き領域内に印刷して読取り、読取画像からイラスト画像を抽出する場合、抽出した画像は原稿シートの地色の影響を受けてしまうという問題がある。特に、抽出された画像において白色部分や淡い色の領域は地色の影響によって、元のイラスト画像データの色と異なる色になってしまう場合がある。この抽出した画像と背景画像とを合成するので、合成結果におけるイラストの色調が元のイラスト画像の色調と異なってしまうという問題がある。またこのような原稿シートの地色による影響だけでなく、印刷工程や読取工程の色特性によってイラストの色調が変化することでも合成結果が不自然なものとなる問題は起きてしまう。

よって本発明は、シートの読取画像から抽出された画像と、メモリに記憶されている画像とを適切に合成することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

本発明は、メモリに記憶されている第１の画像と、メモリに記憶されている第２の画像とを、印刷装置にシートへ印刷させる印刷制御手段と、前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力手段と、前記入力手段により入力された読取画像において前記第２の画像に対応する抽出対象の領域と、当該抽出対象の領域において色調整の対象のとなる色調整部分とを特定するための情報を、メモリから取得する取得手段と、前記入力手段により入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記取得手段により取得された情報により特定される前記抽出対象の領域に対応する第２の抽出画像とを、当該読取画像から抽出する抽出手段と、前記抽出手段により抽出される前記第２の抽出画像における、前記取得手段により取得された情報により特定される色調整部分に、所定の色調整処理を実行する実行手段と、前記抽出手段により抽出された、前記第１の抽出画像および前記実行手段により前記所定の色調整処理が実行された前記第２の抽出画像と、前記メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力手段と、を有することを特徴とする画像処理装置。

本発明によれば、シートの読取画像から抽出される抽出画像に色調整が行われるため、抽出画像と、メモリに記憶されている画像とを適切に合成することができる。

本発明を実施するために最良の形態は、次の実施例である。

（第１の実施例）
図１は、実施例における画像合成装置の構成を示すブロック図である。

マイクロプロセッサ形態のＣＰＵ２は、内部バス３を介して接続されているプログラムメモリ４に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ５の内容とに従って動作する。なお、以下で説明する処理はプログラムメモリ４に格納されている制御プログラムをＣＰＵ２が実行することで実現できる。

ＣＰＵ２は、読取制御部６を通じて、読取部としての読取機構７を動作させ、読取機構７内に設けられている不図示のイメージセンサによって読取った原稿画像データを、データメモリ５中の読取バッファメモリ８に格納する。

読取バッファメモリ８に格納された原稿画像データは、データ変換部９によって読み出され、印刷データに変換された後に、データメモリ５中の印刷バッファメモリ１０に格納される。ＣＰＵ２は、印刷制御部１１を通じて印刷部としての印刷機構１２を動作させる。またそれとともに、印刷バッファメモリ１０に格納されている印刷データを読み出し、印刷機構１２に送って記録シートへ印刷することによって、コピー動作を実現する。

データメモリ５には、画像メモリ１３が設けられ、読取機構７が読取った原稿画像データの他に、各種の画像データを一時的に記憶し、編集することができる。この画像メモリ１３に記憶されている画像データをデータ変換部９が読み出して印刷データに変換することによって、コピー動作以外にも写真画像その他の印刷を行うことができる。

なお、データメモリ５上の読取バッファメモリ８、印刷バッファメモリ１０、画像メモリ１３は、ＣＰＵ２の管理により、動作モードやユーザ設定など動作状況に応じて各メモリの容量配分を動的に変更して割り付けて動作することができる。

またデータ変換部９は、画像解析、サムネイル作成、サムネイル補正、出力画像補正等の画像処理も行う。

プログラムメモリ４には、ＣＰＵ２を制御する制御プログラムの他に、写真画像などを装飾するためのイラスト画像など合成用の定型画像データがあらかじめ記録されている。

また画像合成装置１には、ＬＥＤ、ＬＣＤなどの表示部１４と、各種キーなどの操作部１５とを具備する操作パネル１６が設けられ、オペレータによる各種入力操作や動作状況の表示などを実行することができる。

メモリカード制御部１７は、記録媒体であるメモリカード１８へのアクセスを制御し、メモリカード１８に記憶されている画像データなどのデータを読み書きする。これによりメモリカード１８に記憶されている写真画像データを読み出して画像メモリ１３に格納し、印刷データに変換して印刷する。またメモリカード制御部１７は、読取バッファメモリ８に格納された原稿画像データをデータ変換部９によって読み出して画像メモリ１３に格納し、画像記録データに変換してメモリカード１８に書き出し、記録することができる。

インタフェース制御部１９は、インタフェース２０による通信を制御し、外部に接続されている外部装置２１との間でデータを送受信する。外部装置２１として例えばパーソナルコンピュータ（以下、ＰＣ）があり、画像合成装置１はＰＣと接続して、ＰＣ上で動作するプリンタドライバによって作成された印刷データを受信して印刷する。また外部装置２１としてＰＣを接続し、ＰＣ上で動作するスキャナドライバからの読取り要求を受信する。すると読取バッファメモリ８に格納された原稿画像データをデータ変換部９によって読み出して画像データを送信する。さらに他にも、デジタルカメラ等の機器が接続され、写真画像データを読み出して画像メモリ１３に格納し、印刷データに変換して印刷することができる。

通信制御部２２は、ＭＯＤＥＭ（変復調装置）や、ＮＣＵ（網制御装置）等によって構成され、アナログの通信回線２３に接続され、通信制御、通信回線に対する発呼と着呼等の回線制御を行う。

図２は、手書き原稿シートを印刷する処理手順を示すフローチャートである。

なおこの処理は、操作パネル１６に表示されているメニューにおいて、ユーザが「手書き原稿シート印刷」を選択した場合に、画像合成装置１のＣＰＵ２により実行される。

Ｓ００１では、メモリカード１８に記憶された背景画像の画像データファイルを読み込んで、ユーザが画像の選択が可能な選択画面を表示部１４に表示する。次にＳ００２では、ユーザによる操作部１５のキー操作により、背景画像が選択されたかどうかを確認する。Ｓ００２において背景画像３８が選択されていない場合、Ｓ００１へ戻る。

背景画像が選択された場合、Ｓ００３でプログラムメモリ４に記憶されたイラスト画像の画像データファイルを読み込んで、表示部１４に表示する。この際ユーザは、操作部１５のキー操作をして、イラスト画像を合成するか否か、また合成するイラスト画像を選択することができる。詳細は図５で後述する。

次にＳ００４では、Ｓ００３においてユーザによりイラスト画像が選択されたか、またイラスト画像を合成するか否かを確認する。Ｓ００４で、ユーザがイラスト画像を選択しなかったと判断した場合、Ｓ００５に進み、Ｓ００２で選択された背景画像をもとに参照画像を生成し、画像メモリ１３に格納する。

なお参照画像とは、写真画像等の背景画像の輝度が高くなるよう変換して得られた画像であり、背景画像の色を淡くした画像となる。図３は参照画像の一例を示す図であり、図の参照画像３５は、背景画像３８を変換して色を淡くした画像となっている。この参照画像の生成処理の詳細については後述する。

Ｓ００４でユーザがイラスト画像を選択したと判断した場合、Ｓ００６に進み、Ｓ００５の場合と同様に参照画像を生成する。次にＳ００７では、Ｓ００３で選択されたイラスト画像とＳ００６で生成された参照画像を合成して合成画像とする。この合成画像を第１の画像と呼んでもよい。

図４は、イラスト画像と参照画像との合成を示す図である。ここでは、イラスト画像３６のそれぞれの画素データが透過情報であるか否かを調べる。透過情報である画素には、参照画像３５の画素データを採用し、透過情報ではない画素にはイラスト画像３６の画素を採用する。

次にＳ００８では、Ｓ００５で生成した参照画像またはＳ００７で作成した合成画像の印刷データを作成する。なおこのとき合成画像と合わせて、プログラムメモリ４に記憶されているユーザが各種の設定するための設定領域と、その他設定を示すバーコードの印刷データが作成される。例えばこのバーコードには、Ｓ００２でユーザが選択した背景画像の記録先を示す情報や、Ｓ００４でイラスト画像の合成をユーザが選択したか否か、また合成するイラスト画像の種類が記録されている。

最後にＳ００９で、印刷機構１２を制御し、Ｓ００８で作成した印刷データに基づいて手書き原稿シートを印刷する。

図５は、図２のＳ００３で表示されるイラスト画像の選択画面を示す図である。

３６はプログラムメモリに記憶されたイラスト画像であり、読み出されて表示部１４に表示されている。ユーザは操作部１５の方向キーの押下で表示部１４に表示するイラスト画像３６を変更できる。この状態で操作部１５のＯＫキーが押下された場合、Ｓ００４において表示されているイラスト画像３６を選択したと判断する。また一方、図の表示部１４に表示された「イラストなし」が選択されてＯＫキーが押下された場合、Ｓ００４においてイラスト画像は合成しないものと判断する。

次に、背景画像から参照画像を生成する処理（図２のＳ００５、Ｓ００６）の詳細について説明する。なお図２のＳ００２でユーザが背景画像を選択した場合、その背景画像のデータファイルが画像メモリ１３に格納されているものとする。

この処理では、まず画像メモリ１３に格納された背景画像の輝度データ（Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ）を取得する。なお、Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇはそれぞれ０〜２５５までの値をとる輝度データである。

そして以下の式（１）〜（３）によって諧調変換を行い、参照画像の画素データ（Ｒｒｅｆ、Ｇｒｅｆ、Ｂｒｅｆ）を得る。
Ｒｒｅｆ＝（２５５−ＲｍｉＮ）＋（（Ｒｏｒｇ／２５５）＊ＲｍｉＮ）・・・（１）
Ｇｒｅｆ＝（２５５−ＧｍｉＮ）＋（（Ｇｏｒｇ／２５５）＊ＧｍｉＮ）・・・（２）
Ｂｒｅｆ＝（２５５−ＢｍｉＮ）＋（（Ｂｏｒｇ／２５５）＊ＢｍｉＮ）・・・（３）
この処理を背景画像３８の全画素データについて繰り返すことによって、輝度が（ＲｍｉＮ、ＧｍｉＮ、ＢｍｉＮ）以上に制限された参照画像を生成することができる。

図６は、実施例における手書き原稿シートの一例を示す図であり、図２で示したフローチャートに従い印刷される。

図６に示す手書き原稿シートにおいてバーコード３０が設けられ、このバーコード３０には前述の通り、背景画像が記録されている先を示す情報や、イラスト画像を合成するか否か、また合成するイラスト画像の種類が記録されている。

この手書き原稿シートにおいて、バーコード３０の右側には設定領域３１が設けられ、この設定領域３１に記載されているマークシート枠をユーザが塗りつぶすことによって、印刷する際の設定を選択することができる。この図において、設定領域３１内の３２は用紙サイズ選択マークシート枠であり、ユーザがそのいずれかを塗りつぶすことにより、印刷する記録シートのサイズを選択することができる。また同様に、３３はレイアウト選択マークシート枠であり、ユーザがそのいずれかを塗りつぶすことによって、印刷する記録シートのレイアウトを選択できる。

３４は手書き領域であり、ユーザが背景画像に合成させたい文字や絵を書く領域である。３７はユーザに記入された文字であり、このような手書き領域３４に書かれた文字や絵が手書き画像となる。

また手書き領域３４には、図２のＳ００７で生成された参照画像３５と、イラスト画像３６とが重ねて合成された合成画像が印刷されている。

図７は、ユーザに記入された手書き原稿シートを読み込み、合成結果画像を印刷する処理手順を示すフローチャートである。なお図７に示す処理は、操作パネル１６に表示されているメニューにおいてユーザが「手書き原稿シートを読込・合成印刷」を選択した場合に、画像合成装置１のＣＰＵ２により実行される。

まずＳ１０１では、読取機構７を制御して手書き原稿シートを読取り、手書き原稿シート画像として読取り読取バッファメモリ８に格納する。次にＳ１０２では、Ｓ１０１で得られた手書き原稿シート画像を解析し、印刷に関する情報を取得する。例えば、読取った手書き原稿シート画像から、図６で示したバーコード３０を切り出して解析し、ユーザにより選択された背景画像が記録されている記録シートを示す情報や、イラスト画像の種類を取得する。また図６で示した設定領域３１部分を切り出し、シートサイズ選択マークシート枠３２の塗りつぶし状態を解析し、印刷するシートサイズの選択情報を取得する。更に、レイアウト選択マークシート枠３３の塗りつぶし状態を解析して、印刷するレイアウトの選択情報を取得する。

次にＳ１０３では、Ｓ１０１で得られた手書き原稿シート画像から、図６で説明した手書き領域に対応する画像（手書き領域画像）を切り出す。詳細ついては図１０で後述する。なお、この切り出した画像を第２の画像と呼んでもよい。次にＳ１０４では、手書き領域画像から手書き画像を抽出するための手書き画像マスクデータを作成する。詳細については図１１で後述する。

Ｓ１０５では、Ｓ１０２でバーコード３０を解析した結果から、図２で示した手書き原稿シートを印刷する処理においてユーザがイラスト画像を選択していたか否かを判断する。Ｓ１０５において、イラスト画像が選択されていないと判断された場合Ｓ１０６に進み、Ｓ１０４で作成した手書き画像マスクデータを使用して、手書き領域画像から手書き画像を抽出する。一方、Ｓ１０５において、イラスト画像が選択されていたと判断された場合Ｓ１０７に進み、手書き原稿シートを印刷した際にユーザが選択したイラスト画像のデジタル画像データから、イラスト画像マスクデータを作成する。この処理の詳細については、図１２で後述する。

次にＳ１０８において、後述の図１４で説明する方法で、Ｓ１０７で作成したイラスト画像マスクデータに基づき、手書き領域画像の所定の領域に対し色調整を行う。次にＳ１０９において、Ｓ１０４で作成した手書き画像マスクデータと、Ｓ１０７で作成したイラスト画像マスクデータとを合成し、合成マスクデータを作成する。次にＳ１１０において、Ｓ１０９で作成した合成マスクデータを使用して手書き領域画像から画像を抽出する。これが手書き・イラスト抽出画像となる。

Ｓ１１１では、図２に示したフローチャートにおけるＳ００２でユーザが選択した背景画像をメモリカード１８から読み出して、先のＳ１０６またはＳ１１０で抽出した画像と合成した画像（以下、合成結果画像という）を作成する。これを、図８を用いて説明する。

図８は合成結果画像を作成する処理の一例を示す図であり、手書き部分またはイラスト部分であると判断された画素はＳ１１０で抽出した画像の画素データを採用する。またその他の画素は、背景部分であると判断し、選択した背景画像３８の画素データを採用する。これにより、背景画像、イラスト画像、手書き画像が合成された合成結果画像が作成される。

次にＳ１１２では、先のＳ１０２で取得したシートサイズ選択情報とレイアウト情報に基づいて合成結果画像の拡大または縮小処理を行う。最後にＳ１１３において、印刷機構１２を制御して、Ｓ１１２で拡大、または縮小された合成結果画像を記録シートに印刷する。

図９は合成結果画像を印刷した結果の一例を示す図であり、このように各種のレイアウトで印刷することができる。なお、Ｓ１１３の処理を第２の印刷制御と呼んでもよい。

ここで、図７のＳ１０４で説明した、手書き領域画像から手書き画像マスクデータを作成する処理について説明する。

ＣＰＵ２は、手書き領域画像の各画素の輝度データ（ＲＳｃａＮ、ＧＳｃａＮ、ＢＳｃａＮ）を取得し、各画素の輝度データが所定閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）以上であるか否かを調べる。すなわち、以下の式（４）〜（６）の不等号が全て成り立つか否かを調べる。
ＲＳｃａＮ ＞ Ｒｔｈ ・・・（４）
ＧＳｃａＮ ＞ Ｇｔｈ ・・・（５）
ＢＳｃａＮ ＞ Ｂｔｈ ・・・（６）
上記式（４）〜（６）の全てが成立する場合、手書き領域画像の着目画素の輝度が所定レベル以上であり、着目画素が背景部分であると判断する。一方、式（４）〜（６）のいずれかが不成立の場合、着目画素の輝度が所定レベルより小さく、着目画素は手書き部分であると判断する。

図１０は、手書き領域画像を切り出す処理（図２のＳ１０３）を説明する図である。

手書き原稿シートを読取った後、読取バッファメモリ８に格納されている手書き原稿シート画像２９内の、手書き領域３４の位置を示す位置基準マーク３９を検出する。この検出した位置基準マーク３９により、手書き原稿シート画像２９内における手書き領域画像４０の位置と傾きを認識することができる。そしてＣＰＵ２は認識した位置と傾きをもとに傾き補正を行って手書き原稿シート画像２９から手書き領域画像４０を切り出し、画像メモリ１３に格納する。

図１１は、手書き画像マスクデータの作成の一例を示す図である。

図１１（ａ）は、手書き領域画像４０の輝度ヒストグラムであり、このヒストグラムに所定の閾値４３を設け、図１１（ｂ）に示すようにその閾値以下の輝度を持つ領域を抽出して、抽出画像４１とする。一般にユーザによる手書きは濃い色で書かれるため、手書きされた領域は閾値４３よりも低い輝度を持ち、このような抽出が可能となる。

この抽出画像４１において、抽出された領域の情報を１、抽出されなかった領域の情報を０として２値化処理を行い手書き画像マスクデータ４２を作成する。このようなマスクデータを使用して画像を抽出する際には、マスクデータのうち情報が１の領域に対する領域の画像が抽出されることになる。

なお、図１１（ｃ）に示すように、イラスト画像のうち閾値４３よりも低い輝度値を有する部分は抽出画像４１として抽出され、閾値４３よりも高い輝度値を有する部分は抽出されない。したがって、手書き画像マスクデータ４２においてイラスト画像３６に対応する領域のすべてが１となるわけではなく、イラスト画像領域のマスクデータが一部欠落した状態となる場合がある。ただし、図７のＳ１０９において手書き画像マスクデータ４２とイラスト画像マスクデータ４５とを合成すると、その欠落した領域はイラスト画像マスクデータ４５によって補完される。すなわち、手書き画像マスクデータ４２は手書き画像を抽出するためのマスクデータとすることができ、イラスト画像３６に対応する領域を考慮する必要はない。

図１２は、イラスト画像のデジタル画像データからイラスト画像マスクデータを作成する処理（図７のＳ１０７）を示す図である。なお、この処理を第２の作成処理と呼んでもよい。

４４は、プログラムメモリ４から読み出した、ユーザにより選択されたイラスト画像のデジタル画像データである。そして、その各画素の輝度データが透過情報に対応する所定値であるかにより、各画素が透過情報か否かを調べる。着目画素が透過情報である場合、イラスト画像マスクデータ４５における着目画素に対応する情報を０とする。次に、イラスト画像のデジタル画像データ４４の各画素の輝度データが色調整対象となる所定値であるかにより、各画素が色調整対象となるイラスト部か否かを調べる。着目画素の輝度が色調整対象となる値である場合、イラスト画像マスクデータ４５における着目画素に対応する情報を２とする。さらに、着目画素の輝度が色調整対象とならない、かつ透過情報でない場合、色調整対象でないイラスト部としてイラスト画像マスクデータ４５における着目画素に対応する情報を１とする。

なお、上記色調整対象とする所定の輝度値は、色調整の目的によって決定する。例えば、地色除去のために白色領域を対象とするならば、所定値をＲＧＢ（２５５，２５５，２５５）にするなどである。また、ある幅を持った色域を色調整対象とするために、色調整対象となる所定値に複数の値を設定してもよい。また、一般に地色の影響を受けやすい色としては白色や淡い色が挙げられるため、例えば所定の閾値以上の輝度値を有する画素を色調整対象とすることは有効である。

本実施例では、イラスト画像マスクデータ４５における着目画素が透過情報、色調整対象色でないイラスト部、色調整対象色であるイラスト部、に対応する情報をそれぞれ０、１、２とした。したがって図１２のように、イラスト画像マスクデータ４５において、０、１、２を非抽出領域、抽出領域、色調整領域かつ抽出領域とすることができる。なお、手書き領域画像とイラスト画像マスクデータとの境界の不一致を軽減するために、イラスト画像マスクデータを作成する処理において、図１３で示す収縮処理を行ってもよい。

図１３は、イラスト画像マスクデータに対する収縮処理を説明する図である。

図１３（ｂ）における５０は、イラスト画像マスクデータ４５により、手書き領域画像４０から抽出されたイラスト画像を拡大した画像である。

手書き領域画像４０における、参照画像とイラスト画像の境界付近の画素は両方の画像の情報を含むので、誤差によっては両画像の領域の区別があいまいになる、または領域の境界がずれてしまう場合がある。また、手書き原稿シート印刷時にインクのにじみが生じた場合や、両画像の解像度が異なる場合に、参照画像とイラスト画像の境界が膨張または収縮し画像の領域の区別があいまいになってしまう場合がある。このような場合に画像５０のように、イラスト画像を適切に抽出することができなくなってしまう。

そこで図１３（ａ）に示すイラスト画像マスクデータに対する収縮処理を行う。

図のようにイラスト画像マスクデータ４５における注目画素の４近傍画素の情報を調べ、１つでも情報が０の画素があれば注目画素の情報を０にし、全ての画素の情報が１であれば注目画素の情報を１にする。これをイラスト画像マスクデータ４５全体に行うことで、画素の情報が１の領域、つまりイラスト画像を抽出するための領域を収縮することができる。なお収縮処理には注目画素の８近傍画素の情報を使用してもよく、収縮量の増減は上記収縮処理の回数によって行うことができる。

このようにイラスト画像マスクデータを収縮させることで、抽出する領域が収縮されることになる。したがって手書き領域画像において参照画像とイラスト画像との境界があいまいになる、または境界がずれてしまうことの影響を軽減できる。

図１４は、図７のＳ１０８における、イラスト画像マスクデータに基づく手書き領域画像の所定の部分領域に対する色調整を示す図である。本実施例では、色調整によるイラスト画像３６の白色部分の地色除去について説明する。

手書き原稿シートを印刷する用紙に白色度の低い用紙や、地色のある用紙を使用した場合、図１４の手書き原稿シート画像２９のように、手書き原稿シートの白色部や淡く印刷された領域は用紙の地色の影響を受ける。したがって手書き領域画像４０内のイラスト画像３６の白色部分や淡い色の領域は、用紙の地色の影響によりイラスト画像のデジタル画像データ４４の色と異なる色相となる。

そこで、これを防ぐ為の方法として、図１４（ａ）にイラスト画像マスクデータ４５を使用して色調整を行う方法について説明する。

まず、イラスト画像マスクデータ４５の色調整領域から手書き画像マスクデータ４２の手書き画像領域を除いた色調整領域を抽出する。これは、イラスト画像３６の色調整領域にユーザが書き込みを行った場合手書き画像が色調整領域に重合するが、この重合している領域に対しては色調整を行わないようにするためである。

なお、この図では手書き画像マスクデータ４２はイラスト画像が抽出対象とはなっていない。しかし図１１に示すように、手書き画像マスクデータ４２がイラスト画像の一部を抽出する場合、イラスト画像マスクデータ４５と手書き画像マスクデータ４２で重複する部分ができ、この部分も色対象から除かれてしまう。しかしイラスト画像においてこの部分に対応する領域は低い輝度（濃い色）を持つ領域であるので、用紙の地色の影響を受け難く、色調整の対象から外してしまっても問題はない。

次に、抽出した色調整領域をもとに手書き領域画像４０内の色調整領域を判断し、色調整領域である領域に対しては色調整を行う。色調整は、抽出した色調整領域に対応する手書き領域画像４０の領域を、抽出した色調整領域に対応するイラスト画像のデジタル画像データ４４のデータで置き換える処理である。

図１４（ａ）では、色調整の方法として所定の部分領域をイラスト画像のデジタル画像データ４４で置き換える処理としたが、次に図１４（ｂ）に色調補正を行う方法を説明する。まず図１４（ａ）で説明した場合と同様に、イラスト画像マスクデータから色調整領域を抽出する。この色調整領域をもとに手書き領域画像４０内で色調整の対象となる領域を判断し、この領域に対してはトーンカーブ処理などの一般の色変換処理技術を用いることで色補正を行う。

なお本発明は、色調整における方法は特に規定されず、画像データの置換えの方法や色調補正の方法等、周知の色調整法を用いればよい。

また以上の説明では、色調整で地色除去を行うことを想定し説明した。しかし、たとえば印刷機構１２や読取機構７の色特性が原因で、マスクデータにより抽出された画像がイラスト画像データと異なった色調となってしまう場合でも有効である。

図１５は、手書き画像マスクデータとイラスト画像マスクデータを合成し、合成マスクデータを作成する処理（図７のＳ１０９）を示す図である。手書き画像マスクデータ４２とイラスト画像マスクデータ４５の２つのマスクデータにおける同じ位置にある画素のいずれかが１である場合は、その位置にある画素に対応する情報を１とする。また、２つのマスクデータにおける同じ位置に画素がともに０である場合は、その位置にある画素に対応する情報を０として合成マスクデータ４７を作成する。

図１６は、合成マスクデータを使用して手書き領域画像から画像を抽出し（図７のＳ１１０）、抽出した画像と背景画像とを合成する（図７のＳ１１１）処理を示す図である。

まず合成マスクデータを使用して手書き領域画像から画像を抽出する。具体的には、手書き領域画像４０の注目画素において、合成マスクデータ４７の内の同じ位置にある画素の値が１である場合は、手書き領域画像４０の画素情報とし、合成マスクデータ４７の値が０である場合は、透過情報とする。これにより、手書き領域画像４０から、手書き・イラスト抽出画像４８を抽出できる。次に、手書き・イラスト抽出画像４８と背景画像３８とを合成し、合成結果画像４９を作成する。

また図１６では、手書き画像マスクデータ４２とイラスト画像マスクデータ４５とを合成した合成マスクデータ４７を使用しているが、それぞれのマスクデータを使用して抽出を行ってもよい。

また図１６では手書き・イラスト抽出画像４８を抽出してから、背景画像との合成をしている。つまりはマスクデータに基づいた画像の抽出処理と、抽出画像と背景画像との合成処理とを別の処理とした。しかし、マスクデータに基づいて画像を抽出する際に、抽出画像を画像データとして形成せずに、抽出画像を合成先である背景画像へ書き込む方法でもよい。この場合、合成マスクデータ４７を用いて手書き領域画像４０から抽出を行う際に、合成マスクデータの注目画素の値が１である場合は、その注目画素に対応する手書き領域画像４０の画素を採用する。一方、合成マスクデータの注目画素の値が０である場合は、その注目画素に対応する背景画像３８の画素を採用する。この処理によっても合成結果画像４９を作成することができる。

以上の実施例によればイラスト画像のうち、印刷用紙の地色の影響を受けやすいと思われる所定の輝度値を持つ部分領域に対して色調整を行う。これにより、合成結果においてイラストの色調がもとのイラスト画像データに沿った色調となる。

なお、以上の説明では手書き領域画像に対して色調整を行っていた。しかし本発明はこれに限らず、合成マスクデータにより手書き・イラスト抽出画像を抽出する際に色調整を行ってもよい。この場合、図１５の説明では、イラスト画像マスクデータの色調整領域は単に抽出領域として扱っていたが、これを手書き領域画像から抽出・色調整する領域として扱う。

ここで、この合成マスクデータの作成について説明する。イラスト画像マスクデータの画素の情報が２（色調整領域で且つ抽出領域）である場合、手書き画像マスクデータの同じ位置にある画素の情報が０（非抽出領域）である場合は、その位置にある画素に対応する情報を２とする。また一方、手書き画像マスクデータの同じ位置にある画素の情報が１（抽出領域）である場合はユーザがイラストの上に手書きを行ったと思われるため、その位置にある画素に対応する情報を１として色調整対象としない。このように合成マスクデータ４７を作成する。

（第２の実施例）
第２の実施例として、合成結果画像のレイアウトを手書き原稿シートを印刷する前にユーザが設定する場合の実施例を示す。

図１７は半面レイアウトの合成結果画像の一例である。この場合、イラスト画像３６は背景画像３８と重なることなく合成されて印刷されることがわかる。また同様に、手書き原稿シートにおいてもイラスト画像は背景画像と重なることなく合成される。この場合、手書き原稿シートの地色の影響を除去するために、上述した第１の実施例のように色調整を行う方法でもよい。ただし印刷する用紙が例えば白色の場合、手書き原稿シートからイラスト画像を抽出する際には、白色の部分は抽出しないようにすることも考えられる。そこで以下のような方法を述べる。

図１８は第２の実施例における手書き原稿シートを印刷する処理を示すフローチャートである。この処理は、操作パネル１６に表示されているメニューにおいて、ユーザが「手書き原稿シート印刷」を選択した場合にＣＰＵ２により実行される処理である。

まずＳ２０１において、レイアウト選択画面を表示部１４に表示して、Ｓ２０２で操作部１５のキー操作を監視して合成結果のレイアウトが選択されたがどうかを確認する。合成結果のレイアウトが選択されていない場合、Ｓ２０１へ処理を戻す。Ｓ２０２において、合成結果のレイアウトが選択された場合、Ｓ２０３へ処理を進める。

Ｓ２０３では、図２で説明したフローチャートに従って手書き原稿シートを印刷する。ただし、ここではＳ２０２で選択された合成結果のレイアウトに応じ、全面レイアウト用手書き原稿シート、または半面レイアウト用手書き原稿シートの印刷データを作成し、印刷する。

図１９は本実施例における全面レイアウト用手書き原稿シートの構成を、図２０は半面レイアウト用手書き原稿シートの構成を示す図である。

全面レイアウト用の手書き原稿シート２８および半面レイアウト用手書き原稿シート５１には、バーコード３０が設けられている。このバーコード３０には、背景画像３８の記録先情報や、イラスト画像３６の種類に加え、ユーザにより選択された合成結果のレイアウト情報が記録されている。

また各種設定領域３１内の用紙サイズ選択マークシート枠３２のいずれかをユーザが塗りつぶすことによって、図１７で示す合成結果画像を印刷する記録媒体の用紙サイズが選択される。また図６で示した手書き原稿シートと比較するとレイアウトの選択欄がないことがわかる。

なお、図２０で示した半面レイアウト用手書き原稿シートの場合、ユーザによる手書きが参照画像と重なっていない。このように、ユーザに参照画像と重ねて手書きさせない場合には、参照画像でなく、背景画像を印刷してもよい。

図２１に示す処理は、ユーザに記入された手書き原稿シートを読み込み、合成結果画像を印刷する処理手順を示すフローチャートである。この処理は操作パネル１６に表示されているメニューにおいて、ユーザが、「手書き原稿シートを読込・合成印刷」を選択した場合にＣＰＵ２により実行される処理である。

Ｓ３０１からＳ３０６の処理は、それぞれ図７で説明したＳ１０１からＳ１０６までの処理と同様であるので詳細な説明を省略する。

Ｓ３０７はユーザによりイラスト画像が選択されていた場合に実行される処理である。Ｓ３０２でバーコード３０を解析して得た情報から、ユーザが手書き原稿シートを印刷する際に、全面レイアウトを選択していたか判断する。

全面レイアウトが選択されていた場合、Ｓ３０８において、後述の図２２で説明する方法で全面レイアウト用イラスト画像マスクデータ５２を、ユーザが選択したイラスト画像のデジタル画像データに基づき作成する。

一方、半面レイアウトが選択されていた場合、Ｓ３０９において、後述の図２３で説明する方法で半面レイアウト用イラスト画像マスクデータ５３を、ユーザが選択したイラスト画像のデジタル画像データに基づき作成する。

Ｓ３１０において、前述の図１５で説明する方法と同様に、イラスト画像マスクデータ５２又は５３と作成した手書き画像マスクデータとを合成する。Ｓ３１１において、前述の図１６で説明する方法と同様に合成マスクデータに基づき手書き領域画像から画像を抽出し、手書き・イラスト抽出画像とする。Ｓ３１２において、ユーザが選択した背景画像をメモリカードから読み出して、読み出した背景画像とＳ３０６またはＳ３１１で抽出した画像とを合成し、合成結果画像とする。２つの画像の合成方法は、前述の図８で説明したように背景画像の上に、抽出した画像を合成する。Ｓ３１３において、Ｓ３０２で取得した用紙サイズ選択情報に基づいて、合成結果画像の拡大縮小処理や回転処理を行う。Ｓ３１４において、印刷機構１２を制御することによって、合成結果画像を、印刷用紙に印刷する。

図２２は、イラスト画像のデジタル画像データから全面レイアウト用イラスト画像マスクデータを作成する処理（図２１のＳ３０８）を示す図である。

まずプログラムメモリ４に記録されているイラスト画像のデジタル画像データ４４の各画素が透過情報か否かを調べる。すなわち、各画素の輝度データが透過情報に対応する所定値であるかを調べる。着目画素が透過情報である場合、全面レイアウト用イラスト画像マスクデータ５２における着目画素に対応する情報を非抽出領域としての０とする。着目画素が透過情報でない場合、全面レイアウト用イラスト画像マスクデータ５２における着目画素に対応する情報を抽出領域としての１とする。

図２３は、イラスト画像のデジタル画像データ４４から半面レイアウト用イラスト画像マスクデータ５３を作成する処理（図２１のＳ３０９）を示す図である。

このイラスト画像マスクデータを作成する際には、まずプログラムメモリ４に記録されているイラスト画像のデジタル画像データ４４の各画素が透過情報か否かを調べる。すなわち、各画素の輝度データが透過情報に対応する所定値であるかを調べる。着目画素が透過情報である場合、半面レイアウト用イラスト画像マスクデータ５３における着目画素に対応する情報を非抽出領域としての０とする。

次に、プログラムメモリ４に記録されているイラスト画像のデジタル画像データ４４の各画素が色調整対象情報か否かを調べる。すなわち、各画素の輝度データが色調整対象に対応する所定値であるかを調べる。

着目画素が透過情報でも色調整対象情報でもない場合、半面レイアウト用イラスト画像マスクデータ５３における着目画素に対応する情報を抽出領域としての１とする。

着目画素が色調整対象情報である場合、半面レイアウト用イラスト画像マスクデータ５３における着目画素に対応する情報を、透過情報の場合と同じく非抽出領域としての０とする。

なお色調整対象に対応する所定値は、色調整の目的によって決定する。例えば、地色除去のために白色領域を対象とするならば、所定値をＲＧＢ（２５５，２５５，２５５）にするなどである。ある幅を持った色域を色調整対象とするために、色調整対象に対応する所定値に複数の値を指定してもかまわない。

以上の図２３で示したイラスト画像マスクデータ５３では、イラスト画像データのうち色調整対象色となる領域は抽出されない。したがってイラスト画像データを手書き原稿シートに印刷した結果、本来白色であった部分が用紙の地色の影響等で白色でなくなっても、その部分の画素は透過情報と同等となり、抽出されないことになる。

このイラスト画像マスクデータ５３で抽出された画像が図１７で示したイラスト画像３６となり合成される。この画像は本来のイラスト画像データとは異なり、色調整対象領域となる部分領域（ここでは白色の領域）が欠落している。これによりイラスト画像の欠落した白色の領域は印刷されないので、手書き原稿シートの地色の影響や、手書き原稿シートの読取、入力の際の色特性による誤差の影響を防ぐことができる。

このように本実施例では合成時に写真画像とイラスト画像が重なっているか否かに応じて、イラスト画像マスクデータの作成方法を切り替えればよい。それにより、写真画像とイラスト画像を重複しない領域に合成する場合、原稿シートの地色の影響や、印刷工程や読取工程の色特性により、読取画像におけるイラスト画像データの色がもとの色と異なる問題を、回避することが出来る。

なお、本実施例では、イラスト画像のデジタル画像データ４４からイラスト画像マスクデータ５２及び５３を作成する処理を説明したが、プログラムメモリ４にあらかじめイラスト画像に対応するイラスト画像マスクデータ５２及び５３を保持させ使用してもよい。このようにすると、イラスト画像のデジタル画像データからイラスト画像マスクデータ５２及び５３を作成する処理（Ｓ３０８およびＳ３０９）を行う必要がなくなる。

なお、本実施例ではマスクデータに基づいた画像の抽出処理と、抽出画像と背景画像との合成処理とを別の処理として説明した。しかし、マスクデータに基づいて画像を抽出する際に、抽出画像を画像データとして形成せずに、抽出画像を合成先である背景画像へ書き込む方法でもよい。

また以上の実施例では、イラスト画像マスクデータのフォーマットについて特に規定しない。たとえば、透過情報に対応する値を複数与え透過度を表現したり、色調整対象情報に対応する値を複数与え複数の色調整方法の情報を表現したりしてもかまわない。

実施例における画像合成装置の構成を示すブロック図である。 手書き原稿シートを印刷する処理手順を示すフローチャートである。 参照画像の一例を示す図である。 イラスト画像と参照画像との合成を示す図である。 図２のＳ００３で表示されるイラスト画像の選択画面を示す図である。 実施例における手書き原稿シートの一例を示す図である。 ユーザに記入された手書き原稿シートを読み込み、合成結果画像を印刷する処理手順を示すフローチャートである。 合成結果画像を作成する処理の一例を示す図である。 合成結果画像を印刷した結果の一例を示す図である。 手書き領域画像を切り出す処理を説明する図である。 手書き画像マスクデータの作成の一例を示す図である。 イラスト画像のデジタル画像データからイラスト画像マスクデータを作成する処理を示す図である。 イラスト画像マスクデータに対する収縮処理を説明する図である。 イラスト画像マスクデータに基づく手書き領域画像の所定の部分領域に対する色調整を示す図である。 手書き画像マスクデータとイラスト画像マスクデータを合成し、合成マスクデータを作成する処理を示す図である。 合成マスクデータを使用して手書き領域画像から画像を抽出し、抽出した画像と背景画像とを合成する処理を示す図である。 半面レイアウトの合成結果画像の一例を示す図である。 第２の実施例における手書き原稿シートを印刷する処理を示すフローチャートである。 全面レイアウト用手書き原稿シートの構成を示す図である。 半面レイアウト用手書き原稿シートの構成を示す図である。 ユーザに記入された手書き原稿シートを読み込み、合成結果画像を印刷する処理手順を示すフローチャートである。 イラスト画像のデジタル画像データから全面レイアウト用イラスト画像マスクデータを作成する処理を示す図である。 イラスト画像のデジタル画像データから半面レイアウト用イラスト画像マスクデータを作成する処理を示す図である。

符号の説明

１ 画像合成装置
２ ＣＰＵ
３ 内部バス
４ プログラムメモリ
５ データメモリ
６ 読取り制御部
７ 読取機構
８ 読取りバッファメモリ
９ データ変換部
１０ 印刷バッファメモリ
１１ 印刷制御部
１２ 印刷機構
１３ 画像メモリ

Claims (9)

1. メモリに記憶されている第１の画像と、メモリに記憶されている第２の画像とを、印刷装置にシートへ印刷させる印刷制御手段と、
   前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力手段と、
   前記入力手段により入力された読取画像において前記第２の画像に対応する抽出対象の領域と、当該抽出対象の領域において色調整の対象のとなる色調整部分とを特定するための情報を、メモリから取得する取得手段と、
   前記入力手段により入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記取得手段により取得された情報により特定される前記抽出対象の領域に対応する第２の抽出画像とを、当該読取画像から抽出する抽出手段と、
   前記抽出手段により抽出される前記第２の抽出画像における、前記取得手段により取得された情報により特定される色調整部分に、所定の色調整処理を実行する実行手段と、
   前記抽出手段により抽出された、前記第１の抽出画像および前記実行手段により前記所定の色調整処理が実行された前記第２の抽出画像と、前記メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記実行手段は、前記抽出手段により前記読取画像から前記第２の抽出画像が抽出される前に、当該読取画像のうちの前記抽出対象の領域における前記色調整部分に、前記所定の色調整処理を実行し、
   前記抽出手段は、前記実行手段により前記所定の色調整処理が前記色調整部分に既に実行されている前記第２の抽出画像を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記実行手段は、前記抽出手段により前記読取画像から前記第２の抽出画像が抽出された後に、当該第２の抽出画像における前記色調整部分に、前記所定の色調整処理を実行することを特徴とする請求項１に記載の画像処理装置。
4. 前記取得手段は、メモリに記憶されている前記第２の画像に基づき、前記抽出対象の領域と、当該抽出対象の領域における前記色調整部分とを特定するための前記情報を作成して、当該情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記所定の色調整処理は、前記第２の抽出画像における前記色調整部分の画像を、前記メモリに記憶されている前記第２の画像における当該色調整部分に対応する領域の画像に置き換える処理であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段は、前記抽出手段により抽出される前記第１の抽出画像および前記第２の抽出画像と、前記メモリに記憶されている前記第１の画像とが合成されるときのレイアウトが所定のレイアウトの場合には、当該読取画像のうちの前記抽出対象の領域における前記色調整部分を抽出しないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記抽出手段は、前記入力手段により入力された読取画像から、前記第１の抽出画像と前記第２の抽出画像とを、１つの画像として抽出し、
   前記出力手段は、前記抽出手段により抽出された、前記第１の抽出画像と前記第２の抽出画像とを含む１つの画像と、前記メモリに記憶されている前記第１の画像とを合成することによって、当該第１の抽出画像と、当該第２の抽出画像と、当該第１の画像とが合成された前記合成画像を出力することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. メモリに記憶されている第１の画像と、メモリに記憶されている第２の画像とを、印刷装置にシートへ印刷させる印刷制御工程と、
   前記印刷制御工程において印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力工程と、
   前記入力工程において入力された読取画像において前記第２の画像に対応する抽出対象の領域と、当該抽出対象の領域において色調整の対象のとなる色調整部分とを特定するための情報を、メモリから取得する取得工程と、
   前記入力工程において入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記取得工程において取得された情報により特定される前記抽出対象の領域に対応する第２の抽出画像とを、当該読取画像から抽出する抽出工程と、
   前記抽出工程において抽出される前記第２の抽出画像における、前記取得工程において取得された情報により特定される色調整部分に、所定の色調整処理を実行する実行工程と、
   前記抽出工程において抽出された、前記第１の抽出画像および前記実行工程において前記所定の色調整処理が実行された前記第２の抽出画像と、前記メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力工程と、
   を有することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images