JP5058887B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、シートを読み取って得られた読取画像から抽出された抽出画像と、メモリに記憶されている画像とが合成された合成画像を出力する画像処理装置、画像処理方法、およびプログラムに関する。

近年、デジタルカメラやスキャナ、プリンタなどの装置の普及と高性能化によって、デジタル写真画像を単に記録シートに印刷するだけではなく、写真画像のさまざまな使われ方が提案されている。

その一例として、写真画像に手書きの文字や絵を書き込む加工や、写真画像にイラスト画像などのデジタル画像データを合成する技術がある。これらの技術を用いて、例えばデジタルカメラで撮影した写真画像にメッセージを書き込み、さらに装飾用のフレームを合成した葉書を作成することができる。

このように、デジタルカメラやスキャナなど画像入力装置から入力した写真画像に手書きの文字や絵、またはイラストを合成する手段として、いくつかの方法が提案されている。

その一つとして特許文献１には、入力した写真画像にイラスト画像を合成した原稿シートを印刷し、印刷した原稿シートの手書き領域にユーザが文字や絵を書き込み、その原稿シートを読取って、写真画像に手書き画像を合成する方法が記載されている。またその際に、手書きした文字や絵が写真画像のどの位置に合成されるのかをユーザが認識できるようにするために、原稿シートの手書き領域内に写真画像を印刷する方法が記載されている。

また、この方法により作成された原稿シートを読取る際には、印刷された背景画像と、手書きされた領域とを判別し、手書きされた文字や絵を抽出する必要がある。そこで特許文献１では背景画像を淡く印刷し、読取る際には輝度に閾値を設けて、読取られた画像のうち閾値よりも輝度が低い部分をユーザにより手書きされた部分として判断している。

またイラスト画像を合成する方法として特許文献２では、メモリカード等の記録媒体に記録されたフレームの画像を読出して写真画像と合成し、写真画像を装飾して印刷する方法が記載されている。
特許第３７７８２９３号公報 特開２０００−２９５５６５号公報

上述の背景技術を用いて、写真画像にイラスト画像を合成し、更にユーザによる手書き画像を合成することが考えられる。

その際、ユーザが合成結果を確認しながら手書きを行うことができるようにするために、上記特許文献１記載の方法を用いて、イラスト画像と淡く印刷した背景画像（以下、参照画像という）とを原稿シートの手書き領域に印刷することが考えられる。

このとき原稿シートを読取る際には、印刷されたイラスト画像は、手書き画像と同様に参照画像と判別されて抽出されなければならない。

しかし、仮にイラスト画像の中に閾値よりも高い輝度を持つ部分がある場合、読取りの際にその部分が抽出されず、印刷結果ではイラスト画像の一部が欠落してしまうという問題がある。

したがってイラスト画像は、上述の設定された閾値よりも低い輝度である必要があり、イラスト画像には輝度の高い色を採用することができないという課題がある。

よって、本発明は、メモリに記憶されている画像をシートに印刷して、当該シートの読取画像から当該画像を適切に抽出することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

本発明の画像処理装置は、メモリに記憶されている第１の画像と、メモリに記憶され、合成対象のオブジェクトに対応する第２の画像とを、印刷装置にシートへ印刷させる印刷制御手段と、前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力手段と、メモリに記憶されている前記第２の画像を解析することにより前記オブジェクトの領域を特定し、特定された当該領域に基づき前記入力手段により入力された読取画像に含まれている前記オブジェクトを特定する特定手段と、前記入力手段により入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記特定手段により特定される前記オブジェクトに対応する第２の抽出画像とを、当該読取画像から抽出する抽出手段と、前記抽出手段により抽出された前記第１の抽出画像および前記第２の抽出画像と、メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力手段と、を有することを特徴とする。

本発明によれば、メモリに記憶されている画像をシートに印刷して、当該シートの読取画像から当該画像を適切に抽出することができる。

本発明を実施するために最良の形態は、次の実施例である。

図１は、実施例における画像合成装置の構成を示すブロック図である。

マイクロプロセッサ形態のＣＰＵ２は、内部バス３を介して接続されているプログラムメモリ４に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ５の内容とに従って動作する。なお、以下で説明する処理はプログラムメモリ４に格納されている制御プログラムをＣＰＵ２が実行することで実現できる。

ＣＰＵ２は、読取制御部６を通じて、読取部としての読取機構７を動作させ、読取機構７内に設けられている不図示のイメージセンサによって読取った原稿画像データを、データメモリ５中の読取バッファメモリ８に格納する。

読取バッファメモリ８に格納された原稿画像データは、データ変換部９によって読み出され、印刷データに変換された後に、データメモリ５中の印刷バッファメモリ１０に格納される。ＣＰＵ２は、印刷制御部１１を通じて印刷部としての印刷機構１２を動作させる。またそれとともに、印刷バッファメモリ１０に格納されている印刷データを読み出し、印刷機構１２に送って記録シートへ印刷することによって、コピー動作を実現する。

データメモリ５には、画像メモリ１３が設けられ、読取機構７が読取った原稿画像データの他に、各種の画像データを一時的に記憶し、編集することができる。この画像メモリ１３に記憶されている画像データをデータ変換部９が読み出して印刷データに変換することによって、コピー動作以外にも写真画像その他の印刷を行うことができる。

なお、データメモリ５上の読取バッファメモリ８、印刷バッファメモリ１０、画像メモリ１３は、ＣＰＵ２の管理により、動作モードやユーザ設定など動作状況に応じて各メモリの容量配分を動的に変更し、割り付けて動作することができる。

またデータ変換部９は、画像解析、サムネイル作成、サムネイル補正、出力画像補正等の画像処理も行う。

プログラムメモリ４には、ＣＰＵ２を制御する制御プログラムの他に、写真画像などを装飾するためのイラスト画像など合成用の定型画像データがあらかじめ記録されている。

また画像合成装置１には、ＬＥＤ、ＬＣＤなどの表示部１４と、各種キーなどの操作部１５とを具備する操作パネル１６が設けられ、オペレータによる各種入力操作や動作状況の表示などを実行することができる。

メモリカード制御部１７は、記録媒体であるメモリカード１８へのアクセスを制御し、メモリカード１８に記憶されている画像データなどのデータを読み書きする。これによりメモリカード１８に記憶されている写真画像データを読み出し、画像メモリ１３に格納して、印刷データに変換し、印刷する。

インタフェース制御部１９は、インタフェース２０による通信を制御し、外部に接続されている外部装置２１との間で、データを送受信する。外部装置２１として例えばパーソナルコンピュータ（以下、ＰＣ）があり、画像合成装置１はＰＣと接続して、ＰＣ上で動作するプリンタドライバによって作成された印刷データを受信し、印刷する。またこの他にも、デジタルカメラ等の機器を接続し、写真画像データを読み出して画像メモリ１３に格納し、印刷データに変換して印刷することができる。

通信制御部２２は、ＭＯＤＥＭ（変復調装置）や、ＮＣＵ（網制御装置）等によって構成され、アナログの通信回線２３に接続され、通信制御、通信回線に対する発呼と着呼等の回線制御を行う。

図３は、手書き原稿シートを印刷する処理手順を示すフローチャートである。

なおこの処理は、操作パネル１６に表示されているメニューにおいて、ユーザが「手書き原稿シート印刷」を選択した場合に、画像合成装置１のＣＰＵ２により実行される。

Ｓ００１では、メモリカード１８に記憶された背景画像の画像データファイルを読み込んで、ユーザが画像の選択が可能な選択画面を表示部１４に表示する。次にＳ００２では、ユーザによる操作部１５のキー操作により、背景画像が選択されたかどうかをチェックする。

背景画像が選択された場合、Ｓ００３でプログラムメモリ４に記憶されたイラスト画像の画像データファイルを読み込んで、表示部１４に表示する。この際ユーザは、操作部１５のキー操作をして、イラスト画像を合成するか否か、また合成するイラスト画像を選択することができる。詳細は図５で後述する。

次にＳ００４では、Ｓ００３においてユーザによりイラスト画像が選択されたか、またイラスト画像を合成するか否かをチェックする。

Ｓ００４で、ユーザがイラスト画像を選択しなかったと判断した場合、Ｓ００５に進み、Ｓ００２で選択された背景画像をもとに参照画像を生成し、画像メモリ１３に格納する。

なお参照画像とは、写真画像等の背景画像の輝度が高くなるよう変換して得られた画像であり、背景画像の色を淡くした画像となる。図６は参照画像の一例を示す図であり、図の参照画像３５は、背景画像３８を変換して色を淡くした画像となっている。この参照画像の生成処理の詳細については後述する。

Ｓ００４でユーザがイラスト画像を選択したと判断した場合、Ｓ００６に進み、Ｓ００５の場合と同様に参照画像を生成する。

次にＳ００７では、Ｓ００３で選択されたイラスト画像とＳ００６で生成された参照画像を合成して合成画像とする。この合成画像を第１の画像と呼んでもよい。

図７はイラスト画像と参照画像との合成を示す図であり、イラスト画像３６のそれぞれの画素データが透過情報であるか否かを調べ、透過情報でない画素には、参照画像３５の画素データを採用する。

次にＳ００８では、Ｓ００５で生成した参照画像またはＳ００７で作成した合成画像の印刷データを作成する。なおこのとき合成画像と合わせて、ユーザが各種の設定するための設定領域と、その他設定を示すバーコードの印刷データが作成される。例えばこのバーコードには、Ｓ００２でユーザが選択した背景画像の記録先を示す情報や、Ｓ００４でイラスト画像の合成をユーザが選択したか否か、また合成するイラスト画像の種類が記録されている。

最後にＳ００９で、印刷機構１２を制御し、Ｓ００８で作成した印刷データに基づいて手書き原稿シートを印刷する。

図５は、図３のＳ００３で表示されるイラスト画像の選択画面を示す図である。

３６はプログラムメモリに記憶されたイラスト画像であり、読み出されて表示部１４に表示されている。ユーザは操作部１５の方向キーの押下で表示部１４に表示するイラスト画像３６を変更できる。この状態で操作部１５のＯＫキーが押下された場合、Ｓ００４において表示されているイラスト画像３６を選択したと判断する。また一方、図の表示部１４に表示された「イラストなし」が選択されてＯＫキーが押下された場合、Ｓ００４においてイラスト画像は合成しないものと判断する。

次に、背景画像から参照画像を生成する処理（図３のＳ００５、Ｓ００６）の詳細について説明する。なお図３のＳ００２でユーザが背景画像を選択した場合、その背景画像のデータファイルが画像メモリ１３に格納されているものとする。

この処理では、まず画像メモリ１３に格納された背景画像の輝度データ（Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ）を取得する。なお、Ｒｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇはそれぞれ０〜２５５までの値をとる輝度データである。

そして以下の式（１）〜（３）によって諧調変換を行い、参照画像の画素データ（Ｒｒｅｆ、Ｇｒｅｆ、Ｂｒｅｆ）を得る。
Ｒｒｅｆ＝（２５５−ＲｍｉＮ）＋（（Ｒｏｒｇ／２５５）＊ＲｍｉＮ）・・・（１）
Ｇｒｅｆ＝（２５５−ＧｍｉＮ）＋（（Ｇｏｒｇ／２５５）＊ＧｍｉＮ）・・・（２）
Ｂｒｅｆ＝（２５５−ＢｍｉＮ）＋（（Ｂｏｒｇ／２５５）＊ＢｍｉＮ）・・・（３）
この処理を背景画像３８の全画素データについて繰り返すことによって、輝度が（ＲｍｉＮ、ＧｍｉＮ、ＢｍｉＮ）以上に制限された参照画像を生成することができる。

図２は、実施例における手書き原稿シートの一例を示す図であり、図３で示したフローチャートに従い印刷される。

２８は手書き原稿シートであり、バーコード３０が設けられ、このバーコード３０には前述の通り、背景画像が記録されている先を示す情報や、イラスト画像を合成するか否か、また合成するイラスト画像の種類が記録されている。

手書き原稿シート２８において、バーコード３０の右側には設定領域３１が設けられ、この設定領域３１に記載されているマークシート枠をユーザが塗りつぶすことによって、印刷する際の設定を選択することができる。この図において、設定領域３１内の３２はシートサイズ選択マークシート枠であり、ユーザがそのいずれかを塗りつぶすことにより、印刷する記録シートのサイズを選択することができる。また同様に、３３はレイアウト選択マークシート枠であり、ユーザがそのいずれかを塗りつぶすことによって、印刷する記録シートのレイアウトを選択できる。

３４は手書き領域であり、ユーザが背景画像に合成させたい文字や絵を書く領域である。

３７はユーザに記入された文字であり、このような手書き領域３４に書かれた文字や絵が手書き画像となる。

また手書き領域３４には、図３のＳ００７で生成された参照画像３５と、イラスト画像３７とが合成された合成画像が印刷されている。

図４は、ユーザに記入された手書き原稿シートを読み込み、背景画像、イラスト画像、手書き画像が合成された画像を印刷する処理手順を示すフローチャートである。なお図４に示す処理は、操作パネル１６に表示されているメニューにおいてユーザが「手書き原稿シートを読込・合成印刷」を選択した場合に、画像合成装置１のＣＰＵ２により実行される。

まずＳ１０１では、読取機構７を制御して手書き原稿シートを読取り、手書き原稿シート画像として読取り読取バッファメモリ８に格納する。

次にＳ１０２では、Ｓ１０１で得られた手書き原稿シート画像を解析し、印刷に関する情報を取得する。

例えば、読取った手書き原稿シート画像から、図２で示したバーコード３０を切り出して解析し、ユーザにより選択された背景画像が記録されている記録シートを示す情報や、イラスト画像の種類を取得する。また図２で示した設定領域３１部分を切り出し、シートサイズ選択マークシート枠３２の塗りつぶし状態を解析し、印刷するシートサイズの選択情報を取得する。更に、レイアウト選択マークシート枠３３の塗りつぶし状態を解析して、印刷するレイアウトの選択情報を取得する。

次にＳ１０３では、Ｓ１０１で得られた手書き原稿シート画像から、図２で説明した手書き領域に対応する画像（手書き領域画像）を切り出す。詳細ついては図８で後述する。なお、この切り出した画像を第２の画像と呼んでもよい。

次にＳ１０４では、手書き領域画像から手書き画像を抽出するための手書き画像マスクデータを作成する。詳細については図９で後述する。

Ｓ１０５では、Ｓ１０２でバーコード３０を解析した結果から、図３で示した手書き原稿シートを印刷する処理においてユーザがイラスト画像を選択していたか否かを判断する。

Ｓ１０５において、イラスト画像が選択されていないと判断された場合Ｓ１０６に進み、Ｓ１０４で作成した手書き画像マスクデータを使用して、手書き領域画像から手書き画像を抽出する。

一方、Ｓ１０５において、イラスト画像が選択されていたと判断された場合Ｓ１０７に進み、手書き原稿シートを印刷した際にユーザが選択したイラスト画像のデジタル画像データから、イラスト画像マスクデータを作成する。この処理の詳細については、図１０で後述する。

次にＳ１０８において、Ｓ１０４で作成した手書き画像マスクデータと、Ｓ１０７で作成したイラスト画像マスクデータとを合成し、合成マスクデータを作成する。

次にＳ１０９において、Ｓ１０８で作成した合成マスクデータを使用して手書き領域画像から画像を抽出する。

Ｓ１１０では、図３に示したフローチャートにおけるＳ００２でユーザが選択した背景画像をメモリカード１８から読み出して、先のＳ１０６またはＳ１０９で抽出した画像と合成した画像（以下、合成結果画像という）を作成する。これを、図１４を用いて説明する。

図１４は合成結果画像を作成する処理の一例を示す図であり、手書き部分またはイラスト部分であると判断された画素はＳ１０９で抽出した画像の画素データを採用する。またその他の画素は、背景部分であると判断し、選択した背景画像３８の画素データを採用する。これにより、背景画像、イラスト画像、手書き画像が合成された合成結果画像が作成される。

次にＳ１１１では、先のＳ１０２で取得したシートサイズ選択情報とレイアウト情報に基づいて合成結果画像の拡大または縮小処理を行う。最後にＳ１１２において、印刷機構１２を制御して、Ｓ１１１で拡大、または縮小された合成結果画像を記録シートに印刷する。図１５は合成結果画像を印刷した結果の一例を示す図であり、このように各種のレイアウトで印刷することができる。なお、Ｓ１１２の処理を第２の印刷制御と呼んでもよい。

ここで、図４のＳ１０４で説明した、手書き領域画像から手書き画像マスクデータを作成する処理について説明する。

ＣＰＵ２は、手書き領域画像の各画素の輝度データ（ＲＳｃａＮ、ＧＳｃａＮ、ＢＳｃａＮ）を取得し、各画素の輝度データが所定閾値（Ｒｔｈ、Ｇｔｈ、Ｂｔｈ）以上であるか否かを調べる。すなわち、以下の式（４）〜（６）の不等号が全て成り立つか否かを調べる。
ＲＳｃａＮ ＞ Ｒｔｈ ・・・（４）
ＧＳｃａＮ ＞ Ｇｔｈ ・・・（５）
ＢＳｃａＮ ＞ Ｂｔｈ ・・・（６）
上記式（４）〜（６）の全てが成立する場合、手書き領域画像の着目画素の輝度が所定レベル以上であり、着目画素が背景部分であると判断する。一方、式（４）〜（６）のいずれかが不成立の場合、着目画素の輝度が所定レベルより小さく、着目画素は手書き部分であると判断する。

図８は、手書き領域画像を切り出す処理（図３のＳ１０３）を説明するための図である。

手書き原稿シートを読取った後、読取バッファメモリ８に格納されている手書き原稿シート画像２９内の、手書き領域３４の位置を示す位置基準マーク３９を検出する。この検出した位置基準マーク３９により、手書き原稿シート画像２９内における手書き領域画像４０の位置と傾きを認識することができる。そしてＣＰＵ２は認識した位置と傾きをもとに傾き補正を行って手書き原稿シート画像２９から手書き領域画像４０を切り出し、画像メモリ１３に格納する。

図９は、手書き画像マスクデータの作成の一例を示す図である。

図９（ａ）は、手書き領域画像４０の輝度ヒストグラムであり、このヒストグラムに所定の閾値４３を設け、図９（ｂ）に示すようにその閾値以下の輝度を持つ領域を抽出して、抽出画像４１とする。一般にユーザによる手書きは濃い色で書かれるため、手書きされた領域は閾値４３よりも低い輝度を持ち、このような抽出が可能となる。

またこの図ではイラスト画像は閾値４３よりも高い輝度を持つ、つまりは淡い色を持つ画像であるとする。したがって図９（ｃ）に示す抽出画像４１ではイラスト画像は抽出されていないが、濃い色のイラスト画像であれば、手書き画像と同様に抽出される。

この抽出画像４１において、抽出された領域の情報を１、抽出されなかった領域の情報を０として２値化処理を行い手書き画像マスクデータ４２を作成する。

なお、このようなマスクデータを使用して画像を抽出する際には、マスクデータのうち情報が１の領域に対する領域の画像が抽出されることになる。

図１０は、イラスト画像のデジタル画像データからイラスト画像マスクデータを作成する処理（図４のＳ１０７）を示す図である。なお、この処理を第２の作成処理と呼んでもよい。

４４は、プログラムメモリ４から読み出した、ユーザにより選択されたイラスト画像のデジタル画像データである。そして、その各画素の輝度データが透過情報に対応する所定値であるかにより、各画素が透過情報か否かを調べる。

着目画素が透過情報である場合、その着目画素に対応する情報を０、一方、着目画素が透過情報でない場合、その着目画素に対応する情報を１として２値化処理を行って、イラスト画像マスクデータ４５を作成する。

また、この作成したイラスト画像マスクデータ４５を手書き画像領域の大きさと合わせるために拡大・縮小処理をする。ただし図４のＳ１０３で手書き領域画像を切り抜いた際に、その手書き領域画像をイラスト画像マスクデータ４５の大きさに拡大・縮小処理を行ってもよい。

更に、手書き領域画像とイラスト画像マスクデータとの境界の不一致を軽減するために、イラスト画像マスクデータ４５を作成する処理において、図１１で示すイラスト画像マスクデータに対する収縮処理を行ってもよい。

図１１は、イラスト画像マスクデータに対する収縮処理を説明する図である。

図１１（ｂ）における５０は、イラスト画像マスクデータ４５により、手書き領域画像４０から抽出されたイラスト画像を拡大した画像である。

手書き領域画像４０における、参照画像とイラスト画像の境界付近の画素は両方の画像の情報を含むので、誤差によっては両画像の領域の区別があいまいになる、または領域の境界がずれてしまう場合がある。また、手書き原稿シート印刷時にインクのにじみが生じた場合や、両画像の解像度が異なる場合に、参照画像とイラスト画像の境界が膨張または収縮し画像の領域の区別があいまいになってしまう場合がある。

このような場合に画像５０のように、イラスト画像を適切に抽出することができなくなってしまう。

そこで図１１（ａ）に示すイラスト画像マスクデータに対する収縮処理を行う。

図のようにイラスト画像マスクデータ４５における注目画素の４近傍画素の情報を調べ、１つでも情報が０の画素があれば注目画素の情報を０にし、全ての画素の情報が１であれば注目画素の情報を１にする。これをイラスト画像マスクデータ４５全体に行うことで、画素の情報が１の領域、つまりイラスト画像を抽出するための領域を収縮することができる。

なお収縮処理には注目画素の８近傍画素の情報を使用してもよく、収縮量の増減は上記収縮処理の回数によって行うことができる。

このようにイラスト画像マスクデータを収縮させることで、抽出する領域が収縮されることになる。したがって手書き領域画像において参照画像とイラスト画像との境界があいまいになる、または境界がずれてしまうことの影響を軽減できる。

図１２は、手書き画像マスクデータとイラスト画像マスクデータを合成し、合成マスクデータを作成する処理（図４のＳ１０８）を示す図である。

手書き画像マスクデータ４２とイラスト画像マスクデータ４５の２つのマスクデータにおける同じ位置にある画素のいずれかが１である場合は、その位置にある画素に対応する情報を１とする。また、２つのマスクデータにおける同じ位置に画素がともに０である場合は、その位置にある画素に対応する情報を０として合成マスクデータ４７を作成する。

図１３は、合成マスクデータを使用して手書き領域画像から画像を抽出し（図４のＳ１０９）、抽出した画像と背景画像とを合成する（図４のＳ１１０）処理を示す図である。

まず合成マスクデータを使用して手書き領域画像から画像を抽出する。

具体的には、手書き領域画像４０の注目画素において、合成マスクデータ４７の内の同じ位置にある画素の値が１である場合は、手書き領域画像４０の画素情報とし、合成マスクデータ４７の値が０である場合は、透過情報とする。これにより、手書き領域画像４０から、手書き画像・イラスト画像４８を抽出できる。

次に、手書き画像・イラスト画像４８と背景画像３８とを合成し、合成結果画像４９を作成する。

また図１３では、手書き画像マスクデータ４２とイラスト画像マスクデータ４５とを合成した合成マスクデータ４７を使用しているが、それぞれのマスクデータを使用して抽出を行ってもよい。

また図１３では手書き画像・イラスト画像４８を抽出してから、背景画像との合成をしているが、次のような処理で合成を行ってもよい。

つまり合成マスクデータ４７を用いて手書き領域画像４０から抽出を行う際に、合成マスクデータの注目画素の値が１である場合は、その注目画素に対応する手書き領域画像４０の画素を採用する。一方、合成マスクデータの注目画素の値が０である場合は、その注目画素に対応する背景画像３８の画素を採用する。この処理によっても合成結果画像４９を作成することができる。

以上の本実施例によれば、ユーザは手書き原稿シートに記入する時点で、背景画像とイラスト画像と記入する手書き画像とがどのような位置関係で合成されるのか確認しながら手書き画像を描くことができる。

また本実施例では図１０で説明したように、手書き画像を抽出するためのマスクデータとは別に、イラスト画像のデジタル画像データからイラスト画像を抽出するためのマスクデータを作成している。これにより、イラスト画像の使用される色に関わらず、手書き領域画像からイラスト画像を正確に抽出できる。

したがってイラスト画像に使用する色の色域が参照画像の色域に重合している場合でもイラスト画像領域を抽出することができるという効果を奏する。

また実施例において、イラスト画像マスクデータを作成する代わりに、プログラムメモリ４にあらかじめイラスト画像に対応するイラスト画像マスクデータを保持させ、それを使用してもよい。このようにすれば、イラスト画像のデジタル画像データからイラスト画像を抽出するためのマスクデータを作成する処理（図４のＳ１０７）を行う必要がなくなる。また、イラスト画像の画素データに透過情報を持つ必要がなくなりイラスト画像に使用できる色域が広がる。

実施例における画像合成装置の構成を示すブロック図である。 実施例における手書き原稿シートの一例を示す図である。 手書き原稿シートを印刷する処理手順を示すフローチャートである。 ユーザに記入された手書き原稿シートを読み込み、背景画像、イラスト画像、手書き画像を合成された画像を印刷する処理手順を示すフローチャートである。 図３のＳ００３で表示されるイラスト画像の選択画面を示す図である。 参照画像の一例を示す図である。 イラスト画像と参照画像との合成を示す図である。 手書き領域画像を切り出す処理（図３のＳ１０３）を説明するための図である。 手書き画像マスクデータの作成の一例を示す図である。 イラスト画像のデジタル画像データからイラスト画像マスクデータを作成する処理（図４のＳ１０７）を示す図である。 イラスト画像マスクデータに対する収縮処理を説明する図である。 手書き画像マスクデータとイラスト画像マスクデータを合成し、合成マスクデータを作成する処理（図４のＳ１０８）を示す図である。 合成マスクデータを使用して手書き領域画像から画像を抽出し（図４のＳ１０９）、抽出した画像と背景画像とを合成する（図４のＳ１１０）処理を示す図である。 合成結果画像を作成する処理の一例を示す図である。 合成結果画像を印刷した結果の一例を示す図である。

符号の説明

１ 画像合成装置
２ ＣＰＵ
３ 内部バス
４ プログラムメモリ
５ データメモリ
６ 読取り制御部
７ 読取機構
８ 読取りバッファメモリ
９ データ変換部
１０ 印刷バッファメモリ
１１ 印刷制御部
１２ 印刷機構
１３ 画像メモリ

Claims (10)

1. メモリに記憶されている第１の画像と、メモリに記憶され、合成対象のオブジェクトに対応する第２の画像とを、印刷装置にシートへ印刷させる印刷制御手段と、
   前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力手段と、
   メモリに記憶されている前記第２の画像を解析することにより前記オブジェクトの領域を特定し、特定された当該領域に基づき、前記入力手段により入力された読取画像に含まれている前記オブジェクトを特定する特定手段と、
   前記入力手段により入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記特定手段により特定される前記オブジェクトに対応する第２の抽出画像とを、当該読取画像から抽出する抽出手段と、
   前記抽出手段により抽出された前記第１の抽出画像および前記第２の抽出画像と、メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記第２の画像における前記オブジェクトの領域に基づき、前記読取画像における前記オブジェクトを特定するためのデータを作成し、前記抽出手段は、前記特定手段により作成された当該データに基づき、当該読取画像から当該オブジェクトに対応する前記第２の抽出画像を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記読取画像のうちの前記第２の画像における前記オブジェクトの領域に基づき、当該オブジェクトよりも狭い領域を示すデータを作成し、
   前記抽出手段は、前記読取画像のうちの前記特定手段により作成された前記データが示す領域の画像を、前記第２の抽出画像として抽出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像に含まれている画素のそれぞれの輝度が所定の輝度以上になるように当該第１の画像を変換することによって、当該第１の画像に基づく参照画像を作成する作成手段を有し、
   前記印刷制御手段は、前記作成手段により作成された参照画像を、前記第１の画像として印刷することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記印刷制御手段は、前記作成手段により作成された参照画像と前記第２の画像とが、シートの所定の領域に重なって印刷されるように、印刷装置に当該参照画像と当該第２の画像とを印刷させることを特徴とする請求項４に記載の画像処理装置。
6. 前記入力手段は、前記印刷制御手段により印刷されたシートの前記所定の領域に対応する読取画像を入力することを特徴とする請求項５に記載の画像処理装置。
7. 前記抽出手段は、前記入力手段により入力された読取画像から、前記第１の抽出画像と前記第２の抽出画像とを、１つの画像として抽出し、
   前記出力手段は、前記抽出手段により抽出された、前記第１の抽出画像と前記第２の抽出画像とを含む１つの画像と、メモリに記憶されている前記第１の画像とを合成することによって、当該第１の抽出画像と、当該第２の抽出画像と、当該第１の画像とが合成された前記合成画像を出力することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記印刷制御手段により印刷された前記シートを前記読取装置が読み取って得られた読取画像に基づき、ユーザにより選択された印刷媒体のサイズを特定する特定手段を有し、
   前記出力手段は、前記合成画像を前記印刷装置に出力して、当該合成画像を前記特定手段により特定されたサイズの印刷媒体へ印刷させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. メモリに記憶されている第１の画像と、メモリに記憶され、合成対象のオブジェクトに対応する第２の画像とを、印刷装置にシートへ印刷させる印刷制御工程と、
   前記印刷制御工程において印刷されたシートを読取装置が読み取って得られた、前記第１の画像と前記第２の画像とを含む読取画像を入力する入力工程と、
   メモリに記憶されている前記第２の画像を解析することにより前記オブジェクトの領域を特定し、特定された当該領域に基づき、前記入力工程において入力された読取画像に含まれている前記オブジェクトを特定する特定工程と、
   前記入力工程において入力された読取画像から抽出される画像であって、当該画像に含まれる画素のそれぞれの輝度が所定レベルよりも低い第１の抽出画像と、当該読取画像のうちの前記特定工程において特定される前記オブジェクトに対応する第２の抽出画像とを、当該読取画像から抽出する抽出工程と、
   前記抽出工程において抽出された前記第１の抽出画像および前記第２の抽出画像と、メモリに記憶されている前記第１の画像とが合成された合成画像を出力する出力工程と、
   を有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images