JP4581901B2 - 合成画像形成装置 - Google Patents

Description

本発明は画像形成システムに関し、特に手書き要素と記録媒体に格納されている画像との合成技術に関する。

従来、記録媒体に格納されている写真画像と手書き要素とを合成して印刷する機能を有する合成画像形成システムが知られている。このようなシステムは、手書き要素が書き込まれた原稿の読み取り機能と、読み取られた原稿から手書き要素領域を分割する領域分割機能と、記録媒体に格納されている写真画像と手書き要素領域とを合成して合成画像を形成する合成機能と、合成画像を印刷する印刷機能とを有する。このようなシステムでは、合成画像における手書き要素と写真画像との位置関係をユーザが認識した状態でレイアウトを調整しながら用紙に手書き要素を書き込めることが望ましい。

本件出願人は、写真画像を用紙に淡く印刷し、淡く印刷された写真画像上に手書き要素を書き込ませることにより、写真画像と手書き要素とが重畳合成される場合であっても、写真画像と合成される範囲と写真画像との位置関係を用紙上で可視化できる技術を既に特許出願済である（特願２００５−１０１８４８等）。この技術は、用紙に淡く印刷されている写真画像の色域と同じ色域を持つサンプルパターンを写真画像とともに印刷しておき、スキャンユニットで読み取ったサンプルパターンの色域を基準に用いて、淡く印刷されている写真画像と手書き要素の領域とを分割するものである。

しかし、サンプルパターンにゴミが付着していたり、サンプルパターンの上に手書き要素が存在したり、サンプルパターンが印刷されている用紙表面に再生紙のカーボン屑が存在する場合には、スキャンユニットで読み取ったサンプルパターンと写真画像の色域が互いに一致しなくなる。そのような場合、手書き要素の色域が淡く印刷された写真画像の色域と誤認識されるため、手書き要素の一部が合成写真に反映されないおそれがある。

特開２００３−２２２６９号公報

本発明は、上記問題を解決するために創作されたものであって、スキャンユニットで読み取った画像から手書き要素の領域を正確に分割できる合成画像形成システムを提供することを目的とする。

（１）上記目的を達成するための合成画像形成装置は、オーダシートを印刷するプリントユニットと、前記オーダシートの画像を読み取るスキャンユニットと、前記プリントユニットと前記スキャンユニットとを制御する制御部と、を有し、ユーザ画像と前記オーダシートに手書きされた手書き画像とを合成する画像合成装置であって、前記制御部は、記録媒体に格納されているユーザ画像を特定色域内に減色することにより背景画像を形成する減色ユニットと、手書き領域に割り付けられた前記背景画像と、前記手書き領域外のサンプル領域に前記特定色域内の色毎に分散させて割り付けられた複数のサンプル色とを含む前記オーダシートを前記プリントユニットに印刷させるオーダフォーム印刷制御ユニットと、前記プリントユニットによって前記背景画像と前記サンプル色とが印刷されユーザによって手書き要素が前記手書き領域に手書きされた前記オーダシートから、前記手書き領域に対応する合成対象領域及び前記サンプル領域に対応するサンプリング対象領域の画像を、前記スキャンユニットに読み取らせるスキャン制御ユニットと、前記スキャンユニットに読み取られた前記サンプリング対象領域の画像の色域を用いて前記合成対象領域から前記手書き要素に対応する手書き要素領域を分離し、前記ユーザ画像と前記手書き要素領域の画像とを合成することにより合成画像を形成する合成ユニットと、を備える。
背景画像の色域内の色である同一のサンプル色を複数分散させて印刷することにより、あるサンプル色の上に手書き要素やゴミが存在していたり、あるサンプル色が印刷されている領域にカーボン屑が存在している場合であっても（以下、このような手書き要素、ゴミ、カーボン屑を攪乱要因という。）、そのサンプル色と同じ色のサンプル色にはそのような攪乱要因がない可能性が高くなる。したがって、同一のサンプル色を複数分散させて印刷することにより、スキャンユニットで読み取ったサンプル色のうち、攪乱要因がないサンプル色だけを用いて手書き要素を正確に分割することができるようになる。

（２）前記合成ユニットは、前記特定色域から所定距離以上離れた特異色域を前記サンプリング対象領域の画像の色域から除外したサンプル色域を特定し、前記サンプル色域を用いて前記合成対象領域から前記手書き要素領域を分割してもよい。
あらかじめ決められている色域（特定色域）内の色をサンプル色として印刷する場合、印刷されたサンプル色を読み取ると、読み取ったサンプル色の色域は、攪乱要因がなければあらかじめ決められている色域（特定色域）と強い相関性を持ち、攪乱要因があればあらかじめ決められている色域（特定色域）との相関性が低くなる。したがって、あらかじめ決められている色域（特定色域）から所定距離以上離れた特異色域をサンプリング対象領域の画像の色域から除外することにより、攪乱要因がないサンプル色の色域を特定することができる。

（３）前記オーダフォーム印刷制御ユニットは、前記サンプル領域に前記特定色域内の色毎に分散して割り付けられた前記特定色域内の全色に対応する複数の前記サンプル色を前記プリントユニットに印刷させてもよい。前記合成ユニットは、前記サンプル色域外の色の領域を前記手書き要素領域として分割してもよい。
背景画像の色域内の全色をサンプル色として印刷することにより、背景画像の色域を特定するための補間処理が不要になるため、背景画像の色域を正確に特定することができる。

（４）前記オーダフォーム印刷制御ユニットは、前記サンプル領域内の互いに離間した複数領域に１つずつ割り付けられた、複数の前記サンプル色の同一の組み合わせからなる、複数のサンプルパターンを前記プリントユニットに印刷させてもよい。
尚、本発明に備わる複数のユニットの各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数のユニットの各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。

以下、実施例に基づいて本発明の実施の形態を説明する。
１．合成画像形成システムの構成
図１は、本発明による合成画像形成システムの一実施例としてのマルチファンクションプリンタ（ＭＦＰ）１の機械的構造を示す模式図である。図２は、ＭＦＰ１の電気的構成を示すブロック図である。図３はＭＦＰ１の外観を示す平面図である。ＭＦＰ１は、リムーバブルメモリ９６から画像を入力して印刷する機能、画像を読み取って印刷する機能などを備えている。尚、合成画像形成システムは、画像の読み取り機能を有するスキャナと、印刷機能を有するプリンタとの制御機能を有するＰＣで構成してもよい。

スキャンユニット５０は、プラテンガラス１２、プラテンガラス１２を保持しているプラテンフレーム１０、ＣＩＳ（Contact Image Sensor）ユニット１６、光源電灯１４、ＣＩＳユニット１６及び光源電灯１４を搭載しているキャリッジ２０、キャリッジ２０に係止されたベルト２２、ベルト２２が掛けられているプーリ２４、２６、プーリ２４、２６を回転させる副走査モータ２８、光源駆動部５２、センサ駆動部５４、副走査モータ駆動部６０等で構成されている。

ＣＩＳユニット１６は図示しない屈折率分布型レンズとイメージセンサ５６で構成されている。プラテンガラス１２に載置された状態で光源電灯１４に照明された原稿は、屈折率分布型レンズによってイメージセンサ５６の受光面に結像される。尚、イメージセンサ５６に原稿を結像させる光学系は、縮小光学系であってもよい。多数のフォトダイオードが直線的に配列されているイメージセンサ５６は、センサ駆動部５４によって駆動される。イメージセンサ５６からは原稿の光学像の濃淡に相関したアナログ信号が出力される。イメージセンサ５６から出力されたアナログ信号はＡＦＥ（Analog Front End）部５８によってディジタル信号に変換される。副走査モータ２８は、副走査モータ駆動部６０によって駆動され、プーリ２４、２６を回転させることによってキャリッジ２０をイメージセンサ５６のフォトダイオードの配列方向（主走査方向）と垂直な方向（副走査方向）に往復移動させる。イメージセンサ５６が原稿に対して光電変換素子の配列方向と垂直な方向に移動することにより、原稿からラスタ順に画像が読み取られる。尚、副走査方式は、ＡＤＦ（Auto Document Feeder）を用いた原稿搬送方式でもよい。

プリントユニット７０は、インクジェット方式で用紙に画像を印刷するための印字ヘッド３４、印字ヘッド３４に係止されたベルト３２、ベルト３２が掛けられているプーリ３０、３８、プーリ３０、３８を回転させるヘッドモータ４０、送紙ローラ４２、４４、送紙ローラ４２、４４を回転させるための送紙モータ４６、ヘッドモータ駆動部６２、送紙モータ駆動部６４、ヘッド駆動部６９、印刷制御部６６等で構成されている。印字ヘッド３４は、ヘッド駆動部６９によって駆動される圧電素子６７、ノズル等で構成され、インクカートリッジ３６から供給されるインクをノズルから噴射する。ヘッドモータ４０は、ヘッドモータ駆動部６２によって駆動され、プーリ３０、３８を回転させることによって印字ヘッド３４を往復移動させる。送紙モータ４６は、送紙モータ駆動部６４によって駆動され、送紙ローラ４２、４４を回転させることによって印字ヘッド３４の移動方向と垂直な方向に用紙を搬送する。印刷制御部６６は、ＲＡＭ７４から順次噴射データが転送されるバッファメモリと、バッファメモリに格納された噴射データをヘッド駆動部６９に出力するタイミングを印字ヘッド３４の位置に応じて制御する機能と、ヘッドモータ駆動部６２及び送紙モータ駆動部６４を制御する機能とを備えるＡＳＩＣである。尚、プリントユニット７０は、レーザ方式でもよいし、サーマル方式でも良い。

外部メモリコントローラ９５は、図示しないカードスロットから挿入されたリムーバブルメモリ９６に接続される。リムーバブルメモリ９６に格納されたデータは外部メモリコントローラ９５によって読み出され、ＲＡＭ７４に転送される。尚、ＭＦＰ１は、手書き要素とユーザ画像とを合成することにより形成される合成画像を印刷することなく、リムーバブルメモリ９６等の外部記録媒体に出力してもよい。
通信部９３は、制御部７２がＰＣ等の外部のシステムと通信するための通信インタフェースである。通信部９３は、ＬＡＮ、インターネット、ＵＳＢ等を通じて外部のシステムと通信し、ハードディスク、コンパクトディスク等に格納されているデータを取得する。

ディジタル画像処理部８０は、ガンマ補正、シェーディング補正、カラーバランス補正、ＪＰＥＧ画像のデコード、解像度変換、アンシャープ処理、階調補正、ハーフトーニング、分版処理等の画像処理をＣＰＵ７８と協働して実行するＤＳＰである。ディジタル画像処理部８０は、スキャンユニット５０から出力される画像や外部メモリコントローラ９５によって読み出された画像のフォーマットを印刷に適したフォーマットに変換する。

制御部７２は、ＲＡＭ７４、ＲＯＭ７６及びＣＰＵ７８を備える。ＣＰＵ７８はＲＯＭ７６に格納されている制御プログラムを実行してＭＦＰ１の各部を制御する。ＲＯＭ７６は、制御プログラムを格納している不揮発性メモリである。ＲＡＭ７４は、制御プログラムやスキャンユニット５０に読み取られた画像等の各種のデータが一時的に格納される揮発性メモリである。制御プログラムは遠隔地のサーバからネットワークを経由してＲＯＭ７６に格納してもよいし、リムーバブルメモリ９６等のコンピュータ読み取り可能な記録媒体を経由してＲＯＭ７６に格納してもよい。
制御部７２及びディジタル画像処理部８０は、制御プログラムの特定のモジュールを実行することにより、オーダフォーム印刷制御ユニット、合成印刷制御ユニット、スキャン制御ユニット、マーク検出ユニット、サンプリング領域算出ユニット、合成対象領域算出ユニット、減色ユニット及び合成ユニットとして機能する。

操作パネル６８は、モードに応じたメニューやステータスを表示するためのＦＰＤ（Flat Panel Display）８８、ＦＰＤ８８を駆動するディスプレイ駆動部（ＤＳＰＤ）８６、モードを変更したりメニューを操作したり開始要求を入力するための押しボタン群８２等で構成されている。ハウジング１２９にはＬＥＤやボタンを説明するための文字及び図形からなる複数の記号が印刷されている。ＦＰＤ８８の画面は、制御部７２によって生成されＲＡＭ７４のフレームメモリ領域に格納される画像に基づいてＤＳＰＤ８６がＦＰＤ８８を駆動することによって表示される。
以上、ＭＦＰ１のハードウェア構成について説明した。

２．オーダフォームの印刷処理
図４、図５はプリントユニット７０によって印刷されたオーダフォームの一例を示している。オーダフォームは手書き要素を記入するための台紙であって、Ａ４サイズ等の定型用紙にオーダフォーム画像、背景画像３００及び補助画像３０２が合成印刷されたものである。

図６はオーダフォームの印刷処理の流れを示すフローチャートである。図６に示す処理は、ボタン群８２の操作によって手書きオーダシート印刷モードが選択されると開始され、制御部７２がＲＯＭ７６に格納された制御プログラムの所定のモジュールを実行することにより実行される。
はじめに制御部７２は合成対象のユーザ画像と合成レイアウトを設定する（ステップＳ１００）。具体的には例えば、制御部７２は、リムーバブルメモリ９６に格納されたユーザ画像をＦＰＤ８８に表示し、ボタン群８２の操作によるユーザ画像の選択指示を受け付けると、選択指示に応じたユーザ画像を合成対象として設定する。また例えば制御部７２は、合成レイアウトのメニューをＦＰＤ８８に表示し、ボタン群８２の操作による合成レイアウトの選択指示を受け付けると、選択指示に応じた合成レイアウトを設定する。合成レイアウトに応じてオーダフォームテンプレート及び合成テンプレートが設定される。

図７はオーダフォーム画像の一例を示している。オーダフォーム画像は例えばＡ４サイズの用紙に印刷されるＪＰＥＧフォーマットの画像であって、オーダフォーム画像、背景画像及び補助画像のレイアウト制御情報とともに構成されたオーダフォームテンプレートの要素データとしてＲＯＭ７６に格納されている。オーダフォーム画像を画像部品の描画命令の組み合わせとしてＲＯＭ７６に格納することもできる。

載置基準マーク９８は、スキャンユニット５０の読み取り開始ラインに対応するオーダフォームの左辺を示すマークであるとともに、オーダフォーム上の要素の位置を三角測量の原理で算出するための基準マークである。載置基準マーク９８は、用紙の左辺と下辺が交わる角部に割り付けられている（用紙の上下左右は、オーダフォーム画像を構成している文字の配置を基準にして説明する。）。図３に示すように、載置基準マーク９８に対応する形態の原点マーク１１がプラテンフレーム１０に形成されている。原点マーク１１は読み取り開始ラインに沿って設けられているプラテンフレーム１０の縁部１３と読み取り開始列に沿って設けられているプラテンフレーム１０の縁部１５とが交わる点を示すマークである。読み取り開始ライン及び読み取り開始列は最大読み取り範囲の外縁に相当し、それぞれ縁部１３、１５から１ｍｍ程度離れた位置に設定されている。載置基準マーク９８を用いてオーダフォームをどのようにプラテンガラス１２に載置すべきかについては、図７に示す載置案内表記９９によって補足されている。基準マーク９０は、オーダフォーム上の要素の位置を三角測量の原理で算出するための基準マークであって、オーダフォームの左上角部に割り付けられている。

ブロックコード９２は、オーダフォームの種類を制御部７２に認識させるためのマークである。複数のリクエストマーク枠９４は印刷部数、手書き文字とユーザ画像の境界処理条件等の合成印刷条件を制御部７２に認識させるためのマークの記入位置を示す枠である。
サンプルパターン９１、９３、９５、９７は、それぞれ背景画像と色域が一致し、白（透明）から背景画像の最大濃度まで一様に濃度が変化するチャートである。サンプルパターン９１、９３、９５、９７は、手書き領域１００よりも載置基準マーク９８側にあり、用紙の左辺と平行な方向に長く細い領域（バンド領域）に割り付けられている。用紙の左辺は読み取り開始ラインに対応しているため、サンプルパターン９１、９３、９５、９７は、手書き領域１００よりも先に読み取られる。サンプルパターン９１、９３、９５、９７は、印刷濃度のばらつきを補償するために適度に大きな面積が必要であるところ、読み取りラインと平行な方向に長く細い領域に割り付けられているため、面積に対して短時間で読み取られる。

背景画像が減色される予め決められた背景色域内の全サンプル色はサンプルパターン９１、９３、９５、９７のそれぞれに含まれている。サンプルパターン９１、９３、９５、９７は合同なチャートでなくてもよいが、互いに重なっていない複数の領域のそれぞれに背景色域内の全サンプル色が含まれていることが望ましい。またサンプルパターン９１、９３、９５、９７には背景色域内の複数のサンプル色が含まれていれば良く、必ずしも背景色域内の全色が含まれていなくても良い。背景色域内でサンプル色として読み取られない色は、他の複数のサンプル色を読み取った色で補間することができる。
手書き領域１００は、手書き領域１００の長辺がオーダフォームの長辺と平行になるように設計されている。

背景画像は矩形の向かい合う頂点の座標がＲＯＭ７６に記録されている背景画像領域８９に割り付けられる。図４に示すように手書き領域１００と背景画像領域８９とを一致させてもよいし、図５に示すように手書き領域１００の一部に背景画像領域を設定してもよい。手書き領域１００の一部に背景画像を割り付ける場合、手書き領域１００の外縁を明示する枠３０４を手書き領域１００の周囲に背景画像の色域内の色で印刷することが望ましい。
補助画像領域１０２は、向かい合う頂点の座標がＲＯＭ６２に記憶されており、ユーザ画像がそのままの階調特性で割り付けられる。補助画像領域１０２に割り付けられるユーザ画像は高解像度の主画像であるが、低解像度のサムネイル画像でもよい。

領域検出基準マークとしての十字マーク１０６、１０８、１１０、１１２はサンプルパターン９１、９３、９５、９７が配置されている領域と手書き領域１００とを制御部７２に認識させるためのマークである。十字マーク１０６、１１０、１０８、１１２はそれぞれ手書き領域１００の各辺の垂直二等分線上に割り付けられている。十字マーク１０６、１０８、１１０、１１２は載置基準マーク９８、基準マーク９０よりも手書き領域１００に近い位置に割り付けられている。したがって、載置基準マーク９８及び基準マーク９０を基準点とした三角測量によって手書き領域１００及びサンプルパターン９１、９３、９５、９７の領域を認識するよりも、十字マーク１０６、１０８、１１０、１１２を基準にしてそれらの領域を正確に認識することが可能になる。
尚、十字マークは図８（Ａ）に示すように、矩形の手書き領域１００の頂点近傍に配置された４点であってもよい。また、領域検出基準マークは図８（Ｂ）に示すように載置基準マーク９８と２つの十字マーク１０８、１１２とで構成してもよい。
以上、オーダフォームテンプレートについて説明した。

ステップＳ１０２では、制御部７２は処理対象バンドを選択する。具体的には、制御部７２は、オーダフォームテンプレートを参照しながら、図９に示すように例えば８個のバンドに分けて、載置基準マーク９８が配置されている側から順に１から８の方向にバンド毎に以下のようにオーダフォームの印刷処理を実行する。
ステップＳ１０４では、制御部７２はオーダフォーム画像をＲＡＭ７４に展開する。

ステップＳ１０６では、制御部７２は処理対象バンドに背景画像割り付け領域が含まれるかを判定する。処理対象バンドに背景画像割り付け領域が含まれる場合は、リムーバブルメモリ９６から処理対象バンドに含まれるユーザ画像の領域をＲＡＭ７４に読み出し、ＲＧＢ形式にデコードする。

ステップＳ１０８では、制御部７２はディジタル画像処理部８０と協働してユーザ画像から背景画像を形成する。
背景画像の元になるユーザ画像は、手書き文字等の対象物と合成される最高解像度の画像でもよいし、サムネイル画像でもよい。サムネイル画像に基づいて背景画像を形成することにより、処理時間を短縮することができる。

図１０はフルカラーのユーザ画像の色域と背景画像の色域（背景色域）を示す模式図である。フルカラーのユーザ画像の色域は、各チャネルの階調値が１バイトで構成されると、１６７７７２１６（２５６×２５６×２５６）の色値から構成される。ユーザ画像の色域が色空間の全体に拡がっている場合、印刷されたユーザ画像の上にカラーペンなどで書き込まれた文字等の手書き要素の領域を光学的に認識することは極めて困難である。ユーザ画像の色域と手書き要素の領域の色域が重なっていない場合、特定の色域内の画素を文字の領域と判定することができる。ユーザ画像の上に書き込むことのできる文字などの手書き要素の色域の範囲を広げるためには、すなわち、ユーザが利用可能な色を多くするためには、手書き要素の下に印刷されているユーザ画像の色域（背景色域）を狭くしなければならない。

図１１はユーザ画像から背景画像を形成する処理の流れを示すフローチャートである。図１２はユーザ画像から背景画像が生成されるまでの過程における階調特性の変化を示す図である。
はじめに制御部７２はユーザ画像をグレートーン画像に変換する（ステップＳ２００）。図１２（Ａ）に示す階調特性を有するユーザ画像がグレートーン画像に変換されると、グレートーン画像の階調特性は図１２（Ｂ）に示すようにＲＧＢの各チャネルのヒストグラムが一致するようになる。制御部７２は、ＲＧＢから明度を求め、明度と線形な関係を有する値にＲＧＢの階調値を変換してグレートーン画像を生成してもよいし、Ｇチャネルの階調値にＲ及びＢチャネルの階調値を変換してグレートーン画像を生成してもよい。

次に制御部７２は、グレートーン画像をシアンのモノトーン画像に変換する（ステップＳ２０２）。具体的には例えば制御部７２は、シアンの補色であるＲのチャネルの階調値だけをそのままにしてＧ及びＢのチャネルの階調値を全て１つの固定値（例えば２５５／２５５）に設定する。尚、モノトーン画像の色相は特にシアンに限定されるものではなく、単一の色相であればよいが、シアン、マゼンタ、イエロー等のプリントユニット７０のインク色の色相が望ましい。図１２（Ｂ）に示す階調特性を有するグレートーン画像を、Ｇ及びＢチャネルの階調値を全て最大値に変換してシアンのモノトーン画像に変換すると、モノトーン画像は図１２（Ｃ）に示す階調特性になる。

次に制御部７２は、シアンのモノトーン画像の階調値をハイライトバンドに圧縮して背景画像を形成する（ステップＳ２０４）。この結果形成される背景画像は、Ｒチャネルの階調値がハイライトバンドに集中しているため、元のユーザ画像に比べて淡い画像になる。具体的には例えば制御部７２は、シアンのモノトーン画像のＲチャネルのシャドーレベルが所定値（例えば２００／２５５）まで上がるようにＲチャネルの階調値を変換する。図１２（Ｃ）に示すモノトーン画像のＲチャネルの階調値をハイライトバンドに圧縮して形成された背景画像は図１２（Ｄ）に示す階調特性になる。以上背景画像の形成処理について説明した。
ステップＳ１０９では、制御部７２は、選択された合成レイアウトに対応する背景画像領域８９に背景画像を割り付ける。

ステップＳ１１０では、制御部７２は処理対象バンドに補助画像割り付け領域が含まれるかを判定する。
処理対象バンドに補助画像割り付け領域が含まれる場合、制御部７２はリムーバブルメモリ９６から処理対象バンドに含まれるユーザ画像の領域をＲＡＭ７４に読み出し、補助画像領域に割り付ける（ステップＳ１１２）。具体的には、制御部７２は、ＲＡＭ７４に読み出されたユーザ画像を補助画像領域１０２のサイズに合わせて解像度を変換し、階調特性はそのままで補助画像領域１０２に割り付ける。
ステップＳ１１４では、制御部７２はプリントユニット７０を制御してオーダフォームの印刷を実行させる。

図１３はオーダフォームの印刷処理の流れを示すフローチャートである。
ステップＳ３００では、制御部７２は、分版処理を実行する。具体的には例えば制御部７２は、処理対象バンドの階調値をＲＧＢ色空間の値からＣＭＹ色空間（Ｋ（黒）等の補助的なチャネルをもたせてもよい。）の値に変換する。この結果、原理的には、Ｇ及びＢチャネルが固定値でＲチャネルだけが階調を有するシアンのモノトーン画像である背景画像３００及びサンプルパターン９１、９３、９５、９７はＣ（シアン）チャネルだけに階調を有する階調特性になる。ただし実際には、ＲＧＢ値からＣＭＹ値への変換に用いる３Ｄ−ＬＵＴのグリッド値の誤差や３Ｄ−ＬＵＴのグリッド間の補間処理での誤差により、背景画像３００及びサンプルパターン９１、９３、９５、９７のＭ及びＹチャネルにもハイライトバンドで狭い幅の階調が表れることが一般的である。

ステップＳ３０２では、制御部７２はハーフトーニングを実行する。ハーフトーニングの基本は多階調の色値の配列をインク滴を噴射するかしないかの二値の配列に変換する処理である。大中小のインク滴を使い分ける場合には、噴射しない、小インク滴を噴射する、中インク滴を噴射する、大インク滴を噴射する、の４値のいずれかの値に多階調の色値をチャネル毎に変換する。この場合、インク滴で表現できる階調は４階調であるため、各画素の階調に誤差が発生する。この誤差を近傍画素に分散させることによって擬似的に多くの階調を表現することができる。

ハーフトーニング後、制御部７２はハーフトーニングによって形成された４値の噴射データを噴射順に並び替えるインタレース処理を実行する（ステップＳ３０４）。
ステップＳ３０６では、制御部７２は噴射順に噴射データを印刷制御部６６に出力し、印刷制御部６６は順次バッファメモリに格納される噴射データに基づいて印字ヘッド３４を駆動する。
ステップＳ１１６では、制御部７２は全バンドの処理が終了したか判定する。制御部７２は、ステップＳ１０２からステップＳ１１４までの処理を順に全バンド分実行して、オーダフォーム印刷処理を終了する。

３．オーダフォームへの記入
図１４は上述の処理によって印刷されたオーダフォームに手書き要素として文字「Ｈｉ！」が記入されたオーダシートの一例を示す平面図である。図１４に示す例では、手書き領域１００の全体に背景画像が印刷されているため、手書き領域１００の外縁は背景画像３００の外縁によって明示されている。手書き領域１００には雑誌の切り抜きやシールなどを貼付してユーザ画像と合成される対象物を記録してもよい。またユーザは任意のリクエストマーク枠９４を塗りつぶすことによって所望の印刷条件を設定することができる。

背景画像３００と手書き領域１００との位置関係は、背景画像３００の元であるユーザ画像と手書き領域１００を読み取った画像との合成画像における位置関係と一致するため、ユーザは淡く印刷された背景画像３００の空間構成に基づいてユーザ画像の空間構成を認識しながら手書き要素を手書き領域１００内に記入することができる。すなわち、ユーザはユーザ画像のどの領域に手書き要素が割り付けられるのかを認識しながら手書き領域１００内に手書き要素を記入することができる。また、補助画像３０２がユーザ画像と同じ階調特性で補助画像領域１０２に印刷されているため、ユーザは手書き領域１００に印刷された背景画像３００と補助画像領域１０２に印刷された補助画像３０２とに基づいてユーザ画像と手書き要素との位置関係をより確実に認識することができる。

また背景画像３００は単一の色相（シアン）しか持たないため、ユーザはシアン以外の任意の色相で手書き要素を手書き領域１００に記入することができる。また背景画像３００は淡色化されているため、背景画像３００と同じ色相であっても背景画像３００と明度や彩度が異なる色であればその色を用いて手書き要素を手書き領域１００に記入することができる。すなわち、背景画像３００と異なる任意の色相で手書き領域１００に記入された手書き要素の領域をＭＦＰ１が光学的に認識でき、背景画像３００と同じ色相であっても明度や彩度が異なる色で記録された手書き要素であればＭＦＰ１が光学的にその領域を認識できるということである。

尚、背景画像３００はユーザ画像の色域を減縮したものであればよく、必ずしも単一色相である必要はない。背景画像３００の最大色域が予め決まっていれば、背景画像３００の色域外の色の筆記具を使用するようにユーザに案内すれば足りる。また、背景画像３００は必ずしも多階調である必要はなく、ユーザ画像のエッジ成分を表す単一色の線画で構成されていてもよい。

４．ユーザ画像と手書き要素との合成
図１５はＭＦＰ１がオーダシートを読み取り、オーダシートに記入された手書き要素とユーザ画像とを合成して印刷する処理の流れを示すフローチャートである。図１５に示す処理は、オーダシートをＭＦＰ１のプラテンガラス１２に載置した状態でボタン群８２の操作によりオーダシートを使って手書き合成画像を印刷するモードにおける開始要求がＭＦＰ１に入力されると開始される。

ステップＳ４００では、スキャンユニット５０はオーダシートをモノクロ低解像度で読み取る。具体的には、スキャンユニット５０が最大読み取り領域（一次スキャン領域）をモノクロ低解像度で読み取ることによってプラテンガラス１２に載置されたオーダシートの画像が読み取られ、読み取られたオーダシートの画像がＲＡＭ７４に格納される。制御部７２はＲＡＭ７４に格納されたオーダシートの画像を所定のしきい値（例えば１２８／２５５）で二値化する。

ステップＳ４０２では、制御部７２は二値化されたオーダシートの画像を解析し、載置基準マーク９８及び基準マーク９０の位置を検出する。具体的には例えば、オーダシートがプラテンガラス１２に適正に載置されている場合に載置基準マーク９８及び基準マーク９０が読み取られる領域より少し大きな領域についてエッジ検出処理やパターンマッチングを施し、載置基準マーク９８の左下角及び基準マーク９０の左上角などの位置を検出する。

ステップＳ４０４では、制御部７２は載置基準マーク９８及び基準マーク９０の位置を基準として各リクエストマーク枠９４の領域を算出する。具体的には例えば、制御部７２は予め設定されている各リクエストマーク枠９４の読み取り領域を、読み取られた載置基準マーク９８及び基準マーク９０の位置に基づいて補正する。

ステップＳ４０６では、制御部７２は載置基準マーク９８及び基準マーク９０の位置を基準として十字マーク１０６、１０８、１１０、１１２が読み取られている可能性が高い領域をそれぞれ算出する。具体的には例えば、予め設定されている、十字マーク１０６、１０８、１１０、１１２が読み取られる可能性が高いそれぞれの領域を、読み取られた載置基準マーク９８及び基準マーク９０の位置に基づいて補正する。

ステップＳ４０８では、制御部７２は十字マーク１０６、１０８、１１０、１１２が読み取られている可能性が高い領域でオーダシートの画像を解析し、十字マーク１０６、１０８、１１０、１１２の位置を検出する。具体的には例えば、制御部７２はステップＳ４０６で算出した各領域についてエッジ検出処理やパターンマッチングを施し、十字マーク１０６、１０８、１１０、１１２の中心位置を検出する。
ステップＳ４１０では、制御部７２は３つの十字マーク１０６、１０８、１１２の位置に基づいてサンプリング対象領域１２０、１２２（図２０参照）を算出する。

図１６は、サンプリング対象領域の算出処理の流れを示すフローチャートである。図１７はサンプリング対象領域の算出処理を説明するための模式図である。
ステップＳ５００では、制御部７２は中央の２つの十字マーク１０８、１１２の中心を結ぶ直線の傾斜角θを算出する。
ステップＳ５０２では、制御部７２は２つのサンプリング対象領域の中心が左の十字マーク１０６の中心になり、中央の２つの十字マーク１０８、１１２の中心を結ぶ直線の傾斜角θだけサンプリング対象領域が傾斜するように、各サンプリング対象領域の初期値を変換する。変換では、例えばアフィン変換が用いられ、領域の平行移動及び回転が施される。サンプリング対象領域の初期値は、サンプルパターン９１、９３の割り付け領域に対応する矩形の読み取り領域と、サンプルパターン９５、９７の割り付け領域に対応する矩形の読み取り領域とに設定されている。すなわち、サンプリング対象領域は左の十字マーク１０６の割り付け領域に対応する読み取り領域を避けて設定されている。

ステップＳ４１２では、制御部７２は手書き領域１００に対応する合成対象領域１２４（図２０参照）を、検出された４つの十字マーク１０６、１０８、１１０、１１２の位置ベクトルと予め決められた係数とを用いて算出する。位置ベクトルは、読み取り開始ラインの読み取り開始列である点を原点とする、プラテンガラス１２の盤面上の任意の点を表す座標で表される。
図１８は合成対象領域の算出処理を説明するための模式図である。
具体的には例えば、検出した十字マーク１１２、１１０、１０８、１０６の中心位置をそれぞれ順に点Ａ、Ｂ、Ｃ、Ｄとすると、制御部７２は線分ＡＣを１：９に内分する点１３６の位置（ベクトルＡ×０．９＋ベクトルＣ×０．１）と、線分ＡＣを９：１に内分する点１３８の位置（ベクトルＡ×０．１＋ベクトルＣ×０．９）とを算出する。次に制御部７２は、線分ＢＤを１：９に内分する点１４６の位置（ベクトルＢ×０．９＋ベクトルＤ×０．１）と、線分ＢＤを９：１に内分する点１４８の位置（ベクトルＢ×０．１＋ベクトルＤ×０．９）とを算出する。点１３８の列から点１３６の列までの、点１４８の行から点１４６の行までの領域が合成対象領域として設定される。尚、オーダシートの左辺が読み取り開始ラインに対応する状態でオーダシートから読み取った画像（縦長）の垂直方向の画素の並びを列、水平方向の画素の並びを行としている。このように合成対象領域を設定すると、合成対象領域の一辺は読み取りラインと常に平行になるため、オーダシートが傾いてプラテンガラス１２に載置されている場合には、手書き領域１００に対応する正確な領域が合成対象領域として設定されないことになる。しかしながら、オーダシートから読み取られた画像の手書き領域１００に対応する領域が読み取りラインに対して傾く要因が複合的（例えば読み取りラインと読み取り列が直交していないなど）であるため、４つの十字マーク１０６、１０８、１１０、１１２を基準として、読み取りラインに対して傾いた合成対象領域を設定したとしても、手書き領域１００に正確に対応する合成対象領域を設定できる保障はない。もちろん、手書き領域１００に対応する領域が読み取りラインに対して傾く要因のうち、どのような要因を考慮し、無視するかは、設計的な事項であるため、線分ＢＤと平行で点１３６を通る直線と、線分ＢＤと平行で点１３８を通る直線と、線分ＡＣと平行で点１４６を通る直線と、線分ＡＣと平行で点１４８を通る直線とで囲まれた領域を合成対象領域として設定してもよい。

いずれにしても、印刷時の倍率誤差、湿度等による用紙の伸縮、スキャナ読み取り時の倍率誤差等により、設計上の手書き領域１００に応じて手書き領域１００が読み取られているべき領域と、実際に手書き領域１００が読み取られている領域とがずれている場合であっても、ずれを生じさせるこれらの要因はある方向では一様なずれを生じさせるため、各十字マークの位置ベクトルと予め決められた係数とを用いて合成対象領域を算出することにより、実際に手書き領域１００が読み取られている領域であるとして算出される合成対象領域を精度良く算出することができる。このため、ユーザが手書き領域１００に書き込んだ手書き要素をユーザが意図した正確な位置関係でユーザ画像と合成することができる。

図１９に基づいてより具体的に説明する。図１９（Ａ）に示すように、設計上の手書き領域１００に応じて手書き領域１００が読み取られているべき領域と、実際に手書き領域１００が読み取られている領域とがずれている場合、十字マークと手書き領域間の絶対距離は異なる（ｍ≠ｍ'、n≠n'）が、十字マークを結ぶ線分と手書き領域の外縁とが交わる点を内分点とする、十字マークを結ぶ線分の内分比は一定である（ｍ：ｎ＝ｍ'：ｎ'）と言えるため、検出した各十字マークの位置ベクトルと係数とを用いて合成対象領域を精度良く算出することができる。係数は、内分比に対応する係数をＲＯＭ７６に記憶してもよいし、設計上の十字マークの座標と、十字マークを結ぶ線分と手書き領域の外縁とが交わる４点の座標とをＲＯＭ７６に記憶しそれらの座標から内分比に対応する係数を求めるようにしてもよい。ＲＯＭ７６に記憶されている座標から内分比に対応する係数を求める場合であっても、内分比が求まる座標が予め決まっているため、内分比も予め決まっているといえることは当然である。
尚、図１９（Ｂ）に示すように、向かい合う十字マークの座標の一方の成分と予め決められた係数によって、合成対象領域を算出してもよい。具体的には、点Ｂ及び点ＤのＸ成分（ＸｂとＸｄ）からＸｂ−Ｘｄを算出し、十字マークを結ぶ線分と手書き領域の外縁とが交わる点を内分点とする、十字マークを結ぶ線分の内分比に対応する予め決められた係数を乗じてＸ１及びＸ２を算出する。また、点Ａ及び点ＣのＸ成分（ＸａとＸｃ）からＸａ−Ｘｃを算出し、内分比に対応する予め決められた係数を乗じてＹ１及びＹ２を算出する。このようにして算出された（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）を頂点とする領域を合成対象領域としてもよい。このように、それぞれの十字マークの位置ベクトルの一方の成分と係数とだけを用いて合成対象領域を設定する場合にも、Ｘ成分同士、Ｙ成分同士の演算をするわけであるから、「少なくとも３つの位置ベクトルと予め決められた係数と」を用いて合成対象領域を設定していることになり、手書き領域１００に対応する領域の傾きを補正しない限り、結局、前述したベクトル演算と同様の結果が得られる。

ステップＳ４１４では、制御部７２はステップＳ４０４で算出した各リクエストマーク枠３０４の領域を解析し、濃く塗りつぶされたリクエストマーク枠１０１（図２０参照）に対応する印刷条件を設定する。
ステップＳ４１６では、スキャンユニット５０は２つサンプリング対象領域１２０、１２２（図２０参照）を含む矩形領域をフルカラー高解像度で読み取る。具体的には読み取りラインと長辺が平行な細長い矩形領域がフルカラー高解像度で読み取られる。読み取られた２つのサンプリング対象領域１２０、１２２の画像はＲＡＭ７４に格納される。
ステップＳ４１８では、制御部７２はサンプリング対象領域１２０、１２２の画像に基づいて背景色域を表すテーブル（背景色域テーブル）を生成する。背景色域テーブルは、背景画像の色域と一致するサンプルパターン９１、９３、９５、９７を読み取った画素の色域が格納されるルックアップテーブルである。

図２１は背景色域テーブルが表す色域の一例を示すグラフである。合成対象領域１２４から背景画像を読み取った領域を正確に分割するためには、制御部７２は背景画像と色域が一致するサンプルパターン９１、９３、９５、９７から読み取った画素の色域を記憶しなければならない。そこで、限られたＲＡＭ７４の容量にサンプルパターン９１、９３、９５、９７から読み取った画素の色域を格納するためのモデル化が必要になる。サンプルパターン９１、９３、９５、９７及び背景画像はシアンの単一色相の画像として印刷されるため、サンプルパターン９１、９３、９５、９７を読み取った画像は、理論的にはＲチャネルのみが階調を有し、Ｂ及びＧチャネルは固定値（例えば２５５／２５５）の階調特性になる。しかし、実際には分版精度、スキャンユニット５０とプリントユニット７０のデバイスカラーの違い等により、サンプルパターン９１、９３、９５、９７を読み取った画像のＢ及びＧチャネルにも階調が表れる。ただし、Ｂ及びＧチャネルの階調はＲチャネルの階調と強い相関関係があり、ある狭い幅でのみ変化するという特徴がある。そこで、制御部７２はＲチャネルの階調に対してＢ及びＧチャネルの階調がどのように分布するかを記憶することにより、背景画像と色域が一致するサンプルパターン９１、９３、９５、９７から読み取った画素の色域を少ない容量で記憶することができる。具体的には例えば、制御部７２はサンプリング対象領域１２０、１２２の画像のＲＧＢ３チャネルの値を画素毎に調べ、任意のＲチャネルの値に対するＧ及びＢチャネルのそれぞれの平均値を中央値とする任意のＲチャネルの値に対するＧ及びＢチャネルの分布範囲を算出することにより、サンプルパターン９１、９３、９５、９７から読み取った画素の色域を記憶することができる。以下、フローチャートに基づいて詳細に説明する。

図２２は背景色域テーブルの生成処理の流れを示すフローチャートである。図２３は、サンプルパターン９５、９７上に手書き要素が記入されている場合にオーダシートから読み取った画像のサンプリング対象領域１２０、１２２の一例を示す模式図である。図２４はサンプルパターン９５、９７に手書き要素が記入されている場合にサンプリング対象領域１２０、１２２を構成する画素、すなわちサンプルパターン９１、９３、９５、９７から読み取った画素の任意のＲレベルに対するＢレベルの分布を示すグラフである。

まず制御部７２はＲの全レベルについて、頻度：ＮＵＭ（Ｒ）、Ｇレベル合計：ＧＳＵＭ（Ｒ）、Ｂレベル合計：ＢＳＵＭ（Ｒ）、Ｇレベル平均：ＧＡＶ（Ｒ）、Ｂレベル平均：ＧＡＶ（Ｒ）、Ｇ最大レベル：ＧＭＡＸ（Ｒ）、Ｇ最小レベル：ＧＭＩＮ（Ｒ）、Ｂ最大レベル：ＢＭＡＸ（Ｒ）、および、Ｂ最小レベル：ＢＭＩＮ（Ｒ）をリセットした後（ステップＳ６００）、以下の処理をフルカラー高解像度で読み取ったサンプリング対象領域１２０、１２２の全画素について繰り返す（ステップＳ６０２）。

ステップＳ６０４では、制御部７２はＲＧＢの各レベルが適正範囲内のレベルであるか判定する。具体的には例えば、制御部７２はＲＧＢの各レベルが予め設定されているレベルよりも高いとき、適正範囲内のレベルであると判定する。この結果、印刷されたサンプルパターン９１、９３、９５、９７の上に存在する濃い色の筆跡から読み取った画素が無視される。ただし、このような判定は、オーダフォームが白に近い用紙に印刷されているときにのみ有効である。仮にオーダフォームが濃い灰色の用紙に印刷されている場合には、全ての画素が無視されることになり、背景色域テーブルを生成することができなくなる。このような場合にも対処できるように、異常時に使用するための背景色域テーブルを予め設定しておくことが望ましい。

尚、ＲＧＢの適正範囲を統計的に求めることにより、より正確な背景色域テーブルを生成することができる。具体的な原理は次のとおりである。各Ｒレベルについて全画素のＧレベル及びＢレベルのヒストグラムが作成される（図２４参照）。このヒストグラムは例えばＲ＝２００／２５５のレベルを持つ全画素のＧレベルが０／２５５〜２５５／２５５にどのように分布しているかを表すものである。このヒストグラムの区間毎の頻度を求め、頻度が低い区間に対応する画素が無視される。サンプルパターン９１、９３、９５、９７は、同一色である領域の合計面積がある程度広いため、サンプルパターン９１、９３、９５、９７上に局所的にユーザの筆跡が存在していても、その筆跡から読み取られた画素の数は、その筆跡で塗りつぶされた色のサンプルパターン９１、９３、９５、９７の領域から読み取られた画素の数よりも相当少ない可能性が高い。したがって、頻度が低い区間に対応する画素を無視することにより、筆跡がサンプルパターン９１、９３、９５、９７に近い色であっても、筆跡から読み取られた画素を無視することができる。ただし、サンプルパターン９１、９３、９５、９７と相当異なる色でサンプルパターン９１、９３、９５、９７が広く塗りつぶされている場合には、逆にサンプルパターン９１、９３、９５、９７から読み取った画素が無視されることになる。このような場合であっても、サンプルパターン９１、９３、９５、９７の印刷色から相当離れた色をしきい値として相当濃い色の画素を予め無視しておき、その後、統計的な手法によって適正範囲を求めることができる。

ステップＳ６０６では、制御部７２はＧレベル合計を更新する。具体的には制御部７２は、注目画素のＲレベルに対応するＧレベル合計に注目画素のＧレベルを加算する。
ステップＳ６０８では、制御部７２は同様にしてＢレベル合計を更新する。
ステップＳ６１０では、制御部７２は注目画素のＲレベルの頻度を更新する。具体的には、注目画素のＲレベルに対応する頻度に１を加算する。

サンプリング対象領域１２０、１２２の全画素について以上の処理が終了すると、制御部７２は、以下のようにして背景色域テーブルの値を算出する。
ステップＳ６１２では、制御部７２は全ＲレベルについてＧレベル合計をＲレベルの頻度で除し、Ｇレベル平均：ＧＡＶ（Ｒ）を算出する。
ステップＳ６１４、６１６では、制御部７２は全ＲレベルについてＧレベル平均を中央値とするＧレベルの分布範囲を算出する。具体的には制御部７２はＧレベル平均に所定値Ｃを加算したレベルをＧ最大レベル：ＧＭＡＸ（Ｒ）とし、Ｇレベル平均から所定値Ｃを減算したレベルをＧ最小レベル：ＧＭＩＮ（Ｒ）とする。
ステップＳ６１８、６２０では、制御部７２は同様にして全ＲレベルについてＢレベル平均：ＢＡＶ（Ｒ）を中央値とするＢレベルの分布範囲を算出する。

尚、このような平均値を用いたＧレベル及びＢレベルの分布範囲の算出は、プリントユニット７０のインク滴の噴射ばらつきを補償する処理であるが、必ずしも必要な処理ではない。このような処理に代えて、例えば適正範囲外の画素を除外した後に残った画素について全Ｒレベルに対応するＧレベル及びＢレベルのそれぞれの最大レベル及び最小レベルをＧレベル及びＢレベルの分布範囲として算出することもできる。

以上の処理が全Ｒレベルについて終了すると、全てのＲレベルについてＢレベル及びＧレベルの最大値と最小値が背景色域テーブルに記憶され、サンプルパターン９１、９３、９５、９７の色域が記憶される。このようにＲレベルに関連付けてＢレベル及びＧレベルの最大値と最小値を記憶するテーブルのデータサイズは、各チャネルの階調値が１バイトの場合、わずか１Ｋバイト（２５６×２×２バイト）である。以上、背景色域テーブルの生成処理について説明した。

ステップＳ４２０（図１５参照）では、スキャンユニット５０は合成対象領域１２４の画像をフルカラー高解像度で読み取る。合成対象領域１２４の画像はＲＡＭ７４に格納される。尚、合成対象領域１２４及びサンプリング対象領域１２０、１２２を含む領域１２６（二次スキャン領域）の画像を同一の読み取り条件で１パスで読み取ってもよい。

図２５はユーザ画像２０２から合成画像が形成されるまでの一連の処理において生成される画像群を示す模式図である。２０４は減色処理によってユーザ画像２０２から形成された背景画像を表している。２００はオーダフォーム画像を表している。２０６はオーダフォーム画像２００と背景画像２０４とを合成した画像を用紙に印刷した結果であるオーダフォームを表している。垂直方向の破線は用紙の地色を表している。２０８は手書き要素が記入されたオーダシートを表している。２１０は合成対象領域１２４から読み取った画像を表している。

ステップＳ４２２では、制御部７２は合成対象領域１２４から読み取った画像２１０について背景色域の画素が透明になるαチャネル２１２を生成する（図２５では、透明値の画素を白、不透明値の画素を黒で表すことによりαチャネル２１２を表している。）。具体的には制御部７２は、注目画素のＢレベル及びＧレベルが注目画素のＲレベルと対応付けて背景色域テーブルに記憶されているＢレベル及びＧレベルの範囲内であるか否かを判定し、範囲内の注目画素を背景画像から読み取った画素と認識してそのαチャネルのレベルを透明に設定し、範囲外の注目画素の領域を手書き要素から読み取った画素と認識してそのαチャネルのレベルを不透明に設定する。この結果、合成対象領域１２４を読み取った画像２１０のＲＧＢチャネルとαチャネル２１２を持つＲＧＢαの４チャネルの手書き要素画像が生成される。
ステップＳ４２４では、制御部７２は手書き要素画像を合成テンプレート２１３に割り付ける。

ステップＳ４２６では、制御部７２は処理対象バンドを選択する。具体的には例えば、制御部７２は、図２６に示すように例えばページを４個のバンドに分けて、１から４の順に手書き要素とユーザ画像とを合成し印刷する処理をバンド毎に以下のように実行する。
ステップＳ４２８では、制御部７２は処理対象バンドにユーザ画像割り付け領域が含まれるかを判定する。

処理対象バンドにユーザ画像が割り付けられる下位領域４００が含まれる場合、制御部７２はリムーバブルメモリ９６から処理対象バンドに含まれるユーザ画像の部分をＲＡＭ７４に読み出し、ＲＧＢ形式にデコードし、ユーザ画像を下位領域４００に割り付ける（ステップＳ４３２）。具体的には例えば、制御部７２は、図２６の（Ａ）及び（Ｂ）に示すように合成テンプレートユーザ画像を割り付ける。合成テンプレートは例えばはがきサイズの用紙に、ユーザ画像と手書き文字等とを合成して印刷するためのテンプレートであって、ユーザ画像が割り付けられる下位領域４００及び合成対象領域が割り付けられる上位領域４０２のレイアウト制御情報としてＲＯＭ７６に格納されている。下位領域４００及び上位領域４０２の位置関係は、オーダフォームテンプレートにおける背景画像領域８９と手書き領域１００との位置関係と同じである。図２６（Ａ）は図４に示すオーダフォームテンプレートの合成レイアウトと対応し、図２６（Ｂ）は図５に示すオーダフォームテンプレートの合成レイアウトと対応している。

ステップＳ４３４では、制御部７２はプリントユニット７０を制御して合成画像の印刷を実行させる。
ステップＳ４３６では、制御部７２は全バンドの処理が終了したか判定する。制御部７２は、ステップＳ４２６からステップＳ４３４までの処理を順に全バンド分実行して、用紙に合成画像を形成する。
以上説明した一連の処理が終了すると、オーダフォームに書き込まれた手書き文字等が、ディジタルカメラ等で生成されリムーバブルメモリ９６に格納されていたユーザ画像に合成された印刷物がＭＦＰ１によって作成される。

ところで、オーダフォームのレイアウトは、図２７に示すように手書き領域１００の長辺が用紙の長辺と平行になるレイアウトと、図２８に示すように手書き領域１００の短辺が用紙の長辺と平行になるレイアウトとが考えられる。ここまで説明している実施例では、手書き領域１００の画像の全体にユーザ画像を割り付ける合成レイアウトと、手書き領域１００の画像の半分にユーザ画像を割り付ける合成レイアウトを提供するに当たり、以下に説明する理由から手書き領域１００の長辺が用紙の長辺と平行になるレイアウトを採用している。

一般的にプリンタは、用紙の長辺がプリントユニット７０の用紙搬送方向と平行になるように用紙を搬送する方が、用紙の長辺がプリントユニット７０の用紙搬送方向と垂直になるように用紙を搬送するより、精度良く、つまり斜行させずに、用紙を搬送することができる。
既に説明したようにオーダフォーム印刷及び合成画像印刷は、バンド単位に処理される。処理対象バンドに背景画像や合成画像の割り付け領域が含まれる場合、制御部７２は、割り付け領域に含まれているユーザ画像の領域をリムーバブルメモリ９６からＲＡＭ７４に読み出し、デコード、背景画像生成、合成、印刷等の処理を行う。

まず、ユーザ画像が縦長の場合について説明する。
図２８（Ａ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が左辺から右辺に向かって印刷されるため縦長のユーザ画像は左辺から右辺に向かって処理されるが、合成印刷時には合成画像が上辺から下辺に向かって印刷されるため縦長のユーザ画像は上辺から右辺に向かって処理される。図２８（Ｃ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が下辺から上辺に向かう方向に印刷されるためユーザ画像も下辺から上辺に向かって処理されるが、合成印刷時には合成画像が左辺から右辺に向かって印刷されるためユーザ画像も左辺から右辺に向かって処理される。このように、図２８（Ａ）と図２８（Ｃ）のレイアウトの組み合わせでは、オーダフォーム印刷と合成印刷とで、ユーザ画像は異なる方向に処理され、なおかつ処理方向は左辺から右辺、上辺から下辺、下辺から上辺という３パターンである。ユーザ画像が縦長の場合、図２８（Ａ）と図２８（Ｄ）のレイアウトの組み合わせでも、図２８（Ｂ）と図２８（Ｃ）のレイアウトの組み合わせでも、図２８（Ｂ）と図２８（Ｄ）のレイアウトの組み合わせでも、オーダフォーム印刷と合成印刷とで、ユーザ画像は異なる方向に処理され、なおかつ処理方向は左辺から右辺、右辺から左辺、上辺から下辺、下辺から上辺のうちのいずれか３パターンである。

次に、ユーザ画像が横長の場合について説明する。
図２８（Ｆ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が上辺から下辺に向かって印刷されるため横長のユーザ画像は上辺から下辺に向かって処理されるが、合成印刷時には合成画像が右辺から左辺に向かって印刷されるため横長のユーザ画像は右辺から左辺に向かって処理される。図２８（Ｇ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が左辺から右辺に向かう方向に印刷されるためユーザ画像も左辺から右辺に向かって処理されるが、合成印刷時には合成画像が上辺から下辺に向かって印刷されるためユーザ画像も上辺から下辺に向かって処理される。このように、図２８（Ｆ）と図２８（Ｇ）のレイアウトの組み合わせでは、オーダフォーム印刷と合成印刷とで、ユーザ画像は異なる方向に処理され、なおかつ処理方向は上辺から下辺、右辺から左辺、左辺から右辺という３パターンである。ユーザ画像が横長の場合、図２８（Ｅ）と図２８（Ｇ）のレイアウトの組み合わせでも、図２８（Ｅ）と図２８（Ｈ）のレイアウトの組み合わせでも、図２８（Ｆ）と図２８（Ｈ）のレイアウトの組み合わせでも、オーダフォーム印刷と合成印刷とで、ユーザ画像は異なる方向に処理され、なおかつ処理方向は左辺から右辺、右辺から左辺、上辺から下辺、下辺から上辺のうちのいずれか３パターンである。

処理順序を限定するために、レイアウトに応じて用紙の搬送方向が変わるようにユーザに用紙をセットさせることも可能であるが、既に述べたように搬送方向と用紙の長辺が平行になるようにプリントユニット７０は用紙を搬送することが望ましいし、レイアウトによって用紙をセットするべき向き（姿勢）が変わるとユーザの混乱を招く恐れがある。具体的には例えば、画像の印刷方向を上辺から下辺、左辺から右辺の２パターンに限定しようとすると、用紙は搬送方向に対して用紙の長辺が平行になるようにプリントユニット７０にセットされることが望ましいので、（Ａ）、（Ｇ）のようなレイアウトで合成印刷するときは、辺２０００側から印刷を開始することになり、（Ｄ）、（Ｆ）のようなレイアウトで合成印刷するときは、辺２００２側から印刷を開始することになるので、はがきのように天地が決まっている用紙に合成画像を印刷するような場合、ユーザははがきをプリントユニット７０にセットする方向をどちらにすればよいか、分かりにくくなる。

一方、図２７に示すように手書き領域１００の長辺が用紙の長辺と平行になるレイアウトでは、オーダフォーム印刷時と合成印刷時とで同じ方向からユーザ画像を処理することができるため、図２８に示したレイアウトより、ユーザにとって直感的に分かりやすい。以下、具体的に説明する。

まず、ユーザ画像が縦長の場合について説明する。
図２７（Ａ）に示すレイアウトでは、オーダフォーム印刷時は、背景画像が上辺から下辺に向かって印刷されるため縦長のユーザ画像も上辺から下辺に向かって処理され、合成印刷時も合成画像は上辺から下辺に向かって印刷されるため縦長のユーザ画像も上辺から下辺に向かって処理される。図２７（Ｃ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が左辺から右辺に向かう方向に印刷されるためユーザ画像も左辺から右辺に向かって処理され、合成印刷時にも合成画像は左辺から右辺に向かって印刷されるためユーザ画像も左辺から右辺に向かって処理される。このように、図２７（Ａ）と図２７（Ｃ）のレイアウトの組み合わせでは、オーダフォーム印刷と合成印刷とで、ユーザ画像は同じ方向に処理され、処理方向は上辺から下辺、左辺から右辺という２パターンである。ユーザ画像が縦長の場合、図２７（Ａ）と図２７（Ｄ）のレイアウトの組み合わせでも、図２７（Ｂ）と図２７（Ｃ）のレイアウトの組み合わせでも、図２７（Ｂ）と図２７（Ｄ）のレイアウトの組み合わせでも、オーダフォーム印刷と合成印刷とで、ユーザ画像は同じ方向に処理され、処理方向は左辺から右辺、右辺から左辺のうちのいずれかと、上辺から下辺、下辺から上辺のうちのいずれかの２パターンである。

次に、ユーザ画像が横長の場合について説明する。
図２７（Ｅ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が左辺から右辺に向かって印刷されるため横長のユーザ画像も左辺から右辺に向かって処理され、合成印刷時にも合成画像は左辺から右辺に向かって印刷されるため横長のユーザ画像も左辺から右辺に向かって処理される。図２７（Ｇ）に示すレイアウトでは、オーダフォーム印刷時には背景画像が上辺から下辺に向かって印刷されるためユーザ画像も上辺から下辺に向かって処理され、合成印刷時にも合成画像は上辺から下辺に向かって印刷されるためユーザ画像も上辺から下辺に向かって処理される。ユーザ画像が横長の場合、図２７（Ｅ）と図２７（Ｈ）のレイアウトの組み合わせでも、図２７（Ｆ）と図２７（Ｇ）のレイアウトの組み合わせでも、図２７（Ｆ）と図２７（Ｈ）のレイアウトの組み合わせでも、オーダフォーム印刷と合成印刷とで、ユーザ画像は同じ方向に処理され、処理方向は左辺から右辺、右辺から左辺のうちのいずれかと、上辺から下辺、下辺から上辺のうちのいずれかの２パターンである。
したがって、図２７に示したレイアウトは、図２８に示したレイアウトより、印刷方向のパターンを少なくすることができる。

ところで、ユーザ画像は、ＪＰＥＧフォーマットで符号化されてリムーバブルメモリ９６に格納されている。ＪＰＥＧフォーマットの画像データは、水平方向は左辺から右辺の方向に１画面は上辺から下辺の方向に画素が配列されたラスタ画像を８×８画素を１ブロックとして符号化し、符号化されたブロックを、水平方向は左から右に１画面は上から下に順に配列して構成されている。エンコードされたブロックが配列されている順序、すなわち左上から右下の順にユーザ画像のブロックはリムーバブルメモリ９６からＲＡＭ７４に読み出され、デコードされて印刷されるのが最も効率がよい。したがって、オーダフォーム印刷時も合成画像印刷時も上辺から下辺へ向かう方向で画像が印刷される、図２７（Ａ）及び図２７（Ｇ）のレイアウトが最も効率がよい。手書き領域１００の画像の全体にユーザ画像を割り付ける合成レイアウトと、手書き領域１００の画像の半分にユーザ画像を割り付ける合成レイアウトを提供するための、図２７（Ａ）及び図２７（Ｇ）を含むレイアウトの組み合わせは、図２７（Ａ）と図２７（Ｃ）、図２７（Ａ）と図２７（Ｄ）、図２７（Ｅ）と図２７（Ｇ）、図２７（Ｆ）と図２７（Ｇ）である。そのうち、ユーザがオーダフォームの手書き領域１００に手書き文字を書き込む際に違和感のない（オーダフォームの向きを１８０度回転させたりしなくてよい）組み合わせは、図２７（Ａ）と図２７（Ｃ）、図２７（Ｅ）と図２７（Ｇ）である。これらは、「上辺から下辺に向かう方向又は左辺から右辺に向かう方向で」背景画像及び合成画像が印刷される組み合わせに相当し、効率よく印刷できかつユーザにとってわかりやすい。また、「上辺から下辺に向かう方向又は右辺から左辺に向かう方向で」背景画像及び合成画像が印刷されるように背景画像を手書き領域に割り付ける図２９に示すようなオーダフォームであってもよい。

本発明の一実施例にかかる模式図。 本発明の一実施例にかかるブロック図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかるヒストグラム。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる平面図。 本発明の一実施例にかかるグラフ。 本発明の一実施例にかかるフローチャート。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかるグラフ。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる模式図。 本発明の一実施例にかかる平面図。

符号の説明

１：ＭＦＰ（合成画像形成システム）、７０：プリントユニット、７２：制御部（オーダフォーム印刷制御ユニット、合成印刷制御ユニット、スキャン制御ユニット、マーク検出ユニット、サンプリング領域算出ユニット、合成対象領域算出ユニット、減色ユニット、合成ユニット）、９０：基準マーク、９１、９３、９５、９７：サンプルパターン、９６：リムーバブルメモリ（記録媒体）、９８：載置基準マーク、１００：手書き領域、１０２：補助画像領域、１０６、１０８、１１０、１１２：十字マーク（領域検出基準マーク）、１２０、１２２：サンプリング対象領域、１２４：合成対象領域、３００：背景画像、３０２：補助画像、３０４：枠

Claims (4)

1. オーダシートを印刷するプリントユニットと、前記オーダシートの画像を読み取るスキャンユニットと、前記プリントユニットと前記スキャンユニットとを制御する制御部と、を有し、ユーザ画像と前記オーダシートに手書きされた手書き画像とを合成する画像合成装置であって、
   前記制御部は、
   記録媒体に格納されているユーザ画像を特定色域内に減色することにより背景画像を形成する減色ユニットと、
   手書き領域に割り付けられた前記背景画像と、前記手書き領域外のサンプル領域に前記特定色域内の色毎に分散させて割り付けられた複数のサンプル色とを含む前記オーダシートを前記プリントユニットに印刷させるオーダフォーム印刷制御ユニットと、
   前記プリントユニットによって前記背景画像と前記サンプル色とが印刷されユーザによって手書き要素が前記手書き領域に手書きされた前記オーダシートから、前記手書き領域に対応する合成対象領域及び前記サンプル領域に対応するサンプリング対象領域の画像を、前記スキャンユニットに読み取らせるスキャン制御ユニットと、
   前記スキャンユニットに読み取られた前記サンプリング対象領域の画像の色域を用いて前記合成対象領域から前記手書き要素に対応する手書き要素領域を分離し、前記ユーザ画像と前記手書き要素領域の画像とを合成することにより合成画像を形成する合成ユニットと、
   を備える合成画像形成装置。
2. 前記合成ユニットは、前記特定色域から所定距離以上離れた特異色域を前記サンプリング対象領域の画像の色域から除外したサンプル色域を特定し、前記サンプル色域を用いて前記合成対象領域から前記手書き要素領域を分離する、
   請求項１に記載の合成画像形成装置。
3. 前記オーダフォーム印刷制御ユニットは、前記サンプル領域に前記特定色域内の色毎に分散して割り付けられた前記特定色域内の全色に対応する複数の前記サンプル色を前記プリントユニットに印刷させ、
   前記合成ユニットは、前記サンプル色域外の色の領域を前記手書き要素領域として分離する、
   請求項２に記載の合成画像形成装置。
4. 前記オーダフォーム印刷制御ユニットは、前記サンプル領域内の互いに離間した複数領域に１つずつ割り付けられた、複数の前記サンプル色の同一の組み合わせからなる、複数のサンプルパターンを前記プリントユニットに印刷させる、
   請求項１〜３のいずれか一項に記載の合成画像形成装置。