JP4289316B2

JP4289316B2 - 画像形成システム

Info

Publication number: JP4289316B2
Application number: JP2005101848A
Authority: JP
Inventors: 陽一郎牧; 聖司小島; 秀幸成澤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2009-07-01
Anticipated expiration: 2025-03-31
Also published as: JP2006287381A

Description

本発明は画像形成システムに関し、特に手書き文字と記録媒体に格納されている画像との合成技術に関する。

従来、記録媒体に格納されている画像と手書き文字とを合成して印刷する機能を有する画像形成システムが知られている。このような画像形成システムは、手書き文字が書き込まれた原稿の読み取り機能と、読み取られた原稿から手書き文字領域を分割する領域分割機能と、記録媒体に格納されている画像に手書き文字領域を重畳して合成画像を形成する合成機能と、合成画像を印刷する印刷機能とを有する。

特開２００３−８９１３号公報

本発明は、手書き文字に合成される画像と手書き文字との位置関係をユーザに正確に把握させ、ユーザが記録した対象物の領域を正確に分割でき、画像と対象物との合成画像を印刷できる画像形成システムを提供することを目的とする。

（１）上記目的を達成する画像形成システムは、用紙に画像を形成するプリントユニットと、原稿を読み取るスキャンユニットと、記録媒体に格納されているユーザ画像にアクセスするアクセスユニットと、前記ユーザ画像の色域を減縮し多階調の背景画像を形成する減色処理ユニットと、自由描画領域に前記背景画像が形成されたオーダシートを前記プリントユニットに作成させるオーダシート印刷制御ユニットと、前記スキャンユニットに読み取られた前記自由描画領域の画像からユーザが前記自由描画領域に記録した対象物の領域を、前記背景画像の色域を基準に用いて分割し、前記ユーザ画像に前記対象物の領域を重畳して合成画像を形成する合成ユニットと、前記合成画像を前記プリントユニットに印刷させる合成印刷制御ユニットと、を備える。
画像形成システムがユーザに手書き文字などの対象物を記録させる自由描画領域にユーザ画像の色域を減縮して形成された多階調の背景画像を印刷すると、ユーザは手書き文字に合成される画像と手書き文字等の対象物との位置関係を正確に把握しながら手書き文字等の対象物を自由描画領域に記録することができる。また画像形成システムは、ユーザ画像の色域を減縮して形成した背景画像を自由描画領域に印刷すると、背景画像の色域外の色で自由描画領域に記録された対象物の領域を自由描画領域を読み取った画像から正確に分割することができる。また、背景画像の色域を基準として手書き文字などの対象物の領域を分割しようとする場合、画像形成システムは背景画像の色域を記憶しなければならない。フルカラーの背景画像の色域を記憶するためには大容量の記憶媒体を画像形成システムに設ける必要がある。画像形成システムはユーザ画像の色域を減縮して背景画像を形成することにより、背景画像の色域を記憶するために必要な記憶容量を低減することができる。

（２）前記減色処理ユニットは、前記ユーザ画像が淡色化された前記背景画像を形成してもよい。
画像形成システムがユーザ画像を淡色化して背景画像を形成することにより、背景画像の色域は狭くなり、その結果背景画像の色域を記憶するための記憶容量は小さくなる。また、背景画像が淡色化されていると、背景画像上に濃い色で記録された手書き文字などの対象物の領域を背景画像の領域と判別することができるため、ユーザは背景画像上に手書き文字などの対象物を濃い色で記録することができる。

（３）前記オーダシート印刷制御ユニットは、前記背景画像の色域に色域が一致する標本パッチを前記オーダシートに印刷してもよい。前記合成ユニットは、前記スキャンユニットに読み取られた前記標本パッチの画像の色域に色値が含まれない前記自由描画領域内の領域を前記対象物の領域と判定してもよい。
画像形成システムが同一の色域の背景画像を印刷しても、用紙の紙質が異なれば用紙に印刷された背景画像の色域も異なる。したがって、オーダシートを作成するために用いられる用紙の種類が特定されていない場合、背景画像の色域に応じて予め決めた色域の範囲を、自由描画領域から背景画像の領域として分割される領域の色域の範囲として領域分割を実行すると、対象物の領域が背景画像の領域と誤認識されたり、背景画像の領域が対象物の領域と誤認識される。そこで、背景画像の色域に色域が一致する標本パッチを背景画像とともにオーダシートに印刷することにより、実際に使用された用紙に印刷された標本パッチの色域を基準として背景画像の色域を認識することができるため、自由描画領域内の背景画像の領域の判定精度を向上させることができる。

尚、本発明に備わる複数のユニットの各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数のユニットの各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。

以下、実施例に基づいて本発明の実施の形態を説明する。
１．画像形成システムの構成
図２は、本発明による画像形成システムの第一実施例としての複合機１の外観を示す図である。図３は、複合機１を示すブロック図である。複合機１は、リムーバブルメモリ２０や図示しないＰＣ（Personal Computer）から入力される画像を印刷する機能と、複写機能とを有する。尚、画像形成システムは、画像の読み取り機能を有するスキャナと、印刷機能を有するプリンタと、スキャナとプリンタの制御機能を有するＰＣとで構成してもよい。

スキャンユニット５０は、主に上部ケース１４に収容され、照明部５２、イメージセンサ５４、ＡＦＥ（Analog Front End）部５６、センサ駆動部７４、センサキャリッジ駆動部７６等を備える。照明部５２は、主走査方向に長い蛍光管ランプ等で構成される。センサ駆動部７４に駆動されるイメージセンサ５４は、ＲＧＢの３チャネルの光電素子群を備えるカラーＣＣＤリニアイメージセンサ等のリニアイメージセンサである。イメージセンサ５４は、透明な原稿台１２と平行に移動する図示しないセンサキャリッジに搭載されている。イメージセンサ５４は、図示しないレンズ及びミラーにより受光面に結像される原稿の光学像の濃淡に相関する電気信号を出力する。センサキャリッジ駆動部７６は、図示しないモータ、駆動ベルト、駆動回路等を備える。センサキャリッジ駆動部７６は、主走査方向に垂直に架設された図示しないガイドロッドに沿ってセンサキャリッジを往復移動させる。イメージセンサ５４が主走査方向と垂直な方向に移動することにより二次元画像を読み取り可能となる。ＡＦＥ部５６は、増幅、ノイズ除去等のアナログ信号処理回路、Ａ／Ｄ変換器等を備える。

プリントユニット８６は、主に下部ケース１６に収容され、インクジェット方式で用紙に画像を形成するための印字ヘッド８４、ヘッドキャリッジ駆動部７８、送紙部８０、これらを制御する印刷制御部８２等を備える。尚、プリントユニット８６はレーザ方式等の他の印刷方式に対応する構成でもよい。印字ヘッド８４は、インクカートリッジが搭載される図示しないヘッドキャリッジに設けられ、ノズル、ピエゾ素子、ピエゾ素子に印加する駆動信号を出力するピエゾ駆動回路等を備える。ピエゾ駆動回路はピエゾ素子に印加する駆動信号の波形によって、ノズルから噴射されるインク滴を大中小の３段階に制御することができる。ピエゾ駆動回路は、印刷制御部８２から出力される制御信号に応じて所定の波形の駆動信号をピエゾ素子に印加する。ヘッドキャリッジ駆動部７８は、図示しないモータ、駆動ベルト、モータ駆動回路等を備える。ヘッドキャリッジ駆動部７８は、用紙の搬送方向と垂直に印字ヘッド８４を往復移動させる。送紙部８０は、図示しない用紙搬送ローラ、モータ、モータ駆動回路等を備える。送紙部８０は、用紙搬送ローラを回転させることにより用紙を印字ヘッド８４の移動方向軸線と垂直な方向に搬送する。印刷制御部８２は、ＲＡＭ６０から順次印字データが転送されるバッファメモリと、バッファメモリに格納された印字データを印字ヘッド８４に出力するタイミングをヘッドキャリッジの位置に応じて制御する機能と、ヘッドキャリッジ駆動部７８を制御する機能と、送紙部８０を制御する機能とを備えるＡＳＩＣである。

アクセスユニットとして機能する外部メモリコントローラ７０は、カードスロット１８から挿入されたリムーバブルメモリ２０に接続される。リムーバブルメモリ２０に格納されたデータは外部メモリコントローラ７０によって読み出され、ＲＡＭ６０に転送される。
操作部６８は、メニューを表示するためのＬＣＤ２４と、メニューを操作するための十字ボタン２２、ＯＫボタン２８、キャンセルボタン２１、印刷指示ボタン３０、テンキー２６等の各種の押しボタンを備える。尚、操作部６８をタッチパネル、ポインティングデバイス等で構成してもよい。
アクセスユニットとして機能する通信部６９は、制御部５８がＰＣ等の外部のシステムと通信するための通信インタフェースである。通信部６９は、ＬＡＮ、インターネット、ＵＳＢ等を通じて外部のシステムと通信する。

制御部５８は、ＲＡＭ６０、ＲＯＭ６２及びＣＰＵ６４を備える。ＣＰＵ６４はＲＯＭ６２に格納されている制御プログラムを実行して複合機１の各部を制御する。ＲＯＭ６２は、制御プログラムを格納している不揮発性メモリである。記録媒体としてのＲＡＭ６０は、制御プログラムやスキャンユニット５０に読み取られた画像、背景画像の色域テーブル等の各種のデータが一時的に格納される揮発性メモリである。制御プログラムは遠隔地のサーバからネットワークを経由してＲＯＭ６２に格納してもよいし、リムーバブルメモリ２０等のコンピュータ読み取り可能な記録媒体を経由してＲＯＭ６２に格納してもよい。制御部５８は制御プログラムを実行することにより、減色処理ユニット、オーダシート印刷制御ユニット、合成ユニット及び合成印刷制御ユニットとして機能する。
ディジタル画像処理部６６は、ＪＥＰＧ画像のデコード、解像度変換、アンシャープ処理、階調補正、二値化、分版処理等の画像処理をＣＰＵ６４と協働して実行するＤＳＰ等の専用回路である。
以上、複合機１のハードウェア構成について説明した。次にオーダシートの印刷処理について説明する。

２．オーダシートの印刷処理
図４はオーダシートの印刷処理の流れを示すフローチャートである。図４に示す処理は、モード選択メニューでオーダシート印刷モードが選択されると開始され、制御部５８がＲＯＭ６２に格納された制御プログラムの所定のモジュールを実行することにより実行される。
はじめに制御部５８は合成対象のユーザ画像を設定する（ステップＳ１００）。具体的には例えば、制御部５８は、リムーバブルメモリ２０に格納されたユーザ画像をＬＣＤ２４に表示し、十字ボタン２２、ＯＫボタン２８等の操作によるユーザ画像の選択指示を受け付けると、選択指示に応じたユーザ画像を合成対象として設定する。

ステップＳ１０２、１０４、１０６、１０８、１１０では、制御部５８はディジタル画像処理部６６と協働してユーザ画像から背景画像を生成する。背景画像の元になるユーザ画像は、手書き文字等の対象物と合成される最高解像度の画像でもよいし、サムネイル画像でもよい。サムネイル画像に基づいて背景画像を形成することにより、処理時間を短縮することができる。ＪＰＥＧフォーマット等のユーザ画像はデコードされるとＲＧＢの３つのカラーチャネルを有する。ユーザ画像の色域は、各チャネルの階調値が１バイトで構成されると、１６７７７２１６（２５６×２５６×２５６）の色値から構成される。ユーザ画像の色域が色空間の全体に拡がっている場合、印刷されたユーザ画像の上にカラーペンなどで書き込まれた文字の領域を光学的に認識することは極めて困難である。ユーザ画像の色域と文字の領域の色域が重なっていない場合、特定の色域内の画素を文字の領域と判定することができる。ユーザ画像の上に書き込むことのできる文字などの対象物の色域の範囲を広げるためには、すなわち、ユーザが利用可能な色を多くするためには、対象物の下に印刷されているユーザ画像の色域を狭くしなければならない。以下、ユーザ画像の色域を減縮するために複合機１が実行する様々な画像処理について説明する。

図５はユーザ画像の色域とオーダシートに印刷される背景画像の色域を示す模式図である。ユーザ画像が表す対象物は任意であるためユーザ画像の色域はフルカラー（例えば１６７７７２１６色）の色域である。背景画像の色域を狭くするため、始めに制御部５８はユーザ画像をグレートーン画像に変換する（ステップＳ１００）。
図６はユーザ画像から背景画像が生成されるまでの過程における階調特性の変化を示す図である。図６（Ａ）に示す階調特性を有するユーザ画像がグレートーン画像に変換されると、グレートーン画像の階調特性は図６（Ｂ）に示すようにＲＧＢの各チャネルのヒストグラムが一致するようになる。制御部５８は、ＲＧＢから明度を求め、明度と線形な関係を有する値にＲＧＢの階調値を変換してグレートーン画像を生成してもよいし、Ｇチャネルの階調値にＲ及びＢチャネルの階調値を変換してグレートーン画像を生成してもよい。

次に制御部５８は、グレートーン画像をシアンのモノトーン画像に変換する（ステップＳ１０４）。具体的には例えば制御部５８は、シアンの補色であるＲのチャネルの階調値だけをそのままにしてＧ及びＢのチャネルの階調値を全て１つの固定値（例えば２５６／２５６）に設定する。尚、モノトーン画像の色相は特にシアンに限定されるものではなく、単一の色相であればよいが、シアン、マゼンタ、イエロー等のプリントユニット８６のインク色の色相が望ましい。図６（Ｂ）に示す階調特性を有するグレートーン画像を、Ｇ及びＢチャネルの階調値を全て最大値に変換してシアンのモノトーン画像に変換すると、モノトーン画像は図６（Ｃ）に示す階調特性になる。

次に制御部５８は、シアンのモノトーン画像のＲチャネルのヒストグラムを平坦化する（ステップＳ１０６）。具体的には例えば制御部５８は、Ｒチャネルの階調値の頻度を最小値から順に加算し、目標頻度に最も近い値になったら、それまでに頻度を加算した階調値［ｒ₁〜ｒ_p］の画素に平坦化後の最小階調値Ｒ₁を設定する。次に制御部５８はＲチャネルの階調値ｒ_p+1から再び各階調値の頻度を順に加算していき、目標頻度に最も近い値になったら、それまでに頻度を加算した階調値［ｒ_p+1〜ｒ_q］の画素に平坦化後の階調値Ｒ₂を設定する。階調値を変換する際、制御部５８は周辺画素の平均階調値などに応じて新たな階調値を設定してもよいし、ランダムに新たな階調値を設定してもよい。シアンのモノトーン画像のＲチャネルのヒストグラムを平坦化すると、モノトーン画像は図６（Ｄ）に示す階調特性になる。
Ｒチャネルの階調値の標準偏差を減少させる方法としては、上述したヒストグラム平坦化以外に、例えばパラメトリック変換や線形変換を採用することができる。また、ユーザ画像の階調特性を解析し、ユーザ画像の階調特性に応じてこれらの変換方法を切り換えてもよいし、ユーザ画像の階調特性がＲチャネルの階調値の標準偏差を減少させなくても背景画像で十分なコントラストを得られる特性である場合には、Ｒチャネルの階調値の標準偏差を減少させるこれらの変換を実行しないようにしてもよい。
パラメトリック変換で目標とするヒストグラムｇ_j（ｊ＝１，２，・・・Ｍ）は次式（１）で与えられる。
パラメータは例えばｐ＝０．５〜０．７に設定する。このようなパラメータを設定することにより、ヒストグラム平坦化に比べて頻度の低い階調値のバンド（値域）のコントラストをそれほど低下させず、頻度の高い階調値のバンドのコントラストを改善することができる。尚、パラメトリック変換における変換後のＲチャネルの階調値を求めるアルゴリズムは上述したヒストグラム平坦化のアルゴリズムに準ずる。
線形変換はユーザ画像のＧチャネルの階調値が狭いバンドに分布している場合に有効である。Ｒチャネルの階調値のバンド［ｒ_A、ｒ_B］をより広いバンド［Ｒ_c、Ｒ_d］に線形に引き延ばす変換式は、次式（２）のとおりである。

次に制御部５８は、シアンのモノトーン画像の階調値をハイライトバンドに圧縮して背景画像を形成する（ステップＳ１０８）。この結果形成される背景画像は、Ｒチャネルの階調値がハイライトバンドに集中しているため、元のユーザ画像に比べて淡い画像になる。具体的には例えば制御部５８は、シアンのモノトーン画像のＲチャネルのシャドーレベルが所定値（例えば２００／２５５）まで上がるようにＲチャネルの階調値を変換する。階調値の変換方法はヒストグラムの平坦化に準ずる。図６（Ｄ）に示すモノトーン画像のＲチャネルの階調値をハイライトバンドに圧縮して形成された背景画像は図６（Ｅ）に示す階調特性になる。

階調値の分布を狭い幅に圧縮すると、元画像でコントラストが低いバンドでは階調が消滅する。すなわち、画像の空間構成に関する情報が消滅する。すると、ユーザは、オーダシートに印刷された背景画像の上に手書き文字等を書き込もうとするときに、手書き文字と背景画像に表されている対象物との位置関係を認識できなくなる。上述したように階調値を圧縮する前に階調値の標準偏差を減少させる、すなわち、階調値の分布をならすることにより、画像の空間構成に関する情報の減少を抑制することができる。もちろん、階調値の分布をならし階調値の分布を圧縮することにより、元のユーザ画像の階調特性は大きく変化する。しかし背景画像は、手書き文字をオーダシートに書き込む位置を決める目安でしかないため、階調特性が変化したとしてもユーザ画像のおおよその空間構成をユーザが把握できる画像であれば十分である。以上背景画像の形成処理について説明した。

制御部５８は、背景画像を形成すると、オーダシート画像に背景画像を割り付ける（ステップＳ１１０）。図７はオーダシート画像の一例を示している。オーダシート画像は全体として１つの画像又は画像部品の描画命令の組み合わせとしてＲＯＭ６２に格納されている。位置基準マーク９０、９８は、原稿台１２に載置されたオーダシートの位置及び傾きを制御部５８に認識させるためのマークである。ブロックコード９２は、オーダシートの種類を制御部５８に認識させるためのマークである。複数のチェックマーク９４は印刷部数、手書き文字とユーザ画像の境界処理条件等の合成印刷条件を制御部５８に認識させるためのマークである。標本パッチ９６は、背景画像と色域が一致し、一様に濃度が変換するチャートである。標本パッチ９６は、１つでもよいし、互いに色域が異なる複数の領域で構成してもよい。背景画像は向かい合う頂点の座標がＲＯＭ６２に記録されている矩形の自由描画領域１００に割り付けられる。補助画像領域１０２は、向かい合う頂点の座標がＲＯＭ６２に記憶されており、ユーザ画像がそのままの階調特性で割り付けられる。補助画像領域１０２に割り付けられるユーザ画像は最高解像度の画像でもよいし、サムネイル画像でもよい。図８は背景画像が割り付けられたオーダシート画像の一例を示している。

ステップＳ１１２では、制御部５８は背景画像が割り付けられたオーダシート画像をプリントユニット８６に印刷させる。尚、上述したオーダシートへの背景画像の割付処理と、オーダシートの印刷処理とは画像のバンド単位に実行される。具体的には制御部５８は、割付前のオーダシート画像の印刷処理をバンド単位に実行しながら、バンド内に背景画像やユーザ画像が割り付けられている場合には、背景画像の解像度変換、ユーザ画像の画質補正、背景画像及びユーザ画像の割付等を行ってから印刷処理を実行する。

図９はオーダシートの印刷処理の流れを示すフローチャートである。図９に示す処理は制御部５８が制御プログラムの所定のモジュールを実行することによって実行される。
ステップＳ１２０では、制御部５８は、ディジタル画像処理部６６と協働して背景画像又はユーザ画像の解像度を割付される領域の大きさに応じて変換する。またテンプレート画像全体を印刷解像度に変換する。

ステップＳ１２２では、制御部５８は、補助画像領域１０２に割り付けられるユーザ画像の画質をディジタル画像処理部６６と協働して調整する。具体的には例えば制御部５８はアンシャープ処理等を実行する。
ステップＳ１２４では、制御部５８は、分版処理を実行する。具体的には例えば制御部５８は、オーダシート画像の階調値をＲＧＢ色空間の値からＣＭＹ色空間（Ｋ（黒）等の補助的なチャネルをもたせてもよい。）の値に変換する。この結果、原理的には、Ｇ及びＢチャネルが固定値でＲチャネルだけが階調を有するシアンのモノトーン画像である自由描画領域１００はＣ（シアン）チャネルだけに階調を有する階調特性になる。ただし実際には、ＲＧＢ値からＣＭＹ値への変換に用いる３Ｄ−ＬＵＴのグリッド値の誤差や３Ｄ−ＬＵＴのグリッド間の補間処理での誤差により、自由描画領域１００のＭ及びＫチャネルにも濃いバンドで狭い幅の階調が表れることが一般的である。

ステップＳ１２６では、制御部５８はハーフトーン処理を実行する。ハーフトーン処理の基本は多階調の色値の配列をインク滴を噴射するかしないかの二値の配列に変換する処理である。大中小のインク滴を使い分ける場合には、噴射しない、小インク滴を噴射する、中インク滴を噴射する、大インク滴を噴射する、の４値のいずれかの値に多階調の色値をチャネル毎に変換する。この場合、インク滴で表現できる階調は４階調であるため、各画素の階調に誤差が発生する。この誤差を近傍画素に分散させることによって擬似的に多くの階調を表現することができる。このような誤差拡散処理を高速に実行するため、ＣＭＹの階調毎に注目画素に割り当てる４値とその傍画素に振り分ける誤差を記述したルックアップテーブルがＲＯＭ６２に格納されている。印字ヘッド８４から噴射される単位面積当たりのインク滴群の噴射量は、図１０に示すように濃度が低いほど小インク滴の構成比率が高くなり、濃度が高いほど大インク滴の構成比率が高くなる。

ハーフトーン処理後、制御部５８はハーフトーン処理によって形成された４値の噴射データを噴射順に並び替えるインタレース処理を実行する（ステップＳ１２８）。
ステップＳ１３０では、制御部５８は噴射順に噴射データを印刷制御部８２に出力し、印刷制御部８２は順次バッファメモリに格納される噴射データに基づいて印字ヘッド８４を駆動する。

図１１及び図１２は、用紙上に一様に濃度が変化する画像を複数サイズのインク滴で形成した場合にその画像の濃度がどのように読み取られるかを説明するための模式図である。１１０、１１２、１１４、１１６、１１８、１２０はスキャンユニット５０が読み取る１画素を示している。また１１０と１１２、１１４と１１６、１１８と１２０は、それぞれプリントユニット８６の同一の色値（デバイスカラー）に対応する画素の組である。スキャンユニット５０が読み取る１画素は極めて小さいため、同一の色値に対応する画素であっても、画素内のインク滴の構成は図１１及び図１２に示すように一様ではない。すなわち、同一の色値に対応する画素であっても画素内でインク滴が占める面積の割合は異なる。同一の色値に対応する画素内でインク滴が占める面積の割合のばらつきは、インク滴が大きくなるほど大きくなる。読み取った自由描画領域内で背景画像の領域を判定する場合、同一の色値に対応する画素内でインク滴が占める面積の割合のばらつきが小さいほど判定精度は高くなる。すなわち、背景画像の領域を判定する精度を向上させるためには、できるだけ小さなインク滴を使って背景画像及び標本パッチ９６を印刷することが望ましい。

できるだけ小さなインク滴を使って背景画像を印刷する方法としては、例えば以下の方法がある。
（１）制御部５８がハーフトーン処理前、大インク滴及び中インク滴が噴射されない程度に淡い背景画像を形成する。
（２）制御部５８又は印刷制御部８２がハーフトーン処理後、大インク滴及び中インク滴を噴射する値を噴射しない値に変換する。
（３）制御部５８又は印刷制御部８２がハーフトーン処理後、大インク滴及び中インク滴を噴射する値を小インク滴を噴射する値に変換する。
（４）印刷制御部８２が大インク滴及び中インク滴を噴射する値に応じて小インク滴が噴射される波形の駆動信号をピエゾ駆動回路から出力させる。
（５）大インク滴及び中インク滴を噴射する値を持たないルックアップテーブルが通常モード用のルックアップテーブルとは別にＲＯＭ６２に格納され、背景画像を印刷するモードでは、制御部５８が大インク滴及び中インク滴を噴射する値を持たないルックアップテーブルを用いてハーフトーン処理を実行する。

３．対象物のオーダシートへの記入
図１は上述の処理によって印刷された後に手書き文字１２６（Ｈｅｌｌｏ！）が記入されたオーダシートの一例を示す平面図である。自由描画領域１００には背景画像が印刷されている。補助画像領域１０２にはユーザ画像がそのままの階調特性で印刷されている。ユーザは自由描画領域１００に印刷された背景画像の上に手書き文字１２６等の対象物を記録することができる。自由描画領域１００には雑誌の切り抜きやシールなどを貼付してユーザ画像と合成される対象物を記録してもよい。またユーザは任意のチェックマーク９４を塗りつぶすことによって所望の印刷条件を設定することができる。

背景画像の元画像であるユーザ画像と手書き文字１２６等の対象物とは自由描画領域１００を割り付け位置の基準にして合成されるため、ユーザは多階調で印刷された背景画像の空間構成に基づいてユーザ画像の空間構成を認識しながら手書き文字１２６等の対象物を自由描画領域１００内に記録することができる。すなわち、ユーザはユーザ画像のどの領域に手書き文字１２６が割り付けられるのかを認識しながら自由描画領域１００内に手書き文字１２６等の対象物を記録することができる。さらに、背景画像のＲチャネルのヒストグラムがハイライトバンドで平均化されているため、ユーザ画像の階調特性に関わらず、ユーザは淡い背景画像からユーザ画像の空間構成を確実に認識することができる。さらに、補助画像領域１０２にユーザ画像がそのままの階調特性で印刷されているため、ユーザは自由描画領域１００に印刷された背景画像と補助画像領域１０２に印刷されたユーザ画像とに基づいてユーザ画像と手書き文字１２６等の対象物との位置関係をより確実に認識することができる。

また背景画像は単一の色相（シアン）しか持たないため、ユーザはシアン以外の任意の色相で対象物を自由描画領域１００に記録することができる。また背景画像は淡色化されているため、背景画像と同じ色相であっても背景画像と明度や彩度が異なる色であればその色を用いて対象物を自由描画領域１００に記録することができる。すなわち、背景画像と異なる任意の色相で自由描画領域１００に記録された対象物の領域を複合機１が光学的に認識でき、背景画像と同じ色相であっても明度や彩度が異なる色で記録された対象物であれば複合機１が光学的にその領域を認識できるということである。

４．ユーザ画像と手書き文字との合成
図１３は複合機１がオーダシートを読み取り、オーダシートに記録された手書き文字等の対象物とユーザ画像とを合成して印刷する処理の流れを示すフローチャートである。図１３に示す処理は、ユーザが手書き文字等を書き込んだオーダシートを複合機１の原稿台１２に載置した状態で操作部６８を用いた所定の操作によりオーダシートの読み取りを複合機１に指示することによって開始される。

ステップＳ２００では、複合機１はオーダシートを二値で読み取る。具体的には、原稿台１２に載置された原稿がスキャンユニット５０によって読み取られ、読み取られた原稿の画像がＲＡＭ６０に格納される。制御部５８はＲＡＭ６０に格納された原稿の画像を所定のしきい値（例えば１２８／２５６）で二値化する。
ステップＳ２０２では、制御部５８は二値化された原稿の画像をＯＭＲ（Optical Mark Recognition）処理することにより、塗りつぶされたチェックマーク９４に応じた印刷条件を設定する。このとき、位置基準マーク９０、９８の位置を基準にしてオーダシート上に印刷されている画像部品（背景画像、標本パッチ、チェックマーク等）の位置が特定される。

ステップＳ２０４では、複合機１は標本パッチ９６をフルカラーで読み取る。具体的には、標本パッチ９６の領域が位置基準マーク９０、９８の位置を基準にしてスキャンユニット５０によって読み取られ、読み取られた標本パッチ９６の画像がＲＡＭ６０に格納される。
ステップＳ２０６では、制御部５８は標本パッチ９６の画像に基づいて背景画像の色域テーブルを生成する。背景画像の色域テーブルは、背景画像の色域と一致する標本パッチ９６の色域が格納されるルックアップテーブルである。

図１４は背景画像の色域テーブルに格納されるデータの一例を示すグラフである。自由描画領域１００内で背景画像の領域を正確に認識するためには、制御部５８は背景画像と色域が一致する標本パッチの色域を完全に記憶しなければならない。そこで、限られたＲＡＭ６０の容量に標本パッチの色域を格納するためのモデル化が必要になる。標本パッチ及び背景画像はシアンの単一色相の画像であるため、標本パッチを読み取った画像は、理論的にはＲチャネルのみが階調を有し、Ｂ及びＧチャネルは固定値（例えば２５６／２５６）の階調特性になる。しかし、実際には分版精度、スキャンユニット５０とプリントユニット８６のデバイスカラーの違い等により、Ｂ及びＧチャネルにも階調が表れる。ただし、Ｂ及びＧチャネルの階調はＲチャネルの階調と強い相関関係があり、ある狭い幅でのみ変化するという特徴がある。そこで、制御部５８はＲチャネルの階調に対してＢ及びＧチャネルの階調がどのように分布するかを記憶することにより、標本パッチ及び背景画像の色域を少ない容量で記憶することができる。具体的には、制御部５８は標本パッチの画像のＲＧＢ３チャネルの値を画素毎に調べ、任意のＲチャネルの値に対するＧ及びＢチャネルの最大値及び最小値を検出することにより、標本パッチの色域を記憶することができる。以下、フローチャートに基づいて詳細に説明する。

図１５は背景画像の色域テーブルの生成処理の流れを示すフローチャートである。
制御部５８はＧ及びＢチャネルの最小値（Ｇｍｉｎ，Ｂｍｉｎ）及び最大値（Ｇｍａｘ，Ｂｍａｘ）をリセットした後（ステップＳ３００）、以下の処理を標本パッチの画像の全画素について繰り返す（ステップＳ３０２）。具体的には、制御部５８は全てのＲの値に対応する（Ｇｍａｘ，Ｇｍｉｎ，Ｂｍａｘ，Ｂｍｉｎ）の値を（０，２５５，０，２５５）に設定する。

ステップＳ３０４及びステップＳ３０６では、制御部５８は注目画素のＧチャネルの値が、注目画素のＲチャネルの値に対応付けて記憶されているＧチャネルの最大値（Ｇｍａｘ）より大きいか判定し、大きければ注目画素のＲチャネルの値に対応付けられているＧチャネルの最大値（Ｇｍａｘ）を注目画素のＧチャネルの値に更新する。
ステップＳ３１２及びステップＳ３１４では、制御部５８は注目画素のＧチャネルの値が、注目画素のＲチャネルの値に対応付けて記憶されているＧチャネルの最小値（Ｇｍｉｎ）より小さいか判定し、小さければ注目画素のＲチャネルの値に対応付けられているＧチャネルの最小値（Ｇｍｉｎ）を注目画素のＧチャネルの値に更新する。

ステップＳ３０８及びステップＳ３１０では、制御部５８は注目画素のＢチャネルの値が、注目画素のＲチャネルの値に対応付けて記憶されているＢチャネルの最大値（Ｂｍａｘ）より大きいか判定し、大きければ注目画素のＲチャネルの値に対応付けられているＢチャネルの最大値（Ｂｍａｘ）を注目画素のＢチャネルの値に更新する。
ステップＳ３１６及びステップＳ３１８では、制御部５８は注目画素のＢチャネルの値が、注目画素のＲチャネルの値に対応付けて記憶されているＢチャネルの最小値（Ｂｍｉｎ）より小さいか判定し、小さければ注目画素のＲチャネルの値に対応付けられているＢチャネルの最小値（Ｂｍｉｎ）を注目画素のＢチャネルの値に更新する。

以上の処理が全画素について終了すると、Ｒチャネルの全ての値についてＢ及びＧチャネルの最大値と最小値が記憶され、標本パッチの色域が完全に記憶される。このようにＲチャネルの値に関連付けてＢ及びＧチャネルの最大値と最小値を記憶する色域テーブルのデータサイズは、各チャネルの階調値が１バイトの場合、わずか１Ｋバイト（２５６×２×２バイト）である。以上、背景画像の色域テーブルの生成処理について説明した。

ステップＳ２０８では、複合機１は自由描画領域１００を読み取る。具体的には、印刷された背景画像の上に手書き文字などが書き込まれた自由描画領域１００が位置基準マーク９０、９８の位置を基準にしてスキャンユニット５０によって読み取られ、読み取られた自由描画領域１００の画像がＲＡＭ６０に格納される。
ステップＳ２１０では、制御部５８は自由描画領域１００の画像から手書き文字等の対象物の領域を分割する。具体的には、制御部５８は自由描画領域１００の画像に透明度を示すチャネル（アルファチャネル）を追加し、背景画像の領域を透明に設定する。

図１６は対象物領域の分割処理の流れを示すフローチャートである。
制御部５８は自由描画領域１００の全画素について以下の処理を繰り返す（ステップＳ４００）。
ステップＳ４０２では、制御部５８は、注目画素のＢ及びＧチャネルの値が背景画像の色域テーブルに注目画素のＲチャネルの値と対応付けて記憶されているＢ及びＧチャネルの値の範囲内であるか否かを判定する。すなわち、制御部５８は、注目画素のＲチャネルの値に対応付けて記憶されているＧチャネルの最大値が注目画素のＧチャネルの値以上で、かつ、注目画素のＲチャネルの値に対応付けて記憶されているＧチャネルの最小値が注目画素のＧチャネルの値以下で、かつ、注目画素のＲチャネルの値に対応付けて記憶されているＢチャネルの最大値が注目画素のＢチャネルの値以上で、かつ、注目画素のＲチャネルの値に対応付けて記憶されているＢチャネルの最小値が注目画素のＢチャネルの値以下であるかを判定する。

注目画素のＢ及びＧチャネルの値が背景画像の色域テーブルに注目画素のＲチャネルの値と対応付けて記憶されているＢ及びＧチャネルの値の範囲内である場合、注目画素の色値は背景画像の色域内であるため、制御部５８は注目画素を透明画素に設定する（ステップＳ４０４）。すなわち、注目画素のアルファチャネルは透明を示す値に設定される。
以上の処理が自由描画領域１００の全画素について終了すると、手書き文字等の対象物の領域は自由描画領域１００を読み取った値に設定され、背景画像の領域は透明に設定され、図１７に示すように、自由描画領域１００の画像１４０から手書き文字等の対象物の画像１４２が生成される。

ステップＳ２１２では、制御部５８はユーザ画像に対象物の領域を重畳合成する。具体的には、制御部５８は対象物の画像１４２のアルファチャネルを用いて対象物の画像１４２の色値とユーザ画像１４６の色値とをＲＧＢのチャネル毎に加算することによって合成画像１４４を形成する。
ステップＳ２１４では、複合機１はユーザ画像に対象物の領域が重畳された合成画像１４４を印刷する。具体的には、制御部５８及びプリントユニット８６は上述した図９に示す処理を実行し、合成画像１４４を印刷する。このとき、プリントユニット８６は通常モードで作動し、大中小のインク滴を噴射して用紙に合成画像を形成する。
以上説明した一連の処理が終了すると、オーダシートに記録した手書き文字等の対象物が、ディジタルカメラ等で生成されリムーバブルメモリ２０に格納されていたユーザ画像に合成された印刷物が複合機１によって作成される。

本発明の一実施例にかかる平面図。本発明の一実施例にかかる斜視図。本発明の一実施例にかかるブロック図。本発明の一実施例にかかるフローチャート。本発明の一実施例にかかる模式図。本発明の一実施例にかかるヒストグラム。本発明の一実施例にかかる模式図。本発明の一実施例にかかる模式図。本発明の一実施例にかかるフローチャート。本発明の一実施例にかかるグラフ。本発明の一実施例にかかる模式図。本発明の一実施例にかかる模式図。本発明の一実施例にかかるフローチャート。本発明の一実施例にかかる模式図。本発明の一実施例にかかるフローチャート。本発明の一実施例にかかるフローチャート。本発明の一実施例にかかる模式図。

符号の説明

１：複合機（画像形成システム）、２０：リムーバブルメモリ（記録媒体）、５０：スキャンユニット、７０：外部メモリコントローラ（アクセスユニット）、８６：プリントユニット、９６：標本パッチ、１００：自由描画領域、１２６：手書き文字（対象物）、１４０：自由描画領域の画像、１４２：対象物の画像、１４４：合成画像、１４６：ユーザ画像

Claims

用紙に画像を形成するプリントユニットと、
原稿を読み取るスキャンユニットと、
記録媒体に格納されているユーザ画像にアクセスするアクセスユニットと、
前記ユーザ画像の色域を減縮し多階調の背景画像を形成する減色処理ユニットと、
自由描画領域に前記背景画像が形成されたオーダシートを前記プリントユニットに作成させるオーダシート印刷制御ユニットと、
前記スキャンユニットに読み取られた前記自由描画領域の画像からユーザが前記自由描画領域に記録した対象物の領域を、前記背景画像の色域を基準に用いて分割し、前記ユーザ画像に前記対象物の領域を重畳して合成画像を形成する合成ユニットと、
前記合成画像を前記プリントユニットに印刷させる合成印刷制御ユニットと、
を備えることを特徴とする画像形成システム。
前記減色処理ユニットは、前記ユーザ画像が淡色化された前記背景画像を形成することを特徴とする請求項１に記載の画像形成システム。
前記オーダシート印刷制御ユニットは、前記背景画像の色域に色域が一致する標本パッチを前記オーダシートに印刷し、
前記合成ユニットは、前記スキャンユニットに読み取られた前記標本パッチの画像の色域に色値が含まれない前記自由描画領域内の領域を前記対象物の領域と判定することを特徴とする請求項１又は２に記載の画像形成装置。