JP4645485B2

JP4645485B2 - 画像形成システム及び画像形成方法

Info

Publication number: JP4645485B2
Application number: JP2006062304A
Authority: JP
Inventors: 陽一郎牧; 和美山田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-03-08
Filing date: 2006-03-08
Publication date: 2011-03-09
Anticipated expiration: 2026-03-08
Also published as: JP2007243529A

Description

本発明は画像形成システムに関し、特に手書き要素と他の画像とを合成する技術に関する。

従来、記録媒体に記録されている画像と専用の用紙に記録された手書き要素とを合成して印刷する機能を有する画像形成システムが知られている（例えば特許文献１参照）。このような画像形成システムは、手書き要素が記録された用紙の読み取り機能と、用紙から読み取られた画像データから手書き要素の領域を記録媒体に格納されている画像データに重畳して合成画像データを形成する合成機能とを有する。

特開２００５−２４４７３６号公報

本発明は、読み取られた手書き要素と他の画像が合成されると得られる合成画像をユーザが正確に認識しながらその手書き要素を用紙に記録することができ、また、手書き要素を記録するための用紙のレイアウトの自由度を高めることができる、画像形成システム及び画像形成方法を提供することを目的とする。

（１）上記問題を解決するための画像形成システムは、ユーザ画像データを取得するユーザ画像取得ユニットと、前記ユーザ画像データの色域を３次元色空間内の第一境界面以上に淡い色域内に減縮することにより背景画像データを生成し、前記背景画像データに基づいて背景画像が描画領域に印刷され、前記第一境界面を基準に定められたパッチ色データに基づいてカラーパッチが標本領域に印刷されたオーダシートをプリントユニットに作成させるオーダシート印刷制御ユニットと、前記オーダシートの前記標本領域をスキャンユニットに読み取らせることによりパッチ画像データを取得し、前記オーダーシートの前記描画領域を前記スキャンユニットに読み取らせることにより描画領域画像データを取得するスキャン制御ユニットと、前記パッチ画像データに基づいて３次元色空間内の第二境界面を設定し、前記第二境界面より濃い色域内の色が表されている前記描画領域画像データの領域を前記ユーザ画像に重畳することにより合成画像データを形成する合成ユニットと、前記合成画像データに基づいて合成画像を前記プリントユニットに印刷させる合成印刷制御ユニットと、を備える。

この画像形成システムによると、ユーザが手書き要素を記録し手書き要素をスキャンユニットに読み取らせるための用紙であるオーダシートの描画領域に、手書き要素と合成されるユーザ画像データに基づいて背景画像が印刷される。手書き要素が背景画像に上書きされている描画領域からは、手書き要素の領域を含む描画領域画像データが読み取られる。この描画領域画像データから手書き要素の領域が分割され、手書き要素の領域だけがユーザ画像データに重畳されると、ユーザ画像データに基づいて印刷されたユーザ画像の上に直接手書き要素を上書きしたような合成画像を印刷するための合成画像データが形成される。描画領域画像データから手書き要素の領域を分割するためには、手書き要素の領域の色域と背景画像の領域の色域が分かれていなければならない。また手書き要素は、合成画像において識別可能である必要があるから、一般に濃い色で描かれる。そこでこの画像形成システムでは、背景画像を淡く印刷するため、ユーザ画像データの色域を第一境界面以上に淡い色域に減縮することにより背景画像データを生成する。背景画像データに基づいて背景画像が印刷されている描画領域にユーザは手書き要素を記録することができるため、ユーザは先に選択したユーザ画像データと手書き要素とがどのように合成されるのかを正確に認識しながら手書き要素をオーダシートに記録することができる。

ところで、用紙の地色や色変換誤差によって生じるプリントユニットからスキャンユニットへの色伝達誤差が存在するため、背景画像データの色そのものが背景画像の色として読み取られるわけではない。すなわち、背景画像データの色域が予め決められた第一境界面以上に淡いとしても、スキャンユニットに読み取られた描画領域画像データの背景画像の領域の色域が第一境界面以上に淡い保障はない。したがって、描画領域画像データの第一境界面以上に濃い色の領域を手書き要素の領域とみなして領域分割をすると、手書き要素として分割される領域に背景画像の領域が含まれるおそれがある。もちろん、背景画像に手書き要素がどのように上書きされるかを予測することは不可能であるから、背景画像が印刷されている描画領域から読み取った色に基づいて第一境界面がどのようにずれているかを特定することもできない。そこでこの画像形成システムでは、第一境界面を基準に定められた色を表すパッチ色データに基づいてカラーパッチを背景画像と共に背景画像とは別の領域（標本領域）に印刷し、カラーパッチからパッチ画像データを読み取る。これにより、プリントユニットで印刷されてスキャンユニットで読み取られるまでの過程で第一境界面がどれだけずれたかを特定できるため、どの境界面よりも濃い色域の色として読み取られている領域を手書き要素の領域として描画領域画像データから分割すればよいかを特定できる。すなわち、領域分割のために用いられる第二境界面を、カラーパッチから読み取ったパッチ画像データに基づいて設定できる。

また、プリントユニットで印刷してからスキャンユニットで読み取るまでの過程において、背景画像データの色域を完全に伝達するためには、原則として、第一境界面以上に淡い色域内の全ての色を表すパッチ色データに基づいて多数のカラーパッチを背景画像と共に印刷しなければならない。１つのパッチ色データに基づいて印刷されるカラーパッチは、カラーパッチ内で色のばらつきが生じるため、ある程度の面積を持たなければならない。したがって、手書き要素を記録するための用紙であるオーダーシートにカラーパッチ１つあたりが占める面積をそれほど小さくできないために、第一境界面以上に淡い色域内の全ての色に対応する多数のカラーパッチを印刷するとすれば、カラーパッチだけでオーダーシートの大部分の面積が占められる。しかし、この画像形成システムでは、第一境界面を基準にパッチ色データが定められているため、カラーパッチがオーダシートに占める面積割合を低減することができる。その結果、背景画像データの色域がある程度広くても、すなわち背景画像データがカラー画像データであっても、手書き要素の領域を描画領域画像データから分割するために必須のカラーパッチをオーダシートに印刷できるようになる。すなわち、第一境界面を基準にパッチ色データを定めることによって、背景画像をカラー印刷することが現実的になる。

第一境界面を基準にパッチ色データを定めることにより、領域分割に必要なカラーパッチの数を低減できる理由をより具体的に説明すると次の通りである。プリントユニットでは、印刷対象の画像データの色空間（例えばｓＲＧＢ）を３次元色変換テーブルや行列を用いてインクの色空間（例えばＣＭＹＫ）に変換する。この変換において、入力と出力の関係は一般に単調増加である。またスキャンユニットでは、イメージセンサの出力信号に対してガンマ変換などを施して画像データの色を出力する。この変換においても、入力と出力の関係は一般に単調増加である。したがって、プリントユニットで印刷してからスキャンユニットで読み取るまでの過程において、印刷対象の画像データの濃淡と読み取られた画像データの濃淡の関係は一般に単調増加になる。つまり、プリントユニットで印刷してからスキャンユニットで読み取るまでの過程において、濃淡の異なる２つの色の濃淡の関係が逆転することは一般にはない。したがって、第一境界面を基準に定めた少なくとも１つの色に対応するカラーパッチを印刷すれば、そのカラーパッチを読み取ることによって得られるパッチ画像データに基づいて、描画領域画像データから手書き要素の領域を分割するための第二境界面を適正に設定することができる。すなわち、この画像形成システムによると、第一境界面以上に淡い色域内の全ての色に対応するカラーパッチを印刷しなくても、描画領域画像データから手書き要素の領域を分割できるため、印刷しなければならないカラーパッチの数を低減することができ、その結果、オーダシートのレイアウトの自由度を高めることができる。

（２）上記目的を達成するための画像形成システムにおいて、前記第一境界面及び前記第二境界面はいずれも６面体の１頂点を共有する３つの側面で構成される面であってもよい。
この画像形成システムによると、第一境界面が単純な構成であるため、それに対応する第二境界面をパッチ画像データの色に基づいて設定する処理が簡素になり高速化される。

（３）上記目的を達成するための画像形成システムにおいて、前記パッチ色データは、３つの前記側面が共有する１頂点の色を表してもよい。
この画像形成システムによると、背景画像の色域内で最も濃い１個のカラーパッチを印刷するだけで第二境界面を設定することも可能である。

（４）上記目的を達成するための画像形成システムにおいて、前記パッチ色データは、３つの前記側面の各頂点の色を表してもよい。
この画像形成システムによると、７個のカラーパッチを印刷するだけで第二境界面を設定することも可能である。

（５）上記目的を達成するための画像形成システムにおいて、前記パッチ色データは、前記側面の中央部に含まれる色を表してもよい。
この画像形成システムによると、プリントユニットで印刷してからスキャンユニットで読み取るまでの過程において、印刷対象の画像データの濃淡と読み取られた画像データの濃淡の関係が色の極端なねじれによって局所的に単調増加になっていないような場合であっても、適正な第二境界面を設定することができる。

（６）上記目的を達成するための画像形成方法は、ユーザ画像データを取得し、前記ユーザ画像データの色域を第一境界面以上に淡い色域内に減縮することにより背景画像データを生成し、前記背景画像データに基づいて背景画像が描画領域に印刷され、前記第一境界面を基準に定められたパッチ色データに基づいてカラーパッチが標本領域に印刷されたオーダシートをプリントユニットに作成させ、前記オーダーシートの前記標本領域をスキャンユニットに読み取らせることによりパッチ画像データを取得し、前記オーダーシートの前記描画領域を前記スキャンユニットに読み取らせることにより描画領域画像データを取得し、前記パッチ画像データに基づいて色空間内の第二境界面を設定し、前記第二境界面より濃い色域内の色が表されている前記描画領域画像データの領域を前記ユーザ画像データに重畳することにより合成画像データを形成し、前記合成画像データに基づいて合成画像を前記プリントユニットに印刷させる、ことを含む。
この画像形成方法によると、読み取られた手書き要素と他の画像が合成されると得られる合成画像をユーザが正確に認識しながらその手書き要素を用紙に記録することができ、また、その用紙のレイアウトの自由度を高めることができる。

尚、上記の各発明は装置及び方法の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても特定することができる。

以下、図面を参照しながら本発明の実施の形態を説明する。
１．画像形成システムの構成
図２は、本発明による画像形成システムの一実施形態としてのＭＰＦ（Multi Function Printer）１の外観を示す図である。図３は、ＭＰＦ１のハードウェア構成を示すブロック図である。ＭＰＦ１は、リムーバブルメモリ２０や図示しないＰＣ（Personal Computer）や携帯型電話機やＰＤＡから入力される画像データに基づいて画像を印刷する機能と、複写機能とを有する。尚、画像形成システムは、画像の読み取り機能を有するスキャナと、印刷機能を有するプリンタと、スキャナとプリンタの制御機能を有するＰＣとで構成してもよい。

スキャンユニット５０は、主に上部ケース１４に収容され、照明部５２、イメージセンサ５４、ＡＦＥ（Analog Front End）部５６、センサ駆動部７４、センサキャリッジ駆動部７６等を備える。センサ駆動部７４に駆動されるイメージセンサ５４は、ＲＧＢの３チャネルの光電素子群を備えるカラーＣＣＤリニアイメージセンサ等のリニアイメージセンサである。イメージセンサ５４は、透明な原稿台１２と平行に移動する図示しないセンサキャリッジに搭載されている。イメージセンサ５４は、照明部５２によって照明され図示しないレンズ及びミラーにより受光面に結像される原稿の光学像の濃淡に相関する電気信号を出力する。センサキャリッジ駆動部７６は、主走査方向に垂直に架設された図示しないガイドロッドに沿ってセンサキャリッジを往復移動させる。イメージセンサ５４が主走査方向と垂直な方向に移動することにより二次元画像を読み取り可能となる。ＡＦＥ部５６は、増幅、ノイズ除去等のアナログ信号処理回路、Ａ／Ｄ変換器等を備える。

プリントユニット８６は、主に下部ケース１６に収容され、インクジェット方式で用紙に画像を形成するための印字ヘッド８４、ヘッドキャリッジ駆動部７８、送紙部８０、これらを制御する印刷制御部８２等を備える。尚、プリントユニット８６はレーザ方式等の他の印刷方式に対応する構成でもよい。印字ヘッド８４は、インクカートリッジが搭載される図示しないヘッドキャリッジに設けられ、ノズル、ピエゾ素子、ピエゾ素子に印加する駆動信号を出力するピエゾ駆動回路等を備える。ピエゾ駆動回路はピエゾ素子に印加する駆動信号の波形によって、ノズルから噴射されるインク滴を大中小の３段階に制御することができる。ピエゾ駆動回路は、印刷制御部８２から出力される制御信号に応じて所定の波形の駆動信号をピエゾ素子に印加する。ヘッドキャリッジ駆動部７８は、図示しないモータ、駆動ベルト、モータ駆動回路等を備える。ヘッドキャリッジ駆動部７８は、用紙の搬送方向と垂直に印字ヘッド８４を往復移動させる。送紙部８０は、図示しない用紙搬送ローラ、モータ、モータ駆動回路等を備える。送紙部８０は、用紙搬送ローラを回転させることにより用紙を印字ヘッド８４の移動方向軸線と垂直な方向に搬送する。印刷制御部８２は、ＲＡＭ６０から順次印字データが転送されるバッファメモリと、バッファメモリに格納された印字データを印字ヘッド８４に出力するタイミングをヘッドキャリッジの位置に応じて制御する機能と、ヘッドキャリッジ駆動部７８を制御する機能と、送紙部８０を制御する機能とを備えるＡＳＩＣである。

外部メモリコントローラ７０は、カードスロット１８から挿入されたリムーバブルメモリ２０に接続される。リムーバブルメモリ２０に格納されたデータは外部メモリコントローラ７０によって読み出され、ＲＡＭ６０に転送される。
通信部６９は、制御部５８がＰＣ、携帯型電話端末、ＰＤＡ等の外部のシステムと通信するための通信インタフェースである。通信部６９は、ＬＡＮ、インターネット、ＵＳＢ等を通じて外部のシステムと通信する。

操作部６８は、メニューを表示するための表示パネル２４と、メニューを操作するための十字ボタン２２、ＯＫボタン２８、キャンセルボタン２１、印刷指示ボタン３０、テンキー２６等の各種の押しボタンを備える。尚、操作部６８をタッチパネル、ポインティングデバイス等で構成してもよい。

制御部５８は、ＲＡＭ６０、ＲＯＭ６２及びＣＰＵ６４を備える。ＣＰＵ６４はＲＯＭ６２に格納されている制御プログラムを実行してＭＰＦ１の各部を制御する。ＲＯＭ６２は、制御プログラムを格納している不揮発性メモリである。ＲＡＭ６０は、外部メモリコントローラ７０、通信部６９又はスキャンユニット５０から制御部５８が取得する画像データや制御プログラムが一時的に格納される揮発性メモリである。制御プログラムは遠隔地のサーバからネットワークを経由してＲＯＭ６２に格納してもよいし、リムーバブルメモリ２０等のコンピュータ読み取り可能な記録媒体を経由してＲＯＭ６２に格納してもよい。制御部５８は制御プログラムを実行することにより、ユーザ画像取得ユニット、オーダシート印刷制御ユニット、合成ユニット及び合成印刷制御ユニットとして機能する。

ディジタル画像処理部６６は、ＪＥＰＧ画像データのデコード、解像度変換、アンシャープ処理、階調補正、二値化、分版処理等の画像処理をＣＰＵ６４と協働して実行するＤＳＰ等の専用回路である。
以上、ＭＰＦ１のハードウェア構成について説明した。次にユーザ画像データに手書き要素を合成する一連の処理の概要について説明する。

図１は、ユーザ画像データに手書き要素を合成する一連の処理に関わる画像データと印刷された画像との関係を示す模式図である。
ユーザに選択されたユーザ画像データ２０２は、淡色化されることによって背景画像データ２０４に変換される。オーダシートを印刷するためのテンプレート２００が定める描画領域１００に背景画像データを割り付けて印刷するとオーダシート２０６が作成される。オーダシート２０６には背景画像１０１とカラーパッチ９６が印刷されている。カラーパッチ９６はテンプレート２００で定められているパッチ色データ９９に基づいて印刷される。ユーザはオーダシート２０６を取得すると、背景画像１０１の上に手書き要素（図では「Ｈｅｌｌｏ」という手書き文字が手書き要素として例示されている。）を記録する。手書き要素が記録されたオーダシートから描画領域画像データ２１０とパッチ画像データ２１２とが読み取られる。パッチ画像データ２１２に基づいて描画領域画像データ２１０から手書き要素の領域が分割される。具体的には、手書き要素の領域では手書き要素の領域の画素値を優先し、それ以外の領域ではユーザ画像データの画素値を優先するαチャネル２１４が描画領域画像データ２１０について形成される。αチャネル２１４を用いてユーザ画像データ２０２と描画領域画像データ２１０とが合成されると、描画領域画像データ２１０の手書き要素の領域のみがユーザ画像データ２０２の上に重畳された合成画像データ２１８が形成される。

３．オーダシートの印刷処理
図４はオーダシートの印刷処理の流れを示すフローチャートである。図４に示す処理は、モード選択メニューでオーダシート印刷モードが選択されると開始され、制御部５８がＲＯＭ６２に格納された制御プログラムの所定のモジュールを実行することにより実行される。

はじめに制御部５８は合成対象のユーザ画像データを設定する（ステップＳ１００）。具体的には例えば、制御部５８は、リムーバブルメモリ２０に格納されたユーザ画像データをＬＣＤ２４に表示し、十字ボタン２２、ＯＫボタン２８等の操作によるユーザ画像データの選択指示を受け付けると、選択指示に応じたユーザ画像データを合成対象として設定する。選択されたユーザ画像データは、制御部５８によって取得され、ＲＡＭ６０に格納される。

背景画像データの元になるユーザ画像データは、文字等の手書き要素と合成される最高解像度の画像データでもよいし、サムネイル画像データでもよい。サムネイル画像データに基づいて背景画像データを形成することにより、処理時間を短縮することができる。ＪＰＥＧフォーマット等のユーザ画像データはデコードされるとＲＧＢの３つのカラーチャネルを有する。ユーザ画像データの最大色域は、各チャネルの階調値が１バイトで構成されると、１６７７７２１６色（２５６ラ２５６ラ２５６）である。ユーザ画像データの色域がＲＧＢ色空間の全体に拡がっている場合、印刷されたユーザ画像の上にカラーペンなどで書き込まれた手書き要素の領域を光学的に認識することは極めて困難である。ユーザ画像の色域と手書き要素の領域の色域が重なっていない場合、特定の色域内の画素を手書き要素の領域の画素と判定することができる。ユーザ画像の上に書き込むことのできる文字などの手書き要素の色域の範囲を広げるためには、すなわち、ユーザが利用可能な色を多くするためには、手書き要素の下に印刷されているユーザ画像の色域を狭くしなければならない。

図５はユーザ画像データの最大色域と背景画像データの最大色域を示す模式図である。ユーザ画像データが表す対象物は任意であるためユーザ画像データの最大色域はフルカラー（例えば１６７７７２１６色）の色域である。図５において背景画像データの色域はハッチングが付された領域である。

ステップＳ１０２では、制御部５８はユーザ画像データから背景画像データを生成する。制御部５８はユーザ画像データの色域を例えばＲ≧２００、Ｇ≧２００、Ｂ≧２００の淡い色域に減縮することにより、背景画像データを生成する。この場合、制御部５８は、Ｒ＝２００、Ｒ＝２５５、Ｇ＝２００、Ｇ＝２５５、Ｂ＝２００、Ｂ＝２５５の６個の平面によって囲まれる色域内にユーザ画像データの色域を減縮することになる。すなわち、減縮後の色域は６面体となるため、制御部５８はこの６面体のグレー軸上の頂点（Ｒ＝Ｇ＝Ｂ＝２００）を共有する３つの側面（Ｒ＝２００、Ｇ＝２００、Ｂ＝２００）で構成される境界面（この境界面を第一境界面という。）以上に淡い領域にユーザ画像データの色域を減縮する。このように第一境界面を６面体の１つの頂点で交わる３つの側面で構成される面とすることにより、後述する描画領域画像データ及びパッチ画像データの色域の境界面（この境界面を第二境界面という。）も、ほぼ、６面体の１つの頂点で交わる３つの平面で構成される面となる。その結果、描画領域画像データから手書き要素の領域を分割するために用いる第二境界面をパッチ画像データに基づいて設定する処理が簡素になり高速になる。

色域の減縮は、ユーザ画像データのＲチャネル、Ｇチャネル及びＢチャネルの階調レベルをそれぞれ、Ｒ_in、Ｇ_in、Ｂ_inとし、背景画像データのＲチャネル、Ｇチャネル及びＢチャネルの階調レベルをそれぞれ、Ｒ_out、Ｇ_out、Ｂ_outとすると、次式の線形変換となる。
Ｒ_out＝５５／２５５×Ｒ_in＋２００
Ｇ_out＝５５／２５５×Ｇ_in＋２００
Ｂ_out＝５５／２５５×Ｂ_in＋２００

ところで、第一境界面をどのように設定するか、すなわちどのような色域にユーザ画像の色域を減縮するかは任意に設定可能である。例えば、第一境界面を構成する３つの平面の方程式の定数はどのように設定することもできるし、第一境界面は必ずしも平面の組み合わせからなる面でなくてもよい。

制御部５８は、背景画像データを形成すると、オーダシートを印刷するためのテンプレートに背景画像データを割り付けてオーダシート画像データを形成する（ステップＳ１０４）。
図６はオーダシートを印刷するためのテンプレート（以下、オーダシートを印刷するためのテンプレートを単にテンプレートという。）の構成要素を説明するための平面図である。すなわち、図６は描画領域１００及び補助画像領域１０２に何も印刷されていないオーダシートの平面図である。テンプレートの画像データはカラーパッチ９６などの構成要素の描画命令の組み合わせとしてＲＯＭ６２に格納してもよいし、全体として１つの画像データとしてＲＯＭ６２に格納してもよい。位置基準マーク９０、９８は、原稿台１２に載置されたオーダシートの位置及び傾きを制御部５８に認識させるためのマークである。ブロックコード９２は、オーダシートの種類を制御部５８に認識させるためのマークである。複数のチェックサークル９４は印刷部数、手書き文字とユーザ画像の境界処理条件等の合成印刷条件を制御部５８に認識させるために塗りつぶす位置をユーザに示すマークである。十字マーク１０６、１０８、１１０、１１２は描画領域１００を制御部５８に認識させるためのマークである。十字マーク１０６、１０８、１１０、１１２は描画領域１００の近傍に配置されている。

カラーパッチ９６は、標本領域９７に１つ以上印刷される。各カラーパッチ９６は、単色のパッチ色データに基づいて印刷される。テンプレートの画像データが全体として１つの画像データで構成される場合、各カラーパッチ９６に対応する領域の画素値（Ｒ、Ｇ、Ｂ）がパッチ色データに相当する。テンプレートの画像データが構成要素の割り付け命令の組み合わせとして構成される場合、各カラーパッチ９６を印刷するための描画命令の引数であるＲＧＢの３チャネルの階調レベルの組み合わせがパッチ色データに相当する。

テンプレートには描画領域１００に背景画像データを割り付ける描画命令と、ユーザ画像データをそのままの階調特性で補助画像領域１０２に割り付ける描画命令が含まれている。背景画像データは向かい合う頂点の座標などがＲＯＭ６２に記録されている矩形の描画領域１００に所定の割り付け規則に従って割り付けられる。例えば、背景画像データの対角線の交点と描画領域１００の対角線の交点が一致し、描画領域１００に余白がなく、かつ描画領域１００の二辺と背景画像データの二辺が重なる割り付け規則に従って描画領域１００に背景画像データが割り付けられる。補助画像領域１０２は、向かい合う頂点の座標がＲＯＭ６２に記憶されており、ユーザ画像データがそのままの階調特性で割り付けられる。補助画像領域１０２に割り付けられるユーザ画像データは取得しうる最高解像度の画像データでもよいし、最高解像度の画像データに添付されているサムネイル画像データでもよい。描画領域１００に背景画像データが割り付けられ、補助画像領域１０２にユーザ画像データが割り付けられると、オーダシート画像データが形成される。

ステップＳ１１２では、制御部５８はオーダシート画像データに基づいてプリントユニット８６に印刷を実行させることにより、プリントユニット８６にオーダシートを作成させる。図７はオーダシート画像データに基づいて作成されるオーダシートの一例を示す平面図である。オーダシートの描画領域１００には、背景画像データに基づいて背景画像１０１が印刷される。オーダシートの補助画像領域１０２にはユーザ画像データに基づいて補助画像９５が印刷される。補助画像９５を見ることによってユーザはユーザ画像データの内容をより正確に確認することができる。

３．パッチ色データ
次に図５に基づいてパッチ色データを詳細に説明する。本実施形態では、パッチ色データは、それが表す色が第一境界面上に位置するように設定される。ただし、パッチ色データが表す色は、第一境界面を基準に定められる色であればよく、必ずしも第一境界面上に位置するものでなくともよい。パッチ色データが表す色が第一境界面を基準に定められる色である限り、パッチ色データに基づいてカラーパッチ９６を印刷し、カラーパッチ９６からパッチ画像データを読み取ると、読み取ったパッチ画像データに基づいて、描画領域画像データから手書き要素の領域を分割するために用いる第二境界面を設定することができる。なぜならば、第一境界面とパッチ色データが表す色との位置関係と、第二境界面とパッチ画像データが表す色との位置関係とには、プリントユニット８６への入力からスキャンユニット５０の出力までの色伝達特性によって決まる相関関係があるからである。ただし、パッチ色データが表す色は第一境界面の近傍に位置することが望ましい。

パッチ色データは、グレー軸と第一境界面との交点に相当する第一境界面の頂点１３６に位置する色を表すものが少なくとも１つあることが望ましい。なぜならば、本実施形態のように第一境界面がＲ＝０、Ｇ＝０、Ｂ＝０の３つの平面にそれぞれ平行な３つの面で構成されている場合には、グレー軸と第一境界面との交点は、背景画像データの色域のうち最も濃い色の位置になるからである。例えば、グレー軸と第一境界面との交点に相当する第一境界面の頂点１３６に位置する色を表すパッチ色データが唯一のパッチ色データである場合、そのパッチ色データに基づいてカラーパッチ９６を印刷し、カラーパッチ９６からパッチ画像データを読み取ると、読み取ったパッチ画像データが表す色を含み、Ｒ＝０、Ｇ＝０、Ｂ＝０の３つの平面にそれぞれ平行な３つの面に対応する第二境界面を設定することができる。このようにグレー軸と第一境界面との交点に相当する第一境界面の頂点１３６に対応するカラーパッチ９６のみをオーダシートにレイアウトする場合、カラーパッチ９６の面積がオーダシート全体の面積に対して占める割合を非常に小さくできるため、オーダシートのレイアウトの自由度が増加する。例えば、描画領域１００の面積を大きく取るレイアウトが可能になる。

第一境界面の各頂点（すなわち背景画像データの色域を構成する６面体の頂点のうちの７個の頂点）１３５、１３６、１３７、１３８、１３９、１４０、１４３に位置する色を表すパッチ色データに基づいて２以上のカラーパッチ９６を印刷することが望ましい。なぜならば、プリントユニット８６への入力からスキャンユニット５０の出力までの色伝達特性が非線形である場合には、第一境界面はプリントユニット８６へ入力されてからスキャンユニット５０から出力されるまでにＲ＝０、Ｇ＝０、Ｂ＝０に平行でない３つの平面で構成される面に変わることがあるからである。この場合、背景画像データの色域を構成する６面体の７個の頂点がプリントユニット８６へ入力されてからスキャンユニット５０から出力されるまでにどのように移動したかを、対応するパッチ画像データに基づいて特定すれば、適正な第二境界面を設定することができる。

プリントユニット８６への入力からスキャンユニット５０の出力までの色伝達特性が非線形であって、第一境界面がプリントユニット８６へ入力されてからスキャンユニット５０から出力されるまでにＲ＝０、Ｇ＝０、Ｂ＝０に平行でない３つの曲面（これらの面は平面ではないが平面的である。）で構成される複雑な形状の面に変わる場合には、背景画像データの色域を構成する６面体の３つの側面のそれぞれの中央部に位置する色を表すパッチ色データに基づいてさらに多くのカラーパッチ９６を印刷することが望ましい。背景画像データの色域を構成する６面体の３つの側面のそれぞれの中央部に位置する色は、図５において符号１３０、１３２、１３４で示されている。また、この場合には、第一境界面を構成する７個の辺の各中央部に位置する色を表すパッチ色データに基づいて、さらに多くのカラーパッチ９６を印刷することが望ましい。第一境界面を構成する７個の辺の各中央部に位置する色は、図５において符号１４２で示されている。

プリントユニット８６への入力からスキャンユニット５０による出力までの色伝達特性が非線形であって、第一境界面がプリントユニット８６へ入力されてからスキャンユニット５０から出力されるまでにＲ＝０、Ｇ＝０、Ｂ＝０に平行でない３つの曲面（これらの面は平面ではないが平面的である。）で構成される複雑な形状の面に変わる場合には、第一境界面に完全に対応する第二境界面を設定するには相当複雑な処理が必要となる。そこで、本実施形態では、後述するようにＲ＝０、Ｇ＝０、Ｂ＝０の３平面で構成される面に第二境界面が設定される。

以上、パッチ色データについて説明したが、標本領域９７に印刷するカラーパッチ９６の数は１以上であれば特に制限はない。本実施形態では、第一境界面を基準にしてパッチ色データを設定するため、背景画像データの色域内に満遍なくパッチ色データが表す色を設定する必要がない。したがって、本実施形態によると、標本領域９７に印刷するカラーパッチ９６の数を低減することができ、その結果、オーダシート全体に対して標本領域９７が占める割合を低減することができ、逆にオーダシート全体に対して描画領域１００が占める割合を増大させることができる。

４．オーダシートへの手書き要素の記録
図８は手書き要素が記録されたオーダシートの一例を示す平面図である。オーダシートには描画領域１００に手書き要素を記録するようにユーザを案内するための図示しない文字や図形が印刷される。ユーザはこの案内に従って描画領域１００に手書き要素を記録する。すなわち、ユーザは背景画像１０１に文字などの手書き要素を上書きする。図７では手書き要素として「Ｈｅｌｌｏ」という手書き文字を例示しているが、手書き要素は手書きの図形でもよい。また、雑誌の切り抜きやシールなどを描画領域１００に貼付すれば、ユーザ画像データに基づいて印刷されたユーザ画像の上に直接雑誌の切り抜きやシールを貼付したような合成画像が印刷される。また、オーダシート自体を印刷用紙とし、描画領域１００に文字や記号や画像や図形を手書き要素として印刷してもよい。本明細書では、雑誌の切り抜きやシールや印刷された文字や記号や図形を含めて、背景画像の上に記録される対象物を手書き要素というものとする。

ユーザが描画領域１００に手書き要素を記録するとき、描画領域１００にはユーザ画像データに基づいて印刷されるユーザ画像と線要素の構成が等しい背景画像１０１が淡く印刷されているため、ユーザは先に選択したユーザ画像データと手書き要素とがどのように合成されるのかを正確に認識しながら手書き要素をオーダシートに記録することができる。特に、ユーザ画像データがエッジの少ない画像データである場合であっても、本実施形態ではカラーで背景画像が印刷されるため、ユーザは先に選択したユーザ画像データと手書き要素とがどのように合成されるのかを正確に認識しながら手書き要素をオーダシートに記録することができる。

５．ユーザ画像データと手書き要素との合成
図９は、ＭＰＦ１がオーダシートを読み取り、オーダシートに記録された手書き要素とユーザ画像データとを合成して印刷する処理の流れを示すフローチャートである。図９に示す処理は、手書き要素を記録したオーダシートをＭＰＦ１の原稿台１２に載置した状態で操作部６８を用いた所定の操作によりオーダシートの読み取りをＭＰＦ１に指示することによって開始される。

ステップＳ２００では、スキャンユニット５０は制御部５８の制御下でオーダシートを二値で読み取る。具体的には、原稿台１２に載置されたオーダシートの全体から画像データがスキャンユニット５０によって読み取られ、読み取られた画像データがＲＡＭ６０に格納される。制御部５８はＲＡＭ６０に格納された画像データを所定のしきい値（例えば１２８／２５６）で二値化する。

ステップＳ２０２では、制御部５８は二値化されたオーダシートの全体を表す画像データをＯＭＲ（Optical Mark Recognition）処理することにより、塗りつぶされたチェックサークル９４に応じた印刷条件を設定する。このとき、位置基準マーク９０、９８の位置を基準にしてオーダシート上に印刷されている画像部品（カラーパッチ、チェックサークル、十字マーク等）の位置が比較的低い精度で認識され、十字マーク１０６、１０８、１１０、１１２の位置に基づいて描画領域１００が高い精度で認識される。

ステップＳ２０４では、ＭＰＦ１はカラーパッチ９６からパッチ画像データを読み取る。具体的には、標本領域９７からカラーパッチ９６を表す標本領域画像データがスキャンユニット５０によって読み取られ、標本領域画像データがＲＡＭ６０に格納される。標本領域画像データには、１つのカラーパッチを表すパッチ画像データが標本領域画像データの部分領域として少なくとも１つ含まれる。

第一境界面は、プリントユニット８６に入力されてからスキャンユニット５０から出力されるまでの色伝達特性に応じて、第一境界面とは異なる第二境界面に変換されるために、第一境界面を基準に用いても手書き要素の領域を描画領域画像データから正確に分割することはできない。
そこでステップＳ２０６において、制御部５８はパッチ画像データに基づいて第二境界面を設定する。

図１０はパッチ色データが表す色がプリントユニット８６に入力されてからスキャンユニット５０から出力されるまでにどのように伝達されるかを説明するための模式図である。図１０においては、図５に示された色に対応する符号を、その色がプリントユニット８６に入力されスキャンユニット５０から出力されることによって制御部５８に取得される色に付している。例えば、図５において（Ｒ、Ｇ、Ｂ）＝（２００、２００、２００）に付された符号１３６を、（Ｒ、Ｇ、Ｂ）＝（２００、２００、２００）がプリントユニット８６に入力されスキャンユニット５０から出力されることによって制御部５８が取得する色に付している。また図１０においては、第二境界面より淡い領域を３次元色空間内の太線で囲って示し、第一境界面より淡い領域を３次元色空間内の細線で囲って示している。図１０に示すように、パッチ色データが表す色はプリントユニット８６に入力されスキャンユニット５０から出力されることによって異なる色になる。パッチ色データは第一境界面上の色を表しているため、全てのパッチ画像データが表す色を含む面が第二境界面として設定されるべき面である。しかし、全てのパッチ画像データが表す色を含む面が平面で構成されるとは限らないため、複数のパッチ画像データが表す複数の色を含む曲面を設定し、その曲面に基づいて領域分割を実施するとすれば、これらの処理は相当複雑になる。

そこで本実施形態では次のようにして平面のみで構成される第二境界面を設定する。本実施形態では、描画領域画像データの第二境界面よりも濃い領域を手書き要素の領域として認識するため、仮に描画領域画像データの第二境界面よりも濃い領域に背景画像の領域があるとすれば背景画像の領域が手書き要素の領域として認識されることになる。逆に、描画領域画像データの第二境界面よりも薄い領域に手書き要素の領域があるとすれば、その領域にある手書き要素は手書き要素として認識されないのであるが、このような不具合はユーザに濃い色で手書き要素を記録させることにより解消することができる。したがって本実施形態では、描画領域画像データの第二境界面よりも濃い領域に背景画像の領域が存在しないことが保障されるように、パッチ画像データが表す最も濃い色を基準にして第二境界面が設定される。

具体的には、制御部５８は、複数のパッチ画像データが表す全ての色を母集団として、Ｒチャネルの最小値Ｒ_min、Ｇチャネルの最小値Ｇ_min、Ｂチャネルの最小値Ｂ_minを特定する。そして制御部５８は、Ｒ＝Ｒ_min、Ｇ＝Ｇ_min、Ｂ＝Ｂ_minという３つの平面で第二境界面を構成する。すなわち、それら３つの平面とＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５という３つの平面で囲まれる６面体領域の６つの側面のうち、Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５のいずれでもない３つの側面で構成される面を第二境界面として設定する。尚、このことは、描画領域画像データからＲ＜Ｒ_minかつＧ＜Ｇ_minかつＢ＜Ｂ_minを満たす領域を手書き要素の領域として分割するためにＲ_min、Ｇ_min、Ｂ_minの値を特定の変数（以下、この変数をＲ_d、Ｇ_d、Ｂ_dとする。）に設定することを単に意味する。また、安全のため、Ｒチャネルの最小値Ｒ_min、Ｇチャネルの最小値Ｇ_min、Ｂチャネルの最小値Ｂ_minのそれぞれよりも少し小さい値をＲ_d、Ｇ_d、Ｂ_dに設定してもよい。

ステップＳ２０８では、スキャンユニット５０は制御部５８の制御下でオーダシートの描画領域１００から描画領域画像データを読み取る。スキャンユニット５０が読み取った描画領域画像データは制御部５８によって取得され、ＲＡＭ６０に格納される。
ステップＳ２１０では、制御部５８は描画領域画像データとユーザ画像データとを合成することにより合成画像データを形成する。

図１１は、制御部５８による合成画像データの形成処理の流れを示すフローチャートである。
ステップＳ３００では、描画領域画像データから注目画素が選択される。
ステップＳ３０２では、注目画素の色が第二境界面より濃いか否かが判定される。具体的な判定方法は次のとおりである。すなわち、注目画素の色のＲ成分がＲ_minより小さく、かつそのＧ成分がＧ_minより小さく、かつそのＢ成分がＢ_minより小さいという条件を満たしている場合には、注目画素の色が第二境界面より濃いと判定され、そうでない場合には注目画素の色が第二境界面より淡いと判定される。このアルゴリズムは極めて単純であるため、このアルゴリズムによると高速な判定が可能である。

注目画素の色が第二境界面より濃い場合、その注目画素は手書き要素の領域に属するとみなされ、注目画素のαチャネルが不透明に設定される（ステップＳ３０４）。ここでいう不透明は、ユーザ画像データの上に描画領域画像データを重畳することを前提にしている。
注目画素の色が第二境界面より濃くはない場合、その注目画素は背景画像の領域に属するとみなされ、注目画素のαチャネルが透明に設定される（ステップＳ３０６）。
制御部５８はここまでの一連の処理を、注目画素を順次選択しながら、最後の画素まで繰り返す。

ステップＳ３０８において注目画素が最後の画素と判定されると、ユーザ画像データの上にαチャネルを用いて描画領域画像データが重畳される。具体的には次のとおりである。まず、ユーザ画像データの画素値を（Ｒ₁、Ｇ₁、Ｂ₁）とし、これに対応する描画領域画像データの画素値を（Ｒ₂、Ｇ₂、Ｂ₂）とし、これらに対応する合成画像データの画素値を（Ｒ_m、Ｇ_m、Ｂ_m）とする。αチャネルが不透明である場合、Ｒ_m＝Ｒ₂、Ｇ_m＝Ｇ₂、Ｂ_m＝Ｇ₂となる。αチャネルが透明である場合、Ｒ_m＝Ｒ₁、Ｇ_m＝Ｇ₁、Ｂ_m＝Ｇ₁となる。ここで、ユーザ画像データの画素と描画領域画像データの画素との対応関係は、描画領域１００に対する背景画像データの割り付け規則と、ユーザ画像データの画素数と、描画領域画像データの画素数とに応じて一義的に決まる。
ステップＳ２１４（図９参照）では、プリントユニット８６は制御部５８の制御下で合成画像データに基づいて合成画像を印刷する。

［他の実施形態］
尚、本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の形態で実施可能である。例えば、背景画像データはカラーではなく、モノトーンであってもよい。また、上記実施形態では第一境界面が任意の背景画像データの最大色域を基準にして予め決められているものとして説明したが、第一境界面は合成対象のユーザ画像データの実際の色域を基準にしてユーザ画像データ毎に決められるものであってもよい。

本発明の実施形態に係る模式図。本発明の実施形態に係る斜視図。本発明の実施形態に係るブロック図。本発明の実施形態に係るフローチャート。本発明の実施形態に係る模式図。本発明の実施形態に係る平面図。本発明の実施形態に係る平面図。本発明の実施形態に係る平面図。本発明の実施形態に係るフローチャート。本発明の実施形態に係る模式図。本発明の実施形態に係るフローチャート。

符号の説明

１：ＭＰＦ（画像形成システム）、５０：スキャンユニット、５８：制御部（ユーザ画像取得ユニット、オーダシート印刷制御ユニット、スキャン制御ユニット、合成ユニット、合成印刷制御ユニット）、８６：プリントユニット、９６：カラーパッチ、９７：標本領域、９９：パッチ色データ、１００：描画領域、１０１：背景画像、２００：テンプレート、２０２：ユーザ画像データ、２０４：背景画像データ、２０６：オーダシート、２１０：描画領域画像データ、２１２：パッチ画像データ、２１８：合成画像データ

Claims

ユーザ画像データを取得するユーザ画像取得ユニットと、
前記ユーザ画像データの色域を３次元色空間内の第一境界面以上に淡い色域内に減縮することにより背景画像データを生成し、前記背景画像データに基づいて背景画像が描画領域に印刷され、前記第一境界面を基準に定められたパッチ色データに基づいてカラーパッチが標本領域に印刷されたオーダシートをプリントユニットに作成させるオーダシート印刷制御ユニットと、
前記オーダーシートの前記標本領域をスキャンユニットに読み取らせることによりパッチ画像データを取得し、前記オーダーシートの前記描画領域を前記スキャンユニットに読み取らせることにより描画領域画像データを取得するスキャン制御ユニットと、
前記パッチ画像データに基づいて３次元色空間内の第二境界面を設定し、前記第二境界面より濃い色域内の色が表されている前記描画領域画像データの領域を前記ユーザ画像データに重畳することにより合成画像データを形成する合成ユニットと、
前記合成画像データに基づいて合成画像を前記プリントユニットに印刷させる合成印刷制御ユニットと、
を備え、
前記第一境界面及び前記第二境界面はいずれも６面体の１頂点を共有する３つの側面で構成する面であり、
前記パッチ色データは、３つの前記側面が共有する１頂点の色を表す画像形成システム。
前記３つの側面が共有する１頂点の色が示すパッチ色データの色が、グレー軸上の色を示す、
請求項１に記載の画像形成システム。
前記パッチ色データを複数定めて複数のカラーパッチを印刷し、前記第二境界面は、前記３つの側面のそれぞれの面において、前記複数のカラーパッチを読み取った前記複数のパッチ画像データの色うち、最も濃い前記パッチ画像データの色を基準に平面で構成する、
請求項１または２に記載の画像形成システム。
前記パッチ色データを複数定め、前記複数のパッチ色データは、前記３つの側面が共有する１頂点のほか、３つの前記側面の各頂点の色を表す、
請求項１または２に記載の画像形成システム。
前記パッチ色データを複数定め、前記複数のパッチ色データは、前記３つの側面が共有する１頂点のほか、前記側面の中央部に含まれる色を表す、
請求項１または２に記載の画像形成システム。
ユーザ画像データを取得し、
前記ユーザ画像データの色域を第一境界面以上に淡い色域内に減縮することにより背景画像データを生成し、
前記背景画像データに基づいて背景画像が描画領域に印刷され、前記第一境界面を基準に定められたパッチ色データに基づいてカラーパッチが標本領域に印刷されたオーダシートをプリントユニットに作成させ、
前記オーダーシートの前記標本領域をスキャンユニットに読み取らせることによりパッチ画像データを取得し、
前記オーダーシートの前記描画領域を前記スキャンユニットに読み取らせることにより描画領域画像データを取得し、
前記パッチ画像データに基づいて色空間内の第二境界面を設定し、
前記第二境界面より濃い色域内の色が表されている前記描画領域画像データの領域を前記ユーザ画像データに重畳することにより合成画像データを形成し、
前記合成画像データに基づいて合成画像を前記プリントユニットに印刷させ、
前記第一境界面及び前記第二境界面をいずれも６面体の１頂点を共有する３つの側面で構成する面とし、
前記パッチ色データが、３つの前記側面が共有する１頂点の色を表す画像形成方法。