JP5060404B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、ユーザがシートに付加した合成対象の画像と、メモリに記憶されている画像とを合成する画像処理装置、画像処理方法、およびプログラム。

複合機の機能の１つとして、記憶媒体に保存されているデジタル画像と、スキャナで読み取った手書き画像とを合成し、印刷する発明が知られている（たとえば、特許文献１参照）。

このような画像形成システムは、手書き画像を書き込む手書き合成シートを印刷し、手書き画像を書き込んだ後の手書き合成シートを読み込み、手書き合成シートの画像から手書き画像を抽出し、抽出した手書き画像を、デジタル画像と合成する。

また、手書き画像が書かれた手書き合成シートを読み込むときに、手書き画像が手書き合成シートのどの位置にあるかを特定し、より精度の高い合成をする方法が提案されている（たとえば、特許文献２参照）。
特開２００３−８０７８９号公報 特開２００７−４９６２０号公報

しかし、上記従来例では、手書き合成シートをスキャンする際に、手書き合成シートを原稿台に傾いた状態で置くと、手書き合成シートの手書き画像が、傾いたまま合成されるという問題がある。

図１は、従来例において、手書き合成シートが原稿台に傾いた状態で置かれている状態を説明する図である。

図１（ａ）は、ユーザが合成することを望む写真合成画像を示す図である。合成写真画像は、合成の対象である写真画像である。

図１（ｂ）は、手書き合成シートが原稿台に対して傾いていない状態で読込まれた場合における合成結果を示す図である。このうち、手書き画像５５は、ユーザがペン等の筆記用具を使って書き込んだ文字や図画である。

図１（ｃ）は、手書き合成シートが、原稿台に対して傾いた状態でスキャンされた場合の合成結果を示す図である。従来例では、図１（ｃ）に示すように、手書き画像５５ｂが、合成写真画像に対して傾いた状態で合成されている。

これと同じように、手書き合成シートを逆向きに置くと、手書き画像５５が逆向きのまま合成される。これを防ぐために、手書き合成シートをスキャンする際に、原稿台の突き当て位置に、手書き合成シートのどの部分を置くかが指定されている。つまり、原稿台に対して手書き合成シートの置き方は、自由度が低いという問題がある。

本発明は、シートが読取装置に傾いて読み取られたとしても、ユーザにより当該シートに付加された合成対象の画像と、メモリに記憶されている画像とを、適切に合成することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

上記の課題を鑑みて本発明の画像処理装置は、ユーザが合成対象の付加画像を付加するためのシートに対応する画像を、印刷装置にシートへ印刷させる印刷制御手段と、前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた読取画像を取得する取得手段と、前記取得手段により取得された読取画像に基づき、前記シートの傾きを特定する特定手段と、前記読取画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を含む、当該シートの一部である所定領域の画像を、当該読取画像から抽出する第１の抽出手段と、前記第１の抽出手段により当該読取画像から抽出された前記所定領域の画像を、前記特定手段により特定された当該シートの傾きに従って回転する回転手段と、前記回転手段により回転された前記所定領域の画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を当該所定領域の画像から抽出する第２の抽出手段と、前記第２の抽出手段により抽出された前記合成対象の付加画像と、メモリに記憶されている画像とを合成する合成手段とを有することを特徴とする。

本発明によれば、シートが読取装置に傾いて読み取られたとしても、ユーザにより当該シートに付加された合成対象の画像と、メモリに記憶されている画像とを、適切に合成することができる。

発明を実施するための最良の形態は、次の実施例である。

図２は、本発明の実施例１である画像形成装置１００を示すブロック図である。

画像形成装置１００は、スキャナ部１０と、プリンタ部２０と、操作部３０と、制御部４０とを有する。

スキャナ部１０は、たとえばＣＩＳ方式、またはＣＣＤ方式のカラースキャナによって構成されている。

スキャナ部１０は、照明１１と、イメージセンサ１２と、ＡＤ変換部１３と、センサデータ制御部１４と、センサ駆動制御部１５とを有する。

スキャナ部１０で得られたデータは、センサデータ制御部１４が、ＲＡＭ４２に保存する。

プリンタ部２０は、たとえばインクジェット方式のプリンタによって構成されている。インクジェット方式のプリンタは、不図示のインクカートリッジから供給されるインクを、印字用紙に吹きつけることによって、画像を形成する。

プリンタ部２０は、プリントヘッド２１と、印字駆動制御部２２と、印字紙搬送部２３と、印字データ制御部２４とを有する。

操作部３０は、ユーザが、画像形成装置１００に指令を出すための部分であり、ユーザインタフェース部３１と、記憶媒体制御部３２と、記憶媒体３３とを有する。

ユーザインタフェース部３１は、たとえば、キーや液晶画面で構成されているオペレーションパネル等の操作部分である。

記憶媒体制御部３２は、ＳＤカード等の外部から着脱可能な記憶媒体３３を、画像形成装置１００と接続する部分であり、接続された記憶媒体３３に、画像データが存在すると、記憶媒体制御部３２は、これを認識し、制御部４０に通達する。

制御部４０は、ＲＯＭ４１と、ＲＡＭ４２と、ＣＰＵ４３とを有する。

ＲＯＭ４１は、この画像形成装置１００の制御プログラムが格納されている不揮発性メモリである。ＣＰＵ４３は、この制御プログラムを実行することによって、スキャナ制御ユニット、プリンタ制御ユニット等として機能する。

実施例１は、この他に、手書き合成シート印刷ユニット、手書き合成シートスキャンユニット、合成実行ユニット及び合成結果印刷ユニットとして機能する。

操作部３０を介して、ユーザが手書き合成シートの作成を依頼したときに、写真画像を用いて、手書き合成シートのデジタルデータを作成し、プリンタ部２０が出力することによって、上記手書き合成シート印刷ユニットを構成する。

スキャナ部１０が手書き合成シートをスキャンすることによって、デジタル画像データを取得し、この取得したデジタル画像データから、手書き画像５５を抽出することによって、上記手書き合成シートスキャンユニットを構成する。

上記合成実行ユニットは、手書き画像５５と写真画像とを合成し、この合成結果をプリンタ部２０に送信する。

ＲＡＭ４２は、スキャナ部１０が読み取った画像データや、プリンタ部２０が印字をするためにＪＰＥＧ形式のファイルを印字データに変換したもの等、一時的に必要なデータを逐次保存し、必要がなくなり次第、削除する。

図３は、実施例１において使用する手書き合成シートＳＨ１と、手書き合成シートＳＨ１における手書きエリア５４との例を示す図である。

手書き合成シート判別マーク５１は、手書き合成シートＳＨ１をスキャンしたときに、スキャンした原稿が、手書き合成シートＳＨ１であることを認識するために使用するマークである。合成したい画像が、記憶媒体に格納されている画像のうちのどの画像であるか等の情報が、この手書き合成シート判別マーク５１に入っているので、手書き合成シートＳＨ１によって形状が変化する。

用紙選択エリア５２は、画像を合成した後に、印刷を行うときの用紙サイズをユーザが選択するために設けられている欄である。

エリア検出マーク５３ａ、５３ｂ、５３ｃ、５３ｄは、手書き合成シートＳＨ１をスキャンした際に、手書き部分を正しく抽出するために用いる位置検出マークである。実施例１では、エリア検出マーク５３ａ〜５３ｄを、原稿台に対して手書き合成シートＳＨ１が傾いていた場合に検出する傾き検出マークとして用いる。同時に、傾き補正のためのパラメータを求めるためのマークとして用いる。

手書きエリア５４は、ユーザが手書き画像５５を書き込む領域である。手書きエリア５４には、手書き画像５５と写真画像との位置関係が、合成の結果どのようになるかをユーザが分かりやすいように、写真画像が薄く印字してある。写真画像の一部５４ａ、５４ｂは、薄く印字してある写真画像の一部である。

手書き画像５５は、印刷した手書き合成シートＳＨ１に、ユーザが書き足した文字である。

図４は、実施例１に係る手書き合成シートＳＨ１を印刷する動作を示すフローチャートである。

フローチャートにおいて、「画像データ」は、１つの画素が、Ｒ、Ｇ、Ｂの３つの信号で表現され、各信号が独自の値を持つデジタルデータである。また、「二値化画像データ」は、１つの画素が１か０かの値を持ち、１であれば黒、０であれば白である。

Ｓ１で、ユーザが、ユーザインタフェース部３１を操作し、手書き合成シートＳＨ１の印刷実行を選択する。このときに、ＣＰＵ４３が、手書き合成シート印刷ユニットとして動作し、記憶媒体３３に保存されている写真画像のサムネイル画像を、ＲＡＭ４２に作成し、ユーザインタフェース部３１に表示する。

Ｓ２で、ユーザが、表示された写真画像を見ながら、ユーザインタフェース部３１を操作し、合成したい写真画像を選択する。

Ｓ３で、ＣＰＵ４３が、記憶媒体３３から写真画像ファイルを読み込み、ＲＡＭ４２に一時的に保存する。また、このときに、ＣＰＵ４３は、記憶媒体３３内のどの画像を用いたかを示す情報を入れた手書き合成シート判別マーク５１を作成する。

また、図３（ａ）に示す写真画像を、手書き合成シートＳＨ１の手書きエリア５４に薄く印字するための画像データを作成する。まず、手書きエリア５４の縦横比と同じになるように、写真画像の上下または左右を切り出す。切り出した画像を、手書き合成シートＳＨ１のデジタル画像フォーマット中の手書きエリア５４と同じサイズになるように、リサイズする。

図５は、手書き合成シートＳＨ１の薄だし画像を作成する場合における入出力関係をグラフ化した図である。

図５に示すように、写真画像図３（ａ）の階調数を減らし、低濃度領域のみで表現する画像へ変換する。上記処理によって作成した画像データを、「薄だし画像データ」とする。ＣＰＵ４３は、上記方法で作成した手書き合成シート判別マーク５１と、薄だし画像データとを、ＲＡＭ４２に保存する。

Ｓ４で、ＣＰＵ４３が、ＲＯＭ４１に保存されている手書き合成シートＳＨ１のデジタル画像のフォーマットを、ＲＡＭ４２に保存する。

Ｓ５で、ＣＰＵ４３が、手書き合成シートＳＨ１の手書きエリア５４の部分に、図３（ａ）の薄だし画像データを嵌め込み、手書き合成シート判別マーク５１を、所定の位置に嵌め込んで、手書き合成シートＳＨ１の印字データを作成する。

Ｓ６で、ＣＰＵ４３は、作成された手書き合成シートＳＨ１の画像データを、プリンタ部２０に出力させる。

図６は、実施例１に係る手書き合成シートＳＨ１をスキャンする動作を示すフローチャートである。

このときに、ＣＰＵ４３は、手書き合成シートスキャンユニットとして機能する。

Ｓ１１で、ＣＰＵ４３は、ユーザインタフェース部３１に、手書き合成シート読み込みを促す表示をさせる。ユーザは、これを確認し、書き込みが終了した手書き合成シートＳＨ１を、スキャナ部１０に読み取らせる。

図７は、読み取った手書き合成シートＳＨ１が傾いている場合の動作説明図である。

図７（ａ）は、読み取った手書き合成シートＳＨ１が傾いている場合の一例を示す図である。

Ｓ１２で、ＣＰＵ４３が、ＲＡＭ４２に保存されている手書き合成シート判別マーク５１、用紙選択エリア５２、エリア検出マーク５３ａ〜５３ｄの位置情報を得る。

Ｓ１３で、ＣＰＵ４３は、手書き合成シート判別マーク５１の位置情報に基づいて、手書き合成シートＳＨ１の画像データから、手書き合成シート判別マーク５１が存在していると予測される領域を解析する。記憶媒体３３に存在しているどの画像を用いて、手書き合成シートＳＨ１が作成されたかを示す情報が、手書き合成シート判別マーク５１に存在している。これに基づいて、合成する写真画像を特定し、記憶媒体３３に存在している写真画像の画像ファイルを、ＲＡＭ４２に保存する。

このときに、手書きエリア５４の縦横比と同じになるように、写真画像の上下または左右を切り出し、切り出した画像を、手書き合成シートＳＨ１のデジタル画像フォーマット中の手書きエリア５４と同じサイズになるようにリサイズする。手書きエリア５４の画像サイズは、読み取りを実行したときの解像度と、ＲＯＭ４１に保存されている手書きエリア５４の物理的な大きさとから導くことができる。

図７（ｂ）、（ｃ）は、実施例１に係る傾き補正領域を示す図である。

Ｓ１４で、ＣＰＵ４３は、エリア検出マーク５３ａ〜５３ｄの位置情報に基づいて、手書き合成シートＳＨ１の画像データから、エリア検出マーク５３ａ〜５３ｄを全て含むと予測される領域を切り出す。この切り出した結果が、図７（ｃ）に示す領域である。

図８は、実施例１におけるエリア検出マーク５３ａ〜５３ｄの形状の一例を示す図である。

実施例１で、エリア検出マーク５３ａ〜５３ｄは、全て、縦ＢＡＲ＿Ｌ［ｐｉｘｅｌ］、横ＢＡＲ＿Ｗ［ｐｉｘｅｌ］の長方形を、中心で二つ重ねた形状である。

Ｓ１５で、図７（ｃ）に示す画像のうちで、エリア検出マーク５３ａ〜５３ｄの正確な位置を、パターンマッチングによって特定する。

＜傾き検出マークを用いた傾き補正処理（Ｓ１６）の詳細＞
Ｓ１６で、図７（ｃ）に示す画像のうちで、手書きエリア５４が，画像に対して平行になるように、画像（ｃ）を回転する。

実施例１で、画像を回転する場合、ホモグラフィー変換を用いる。

以下に、ホモグラフィー変換の詳細について記述する。

図９は、実施例１において、傾き補正処理を行う画像中、エリア検出マーク５３ａ〜５３ｄの実際の位置と、手書きエリア５４がスキャン画像に対して傾いていない状態でのエリア検出マーク５３ａ〜５３ｄの位置との関係を示す図である。

実施例１において、変換前の座標位置Ｐは、図９における実際の検出マークの座標位置である。変換後の座標位置Ｑは、傾きのない状態での検出マークの座標位置である。

変換前の座標位置Ｐにおいて、図７（ａ）に示す画像データの中で、左上にあるエリア検出マーク５３ａの変換前の座標Ｐ１を、（ｘ１，ｙ１）とする。

図７（ａ）に示す画像データの中で、左下にあるエリア検出マーク５３ｂの変換前の座標Ｐ２を、（ｘ２，ｙ２）とする。

図７（ａ）に示す画像データの中で、右上にあるエリア検出マーク５３ｃの変換前の座標Ｐ３を、（ｘ３，ｙ３）とする。

図７（ａ）に示す画像データの中で、右下にあるエリア検出マーク５３ｄの変換前の座標Ｐ４を、（ｘ４，ｙ４）とする。

変換後の座標位置Ｑにおいて、図７（ｃ）の左上に位置するエリア検出マーク５３ａの変換後の座標Ｑ１を、（Ｓ１，Ｔ１）とする。これと同様に、左下に位置するエリア検出マーク５３ｂの変換後の座標Ｑ２を、（Ｓ２，Ｔ２）とする。右上に位置するエリア検出マーク５３ｃの変換後の座標Ｑ３を、（Ｓ３，Ｔ３）とする。右下に位置するエリア検出マーク５３ｄの変換後の座標Ｑ４を、（Ｓ４，Ｔ４）とする。

図１０は、切り出した画像データにおいて、変換前後の座標の関係の式を示す図である。

図１０に示す式（１０ａ）は、実施例１において、エリア検出マーク５３ａ〜５３ｄが作る長方形の短辺の長さを求める式である。

図１０に示す式（１０ｂ）は、実施例１において、エリア検出マーク５３ａ〜５３ｄが作る長方形の長辺の長さを求める式である。

変換前の座標Ｐのうちで、左上の位置にあるエリア検出マーク５３ａの位置が、変換前後で位置変化のない「基準座標」であるとする。つまり、実施例１において、エリア検出マーク５３ａの座標Ｐ１が、座標Ｑ１である。

図１０に示す式（１０ｃ）は、実施例１において、座標Ｑ１とＰ１との関係を示す式である。

ＣＰＵ４３は、エリア検出マーク５３を全て線で結んだときに描かれる長方形の短辺が、画像データに対して垂直になり、上記長方形の長辺が、画像データに対して水平になるように、エリア検出マーク５３ａ〜５３ｄの変換後の座標位置を求める。

座標Ｑ２は、座標Ｑ１から、ｙ軸と平行に進んだ位置にあるので、座標Ｑ２のｘ軸上の値は、座標Ｑ１のｘ軸上の値と同じである。また、座標Ｑ２のｙ軸上の値は、座標Ｑ１のｙ軸上の値ｔ１から、Ｐ１とＰ２との距離（Ｌｅｎｇｔｈ）だけ移動させた値である。よって、式（１０ｄ）を求めることができる。

これと同様に、座標Ｑ３は、座標Ｑ１からｘ軸と平行に進んだ位置にあるので、座標Ｑ３のｙ軸上の値は、座標Ｑ１のｙ軸上の値と等しく、座標Ｑ３のｘ軸上の値は、座標Ｑ１のｘ軸上の値ｓ１に、Ｐ１とＰ３との距離（Ｗｉｄｔｈ）だけ移動させた値である。よって、式（１０ｅ）を求めることができる。

座標Ｑ４のｘ軸上の値は、座標Ｑ３のｘ軸上の値と同じである。座標Ｑ４のｙ軸上の値は、座標Ｑ２のｙ軸上の値と同じである。よって、式（１０ｆ）を求めることができる。

図１１−１、図１１−２は、ホモグラフィー変換に必要な行列を求める過程の式を示す図である。

ここで、（ｓ，ｔ）座標系と、（ｘ，ｙ）座標系との間に、式（１１ａ）を満たす行列Ｈが存在する。つまり、行列Ｈを求め、（ｘ，ｙ）座標系の各点に行列Ｈを掛けると、（ｓ，ｔ）座標系に変換することができる。

実施例１では、ＣＰＵ４３は、以下のようにして、行列Ｈを求める。

まず、式（１１ａ）に、変換前の座標Ｐ１と、変換後の座標Ｑ１とを代入する。この結果得られる式が、式（１１ｃ）、式（１１ｄ）、式（１１ｅ）である。これら３つの式を、１つの式にまとめる。式（１１ｅ）において、両辺から１を引き、ｘ１の項を左辺に移動すると、式（１１ｆ）を得る。さらに、両辺にＳ１をかけ、式（１１ｇ）を得る。

一方、式（１１ｃ）の両辺に、−（マイナス）をかけ、式（１１ｈ）を得る。この式の右辺に、式（１１ｇ）の両辺を足すと、式（１１ｇ）は、両辺の絶対値が同じで符合が異なるので、式（１１ｉ）を得ることができる。式（１１ｄ）を、上記と同じように変換し、式（１１ｊ）を得る。

これと同じ形式の式を、変換前の座標Ｐ２〜Ｐ４と、変換後の座標Ｑ２〜Ｑ４の式にも、適応させ、行列にまとめた式が、式（１１ｌ）である。この関係を、簡単に記述した式が、式（１１ｋ）であり、この式から、Ｃの逆行列を求め、Ｒにかければ、行列Ａを求めることができる。逆行列の解法については、吐き出し法等が知られている。

行列Ａは、行列Ｈの要素を並び替えた行列であるので、行列Ａを求めることによって、行列Ｈを導くことができる。

行列Ｈを求めることができたら、切り出された画像を構成する全ての画素に対し、式（１１ａ）を実行し、画像を回転する。ただし、ホモグラフィー変換は、非線形変換であるので、この方法で回転を行うと、変換後の座標と変換前の座標との関係が、必ずしも１対１の関係にならない。したがって、変換後の座標系のうちで、存在しない座標位置のデータを補完する必要がある。この方法には、最近接内挿法や共一次内挿法等がある。

図１２及び図１３は、実施例１において傾き補正を行った場合の前後の状態を模式的に示す図である。

元画像のそれぞれの座標に行列Ｈをかけ、新座標系に変換している。

＜傾きエリア検出マーク５３ａ〜５３ｄを用いた傾き補正処理（Ｓ１６）の詳細２＞
Ｓ１６で、上記ホモグラフィー変換の代わりに、アフィン変換を用いるようにしてもよい。

たとえば、アフィン変換を用いて原稿の傾きを補正する場合、エリア検出マーク５３ａ〜５３ｄの中の一点を中心とし、画像全体をθ度回転させる方法がある。具体的には、左下にあるエリア検出マーク５３ｂを画像の回転の中心とした場合、エリア検出マーク５３ｂを頂点とし、右下にあるエリア検出マーク５３ｄと、エリア検出マーク５３ｄの理想位置とでなす角度を、回転角θとして画像全体を回転する方法が考えられる。

図１４は、アフィン変換を用いて回転をかける場合における各パラメータの算出方法を示す図である。

右下のエリア検出マーク５３ｄの理想的な座標Ｑ４（Ｓ４，Ｔ４）を、式（１０ｆ）で求めることができる。また、現実の座標（ｘ，ｙ）と理想的な座標（Ｓ，Ｔ）とには、式（１４ａ）が成り立つ。

式（１４ａ）中、画像データ内の位置関係によって、ｃｏｓθとｓｉｎθとは、それぞれ、式（１４ｄ）、式（１４ｃ）で求めることができる。ｃｏｓθとｓｉｎθとを求めた後に、式（１４ｅ）、式（１４ｆ）に、変換前のエリア検出マーク５３ｄの座標Ｐ４と、変換後のエリア検出マーク５３ｄの座標Ｑ４とを代入することによって、ｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを得ることができる。

以上によって、全てのパラメータを求めることができたので、画像全体の座標に対して、式（１４ａ）を実行し、各座標の（Ｓ，Ｔ）を求めることによって、回転を行う。

アフィン変換では、三角関数を導出に用いているので、変換後の座標の算出結果が実数型になる。しかし、デジタル画像データの座標は、正数型であるので、実数の算出結果の小数点以下がまるめこまれ、この結果、変換前の座標と変換後の座標とが、１対１にならないことがある。したがって、ホモグラフィー変換と同様に、存在しない座標位置のデータを補完する必要がある。この方法には、最近接内挿法や共一次内挿法等がある。

図１５は、実施例１において、エリア検出マーク５３と、手書きエリア５４との位置関係を示す図である。

図１５（ａ）は、全体図であり、図１５（ｂ）は、そのうちで、１つのエリア検出マーク５３ａと、手書きエリア５４との位置関係を示す図である。

Ｓ１７で、傾き補正が終了した後に、エリア検出マーク５３ａの座標Ｑ１から、図１５における距離Ｍ１、Ｍ２を足した位置（ｘ１＋Ｍ１，ｙ１＋Ｍ２）を起点として、幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を切り出す。

図１６は、実施例１において、切り出された幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を模式的に示す図である。

この画像を、手書きエリア５４の中の画像として扱う。

Ｓ１８で、Ｓ１７までの手順で得られた手書きエリア５４の画像データに対し、手書き画像５５だけを写真と合成するためのマスクデータを作成する。

マスクデータを作成する場合、薄く記載されている写真画像の一部５４ａ、５４ｂと、手書き画像５５との、輝度値の差を利用する。

図１７は、Ｇｒａｙ値を、ある閾値で二値化したときに作成される手書き画像５５のマスクデータを示す図である。

図１７（ａ）は、写真画像の一部である薄だし画像と、手書き画像５５との輝度値ヒストグラムとの関係を示す図である。

薄だし画像は、図４のＳ３で、低濃度側の少ない階調数で印字されている。したがって、これをスキャンし、デジタルデータ化すると、その輝度値ヒストグラムは、図１７（ａ）に示すように、高輝度側に分布する。一方、手書き画像５５の輝度値ヒストグラムとは、低輝度側に分布することを予測できる。

以上のことを利用し、薄だし画像の最低輝度よりも高くならないように決定された閾値によって、手書きエリア５４のデータを、二値化する。具体的には、以下のようにする。まず、手書きエリア５４と同じ縦、横のサイズを持った二値化画像データを、ＲＡＭ４２内に用意する。この配列の要素は、１か０しか値をもたず、初期値は、全て０である。手書きエリア５４の画素に対し、式（１８）に従って、輝度値Ｇｒａｙの値を求め、この値が閾値以上であれば、マスクデータ中の同じ位置にある要素のビットを立てる。この処理を手書きエリア５４内の全ての画素に対して行う。

このようにして求めた二値化画像データを、ＲＡＭ４２内に保存し、マスクデータとする。図１７（ｂ）は、切り出された領域から作成したマスクデータの模式図であり、このうちで、「ありがとう」で記されている部分が、マスクビットが立っている部分である。

図１８は、実施例１において、Ｒ、Ｇ、Ｂの値からＧｒａｙ値を求めるための式（１８）を示す図である。

マスクデータの判断について使用する式は、式（１８）のような輝度値を用いたものの他、色濃度を用いたものでもよく、または、何らかのフィルタを用いる方法も考えられる。さらに、これらの結果を組み合わせる方法を採用するようにしてもよい。

Ｓ１９で、上記のようにして得られたマスクデータと、手書きエリア５４の画像データと、図３（ａ）に示す写真画像とを用いて、画像を合成する。

まず、ＲＡＭ４２上に保存されている手書きエリア５４と同じ画像サイズに変換された合成したい画像データの各画素に対して、その画素に対応する位置に存在しているマスクデータの要素を参照する。

マスクデータの要素が０である場合、写真画像データに対して何の処理も行わない。マスクデータの要素が１であれば、写真画像データのマスクデータと同じ位置にある画素を、手書きエリア５４の画像データ内の同じ位置の画素で上書きする。

図１９は、実施例１において、傾き補正した後における合成結果を示す図である。

上記のように、実施例１の画像処理によれば、傾いた状態でスキャンされた手書き合成シートＳＨ１の画像から得た手書き画像５５と、写真画像の一部５４ａ、５４ｂとを、同じ向きにした状態で合成することができる。

本発明における実施例２である画像処理装置について説明する。

実施例１に示した手書き合成シートＳＨ１において、手書き合成シート判別マーク５１は、１次元的にしか情報を持たない。したがって、手書き合成シートＳＨ１に示すシートが原稿台に対して天地逆に設置された場合、シートが天地逆に設置されているのか、または、逆の構成の手書き合成シート判別マーク５１を持つシートが設置されているかを判別することができない。

実施例２は、手書き合成シートＳＨ１に示したシートに、相対位置マーク６２を追加する実施例である。実施例２によれば、手書き合成シートが天地逆に設置された場合、手書き合成シートが天地逆に設置されていることを解析することができる。

実施例２は、装置構成、手書き合成シートの印刷方法について、実施例１と同様であるので、それらの詳細な説明は省略する。

図２０は、実施例２において使用する手書き合成シートＳＨ２を示す図である。

手書き合成シートＳＨ２は、手書き合成シートＳＨ１に、相対位置マーク６２を追加したシートである。相対位置マーク６２は、手書き合成シートＳＨ２において、傾きエリア検出マーク５３の相対位置を知るためのマークである。

図２１は、実施例２において、相対位置マーク６２を用いて、手書きエリア５４の回転を行う動作を示すフローチャートである。

ＣＰＵ４３は、手書き合成シートスキャンユニットとして機能する。

Ｓ２１で、ＣＰＵ４３は、ユーザインタフェース部３１に、手書き合成シートＳＨ２の読み込みを促す表示をさせる。ユーザは、この表示を確認し、書き込みが終了した手書き合成シートＳＨ２を、スキャナ部１０に読み取らせる。

図２２は、実施例２において、つきあて位置に対し、天地が逆さになって読み込まれた場合の手書き合成シートＳＨ２を示す図である。

図２３は、ホモグラフィー変換を用いて任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合における変換前後の座標の位置関係を示す図である。

図２２（ａ）は、実施例２において、読み取った結果が反転している例を示す図である。

Ｓ２２で、ＣＰＵ４３は、これによって得られた手書き合成シートＳＨ２の画像データから、相対位置マーク６２と同じパターンを持つ画像を検出する。この検出に際して、既存のパターンマッチング技術を用いる。

Ｓ２３で、ＣＰＵ４３は、相対位置マーク６２の位置から、手書き合成シート判別マーク５１が存在している位置を、相対的に予測し、この予測した領域を解析する。手書き合成シート判別マーク５１には、手書き合成シートＳＨ２を作成する際に使用した画像が、記憶媒体３３に格納されている画像のうちでどの画像であるかを示す情報が存在している。この情報に基づいて、合成する写真画像を特定し、記憶媒体３３に存在している写真画像の画像ファイルを、ＲＡＭ４２に保存する。このときに、手書きエリア５４の画像データと同じ縦横の画素数を持つサイズにリサイズする。読み取りを実行したときの解像度と、ＲＯＭ４１に保存されている手書きエリア５４の物理的な大きさとに基づいて、手書きエリア５４の画像のサイズを導く。

さらに、相対位置マーク６２の位置から、用紙選択エリア５２が存在している領域を予測する。この予測された領域に、ＯＣＲ等の技術を用いて、用紙選択エリア５２のどれがチェックされているかを判定し、この判定された用紙選択エリア５２における印刷条件を設定する。

Ｓ２４で、ＣＰＵ４３が、画像データ上の相対位置マーク６２の位置と向きとに基づいて、エリア検出マーク５３ａ〜５３ｄの全てを含むと思われる部分を、おおまかに推定する。

図２２（ｂ）は、実施例２において、エリア検出マーク５３ａ〜５３ｄの全てを含むと推定した領域を示す模式図である。

推定した場所に対し、ＣＰＵ４３は、横Ｗ１ ｐｉｘｅｌ、縦Ｌ１ ｐｉｘｅｌの範囲を切り出す。

図２２（ｃ）は、実施例２において、横Ｗ１ ｐｉｘｅｌ、縦Ｌ１ ｐｉｘｅｌの範囲をＣＰＵ４３が切り出した領域を示す模式図である。

Ｓ２５で、ＣＰＵ４３が、切り出したデータから、全てのエリア検出マーク５３ａ〜５３ｄの正確な位置座標を検出する。この手順は、実施例１のＳ１５と同じ方法である。

Ｓ２６で、切り出された画像を回転する。ホモグラフィー変換を用いる場合、変換前のエリア検出マーク５３の座標Ｐ１〜Ｐ４と、変換後のエリア検出マーク５３の座標Ｑ１〜Ｑ４との設定の仕方に、以下のようなルールを設ける。

まず、変換前には、切り出された画像がどのようなものであっても、相対位置マーク６２に最も近い位置にあったエリア検出マーク５３の座標を、Ｐ１とする。座標Ｐ１に最も近いエリア検出マーク５３を、座標Ｐ２とする。座標Ｐ１に、次に近いエリア検出マーク５３の座標を、Ｐ３とする。座標Ｐ１から、最も遠い検出にある判別マークの座標を、Ｐ４とする。

次に、変換後には、切り出された画像がどのようなものであっても、長辺が横（Ｗｉｄｔｈ）であり、短辺が縦（Ｌｅｎｇｔｈ）である画像として扱う。切り出した画像のうちで、左上の隅から一番近い位置にあるエリア検出マーク５３の座標を、基準の座標Ｑ１とする。基準の座標Ｑ１を通り、画像の短辺に対して平行に走る直線上で、基準の座標Ｑ１からの距離がＰ１〜Ｐ２の距離と等しい位置にある点を、座標Ｑ２とする。

基準の座標Ｑ１を通り、画像の長辺と平行な直線上で、基準の座標Ｑ１からの距離が、Ｐ１とＰ３との距離と等しい位置にある点を、座標Ｑ３とする。座標Ｑ２を通り、長辺に平行に走る直線と、座標Ｑ３を通り、短辺に平行に走る直線の交点を、座標Ｑ４とする。

上記ルールに基づいて、各エリア検出マーク５３ａ〜５３ｄの変換後の座標を求める。次に、式（１０ａ）、式（１０ｂ）を用いて各辺の長さを算出する。

図２４は、変換前後の座標の関係を示す図である。

式（２４ａ）〜式（２４ｄ）を用い、各エリア検出マーク５３ａ〜５３ｄの変換後の座標を求める。この結果を、式（１１ｅ）に代入し、行列Ａの各要素を求めることによって、行列Ｈを導出する。行列Ａは、式（１１ｍ）から、行列Ｃの逆行列を、行列Ｒにかけることによって、求めることができる。ここで求められた行列Ｈは、図２２（ｂ）の画像データの天地を逆さまにし、さらに、手書きエリア５４が、画像データに対し水平にする座標変換を行える行列である。

図２２（ｂ）の各画素の座標に対し、求められた行列Ｈを代入し、式（１１ａ）を計算し、回転後の座標を得る。

Ｓ２６で、アフィン変換を用いて回転するようにしてもよい。まず、エリア検出マーク５３ａ〜５３ｄのうちのどのマークを中心に回転させるかを決定する。この例では、相対位置マーク６２に一番近いエリア検出マークを中心に回転させる。したがって、図２２（ｃ）に示すような切り取られた画像では、エリア検出マーク５３ｂが回転中心になる。

次に、回転する角度を決定する。図２２（ａ）に示す例では、エリア検出マーク５３ｂとエリア検出マーク５３ｄとを通る直線と、画像の長辺とが作る角度を回転角とする。

図２５は、実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合、変換前後の座標の位置関係を示す図である。

図２６は、実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合におけるパラメータの算出方法を示す図である。

次に、式（２６ａ）、式（２６ｂ）を用いて、ｓｉｎθとｃｏｓθとを求める。さらに、式（１４ａ）に代入する値の正負を決定する。相対位置マーク６２の位置と向きとに基づいて、手書き合成シートＳＨ２が、原稿台のつきあて位置に対してどのように回転しているかを判断する。

図２７は、実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合における変換前後の画像の位置関係を示す図である。

図２２に示す例では、相対位置マーク６２が画像データの右端にあり、矢印が下を向いているので、図２７に示す回転前の状態になっていることが分かる。つまり、この場合、時計回りに、（θ＋１８０）度回転させると、正しい向きになる。

ここで、三角関数の性質が、
ｓｉｎ（θ＋１８０°）＝−ｓｉｎθ、ｃｏｓ（θ＋１８０°）＝−ｃｏｓθ
であるので、時計回りに（θ＋１８０）度回転させるには、式（２６ａ）と式（２６ｂ）から求めたｓｉｎθとｃｏｓθとをそれぞれ負数にしたものを、式（１４ａ）に代入すればよいことが分かる。

代入したものから求められた各座標は、図２７に示すように、エリア検出マーク５３ｂを中心に、１回転した座標であるので、これをさらに平行移動させる必要がある。平行移動するためには、式（１４ａ）のｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを求める必要がある。このために、まず、エリア検出マーク５３ｄの理想的な座標を求める。

この場合のエリア検出マーク５３ｄの理想的な座標は、エリア検出マーク５３ｂから水平に、距離ＣＲＯＳＳ＿Ｗだけ移動させた位置である。

図２８は、実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合に、座標位置を算出するときに使用する式を示す図である。

したがって、図２８に示す式が、成り立つ。式（２８ａ）、式（２８ｂ）を、式（２６ｃ）、式（２６ｄ）に代入すると、平行移動量ｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを求めることができる。

このように、各エリア検出マーク５３の位置関係を把握することができ、かつ、エリア検出マーク５３ａ〜５３ｄの１辺と画像データの１辺との作る角度が分かっていれば、回転と平行移動とによって、画像データを回転する。

Ｓ２７で、回転が終了した後に、エリア検出マーク５３ａの座標Ｑ１から、図１５において、距離Ｍ１、Ｍ２を足した位置（ｘ１＋Ｍ１，ｙ１＋Ｍ２）を起点とし、幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を切り出す。この模式図を、図１６に示してある。この画像を、手書きエリア５４の中の画像として扱う。

Ｓ２８で、Ｓ１８と同様の方法を用いて、マスクデータを作成する。Ｓ２９では、Ｓ１９と同様の方法を用いて、画像を合成する。なお、上記マスクデータは、図１７（ｂ）に示すマスクデータであり、手書き画像５５ｂと、写真画像の一部５４ａ、５４ｂとを区別するために作成する。

以上の構成によって、ユーザが原稿台に対して、どのような向きで手書き合成シートＳＨ２を設置しても、手書き画像５５と、合成したい画像ファイルとを、同じ向きで合成することができる。

手書き合成シートＳＨ２では、手書き合成シートＳＨ１に、相対位置マーク６２を追加することによって、天地を判断する。この相対位置マーク６２を追加する代わりに、手書き合成シート判別マーク５１を、ＱＲコードのような天地判断可能なマークにすることによって、実施例２に示した方法を実現するようにしてもよい。

また、このマークと、手書き合成シート判別マーク５１との位置関係から、シートが原稿台に対し、どのような向きで設置されているかを判定することも可能である。

実施例１においての傾き補正のパラメータを作成するために用いることも、実施例２においての相対位置を検出するために用いることも可能である。このように、エリア検出のためのマークと、傾き検出のためのマークを、別々に設置することもできる。

図２９は、実施例３において使用する手書き合成シートＳＨ３を示す図である。

実施例３は、手書き合成シートＳＨ３を使用する実施例である。手書き合成シートＳＨ３は、手書き合成シートＳＨ１において、エリア検出マーク５３ａの代わりに、エリア検出マーク６４ａを記載したシートである。

エリア検出マーク６４ａの形状が、他のエリア検出マーク５３ｂ〜５３ｄの形状と異なっている。なお、実施例３における装置構成、手書き合成シートＳＨ３の印刷方法については、実施例１と同様であるので、詳細な説明を省略する。

実施例３における動作は、実施例２の動作とほぼ同様である。したがって、解析フローチャートは、図２１に示すフローチャートと同様である。

ただし、図２１のＳ２２において、相対位置マーク６２の位置を検出する代わりに、エリア検出マーク６４ａを検出する。このときの検出に用いられるマッチングパラターン（パターンマッチング）は、他のエリア検出マーク５３ｂ〜５３ｄ用のものとは異なる。さらに、Ｓ２４において、エリア検出マーク６４ａの位置から、切り出し位置を推定する。

Ｓ２５では、エリア検出マーク６４ａは、既に検出されているので、残りの３つのエリア検出マーク５３ｂ〜５３ｄを検出する。

また、Ｓ２６で、回転のためのパラメータを求める際に、形状が異なったエリア検出マーク６４ａが回転後に左上になるような回転パラメータを設定する。

手書き合成シートＳＨ３によれば、手書き合成シートＳＨ３に印字する項目を少なくすることができる。

本発明の実施例４は、実施例２において、Ｓ１８のマスクデータの作成を先に実行し、マスクデータが存在する領域にのみ、回転処理を実行し、回転をかける実施例である。

図３０は、本発明の実施例４の説明図であり、マスクデータを先に作成してから、画像を回転する実施例４の模式図である。

図１２に示すように、マスクデータの作成よりも画像の回転を先に行う場合と比較すると、実施例５では、回転対象が少ないので、より早く回転処理を実行することができる。

図３１は、本発明の実施例４において、画像の回転補正よりも先に、マスクデータを作成する場合の動作を示すフローチャートである。

なお、実施例４の装置構成、手書き合成シートＳＨ３の印刷方法は、実施例２と同様であるので、詳細な説明を省略する。図３１において、Ｓ４５までの処理は、実施例２と同様であるので、詳細な説明を省略する。

Ｓ４６で、式（１８）を用いて切り出した画像をＧｒａｙ値にする。この値が、ある閾値を超えるかどうかを判断する。Ｇｒａｙ値が閾値を超えている画素の座標と色情報（ＲＧＢ３色の輝度値）とを、ＲＡＭ４２内の別の領域に保存する。実施例４では、この座標と色情報とからなるテーブルを、マスクデータとして用いる。

Ｓ４７で、エリア検出マーク５３の位置から、画像の回転パラメータを算出し、画像データを回転する。回転パラメータの算出は、実施例２と同様であるので、詳細な説明を省略する。

Ｓ４８で、マスクデータのテーブルに保存されている座標を、手書きエリア５４の座標に変換する。図１５での説明によって、各エリア検出マーク５３の座標と、エリア検出マーク５３と、手書きエリア５４との位置関係に基づいて、変換することができる。

Ｓ４９で、手書き画像５５と写真情報とを合成する。合成処理については、実施例２と同様であるので、詳細な説明を省略する。

実施例４における手書き合成フローチャートによれば、手書き画像５５の画像データが少ない場合、回転処理をする画素が少なくなる。したがって、より処理時間が短い手書き画像５５の回転が実現可能である。

従来例において、手書き合成シートが原稿台に傾いた状態で置かれている状態を説明する図である。 本発明の実施例１である画像形成装置１００を示すブロック図である。 実施例１において使用する手書き合成シートＳＨ１と、手書き合成シートＳＨ１における手書きエリア５４との例を示す図である。 実施例１に係る手書き合成シートＳＨ１の印刷動作を示すフローチャートである。 手書き合成シートＳＨ１の薄だし画像を作成する場合における入出力関係をグラフ化した図である。 実施例１に係る手書き合成シートＳＨ１をスキャンする動作を示すフローチャートである。 読み取った手書き合成シートＳＨ１が傾いている場合の動作説明図である。 実施例１におけるエリア検出マーク５３ａ〜５３ｄの形状の一例を示す図である。 実施例１において、傾き補正処理を行う画像中、エリア検出マーク５３ａ〜５３ｄの実際の位置と、手書きエリア５４がスキャン画像に対して傾いていない状態でのエリア検出マーク５３ａ〜５３ｄの位置との関係を示す図である。 切り出した画像データにおいて、変換前後の座標の関係の式を示す図である。 ホモグラフィー変換に必要な行列を求める過程の式を示す図である。 ホモグラフィー変換に必要な行列を求める過程の式を示す図である。 実施例１において傾き補正を行った場合の前後の状態を模式的に示す図である。 実施例１において、回転の中心と回転角θとを示す図である。 実施例１において、回転の中心と回転角θとを示す図である。 実施例１において、エリア検出マーク５３と、手書きエリア５４との位置関係を示す図である。 実施例１において、切り出された幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を模式的に示す図である。 Ｇｒａｙ値を、ある閾値で二値化したときに作成される手書き画像５５のマスクデータを示す図である。 実施例１において、Ｒ、Ｇ、Ｂの値からＧｒａｙ値を求めるための式（１８）を示す図である。 実施例１において、傾き補正した後における合成結果を示す図である。 実施例２において使用する手書き合成シートＳＨ２を示す図である。 実施例２において、相対位置マーク６２を用いて、手書きエリア５４の回転を行う動作を示すフローチャートである。 実施例２において、つきあて位置に対し、天地が逆さになって読み込まれた場合の手書き合成シートＳＨ２を示す図である。 ホモグラフィー変換を用いて任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合における変換前後の座標の位置関係を示す図である。 変換前後の座標の関係を示す図である。 実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合、変換前後の座標の位置関係を示す図である。 実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合におけるパラメータの算出方法を示す図である。 実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合における変換前後の画像の位置関係を示す図である。 実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合に、座標位置の算出するときに使用する式を示す図である。 実施例３において使用する手書き合成シートＳＨ３を示す図である。 本発明の実施例４の説明図であり、マスクデータを先に作成してから、画像を回転する実施例４の模式図である。 本発明の実施例４において、画像の回転補正よりも先に、マスクデータを作成する場合の動作を示すフローチャートである。

符号の説明

１００…画像形成装置、
１０…スキャナ部、
２０…プリンタ部、
３０…操作部、
４０…制御部、
ＳＨ１、ＳＨ２、ＳＨ３、ＳＨ４…手書き合成シート、
５１…手書き合成シート判別マーク、
５２…用紙選択エリア、
５３ａ〜５３ｄ…エリア検出マーク、
５４…手書きエリア、
５４ａ、５４ｂ…写真画像の一部、
５５…手書き画像、
６２…相対位置マーク、
６４ａ…エリア検出マーク。

Claims (7)

1. ユーザが合成対象の付加画像を付加するためのシートに対応する画像を、印刷装置にシートへ印刷させる印刷制御手段と、
   前記印刷制御手段により印刷されたシートを読取装置が読み取って得られた読取画像を取得する取得手段と、
   前記取得手段により取得された読取画像に基づき、前記シートの傾きを特定する特定手段と、
   前記読取画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を含む、当該シートの一部である所定領域の画像を、当該読取画像から抽出する第１の抽出手段と、
   前記第１の抽出手段により当該読取画像から抽出された前記所定領域の画像を、前記特定手段により特定された当該シートの傾きに従って回転する回転手段と、
   前記回転手段により回転された前記所定領域の画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を当該所定領域の画像から抽出する第２の抽出手段と、
   前記第２の抽出手段により抽出された前記合成対象の付加画像と、メモリに記憶されている画像とを合成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１において、
   前記印刷制御手段により印刷される前記シートは、ユーザが合成対象の付加画像を付加するための前記所定領域を特定するためのマークを含むシートであって、
   前記第１の抽出手段は、前記取得手段により取得された読取画像に含まれている前記マークに基づき、当該読取画像から前記所定領域の画像を抽出することを特徴とする画像処理装置。
3. 請求項２において、
   前記印刷制御手段によりシートに印刷される前記マークは、当該シートの傾きと、当該シートにおける前記所定領域を特定するためのマークであり、
   前記特定手段は、前記読取画像に含まれる前記マークに基づき、前記シートの傾きを特定することを特徴とする画像処理装置。
4. 請求項２または３において、
   前記印刷制御手段は、シートの傾きを特定するための複数のマークを印刷させ、
   前記特定手段は、前記読取画像に含まれる前記複数のマークの、当該読取画像における位置に基づき、前記シートの傾きを特定することを特徴とする画像処理装置。
5. 請求項２乃至４のいずれか１項において、
   前記第１の抽出手段は、前記マークを内部に含む矩形領域の画像を抽出することを特徴とする画像処理装置。
6. ユーザが合成対象の付加画像を付加するためのシートに対応する画像を、印刷装置にシートへ印刷させる印刷制御工程と、
   前記印刷制御工程において印刷されたシートを読取装置が読み取って得られた読取画像を取得する取得工程と、
   前記取得工程において取得された読取画像に基づき、前記シートの傾きを特定する特定工程と、
   前記読取画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を含む、当該シートの一部である所定領域の画像を、当該読取画像から抽出する第１の抽出工程と、
   前記第１の抽出工程において当該読取画像から抽出された前記所定領域の画像を、前記特定工程において特定された当該シートの傾きに従って回転する回転工程と、
   前記回転工程において回転された前記所定領域の画像に基づき、ユーザにより前記シートに付加された合成対象の付加画像を当該所定領域の画像から抽出する第２の抽出工程と、
   前記第２の抽出工程において抽出された前記合成対象の付加画像と、メモリに記憶されている画像とを合成する合成工程と、
   を有することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
   

Images