JP4633907B2

JP4633907B2 - 文書を表わす画像データ内の走査時アーチファクトをマスキングするための方法及び装置並びに画像データ処理システム

Info

Publication number: JP4633907B2
Application number: JP2000312727A
Authority: JP
Inventors: ジェイ．メトカフデイビッド; シー．ウィリアムズレオン; エル．トリプレットロジャー
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1999-10-20
Filing date: 2000-10-13
Publication date: 2011-02-16
Anticipated expiration: 2020-10-13
Also published as: EP1094662A2; JP2001169081A; DE60039337D1; EP1094662B1; US6594401B1; EP1094662A3

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的には、文書を走査して、走査した文書を、後で記録媒体上に電子画像を描画するためにプリントシステムが使用できる電子画像データに変換するシステムに関する。詳細には、本発明は、走査した文書上の画像を電子画像データに変換する間に生成された走査時アーチファクト（人工生成物）を検出及びマスキングするためのシステム及び方法に関する。
【０００２】
【従来の技術】
例えば原文書の電子的走査によって生成されたビデオ画像データから、原文書を複製する際に、文書の外部エッジの決定に依存する機能を備えることが望ましいことがよくある。そのような機能としては、例えば、自動拡大、自動ツーアップ(two-up)コピー、検出された文書の外部エッジの外側に存在する背景画像データの削除、走査システム内の文書の自動位置割出し、及び電子画像の電子的スキュー補正(deskewing)等が挙げられる。言い換えれば、これらの機能を備えるためには、走査システムによって何らかの方法で文書の外部エッジを検出しなければならない。
【０００３】
従来は、原文書の外部エッジの検出を達成するために、原文書と区別しやすいバッキングが設けられていた。例えば、黄色、黒色、又は白色より白い色のバッキングや、蛍光を発するバッキング、及び他の様々な代替品が設けられていた。たとえ様々な代替品が用いられていても、デジタル走査システムを用いて文書を走査する際には、両面又は透かしのある文書を走査するときに透けて見えるのを解消するために、光吸収性（例えば黒又は暗色）のバッキングを用いるのが望ましい。黒色などの光吸収性のバッキングを用いることにより、走査システムは文書を走査する際に透けて見えるのを解消できるとともに、走査システム又は例えば下流の画像処理システムが原文書の外部エッジの位置を自動的に割出せるようにし、それにより自動位置決め処理及び電子的スキュー補正処理を実行できるようにする。
【０００４】
【発明が解決しようとする課題】
しかし、光吸収性バッキングを使用した際の望ましくない結果として、原文書の例えば穴、切れた箇所、裂け目、耳折れ等の任意の欠陥、又は原文書の予めパンチされた穴等の他の特徴が、記録媒体に描画及びプリントされたときに黒いオブジェクトとして現れる。これは、取得された画像が、原文書の欠陥（例えば、予めパンチされた穴、切れた箇所、裂け目、耳折れ等）が存在する場所にはどこでもバッキング領域のグレー値（黒）を有するという事実に起因する。バッキング領域のグレー値が存在する原文書内のこれらの領域は、走査時アーチファクト（人工生成物）と見なされる。
【０００５】
ほとんどの場合、特にコピーの背景が白でありアーチファクトが黒として描画される場合には、走査時アーチファクトをコピー内に描画することは望ましくない。例えば、図１は、予め３つの穴がパンチされた用紙にプリントされた画像４を含む原文書２を示し、３つの穴は欠陥６によって表わされている。この文書を、文書の背後のプラテンカバーや自動給紙ローラ又はスキー等のバッキングが非反射性である従来のシステムで走査した場合には、図２に示される記録された画像１２は、原文書の欠陥６に対応する暗い又は黒い領域１６（走査時アーチファクト）を含むことになる。同様に、図１の文書が、バッキングは白いが使用によって汚れているか、傷があるか、又は文書の背景と同等の反射率を有していないシステムによって走査された場合には、記録又は表示媒体１２に複製される原画像（図３）は、原文書の欠陥６に対応する領域１６の形態の走査時アーチファクトを含むことがある。
【０００６】
従って、予めパンチされた穴、切れた箇所、裂け目等の、ある種の欠陥を有する原文書を読み込んで、走査時アーチファクトのいかなる痕跡もない画像を記録又は表示媒体に描画できることが望ましい。言い換えれば、原文書が欠陥を含むという事実に関わらず、描画された画像内のアーチファクトの出現を解消又は低減するために、走査時アーチファクトをマスキングすべきである。
【０００７】
【課題を解決するための手段】
本発明の第１の態様は、画像データに対する画素分類タグを生成するステップと、画素分類タグを用いて、走査時アーチファクトと関連づけられた文書内のウィンドウを識別するステップと、画像データを解析して置換ビデオ値を生成するステップと、走査時アーチファクトと関連づけられた前記画像データを置換ビデオ値と置換するステップと、を有する、文書を表わす画像データ内の走査時アーチファクトをマスキングするための方法であって、前記画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られた画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、前記画素分類タグは、各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像である前記走査時アーチファクトとしてのバッキング画像の画素なのかを示し、前記ウィンドウを識別するステップでは、前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトと関連づけられた文書内のウィンドウを識別することを特徴とする。
【０００８】
本発明の第２の態様は、ビデオ画像データに対する画素分類タグを生成する分類回路と、画素分類タグを受け取るように接続された自動ウィンドウ化回路であって、走査時アーチファクトを識別するウィンドウデータを生成する自動ウィンドウ化回路と、ビデオ画像データ及びウィンドウデータを受け取るように接続された統計コンパイル回路であって、ビデオ置換データを生成する統計コンパイル回路と、ビデオ置換データを受け取るように接続されたビデオ置換回路であって、前記ビデオ画像データ内の選択された画素をビデオ置換データと置換するビデオ置換回路と、を有する、文書を表わすビデオ画像データ内の走査時アーチファクトをマスキングするための装置であって、前記ビデオ画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られた画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、前記画素分類タグは、各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像である前記走査時アーチファクトとしてのバッキング画像の画素なのかを示し、前記自動ウィンドウ化回路は、前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトを識別するウィンドウデータを生成することを特徴とする。
【０００９】
本発明の第３の態様は、走査画像を表わす画像データを供給する画像入力ターミナルと、画像データ内の走査時アーチファクトを検出及びマスキングするためのマスキングプロセッサであって、ビデオ画像データ内のバッキング画素を識別するための分類回路と、走査時アーチファクトを識別するウィンドウデータを生成するための自動ウィンドウ化回路と、ビデオ置換データを生成するための画像解析回路と、前記ビデオ画像データ内の選択された画素をビデオ置換データと置換するためのビデオ置換回路と、を含むマスキングプロセッサと、ビデオ置換回路から受け取った前記ビデオ置換データに応答して画像を生成するための画像出力ターミナルと、を有する、画像データ処理システムであって、前記ビデオ画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られたビデオ画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、前記分類回路は、各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像であるバッキング画像の画素なのかを示す画素分類タグを生成し、生成した画素分類タグに基づいてビデオ画像データ内のバッキング画素を識別し、前記自動ウィンドウ化回路は、前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトを識別するウィンドウデータを生成することを特徴とする。
【００１０】
【発明の実施の形態】
以下の説明では、高速走査方向及び低速走査方向という用語を用いる。高速走査方向とは、走査線即ちラスタに沿った画素の走査のことである。これは一般的に、走査が光電センサの１つのアレイから画像データを収集した結果である、電子的走査とも呼ばれる。一方、低速走査方向とは、文書と走査システムとの間の相対移動方向のことである。これは、走査システムに画像データの走査線を生成させるための機械的な移動である。
【００１１】
本発明は、走査した文書上の画像を電子画像データに変換する間に生じた走査時アーチファクトを検出及びマスキングするために画像データを処理するためのシステム及び方法に関する。上述したように、走査システムのバッキングのグレー値が存在する原文書内のこれらの領域を、走査時アーチファクトと見なす。本発明は、走査画像の走査時アーチファクトが存在する領域を識別するために、自動ウィンドウ化(autowindowing)技術を用いる。本発明の好ましい実施の形態は、２パス自動ウィンドウ化処理を用いることを提案する。２パス自動ウィンドウ化処理では、第１パスが、走査時アーチファクトを有するウィンドウを識別して、そのウィンドウに対する統計を集め、第２パスが、ウィンドウ化された走査時アーチファクトと関連づけられた画像データを、周囲の画像領域と“調和する(blend in)”画像データと置換することにより、走査時アーチファクトとして示されたウィンドウをマスキングする。
【００１２】
走査時アーチファクトを検出及びマスキングするために２パス自動ウィンドウ化技術を用いる処理の一実施形態を、図４に示す。２パス処理では、１つの機会で、画像データを２回通過及び処理する。２パス自動ウィンドウ化処理では、第１パスの処理を用いて、走査画像内に含まれる“ウィンドウ”の位置を自動的に割出す。ウィンドウは、写真、連続階調、ハーフトーン、テキスト等や、それらの任意の組み合わせといった任意の非背景領域、及び走査時アーチファクトであり得る。更に、第１パスの処理中、及び第２パスの処理が完了する前に、識別されたウィンドウに対する統計を分析し、もしあれば、調整又は強調すべきウィンドウを決定する。第２パスの処理では、文書のウィンドウと関連づけられたデータを修正して、画像の描画及びプリント等の任意の後続の画像処理操作を最適化できる。図４に示される処理では、ステップＳ１、Ｓ３及びＳ５は、画像データを通る第１パスで実行される処理に対応し、ステップＳ７は画像データを通る第２パスで実行される処理に対応する。
【００１３】
詳細には、この処理は、ステップＳ１で、ビデオ画像データ内の画素に対して分類タグを生成する。ステップＳ１は、ビデオ画像データ内の画素を調べ、分類タグを生成する。分類タグは、画素が走査システムのバッキングを表わす（即ち、バッキング画素）か否かを識別するとともに、好ましくは文書画像を表わす画素（非背景画素）の画像タイプを識別するセグメント化データを含む。ステップＳ３は、ステップＳ１で生成された分類タグを解析して、走査画像内のウィンドウを識別し、走査画像内の各ウィンドウの位置を記録し、各ウィンドウを分類する。
【００１４】
ステップＳ５ではビデオ画像データが解析される。詳細には、ビデオ画像データから統計が集められ、ステップＳ３からの情報を用いて、走査時アーチファクトを識別するウィンドウに対応する画像データ統計を解析し、各走査時アーチファクトのマスキングに用いるのに適したビデオ値を決定できる。ステップＳ７は、ステップＳ３及びステップＳ５で収集された情報を用いて、走査画像データ内の走査時アーチファクトをマスキングするために画像データを修正する。次に、修正済画像データを処理して、適切な媒体上への出力画像の作成に使用できる即プリント可能(print ready)データを生成できる。
【００１５】
図５は、図４のステップＳ１で実行される画像データ内の画素を分類するための処理をより詳細に示す。この処理では、ステップＳ１２は、一般的に、各走査線が複数の画素の強度（明度）情報等といった画像データからなる、複数の走査線からなる、ビデオ画像データを受け取る。ステップＳ１２は受け取った画像データの複数の走査線をメモリにバッファし、目標画素及びその近傍を識別する。目標画素及びその近傍の画像データが解析され、その目標画素に対する分類タグが生成される。
【００１６】
バッキング検出ステップＳ１４は、目標画素及びその近傍を調べ、その目標画素の画像データがバッキング画素を表わしているのか又は文書画像を表わしているのかを決定する。バッキング画素とは、その画素の画像データが、走査システムのバッキングから反射又は生成された光を表わす画素のことである。ステップＳ１４は、画素のタイプに関する決定を行うためのバッキング画素の識別に、任意の方法を用いてよい。バッキング画素を識別する１つの方法は、バッキングの特徴（グレー値、高速又は低速走査方向におけるグレーの変化等）に基いた１つ以上の検出基準について、目標画素のコスト値を決定し、そのコスト値を総計して、総計コストが許容可能な閾値にある場合は、その画素をバッキング画素として分類する。なお、走査システムは、バッキングから反射するか又は文書の背後から発せられる光に対応する特定の波長を有する光を検出する別の組のセンサを用いてもよい。更に、走査システムは、文書上の画像に応答して、バッキングを走査すると飽和するように設計された１組のセンサと、バッキングを走査するとバッキングの反射率によって黒を検出するもう１組のセンサとを用いてもよい。目標画素がバッキング画素であるか又は文書画像画素であるかを決定する方法は、本明細書に参照として援用する、シュワイドら(Schweid et al.)による米国特許第5,959,290号に開示されている。
【００１７】
セグメント化ステップＳ１６は、セグメント化操作を行い、目標画素及びその近傍の画像データを解析して、目標画素の画像タイプを決定する。幾つかの一般的な画像タイプとしては、エッジ、グラフィック、テキスト、ティント上のテキスト、背景、滑らかな連続階調、粗い連続階調、低周波数ハーフトーン、高周波数ハーフトーン、ファジー周波数として実現され得る中間周波数ハーフトーン、等が挙げられる。解析及び画像タイプの決定は、自動コリレーション、周波数解析、パターン又はテンプレート照合、ピーク/谷検出、ヒストグラム等を含むがそれらに限定されない多くの周知の分類関数の任意のものに基くことができる。例えば、ステップＳ１６は、各画素の強度（明度）が周囲の近傍画素の強度（明度）と顕著に異なるか否かを決定して、肯定される場合は、その画素をエッジ画素として分類してもよい。
【００１８】
上述の処理は、バッキング検出ステップＳ１４及び画像セグメント化ステップＳ１６が、任意の順序で又は並行して実行されてよい個別の操作であることを示しているが、バッキング検出ステップＳ１４はセグメント化操作Ｓ１６の中に組み込まれてもよい。つまり、バッキング画素を、もう１つの画像タイプと見なし、バッキング検出操作をセグメント化操作に含まれる分類機能と見なしてもよい。別の実施の形態では、バッキング検出ステップＳ１４を最初に実行し、その次に、バッキング画素ではないと決定された（即ち、文書画素として識別された）画素だけにセグメント化ステップＳ１６を実行してもよい。
【００１９】
次に図６を参照すると、ステップＳ３の自動ウィンドウ化操作を実行するための処理の一実施形態が示されている。ウィンドウの識別のより良い理解のために、図７に、自動ウィンドウ化操作によって生成されるウィンドウの構成要素を表わす模式図を示す。文書８０は、ウィンドウ８２のような１つ以上のウィンドウを有し得る。各ウィンドウ８２を、ウィンドウセグメント８４のような１つ以上のウィンドウセグメントに分解でき、ウィンドウセグメントを、更に、１つ以上のラインセグメント８６に分解できる。各ラインセグメントは、所与の走査線の、隣接する画素分類タグの１グループを表わす。
【００２０】
再び図６を参照すると、ステップＳ３１で、画素分類タグが受け取られ、走査線内のあらゆるラインセグメントが識別される。各ラインセグメントは、所定のウィンドウ基準に合致する隣接する画素タグのグループを有する。そのようなウィンドウの識別のための１つの基準は、画素タグのうち、エッジである画素タグのグループを選択することである。別のウィンドウ基準は、選択された１つ以上の画像タイプを有するラインセグメントを識別することである。つまり、ウィンドウ基準は、ラインセグメントが特定の画像タイプを識別する画素タグで構成されることを要件としてもよい。
【００２１】
ステップＳ３３は、ステップＳ３１で識別された各ラインセグメント内の画素分類タグに対する統計をコンパイルする。コンパイルされたタグ統計は、そのラインセグメントが存在するウィンドウを分類する際に用いられる。コンパイルされ得る統計としては、異なる各画素タグタイプの数、異なる各画素タグの周波数分布、優勢な画素タグタイプ、画素タグタイプの重み付けされたカウント等がある。
【００２２】
ステップＳ３５は、隣接する走査線のラインセグメントを結んで、ウィンドウセグメントを形成する。好ましくは、現在の走査線内のラインセグメントを識別した後で、ステップＳ３５は現在の走査線のラインセグメントを、前の走査線内のあらゆる既存のウィンドウオブジェクト（ラインセグメント又はウィンドウセグメント）と比較する。現在の走査線のラインセグメントが、既存のウィンドウオブジェクトに隣接する閾値の数の画素タグを有する場合には、そのラインセグメントは既存のウィンドウオブジェクトに結合される。現在の走査線の１つ以上のラインセグメントが、ある既存のウィンドウオブジェクトに結合されたら、現在のラインセグメント（単数又は複数）についてコンパイルされた統計が、その既存のウィンドウオブジェクトの統計と組み合わされる。
【００２３】
ステップＳ３７は、走査した画素内に完成したウィンドウが存在するか否かを決定する。現在の走査線に、既存のウィンドウオブジェクトと結合できるラインセグメントが全くない場合には、そのウィンドウオブジェクトは完結し、完成したウィンドウとなる。完成したウィンドウが識別されない場合には、自動ウィンドウ化処理は、ステップＳ４７で、処理すべき走査線が更にあるか否かを決定する。更に走査線がある場合には、処理はステップＳ３１のラインセグメントの識別を続ける。完成したウィンドウが識別された場合は、処理は、ステップＳ３９、ステップＳ４１、及びステップＳ４３で、完成したウィンドウに対する、ウィンドウの分類、記録、及びフィルタリング操作を行う。
【００２４】
ステップＳ３９は、コンパイルされたウィンドウ統計からウィンドウの分類を決定する。各ウィンドウを分類する試みにおいて、この統計が調べられる。コンパイルされた統計からウィンドウ分類を生成するために、任意の数のオプション（選択肢）を使用できる。例えば、主に１つのタイプの画像データを含むように見えるウィンドウは、その優勢な画像タイプに従って分類できる。主にバッキング画素を含むウィンドウは、走査時アーチファクトとして識別（分類）される。更なるオプションは、１つ以上の画像タイプを含むウィンドウを“混合”と分類する。更に、ウィンドウ分類は単一の画像タイプに限定されないことを留意されたい。例えば、ウィンドウは、そのウィンドウ内の優勢な画素タグ及び次に優勢な画素タグとして分類されてもよい。更なる例として、ステップＳ３９は、ウィンドウを、画素タグ発生総数の所定の割合以上を有する画素タグとして分類してもよい。
【００２５】
ステップＳ４１は、走査画像内のウィンドウの位置を決定及び記録する。後でウィンドウ内に含まれる画素を識別するのに十分な、任意の公知の方法を用いて、ウィンドウの位置を識別できる。走査画像内のウィンドウの位置を記録するための多くの方法が存在することを当業者は認識するであろう。可能な方法の例は、各ラインセグメントの始点及びそのセグメントの長さの識別、各セグメントの開始画素及び終了画素の記録、各ウィンドウ又はラインセグメントがそこからのオフセットであると識別されたウィンドウ内の第１画素の位置の記録を含む。上述の例は単に説明目的で与えられたものであり、上述の例のうちの１つを使用するように本発明を限定するものではない。
【００２６】
ウィンドウフィルタリングステップＳ４３は、完成したウィンドウをフィルタリングして、小さなウィンドウを捨てる。このフィルタリング操作は、識別されたウィンドウの数がシステムのメモリを圧倒しないこと及び/又はシステムの処理時間を大きく増加させないことを確実にするように設計されている。適切なウィンドウサイズを決定し得るファクターは、処理速度及びスループット、メモリ、ウィンドウ分類、画像サイズ、画像解像度等を含むことができる。更に、完成したウィンドウをフィルタリングする代わりに（又はそれに加えて）、フィルタリング操作を用いてステップＳ３１で識別されたラインセグメントをフィルタリングして、小さなラインセグメントを捨ててもよいことを認識されたい。
【００２７】
図８は、図４のステップＳ５で実行される処理をより詳細に示す。詳細には、図８は、画像データ統計をコンパイル及び解析するための処理の一実施形態を示す。上述したように、走査時アーチファクトとして識別されたウィンドウの画像データ統計を解析して、走査時アーチファクトの画像データを置換するのに適切な画像データを決定する。更に、統計を用いて、画質を向上させるためにウィンドウ化領域の描画を改善又は最適化する画像強調オプションを決定してもよい。
【００２８】
ステップＳ５１で画素画像データを受け取ると、画像データ統計のコンパイルが開始される。走査画像の各ウィンドウ化領域に対して画像統計を入手できなければならない。ステップＳ５１は、ウィンドウ化領域が識別されるまで待ってから統計収集するのではなく、走査画像を複数の統計収集領域に区分して、各収集領域について画像データ統計をコンパイルする。任意のウィンドウ化領域内の収集領域を後から取出して解析することができる。走査画像データは、長方形のグリッドとして配列された、Ｍ×Ｎ個の画素画像データブロックに区分されるのが好ましい。ブロックのサイズは、走査解像度、走査される文書のサイズ、メモリ要件等といった多くのファクターに基いて異なってもよい。しかし、サイズ及び形状が異なる領域及び/又は任意の角度で配列された領域も同様に用いることができることは理解されよう。
【００２９】
ステップＳ５３は、区分された各領域の画像データ統計をコンパイルする。所与の統計収集領域（例えばＭ×Ｎブロックの１つ）の画像データ統計をコンパイルするために、そのブロックを構成する画素画像データを識別しなければならない。画素画像データブロックの識別はウィンドウ化技術を用いて達成でき、受け取られた画像データはバッファに格納され、十分な数の画素が格納されたら、調査及び統計のコンパイルのために、バッファから画素ブロックが選択される。又は、各画素を受け取ったら、各画素と関連づけられたブロックを識別してもよい。ステップＳ５３は、コントラスト統計（例えばヒストグラムデータ及びヒストグラム平均値）、露光統計（例えば黒色点及び白色点）、カラーバランス統計（例えば最小、最大、及び平均ＲＧＢ値）、ニュートラルな統計（例えば彩度の平均値）等といった任意の数の画像データ統計をコンパイルできる。
【００３０】
ステップＳ５５は、ステップＳ３の自動ウィンドウ化操作からの情報を用いて、１つのウィンドウと関連づけられたブロックの画像データ統計を識別する。１つのウィンドウと関連づけられたブロックの数は、ウィンドウのサイズ及び形状並びにブロックのサイズ及び形状によって異なる。１つのウィンドウと関連づけられたブロックは、完全にそのウィンドウの中にあるブロックからなるのが好ましいが、部分的にそのウィンドウの中にあるか又はそのウィンドウに隣接するブロックを含んでもよい。更に、１つのウィンドウと関連づけられたブロックは、ウィンドウの分類及び位置に基いて異なっていてもよい。
【００３１】
ステップＳ５５で画像データ統計を識別した後、ステップＳ５７は識別された統計を解析し、走査時アーチファクトが周囲の領域と調和するためのグレー又はカラーのビデオ値を決定する。例えば、走査時アーチファクトがピクチャ領域内に存在する場合は、ステップＳ５７は、走査時アーチファクトの付近のブロックから最も優勢なビデオ値又は平均ビデオ値を識別することにより、周囲の値と調和するか又はぴったり一致するビデオ値を決定してもよい。更に、走査時アーチファクトをマスキングするためのビデオ値を識別する場合には、ステップＳ５７は、アーチファクトを横断して変化するビデオ値を識別してもよい。例えば、ステップＳ５７は、グラジエント又はスロープ検出を用いて、走査時アーチファクトを横断して明から暗へと又は複数の色の間で変化するビデオ値を識別してもよい。同様に、走査時アーチファクトが孤立しているか又は背景領域内に存在する場合には、ステップＳ５７は、文書全体に対して収集されたグローバル統計から、背景色と一致するビデオ値を識別してもよい。
【００３２】
オプションとして、解析ステップＳ５９を、画像データ統計を解析してウィンドウに対する適切な画像強調オプションを決定するために実行してもよい。ステップＳ５９で実行され得る解析としては、ヒストグラムの分散量の計算、露光及び/又はカラーバランス統計の比較等を挙げることができる。コンパイルされた統計及び解析に基き、露光レベル、カラーバランス、コントラスト、彩度等といった１つ以上のウィンドウパラメータを調整して、そのウィンドウに対する１つ以上の固有の階調再現曲線（ＴＲＣ）を作成してもよい。
【００３３】
図９は、画像データを通る第２パスで実行される処理をより詳細に示すフロー図である。詳細には、第２パスの処理は、走査画像データ内の走査時アーチファクトをマスキングするための、第２パスビデオ画像データ及び第２パス分類タグに対する操作を行う。第２パスビデオ画像データは、メモリ又は他の記憶ロケーションから取出された（第１パス）画像データからなっていてもよく、又は、原画像文書を再走査することにより取得した画像データからなっていてもよい。同様に、第２パス分類タグは、メモリ又は他の記憶ロケーションから取出された第１パスタグからなっていてもよく、又はメモリから取出した又は再走査によって取得したビデオ画像データから生成された分類タグからなっていてもよい。
【００３４】
タグ再マッピングステップＳ７２は、第１パス画素分類タグを修正する。ステップＳ７２は、ステップＳ３で識別されたウィンドウに対応する第１パス画素分類タグを識別し、これらのタグを、ウィンドウ分類及び分類タグの関数として生成された分類タグと置換する。例えば、別のウィンドウの中に存在する走査時アーチファクトに対しては、タグ再マッピング関数は、走査時アーチファクトと関連づけられたタグを周囲のウィンドウの分類タグと置換してもよい。
【００３５】
ビデオ置換ステップＳ７４は、走査時アーチファクトとして分類されたウィンドウに対応する画素を識別し、識別された画素の画像データを、ステップＳ５７で周囲の画像データと調和するように決定されたビデオ値と置換することにより、ビデオ画像データを修正する。ステップＳ７６では、修正された分類タグに従って、修正済のビデオ画像データが描画される。
【００３６】
走査文書内の走査時アーチファクトを、２パス自動ウィンドウ化技術を用いて検出及びマスキングする方法を説明してきたが、次に、走査時アーチファクトを検出及びマスキングするために走査画像データを処理するためのシステムについて論じる。図１０を参照すると、本発明の一実施形態に従った、走査時アーチファクトを検出して、検出されたアーチファクトをマスキングするために画像データを補正するシステムのブロック図が示されている。
【００３７】
図１０に示されるように、走査画像文書を表わすビデオ画像データ１００は、分類回路１０２及び画像データ統計コンパイル回路に送られる。分類回路１０２は、バッキング画素を識別するバッキング検出ステージ１０６及び画素の画像タイプを識別するセグメント化ステージ１０８を含む。バッキング検出ステージ１０６及びセグメント化ステージ１０８は、協働して分類タグ１１０を生成する。
【００３８】
分類タグ１１０は自動ウィンドウ化回路１１２に送られ、自動ウィンドウ化回路１１２は、走査時アーチファクトを表わしている可能性があるウィンドウを識別し、識別したウィンドウのウィンドウデータ１１４を生成する。詳細には、自動ウィンドウ化回路１１２は、１つの走査線内のあらゆるラインセグメントを識別し、各ラインセグメントの統計をコンパイルし、ラインセグメントを結んでウィンドウセグメントを構築し、ウィンドウをフィルタリングし、位置を割出し、分類する。自動ウィンドウ化を実装するための方法及び装置は公知であり、例えば、本明細書に参照として援用するファンら(Fan et al.)の米国特許第5,850,474号が教示している。
【００３９】
上述したように、ビデオ画像データ１００は画像データ統計コンパイル回路１０４にも送られる。統計コンパイル回路１０４は、コンパイルステージ１２０及び解析ステージ１２２を含む。コンパイルステージ１２０は、入力されたビデオ画像データ１００のＭ×Ｎ個の各ブロックについて、コントラスト統計、露光統計、及びカラー統計等といった画像データ統計を収集する。解析ステージ１２２は、自動ウィンドウ化回路１１２からのウィンドウデータ１１４を用いて、自動ウィンドウ化回路によって識別されたウィンドウと関連づけられた特定のＭ×Ｎ個のブロックを識別する。解析ステージは、１つ以上の関連ブロックのコンパイルされた統計を解析して、走査時アーチファクトをマスキングするためのビデオ値を識別する。解析ステージ１２２は、走査時アーチファクトのマスキングに用いられるビデオ値を識別するビデオ置換信号１２４を供給する。
【００４０】
第２パスの処理では、第２パスビデオ画像データ１００’がデータ置換回路１３０に送られ、データ置換回路１３０は、ビデオ置換信号１２４に応答して、修正済ビデオ画像データ１３２を生成する。詳細には、画像データ１００’及びビデオ置換信号１２４が画像データ置換回路１３０に送られ、画像データ置換回路１３０は、走査時アーチファクトとして識別されたウィンドウに対応する画像データ１００’内の画素を、信号１２４内のビデオ値と置換する。
【００４１】
同様に、第２パス分類タグ１１０’及びウィンドウデータ１１４がタグ再マッピング回路１３４に送られ、タグ再マッピング回路１３４は、ウィンドウと対応する画素分類タグを、ウィンドウ分類及び第２パス分類タグの関数として生成された分類タグと置換し、再マッピング済の分類タグ１３６を生成する。再マッピング済分類タグ１３６及び修正済ビデオ画像データ１３２は描画回路１３８に送られ、再マッピング済分類タグに従って修正済ビデオ画像データが描画される。
【００４２】
図１０の各回路は、個々に又は１つ以上の他の回路と組合わされて、汎用又は専用コンピュータ、マイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、ディスクリート素子回路などのハードワイヤード電子又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬなどのプログラム可能論理デバイスを構成してもよいことを、当業者は理解するであろう。更に、特定のハードウェアとソフトウェアとを組み合わせて用いて、特定の操作を実現してもよい。
【００４３】
本発明の一実施形態に従った２パス自動ウィンドウ化処理を、走査時アーチファクトの検出及びマスキングにどのように用いることができるかの一例を、図１１から図１５を参照して更に示す。この例では、図１１の原文書を表わすビデオ画像データ１４０は、予め３つの穴がパンチされた用紙の３つの穴１４２、１４４及び１４６等からの走査時アーチファクトをマスキングするために処理される。ビデオ画像データは、各画素の分類タグを生成するための分類操作を通して処理される。図１２は、画像データの幾つかの走査線の部分に対する分類ステップの結果を図示している。
【００４４】
自動ウィンドウ化操作は、分類タグを処理して、各走査線内のウィンドウラインセグメントを識別し、各ラインセグメントの統計をコンパイルし、ラインセグメントを結んでウィンドウセグメントを構築し、完成したウィンドウをフィルタリングし、位置を割出し、分類する。例えば、図１２に示されている画像データを操作する際に、走査線Ｎ内の、画素１５０から１５２までの非背景画素の第１セグメントと、バッキング画素として識別された画素からなる画素１５４から１５６までの第２セグメントと、画素１５８から１６０までの第３セグメントとの、３つのラインセグメントを識別するための、ウィンドウ選択基準を用いてもよい。識別された３つのラインセグメントの各々について、分類タグ統計がコンパイルされる。
【００４５】
次の３つの走査線Ｎ＋１からＮ＋３までの各々では、同様の３つのラインセグメントが識別され、各々について統計がコンパイルされる。セグメントの識別及び統計の収集は走査線ごとに行われるので、自動ウィンドウ化操作は、ウィンドウセグメントを構築するために、連続する操作線のラインセグメントを周期的に結ばなくてはならない。走査線Ｎ＋３を通して、自動ウィンドウ化操作は、走査線内で識別された３つのラインセグメントの各々を、隣接する走査線内の個々のラインセグメントと結び、ウィンドウセグメント１６２、１６４及び１６６を形成する。
【００４６】
走査線Ｎ＋４では、操作は、ウィンドウセグメント１６２及び１６６が、２つのセグメントのタグ統計をマージして１つのウィンドウセグメントを形成できるように結ばれていることを識別できる。更に、走査線Ｎ＋４では、ウィンドウセグメント１６４が終結していることを決定でき、それにより、完成したウィンドウが形成される。完成したウィンドウの識別後、そのウィンドウを保持するか否かを決定でき（即ち、完成したウィンドウがフィルタリングされる）、ウィンドウ分類を生成でき、ウィンドウの位置を記録できる。自動ウィンドウ化操作は、文書内のウィンドウの位置及び分類を識別する出力を与える。図１３は、図１１の文書について識別されたウィンドウのウィンドウデータ１７０を図示している。
【００４７】
上述したように、ビデオ画像データは、画像データ統計をコンパイル及び解析するための処理を通る。図１４は、コンパイル及び解析処理を図示している。画像データ統計をコンパイルするには、文書画像をＭ×Ｎ個の複数のブロック１７２に区分することが必要である。入力されたビデオ画像データのＭ×Ｎ個のブロック１７２の各々について、コントラスト統計、露光統計、及びカラー統計等といった画像データ統計が収集される。自動ウィンドウ化操作を介して生成されたウィンドウ情報１７０を用いて、任意のウィンドウ１７６と関連づけられた特定のＭ×Ｎブロック１７４を識別できる。
【００４８】
１つのウィンドウと関連づけられたブロック１７４が識別されたら、１つ以上の識別されたブロック１７４についてコンパイルされた統計を解析できる。例えば、ウィンドウ１７６内に存在する走査時アーチファクト１７８については、走査時アーチファクトをマスキングするためのビデオ値を導出するために、アーチファクトに隣接する又は近傍のブロック１８０だけに対する統計を解析してもよい。同様に、孤立している走査時アーチファクトについては、走査時アーチファクトをマスキングするためのビデオ値は、文書全体の背景ヒストグラムに基いて導出されてもよい。
【００４９】
走査時アーチファクトをマスキングするための第２パスの処理で行われるビデオ置換操作は、図１５に図示されている。図１５では、文書１８２は図１１の文書１４０のウィンドウの第１パスビデオ画像データを表わしており、文書１８４は、ビデオ置換操作後の、文書１４０のウィンドウの第２パスビデオ画像データを表わしている。文書１８２では、穴１４２、１４４及び１４６と関連づけられたビデオデータが、走査システムのバッキングを表わす値を有して示されている。文書１８４では、穴１４２のビデオ値はウィンドウ１７６内のブロックから導出されたビデオデータと置換されており、穴１４４及び１４６のビデオ画像データは、文書全体について収集されたグローバル統計から導出されたデータと置換されている。
【図面の簡単な説明】
【図１】欠陥を有する原文書の一例を示す図である。
【図２】走査時アーチファクトを有したままの、図１に示されている文書の描画又は表示されたコピーの例を示す図である。
【図３】走査時アーチファクトを有したままの、図１に示されている文書の描画又は表示されたコピーの例を示す図である。
【図４】本発明の概念に従って走査時アーチファクトを検出及びマスキングする方法の一実施形態を示すフロー図である。
【図５】本発明の概念に従って画素を分類する処理を示すフロー図である。
【図６】本発明の概念に従った自動ウィンドウ化処理の一実施形態を示すフロー図である。
【図７】自動ウィンドウ化操作によって生成されたウィンドウの構成要素の模式図である。
【図８】画像データ統計をコンパイル及び解析する処理の一実施形態を示すフロー図である。
【図９】画像データを通る第２パスで実行される処理を示すフロー図である。
【図１０】本発明の概念に従って走査時アーチファクトを検出及びマスキングする装置の模式図である。
【図１１】欠陥を有する原文書の一例を示す図である。
【図１２】画像データの幾つかの走査線の部分の画素分類タグを表わす図である。
【図１３】図１１の文書内で識別されたウィンドウを表わす図である。
【図１４】画像データ統計のコンパイル及び解析を表わす図である。
【図１５】画像データ統計の解析から導出されたビデオ値を用いた走査時アーチファクトのマスキングを示す図である。
【符号の説明】
２文書
６欠陥
１６走査時アーチファクト
８０文書
８２ウィンドウ
８４ウィンドウセグメント
８６ラインセグメント
１８２文書（第１パスビデオ画像データ）
１８４文書（第２パスビデオ画像データ）

Claims

画像データに対する画素分類タグを生成するステップと、
画素分類タグを用いて、走査時アーチファクトと関連づけられた文書内のウィンドウを識別するステップと、
画像データを解析して置換ビデオ値を生成するステップと、
走査時アーチファクトと関連づけられた前記画像データを置換ビデオ値と置換するステップと、
を有する、文書を表わす画像データ内の走査時アーチファクトをマスキングするための方法であって、
前記画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、
前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られた画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、
前記画素分類タグは、各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像である前記走査時アーチファクトとしてのバッキング画像の画素なのかを示し、
前記ウィンドウを識別するステップでは、
前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、
前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトと関連づけられた文書内のウィンドウを識別する
ことを特徴とする文書を表わす画像データ内の走査時アーチファクトをマスキングするための方法。
ビデオ画像データに対する画素分類タグを生成する分類回路と、
画素分類タグを受け取るように接続された自動ウィンドウ化回路であって、走査時アーチファクトを識別するウィンドウデータを生成する自動ウィンドウ化回路と、
ビデオ画像データ及びウィンドウデータを受け取るように接続された統計コンパイル回路であって、ビデオ置換データを生成する統計コンパイル回路と、
ビデオ置換データを受け取るように接続されたビデオ置換回路であって、前記ビデオ画像データ内の選択された画素をビデオ置換データと置換するビデオ置換回路と、
を有する、文書を表わすビデオ画像データ内の走査時アーチファクトをマスキングするための装置であって、
前記ビデオ画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、
前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られた画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、
前記画素分類タグは、各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像である前記走査時アーチファクトとしてのバッキング画像の画素なのかを示し、
前記自動ウィンドウ化回路は、
前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、
前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトを識別するウィンドウデータを生成する
ことを特徴とする文書を表わすビデオ画像データ内の走査時アーチファクトをマスキングするための装置。
走査画像を表わす画像データを供給する画像入力ターミナルと、
画像データ内の走査時アーチファクトを検出及びマスキングするためのマスキングプロセッサであって、
ビデオ画像データ内のバッキング画素を識別するための分類回路と、
走査時アーチファクトを識別するウィンドウデータを生成するための自動ウィンドウ化回路と、
ビデオ置換データを生成するための画像解析回路と、
前記ビデオ画像データ内の選択された画素をビデオ置換データと置換するためのビデオ置換回路と、
を含むマスキングプロセッサと、
ビデオ置換回路から受け取った前記ビデオ置換データに応答して画像を生成するための画像出力ターミナルと、
を有する、画像データ処理システムであって、
前記ビデオ画像データは、文書を第１の走査方向に読み取ると共に、該文書を第１の走査方向に読み取るごとに該第１の走査方向と直交する第２の方向に該文書の読み取る位置を移動させて、該文書を読み取ることにより得られた各画素の明度情報のデータであり、
前記文書を読み取る際には、前記文書を読み取る側とは前記文書に対して反対側から、読み取って得られたビデオ画像データが前記文書とは明度上区別される平面部材であるバッキングにより前記文書が覆われ、
前記分類回路は、
各画素が前記文書の画像の画素なのか、前記文書に存在する穴、切れた箇所、裂け目、及び耳折れの何れかを介して前記バッキングを読み取って得られた画像であるバッキング画像の画素なのかを示す画素分類タグを生成し、生成した画素分類タグに基づいてビデオ画像データ内のバッキング画素を識別し、
前記自動ウィンドウ化回路は、
前記文書の画像を、各々の長手方向が前記第１の走査方向に対応する方向でありかつ前記第２の走査方向に対応する方向に隣接するように複数並んだ各々長方形の複数の画像部分に分割して得られる複数のウィンドウラインセグメント各々内で、各画素の画素分類タグに基づいて、同じ画素分類タグの画素をまとめてラインセグメントとし、
前記第２の走査方向に対応する方向に隣接するラインセグメントで、同じ画素分類タグを持つラインセグメントをまとめて、同じ画素分類タグを持つ画素の集まりであるウィンドウを形成し、形成したウィンドウ及び前記バッキング画像を示す画素分類タグに基づいて、走査時アーチファクトを識別するウィンドウデータを生成する
ことを特徴とする画像データ処理システム。