JP4637335B2 - セグメンテーション・タグ浄化方法及びセグメンテーション・タグ処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、セグメンテーション・タグを処理するためのシステム及び方法に関し、より詳細には、分類誤り、及び、画像分類の突然の変更により発生するアーチファクト（artifact）を減少させるためにセグメンテーション・タグを浄化（整理）するためのシステム及び方法に関する。
【０００２】
【従来の技術】
画像データからの画像の再生又は表示において、そしてより詳細には、電子走査されたオリジナル文書を表わす画像データのレンダリングに対して、人々はレンダリング・システムの限界のある解像能力に直面する。画像処理システムは、レンダリング・システムの限界を補うように調整され得るが、この調整は、異なる画像タイプにより要求される多岐にわたる処理ニーズのために困難である。
【０００３】
ある一般的な画像タイプのためにシステムを最適化することは一般に、他の画像タイプのレンダリングの品質を犠牲にして達成される。即ち、品質低下を伴う。例えば、低周波数のハーフトーンのためにシステムを最適化することはしばしば、高周波数のハーフトーン又はテキスト／線画（ラインアート）のレンダリングの品質を犠牲にし、逆もまた同様である。この点から、レンダリング装置の解像能力及び深さ（depth）の能力における限界を懸命に補うために、ある画像タイプのために画像処理システムを最適化することは不可能であり、容認し難い結果をもたらし得る妥協的選択を必要とする。オリジナル文書の再生を更に複雑にするのは、文書が、連続調（contones：continuous tones）、様々な周波数のハーフトーン、テキスト／線画、誤り／誤差の多い画像等を含む多数の画像タイプ（画像クラス）から構成され得るという現実である。
【０００４】
この状況を扱うために、デジタル複写装置はしばしば、自動画像セグメンテーション技術を使用する。自動セグメンテーションは、ビデオ画像データを分析し、画像ピクセルを複数の可能な画像クラスの内の１つとして分類するために、多数の分類関数（例えば、自己相関、周波数分析、パターン又はテンプレート・マッチング、ピーク／谷（底）の検出、ヒストグラム等）の何れかを用い得る周知の演算である。一般的な自動セグメンテーション・プロセスは、セグメンテーション・タグとして知られるピクセル分類信号を生成し、このセグメンテーション・タグはピクセルを特定の画像クラスとして識別する。幾つかの一般的な画像タイプ（画像クラス）には、滑らかな連続調、粗い連続調、テキスト、色付けされたテキスト、低周波数のハーフトーン、高周波数のハーフトーン、ファジイ周波数として実施され得る様々な中間周波数のハーフトーン、背景及びエッジが含まれる。
【０００５】
【発明が解決しようとする課題】
シングル・パス（走査及びプリントが画像の１度のパス（通過／処理）で行われる）のデジタル複写システムは、近傍データの２、３本の走査線に基づいて画像の各ピクセルを分析及び分類するための機会を一度のみ有する。分類のためのコンテキストが限られるために、シングル・パスのセグメンテーションはしばしば、カテゴリー間での誤った切替えをもたらし、そして異なるカテゴリーは異なるタイプのレンダリングを必要とするので、如何なる分類誤りも、最終的な表示画像上にセグメンテーションの欠陥をもたらす。従来のセグメンテーション技法は、近傍データの数本の走査線から複数ピクセルのコンテキストに関して集められた情報に基づいて分類判断を行い、画像データが低域通過フィルタでフィルタリングされることを効果的にもたらす。結果として生じる分類判断は、画像の１つのクラスから別のクラスへ変化させ、誤った場所に突然の変化をもたらす。複数の分離した代替選択肢の中から強制選択をもたらすこの突然の意志決定が、結果として生じる出力画像に目に見えるアーチファクトを形成する主な理由である。
【０００６】
また、実画像の分類は、分類を示すために使用される遷移点又はしきい値より遥かに低い値から遥かに高い値までの連続体に及ぶ。例えば、しきい値を少し超える画像の領域が存在する。しかしながら、収集された画像データにおける多様性は、入力ビデオにおける「きず／欠陥」、又は分類のために使用される領域と入力ビデオにおける周期構造との間の相互作用によるリップル（小波）のために、ある領域がしきい値を下回る結果をもたらす。これは、表示画像にアーチファクトを誘発する別の分類をもたらす。
【０００７】
成功の度合いは様々であるが、分類誤り及び／又は画像分類の突然の変更により生じるセグメンテーション・アーチファクトを減少させるためにセグメンテーション・プロセスを改善するための幾つかの手法が、これまでに採用されている。以下の参考文献は本開示に関連することが確認されるであろう。
【０００８】
Williamsへの米国特許第5,327,262号は、画像が画像タイプ検出装置により処理される画像セグメンテーション装置と共に、画像検出信号の領域内のノイズを除去するために画像検出信号を操作するノイズ除去フィルタを先ず提供し、次に画像タイプ検出結果における僅かなずれを埋める穴埋めフィルタを提供するモルフォロジカル（morphological）フィルタ演算を開示している。
【０００９】
Schweid他への米国特許第5,765,029号は、１セットのデジタル画像データに属するピクセルを、複数の画像クラスにおけるピクセルのメンバーシップ（どのクラスに属するか）に関して電子的にファジイに分類する方法及びシステムを開示している。このプロセスは、ピクセルのファジイな分類を決定し、このファジイな分類判断に基づいてピクセルのための結果のタグを生成する。各クラスは、画像クラスが相互排他的ではないような１セットのヒューリスティックな規則により定義される。
【００１０】
Fan他への米国特許第5,850,474号は、画像データをウィンドウにセグメント化するための、及びこのウィンドウを一般的な画像タイプとして分類するための方法及び装置を開示しており、これらの方法及び装置は画像データ全体にわたって２度のパスを行うことを含む。この方法は、ウィンドウを識別するため及び各ウィンドウの開始点と画像タイプとを記録するために画像データ全体にわたって１回目のパスを行うステップと、各ピクセルに特定の画像タイプをラベル付けするために画像データ全体にわたって２回目のパスを行うステップとを含む。
【００１１】
本発明では、セグメンテーション・タグの浄化方法が提供される。この方法は、セグメンテーション・タグから成るセットを受信し、この受信したセグメンテーション・タグ内の連結構成要素を識別する。連結構成要素は、予め選択された画像タイプのセグメンテーション・タグを含む。この方法は更に、連結構成要素に関する統計を収集するステップと、この収集された統計に基づいて連結構成要素のための代表タグを生成するステップと、を含む。
【００１２】
本発明の別の態様では、セグメンテーション・タグを処理するためのシステムが提供される。このシステムは、セグメンテーション・タグを受信するため及びこの受信したセグメンテーション・タグ内の弱連結のセグメンテーション・タグを識別するために接続されたタグ分析モジュールと、受信したセグメンテーション・タグ内の連結構成要素を識別する連結構成要素ジェネレータと、連結構成要素のための代表タグを生成するタグ生成モジュールと、を含む。
【００１３】
【発明の実施の形態】
本発明による、セグメンテーション・タグを処理するための装置及び方法を説明する。用語「セグメンテーション・タグ」又は「タグ」は、画像内の定義可能な領域に関する画像タイプ又は画像クラスを識別又は表現する電気信号又は光信号を意味する。以下の説明は、ピクセル・レベルのセグメンテーション・タグ及びブロック・レベルのセグメンテーション・タグに言及する。「ピクセル・レベルのセグメンテーション・タグ」又は「ピクセル・レベルのタグ」は、画像ピクセルのためのセグメンテーション・タグを意味する。「ブロック・レベルのセグメンテーション・タグ」又は「ブロック・レベルのタグ」は、複数のセグメンテーション・タグの代表であるセグメンテーション・タグを意味する。即ち、ブロック・レベルのセグメンテーション・タグは、複数のピクセル・レベルのセグメンテーション・タグ又は複数のブロック・レベルのセグメンテーション・タグの代表タグであり得る。
【００１４】
ここで図１３を参照すると、本発明の特徴が組み入れられたデジタル・イメージング（画像形成）・システム２００の実施の形態が示されている。デジタル・イメージング・システム２００は、画像データ２０４を画像処理システム２０６に提供するラスタ入力スキャナ（ＲＩＳ）又は同様の画像入力端末等の画像ソース２０２を含む。画像データ２０４は、一般にＣＣＤと呼ばれる電荷結合素子の多重フォトサイト（photosite）アレイ等の１つ又は複数の感光性素子によって、オリジナルの画像を有する画像を１ラインずつ走査することにより得ることができる。画像データ存続中の、オリジナル画像を有する画像の１ラインずつの走査は公知であり、本発明の一部ではない。画像ソース２０２は、ラスタ入力スキャナとして図示されているが、コンピュータ・ワークステーション、データ記憶装置、ネットワーク又は画像データ２０４を生成するための任意の類似又は同等の画像入力端末から構成されてもよいことが理解されるであろう。
【００１５】
画像処理システム（ＩＰＳ）２０６は、受信した画像データ２０４を処理し、プリント・エンジン２１０に供給されるプリント可能なデータ２０８を生成する。プリント可能なデータ２０８に応じて、プリント・エンジン２１０は適切な媒体（例えば、プリント又はディスプレイ）上に出力画像を生成する。電子写真式エンジンとして図示されているが、本発明は、インク・ジェット、イオノグラフィック、サーマル等の多様な出力装置で有用であることが以下の議論から明らかになるであろう。更に、本発明は、複写及びプリント装置への適用に制限されず、ＣＲＴ、ＬＣＤ、ＬＥＤ等を含む電子表示システム等の他の出力端末にも組み入れられることが可能である。
【００１６】
プリント・エンジン２１０は、ＩＰＳ２０６からのプリント可能なデータ２０８に作用し、電荷保持表面である受光ベルト（受光体）２１２の１度のパスで文書を生成するように図示されている。更に、プリント・エンジン２１０は、光源としてレーザーに基づくラスタ出力走査装置（ＲＯＳ）２１４を含むように示されているが、例えば、ＬＥＤプリント・バー等の他の光源が用いられ得ることが理解されるべきである。簡単に述べると、受光体（ベルト）２１２が、例えばコロナ生成装置から成る帯電ステーション２１６を通過すると、受光体２１２は均一に帯電される。均一に帯電された受光体２１２は次に、ＩＰＳ２０６から送信される画像データに応じて受光体２１２を露光するＲＯＳ２１４を通過し、それにより受光体２１２上に静電画像が形成される。静電画像は次に、現像ステーション２１８でトナーにより現像され、ベルト２１２上にトナー画像が生成される。トナー画像はその後、転写ステーション２２０でプリント媒体（図示せず）に転写される。転写された後、画像はプリント媒体に定着される。
【００１７】
本発明は、セグメンテーション・アーチファクトを減少させるためにセグメンテーション・タグを処理するためのシステムに関する。本発明は、セグメンテーション・タグを処理するためにブロック・タグ・ジェネレータ、ブロック・タグ・クリーナ、及びピクセル・タグ・クリーナの３つのセグメンテーション・タグ・プロセッサの内の１つ以上を含むシステムを提案する。セグメンテーション・タグ・プロセッサは、セグメンテーション・アーチファクトを減少させるために、単独で使用されても、他のセグメンテーション・タグ・プロセッサの内の１つ又は両方と組合せて使用されてもよい。
【００１８】
一般に、ブロック・タグ・ジェネレータは、１ブロックのセグメンテーション・タグを識別し、識別されたブロック内のセグメンテーション・タグに関する統計を集め、この集められた統計に基づいて、識別されたセグメンテーション・タグのブロックのためのブロック・レベルのタグを生成する。ブロック・レベルのタグは、識別されたブロック内のセグメンテーション・タグの代表セグメンテーション・タグ（単数又は複数）を識別する。ブロック・タグ・ジェネレータは、１ブロックのピクセル・レベルのセグメンテーション・タグ、及びブロックのブロック・レベルのセグメンテーション・タグの何れにおいても作用することが可能である。
【００１９】
ブロック・タグ・クリーナは、近傍のセグメンテーション・タグから成るグループに基づいてセグメンテーション・タグを浄化する（clean:不要な物を取り除き整理する）ように作用する。第１の実施の形態において、ブロック・タグ・クリーナは、近傍のセグメンテーション・タグから成るブロックに基づいてセグメンテーション・タグを浄化するためにヒューリスティック（heuristic）な規則と組合せてモルフォロジカル演算を使用する。より詳細には、浄化されるべきセグメンテーション・タグが識別されると、近傍のセグメンテーション・タグから成る予め定められたブロックが識別される。近傍のタグから１つ又は複数の予測が立てられ、この予測に基づいて浄化済みのタグが生成される。
【００２０】
ブロック・タグ・クリーナの第２の実施の形態において、セグメンテーション・タグは、セグメンテーション・タグの連結された構成要素を統計的に分析することにより浄化される。この実施の形態において、弱連結（即ち、連結性の強度が低い）のセグメンテーション・タグは、セグメンテーション・タグのセットから除去され、連結される構成要素は残りのセグメンテーション・タグから識別される。タグの統計は、各連結された構成要素ごとに集められ、代表セグメンテーション・タグは、集められた統計及び予め定められた規則に基づいて各連結された構成要素に割り当てられる。
【００２１】
ピクセル・タグ・クリーナは、近傍のセグメンテーション・タグから成るウィンドウに基づいてピクセル・レベルのセグメンテーション・タグを変更するために、ピクセル・レベルのセグメンテーション・タグ上で作用する。近傍のセグメンテーション・タグに関する知識は、ピクセル・レベルのタグの値に関する賢い判断を行うのを助ける。有利なことに、ピクセル・タグ・クリーナは、ピクセル・レベルのタグを変更するための判断を、ブロック・タグ・ジェネレータ又はブロック・タグ・クリーナから取得可能であるような近傍のブロック・レベルのタグに基づいて行う。ピクセル・レベルのタグを変更するための判断を、近傍のブロック・レベルのタグに基づいて行うことは、「ブロック状（塊状）」に見える分類を回避し、セグメンテーション・マップのオリジナルの輪郭を保持する。しかしながら、ピクセル・タグ・クリーナは、近傍のピクセル・レベルのセグメンテーション・タグから成るウィンドウに基づいてピクセル・レベルのタグを浄化してもよい。
【００２２】
セグメンテーション・タグの処理システムで使用されることが可能な３つのセグメンテーション・タグ・プロセッサのそれぞれの作用が簡単に説明されたので、次に各セグメンテーション・タグ・プロセッサの作用のより詳細な議論に目を向ける。図１を参照すると、ブロック・レベルのタグの生成における様々なステップ、及びブロック・タグ・ジェネレータのオペレーション（演算）の説明を例示するフローチャートが示される。図１に示されるように、ブロック・レベルのタグの生成は、ステップ１０でのセグメンテーション・タグの受信により開始される。上述されたように、ブロック・タグ・ジェネレータは、ブロック内のセグメンテーション・タグに関する統計に基づいてブロック・レベルのタグを生成する。所定のブロックに関する統計を集めるために、タグから成るそのブロックを構成するセグメンテーション・タグが識別されなければならない。
【００２３】
１ブロックのセグメンテーション・タグの識別は、ウィンドウ化技法を用いて達成され得、ウィンドウ化技法では、受信されたセグメンテーション・タグがバッファに格納され、十分な数のセグメンテーション・タグが格納されると、検査及び統計の収集のために１ブロックのタグがバッファから選択される。しかしながら、このようなウィンドウ化技法は、受信されたセグメンテーション・タグをバッファに格納するための大容量の記憶装置を必要とし得る。セグメンテーション・タグのバッファリングを削減するために、ブロック・タグ・ジェネレータは、タグが受信される際にブロックにセグメンテーション・タグを割り当てることにより１ブロックのセグメンテーション・タグを識別することができる。ステップ１２では、セグメンテーション・タグが受信されると、ブロック・タグ・ジェネレータが、セグメンテーション・タグを対応するブロックに格納する。一般に、ステップ１２では、ルックアップ・テーブル、カウンタ、アドレス生成回路又は他の類似又は同等の任意の方法を用いて、所定のブロックにセグメンテーション・タグが格納されることが可能である。
【００２４】
次に、ステップ１４に示されるように、ブロック・タグ・ジェネレータは、タグから成る１ブロック内のセグメンテーション・タグに関する統計を集める。ステップ１４で集められた統計は、そのブロックの代表セグメンテーション・タグ又はブロック・レベルのタグを決定するために使用される。セグメンテーション・タグが１ブロックのタグに割り当てられると、ステップ１４は、セグメンテーション・タグを、そのセグメンテーション・タグが割り当てられているタグのブロックに関して先に集められた任意の統計に組み入れる。有利なことに、セグメンテーション・タグの統計を集める際に、このブロック内の全てのセグメンテーション・タグが含まれる。しかしながら、タグの統計は、全てのセグメンテーション・タグから集められなくてもよいことが理解されるべきである。例えば、統計の収集を実行するハードウェア及び／又はソフトウェアがデータ転送速度に追い付かない場合は、ブロック内のセグメンテーション・タグのサブ・サンプリングが統計を集めるために用いられ得る。
【００２５】
ブロック・レベルのタグの決定は、ブロック内のセグメンテーション・タグから導かれる任意の統計又は同様の情報に基づいて行われることが可能である。例えば、集められ得る可能な統計には、セグメンテーション・タグの異なる値がそのブロック内でそれぞれ発生する回数、異なるセグメンテーション・タグ値のそれぞれの頻度分布、優勢なセグメンテーション・タグ値、及びセグメンテーション・タグ値の重み付きカウントが含まれる。セグメンテーション・タグの値は、そのセグメンテーション・タグにより識別されるか又は表わされる画像クラス又は画像分類を示す。ブロック・レベルのタグを生成するために代替の統計が採用され得ることを当業者が認めるであろうことが理解されるであろう。
【００２６】
ステップ１６では、所定のブロックの全てのセグメンテーション・タグが処理されたか否かの判断が成される。もし処理されていない場合は、このプロセスはステップ１０にループバックし、更なるセグメンテーション・タグを受信する。もしブロック全体が処理されている場合は、ステップ１８でブロック・レベルのタグが生成される。次にステップ２０で、もし処理されるべき更なるセグメンテーション・タグが存在すると判断された場合には、プロセスはステップ１０にループバックする。処理を必要とする更なるセグメンテーション・タグが存在しなくなると、このプロセスは終了する。
【００２７】
上述のように、ブロック・レベルのタグは、セグメンテーション・タグから集められるべく選択された任意の統計に基づくことが可能である。有利であることに、ブロック・タグ・ジェネレータは、各ブロック内の最も優勢なタグ（Ｔｍ）及び２番目に優勢なタグ（Ｔｍ−１）を識別し、これらのタグに基づいてブロック・レベルのタグを生成する。最も優勢なタグ（Ｔｍ）をブロック・レベルのタグとすることが好結果をもたらすことが確認されている。しかしながら、セグメンテーション・タグにより表わされる様々な画像クラスに基づくと、Ｔｍ及びＴｍ−１の両方を識別するブロック・レベルのタグを提供すること、又はＴｍ及びＴｍ−１の関数としてブロック・レベルのタグを生成することが有利であり得ることが理解されるであろう。
【００２８】
Ｔｍ及びＴｍ−１の関数としてブロック・レベルのタグを生成することが有利であり得る状況は、次の画像クラス（滑らかな連続調、粗い連続調、低周波数のハーフトーン、ファジイ（又は中間）低周波数ハーフトーン、ファジイ（又は中間）高周波数ハーフトーン、高周波数のハーフトーン、テキスト、及び背景）から構成される１セットのセグメンテーション・タグを与えられた場合に起こり得る。例えば、もしＴｍがファジイ又は中間周波数のハーフトーンであり、Ｔｍ−１が低周波数又は高周波数のハーフトーンである場合に、ブロック・レベルのタグは、最も優勢なタグＴｍよりも寧ろ２番目に優勢なタグＴｍ−１に設定され得ることが理解されるであろう。上記１セットの画像クラスを与えられた場合に、ブロック・レベルのタグ（ＢＴ）をＴｍ及びＴｍ−１の関数として生成するためのある可能な規則のセットは、次のＣ言語に似たプログラミング命令文により記述されることが可能である。

【００２９】
上記規則のセットは、１つ又は複数の優勢タグの関数としてのブロック・レベルのタグの生成を示すための例として提供され、当業者はブロック・レベルのタグを生成するための異なる規則を見出し得ることが理解されるであろう。更に、ブロック・タグ・ジェネレータは、その後ブロック・タグ・クリーナ又はピクセル・タグ・クリーナにより使用されるＴｍ及びＴｍ−１の両方を提供することが可能である。また更に、１セットの画像クラスが例として示されているが、当業者は画像クラスの他の組合せ、並びに別の個数のクラスを採用し得ることが理解されるであろう。
【００３０】
要約すると、図１に示されるブロック・レベルのタグの生成方法は、ステップ１０でのセグメンテーション・タグの受信で開始される。ステップ１２では、受信されたセグメンテーション・タグが１ブロックのタグに割り当てられる。次にステップ１４で、このタグが、受信されたセグメンテーション・タグが割り当てられたこのブロックのタグに関して集められた統計に含められる。ステップ１０、１２及び１４は、ブロック内の選択されたセグメンテーション・タグ全てに関して統計が集められるまで繰り返される。ブロックに関する統計の収集が完了すると、このプロセスはステップ１８でブロック・レベルのタグを生成する。上記ステップは、全てのセグメンテーション・タグが受信されるまで繰り返されることが可能である。有利なことに、ブロック・タグ生成プロセスは、ピクセル・レベルのセグメンテーション・タグから成るブロックを代表するブロック・レベルのタグを生成するために、自動セグメンテーション・プロセッサから取得可能であるようなピクセル・レベルのセグメンテーション・タグ上で作用する。しかしながら、図１により表わされるプロセスは、それ自体がブロック・レベルのタグを含むブロックを代表するブロック・レベルのタグを生成するために使用されることが可能であることが理解されるべきである。
【００３１】
ブロック・レベルのタグを生成するための方法が概略的に説明されたので、次に本発明のブロック・タグ・ジェネレータの実施の形態の議論に目を向ける。図２を参照すると、ブロック・タグ・ジェネレータ３０の実施の形態のブロック図が示される。ブロック・タグ・ジェネレータ３０は、アドレス・コントローラ３２、統計収集モジュール３４、タグ分類回路３６、及びブロック・タグ・メモリ３８の４つの関数モジュールを含む。
【００３２】
より詳細には、統計収集モジュール３４は、セグメンテーション・タグを受信する幾つかの独立したサブ・モジュール（例えば、収集回路３４Ａ及び３４Ｂ）を含む。各収集回路３４Ａ及び３４Ｂは、セグメンテーション・タグから成るブロックに関する統計を集めるために受信されたセグメンテーション・タグ上で作用する。モジュール・カウンタ、アキュムレータ、又はルックアップ・テーブル等を含むことが可能なアドレス・コントローラ３２は、各セグメンテーション・タグを受信するために統計収集モジュール３４内の適切な収集回路３４Ａ又は３４Ｂを選択する。モジュール３４で収集された統計は、タグ分類回路３６に連結され、タグ分類回路３６では、統計がブロック単位で分類（ソート）され、最終的なブロック・タグが生成される。その後、最終的なブロック・レベルのタグが、ブロック・タグ・メモリ３８に書込まれ、ブロック・レベルのタグは他のプロセッサによる使用のためにブロック・タグ・メモリ３８から検索されることが可能である。
【００３３】
図２のブロック・タグ・ジェネレータ３０のオペレーションは、ブロック内の最も優勢な（Ｔｍ）及び２番目に優勢な（Ｔｍ−１）セグメンテーション・タグ値の関数に基づいてブロック・レベルのタグを生成するためのＭ×Ｎブロックのセグメンテーション・タグの処理を参照して更に詳細に説明される。ブロック・タグ・ジェネレータ３０は、このオペレーションに制限されておらず、異なる形状から成るブロック及び／又は任意の角度で配置されたブロックを処理するため、及び任意の数の収集された統計に基づいてブロック・タグを生成するために使用されることが可能であることが理解されるべきである。
【００３４】
実行に際し、アドレス・コントローラ３２は、タグを受信するために例えば回路３４Ａ等の計算回路の１つを選択する。ヒストグラム・メモリ、アキュムレータ、又はカウンタ等のブロックを含み得る各収集回路３４Ａ及び３４Ｂは、ブロックの１行に関する統計を集める。行当りのブロック数は、Ｍ及びＮの値、セグメンテーション・タグの解像度、及び入力画像のサイズを含む幾つかの要素／係数に依存する。例えば、ＭとＮとがそれぞれ５０（ドット）と７５（ドット）とに選択されたＭ×Ｎブロックのピクセル・レベルのセグメンテーション・タグと、４００×６００ｄｐｉの走査解像度を有するスキャナとを用いると、１２．４インチ×１７インチの画像の場合に、各行は約１００ブロック（１２．４×４００／５０（ドット）≒１００）から成る。Ｍ個のセグメンテーション・タグが受信されるごとに、アドレス・コントローラ３２又は収集回路３４Ａは、受信される次のタグは新たなブロックに属することを示す。このプロセスはＮ行分繰り返される。Ｎ行の最後に、アドレス・コントローラ３２は、入力／受信セグメンテーション・タグを収集回路３４Ｂに連結し始める。
【００３５】
Ｎ行の最後には、収集回路３４Ａは、このブロック内の各タグ値の発生回数を識別する１セットの統計を行の各ブロックごとに保有する。回路３４Ａにより収集された統計は、タグ分類回路３６により読取られる。タグ分類回路３６において、マルチプレクサ（多重装置）４０は、統計を分類機（ソーター）４２に送り、分類機４２において、統計はブロックごとに分類される。分類機４２はＴｍ及びＴｍ−１を識別し、１セットの規則に基づいてブロック・レベルのタグを生成する。次に、各ブロックのための最終的なブロック・レベルのタグが、ブロック・タグ・メモリ３８に書込まれる。
【００３６】
ブロック・タグ・ジェネレータ３０は、特殊用途向けコンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺装置集積回路素子、ＡＳＩＣ（特定用途向けＩＣ）又は他の集積回路、デジタル信号プロセッサ、ディスクリート（離散）素子回路等のハードワイヤード（物理的に組み込まれた）電子又は論理回路、例えばＰＬＤ（プログラム可能論理回路）、ＰＬＡ（プログラム可能論理回路）、ＦＰＧＡ（書替え可能ゲートアレイ）又はＰＡＬ（プログラム可能アレイ論理）等のプログラム可能な論理回路等を使用して実現又は実施されることが可能である。特殊なアルゴリズムが、ハードウェアと組合せてソフトウェアを使用することにより完成され得る。一般に、有限状態装置を実現でき、従って上述のブロック・タグ生成プロセスを実現できるあらゆる装置が、ブロック・タグ・ジェネレータを実現するために用いられることが可能である。
【００３７】
ここで図３を参照すると、本発明のブロック・タグ・クリーナ５０の第１の実施の形態を通してのデータ・フローを例示する図が示されている。図３の実施の形態において、変更が必要とされるある程度の必然性が存在するようになるまで、如何なる切替えも抑制することによりタグの突然の切替えを減少させるために、ヒューリスティックな規則と共にモルフォロジカル演算を使用するブロック・タグ・クリーナ５０により、セグメンテーション・タグは浄化（処理）される。
【００３８】
ブロック・タグ・クリーナ５０において、セグメンテーション・タグはタグ識別モジュール５２に連結される。任意ではあるが、ブロック・タグ・クリーナ５０は、セグメンテーション・タグを受信しバッファリングするタグ・バッファ（図示せず）を含むことが可能である。タグ識別モジュール５２は、浄化されるべき現在の（カレント）セグメンテーション・タグを識別する。有利なことに、浄化されるべき現在のタグを識別する際に、モジュール５２は連続したセグメンテーション・タグの全体にわたって順次節動／階動し（stepping）、画像の一端から他端まで移動する。例えば、図４は、浄化されるべき現在のタグを識別するために連続したセグメンテーション・タグの全体にわたって順次節動する際に辿られる４つの可能な経路（上から下、下から上、左から右、及び右から左）を示す。ブロック・タグ・クリーナは、図４に示される経路の１つに沿ってタグの全体にわたって順次節動するように制限されていないことが理解されるべきである。更に、タグの全体にわたって順次節動することにも制限されていないことが理解されるべきである。
【００３９】
浄化されるべき現在のセグメンテーション・タグが識別された後、タグ識別モジュール５２は現在のタグを近傍分析モジュール５４及び遷移分析モジュール５６に渡す。近傍分析モジュール５４は、現在のタグに関連する予め定義されたサイズ、形状及び位置を有する近傍ブロックを生成するために、現在のタグの近傍の（例えば、隣又は近くの）セグメンテーション・タグから成るグループを検索する。有利なことに、近傍ブロックは、現在のタグを中心とする正方形のブロック（即ち、Ｘ×Ｘ）を構成する。しかしながら、異なるサイズ及び形状を有する近傍ブロックが本発明の実行に際して用いられてもよいこと、並びに近傍ブロックが現在のタグを中心とする必要はないことが理解されるべきである。
【００４０】
近傍ブロックが識別された後、近傍分析モジュール５４は近傍ブロック内のセグメンテーション・タグを分析し、この分析に基づいて１つ又は複数の近傍ブロック・タグの予測を立てる。各近傍ブロック・タグ予測は、近傍タグの分析に基づいて、現在のタグに存在し得るセグメンテーション・タグ値（単数又は複数）を識別する。近傍ブロック・タグ予測は、１セットの近傍タグの任意の分析に基づいてよく、例えば、現在のタグの位置に対する近傍ブロック内のセグメンテーション・タグの位置、及びセグメンテーション・タグが浄化されたか否かといった要素が含まれ得る。
【００４１】
可能な近傍ブロック予測の例は、図５を参照して説明される。図５には、現在のタグ（Ｘ１３）を中心とする５×５のセグメンテーション・タグから成るブロックにより構成されるサンプル近傍ブロック６０が示されている。ブロック・タグ・クリーナが、図４に示されるように上から下への経路に沿ってセグメンテーション・タグ全体にわたって節動すると仮定すると、左から右への経路において、タグＸ１からＸ１２までが浄化される。近傍ブロック・タグ予測を立てるための近傍ブロック内のセグメンテーション・タグのある可能な分析は、ブロック内のセグメンテーション・タグのための度数分布表を構築する。度数分布表は、ブロック内の各タグ値の発生回数を識別する。度数分布表を構築する際に、セグメンテーション・タグは、それらの位置、タグ値及び／又はそれらの状態（即ち、既に浄化されているか否か）に基づいて重み付けされ得る。例えば、近傍ブロック６０内のセグメンテーション・タグが次の値を有すると仮定する。
【００４２】
【表１】

【００４３】
即ち、各タグ値の発生回数を示す度数分布表は、［Ａ：６，Ｂ：３，Ｃ：５，Ｄ：２，Ｅ：８，Ｆ：１］である。ここにおいて、２５個のセグメンテーション・タグは、Ｘ１、Ｘ２、．．．、Ｘ２５と識別されることが可能であり、図５に示されるように配置／配向される。浄化済みのタグは２と重み付けされ、残りのタグは１と重み付けされる度数分布表を構築することは、［Ａ：（３×２＋３×１＝）９，Ｂ：（２×２＋１×１＝）５，Ｃ：（５×２＋０×１＝）１０，Ｄ：（２×２＋０×１＝）４，Ｅ：（０×２＋８×１＝）８，Ｆ：（０×２＋１×１＝）１］から成る度数分布表を提供する。同様に、別の重み付け方法は、浄化され且つ隣接するタグは２．５、浄化され且つ非隣接タグは２、隣接タグ（浄化されていない）は１．５、そして残りのタグは１と重み付けすることが可能であり、［Ａ：（０×２．５＋３×２＋１×１．５＋２×１＝）９．５，Ｂ：（１×２．５＋１×２＋０×１．５＋１×１＝）５．５，Ｃ：（２×２．５＋３×２＋０×１．５＋０×１＝）１１，Ｄ：（１×２．５＋１×２＋０×１．５＋０×１＝）４．５，Ｅ：（０×２．５＋０×２＋３×１．５＋５×１＝）９．５，Ｆ：（０×２．５＋０×２＋０×１．５＋１×１＝）１］から成る度数分布表を提供する。例えば、その値に基づいてタグを重み付けすることは、所定の画像クラスに関してタグの重みを半分にまで減少させ得る。
【００４４】
度数分布表を構築した後、任意の基準がこの表から近傍ブロック・タグ予測を選択するために使用され得る。ブロック・タグ予測を選択するために使用され得る１つの基準は、表内の最も優勢なタグであり、どちらの重み付け方法においてもＣの予測されたタグ値という結果をもたらす。別の可能な基準は、重み付けされた総発生回数の予め定められたパーセントを超える任意のタグ値とされ得る。例えば、第１の重み付け方法においては、３７回の重み付けが発生する。もし、ブロック・タグ予測が、重み付け発生回数の少なくとも２５パーセントを有するタグ値（即ち、９．２５を超える値）を識別する場合は、ブロック・タグ予測は、タグ値Ａ及びＣを近傍ブロック・タグ予測として識別する。
【００４５】
同様に、遷移分析モジュール５６は、現在のタグに関して予め定義されたサイズ、形状及び位置を有する１ブロックの遷移セグメンテーション・タグ（遷移ブロック）を生成するためにセグメンテーションから成るグループを識別する。遷移分析モジュール５６は、遷移ブロック内のセグメンテーション・タグを分析し、この分析に基づいて現在のタグに関する１つ又は複数の遷移ブロック・タグ予測を立てる。各遷移ブロック・タグ予測は、現在のタグが異なる画像領域に又は異なる画像領域から遷移しているという仮定に基づいて、現在のタグに関して１つ又は複数の予測タグ値を識別する。
【００４６】
遷移ブロックのサイズ、形状及び位置は、一般に、近傍ブロックのサイズ、形状及び位置、並びに遷移ブロック・タグ予測が画像領域への遷移を識別するか又は画像領域からの遷移を識別するかに依存する。例えば、遷移ブロック・タグ予測が画像領域への遷移に基づく場合、この遷移ブロックは、現在のタグがその領域へと遷移し得る画像領域からのセグメンテーション・タグを含み得る。ある可能な遷移ブロック６２が、図５の近傍ブロック６０に関連するものとして、図６に示される。図６には、近傍ブロック６０が点線で示され、現在のタグが遷移している領域を識別している遷移ブロック６２が、現在のタグＸ１３が左上隅になる５×５のセグメンテーション・タグから成るブロックを構成するように示される。
【００４７】
遷移ブロック・タグ予測は、遷移ブロック内のタグの任意の分析に基づいて行われ得る。一般に、ブロック内のセグメンテーション・タグに関する度数分布表に基づいて遷移ブロック予測を立てることは、好結果をもたらすことが確認されている。近傍ブロック予測の生成と同様に、セグメンテーション・タグは、現在のタグに対するそれらの位置、それらの値及び／又はそれらの状態に基づいて重み付けされ得る。
【００４８】
近傍分析モジュール５４及び遷移分析モジュール５６からのタグ予測は、このタグ予測に基づいて浄化済みの現在のタグを生成するタグ・クリーニング・モジュール５８に渡される。タグ予測は主に、現在のタグをリセットするためよりも寧ろ現在のタグ値を確認するために使用される。通常、タグ予測は、現在のタグが予測の何れにも一致しない場合にのみ現在のタグを変更するために使用される。一般に、近傍ブロック・タグ予測の何れかが現在のタグと同じである場合は、現在のタグは正しいと推定され、そのままにされる。もし現在のタグが近傍タグ予測の何れとも一致しない場合は、現在のタグは遷移ブロック・タグ予測と比較される。もし遷移ブロック・タグ予測が現在のタグと一致する場合、現在のタグは異なる領域に遷移していると推定され、そのままにされる。現在のタグがタグ予測の何れとも一致しない場合は、現在のタグは分類誤りされている可能性があり、近傍ブロック・タグ予測、遷移ブロック・タグ予測及び現在のタグに基づくタグに置換される。
【００４９】
ブロック・タグ・クリーナ５０は、特殊用途向けコンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺装置集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路等のハードワイヤード電子又は論理回路、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ又はＰＡＬ等のプログラム可能な論理回路等を使用して実現又は実施されることが可能である。更に、特殊なアルゴリズムが、特殊なハードウェアと組合せてソフトウェアを使用することにより完成され得る。一般に、有限状態装置を実現でき、従って上述のブロック・タグ・クリーニング・プロセスを実現できるあらゆる装置が、ブロック・タグ・クリーナ５０を実現するために用いられることが可能である。
【００５０】
ブロック・タグ・クリーナの構造が概略的に説明されたので、次に本発明のセグメンテーション・タグを浄化するための方法の実施の形態の議論に目を向ける。ここで図７を参照すると、ブロック・タグ・クリーナの実施の形態に応じてセグメンテーション・タグを浄化する際に実行される様々なステップの概略図であり、且つ図３のブロック・タグ・クリーナ５０を通してのオペレーション及びデータ・フローの代替表現である図が示される。
【００５１】
図７において、ステップ７０でセグメンテーション・タグが受信され、浄化されるべき現在のタグが識別される。次に、ステップ７２で、現在のタグの近傍の１つ又は複数のセグメンテーション・タグが識別される。ステップ７２で識別された近傍セグメンテーション・タグは、現在のタグと共に近傍ブロックを構成する。上述されたように、近傍ブロックは有利なことに現在のタグを中心とする正方形のブロックから構成される。近傍ブロックの識別後、現在のタグの浄化演算が開始される。
【００５２】
先ずステップ７４で、現在のタグが、現在のタグに隣接するセグメンテーション・タグの関数としてリセットされ得る。より詳細には、所定のセットのセグメンテーション・タグにとっては、隣接タグに基づいて現在のタグを無効にすることが有利であり得る。例えば、現在のタグが中間周波数のハーフトーンの画像クラスを表わし、隣接するタグの大半が高周波数のハーフトーンを表わす場合には、現在のタグは高周波数のハーフトーンを表わすように設定され得る。同様に、現在のタグが中間周波数のハーフトーンの画像クラスを表わし、隣接するタグが高周波数のハーフトーンよりも低周波数のハーフトーンを多く表わす場合には、現在のタグは低周波数のハーフトーンを表わすようにリセットされ得る。別の例では、エッジの画像クラスを表わすタグが、１つ又は複数の隣接するタグが低周波数のハーフトーンを表わす値を有する場合には、低周波数のハーフトーンを表わすようにリセットされ得る。現在のタグを無効にすることが好ましい又は有利であり得る更なる条件又は代替の条件が存在することを当業者は認識するであろうことが理解されるべきである。
【００５３】
ステップ７６では、現在のタグが現在のタグに隣接する１つ又は複数のセグメンテーション・タグと比較される。セグメンテーション・タグは、もう１つのセグメンテーション・タグとの間に他のセグメンテーション・タグが存在しない場合に、そのセグメンテーション・タグと隣接している。セグメンテーション・タグが矩形であり、行及び列に配置されている場合、各タグは最多で８個のセグメンテーション・タグと隣接し得る。他の基準（例えば、浄化済みの隣接タグ、水平方向の隣接タグ、浄化済みのタグ、垂直方向の隣接タグ）が、現在のタグが比較されるセグメンテーション・タグ数を減らすために使用されることが可能である。タグが、比較される隣接タグの少なくとも１つと同じであれば、現在のタグは正しいと推定され、現在のタグの浄化演算は完了する。現在のタグが、比較される隣接タグの何れとも一致しない場合は、浄化演算はステップ７８で続行される。
【００５４】
ステップ７８において、上述のように１つ又は複数の近傍ブロック・タグ予測を立てるために現在のタグ及び近傍ブロック内のセグメンテーション・タグが分析される。ステップ８０で現在のタグは、ステップ７８で立てられた近傍ブロック・タグ予測（単数又は複数）と比較される。現在のタグが近傍ブロック・タグ予測と同じである場合は、現在のタグは正しいと推定され、現在のタグに対する処理は完了する。現在のタグが予測と同じではない場合は、浄化演算はステップ８２で続行される。
【００５５】
ステップ８２では、近傍ブロック・タグ予測が、文書の背景又は走査された文書に関する同様の画像分類を表わすセグメンテーション・タグ値と比較される。文書の背景の分類は、全ての走査文書に関して予め選択されていてもよいし、又は例えば、走査文書の先端に沿っての最初の数本の走査線において優勢な画像クラスを識別することにより、走査される各文書ごとに決定されていてもよい。もし近傍ブロック・タグ予測が文書の背景と同じである場合は、近傍ブロック内の現在のタグ値の（重み付けされた）総発生回数が、ステップ８４でしきい値と比較される。（重み付けされた）発生回数がしきい値を超えている場合、現在のタグは背景クラスから遷移していると推測され、現在のタグの浄化は完了する。しきい値は、任意の発生回数又は総発生数のパーセントに設定されることが可能である。
【００５６】
一方、もし近傍ブロック・タグ予測が背景クラスと同じでないか、又はそのタグ値の（重み付けされた）発生回数がしきい値を超えない場合は、このプロセスはステップ８６へ続行される。ステップ８６では、遷移ブロックが識別され、この遷移ブロック内のセグメンテーション・タグが分析されて、１つ又は複数の遷移ブロック・タグ予測が立てられる。上述のように１つ又は複数の遷移ブロック・タグ予測が立てられた後、プロセスはステップ８８で現在のタグを遷移ブロック・タグ予測と比較する。現在のタグが遷移ブロック・タグ予測と同じ場合は、現在のタグは新たな画像領域に遷移していると推測され、現在のタグの処理は完了する。現在のタグが遷移ブロック・タグ予測と同じでない場合は、現在のタグは分類誤りされている可能性があり、浄化演算がステップ９０から９６で続けられ、これらのステップで現在のタグは、近傍ブロック・タグ予測、遷移ブロック・タグ予測、及び現在のタグに基づくタグに置換される。
【００５７】
ステップ９０では、近傍ブロック・タグ予測が、文書の背景を表わすセグメンテーション・タグ値と比較される。ステップ９０で、近傍ブロック・タグ予測が文書の背景タグ値と一致する場合は、プロセスはステップ９２に進む。ステップ９２に到達すると、現在のタグは背景分類から遷移していると推測される。しかしながら、現在のタグは遷移ブロック・タグ予測と一致しないか、又は近傍ブロック内で十分大きな（重み付けされた）度数を有さない（ステップ８４）ので、分類誤りされていると推測される。現在のタグは、遷移予測が適切な置換である場合、遷移ブロック・タグ予測に置換される。
【００５８】
ステップ９２で、プロセスは、遷移ブロック・タグ予測が現在のタグを置換するために使用されることが可能か否かを判断する。可能である場合は、ステップ９４で現在のタグが遷移ブロック・タグ予測に置換され、可能でない場合は、現在のタグはそのまま変更されない。より詳細には、ステップ９２は現在のタグを置換することが適切か否かを判断するために１セットの規則を用いる。この規則は、限定はされないが、タグの優先順位及びタグの度数を含む多数の要素に基づくことが可能である。例として、規則のセットは、（１）背景又はエッジの画像クラスを表わす値を有する遷移ブロック・タグ予測は、現在のタグを置換するために使用不可能であること、（２）他のあらゆる値を有する遷移ブロック・タグ予測が、現在のタグの度数が第１のしきい値未満である場合、及び／又は遷移ブロック・タグ予測の度数が第２のしきい値を超えている場合に、現在のタグに取って代わること、を示し得る。更なる規則又は代替の規則が、遷移ブロック・タグ予測が現在のタグに取って代わり得るか否かを判断する際に使用され得ることを当業者は認識するであろうことが理解されるべきである。
【００５９】
ステップ８８で現在のタグが遷移ブロック・タグ予測と等しくない場合、且つステップ９０で近傍ブロック・タグ予測が文書の背景を表わすタグ値を有さない場合、プロセスはステップ９６で現在のタグ、近傍ブロック・タグ予測、及び遷移ブロック・タグ予測に基づいて浄化済みの現在のタグを生成する。ある可能な関数は、近傍ブロック・タグ予測が背景又はエッジ等の予め定められた画像クラスと等しくならない限りにおいて、現在のタグを近傍ブロック・タグ予測と等しくなるように設定する。
【００６０】
一般に、セグメンテーション・アーチファクトを減少させるためにセグメンテーション・タグを浄化する際に、タグ浄化演算は有利なことに各セグメンテーション・タグを一度だけ浄化する。しかしながら、マルチレベルの浄化演算が、浄化済みのタグを浄化演算中に数回通過することにより実行されることが可能である。それぞれの連続する浄化演算は、一方向の浄化に起因するあらゆる偏りを除去するために、図４に示されるような経路をたどって実行されることが可能である。更に、処理の限定は、セグメンテーション・タグのサブセットのみの浄化を要求し得ることが理解されるであろう。
【００６１】
ここで図８を参照すると、本発明のブロック・タグ・クリーナ１００の第２の実施の形態を通してのデータ・フローを描写するブロック図が示されている。図８の実施の形態において、セグメンテーション・タグは、連続する構成要素の統計分析を使用してブロック・タグ・クリーナ１００により浄化される。ブロック・タグ・クリーナ１００は、特殊用途向けコンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺装置集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路等のハードワイヤード電子又は論理回路、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ又はＰＡＬ等のプログラム可能な論理回路等を用いて実現又は実施されることが可能である。更に、特殊なアルゴリズムが、特殊なハードウェアと組合せてソフトウェアを使用することにより完成され得る。一般に、有限状態装置を実現でき、従って以下で説明されるブロック・タグ・クリーニング・プロセスを実現できるあらゆる装置が、ブロック・タグ・クリーナ１００を実現するために用いられることが可能である。
【００６２】
ブロック・タグ・クリーナ１００において、セグメンテーション・タグはタグ分析モジュール１０２に連結される。タグ分析モジュール１０２は、複数のセグメンテーション・タグを受信し、この複数のタグの内の弱連結のセグメンテーション・タグを識別する。タグ分析モジュール１０２は、弱連結のセグメンテーション・タグを、十分な数の隣接セグメンテーション・タグと等しくない又は類似でないセグメンテーション・タグとして識別する。更に、モジュール１０２は、背景等の予め定められた画像タイプを示す近傍セグメンテーション・タグの数が所定のしきい値を超える場合に、その特定のタグを、弱連結のタグと識別する。弱連結のタグを識別した後、モジュール１０２は、弱連結のタグのタグ値を、背景等の予め選択された画像タイプを示す値と置換することにより、更に進められる処理からこの弱連結のタグを除去する。或いは、モジュール１０２は、弱連結のタグがその後の処理演算で弱連結のタグとして識別されることが可能な方法で、このタグをマークすることにより弱連結のタグを除去することが可能である。
【００６３】
複数のタグ内の弱連結のセグメンテーション・タグが識別された後、連結構成要素ジェネレータ１０４は、連結構成要素を識別する。１セットのセグメンテーション・タグは、このセット内の各セグメンテーション・タグがセット内にある少なくとも１つのセグメンテーション・タグと隣接している場合、且つこのセット内のセグメンテーション・タグの各対がセット内の他のタグから成るサブセットにより連結される場合に、「連結構成要素」を含む。
【００６４】
複数のセグメンテーション・タグ内の連結構成要素を識別するためのプロセスを、例として説明することが可能である。タグ分析モジュール１０２が、弱連結のセグメンテーション・タグを背景の画像タイプと置換することにより、弱連結のセグメンテーション・タグを除去すると仮定すると、ジェネレータ１０４は単に、非背景セグメンテーション・タグを第１の連結タグとして配置する。連結された（背景）セグメンテーション・タグが発見されると、反復プロセスが、連結タグの範囲が決定されるまで、全ての非背景セグメンテーション・タグを連結タグの隣に、更にその隣の連結タグに、という様に配置する。このプロセスは、全ての非背景セグメンテーション・タグが適切に連結構成要素と関連付けられるまで繰り返される。同様に、タグ分析モジュール１０２が、セグメンテーション・タグを弱連結とマークする場合、このプロセスは、マークされていないタグを第１の連結タグとして識別し、連結構成要素の範囲が明らかになるまで全ての隣接しマークされていないタグを識別するように続行される。
【００６５】
連結構成要素ジェネレータ１０４が、連結構成要素の範囲内で少数の弱連結のタグ（例えば、背景又はマークされたタグ）を含む領域を含む連結構成要素を識別する可能性があることに留意すべきである。これらの領域は、領域の大きさが十分に小さい場合に、連結構成要素に併合される。領域の大きさが小さいか否かの判断は、領域内の弱連結のタグの個数、領域により含まれる連結構成要素のパーセンテージ等を含む多数の要素に基づくことが可能である。
【００６６】
連結構成要素ジェネレータ１０４で連結構成要素が識別された後、ブロック・タグ・クリーナ１００は統計収集モジュール１０６及びタグ・ジェネレータ１０８で集められた統計及び予め定義された１セットのヒューリスティックな規則に基づいて、各連結構成要素ごとに代表タグを生成する。各連結構成要素ごとの代表タグの生成は、図１及び２を参照して上述されたブロック・レベルのタグの生成に類似している。即ち、連結構成要素ジェネレータ１０４で識別された連結構成要素は、統計収集モジュール１０６に渡され、そこで各連結構成要素ごとのタグ統計が集められる。統計収集モジュール１０６は、連結構成要素の代表タグがそこから識別されることが可能な任意の適切な統計を収集することができる。有利なことに、統計収集モジュール１０６は、各連結構成要素内の最も優勢なタグ値及び２番目に優勢なタグ値を識別するのに十分なタグ統計を収集する。
【００６７】
集められたタグ統計を使用して、タグ・ジェネレータ１０８は、各連結構成要素ごとに代表タグを識別する。各連結構成要素ごとに生成された代表タグは、収集された統計及び予め定義された１セットのヒューリスティックな規則に基づいてセグメンテーション・タグ値（単数又は複数）を識別する。最も優勢なタグ値及び２番目に優勢なタグ値に基づいて代表タグを生成するための可能な１セットの規則は、図１を参照して既に説明された。また、代表タグは、セグメンテーション・タグのヒストグラム分布又はセグメンテーションの欠陥のマスキング等のヒューリスティックな画像品質要件に基づいて識別されることが可能である。タグ・ジェネレータ１０８により連結構成要素の代表タグが生成された後、タグ置換モジュール１１０は、連結構成要素内の選択されたセグメンテーション・タグを、代表タグと選択されたタグの値との関数として生成された浄化済みのセグメンテーション・タグに置換する。このようなある関数は、連結構成要素内の各セグメンテーション・タグを単に代表タグに置換する。
【００６８】
ここで図９を参照すると、本発明のピクセル・タグ・クリーナの実施の形態を通してのデータ・フローを描写するブロック図が示される。上述の通り、ピクセル・タグ・クリーナは、ピクセル・レベルのセグメンテーション・タグ上で作用し、近傍セグメンテーション・タグから成るウィンドウに基づいて浄化済みのピクセル・レベルのセグメンテーション・タグを生成する。図９に示されるように、ピクセル・タグ・クリーナは、モジュール１２０で、浄化されるべき現在のピクセル・レベルのセグメンテーション・タグを受信する。次に、モジュール１２２で、ピクセル・タグ・クリーナは、現在のピクセル・レベルのタグの近傍セグメンテーション・タグから成るグループを含む近傍ウィンドウを識別する。
【００６９】
近傍セグメンテーション・タグの知識は、ピクセル・レベルのタグの値に関する賢い判断をすることを助ける。有利であることに、ピクセル・タグ・クリーナは、ピクセル・レベルのタグを変更するための判断をブロック・タグ・ジェネレータ又はブロック・タグ・クリーナから取得可能であるような近傍ブロック・レベルのタグを基にして行う。しかしながら、ピクセル・タグ・クリーナは、近傍のピクセル・レベルのセグメンテーション・タグから成るウィンドウに基づいてピクセル・レベルのタグを浄化し得ることが理解されるべきである。近傍のセグメンテーション・タグから成るウィンドウを識別する際に、モジュール１２２は有利なことに、現在のピクセル・レベルのタグと関連付けられたセグメンテーション・タグを中心としてセグメンテーション・タグから成る近傍ウィンドウを識別する。ブロック・レベルのセグメンテーション・タグから成る近傍ウィンドウを使用する際には、このウィンドウは有利なことに、現在のセグメンテーション・タグが属するブロックに中心を置かれる。
【００７０】
近傍ウィンドウが識別された後、ピクセル・タグ・クリーナはモジュール１２４で現在のピクセル・レベルのタグを浄化し、浄化済みのピクセル・レベルのタグを生成する。一般に、近傍ウィンドウがブロック・レベルのセグメンテーション・タグを含む場合、現在のピクセル・レベルのタグは、現在のピクセルが属するブロックのブロック・レベルのタグと比較される。現在のピクセル・レベルのタグが現在のブロック・タグと同じである場合、ピクセル・レベルのタグは正しいと推測され、そのままにされる。近傍ウィンドウがピクセル・レベルのセグメンテーション・タグを含む場合、又はこのウィンドウがブロック・レベルのタグを含む場合、ピクセル・レベルのタグは現在のブロック・タグとは同じではなく、現在のピクセル・レベルのタグは近傍ウィンドウを含むセグメンテーション・タグと比較される。現在のピクセル・レベルのタグが、近傍セグメンテーション・タグのしきい値の数値と等しい場合、ピクセル・レベルのタグは遷移していると推測され、ここでもそのままにされる。ピクセル・レベルのタグが現在のブロック・タグ又は近傍セグメンテーション・タグの１つと同じでない場合、現在のピクセル・レベルのタグは通常、近傍セグメンテーション・タグの関数として生成されたセグメンテーション・タグと置換される。近傍ウィンドウがブロック・レベルのタグを含む場合、現在のピクセル・レベルのタグは通常、浄化済みのピクセル・レベルのタグを生成するために現在のブロック・タグに置換される。しかしながら、所定の状況においては、現在のピクセル・レベルのタグをブロック・レベルのタグに置換することは望ましくない可能性があることが理解されるべきである。例えば、現在のブロック・レベルのタグが、背景の画像クラスを識別する場合、現在のピクセル・レベルのタグを背景の画像クラスを識別するタグに置換することは望ましくないであろう。同様に、現在のブロック・レベルのタグが、中間（又はファジイ）周波数のハーフトーンの画像クラスを識別する場合、現在の低周波数又は高周波数のハーフトーンのピクセル・レベルのタグを（中間周波数のハーフトーンの画像クラスを識別するタグに）置換することは望ましくない恐れがある。
【００７１】
上述のように概説された一般的なプロセスに例外を設けることが好ましいと考えられる１つの画像クラスは、エッジクラスである。即ち、エッジの画像クラスを識別するピクセル・レベルのタグにとって、ピクセル・レベルのタグがブロック・レベルのタグよりも優先されることが一般に好ましい。より詳細には、エッジクラスを識別するピクセル・レベルのタグは、ピクセル・レベルのエッジクラスを置換する低周波数のハーフトーンから成るブロック・レベルのタグの場合を除いて、ブロック・レベルのタグに置換されない。
【００７２】
モジュール１２４のオペレーションは、現在のピクセル・レベルのタグが属するブロックを中心とする３×３のブロックから成る隣接ウィンドウを使用するピクセル・レベルのタグの浄化を参照して例示される。３×３の隣接ウィンドウの使用は、図１０に例示される。図１０には、現在のピクセル・レベルのタグ１３０が、８個の近傍（隣接）ブロックにより囲まれている現在のブロックと呼ばれるブロック１３２に属するように示されている。有利なことに、近傍ウィンドウ内の各ブロックは、同じサイズ及び向きを有する。
【００７３】
近傍ウィンドウを識別した後、ピクセル・タグ・クリーナは現在のピクセル・レベルのタグを浄化する。ピクセル・レベルのタグの浄化において、モジュール１２４は先ず、現在のピクセル・レベルのタグを近傍ウィンドウ内のセグメンテーション・タグと比較する際に使用される「一時変数」を生成するために、近傍ブロックを分析する。これらの一時変数は、近傍ウィンドウ内の各タグ（画像クラス）の度数、ウィンドウ内に低周波数又は高周波数のハーフトーンが存在するか否か、又は近傍ウィンドウがより高周波又はより低周波のハーフトーンを有するか否か、を識別し得る。
【００７４】
一時変数は、近傍ウィンドウが変化するまで有効であり続ける。即ち、実行に際し、ピクセル・タグ・クリーナは、浄化されるべき現在のピクセル・レベルのタグを検索する。浄化されるべき新たなピクセル・レベルのタグのそれぞれごとに、ピクセル・タグ・クリーナは、近傍ウィンドウを識別しなければならない。近傍ウィンドウ内の各ブロックがＭ×Ｎのセグメンテーション・タグのサイズを有すると仮定すると、近傍ウィンドウは高速（一次）走査方向においてはＭ個のピクセル・レベルのタグごとに同じであり続け、低速（二次）走査方向においてはＮ個のピクセル・タグごとに同じであり続ける。
【００７５】
現在のピクセル・レベルのタグを近傍ウィンドウ内のセグメンテーション・タグと比較する際に使用される一時変数を生成した後、モジュール１２４は、１セットの予め定義された規則に基づいて浄化済みのピクセル・レベルのタグを生成する。多くの場合、ピクセル・レベルのタグが現在のブロック・タグ又は８個の近傍のブロック・レベルのタグの何れかと同じであれば、タグはそのままにされる。そうでない場合、現在のブロック・タグが背景の画像クラスを識別するために現在のピクセル・レベルのタグが変更されずに残される場合以外は、現在のピクセル・レベルのタグは、現在のブロック・タグに置換される。この一般規則の例外は、幾つかのブロック・レベルのタグよりも高い優先順位を有するエッジの画像クラスを識別するピクセル・レベルのタグに対して発生する。
【００７６】
画像クラス（滑らかな連続調（Scontone）、粗い連続調（Rcontone）、低周波数のハーフトーン（Low Freq）、ファジイ又は中間低周波数のハーフトーン（Fuzzy Low）、ファジイ又は中間高周波数のハーフトーン（Fuzzy High）、高周波数のハーフトーン（High Freq）、テキスト、背景、及び色付けられたテキスト）の１つ又は複数から構成される１セットのセグメンテーション・タグを与えられた場合に、近傍ブロック・レベルのタグから成るウィンドウに基づいて浄化済みのピクセル・レベルのセグメンテーション・タグを生成するための上述のように概説された１セットの予め定義されたタグの浄化の一般規則は、次のＣ言語に似たプログラミング命令文により記述されることが可能である。

上記規則において、ＣＰは現在のピクセル・レベルのタグであり、ＯＰは出力された（浄化された）ピクセル・レベルのタグであり、ＣＢは現在のブロック・レベルのタグであり、そしてfreq[image class]は、近傍ウィンドウ内のブロック・レベルのセグメンテーション・タグにおけるその画像クラスの度数（発生回数）を算出する。上記規則のセットは、１つ又は複数の優勢タグの関数としてのブロック・レベルのタグの生成を例示するための例として提供されるものであり、当業者はブロック・レベルのタグを生成するための異なる規則を確認し得ることが理解されるべきである。
【００７７】
ピクセル・タグ・クリーナは、特殊用途向けコンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺装置集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路等のハードワイヤード電子又は論理回路、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ又はＰＡＬ等のプログラム可能な論理回路等を用いて実現又は実施されることが可能である。特殊なアルゴリズムが、特殊なハードウェアと組合せてソフトウェアを使用することにより完成され得る。一般に、有限状態装置を実現でき、従って上述のピクセル・タグ・クリーニング・プロセスを実現できるあらゆる装置が、ピクセル・タグ・クリーナを実現するために用いられることが可能である。
【００７８】
３つのセグメンテーション・タグ・プロセッサ（ブロック・タグ・ジェネレータ、ブロック・タグ・クリーナ及びピクセル・タグ・クリーナ）のそれぞれが説明されたので、次にセグメンテーション・アーチファクトを減少させるためにセグメンテーション・タグを処理するためのシステムに目を向ける。図１１を参照すると、３つのセグメンテーション・タグ・プロセッサ全てを利用する、セグメンテーション・タグを処理するためのシステム１５０を含む画像処理システムＩＰＳ２０６の実施の形態のブロック図が示されている。
【００７９】
図１１では、カラー走査装置からのＲＧＢビデオ等の画像データが、ＩＰＳ２０６によりＲＧＢ−ニュートラル（中性）変換モジュール２３０で受信される。モジュール２３０は、次に示される数式のように３つのチャネルの一次結合の実行等の既知の方法で、画像データをｎビットのニュートラルなチャネル・ビデオ・データへ変換する。
【００８０】
ニュートラル（Ｎ）＝ｒＷｔ*ＲＥＤ＋ｇＷｔ*ＧＲＥＥＮ＋ｂＷｔ*ＢＬＵＥこの式において、ｒＷｔ、ｇＷｔ及びｂＷｔはそれぞれ、レッド、グリーン及びブルーの重み係数である。ニュートラルなチャネル・ビデオ・データは、セグメンテーション・モジュール２３２に渡される。セグメンテーション・モジュール２３２は、ビデオ・データを分析し、画像ピクセルを分類し、ピクセルを特定の画像クラスに識別するピクセル・レベルのセグメンテーション・タグ１５２を生成するために任意の自動画像セグメンテーション技法を使用する。
【００８１】
ピクセル・レベルのセグメンテーション・タグ１５２は、ブロック・タグ・ジェネレータ１５４に連結される。ブロック・タグ・ジェネレータ１５４は、１ブロックのセグメンテーション・タグを識別し、識別されたブロック内のセグメンテーション・タグに関する統計を収集し、集められた統計に基づいてセグメンテーション・タグから成る識別されたブロックに関するブロック・レベルのタグ１５６を生成する。ブロック・タグ・ジェネレータは、ピクセル・レベルのタグ１５２をタグ・バッファ１５８に渡す。タグ・バッファ１５８は、ピクセル・レベルのタグの中間記憶装置を提供し、ＬＺ圧縮等のデータ圧縮演算及び電子プリコレーション（Electronic PreCollation）・メモリ、高帯域幅メモリへのその後の格納又は類似の演算を用いることにより達成されることが可能である。
【００８２】
ブロック・タグ・ジェネレータ１５４からのブロック・レベルのタグ１５６は、ブロック・タグ・クリーナ１６０へ渡される。ブロック・タグ・クリーナ１６０は、１グループの近傍のブロック・レベルのセグメンテーション・タグに基づいてタグ１５６を浄化するように作用する。ブロック・タグ・クリーナ１６０は、ヒューリスティックな規則と共にモルフォロジカル演算を用いることにより、即ち、セグメンテーション・タグの連結構成要素を統計分析することにより、ブロック・タグを浄化することが可能である。ブロック・タグ・クリーナ１６０は、ピクセル・タグ・クリーナ１６４に浄化済みのブロック・タグ１６２を供給する。
【００８３】
ピクセル・タグ・クリーナ１６４は、タグ・バッファ１５８からピクセル・レベルのタグ１５２を受信し、ブロック・タグ・クリーナ１６０から浄化済みのブロック・レベルのタグ１６２を受信する。ブロック・タグから成る近傍ウィンドウに基づいて、ピクセル・レベルのタグは、浄化済みのピクセル・レベルのタグ１６６を生成するために浄化される。浄化済みのピクセル・レベルのタグ１６６は、後処理モジュール２３４に渡され、後処理モジュール２３４では、浄化済みのタグが、ビデオ・バッファ２３８を介して前処理回路２３６から受信されたビデオ画像データ上での後処理関数（例えば、フィルタリング及びレンダリング）に使用される。
【００８４】
上述されたように、このシステムはセグメンテーション・アーチファクトを減少させるために上述の１つ又は複数のセグメンテーション・タグ・プロセッサの任意の組合せを含むことが可能である。例えば、タグ処理システム１５０は図１２に示されるように、ブロック・タグ・クリーナを取り除くように変更されることが可能である。図１２のシステム１５０’は、セグメンテーション・タグを処理するために２つのセグメンテーション・タグ・プロセッサ（ブロック・タグ・ジェネレータ１５４及びピクセル・タグ・クリーナ１６４）を使用してセグメンテーション・タグを処理する。図１２のシステム１５０’において、ブロック・タグ・ジェネレータ１５４は、上述されたようにピクセル・レベルのセグメンテーション・タグ１５２からブロック・レベルのタグ１５６を生成し、このピクセル・レベルのタグ１５２をタグ・バッファ１５８に渡す。ブロック・タグ・ジェネレータ１５４からのブロック・レベルのタグ１５６は、ピクセル・タグ・クリーナ１６４に渡される。ピクセル・タグ・クリーナ１６４は、ブロック・タグから成る近傍ウィンドウが浄化済みのブロック・レベルのタグ１６２からではなくオリジナルのブロック・レベルのタグ１５６から選択される点を除いて、上述された方法と同じ方法で浄化済みのピクセル・レベルのタグ１６６を生成する。
【図面の簡単な説明】
【図１】ブロック・レベルのタグを生成するための方法の実施の形態における様々なステップを示すフローチャートである。
【図２】本発明のブロック・タグ・ジェネレータの実施の形態を概略的に例示する（ブロック）図である。
【図３】本発明のブロック・タグ・クリーナの実施の形態のブロック図である。
【図４】複数のセグメンテーション・タグから成るセット全体にわたって順次節動するための様々な経路（パス）を示す図である。
【図５】本発明の実施の形態により採用される模範的な５×５の近傍ブロックを示す図である。
【図６】本発明の実施の形態により採用される模範的な遷移ブロックを示す図である。
【図７】本発明のブロック・タグ・クリーニング方法の実施の形態を例示する図（フローチャート）である。
【図８】本発明のブロック・タグ・クリーナの実施の形態を概略的に示す（ブロック）図である。
【図９】本発明のピクセル・タグ・クリーナの実施の形態のブロック図である。
【図１０】本発明の実施の形態により採用されるセグメンテーション・タグの近傍ウィンドウを示す図である。
【図１１】本発明のセグメンテーション・タグを処理するためのシステムを含む、画像処理システムのブロック図である。
【図１２】本発明のセグメンテーション・タグを処理するためのシステムの実施の形態のブロック図である。
【図１３】本発明の１つ又は複数の態様に適したシステム・レベルの実施の形態の全体図である。
【符号の説明】
３０ ブロック・タグ・ジェネレータ
３２ アドレス・コントローラ
３４ 統計収集モジュール
３４Ａ、３４Ｂ 統計収集回路
３６ タグ分類回路
３８ ブロック・タグ・メモリ
４０ マルチプレクサ
４２ 分類機
５０ ブロック・タグ・クリーナ
５２ タグ識別モジュール
５４ 近傍分析モジュール
５６ 遷移分析モジュール
５８ タグ・クリーニング・モジュール
１００ ブロック・タグ・クリーナ
１０２ タグ分析モジュール
１０４ 連結構成要素ジェネレータ
１０６ 統計収集モジュール
１０８ タグ・ジェネレータ
１１０ タグ置換モジュール

Claims (1)

1. セグメンテーション・タグを受信するため、および、受信した該セグメンテーション・タグ内の弱連結のセグメンテーション・タグを識別するために接続されたタグ分析モジュールと、
   受信した前記セグメンテーション・タグ内の連結構成要素を識別する連結構成要素ジェネレータと、
   前記連結構成要素のための代表タグを生成するタグ生成モジュールと、
   前記連結構成要素内のセグメンテーション・タグに関する連結構成要素統計を収集する統計収集モジュールと、
   を含み、
   前記タグ分析モジュールは、
   第１のセグメンテーション・タグが所定の数を越える隣接するセグメンテーション・タグと等しくない場合、および、所定の数を越える該第１のセグメンテーション・タグに隣接するセグメンテーション・タグが背景を示す場合に、該第１のセグメンテーション・タグを弱連結のセグメンテーション・タグとして識別し、
   前記弱連結のセグメンテーション・タグを、背景を示す値と置換し、
   前記連結構成要素ジェネレータは、
   前記受信したセグメンテーション・タグ内の非背景であるセグメンテーション・タグを第１の連結セグメンテーション・タグとして検出し、
   前記第１の連結セグメンテーション・タグに隣接する非背景であるセグメンテーション・タグおよび該隣接する非背景であるセグメンテーション・タグにさらに隣接する非背景であるセグメンテーション・タグを検出する処理を、すべての非背景であり、該第１の連結セグメンテーション・タグに連結されているセグメンテーション・タグを検出するまで繰り返すことにより、連結セグメンテーション・タグの範囲を決定し、決定された該連結セグメンテーション・タグの範囲を前記連結構成要素として識別し、
   前記タグ生成モジュールは、
   前記統計収集モジュールによって収集された連結構成要素統計にもとづいて、もっとも優勢なセグメンテーション・タグおよび２番目に優勢なセグメンテーション・タグを決定し、
   前記もっとも優勢なセグメンテーション・タグおよび２番目に優勢なセグメンテーション・タグの関数として生成された値を代表タグとして設定し、
   前記連結構成要素統計は、前記連結構成要素内のセグメンテーション・タグの異なる値が連結構成要素内で各々発生する回数、異なるセグメンテーション・タグ値の各々の頻度分布、優勢なセグメンテーション・タグ値、及びセグメンテーション・タグ値の重み付きカウントの少なくとも一つを含む、
   セグメンテーション・タグ処理システム。

Images