JP4870363B2

JP4870363B2 - 複数のフォアグランド平面を有する高圧縮画像データファイルの生成装置、方法及びプログラムを記憶した記憶媒体

Info

Publication number: JP4870363B2
Application number: JP2005035184A
Authority: JP
Inventors: ジェイ．カリードナルド; ナファリエアスガー; クレタードロン
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2004-02-12
Filing date: 2005-02-10
Publication date: 2012-02-08
Anticipated expiration: 2025-02-10
Also published as: TWI406180B; JP2005229620A; EP1564685A3; CN1655583B; CN1655583A; EP1564685B1; EP1564685A2; US20050180642A1; TW200603004A; US7403661B2

Description

本発明は、複数のフォアグランド面を有するコンテンツフォーマットへの画像データの変換に関する。

従来、画像圧縮の手段として、フォアグランド、バックグランド、及びマスク層の３層に画像を分割する方法（３層混合ラスターコンテンツ分解フォーマット）が開発されている。しかし、ＰＤＦなどの画像ドキュメントフォーマットは、ラスターイメージをそのような３層に分割することに対応していない。そのため、画像の修正ができないか、できたとしても不要なアーティファクト（人工生成物）が発生するという問題があった。
米国特許第６，６３３，６７０号公報米国特許第５，５１５，４５２号公報

上記問題を解決するため、本発明は文書（ドキュメント）を多重フォアグランド面を有する混合ラスターコンテンツフォーマットに変換するためのシステム及び方法を提供することを目的とする。

本システムは画像データ中の一個又はそれ以上のブロブ（Ｂｌｏｂ）を識別するブロブ識別部と、一個又はそれ以上のブロブに各ブロブの色特性に基づいてカラーインデックスを割り当てるブロブマッピング部と、各ブロブのカラーインデックスに基づいてブロブを一個又はそれ以上のフォアグランド面に割り当てるブロブクラスター化部とを有する。

図１は３層混合ラスターコンテンツ画像データの例示的態様を示す。

図３は３層画像データ生成システム１０００の例示的態様を示す。

図４は図３に示すセグメントモジュール１６００の例示的態様の詳細を示す。

図５はＮ層画像データ生成システムの例示的態様を示す。Ｎ層画像データ生成システム２０００はスキャナ信号ＳＲＣを信号線２０１０を介してスキャナカラー変換モジュール２１００に入力する。スキャナカラー変換モジュール２１００はスキャナカラー変換信号ＳＣＣを信号線２１１０を介してスクリーン推定モジュール２２００及びデスクリーンモジュール２３００に出力する。スクリーン推定モジュール２２００はスクリーン推定周波数信号ＳＣＦを信号線２２１０を介してデスクリーンモジュール２３００に出力し、またスクリーン推定強度信号ＳＣＭを信号線２２２０を介してデスクリーンモジュール２３００及びスケールモジュール２４００に出力する。デスクリーンモジュール２３００はボケ信号（ｂｌｕｒｓｉｇｎａｌ）ＢＬＲを信号線２３１０を介して統計モジュール３１００に出力すると共にデスクリーン化画像データ信号ＤＳＣを信号線２３２０を介してスケールモジュール２４００に出力する。スケールモジュール２４００はスケール化スクリ−ン強度信号ＳＭＳを信号線２４１０を介してセグメントモジュール２６００に出力すると共にスケール化スクリ−ン化画像データ信号ＤＳＳを信号線２４２０を介してガマット(ｇａｍｕｔ)強調モジュール２５００に出力する。ガマット強調モジュール２５００はガマット強調化画像データ信号ＧＭＥを信号線２５１０を介してセグメントモジュール２６００に出力する。

図５に示す如く、セグメントモジュール２６００はガマット強調化画像データ信号ＧＭＥのみを信号線２５１０を介して、またスケール化スクリーン強度信号ＳＭＳを信号線２４１０を介して入力する。セグメントモジュール２６００はこれらの信号を処理して、三値エッジ連続性信号ＴＥＣを生成し、これを信号線２６４１を介してブロブ識別モジュール２７００に出力する。セグメントモジュール２６００はまた強調化画像データ信号ＥＮＨを信号線２６５６を介してブロブ識別モジュール２７００、ブロブマッピング・クラスターモジュール２８００に出力する。ブロブ識別モジュール２７００は三値エッジ連続性信号ＴＥＣ及び強調化画像データ信号ＥＮＨをそれぞれ信号線２６４１及び２６５６を介して入力してこれらをブロブＩＤ信号（ＢＩＤ）及びブロブグローバルテーブル（ＧＴＢ）に変換する。これらの信号はそれぞれ信号線２７１０及び２７２０を介してブロブマッピング・クラスターモジュール２８００に出力される。

ブロブマッピング・クラスターモジュール２８００は強調化画像データ信号ＥＮＨを信号線２６５６を介して、またブロブＩＤ信号ＢＩＤを信号線２７１０を介して、さらにブロブグローバルテーブルＧＴＢを信号線２７２０を介して介して入力し、各ブロブを複数の二進フォアグランド平面のそれぞれに、異なる平面及び異なるブロブのそれぞれに帰属される特定の色に部分的に依存するように割り当てる。また各二進フォアグランド層は変換される画像データの全サイズにわたる必要はないので、ブロブマッピング・クラスターモジュール２８００はそれぞれの二進フォアグランド層の範囲を決定する。従って、二進フォアグランド平面のサイズはこれに応じて調整され得る。

ブロブマッピング・クラスターモジュール２８００は二進フォアグランド平面のそれぞれに対する二進データを信号線２８５１を介して圧縮モジュール３０００に出力する。またブロブマッピング・クラスターモジュール２８００は二進セレクタ信号ＢＥＬを信号線２８５３を介して出力し、これは全ての二進フォアグランドマスクの結合であり、またカラー強調化画像データ信号ＥＮＨを信号線２８５２を介してバックグランド調整モジュール２９００に通過させる。バックグランド調整モジュール２９００はバックグランド画像データ信号ＢＧのバックグランドを調整し、調整済バックグランド画像データ信号ＢＧＡを信号線２９１０を介して圧縮モジュール３０００に出力する。

図６は図５に示すＮ層画像データ生成システム２０００のセグメントモジュール２６００の例示的態様を詳細に示す。ガマット強調化画像データ信号ＧＭＥは信号線２５１０を介して従属最小−最大モジュール２６１０及び動的閾値モジュール２６２０に入力される。同様にスケール化スクリ−ン強度信号ＳＭＳは、存在する場合には、信号線２４１０を介して動的閾値モジュール２６２０に入力される。

従属最小−最大モジュール２６１０は最大値信号ＭＡＸ及び最小値信号ＭＩＮを一対の信号線２６１１，２６１２を介してそれぞれ動的閾値モジュール２６２０及びエッジ強調モジュール２６５０に出力する。動的閾値モジュール２６２０は強調化画像データ信号Ｅｎｈを信号線２６２１を介してエッジ強調モジュール２６５０に出力し、また原グレースケールセレクタ信号Ｇｒｒを信号線２６２２を介して量子化モジュール２６４０に出力する。

測定された従属最大値及び最小値、ＭＡＸ及びＭＩＮは、従属最小−最大モジュール２６１０によって現在の対象ピクセルの周囲の近傍の領域、例えば７ｘ７ピクセルウィンドウ中で測定される。現在の対象ピクセルの従属最大値はウィンドウ内で最大輝度を有するピクセルの画像値である。従属最小値はウィンドウ内で最小輝度を有するピクセルの画像値である。ＭＡＸ及びＭＩＮ信号のクロマ値は通常は最大値又は最小値処理には含まれず、所定のウィンドウ領域内で最大又は最小輝度値を有する画像ピクセルの対応するクロマ値を示す（従って“従属”と呼ばれる）。一般に、従属最大値及び最小値信号ＭＡＸ，ＭＩＮは適当な色空間の直交三軸に対応する２４ビットの３成分ベクトル信号である。

動的閾値モジュール２６２０は識別されたピクセルの画像値を使用してガマット強調化画像データ信号ＧＭＥに適応的に閾値を適用する。特に動的閾値モジュール２６２０は対象ピクセルに対して従属閾値と従属規格化値を決定する。従属閾値は現在の対象ピクセルのＭＡＸ，ＭＩＮ値の平均又は中央値として決定され、また従属規格化値は現在の対象ピクセルのＭＡＸ，ＭＩＮ値の差として決定される。

かかる例示的態様に於いては、従属規格化信号の絶対値がコントラスト閾値と比較される。従属規格化信号の絶対値がコントラスト閾値より小さい場合、現在の対象ピクセルについての三値エッジ連続性信号ＴＥＣの値は０に設定される。従属規格化信号の絶対値がコントラスト閾値より大きいかこれと等しい場合、現在の対象ピクセルについての三値エッジ連続性信号ＴＥＣの値は、現在の対象ピクセルについてのガマット強調化画像データ信号ＧＭＥが動的閾値より大きいか小さいかに応じて、＋１または−１に設定される。

量子化モジュール２６４０は８ビットの原グレースケールセレクタ信号Ｇｒｒを三値エッジ連続性信号ＴＥＣに変換し、これは信号線２６４１を介してブロブ識別モジュール２７００に出力される。２ビットの三値エッジ連続性信号はまた信号線２６４２を介してセレクタエッジ抽出信号ＳＥＥとしてエッジ強調モジュール２６５０に出力される。エッジ強調モジュールはまた強調化レベル信号ＥＮＬを信号線２６３１を介して、またガマット強調化画像データ信号ＧＭＥを信号線２５１０を介して入力する。エッジ強調モジュール２６５０はこれらすべての入力信号に基づいてカラー強調化画像データ信号ＥＮＨを、図５に示す如く、信号線２６５６を介してブロブ識別モジュール２７００及びブロブマッピング・クラスターモジュール２８００の両方に出力する。

量子化モジュール２６４０は８ビットの原グレースケールセレクタ信号Ｇｒｒを信号線２６２２を介して入力し、この８ビット信号を２ビットの三状態値信号ＴＥＣに変換する。表１は−１２８から＋１２７迄のＧｒｒ値が信号線２６４１を介して出力される三値エッジ連続性信号ＴＥＣと信号線２６４２を介してエッジ強調モジュール２６５０に出力される信号ＥＥＥとにどのように変換されるかを示す。

表１に示す如く、三値エッジ連続性信号ＴＥＣ及びセレクタエッジ抽出信号ＥＥＥの０値は原グレースケールセレクタ信号Ｇｒｒでの弱いエッジ又はエッジ無しに、即ちＧｒｒ信号値の［−１から＋１］の範囲全てに対応する。これに対し、原グレースケールセレクタ信号Ｇｒｒで＋１より大きい値を有する強い正エッジは三値エッジ連続性信号ＴＥＣ及びセレクタエッジ抽出信号ＥＥＥの＋１（または“Ｈ”）に変換される。最後に、原グレースケールセレクタ信号Ｇｒｒで−１より小さい値を有する強い負エッジは三値エッジ連続性信号ＴＥＣ及びセレクタエッジ抽出信号ＥＥＥの−１（または“Ｌ”）にマッピングされる。図７に詳細を示すエッジ強調モジュール２６５０はセレクタエッジ抽出信号ＥＥＥの値Ｈ、０，Ｌを使用して各カラー信号ＧＭＥ，ＭＡＸ及びＭＩＮのいずれを強調化画像データ信号ＥＮＨとして出力するかを決定する。

図７は図６に示すエッジ強調モジュール２６５０を図示する。第一内挿モジュール２６５１は従属最大値信号ＭＡＸを信号線２６１１を介して、またガマット強調化画像データ信号ＧＭＥを信号線２５１０を介して、また強調化レベル信号ＥＮＬを信号線２６３１を介して強調化レベルメモリー２６３０から入力する。これに対して第二内挿モジュール２６５３は従属最小値信号ＭＩＮを信号線２６１２を介して、またガマット強調化画像データ信号ＧＭＥを信号線２５１０を介して、また強調化レベル信号ＥＮＬを信号線２６３１を介して入力する。第一及び第二内挿モジュール２６５１，２６５３はガマット強調化画像データ信号ＧＭＥから、ガマット強調化画像データ信号ＧＭＥを各ピクセルごとに明るく又は暗くしてエッジ強調化画像データを生成する。特に第一内挿モジュール２６５１は各ピクセルごとにより明るいエッジ強調化画像データＥＨを：
ＥＨ＝［ＧＭＥ＋（ＭＡＸ−ＧＭＥ）（ＥＮＬ／２５６）］
として生成する。これに対して、第二内挿モジュール２６５３は各ピクセルごとにより暗いエッジ強調化画像データＥＬを：
ＥＬ＝［ＧＭＥ＋（ＭＩＮ−ＧＭＥ）（ＥＮＬ／２５６）］
として生成する。

明及び暗画像データ信号ＥＨ、ＥＬのそれぞれはガマット強調化画像データ信号ＧＭＥと共にマルチプレクサ２６５５に出力される。マルチプレクサ２６５５はまた三値エッジ連続性信号ＴＥＣをセレクタエッジ抽出信号ＥＥＥとして入力する。

マルチプレクサ２６５５はセレクタエッジ抽出信号ＥＥＥを制御信号として使用して、各ピクセルごとに、元のガマット強調化画像データ信号ＧＭＥと明または暗画像データ信号ＥＨまたはＥＬとの選択を行う。ふたたび表１を参照すると、セレクタエッジ抽出信号ＥＥＥのＨ値は信号ＥＨを選択するために使用され、セレクタエッジ抽出信号ＥＥＥのＬ値は信号ＥＬを選択するために使用される。セレクタエッジ抽出信号ＥＥＥの０値は元のガマット強調化画像データ信号ＧＭＥを選択するために使用される。信号ＥＥＥの値に基づいて、マルチプレクサ２６５５は信号ＥＨ、ガマット強調化画像データ信号ＧＭＥ及び信号ＥＬのうち選択された一者を強調化画像データ信号ＥＮＨとして信号線２６５６を介して出力する。

信号線２６５６に出力された強調化画像データ信号ＥＮＨは、強い正エッジが存在する場合には、元のガマット強調化画像データ信号ＧＭＥと比べて明るくされ、強い負エッジが存在する場合には、元のガマット強調化画像データ信号ＧＭＥと比べて暗くされる。最後に、強い正エッジまたは強い負エッジが存在せず、或いはせいぜい弱いエッジが存在する場合には、元のガマット強調化画像データ信号ＧＭＥが出力されて強調化は行われない。

図８は信号線２６３１を介して第一及び第二内挿モジュール２６５１及び２６５３に出力される強調化レベル信号ＥＮＬの効果を示す。

図５に於いて、ブロブ識別モジュール２７００は強調化画像データ信号ＥＮＨを信号線２６５６を介して、また２ビット三値エッジ連続性信号ＴＥＣを信号線２６４１を介して入力する。ブロブ識別モジュール２７００は入力された強調化画像データを、複数の二進フォアグランド平面のそれぞれへの表示に適したブロブに区分する。ブロブ識別モジュール２７００は、各ピクセルごとに、画像の各ピクセルを以前に識別されたブロブ、新しいブロブ、またはバックグランドグレースケール画像平面に割り当てることにより操作する。ブロブ識別モジュールは、各ブロブが連続な強いエッジを有し、かつ他の全てのブロブに対して完全に内側或いは完全に外側に存在するよう画像をブロブに分割する。ブロブ識別モジュール２７００は、現在の対象ピクセル及び周囲の複数のピクセルについて、これらピクセルの三値エッジ連続性信号ＴＥＣの値を調べることによって操作を行う。

ブロブ識別モジュール２７００は、現在の対象ピクセル及び複数の隣接ピクセルの三値エッジ連続性信号ＴＥＣの値に基づいて、対象ピクセルに以後の処理で使用されるブロブＩＤを割り当てる。

ブロブ識別モジュール２７００は、画像の左上隅のピクセルから処理を開始し、画像の各水平ピクセル行を左から右に移動し、その行の終端に到達するまで継続する。ついでブロブ識別モジュール２７００は次の行を選択し、その行の左端から処理を開始する。各ピクセルが選択される度に、ブロブ識別モジュール２７００はそのピクセルについての三値エッジ連続性信号ＴＥＣ並びに一個又はそれ以上の隣接ピクセルについての三値エッジ連続性信号ＴＥＣの値を入力する。

ブロブ識別モジュール２７００は、対象ピクセルと、対象ピクセルのすぐ上の隣接ピクセルと、対象ピクセルのすぐ左の隣接ピクセルとの三値エッジ連続性信号ＴＥＣの値を使用する。より高品質を得るためには付加的な隣接ＴＥＣピクセル、例えば左上のピクセルまたは左側又は上側の二番目のピクセルを使用しても良い。上記の如く現在のピクセルに直近のピクセルについての三個又はそれ以上の三値エッジ連続性信号ＴＥＣの値に基づいて、ブロブ識別モジュール２７００は現在の対象ピクセルについて表２に示す如くブロブ番号を設定する。

表２に示す如く、ブロブ識別モジュール２７００は、現在の対象ピクセル並びに上側隣接ピクセル及び左側隣接ピクセルが属するブロブについて、これら三個のピクセルの三値エッジ連続性信号ＴＥＣの値に基づいて、いくつかの可能な処理の一つを行う。表２はブロブ識別処理を促進する特別の方法を示す。この方法はパターンマッチング技術に基づいている。三個又はそれ以上のエッジ連続性ＴＥＣピクセルは結合されて表へのアドレスを構成する。このアドレスは表から特定の処理を検索するのに使用される。表の各アドレスは異なるＴＥＣパターンの組み合わせに対応する。特に、三個のピクセルがゼロでない三値エッジ連続性信号ＴＥＣの値を有する場合には、現在の対象ピクセルと、ブロブを含む上側隣接ピクセルと、ブロブを含む左側隣接ピクセルとは一個のブロブＩＤを有する一個のブロブに統合される。種々の例示的態様に於いて、この統合されたブロブに割り当てられるブロブＩＤは上側隣接ピクセルと左側隣接ピクセルの中で最低のブロブＩＤとされる。

三個のピクセルの三値エッジ連続性信号ＴＥＣの値が全てゼロでなく、但し現在のピクセルの値が上側隣接ピクセル及び左側隣接ピクセルの値と異なる場合には、現在のピクセルには新しいブロブＩＤが割り当てられ、新しいブロブが開始される。三個のピクセルの三値エッジ連続性信号ＴＥＣの値が全てゼロでなく、但し現在のピクセルが上側隣接ピクセル又は左側隣接ピクセルと一致し、上側隣接ピクセル及び左側隣接ピクセルの他方と異なる場合には、このいずれが現在のピクセルと同じ三値エッジ連続性値を有するかに応じて現在のピクセルは上側隣接ピクセル又は左側隣接ピクセルのブロブＩＤを継承する。

三個のピクセルそれぞれが異なる三値エッジ連続性信号ＴＥＣの値を有する場合、即ちピクセルの一つが値＋１，ピクセルの一つが値−１，かつピクセルの一つが値０を有する場合、これら三個のピクセルの間には著しい連続性の断絶が存在する。従って現在のピクセルはバックグランドグレースケール平面に統合される。同様に全てのピクセルが左側隣接ピクセルと同じブロブＩＤを有しまたは上側隣接ピクセルと同じブロブＩＤを有する場合も、これらはバックグランドグレースケール平面に統合される。

三値エッジ連続性信号ＴＥＣの値が全てのピクセルについてゼロの場合、或いはピクセルの一つについてゼロであり三値エッジ連続性信号ＴＥＣの値が他の二つのピクセルについて等しい場合、上側隣接ピクセル及び左側隣接ピクセルのそれぞれの２４ビット三成分カラーが現在のピクセルの２４ビット三成分カラーと十分に類似しているかが決定される。種々の例示的態様に於いて、二つのピクセルの三個の色成分値それぞれの絶対値差の合計が所定の閾値より小さい場合、又は他の同様な方法によって、現在のピクセルの色と上側隣接ピクセル及び左側隣接ピクセルのいずれかの色が十分類似していることが判定される。

ブロブ識別モジュール２７００はもはや活動状態にないブロブ、例えば完成したブロブを保持するためブロブグローバルテーブルを有する。処理中に全ての要求条件を満たして新たに識別されたブロブは一時的な作業テーブルからブロブグローバルテーブルにコピーされる。

ブロブの形状はブロブＩＤの関数として保持される。即ち、各ピクセルには、それが属するブロブに対応して異なるブロブＩＤが与えられる。これらのブロブＩＤを画像平面にマッピングすることによってブロブの形状が定義される。またグレースケールバックグランド平面に割り当てられるべきピクセルには特別のブロブ識別値例えば０値が割り当てられ、かかる０値はこれらピクセルが“バックグランド”ブロブの一部であることを示す。

新しいブロブが識別される度に、かかるブロブは以前に規定された隣接ブロブとは連結されず或いは異なる色を有するため、作業テーブルで新しいブロブＩＤが割り当てられる。対応する表入力はブロブピクセルから収集された情報に基づいて開始される。ブロブ識別モジュール２７００の操作は継続されているため、新しいフォアグランドピクセルが、隣接ピクセルのブロブ性質と良く一致する場合には、以前に開かれたブロブに加えられる。ピクセルを既存のブロブに含めるための二つの主要な基準は、前述の如く、エッジの連続性及び色の類似性である。新しいピクセルを既存のブロブに含める度に、既存のブロブに対するブロブテーブルの内容は新しい境界ボックスサイズ、ブロブの色の更新された累積平均又は累積合計値、ブロブフォアグランドの増加されたピクセル計数値等を反映するように更新される。

ブロブ識別モジュール２７００が作業を行うにつれて、例えば字“ｙ”の場合の如く、以前には分離していた二個又はそれ以上のブロブが連結される場合、これら全てのブロブの色が一致するならば、これらのブロブは統合されて一個のより大きいブロブとなる。特にこの大きいブロブは以前の連結ブロブの集合である。ブロブ統合のため、ブロブ識別モジュール２７００は一つのブロブＩＤ、例えば小さい方を選び、統合されたブロブの全てのピクセルを含めるよう、新しい境界ボックスサイズ、色の累積平均又は累積合計値、ブロブフォアグランドピクセル計数値等を含めてテーブル入力を更新する。さらにブロブ識別モジュールはブロブ像の形状を更新して統合された群の全てのピクセルに一個の選択されたブロブＩＤを割り当てる。これが完了すると、ブロブ識別モジュール２７００は第二及び連結するブロブＩＤをその関連テーブル入力値と共にブロブ作業テーブルから削除する。このように解放されたブロブＩＤは再使用可能であり、新しく開かれたブロブが存在する場合に割り当てに利用することが出来る。

ブロブが終端に達した場合、即ち最後のブロブ走査線より下に類似の色の新しい追加ピクセルが見出されずかつ全体のエッジ連続性及び色が要求条件全てを満たす場合には、ブロブ識別モジュール２７００は開いたブロブを閉じる。かかる場合、ブロブの属性、例えば境界ボックス、ブロブの色の累積平均又は累積合計値、フォアグランドのピクセル計数値、ブロブの形状等はブロブ全体の最終値を反映するよう最終的に更新される。ついでブロブは有効な表から除かれ、最終的なブロブの表、例えばブロブグローバルテーブルにコピーされる。

図９〜１２はブロブ識別モジュール２７００が遭遇しうるブロブの四種の異なる形式を示す。図９は確立した単一のブロブ４００を示す。

図１０は第一のブロブが第二のブロブを含むブロブ対４００’を示す。

図１１は閉じていないエッジ又は曲線４３０を有する潜在ブロブ４００’’を示す。

図１２は潜在ブロブ対４００’’’を示す。

図１３は、一つのブロブが他のブロブに完全に含まれる場合に、異なるブロブ内のピクセルにどのようにブロブＩＤが割り当てられるかを示す。内側ブロブ５２０のピクセルはすべてブロブＩＤとして２を得る。この内側ブロブ５２０のピクセルはすべて接触しており単純な閉じた曲線を形成しているのでこれは自然である。他方ブロブ５１０は環状であり、従ってブロブ５２０のピクセルによってこの同じブロブ５２０の他のピクセルから分離されたピクセルを含んでいる。表２に記載の上記ブロブＩＤ割り当て方法はかかる状況を容易に処理することが出来るので、複雑な形状のブロブ、例えば“Ｙ”又は“Ｒ”の如きブロブも不必要に複数のブロブに分割されることはない。

ブロブ識別モジュール２７００が画像のピクセル領域に異なるブロブＩＤを割り当てることによって異なるブロブへの分割を行った場合、ブロブ識別モジュール２７００はブロブＩＤ信号ＢＩＤ及びブロブグローバルテーブル信号ＧＴＢをブロブマッピング・クラスターモジュール２８００に出力する。ブロブマッピング・クラスターモジュール２８００はブロブ識別の精度を上げ、悪いブロブを選別してブロブグローバルテーブルＧＴＢから除き、そのピクセルをバックグランド平面に統合する。

図１４はブロブマッピング・クラスターモジュール２８００の例示的態様を示す。ブロブＩＤ信号ＢＩＤは信号線２７１０を介して、またブロブグローバルテーブル信号ＧＴＢは信号線２７２０を介してマークグラフィックスモジュール２８１０に入力される。マークグラフィックスモジュール２８１０は識別された各ブロブを順次選択し、ある条件が存在する場合にはこのブロブを悪いブロブとしてマークする。例えば（１）このブロブのブロブ領域があまり小さい場合、又は（２）このブロブのオン状態、即ちゼロでないカラー値を有するピクセルが少なすぎる場合、又は（３）アスペクト比、即ちブロブ境界ボックスの幅と高さの比がブロブが垂直方向又は水平方向に狭すぎることを示す場合などには、ブロブは悪いブロブとしてマークされる。ついでマークグラフィックスモジュール２８１０は、悪いブロブを標識するよう修正されたブロブＩＤ信号ＢＩＤ及びブロブグローバルテーブル信号ＧＴＢを信号線２８１１を介して標識ブロブフィルターモジュール２８２０に出力する。

標識ブロブフィルターモジュール２８２０はブロブグローバルテーブルを解析して隣接する良いブロブに包囲された悪いブロブを識別する。同様に標識ブロブフィルターモジュール２８２０はブロブグローバルテーブルを解析して隣接する悪いブロブに包囲された良いブロブを識別する。これらの孤立した良い又は悪いブロブを解析してそれぞれ隣接する悪い又は良いブロブと類似の特性を有するかを調べる。類似している場合、孤立した悪いブロブは良いブロブに変更される。同様に、孤立した良いブロブが隣接する悪いブロブと類似の特性を有する場合、これも悪いブロブに変更される。ついで標識ブロブフィルターモジュール２８２０はブロブグローバルテーブルから悪いブロブを除去し、そのブロブＩＤを解放し、悪いブロブをバックグランドカラー平面に統合する。標識ブロブフィルターモジュール２８２０によって変更されたブロブＩＤ信号ＢＩＤ及びブロブグローバルテーブル信号ＧＴＢを信号線２８２１を介して内側ブロブ標識モジュール２８３０に出力する。

内側ブロブ標識モジュール２８３０は他のブロブ内に完全に含まれるブロブ、例えば文字“ｏ”または“ｅ”の内側のブロブを識別する。三値エッジ連続性信号ＴＥＣの値の挙動により、あるブロブが他のブロブの完全に内側にあるか否かは、通常二つのブロブを貫通する水平行を検査すれば十分である。

例えば、図１３に於いて、ブロブ２がブロブ１内に完全に含まれるかを調べるためには、下記のテストが行われる。ブロブ２の境界ボックスの頂部及び底部座標を使用してブロブ２の中央の線位置を計算する。次にこの線を、外側ブロブ１の境界ボックスの左端のピクセルから出発して、右端のブロブ１ピクセルへと移動する。次にこのテストではこの線に沿ってピクセルのブロブＩＤを追跡する簡単なテスト機が使用される。これは基本的には一連のブロブ１、ついで一連のブロブ２、ついで再びブロブ１のピクセルを探索するものであり、ブロブ２がブロブ１の内側で連続する状態を求める。ブロブ１又は２でのＩＤの順列の狂い或いは他のブロブの存在があれば内側テストを通過しない。この方法は明らかにピクセルの全ての可能な組み合わせを調べる方法より遙かに少ない計算量で済む。

更に内側ブロブ標識モジュール２８３０によって変更されたブロブＩＤ信号ＢＩＤ及びブロブグローバルテーブル信号ＧＴＢは信号線２８３１、２８３２を介してブロブマッピングモジュール２８４０に出力される。ブロブＩＤ信号ＢＩＤはまた信号線２８３１を介してブロブクラスターモジュール２８５０にも出力される。

ブロブマッピングモジュール２８４０は類似の色のブロブすべてをクラスター化してブロブ・カラーインデックスを生成する。ブロブマッピングモジュール２８４０はブロブの色特性に基づいてカラーインデックスを一個又はそれ以上のブロブに割り当てる。オクタルツリー（ｏｃｔａｌｔｒｅｅ）によるクラスター化法を使用する。本発明の他の実施態様では、第二階層二進ツリーによるクラスター化法を使用する。特定のクラスター化法にかかわらず、ページ内のブロブは典型的にはより少数の一義的代表色に分類され、これがついで複数の二進フォアグランド平面の色として使用される。

ブロブの分類法はオクタルツリー法の如く色特性のみに基づくものでも良く、また第二階層二進ツリー法の如く色特性と空間特性に基づくものでも良い。

ブロブの分類法は残留する良いブロブについてオクタルツリーを構成する。これについては図１５〜１７を参照して詳述する。ついでブロブマッピングモジュール２８４０は生成されたオクタルツリーを信号線２８４１を介してブロブクラスターモジュール２８５０に出力する。以下に詳述する図１５は強調化画像データ信号ＥＮＨを解析してオクタルツリー及びブロブ・カラーインデックスを生成する方法を示す。図１６，１７に示す如く、ブロブマッピングモジュール２８４０はオクタルツリーを生成し、ついでオクタルツリーを簡略化する。オクタルツリーの残留するそれぞれのリーフは複数の二進フォアグランド層の異なる層を表す。

二進フォアグランド層については可能な最大数、例えば１２８，が希望される場合がある。ブロブマッピングモジュール２８４０は類似の色を有するオクタルツリーのリーフをクラスター化してオクタルツリー内に許容される最大数以上のリーフが残らないようにする。ついでブロブマッピングモジュール２８４０はカラー・インデックス信号ＣＴＩを信号線２８４１を介してブロブクラスターモジュール２８５０に出力する。

ブロブクラスターモジュール２８５０は生成されたカラー・インデックス信号ＣＴＩを信号線２８４１を介して、またブロブＩＤ信号ＢＩＤを信号線２８３１を介して、また強調化画像データ信号ＥＮＨを信号線２８５６を介して入力する。ブロブクラスターモジュール２８５０はブロブＩＤカラー・インデックス信号ＣＴＩに基づいて、十分に近い色を有するブロブを複数の二進フォアグランド層の特定の層に統合又は割り当てを行う。即ち、ブロブクラスターモジュール２８５０は、それぞれの二進フォアグランド層について、その二進フォアグランド層に付随する色の層ＩＤを有するブロブをこの二進フォアグランド層に結びつける。ブロブクラスターモジュール２８５０は全ての二進フォアグランドマスクを結合する信号線２８５３を介して二進セレクタ信号ＢＥＬを生成する。さらにこれはカラー強調化画像データ信号ＥＮＨを信号線２８５２を介してバックグランド調整モジュール２９００に転送し、また決定された種々の二進フォアグランド平面を信号線２８５１を介して圧縮モジュール３０００に転送する。

図１５はオクタルツリーの例示的態様と、オクタルツリーがどのように強調化画像データ信号ＥＮＨの三色成分ベクトルに対応するかを示す。三色成分ベクトル６０１，６０２，６０３はそれぞれ左端の最高重要度ビットから右端の最低重要度ビット迄の８ビットデータを有する。

図５１に示す如く、２４ビットのフルカラー三色カラーベクトルの三個の独立の色成分６０１，６０２，６０３は最初に単一の２４ビットのワードに変更される。この２４ビットのワードは８個の３ビットのニブル（ｎｉｂｂｌｅ）又はレベル６０４に分割される。各３ビットのニブル又はレベル６０４は三個の異なる成分６０１−６０３それぞれから同じ重要度のビットを集めてこれらを通常同じ順序で並べて作られる。即ち三個の最重要ビットは第１ニブル又は０番目のレベル６０５にあり、三個の二番目に重要なビットは第２ニブル又は１番目のレベル６０６にあり、三個の最低重要度ビットは第８ニブル又は７番目のレベル６０７にある。従って３ビットの各ニブルは各レベルに可能な８個の値を規定する。

ブロブマッピングモジュール２８４０は前述の如くオクタルツリーの生成及び簡略化を行う。

オクタルツリー６００は８個の３ビットのニブルから構成でき、第１ニブル又は０番目のレベル６０５に相当するルートノード６１０はこの第１ニブルの可能な３ビット値にそれぞれ相当する８個の異なる枝６１１を有する。

ブロブグローバルテーブル信号ＧＴＢ中で識別された各ブロブはこのように変換される。従って、それぞれ異なるブロブは、これに付随する色彩値の三成分の三個の最重要度ビットの８個の可能な３ビット値の一者を有する。第一ブロブ６０５について識別されたブロブに発生しうる８個の３ビット値のそれぞれに対して、さらに枝６１１の終端、例えば３ビット値“１０１”に対応する枝６１２，に第２ニブル又は第１レベルノードが付加される。第２ニブル又は第１レベルノード６２０を有する各枝６１１について各識別ブロブの第２ニブル６０６が選択される。従って、第１レベルノード６２０に付加されるノードを要する第２ニブル６０６には、これらの３ビットの値に応じて８個の異なる３ビット値が発生しうる。例えば、図１５に示す如く、第１レベルノード６２０からの８個の枝６２１には、第２レベルノード６３０がこれらの枝６２１の末端に付加されることとなり、例えば枝６２２に於いてはブロブは第１レベルノード６２０の０番目レベルの３ビット値と枝６２２の末端に位置する第２レベルノードに対応する第１レベル値、例えば第１レベル値“０１０”、に対応する色彩値を有する。

従って、図１５に示す如く、第３ニブル又は第２レベルノード６３０はこれから延びる８個の枝６３１を有する。また第４ニブル又は第３レベルノード６４０はこれから延びる８個の枝６４１を有する。同様に第５、第６、第７、第８のニブルそれぞれは、前のレベルのノードから延びる枝６４１，６５１，６６１，６７１のうちの一つの末端にノード６５０，６６０，６７０，６８０を有する。例えば、図１５に示す２４ビットワードの色彩値が第３ニブルについて値０００，第４ニブルについて値１１１，第５ニブルについて値１１１，第６ニブルについて値００１，第７ニブルについて値０１１，及び第８ニブルについて値０１１を有する場合、この特定の２４ビットワードについてのツリーは追加の枝６４１，６５２，６６２，６７２，６８１を有し、図１５に示すリーフ２に達するツリー６００となる。他の識別されたブロブに対する２４ビット色彩値が同様にツリー６００に追加された場合には、ツリー６００は、識別されたブロブ中に存在する各色に対応してルート又は０番目のレベルのノード６００から７番目のレベルの特定のリーフ６８１、例えば図１５のリーフ２，に達する経路が含まれる。しかし、いくつかのブロブが正確に同じ２４ビット色彩値を有することがあるため、異なる識別されたブロブと同数の異なるリーフ６８１は必ずしも必要ではない。

二つの異なるブロブがツリー６００中で第７レベルのリーフ６８１又は第６レベルの枝６７２、或いは第４又は５レベルの枝６５１，６６１を除いて同一の経路を有する場合、これらの色は十分に類似しており、従ってこれら２個又はそれ以上のブロブに対するリーフ及び／または枝は結合されるべきである。これを図１６，１７に詳細に示す。

ブロブマッピングモジュール２８４０について前に概説した如く、ブロブグローバルテーブル信号ＧＴＢ中に残存するブロブは、ブロブグローバルテーブル信号ＧＴＢがマークグラフィックスモジュール、標識ブロブフィルターモジュール、及び内側ブロブ標識モジュール２８１０、２８２０、２８３０によって希釈された後、前述の如くブロブが一つずつ解析されてルートノード６１０から特定のリーフノード６８１に達するツリー６００の経路が形成される。ツリー６００中のリーフ６８１の数は、複数の二進フォアグランド平面フォーマットに入力画像の画像データを格納するのに使用される二進フォアグランド平面の数を示す。

許される層の数は通常ある数、一般に２のべき乗、例えば１２８，２５６など、に限定される。ツリー６００中の最初の層数がこの数を超える場合、オクタルツリー６００の簡略化が必要である。

図１７に示す如く、図１６のノード６９４，６９３は統合されてノード６９０が最初のリーフ１，２，３それぞれを含む単一のリーフを有するようにされる。最後にブロブマッピングモジュール２８４０はカラー・インデックステーブルＣＴＩを生成し、これはブロブの色彩を、オクタルツリー６００中の最終的対応リーフに割り当てられる層ＩＤにマッピングを行う。

図１８は複数のブロブ７０５〜７９０を含む原画像７００を示す。異なるハッチング模様はそれぞれ異なるインデックス値を示す。従ってブロブ７０５，７６０は異なるインデックス値を有し、ブロブ７８０，７９０は同じインデックス値を有する。ブロブ７５０，７７０のみは特別のインデックス値を有するブロブである。ブロブ７１０，７２０及びブロブ対７３０のブロブ７３１は同じインデックス値を有する。最後に、ブロブ７３２及び７４０は同じインデックス値を有する。但し、異なるブロブが同じインデックス値を有していても、必ずしも同じ色彩値を有するとは限らない。

ブロブ７１０，７２０，７３１はそれぞれの周囲に形成された境界ボックス７１１，７２１，７３１を有している。境界ボックス７１１，７２１，７３１はこれらのブロブの文書軸に沿った左端、右端、上端及び下端の範囲を示す。さらに同一インデックスを有するブロブ７１０，７２０，７３１の文書軸に沿った左端、右端、上端及び下端の範囲を示す全体境界ボックス７２１も文書７００の全サイズに対比して示されている。

ブロブ７１０，７２０，７３１がツリー６００の簡略化によって同一のインデックスを有するため、これらブロブは図１８に示す如く全て同一の二進フォアグランド平面８００に押し上げられる（ｌｉｆｔｅｄ）。二進フォアグランド平面８００はブロブ８１０，８２０，８３１を含み、これらはそれぞれ境界ボックス８１１，８２１，８３１によって囲まれる。ブロブ８１０，８２０，８３１は同じインデックス値を有するが、必ずしも全く同じ色彩値を有するとは限らない。従って二進フォアグランド平面８００に付随する色彩値８４０は二進フォアグランド平面８００に包含されたブロブ８１０，８２０，８３１の平均色彩値である。二進フォアグランド平面８００のサイズ及びバックグランドグレースケール層及び他の複数の二進フォアグランド平面に対するその相対的位置は境界ボックス７１２に対応する。従って二進フォアグランド平面８００は原画像７００又はカラーバックグランド層と範囲は一致する必要はない。

図１９はこのプロセスを他の方法で示す。強調化画像データ信号ＥＮＨ、ブロブインデックス信号ＢＩＤ及びブロブ情報はラインごとに入力される。これは図１９の線９００で示される。強調化画像データ信号ＥＮＨの走査線９００上のピクセルは７個のセクション９０１〜９０７に分割され、セクション９０１、９０３、９０５、９０７はバックグランドピクセルと標識され、バックグランドピクセル９１１〜９２１としてバックグランド層９１０にコピーされる。同時に、押し上げるべきピクセル領域９０２，９０４，９０６それぞれの層ＩＤに基づいて二進値“１”が押し上げるべきこれらピクセルそれぞれの層ＩＤに従って層９３０，９４０，９５０又は９６０に書き込まれる。ピクセルセット９０２については、層９４０に“１”のセット９４１が書き込まれる。同様にピクセルセット９０４について層９５０に“１”のセット９５１が書き込まれる。最後に、ピクセルセット９０６について層９３０に“１”のセット９３１が書き込まれる。同時に、ピクセルセット９０２，９０４，９０６が各層９３０〜９６０に押し上げられる際に、バックグランド層の対応するピクセル９１４がゼロに設定される。

図２０，２１は、走査された画像データを複数の二進フォアグランド平面を用いてポータブルドキュメントフォーマット（ＰＤＦ）のドキュメントファイルに変換する方法の例示的態様を示すフローチャートである。走査はステップＳ１０００で開始し、ステップＳ２０００に進んで走査された画像データが選択された色空間に変換される。ステップＳ３０００において、変換された画像データに対してハーフトーンスクリーンパラメータ例えばスクリーン周波数及びスクリーンサイズが推定される。ステップＳ４０００において、変換された画像データはデスクリーン処理されて推定された少なくとも一個のハーフトーンスクリーンパラメータに基づいて変換された画像データからハーフトーンスクリーニングを除去する。すなわち、デスクリーン処理により、画像データがハーフトーン画像データから真に連続性トーンのグレースケール画像データに変換される。

ステップＳ５０００において、デスクリーンされた画像データのスケーリングを行う。ステップＳ６０００において、スケーリング及びデスクリーンされた画像データからガマット強調化画像データを生成する。ステップＳ７０００において、ガマット強調化画像データからエッジ強調画像データ及びエッジ連続性データを生成する。

ステップＳ８０００において、エッジ連続性データに基づいて、エッジ強調画像データ内に生じる複数の二進フォアグランド平面に配分されるべき複数の画像データブロブが決定される。ステップＳ９０００において、定義が不十分なブロブ、例えば悪いブロブが除去される。ステップＳ１００００において、決定されたブロブから“悪い”ブロブを除去した後に残存するブロブからカラーツリーが生成される。

ステップＳ１１０００において、残存するブロブが分離した二進フォアグランド平面（層）及びグレースケールバックグランド平面にクラスター化される。ステップＳ１２０００において、グレースケールバックグランド平面内の画像データを調整してグレースケールバックグランド平面の圧縮性を改善する。ステップＳ１３０００において、ステップＳ１１０００で決定された分離した二進フォアグランド平面のそれぞれを、かかる二進フォアグランド平面に適した圧縮技術を用いて、圧縮する。

ステップＳ１４０００において、グレースケールバックグランド平面を、かかるグレースケールデータに適した圧縮技術を用いて、圧縮する。ついで、ステップＳ１５０００において、圧縮された二進フォアグランド平面及び解凍されたグレースケールバックグランド平面からポータブルドキュメントフォーマット（ＰＤＦ）のドキュメントファイルが生成される。ついで、ステップＳ１６０００において、生成されたポータブルドキュメントフォーマット（ＰＤＦ）のドキュメントファイルが下流のプロセサに出力され、かつ／又はメモリーに格納される。ついで操作はステップＳ１７０００に進んで、このプロセスの操作が終了する。

３層混合ラスターコンテンツを示す図。複数の二進フォアグランド平面を示す図。３層画像データ発生システムを示す図。図３の３層画像データ発生システムのセグメントモジュールを示す図。Ｎ層画像データ発生システムを示す図。図５のＮ層画像データ発生システムのセグメントモジュールを示す図。図６のセグメントモジュールのエッジ強調モジュールを示す図。原スキャナ信号及び原スキャナ信号から誘導される各種強調化信号を示す図。確定及び不確定ブロブを示す図。確定及び不確定ブロブを示す図。確定及び不確定ブロブを示す図。確定及び不確定ブロブを示す図。確定ブロブが他の確定ブロブ内に含まれる状態を示す図。図５のＮ層画像データ発生システムのブロブマッピング・クラスターモジュールを示す図。カラーデータから生成可能なツリーデータ構造を示す図。図１５のツリー構造を結合してリーフノードの数を削減する種々の技術を示す図。図１５のツリー構造を結合してリーフノードの数を削減する種々の技術を示す図。画像のブロブが識別された後の原画像データ、及びブロブ及び特定の二進フォアグランド平面のカラーデータに基づいて識別されたブロブを特定の二進フォアグランド平面に集める技術を示す図。処理された画像データがバックグランド平面及び複数のフォアグランド平面に配分される状態を示す図。走査された画像データを複数の二進フォアグランド平面を用いてＰＤＦ形式のドキュメントファイルに変換する方法を示すフローチャート。走査された画像データを複数の二進フォアグランド平面を用いてＰＤＦ形式のドキュメントファイルに変換する方法を示すフローチャート。

Claims

画像データ中の一個又はそれ以上のブロブを識別するブロブ識別部と、
一個又はそれ以上のブロブに各ブロブの色特性に基づいてカラーインデックスを割り当てるブロブマッピング部と、
各ブロブのカラーインデックスに基づいてブロブを一個又はそれ以上の二進フォアグランド面及びグレースケールバックグランド面に割り当て、Ｎ層の画像データを生成するブロブクラスター化部と、
もはや活動状態にないブロブのグローバルテーブルを維持しかつ内側ブロブを識別するブロブ識別モジュールと、
前記内側ブロブを解釈してバックグランドデータを表すかどうかを決定するブロブ解釈モジュールであって、バックグランドデータを表す内側ブロブの画像データは、前記グレースケールバックグランド面のデータとすると共に、バックグランドデータを表さない内側ブロブは、有効ブロブとして維持される、当該ブロブ解釈モジュールと、
を有し、
前記1個又はそれ以上の割り当てられた二進フォアグランド面と前記グレースケールバックグランド面のデータは、二進フォアグランド面のデータと前記グレースケールバックグランド面のデータとのそれぞれに別個の圧縮アルゴリズムを応用することにより、圧縮される
ことを特徴とする装置。
前記ブロブクラスター化部は、バックグランド面に、どのフォアグランド面にも割り当てられていない画像データの１つの又はそれ以上の部分を割り当てることを特徴とする請求項１に記載の装置。
画像データ中の一個又はそれ以上のブロブを識別するステップと、
一個又はそれ以上のブロブに各ブロブの色特性に基づいてカラーインデックスを割り当てるステップと、
各ブロブのカラーインデックスに基づいてブロブを一個又はそれ以上の二進フォアグランド面及びグレースケールバックグランド面に割り当て、Ｎ層の画像データを生成するステップと、
もはや活動状態にないブロブのグローバルテーブルを維持するステップと、
内側ブロブを識別するステップであって、バックグランドデータを表す内側ブロブの画像データは、前記グレースケールバックグランド面のデータとすると共に、バックグランドデータを表さない内側ブロブは、有効ブロブとして維持される、当該ステップと、
二進フォアグランド面のデータと前記グレースケールバックグランド面のデータとのそれぞれに別個の圧縮アルゴリズムを応用することにより、前記1個又はそれ以上の割り当てられた二進フォアグランド面と前記グレースケールバックグランド面のデータを圧縮するステップと、
を有する方法。
バックグランド面に、どのフォアグランド面にも割り当てられていない画像データの１つの又はそれ以上の部分を割り当てるステップを更に有することを特徴とする請求項３に記載の方法。
コンピュータを、
画像データ中の一個又はそれ以上のブロブを識別するブロブ識別手段、
一個又はそれ以上のブロブに各ブロブの色特性に基づいてカラーインデックスを割り当てるブロブマッピング手段、
各ブロブのカラーインデックスに基づいてブロブを一個又はそれ以上の二進フォアグランド面及びグレースケールバックグランド面に割り当て、Ｎ層の画像データを生成するブロブクラスター化手段、
もはや活動状態にないブロブのグローバルテーブルを維持しかつ内側ブロブを識別するブロブ識別手段、
前記内側ブロブを解釈してバックグランドデータを表すかどうかを決定するブロブ解釈手段であって、バックグランドデータを表す内側ブロブの画像データは、前記グレースケールバックグランド面のデータとすると共に、バックグランドデータを表さない内側ブロブは、有効ブロブとして維持される、当該ブロブ解釈手段、及び
二進フォアグランド面のデータと前記グレースケールバックグランド面のデータとのそれぞれに別個の圧縮アルゴリズムを応用することにより、前記1個又はそれ以上の割り当てられた二進フォアグランド面と前記グレースケールバックグランド面のデータを圧縮する圧縮手段
として機能させるプログラムを記憶した記憶媒体。