JP4446332B2 - セグメンテーション・ベースのハーフトーニング - Google Patents

Description

本発明は一般的に、画像データの処理のためのシステムおよび方法に関連する。更に詳細には、ここでの教示は、低レベル画像処理特性に基づく、ハーフトーニング方法の選択に向けられる。

画像出力システムの開発における共通のゴールは、画像品質を改善することである。画像処理システムは、レンダリング・システムの限定をオフセットするように設計され得ることが知られている。しかし、異なる画像タイプに対する発散する処理要求のために、この適合化（tailoring）は、困難で有り得る。更にシステムの設計を複雑にするものは、文書が、連続トーン（コントーン：contones）、種々の周波数のハーフトーン、テキスト／ライン・アート、エラーが分散した画像、等を含む、複数の画像タイプ（画像クラス）を備え得るという現実である。更に、異なるシステムで生成された、または、それをターゲットとされた、処理画像データを処理するときに、画像データの特性は一般的に未知である。

この状況に注意を向けるために、セグメンテーション・ベースのハーフトーニング（segmentation-based halftoning）のための種々の方法が提案されてきた。セグメンテーションは、ビデオ画像データを分析し、画像画素を、複数の有り得る画像クラスの一つとして分類するために、いくつかの数の分類関数（classification function）（例えば、自動補正、周波数分析、パターンまたはテンプレート・マッチング、ピーク／谷・検知、ヒストグラム）を使用し得る、周知のオペレーションである。一般的なセグメンテーション工程は、画素を、高レベル属性（high-level attributes）に対応する、特定の画像タイプまたはクラスとして識別する、画素分類信号（時として、区分タグ（segmentation tag）と呼ばれる）を生成する。いくつかの共通の画像タイプ（高レベル属性）は、円滑なコントーン、粗いコントーン、テキスト、色合い（tint）上のテキスト、低周波数ハーフトーン、高周波数ハーフトーン、ぼやけた（fuzzy）周波数として実現される種々の中間周波数ハーフトーン、背景、およびエッジ、を含む。

一般的に、これらの方法によって画像は、第１にウィンドウに分割される。そして各ウィンドウ内に、ウィンドウ内の画像データに最適な画像処理方法が適用される。

そのような方法は、画像データのページを、ウィンドウに分離し、画像データのページを通じた一つまたは２つのパス（passes）のいずれかを作ることによってウィンドウ内の画像データを分類して処理する。一つのパスの方法は、より迅速であるが、それは、既に生成されている情報を訂正するための「将来の」コンテキスト（context）の使用を許さない。二つのパスの方法においては、第１のパスの最中に、画像はウィンドウに分離され、各ウィンドウ内の画像データのタイプについての判定が為される。２つのパスの方法によれば、画像データを通じた第１のパスの最中に、与えられた走査ラインの処理から得られた情報が、以前に処理された走査ラインに対する情報を生成または訂正するために使用され得る。言いかえれば、将来のコンテキストが使用され得る。第１のパスの最後において、各画素に対する画像タイプがメモリに記録される。第２のパスの最中に、画像データを処理するために、第１のパスからの情報（即ち、画像タイプデータ）が、使用される。２つのパスの分割技術の例が、Fan等に対する特許文献１に見出される。分割および画像分類についての更なる詳細が、Williamsに対する特許文献２、Schweid等に対する特許文献３、Schweid等に対する特許文献４、および、Shiau等に対すると鋸文献５に見出される。

これら文献で一般的に説明されるもののような分割技術（segmentation techniques）が、文書内の領域を正確に特定して、画像タイプをその領域に割り当てるための手段を提供する、一方、そのような高レベル属性の使用は、必ずしも、最適の、または好ましいハーフトーニング方法と非常に旨く相関させるものではない。更に、そのような高レベル分割オペレーションは、広範囲な処理、及び／又は、リソース要求を必要とする。更に、現存するシステムおよび方法についての改善を提供する方法またはシステムが常に要求される。

米国特許公報第5,850,474号 米国特許公報第5,327,262号 米国特許公報第5,765,029号 米国特許公報第5,778,156号 米国特許公報第5,852,678号

ここでの教示の一つあるいはそれ以上の特徴に従って、文書画像を再製するための方法であって、エッジによって互いに分離された画像が低レベル領域に分割される、当該方法が提供される。領域は、必ずしも、何らかの属性または意味（meanings）に対応付けられる必要はない。次に、寸法、輝度（色）分布（distribution）、および領域の円滑さ、のような、その低レベル画像処理特性に従って、その領域のために、好ましいハーフトーニング方法が選択される。

ここでの教示の一つあるいはそれ以上の特徴に従って、画像に適用されるべきハーフトーニング・モードを選択するための方法であって、画像データを受け取り、画像データ内の領域を特定し、その領域に対する低レベル画像属性を決定し、そして、その領域の低レベル画像属性に基づいてその領域に適用さるべきハーフトーニング・モードを選択する、ステップを含む方法が提供される。

ここでの教示の一つあるいはそれ以上の特徴に従って、画像内での使用のためのハーフトーニングを選択するための方法を選択するための方法が提供される。本方法は、画像データを受け取り、画像内の低レベル領域を識別するために受け取った画像データを分割し、その領域に対する低レベル画像属性を決定し、そして、その領域について決定された低レベル画像属性に基づいて、その領域に適用されるべきハーフトーン・モードを選択する、ステップを含む。

図１を参照する。ここでは、ここに開示される特徴を含む模範的印刷システム10の実施例が示される。印刷システム10は、スキャナ14、コンピュータ16、ネットワーク18、または、ASCIIデータ、ビットマップかされた画像、画素画像データ（pixel image data）、幾何学的データ、グラフィックス・プリミティブ、ページ記述元号、等、のいずれかの組み合わせで有り得る画像データ20を提供する類似の若しくは均等な画像入力端末、を含み得る画像ソース12、を含む。画像データ20は、受け取った画像データ20を処理するプリンタ制御システム22に供給され、プリンタ26を駆動するプリント・データ24を生成する。

一つの実施例において、プリンタ制御システム22は、業界で通常プリント・ドライバと呼ばれるものを備え得る。プリンタ制御システム22は、デジタル・フロント・エンドまたはそれに類似するコントローラ・ドライビング・プリンタ26をも備え得る。制御システム22は、ハードウェア及び／又はソフトウェアで実現され得、プリンタ26内の画像ソース12の中に、別々のコンポーネント又はそれらの組み合わせとして存在し得る。画像データ及び／又はプリンタ制御信号（例えば紙取扱い、仕上げオプション、キャリッジ制御、インク堆積（deposition））を含み得るプリント・データ24に応じて、プリンタ26は、適切な媒体（例えばプリントまたはディスプレイ）の上に出力信号を生成する。

プリンタ20は、静電複写プリンタ、液体インクプリンタ（例えば、ドロップ・オン・ディマンド；位相変化ワックス・ベース（phase change wax-based）のもの；圧電性のもの；音響性のもの；または熱インクジェット）、イオノグラフィー ・プリンタ、等を含み、かつこれに限定されない、多くの印刷装置のいずれか一つを備え得る。更に、ここでの教示は、コピー機および印刷機への応用に限定されず、ＣＲＴ、ＬＣＤ、ＬＥＤ、等を含む電子表示システムのような他の出力装置に取りこまれ得る。

図２を参照する。ここで、画像内の領域に適用されるべきハーフトーニング・モードを選択するための方法の実施例が示される。簡潔に述べると、本方法は、画像データの受領（ステップ４０）から開始される。ここから、受領された画像データ内の低レベル領域が識別される。低レベル領域は、エッジによって、規定され、分離される。エッジによって分離されない画素は、同じ領域に属すると見なされる。低レベル領域の識別は、画像データ内のエッジを識別し（ステップ４２）、エッジによって規定される領域を識別する（ステップ４４）、２つのサブ・ステップを含むと考えられ得る。領域が識別された後に、各領域内の画像データに対する低レベル画像属性が、集められる（compiled）（ステップ４６）。領域内の画像データに適するハーフトーニング方法は、低レベル画像属性に基づいて選択され得る（ステップ４８）。

より詳細には、画像データの複数の走査線を備える画像データが、受け取られる（ステップ４０）。各走査線は、複数の画素を含み、各画素は一般的に、画像データによって規定された画像内の所定の位置に対する強度情報を規定する。画像は、例えばグラフィックス、色合いの上のテキスト（text on tint）、背景、円滑なコントーン、粗いコントーン、低周波数ハーフトーン、高周波数ハーフトーン、ファジーな周波数（fuzzy frequencies）として実現され得る中間周波数ハーフトーン、等、を含む複数の画像タイプを備え得ることを理解して欲しい。

エッジ検知ステップ（ステップ４２）の最中に、画像データ内のエッジが識別される。エッジは、受け取った画像データを分割することによって識別され得る。この工程は、エッジを、強度における大きな変化として規定し得る。即ち、この工程は、画素の強度が、周りの隣接画素の強度とは、大きく異なるか否かを決定し得、そして、もしそうならば、画素をエッジとして分類する。代替的に、この工程は、画像データ内の画素を分析して、各画素に対する画像タイプを決定し得る。この工程は次に、エッジを、画像タイプにおける変化、または、一つあるいはそれ以上の選択された画像タイプの間の変化、または、他の画像クラス／タイプへの画像クラスの変化として規定し得る。同様にエッジは、テキスト・エリアと非テキスト・エリアの間の変化として規定され得る。

エッジ画素が、画像の強度変化の検知によって規定される実施例において、エッジ検知工程は、画素の強度を、その隣接画素の強度と比較する。もし画素が、その隣接画素に較べて、非常に異なる強度を持つならば、画素は、エッジ画素として分類される。もし画素の強度が、隣接画素に較べて大きく異ならなければ、画素は、走査線内の、連続する非エッジ画素の組（に含まれる）として書き添えられ（appended）得る。即ち、画像データが分析されて、エッジ画素、および、各走査線内のエッジ画素の間を走る「非エッジ」画素のライン・セグメントを識別する。

領域の識別（ステップ４４）の最中に、工程は、エッジによって囲まれた画素のグループを識別する。一つあるいはそれ以上のの実施例において、隣接走査線からの非エッジ画素の線セグメントは、結合されて、領域を生成する。明白なように、領域の識別は、ウィンドーイング・オペレーション（windowing operation）の分割化（segmentation）と類似する。エッジによって囲まれた領域を識別し終わると、各領域内の画像データに対する低レベル画像属性が、集められる（compiled）（ステップ４６）。領域に対して有り得る、低レベル画像属性には、領域の、水平及び／又は垂直の寸法（dimensions）、サイズ（トータルの画素カウント）、輝度（色）分布（distribution）、強度範囲、および円滑さ（全体的なノイズ・エネルギー）、が含まれるが、これに限定されない。

領域内の画像データに亘る第２のパスを用いて、統計及び／又はデータ（これらから、低レベル画像属性が決定される）が、収集され得る。代替的に、工程は、画像が複数の領域に分割化される際に、低レベル画像属性に対する情報を収集し得る。即ち、画像データが分析されて、エッジおよびエッジ間の線セグメントが識別されるにつれて、そのような線セグメントを形成する画素が分析されて、低レベル画像属性に関連する情報および統計が収集され得る。現在の走査線からの線セグメントが、以前の走査線からの線セグメントと結合されて、領域を形成するにつれて、そのような線セグメントに対する低レベル統計（low-level statistics）が結合される。

ステップ４２，４４、および４６の処理の一つの実施例は、更に図３を参照して説明され得る。この図で、画像データの複数の走査線の一部分に対する低レベル分割（segmentation）のグラフィカル表現が示される。走査線Ｎ内の画像データの上で作動して、エッジ検知ステップ４２は、画素の強度を、それに隣接する画素の強度と比較して、画素６０、６２、６４、および６８において、エッジ、および、３つの線セグメント（画素６０および６２の間の第１のセグメント、画素６２および６４の間を走る第２のセグメント、および、画素６４および６６の間の第３のセグメント）を識別し得る。走査線Ｎ内の３つの線セグメントを識別し終わると、工程は、（複数の）セグメントに対する低レベル画像属性に関する統計／情報の収集を開始し得る。

走査線Ｎ＋１内の画素は、類似のやり方で分析されて、ここに示される４つのエッジ画素および３つの線セグメントが識別され得、その中の３つのセグメントに対する低レベル画像属性に関する統計が収集され得る。領域を識別するための処理（ステップ４４）では、走査線Ｎ＋１の線セグメントを、走査線Ｎの線セグメントと比較して、隣接する線セグメントを、領域（region）に結合する。図３の画像データに対して、走査線Ｎ＋１を処理するに際して、３つの領域（画素６０と６２の間を走る２つの線セグメントに対応する第１の領域、画素６２および６４の間のセグメントに対する第２の領域、および、画素６４および６６の間のセグメントに対する第３の領域）が識別され得る。

エッジ画素および線セグメントの識別、および、統計の収集（collection）が、走査線毎に発生するにつれて、ウィンドウイング（windowing）オペレーション（ステップ４４）が、周期的に、連続する走査線から線セグメントを接続して、領域を構築（build）する。走査線MＮ＋３を通じて、オペレーションは、走査線で識別された３つの線セグメントの各々を、隣接する走査線フォーム領域７０、７２、および７４の、対応する線セグメントに接続することになる。走査線Ｎ＋５において、そのウィンドウ・セグメント７２が終了し、それによって、完了した領域を形成することが決定され得る。完了した領域を識別した後に、収集された低レベル統計を用いて、領域に対する低レベル属性が決定され得る。走査線Ｎ＋５において、オペレーションは、その領域７０および７４が接続され、一つの領域を形成することを識別できる。更に、２つのサブ領域に対する低レベル統計が、マージ（merged）されて、一つの領域が形成され得る。

図２に戻る。領域に対する低レベル属性を識別し終わると、低レベル画像属性に基づいて、領域内の画像データに対するハーフトーニング方法が、選択され得る。理解され得るように、ハーフトーン選択オペレーションの実施例は、出力装置で利用可能なハーフトーニング・オプション、および、集められた（compiled）低レベル属性、に基づいて変動する。例えば、ハーフトーニング・オプションとして、エラー分散、統計的スクリーニング、および、集団化されたドット・スクリーニング、を提供する出力装置を考慮して欲しい。エラー分散、および、統計的スクリーニングの双方が、かなり良い全体品質を持つハーフトーンを生成する。しかし、エラー分散が、ハイライトおよびシャドウにおいて、ワーム・アーティファクト（worm artifact）を、および、一定のグレイ・レベルにおいて周期的パターンを、生成し得ることが知られている。他方、エラー分散は一般的に、統計的スクリーニングに較べてノイジーでない（特に、入力画像自身がノイジーなときに）。集合化されたドット・スクリーンは一般的に、オリジナルの詳細情報を維持せず、より粗い情報しか維持しない。しかし集合化されたドット・スクリーンは、均一な入力に対しては、好ましいことがある。

ハーフトーニング・オプションとしての、エラー分散、統計的スクリーニングおよび集合化された（clustered）ドット・スクリーニングによると、本方法は、低レベル属性として、次元（dimensions）、サイズ、強度（輝度）範囲、および、領域の円滑さ、を集め（compile）うる。以上のものが与えられた状態で、低レベル画像属性に基づくハーフトーニング方法の選択の一つの実施例が、図４に示される。

図４において、ハーフトーニング方法の選択は、最初に、領域が小さい（トータルの画素カウントが小さいか、或いは、水平および垂直寸法（dimension）の一つが小さい、かのいずれか）か否かを判断するために低レベル属性を検討する（ステップ８０）。もし領域が小さいならば、領域は、エラー分散でハーフトーン化される（ステップ８２）。もし領域が小さくないならば、その全体ノイズ・エネルギーを調査することによって領域の円滑さチェックされる（ステップ８４）。もし領域がノイジーならば、エラー分散が使用される（ステップ８６）一方、均一な領域に対して、集合化されたドットまたは統計的スクリーニングが適用される（ステップ８８）。ノイジーでも、均一でもない領域に対しては、強度範囲が分析されて、範囲が、エラー分散によってアーティファクトに曝され得るハイライト（highlight）またはシャドー（shadow）を含むか否かが判断される（ステップ９０）。エラー分散または統計的スクリーニングは次に、分析に従って取上げられる（picked）（ステップ９２および９４）。当業者は、領域が、「小さい」、「ノイジー」、「均一」、等と考慮されるか否かの判断が、例えば、利用可能なハーフトーニング・オプション、所定の画像に対するハーフトーン特性、所定の出力装置に対するハーフトーン特性、画像データの解像度、等、を含むファクターの数に依存するであろうことを理解するであろう。

図５乃至８を参照する。ここで、低レベル画像属性に基づいたハーフトーン選択の工程の例が説明される。図５および６は、それぞれ、エラー分散および統計的スクリーニングを用いて生成された所定の画像の例を示す。図５から分かるように、家の部分100に対して、エラー分散は、よりノイジーでなく、よりシャープであるが、空部分105においてアーティファクトが存在する。他方、図６に示される統計的スクリーニングは、空105において、より良いハーフトーンを生成する。画像に低レベルセグメンテーション・オペレーションを適用することによって、図７のセグメンテーション・マップが生成される。図７において、白領域110は、統計的スクリーニングで再製（rendered）されるべき画素を示し、黒領域は、エラー分散で再製されるべき画素を示す。図８は、図７に示されるようにセグメンテーション・ベースのハーフトーン選択を用いて生成された（ハーフトーン化された）際の、結果としての画像を示す。図８から分かるように、結果としての画像は、全体品質において、統計的スクリーニングとエラー分散の双方を越える。

説明された実施例は、ハーフトーニング方法の選択における低レベル画像属性の使用、および、説明された低レベル画像属性、および、それらの、ハーフトーニング方法の選択への応用、を説明すること、および、他の低レベル画像属性およびハーフトーニング方法、および、それらの他の組み合わせ、もまた使用され得ることが理解されるべきである。それは、当業者が即座に、上述の教示を、異なったハーフトーニング方法の選択において、異なった低レベル画像属性に応用出来るものである。

更に、ハーフトーニング方法を選択する時に、低レベル画像属性が、高レベル属性（例えば、色合いの上のテキスト、背景、円滑コントーン、粗いコントーン、低周波数ハーフトーン、高周波数ハーフトーン、中間周波数ハーフトーン）と結合され得ることが理解されるべきである。

例えば、低レベル統計を集める（compile）ことに加えて、工程は、高レベル属性を集める（compile）ために、エッジの間を走っている（running）線セグメント（line segments）内の画素を分析しても良い。

ここに開示された実施例の一つあるいはそれ以上の特徴を含み得るシステム・レベルの実施例の一般的な表現。 低レベル分割ベースのハーフトーン選択のための方法の実施例を示す。 画像データの複数の走査線の一部分に対する低レベル分割のグラフィカル表現を示す。 低レベル属性を用いたハーフトーニング方法の選択の実施例を示す。 エラー分散を用いて生成された、与えられた画像の例を示す。 統計学的なスクリーニングを用いて生成された、与えられた画像の例を示す。 図５および６の画像の異なった領域を特定する低レベル分割マップを示す。 低レベル分割ベースのハーフトーン選択方法を用いて生成された画像の例を示す。

符号の説明

100 家の部分
105 空の部分

Claims (3)

1. 画像に適用されるべきハーフトーニング・モードを選択するための方法であって、
   画像データを受け取る段階と、
   前記画像データの走査線内のターゲット画素を識別し、
   該ターゲット画素の強度を隣接する画素の強度と比較し、
   該ターゲット画素の強度が前記隣接する画素の強度より大きいときに該ターゲット画素をエッジ画素として識別する、ことにより、前記画像データ内のエッジ画素を検出する段階と、
   該エッジ画素により囲まれたエリアを識別する段階と、
   前記エッジ画素により囲まれたエリアを前記画像データにおける領域として識別する段階と、
   前記領域のディメンジョン及び円滑さを示す画像属性を決定する段階と、
   前記画像属性におけるディメンジョンを用いて前記領域の大きさを識別する段階であって、前記領域が小さい場合に、該領域に適用されるべきハーフトーン・モードとしてエラー分散を選択する段階と、
   前記領域が小さくない場合に、前記画像属性における円滑さを用いて前記領域の円滑さを識別する段階であって、前記領域におけるノイジーな領域に適用されるべきハーフトーン・モードとしてエラー分散を選択し、前記領域における均一な領域に適用されるべきハーフトーン・モードとして統計的スクリーニング又はドットスクリーニングを選択する段階と、
   を含むことを特徴とする方法。
2. 前記画像属性を決定する段階が、さらに前記領域の強度範囲を示す画像属性を決定することを含み、
   前記領域の円滑さを識別する段階が、
   前記画像属性における強度範囲を用いて、前記領域におけるノイジーでも均一でもない領域の強度範囲がハイライト又はシャドーを含むか否かを識別すること、及び、
   前記強度範囲がハイライト又はシャドーを含むときには、前記領域におけるノイジーでも均一でもない領域に適用されるべきハーフトーン・モードとして統計的スクリーニングを選択すること、
   を含む、請求項１に記載の方法。
3. 前記領域の円滑さを識別する段階が、
   前記強度範囲がハイライト及びシャドーを含まないときには、前記領域におけるノイジーでも均一でもない領域に適用されるべきハーフトーン・モードとしてエラー分散を選択すること、を含む、請求項２に記載の方法。

Images