JP4405663B2

JP4405663B2 - 画像処理方法及び装置

Info

Publication number: JP4405663B2
Application number: JP2000376263A
Authority: JP
Inventors: 由紀内田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-12-10
Filing date: 2000-12-11
Publication date: 2010-01-27
Anticipated expiration: 2020-12-11
Also published as: US6718059B1; JP2001274990A

Description

【０００１】
【発明の分野】
本発明は画素データを処理するシステムに関する。更に詳しくは、本発明は、入力された画素データの検出された特徴に基づいて画素データが処理される画像処理システムに関する。
【０００２】
【参照による組み込み】
本願と共通の譲り受け人による、米国特許第5,680,479号（名称は「文字認識方法及び装置」、米国特許出願番号07/873,012）と、米国特許第5,588,072号（名称は「格納されたドキュメントにおけるテキスト及び・又は非テキストブロックを選択するための方法及び装置、米国特許出願番号08/171,720）と、米国特許出願第08/338,781（名称は「ページ解析システム」）と、米国特許第5,774,579号（名称は「オーバラップするブロックが分解されるブロックセレクションシステム」、米国特許出願番号08/514,250）と、米国特許第5,848,186号（名称は「特徴抽出システム」、米国特許出願番号08/514,252）と、米国特許出願番号08/664,674（名称は「付属されたテキストを抽出するシステム」）と、米国特許出願番号08/751,677（名称は「ページ解析システム」）と、米国特許第5,825,944号（名称は「ブロックセレクションのレビュー及び編集システム、米国特許出願番号08/834,856）と、米国特許出願番号09/002,684（名称は「テーブルイメージの解析システム」）と、米国特許出願番号09/161,716（名称は「カラーブロックセレクション」）と、米国特許出願番号09/222,860（名称は「テーブル特徴のブロックセレクション」）とは、その全てが記載されているものとして本願に組み込まれる。
【０００３】
【背景技術の説明】
カラー複写機のような一般的な画像処理システムは、原稿文書を走査することによって画素データを取得し、レーザビーム方式の再生エンジンや、インクジェット方式の再生システム等への受け渡しに適した出力データを生成するために、そのデータに対して種々の画像処理ステップを実行する。特に、一般的な画像処理システムでは、まず、電化結合素子（ＣＣＤ）から走査された画像を表す赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の信号が受信される。受信された信号は、次いで、画像処理に提供される。
【０００４】
図１はそのような画像処理を説明する図である。図１に示されるように、ＣＣＤから出力された画像信号はアナログ信号処理ユニット１０１に入力される。ここで、その信号は、ゲイン及びオフセットが調整される。次に、Ｒ，Ｇ及びＢの各信号は、Ａ／Ｄ変換器１０２によって、それぞれ８ビットのデジタル画像信号Ｒ１，Ｇ１及びＢ１に変換される。そして、これらの信号は、シェーディング補正回路１０３に入力され、各信号に対してシェーディング補正が適用される。ライン遅延回路１０４及び１０５はＣＣＤ内のセンサを空間的に補償するのに用いられる。この補償により、Ｒ１，Ｇ１及びＢ１の各信号間のタイミングを整合させ、ライン遅延回路１０５以降では、同時刻におけるＲ，Ｇ及びＢの信号が同一画素を表すようになる。
【０００５】
入力マスキングユニット１０６は、ＣＣＤの色分解特性によって決定される読み取り色空間を、標準の色空間に変換する。ログ変換器１０７は輝度信号Ｒ４，Ｇ４及びＢ４を濃度信号Ｃ０，Ｍ０及びＹ０に変換する。そして、ＵＣＲ（下色除去）、ＦＩＬＴＥＲ及びＳＥＮの各信号が生成されて決定されるまでの間、濃度信号はライン遅延メモリ１０８によって遅延される。
【０００６】
ライン遅延メモリ１０８による信号の遅延の後に、マスキングＵＣＲ回路１０９はＵＣＲ信号を用いて上記濃度信号から黒信号を抽出する。可変変倍回路１１０は主走査方向に、画像信号及び黒文字判定信号を拡大、縮小する。空間フィルタ処理ユニット１１１は、ＦＩＬＴＥＲ信号を用いてフィルタリングを実行し、その結果として得られるフレーム順の画像信号Ｍ４，Ｃ４，Ｙ４及びＢｋ４が、ＳＥＮ信号とともに再生エンジン１１２に送られる。ここで、ＳＥＮは、画像出力される際の解像度を決定する。
【０００７】
上記一般的な画像処理システムによれば、上記ＵＣＲ、ＦＩＬＴＥＲ及びＳＥＮ信号は、黒文字検出ユニット１１５より出力される。特に、黒信号検出ユニット１１３によって生成されたＵＣＲ信号は、黒から薄くなる順に０〜７の値を有し、マスキングＵＣＲ回路１０９が黒信号Ｂｋ２を生成するために、信号Ｙ１，Ｍ１及びＣ１から除去するべき黒成分の量を示す。黒文字判定回路１１３によって生成されたＦＩＬＴＥＲ信号は、スムージング、強エッジ強調、中エッジ強調、弱エッジ強調のそれぞれを表す値０，１，２及び３を示す２ビット値である。したがって、ＦＩＬＴＥＲ信号は、信号Ｙ３，Ｍ３，Ｃ３及びＢｋ３に適用されるフィルタリングの度合い及びタイプを制御するために、空間フィルタ処理ユニット１１１に入力される。
【０００８】
ＳＥＮ信号は黒文字判定回路１１３から再生エンジン１１２に出力される。このＳＥＮ信号において、値０は２００ライン／インチでプリントを処理することを示し、値１は、４００ライン／インチのプリント処理を要求することを示す。
【０００９】
ＵＣＲ，ＦＩＬＴＥＲ及びＳＥＮの値はルックアップテーブル（ＬＵＴ）１１７の出力である。ＬＵＴ１１７は、注目画素を含む文字の幅、注目画素の文字のエッジへの近接度、注目画素の色度を表す信号を受信する。したがって、ＵＣＲ，ＦＩＬＴＥＲ及びＳＥＮの各出力値は各注目画素について計算され、ＬＵＴによって特定される関係に従って、その画素に対応して検出された文字幅、エッジ近接度及び色度に基づいて決定される。
【００１０】
たとえば、ＦＩＬＴＥＲ信号値１は、エッジの近くに配置され、低い色度を有し、比較的細い文字に含まれるような注目画素について用いられる。そのようなファクタは、その画素が小さな、黒文字内にあることを示すからである。他の例において、その注目画素がエッジの近くではなく、非常に濃い領域に含まれている場合、ＳＥＮ信号に値０（２００ライン／インチの解像度に対応）が割り当てられる。大きなドットよりも単位ユニット領域あたりにより多くのトナーを提供する、より大きなトナードットが、より良好なハーフトーンイメージを生成するからである。
【００１１】
上述からわかるように、一般的な画像処理システムは、画素に対する適切な処理パラメータを決定するために、いくつかのファクターに基づいて注目画素の性質を「推測」する。そのようなアプローチのひとつの短所は、推測された性質が間違っていた場合、その画素に不適切な処理が実行されてしまうことである。
【００１２】
上記に鑑み、必要であることは、入力画像データの正確で安価に、検出された属性を使用してイメージ処理を改良する画像処理システムである。
【００１３】
【課題を解決するための手段】
本発明の一態様による画像処理方法は、
画像処理装置による画像処理方法であって、
第１の解像度でドキュメントをスキャンして、低解像度の画像データを得る第１入力工程と、
前記低解像度の画像データを解析して、前記ドキュメントに含まれるオブジェクトを検出し、該オブジェクトのサイズに基づいて該オブジェクトの属性がテキスト属性であるか否かを識別し、該オブジェクトの属性がテキスト属性である場合は該オブジェクトにおけるテキストのフォントサイズを識別する識別工程と、
前記ドキュメントを前記第１の解像度よりも高い第２の解像度でスキャンして、高解像度の画像データを得る第２入力工程と、
前記高解像度の画像データからエッジを検出するエッジ検出工程と、
前記高解像度の画像データから各画素の色度を検出する色度検出工程と、
前記識別工程で識別された属性とフォントサイズ、前記エッジ検出工程で検出されたエッジ、及び前記色度検出工程で検出された色度に基づいて黒生成処理および空間フィルタ処理を決定し、決定された黒生成処理および空間フィルタ処理を前記高解像度の画像データに実行する処理工程とを有する。
【００１４】
また、本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
スキャナを用いて第１の解像度でドキュメントをスキャンして、低解像度の画像データを得る第１入力手段と、
前記低解像度の画像データを解析して、前記ドキュメントに含まれるオブジェクトを検出し、該オブジェクトのサイズに基づいて該オブジェクトの属性がテキスト属性であるか否かを識別し、該オブジェクトの属性がテキスト属性である場合は該オブジェクトにおけるテキストのフォントサイズを識別する識別手段と、
前記スキャナを用いて前記ドキュメントを前記第１の解像度よりも高い第２の解像度でスキャンして、高解像度の画像データを得る第２入力手段と、
前記高解像度の画像データからエッジを検出するエッジ検出手段と、
前記高解像度の画像データから各画素の色度を検出する色度検出手段と、
前記識別手段で識別された属性とフォントサイズ、前記エッジ検出手段で検出されたエッジ、及び前記色度検出手段で検出された色度に基づいて黒生成処理および空間フィルタ処理を決定し、決定された黒生成処理および空間フィルタ処理を前記高解像度の画像データに実行する処理手段とを備える。
【００１９】
【発明の実施の形態】
図２は本発明に係る一実施形態による画像処理装置の断面を示す図である。図２の装置において、イメージスキャナ２０１は原稿文書を読み取り、読み取った原稿の画素データにデジタル処理を施してディジタル信号とする。プリンタ２１８は、イメージスキャナ２０１によって読み取られた原稿文書に対応するイメージを、印刷用紙上にフルカラーでプリントする。
【００２０】
イメージスキャナ２０１において、原稿文書２０４はプラテンガラス上にセットされ、原稿カバー２０２でもってカバーされ、ハロゲンランプ２０５によって露光される。原稿文書２０４からの反射光は、更にミラー２０６及び２０７によって反射され、レンズ２０８を通過した後に、Ｒ，Ｇ及びＢ信号を特定するためのＣＣＤ２１０にフォーカスする。なお、レンズ２０８は赤外線フィルタ２３１によってカバーされている。
【００２１】
好ましい実施形態において、それぞれの色成分を読み取るためのＣＣＤ２１０における各センサの行は、５０００画素からなる。こうして、ＣＣＤ２１０は、Ａ３サイズの短辺長、すなわち２９７ｍｍの長さに渡って、４００ｄｐｉの解像度で読み取ることができる。ＣＣＤ２１０は原稿文書のカラー情報を、Ｒ，Ｇ及びＢの色成分のフルカラー情報へ分離し、そのフルカラー情報を色信号へ変換する。
【００２２】
更に、標準白板２１１は、ＣＣＤ２１０のＲ，Ｇ，Ｂフォトセンサ２１０−１〜２１０−３による読み取りデータを校正するための校正データを生成する。この標準白板２１１は、可視光領域において均一な反射特性を有しており、白色に見える。データを校正した後、ＣＣＤ２１０は信号を信号処理ユニット２０９へ送る。
【００２３】
なお、ハロゲンランプ２０５とミラー２０６は速度ｖで移動し、ミラー２０７は速度１／２ｖで移動する。これらの移動方向は、ＣＣＤ２１０の電気的走査方向（主走査方向）に対して直角な方向である。原稿文書２０４の全領域は、この方法で走査される。
【００２４】
更に、信号処理ユニット２０９において、読み取り信号は電気的に処理され、マゼンタ（Ｍ）、シアン（Ｃ）、イエロー（Ｙ）及び黒（Ｂｋ）の色成分に分離され、プリンタ２１８に送られる。イメージスキャナ２０１による各走査動作に対して、色成分データＭ，Ｃ，Ｙ及びＢｋのうちの一つがプリンタ２１８に送られる。こうして、原稿文書２０４を４回走査することによって、一つのカラー画像が形成される。
【００２５】
プリンタ２１８において、イメージスキャナ２０１からのＭ，Ｃ，Ｙ及びＢｋの各色信号は、レーザドライバ２１２に送られる。レーザドライバ２１２は、画像信号に基づいて変調された信号によって半導体レーザ２１３を駆動する。レーザビームは、ポリゴンミラー２１４、ｆ−θレンズ２１５及びミラー２１６を介して、静電ドラム２１７を走査する。
【００２６】
現像ユニットはマゼンタ現像器２１９、シアン現像器２２０、イエロー現像器２２１、及び黒現像器２２２からなる。これら４つのドラムは、静電ドラム２１７と接触し、それによって回転し、静電ドラム２１７上に形成されたＭ，Ｃ，Ｙ及びＢｋの潜像を対応する色のトナーで現像する。更に、転写ドラム２２３は、用紙カセット２２４或いは２２５から供給された記録紙を吸着して、静電ドラム２１７上に現像されたトナーイメージをその用紙上に転写させる。そしてその用紙は、定着ユニット２２６を通過した後に排出される。
【００２７】
図３は本発明に従った画像処理フローを示すブロック図である。図３に示される構成で、図１に示したのと同一の参照番号を有するものは、図１に関して上述したように動作する。さて、図３では、フォントサイズと属性を表す信号を出力するブロックセレクションユニット２００が示されている。ブロックセレクションユニット２００は、図３においてハードウエアユニットとして示されているが、ここで説明されるブロックセレクション処理と、ここで参照によって組み込まれるアプリケーションにおいて説明されるブロックセレクション処理は、ソフトウエアによって実現されてもよいし、ソフトウエアとハードウエアのコンビネーションによって実現されてもよい。更に、ブロックセレクションユニット２００は黒文字検出ユニット１１３のエレメントでなくともよい。
【００２８】
動作において、ブロックセレクションユニット２００は入力された画像データに対してブロックセレクション処理を実行し、そのデータ内のオブジェクトの属性とともに、そのデータ内のテキストのフォントサイズを決定する。更に詳細には、ブロックセレクションユニット２００は、入力された画像データの各画素に対してその画素が配置されているオブジェクトの属性を割り当てるとともに、もしその画素がテキスト内にあるのならば当該テキストのフォントサイズを割り当てる。
【００２９】
また、図３には、ＬＵＴ１１７とは異なる内容を有するＬＵＴ２０５が示されている。ＬＵＴ２０５について概要を述べれば、ＬＵＴ２０５はフォントサイズ（font size）、属性（attribute）、エッジ（edge）及びｃｏｌを入力信号とし、ＵＣＲ，ＦＩＬＴＥＲ及びＳＥＮを出力信号とするものである。ＬＵＴ２０５の詳細な内容は後述する。
【００３０】
図４は、本発明に従って画素データを処理する処理ステップのフローチャートである。フローはステップＳ４０１から始まり、ここでまず、文書が低解像度でスキャンされる。好適な実施形態においては、図２に関して上述したように、そのようなスキャニングがイメージスキャナ２０１によって実行されることになる。もちろん、ステップＳ４０１において、文書をスキャンするための他のシステムを用いることも可能である。一般的に低解像度のスキャンは高解像度のスキャンよりもより高速に動作するので、ステップＳ４０１においては、処理時間を減らすために文書が低解像度でスキャンされる。加えて、出願人は、低解像度画素データは、これに続くブロックセレクション処理に供された場合に満足の行く結果をもたらすことを見出している。
【００３１】
図５は、ステップＳ４０１においてスキャンされ得る文書例を示す図である。文書２１０は、タイトル２１１、水平のライン２１２、テイスト領域２１４、画像領域２１５、線画領域２１６及び表２１７を含んでいる。ブロックセレクション処理は、他の多くのタイプとともに、これらの分離されたオブジェクト領域の各タイプを特定する。
【００３２】
ステップＳ４０２において、ブロックセレクション処理は、スキャンされた文書内に配置されたオブジェクトの属性及びテキストのフォントサイズを検出する。一般的なブロックセレクション技術（或いはページ分割（page segmentation）技術）がステップＳ４０２に用いられ得る。また、上記においてリストアップし、本願に参照として組み込まれている特許出願において記載されているような技術も含まれる。
【００３３】
一般に、ブロックセレクション処理は画像内のオブジェクトを特定し、その特定されたオブジェクトに対して、ピクチャ、テキスト、タイトル、表、線画等のような属性を割り当てる。上記のリストに上げた出願に記載されているように、他の多くのタイプの属性が特定されたオブジェクトに割り当てられてもよい。また、オブジェクトの特定において、本発明に従って用いられるブロックセレクション処理技術は、テキストオブジェクト内の個々のテキスト文字のサイズを検出する。
【００３４】
本発明において使用可能なブロックセレクション技術の一つの例として、米国特許第5,680,479号に記載されているものがあげられる。この技術を用いて、画像内において特定されたオブジェクトは、サイズ情報とともに、オブジェクトのタイプ（たとえばテキスト、ピクチャ、表等）を特定する属性が割り当てられる。図１３は、この技術に従ったブロックセレクションを実行する処理ステップのフローチャートである。図１３の各処理ステップは、ハードウエアで実現されても、ソフトウエア或いはハードウエアとソフトウエアのコンビネーションによって実現されてもよい。
【００３５】
ここで記述される処理ステップがソフトウエアによって実現される場合には、読み出し専用メモリ（ＲＯＭ）に格納されたコンピュータプログラムに従って中央処理装置（ＣＰＵ）がこれらを実行することになる。読み書き可能なメモリ（ＲＡＭ）が、入力画像データ、処理画像データ、画像の構造に関する情報等を格納するのに用いられ得る。ＣＰＵは、ＲＯＭ、ＲＡＭ及び入出力デバイス（たとえば、ディスクメモリ、プリンタ／ディスプレイ、スキャナ等）に、バスを介して接続されている。
【００３６】
簡潔に述べれば、接続されたコンポーネント（以下、接続コンポーネント）を検出し、その接続コンポーネントをそれらのサイズ、及び他の接続コンポーネントとの相対的な位置に従って分類するべく、画像が解析される。接続コンポーネントは、白画素によって完全に囲まれた黒画素ブロックのグループである。従って、接続コンポーネントとは、少なくとも一つの白画素によって他の黒画素グループから完全に分離されているグループである。はじめに、各接続コンポーネントは、テキストユニットか非テキストユニットに分類される。接続コンポーネントの組織的データを提供するために、階層ツリー構造が形成される。
【００３７】
ステップＳ１３０１において、画素画像データ中の接続コンポーネントは、輪郭追跡によって検出される。輪郭追跡は、図１４Ａにおいて示されるように画像データを走査することによって進められる。走査は、画像の右下部分から左へと矢印Ａによって示されるように進められ、画像の右側境界に遭遇すると、上方へと進む。走査は、他の方向に進むようにしてもよい。たとえば、左上から右下へと進んでもよい。黒画素に遭遇したとき、隣接する画素について、その黒画素に隣接する画素もまた黒であるかどうかが、３１に示される星型状のパターンの順で調べられる。星型バースト状パターン３１が共通の中心から放射状に伸びる８個のベクトルを含むので、この輪郭追跡を、以降、「８方向」追跡と称する。隣接した黒画素が見つかった場合は、画像の外輪郭が追跡され終わるまで、上述したように処理が続けられる。こうして、図１４Ｂに示されるように、矢印Ａの方向における走査は文字「Ｑ」の尻尾部分に対応するポイント３２を見つける。文字「Ｑ」の外輪郭が追跡されるように、隣接画素の検査が星型バースト状パターン３１に従って進む。なお、閉じた輪郭の内側部分は追跡されない。
【００３８】
一つの接続コンポーネントが検出され、８方向追跡によってその輪郭が追跡された後、走査は次の黒画素が見つかるまで進められる。同様にして、手書きの単語「非テキスト（non-text）」である非テキストオブジェクト３５が追跡される。その追跡は、単語「テキスト（text）」を形成する各文字であるテキストオブジェクト３６中の個々の文字と同様である。図１４Ａに示される走査は、画素データ中のすべての接続コンポーネントが検出され、８方向追跡によってそれらの輪郭が検出されるまで続けられる。
【００３９】
処理は、ステップＳ１３０２に進み、各接続コンポーネントが矩形化される。特に、可能な限り最小の外接矩形が、各接続コンポーネントの周りに描画される。こうして、図１４Ｂに示されるように、矩形３７がオブジェクト３２の周りに描画され、矩形３９はオブジェクト３４の周りに描画され、矩形４０はオブジェクト３５の周りに描画され、そして、矩形４１ａ、４１ｂ、４１ｃ及び４１ｄがテキストオブジェクト３６ａ、３６ｂ、３６ｃ及び３６ｄの周りにそれぞれ描画される。
【００４０】
ステップＳ１３０３において、ツリー上の位置が各矩形ユニットに対して割り当てられる。大部分に関して、ステップＳ１３０３で取得されたツリー構造においては、画素画像における各オブジェクトに関して、ツリーのルートから直接に進んでくる。これは、接続コンポーネントの外輪郭のみが追跡され、閉じた輪郭の内側部分は追跡されないからである。
【００４１】
こうして図１４Ｃに示されるように、接続コンポーネント３２に対応する矩形３７はそのページのルートから直接に出てくる。しかしながら、非テキストオブジェクト３５に対応する矩形４０、テキストオブジェクト３６ａ及び３６ｂに対応する矩形３６ａ及び３６ｂのような、その矩形が完全に別の接続コンポーネント内に存在してしまう接続コンポーネントに関して、それらの接続コンポーネントは、それを囲む接続コンポーネント（この場合、コンポーネント３４）からの子孫として示されている。加えて、少なくとも一つの子孫を持つ各接続コンポーネントは、たとえばコンポーネント３４であるが、そのコンポーネント自身は、それ自身からの「主要な子孫」として示される。
【００４２】
こうして、図１４Ｃにおいて示されるように、コンポーネント３９は、コンポーネント３９の他の子孫４０、４１ａ及び４１ｂの中の主要な子孫として含まれる。ステップＳ１３０４において、ツリーの第１レベルの接続コンポーネントの各々は、テキストユニットか或いは非テキストユニットのいずれかに分類される。この分類は２つのステップを経てなされる。まず第１のステップにおいて、接続コンポーネントに対する矩形が所定のサイズ閾値と比較される。その接続コンポーネントを囲む矩形の高さが、予期される最大のフォントサイズに対応する第１の所定の閾値よりも大きい場合、或いは、その接続された輪郭を囲む矩形の幅が、ページを経験的に決定された定数（「５」が満足のいく結果をもたらすことが見出されている）によって分割して得られる幅よりも広い場合、その接続コンポーネントは非テキストユニットとして分類され、当該ユニットに非テキスト属性が付与される。
【００４３】
第２のステップにおいて、すべての残りのユニット、すなわち、まだ非テキストとして分類されていないユニットが、すべての残りの接続コンポーネントについて集めたサイズに基づいて適応的に決定された閾値と比較される。具体的には、非テキストユニットとして決定されていないすべての矩形の高さが平均される。この平均高さは、スカラー量（好適には「２」が選択される）によって乗算され、適応的に決定された閾値が得られる。そして、この適応的に決定された閾値よりも大きいすべてのユニットが、非テキストであると推定される。従って、他方の、当該適応的に決定された閾値よりも小さいすべてのユニットはテキストであると推定される。このようにしてユニットは分類され、適当な属性が付与される。そして、これらの分類の両方が、図１３の残りの部分において示され、以下においてより完全に説明されるような精錬処理を受ける。
【００４４】
ツリー構造の第１のレベルにおける各ユニットがテキスト或いは非テキストに分類された後、テキストユニットの全ての子孫（主要な子孫を含めて）が、まずテキストユニットに分類される。また、非テキストユニットにおいてその主要な子孫の分類は非テキストとして維持されるが、非テキストユニットのすべての他の子孫はテキストユニットに分類される。
【００４５】
ステップＳ１３０５において、第１ユニットが選択される。ステップＳ１３０６において、そのユニットがテキストユニットであった場合、フローはステップＳ１３０７へ進み、次のユニットが選択される。フローにおいて、ステップＳ１３０６及びＳ１３０７が、非テキストユニットが選択されるまで続行される。非テキストユニットが選択されると処理はステップＳ１３０８へ進む。
【００４６】
ステップＳ１３０８において、その非テキストユニットが検査され、当該ユニットからの子孫があるかどうかが判断される。たとえば、図１４Ｃに示されるように、非テキストユニット３９は非テキストの主要な子孫３９と、テキスト子孫４０、４１ａ及び４１ｂを含む。ステップＳ１３０８において子孫が存在した場合は、フローはステップＳ１３０９へ進む。ステップＳ１３０９において、ユニットはフィルター処理され、そのユニットがハーフトーン（或いはグレースケール）であるかどうかが判断される。ハーフトーンフィルタリングにおいて、ユニットの子孫が検査され、「ノイズ」サイズよりも小さいサイズを有する子孫の数が判断される。「ノイズサイズ」のユニットは、その高さが、画像データとして期待される最小のフォントサイズよりも小さいものである。ノイズサイズよりも小さいサイズの子孫の数が子孫の全数の半分よりも大きい場合は、そのユニットはハーフトーンイメージであると判定される。従って、ステップＳ１３１０において、フローはステップＳ１３１１に進み、「ハーフトーン」属性がそのユニットに付与される。その後、ステップＳ１３１２では、そのハーフトーンイメージ中に組み込まれたあらゆるテキストがチェックされる。具体的には、ハーフトーンイメージのテキストサイズの子孫の各々のツリー構造は、そのテキストサイズのユニットがもはやハーフトーンイメージからの子孫ではなく、ハーフトーンイメージと同じレベルであるように、変更される。これは、そのようなものが適切であると思われるならば、ハーフトーンイメージにおけるテキストサイズのユニットの文字認識を可能とする。その後、フローはステップＳ１３０７に戻り、次のユニットが処理のために選択される。
【００４７】
ステップＳ１３０９において、ハーフトーンフィルタリングが、そのユニットはハーフトーンイメージでないと判断した場合、フローはステップＳ１３１０を経てステップＳ１３１３に進む。ステップＳ１３１３において、そのユニットの主要な子孫が更なる処理のために選択される。そして、フローはステップＳ１３１４に進む。
【００４８】
ステップＳ１３０８において非テキストユニットが子孫を持っていないと判断された場合、或いはステップＳ１３１３において主要な子孫が更なる処理のために選択された場合は、ステップＳ１３１４において、注目されているユニットがフレームフィルタリングに供される。フレームフィルタリングは、注目されているユニットがフレームであり、そのユニットに外接する矩形とほぼ同じ幅及び／または高さを有する平行な水平ライン及び平行な垂直ラインが検出されたかどうかを判断する。特に、接続コンポーネントは、画素単位の各行に対して、ユニット内の接続コンポーネントの内側部分にまたがる最長の距離を計測するために検査される。例えば、図１５Ａに示されるように、非テキストユニット４２は接続コンポーネント４３を含む。ここでその接続コンポーネントの輪郭は、４４で示されるような８方向追跡によって追跡されたものである。行「ｉ」に対して、接続コンポーネントの内部をつなぐ最長の距離は距離Ｘ_iであり、これは輪郭の最も左の境界４５ａから最も右の境界４５ｂまでの距離である。一方、行「ｊ」に関しては、接続コンポーネントの内部をつなぐ２つの距離が存在する。接続コンポーネントの境界上のポイント４６ａと４６ｂの間の距離と、ポイント４７ａ及び４７ｂの間の距離である。ここでは、ポイント４６ａと４６ｂの間の距離が、ポイント４７ａと４７ｂの間の距離よりも長いので、距離Ｘ_jが行「ｊ」に対する接続コンポーネントの内部をつなぐ最長の距離となる。
【００４９】
非テキストユニット４２におけるｎ個の行の各々に対して、“ｘ”なる距離が派生し、以下の不等式が、その非テキストユニットがフレームかどうかを判断するために試される。
【００５０】
【数１】

【００５１】
ここで、Ｘ_kは、ｋ番目の行（上述したように）における接続コンポーネントの内部をつなぐ最長距離であり、Ｗは矩形ユニット４２の幅であり、Ｎは行の数である。また、閾値thresholdは、前もって計算されたものであり、イメージデータにおいてフレームが傾斜したりゆがんだりしていても、フレームの検出を可能とするような値となっている。１度の斜行或いは傾斜角度を許容するために、ｓｉｎ（１度）×Ｌ＋オフセット（オフセットはステップＳ１３０４で計算された平均のテキスト高さに等しい）で求められた閾値が満足の行く結果をもたらすことが見出されている。
【００５２】
上記の不等式が満足された場合、そのユニットはフレームデータに決定され、フローはステップＳ１３１５を経てステップＳ１３１６へ進む。ステップＳ１３１６において、「フレーム」属性がそのユニットに付与される。なお、この点において、複数の属性が各ユニットに付与されうる。こうして、たとえば、フレームが「フレームテーブル」或いは「フレームハーフトーン」等として指示されることが可能となる。
【００５３】
ステップＳ１３１６の後、フローは、フレームデータが表或いはテーブル形式で形成されたデータを含む可能性を考慮するために進む。こうして、ステップＳ１３１７において、接続コンポーネントの内部は白輪郭を取得するために調査される。
【００５４】
白輪郭は、上述のステップＳ１３０１において検出される輪郭に類似するが、ここでは黒画素ではなく白画素が調査される。こうして、図１６Ａに示されるように、非テキストユニットの内部は、否テキストユニットの内部の右手底部位置から、非テキストユニットの内部の左手上部分への矢印Ｂの方向に走査される。第１の白画素に遭遇した場合、白画素に隣接する画素が、星型状の方向パターン５１に示される順番で調査される。なお、星型状パターン５１は、１から４に番号付けされたベクトルを含む。従って、このステップにおける白輪郭追跡は、以降、「４−方向」白輪郭追跡と称する。白輪郭追跡は、黒画素によって囲まれた全ての白輪郭が追跡されるまで４方向にて継続される。たとえば、黒画素セググメント５２，５３，５４及び５５の内部輪郭を形成する画素を追跡する。また、同様に、白輪郭追跡は、それらセグメントの内部の、５６で全体が示される黒画素のような、他のあらゆる黒画素を追跡する。各白輪郭が見つけられた後、上述のように、非テキストオブジェクト内に囲まれた全ての白輪郭が追跡されるまで、走査は矢印Ｂの方向に進む。
【００５５】
ステップＳ１３１８において、非テキストユニットの密度が計算される。密度は、接続コンポーネント内の黒画素の数を計数し、黒画素の総数をその矩形によって囲まれた画素の総数で除することにより計算される。
【００５６】
ステップＳ１３１９において、非テキストユニット内に見出された白輪郭の数が調査される。白輪郭の数が４以上であった場合、その非テキストイメージは、実際は表であるか、或いは一連のテキストブロックが表の如く整列されたものである可能性がある。従って、ステップＳ１３２０では、白輪郭の充填率が判断される。白輪郭の充填率は非テキストイメージによって囲まれた領域を白輪郭が満たす度合いである。図１６Ａに示されるように、白輪郭充填率は、クロスハッチで示されている領域を含む。ここでクロスハッチで示されている領域は、たとえば、５７，５９のような、完全に空の白スペースである領域や、その領域中に黒画素が配置されている６０，６１のような白スペースの領域を含む。充填率が高い場合、その非テキスト領域はテーブル或いは表として配列されたテキストデータ列である可能性がある。従って、ステップＳ１３２１において、充填率が調査される。充填率が高い場合、その非テキストイメージはテーブルか一連のテキストデータが整列した表である可能性がある。この決定における信頼性を向上するために、白輪郭は、水平及び垂直方向に伸びるグリッド状の構造を形成するかどうかを判断するために調査される。具体的には、ステップＳ１３２２において、非グリッド形態の白輪郭が、それらの境界が水平及び垂直方向に少なくとも２つの輪郭に到達しない場合は、再結合される。たとえば、図１６Ａに示されるように、白輪郭５９の左側境界６２と右側境界６３は、白輪郭６０の左境界６４と右境界６５に一致するように垂直方向に伸びる。従って、これら白輪郭がグリッド構造に構成されるので、これら白輪郭は再結合されない。同様に、白輪郭６３の上側境界６６と下側境界６７は、白輪郭７０の上側境界６８と下側境界６９に一致するように水平方向に延びる。従って、これら白輪郭はグリッド状の構造をもつので、これら白輪郭は再結合されない。
【００５７】
図１６Ｂ〜図１６Ｄは白輪郭が再結合される状況を説明する図である。図１６Ｂは、非テキストユニット７１を示す。これは、たとえば、ステップＳ２０１に関して上述したように、ハーフトーンイメージに閾値処理を施してバイナリイメージに形成したものである。非テキストイメージ７１は、白領域７４，７５，７６，７７，７８及び７９と、黒領域７２を含む。これら白領域の充填率は十分に高いと想定され、ステップＳ１３２１においてフローを再結合ステップ１３２２に進めることになる。まず最初に、図１６Ｃに示されるように、白輪郭７５の上側及び下側境界が、白輪郭７７の上側及び下側境界と比較される。これらの上側及び下側境界は一致しないので、図１６Ｃに示されるように、白輪郭７５は白輪郭７６と結合され、結合された白輪郭７６’を生成する。
【００５８】
図１６Ｄにおいて、白輪郭７７の左右の境界は、白輪郭７８の左右の境界と比較される。これらの境界は同じではないので、白輪郭７７と７９は再結合されて一つの白輪郭７７’となる。
【００５９】
処理は水平及び垂直方向に、それ以上の再結合が生じなくなるまで繰り返される。
【００６０】
こうして、上述したように、たとえばハーフトーンイメージ或いは線画のような非テキストに対する白輪郭がより再結合しやすいのに対して、表に対する白輪郭は再結合されにくい。従って、ステップＳ１３２３において、再結合率が調査される。この再結合率が高い場合、或いは再結合後に残る白輪郭の数が４未満である場合、フローはステップＳ１３２８に進み、更に詳細に後述するように、当該非テキストユニットがハーフトーンイメージ或いは線画として指定されることになる。
【００６１】
ステップＳ１３２３において、再結合率が高く、少なくとも４つの白輪郭が残った場合、フローはステップＳ１３２４へ進み、非テキストイメージが“表”として指定される。ステップＳ１３２５において、新たに指定された表の内部が調査され、接続コンポーネントを８方向で検出し、分類する。ステップＳ１３２６において、新しい、内部の接続コンポーネントに従って、階層構造が更新される。ステップＳ１３２７において、内部の接続コンポーネントがテキスト或いは非テキストに再分類され、ステップＳ１３０２からステップＳ１３０４に関連して上述したようにして、適切な属性が付与される。その後、フローはステップＳ１３０７に戻り、次のユニットが選択される。
【００６２】
ステップＳ１３２１とＳ１３２３に戻り、ステップＳ１３２１において充填率が高くない場合、或いはステップＳ１３２３において再結合率が高い場合は、非テキストのフレーム化されたユニットは、ハーフトーンイメージか線画のいずれかである可能性が高い。ユニットがハーフトーンイメージとして分類されるか線画として分類されるかは、当該ユニット内の黒画素の水平方向の平均ランレングス、当該ユニット内の白画素の水平方向の平均ランレングス、黒画素と白画素の比率、密度に基づいて決定される。概して、非常に暗い画像はハーフトーンイメージとみなされ、白い明るいイメージは線画とみなされる。
【００６３】
特に、白画素の平均ランレングスがほぼゼロに等しい（すなわち、暗い部分或いは斑点が支配的な画像）場合、そして、ステップＳ１３１８で計算された密度がそのユニットが白よりもより黒の傾向であることを示す場合（すなわち、約１／２と等しい第１の閾値よりも大きい場合）、フレーム化されたユニットはハーフトーンであると決定される。また、密度が第１の閾値よりも大きくない場合、そのユニットは線画と判定される。
【００６４】
白画素の平均ランレングスが、おおよそゼロとはならず、白画素の平均ランレングスが黒画素の平均ランレングスよりも大きい場合、そのフレーム化されたユニットは線画であると判断される。しかし、白画素の平均ランレングスが黒画素の平均ランレングスよりも大きくない場合（すなわち、周期的な暗い画像）には、更なるテストが必要となる。
【００６５】
具体的には、黒画素の数が白画素の数よりも非常に少ない（すなわち、白画素の数で割られる黒画素の数が、およそ２である第２の閾値よりも大きい）場合、そのフレーム化されたユニットはハーフトーンユニットであると判断される。一方、黒画素の数を白画素の数で割った値が第２の閾値よりも大きくないが、ステップＳ１３１８で決定された密度が第１の閾値よりも大きい場合、そのフレーム化されたユニットはハーフトーンイメージであると判断される。そうでない場合には、フレーム化されたユニットは線画であると判断される。
【００６６】
従って、ステップＳ１３２８において、フレーム化されたユニットが線画であると判断されると、フローはステップＳ１３２９へ進む。ステップＳ１３２９では、「線画」の属性が付与され、そこからステップＳ１３３０へ進み、全ての子孫（派生）が取り除かれる。詳細にいえば、ユニットが線画であると判断されると、その線画のユニットから選択される、文字認識が可能なブロックはない。その後、フローはステップＳ１３０７へ戻り、次のユニットが選択される。
【００６７】
一方、ステップＳ１３２８において、フレーム化されたユニットが線画ではないと判断された場合、フローはステップＳ１３３１に進む。ステップＳ１３３１では、「ハーフトーン」の属性が付与され、そこからステップＳ１３３２へ進み、そのフレーム化されたハーフトーンユニットのテキストサイズの子孫が除去される。テキストサイズはステップＳ１３０４において上述したように、平均のユニット高さに従って決定される。テキストサイズの子孫よりも大きな全ての子孫は、そのフレーム化されたハーフトーンユニットからの子孫として残ることが許される。フローはステップＳ１３０７に戻り、次のブロックが選択される。
【００６８】
ステップＳ１３１９に戻って、白領域の数が４よりも大きくない場合、そのフレーム化されたユニットは表とはみなされない。従って、フローはステップＳ１３３３へ進み、ステップＳ１３１８で計算された密度が、およそ０．５に等しい閾値と比較される。閾値は、フレーム内のテキストユニット或いは線画は、画素の半分未満しか占有しないという予測に基づいて選択される。密度が閾値よりも小さい場合、フローはステップＳ１３３４へ進む。ステップＳ１３３４において、フレーム化されたユニットの内部構造が、上述したように構成される。すなわち、フローは、フレーム化されたユニットの内部構造のためにステップＳ１３０１に戻る。
【００６９】
ステップＳ１３３３において、密度が所定の閾値よりも小さい場合、そのフレーム化されたユニットが線画とハーフトーンイメージのいずれに分類され得るか、或いはフレームが分類不能である（すなわち、そのフレームは「未知」となる）かについての判断をするために、フローはステップＳ１３４３に進む。
【００７０】
ステップＳ１３１５に戻り、ステップＳ１３１４におけるフレームフィルタリングが、非テキストユニット内のフレームを検出しない場合、フローはステップＳ１３３５へ進み、その非テキストユニットがラインを含んでいるかどうかを判断する。ラインは、テキスト境界を図示するのに有用な非テキストユニットである。しかし、そのようなラインによって仕切られるテキストは、しばしばそのラインの近傍に現れるので、そのテキストがラインに付着してしまう可能性がある。従って、ライン検出は、テキストの付属を有するラインと有しないラインの両方を検出するように設計される。
【００７１】
付属物のないラインを検出するために、非テキストユニットのヒストグラムが、そのユニットの縦の方向において計算される。図１５Ｂに示されるように、ラインのヒストグラム４８は、ある程度均一な分布を示し、その高さはそのラインの幅とほぼ等しい。また、ラインの幅は非テキストユニットの幅（Ｗ）とほぼ等しくなる。ここで生じるあらゆる違いは、傾斜角度θ_αによるものである。それは、画素イメージが形成されるときに原稿が斜行している場合に、結果として生じるものである。従って、その非テキストユニットがラインを含むかどうかを判断するために、ヒストグラムにおける各セルcell_kの高さ４９が非テキストユニットの幅Ｗと比較される。以下のように、これらの値の二乗平均差が閾値と比較される。
【００７２】
【数２】

【００７３】
閾値は、非テキストユニット内のラインの斜行或いは傾斜θ_αを許容するために計算されたものである。１度の斜行或いは傾斜に対して、閾値を以下の式で求めることで、満足の行く結果が得られることが見出されている。
【００７４】
【数３】

【００７５】
付属物のないラインが上記の不等式によって見つからなかった場合は、そのユニットが付属物を有するラインを含むかどうかについての決定がなされる。付属物を有するラインが非テキストユニットに含まれるかどうかを判断するために、ラインがテキストユニットの境界に沿って長手方向に延びているかどうかについてそのテキストユニットが調べられる。具体的には、そのユニットをとおして長手方向にラインが延びる場合は、図１５Ｃに示されるように、そのユニットに外接する矩形の境界はラインに非常に近接して存在する。従って、その矩形の境界内に存在する黒画素の均一さが、その境界からの距離の二乗の和を計算することで調べられる。こうして、図１５Ｃを参照すると、以下の不等式が試される。
【００７６】
【数４】

【００７７】
もしも二乗の和が所定の閾値よりも小さい場合は、付属物のついたラインが見いだされる。上記の付属物のないラインに関して与えられたのと同じ閾値が、満足の行く結果をもたらすことが見出されている。
【００７８】
ステップＳ１３３５において、ラインが検出されると、フローはステップＳ１３３６を経てステップＳ１３３７へ進む。ステップＳ１３３７において、「ライン」の属性がその非テキストユニットに付与される。そして、フローは、ステップＳ１３３７へ進み、次のユニットが選択される。
【００７９】
一方、ステップＳ１３３５においてラインが検出されなかった場合、フローはステップＳ１３３６を経てステップＳ１３３８へ進む。ステップＳ１３３８では、その非テキストユニットのサイズが検査される。そのサイズが所定の閾値よりも大きくない場合、その非テキストユニットの分類は決定されない。なお、この閾値は、最大のフォントサイズに依存して設定され、最大フォントサイズの半分を用いると満足の行く結果が得られる。従って、フローはステップＳ１３３９に進み、「未知」の属性がその非テキストユニットに付与される。その後、フローはステップＳ１３０７に戻り、次のユニットが選択される。
【００８０】
ステップＳ１３３８において、サイズが所定の閾値よりも大きい場合、フローはステップＳ１３４０，Ｓ１３４１及びＳ１３４２に進む。ステップＳ１３４０では、その非テキストユニットの内部白輪郭が追跡され、ステップＳ１３４１では、その非テキストユニットの密度が計算され、そしてステップＳ１３４２では、ステップＳ１３１７，Ｓ１３１８及びＳ１３１９に関して上述したように、白輪郭の数が調査される。
【００８１】
ステップＳ１３４２において、白輪郭の数が４未満の場合、フローはステップＳ１３４３に進む。ステップＳ１３４３では、そのユニットのサイズが計算され、そのユニットが線画或いはハーフトーンイメージを構成するのに十分な大きさを有するかどうかを決定する。このサイズ決定は、黒画素の最大ランレングスとともに、その非テキストユニットの高さ及び幅に基づいてなされる。具体的には、その非テキストユニットの高さ及び幅が最大フォントサイズよりも大きくない場合、その非テキストユニットは、ハーフトーンイメージ或いは線画と判定するには十分な大きさではない。そして、フローはステップＳ１３４４に進み、「未知」の属性が付与される。同様に、その非テキストユニットの幅が最大フォントサイズよりも大きいが、黒画素の最大ランレングスが最大フォントサイズよりも大きくない場合も、フローはステップＳ１３４４に進み、「不明」の属性が与えられる。フローはその後、ステップＳ１３０７に戻り、新しいユニットが選択される。
【００８２】
ステップＳ１３４３においてその非テキストユニットが線画或いはハーフトーンイメージのいずれかであるのに十分な大きさを有する場合、フローはステップＳ１３４５に進み、その非テキストユニットが線画であるかハーフトーンイメージであるかを決定する。ステップＳ１３４５からステップＳ１３４９は、ステップＳ１３２８からステップＳ１３３２とそれぞれ同様のものであり、それらの説明は省略する。
【００８３】
図４に戻り、ステップＳ４０４において、ドキュメントが高解像度でスキャンされる。その結果として得られた高解像度画素データが出力イメージを生成するのに用いられるので、高解像度データであることが低解像度データよりも望ましい。本発明の他の態様において、ステップＳ４０１でドキュメントが高解像度でスキャンされ、ステップＳ４０２において後続のブロックセレクション処理のために低解像度に変換されるようにしてもよい。ステップＳ４０１で高解像度スキャンを行なうこの他の態様においては、ステップＳ４０４は実行されないことになる。
【００８４】
高解像度画素データがステップＳ４０４で取得された後、そのデータは、エッジ検出器１１５及び色度判定ユニット１１６を用いるとともに、検出されたオブジェクト属性やフォントサイズを用いて処理される。
【００８５】
図３に示されるように、Ｒ４，Ｇ４及びＢ４の信号は、入力マスキングユニット１０６においてマスキング変換されており、黒文字判定ユニット１１３のエッジ検出器１１５に入力される。図６は、エッジ検出器の内部構成を示すブロック図である。最初に、輝度信号Ｙが、輝度計算回路２５０により、Ｒ４，Ｇ４及びＢ４に基づいて計算される。図７は、回路２５０の詳細な回路構成を示す図である。
【００８６】
図７において、入力されたカラー信号Ｒ，Ｇ，Ｂのそれぞれには、乗算器３０１，３０２，３０３によって、係数０．２５，０．５０，０．２５が乗算される。そして、取得された値は加算器３０４，３０５において加算される。従って、輝度信号Ｙは、
Ｙ＝０．２５Ｒ＋０．５Ｇ＋０．２５Ｂ
なる等式を用いて計算されることになる。
【００８７】
輝度信号Ｙを計算した後、図６のエッジ最小方向検出器２５１はその信号を３つのラインに展開する。図８は、検出器２５１のＦＩＦＯ４０１，４０２を示す。ＦＩＦＯ４０１，４０２の各々は１ライン分の遅延をもたらす。これら３つのラインは、周知のラプラシアンフィルタ４０３〜４０６によってフィルタされる。そして、図８に示されるように、検出器２５１は、フィルタから出力されるエッジコンポーネントの量の絶対値が最小となる方向を決定する。決定された方向はエッジ方向として指定される。
【００８８】
次に、エッジ最小方向スムージングユニット２５２において、スムージング処理が、輝度信号Ｙに対して、エッジ最小方向について適用される。スムージング処理を適用することにより、そのエッジコンポーネントを、そのエッジコンポーネントが最大である方向に維持することが可能となり、そのエッジコンポーネントを他の方向に平滑化（スムージング）することができる。
【００８９】
換言すれば、１つの方向のみにエッジコンポーネントを有する文字／ラインについては、その特性が維持される一方で、複数の方向に大きなエッジコンポーネントを有するドットコンポーネントに対して、エッジコンポーネントがエッジ検出器１１５によって平滑化される。なお、この処理を必要な回数だけ繰り返すことにより、ラインコンポーネントはドットコンポーネントからより効果的に分離される。これにより、スクリーンドットに含まれる文字コンポーネントを検出することが可能となる。
【００９０】
入力信号は、エッジ検出器２５３において上述のラプラシアンフィルタによってフィルタされ、エッジ量の絶対値が値ａ以下である信号を排除する。結果として、エッジ量の絶対値が値ａよりも大きい信号が、論理「１’ｓ」として出力される。図９Ａ、９Ｂは、エッジ検出の例を示す図である。ここで、図９Ａにおける輝度データＹのイメージデータは図９Ｂにおいて示されるエッジ検出信号として出力される。
【００９１】
エッジ検出器１１５は、５つのコードのうちのいずれかを表す３ビットの「エッジ（edge）」信号を出力する。そのコードは、エッジが、注目画素の周りの７×７のブロックサイズのマスク、５×５のブロックサイズのマスク或いは３×３のブロックサイズのマスクを用いて注目画素の周りで見出された、マスクなしで注目画素の周りに見出された、或いはエッジがその注目画素の周りには見つからなかったことを表す。換言すれば、「エッジ」信号は、合計で５種類の情報を含む３ビットコードであり、その情報はすなわち、エッジ画素として検出される画素が、注目画素の周囲の７×７画素ブロック内に存在する、５×５画素ブロック内に存在する、３×３画素ブロック内に存在する、注目画素を含む全てのブロックに存在する、そして注目画素がエッジ画素と判断されるか否かに関するものである。
【００９２】
図１０は、色度決定回路１１６の構成を示すブロック図である。最大値検出器６０１と最小値検出器６０２において、最大値であるｍａｘ（Ｒ，Ｇ，Ｂ）と最小値であるｍｉｎ（Ｒ，Ｇ，Ｂ）がそれぞれ入力されたカラー信号Ｒ４，Ｇ４，Ｂ４から抽出される。そして、その差分、ΔＣ＝ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ）が減算器６０３によって計算される。次に、ＬＵＴ６０４において、図１１に示した特性に従ったデータ変換が遂行され、色度信号Ｃｒが生成される。
【００９３】
図１１では、色度が低くなる（非色度に近づく）に従って、ΔＣの値がゼロに近づき、一方、色度が高くなるに従って、ΔＣの値が増加することが示されている。言い換えれば、色の非色度が大きくなるに従ってＣｒは大きな値を有し、色度が大きくなるに従ってＣｒはゼロに近づく。なお、図３において色度決定回路１１６から出力される信号“ｃｏｌ”は、“ｃｏｌｏｒ”、“ｂｌａｃｋ”、“ｇｒａｙ”（“ｃｏｌｏｒ”と“ｂｌａｃｋ”の中間のカラーを表す）、或いは“ｗｈｉｔｅ”を２ビットコードを用いて表したものである。
【００９４】
ＬＵＴ２０５はフォントサイズと属性信号をブロックセレクションユニット２００から受けとり、エッジ信号をエッジ検出器１１５から受け取り、ｃｏｌ信号を色度決定回路１１６から受け取る。ＬＵＴ２０５は、これらを受けて、ＵＣＲ、ＦＩＬＴＥＲ、ＳＥＮを出力する。これらが有する値は、本願明細書の発明の背景の項で説明したとおりである。しかしながら、本発明によれば、ＵＣＲ、ＦＩＬＴＥＲ、ＳＥＮの信号は、ＬＵＴ２０５と、上述のフォントサイズ（font size）、属性（attribute）、エッジ（edge）及びｃｏｌ信号の内容に基づいたものである。
【００９５】
図１２はＬＵＴ２０５の内容を説明する図である。図示のように、ＬＵＴ２０５は、ｃｏｌ、属性（attribute）、フォントサイズ（font size））及びエッジ（edge）の各信号に基づいて、対応するＵＣＲ，ＦＩＬＴＥＲ及びＳＥＮの値を割り当てる。こうして、ブロックセレクションユニット２００から出力された信号により、ＬＵＴ２０５の内容は、注目画素データにより適切な処理を提供するために特定され得る。たとえば、図１の文字太さ判定回路１１４では、注目画素が存在する領域のタイプを表わすことを意図する出力信号を生成する。本実施形態では、ブロックセレクションユニット２００を用いて、その領域内のテキストサイズと共に、領域のより正確な判定が得られる。従って、より正確な処理がその領域について遂行され得る。
【００９６】
ＬＵＴ２０５の値を用いた処理の１つの例は、テキスト画素及びエッジ画素であると判定された注目画素に対してシャープ化処理（ＦＩＬＴＥＲ＝１）を実行すること、注目画素がテキスト画素であるともエッジ画素であるとも判定されなかった場合にその注目画素に平滑化（スムージング)処理（ＦＩＬＴＥＲ＝３）を実行することである。加えて、テキスト画素であってエッジ画素ではないと判定された画素に対して、その画素はテキスト文字の内部の領域の一部であると仮定され、従って、その画素に対して内部平滑化処理（ＦＩＬＴＥＲ＝０）が実行される。他の例において、非テキスト領域内の画素に対しては、全体的に平滑化処理（ＦＩＬＴＥＲ＝３）が実行される。もちろん、平滑化処理の他の組み合わせ、下色除去及び選択された印刷解像度が、本発明に従って、採用され得る。それらの多くは、図１２において示される値によって図解されている。
【００９７】
以上、本発明について、現在のところその望ましい実施形態と考えられるものについて説明したが、本発明が上述したものに限定されないことはいうまでもない。反対に、本発明は、添付のクレームの精神と範囲の中に含まれる種々の改良や等価な構成をカバーするべく意図するものである。
【図面の簡単な説明】
【図１】一般的な画像処理ユニット内における画像信号の流れを示すブロック図である。
【図２】本発明の実施形態に係るカラー複写機の断面図である。
【図３】本発明に係る画像信号のフローを示すブロック図である。
【図４】本発明に従って画像データを処理するための処理ステップを示すフローチャートである。
【図５】本発明に従った処理のための画素データを含むドキュメントを示す図である。
【図６】エッジ検出回路の内部構成を説明するブロック図である。
【図７】輝度計算回路の詳細な構成を示す図である。
【図８】ＦＩＦＯによるライン遅延と、ラプラシアンフィルタを示す図である。
【図９Ａ】エッジ検出の例を示す図である。
【図９Ｂ】エッジ検出の例を示す図である。
【図１０】色度半て回路を示すブロック図である。
【図１１】ルックアップテーブルにおけるデータ変換の特性を説明する図である。
【図１２Ａ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｂ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｃ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｄ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｅ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｆ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１２Ｇ】本発明に係るルックアップテーブルの内容を説明する図である。
【図１３Ａ】画素画像データ中の接続コンポーネントがどのようにして分類されるかを説明するフローチャートである。
【図１３Ｂ】画素画像データ中の接続コンポーネントがどのようにして分類されるかを説明するフローチャートである。
【図１３Ｃ】画素画像データ中の接続コンポーネントがどのようにして分類されるかを説明するフローチャートである。
【図１４Ａ】輪郭追跡を説明する図である。
【図１４Ｂ】輪郭追跡を説明する図である。
【図１４Ｃ】輪郭追跡を説明する図である。
【図１５Ａ】非テキストユニットに対する分類処理を説明する図である。
【図１５Ｂ】非テキストユニットに対する分類処理を説明する図である。
【図１５Ｃ】非テキストユニットに対する分類処理を説明する図である。
【図１６】白輪郭処理を説明する図である。

Claims

画像処理装置による画像処理方法であって、
第１の解像度でドキュメントをスキャンして、低解像度の画像データを得る第１入力工程と、
前記低解像度の画像データを解析して、前記ドキュメントに含まれるオブジェクトを検出し、該オブジェクトのサイズに基づいて該オブジェクトの属性がテキスト属性であるか否かを識別し、該オブジェクトの属性がテキスト属性である場合は該オブジェクトにおけるテキストのフォントサイズを識別する識別工程と、
前記ドキュメントを前記第１の解像度よりも高い第２の解像度でスキャンして、高解像度の画像データを得る第２入力工程と、
前記高解像度の画像データからエッジを検出するエッジ検出工程と、
前記高解像度の画像データから各画素の色度を検出する色度検出工程と、
前記識別工程で識別された属性とフォントサイズ、前記エッジ検出工程で検出されたエッジ、及び前記色度検出工程で検出された色度に基づいて黒生成処理および空間フィルタ処理を決定し、決定された黒生成処理および空間フィルタ処理を前記高解像度の画像データに実行する処理工程とを有することを特徴とする画像処理方法。
前記識別工程では、輪郭追跡を用いて前記ドキュメントに含まれるオブジェクトを検出することを特徴とする請求項１に記載の画像処理方法。
前記識別工程では、
前記輪郭追跡により抽出された領域から矩形領域を設定し、
前記オブジェクトの属性がテキスト属性であるか否かの識別においては、該オブジェクトに対応して設定された矩形領域の高さが、予期される最大のフォントサイズに対応する所定の閾値より大きい場合に該オブジェクトの属性がテキスト属性ではないと識別することを特徴とする請求項２に記載の画像処理方法。
前記エッジの検出は、前記高解像度の画像データの各画素について、当該画素を中心とした異なる範囲を参照してエッジを検出して得られた複数の検出結果を多値のデータで表して出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
前記識別工程では、更に前記オブジェクトがフレーム属性か否か、ライン属性か否かを識別することを特徴とする請求項１に記載の画像処理方法。
スキャナを用いて第１の解像度でドキュメントをスキャンして、低解像度の画像データを得る第１入力手段と、
前記低解像度の画像データを解析して、前記ドキュメントに含まれるオブジェクトを検出し、該オブジェクトのサイズに基づいて該オブジェクトの属性がテキスト属性であるか否かを識別し、該オブジェクトの属性がテキスト属性である場合は該オブジェクトにおけるテキストのフォントサイズを識別する識別手段と、
前記スキャナを用いて前記ドキュメントを前記第１の解像度よりも高い第２の解像度でスキャンして、高解像度の画像データを得る第２入力手段と、
前記高解像度の画像データからエッジを検出するエッジ検出手段と、
前記高解像度の画像データから各画素の色度を検出する色度検出手段と、
前記識別手段で識別された属性とフォントサイズ、前記エッジ検出手段で検出されたエッジ、及び前記色度検出手段で検出された色度に基づいて黒生成処理および空間フィルタ処理を決定し、決定された黒生成処理および空間フィルタ処理を前記高解像度の画像データに実行する処理手段とを備えることを特徴とする画像処理装置。
コンピュータに画像処理を実行させるためのコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、前記コンピュータに、
第１の解像度でドキュメントをスキャンして、低解像度の画像データを得る第１入力工程と、
前記低解像度の画像データを解析して、前記ドキュメントに含まれるオブジェクトを検出し、該オブジェクトのサイズに基づいて該オブジェクトの属性がテキスト属性であるか否かを識別し、該オブジェクトの属性がテキスト属性である場合は該オブジェクトにおけるテキストのフォントサイズを識別する識別工程と、
前記ドキュメントを前記第１の解像度よりも高い第２の解像度でスキャンして、高解像度の画像データを得る第２入力工程と、
前記高解像度の画像データからエッジを検出するエッジ検出工程と、
前記高解像度の画像データから各画素の色度を検出する色度検出工程と、
前記識別工程で識別された属性とフォントサイズ、前記エッジ検出工程で検出されたエッジ、及び前記色度検出工程で検出された色度に基づいて黒生成処理および空間フィルタ処理を決定し、決定された黒生成処理および空間フィルタ処理を前記高解像度の画像データに実行する処理工程とを実行させるコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。