JPH10508127A - テキストのビットマップ・イメージからテキストの部分を自動的に指定する方法及び装置 - Google Patents

Abstract

(57)【要約】 ドキュメント処理システム（１０）は、ユーザ・インターフェース（２２、２４、２５）と、テキストを含むドキュメント（１４）を表すビットマップ・データ（１８ａ）を記憶するメモリ（１８）とを含む。ユーザ・インターフェースは、ビットマップ・データのイメージを視覚化するディスプレイ（２２、２２ａ）と、記憶されたビットマップ・データ内の位置に対応する表示されたイメージ内の位置を指定するマウス（２５）のような入力装置とを含む。ドキュメント処理システムは、テキストを含むイメージの範囲の開始を指定する第１の指定された位置に応答し且つテキストを含むイメージの範囲の終了を指定する第２の指定された位置に応答して該範囲に対応するビットマップ・データを処理するビットマップ・データ・プロセッサを更に含む。ビットマップ・データ・プロセッサは、該範囲内のテキストのラインの横のエクステントを決定し、該範囲内のテキストのラインの傾斜がある場合にはその傾斜の量を決定し、該範囲内のテキストのラインの中心から中心の間隔を決定し、テキストの上部ラインの位置を決定するようにオペレーションする。即ち、ビットマップ・データ・プロセッサは、最初に指定された範囲に対応するビットマップ・データ内に現れるすべてのテキストの幾何学的仕様を提供するように、入力装置によって指定された範囲の境界をリファインするようにオペレーションする。ビットマップ・データ・プロセッサは、好適には、ビットマップ・データにオペレーションを行う前に該ビットマップ・データを横に圧縮する。

Description

【発明の詳細な説明】 テキストのビットマップ・イメージからテキストの部分を自動的に指定する方法 及び装置 発明の分野 本発明は一般にドキュメント処理システムに関連し、特に、ドキュメントのペ ージ上に現れる情報を表すデータを入力するための光学スキャナを含むドキュメ ント処理システムに関連する。 発明の背景 ドキュメントの１ページ又はそれ以上のページをドキュメント処理システムに 入力するための周知の技術は、ページの表面に発生する光学的濃度の差を検知す る光学スキャナのようなドキュメント・イメージ化システムを用いる。光学濃度 の差は、例えばインチ当たり２００ドット（ｄｐｉ）の所定の又は選択された解 像度で二進情報（ピクセル）に変換され、走査線フォーマットで出力される。ド キュメント・イメージ・データはシステムのユーザに表示され得る。イメージ・ データは続いて圧縮され得、また、イメージ・データは走査されたイメージの情 報内容を識別するために更に処理され得る。光学的文字認識（ＯＣＲ）はイメー ジ・ピクセルのグループを英数文字に対応するコードに変換するのに用いられる １つの周知の処理技術である。 ドキュメント・イメージ化システムのユーザは、テキストのスキャン（走査） された二進ビットマップ・イメージからテキストの部分を選択することが望まし いことをしばしば発見する。次に、選択された部分は、例えば、ＯＣＲ、デ−ス キューイング（de-skewing）、カット・アンド・ペースト、編集（redaction） を行うために処理される。ユーザから見た最も便利なインタラクションは、所望 される処理オペレーションを識別し、次に、例えば、キーボードの矢印キー、マ ウス、又はトラックボールで、ビットマップ・イメージの表示における選択され たテキスト部分の開始点及び終了点を単に指すことである。 また、ユーザの入力に応答して、ユーザのビットマップの意図された部分の概 算的幾何学的仕様を純化する（リファインする、refine）ことが望ましく、従っ て、意図された部分の左側及び右側のエクステント（延長部）、及びビットマッ プ・イメージの傾斜（水平からの偏差）に加えて、意図された部分内のテキスト のラインの期間及び位相を決定するプログラムを呼び出すことが望ましい。即ち 、プログラムのタスクは、インタラクティブに受け入れ可能な時間期間内で、こ れら５つのパラメータの可能な値の組み合わせを通じて５次元のサーチを行い、 ビットマップ・イメージの選択された部分の純化された幾何学的仕様を生じるこ とであろう。純化された幾何学的仕様は、次に、カット・アンド・ペースト・ル ーチンのような別のルーチンに渡され、それが、所望されるオペレーションを行 うためにビットマップ・イメージにおけるテキストの所望の部分を正確に位置付 けする。 これまで、インタラクティブに受け入れ可能な速度でこのような５次元のサー チを行うための自動化されたオペレーションのシーケンスを実行することができ 、且つ純化された幾何学的仕様を出力するドキュメント処理システムは存在しな かった。 本発明の目的 従って、本発明の目的はビットマップ・テキスト・イメージの指定された部分 の概算的幾何学的仕様を純化するための自動化されたオペレーション・シーケン スを行う方法を提供することである。 本発明の別の目的は、ユーザ・インターフェースと、大きいビットマップ・テ キスト・イメージ内のビットマップ・テキスト・イメージの一部分のユーザが指 示した幾何学的仕様を純化するための自動化されたオペレーション・シーケンス を行うことが可能な１つ又はそれ以上のプロセッサであって、ユーザがビットマ ップ・テキスト・イメージのその部分の開始及び終了を示すことに応答してオペ レーションを行うプロセッサとを含むドキュメント処理システムを提供すること である。 本発明の概要 本発明の教示に従ったドキュメント処理システムによって及び該ドキュメント 処理システムをオペレーションする方法によって、上述の及び他の問題は解決さ れ且つ本発明の目的は実現される。 ドキュメント処理システムはユーザ・インターフェースと、テキストを含むド キュメントを表すビットマップ・データを記憶するメモリとを含む。ユーザ・イ ンターフェースはビットマップ・データのイメージを視覚化するディスプレイと 、記憶されたビットマップ・データ内の位置に対応する表示されたイメージ内の 位置を指定するマウスのような入力デバイスとを含む。 本発明に従うと、ドキュメント処理システムは、テキストを含むイメージの範 囲の開始を指定する第１の指定された位置とテキストを含むイメージの該範囲の 終了を指定する第２の指定された位置に応答し、その範囲に対応するビットマッ プ・データを処理するためのビットマップ・データ・プロセッサを更に含む。ビ ットマップ・プロセッサは、その範囲内のテキストのラインの横のエクステント を判定するため、その範囲内のテキストのラインの傾斜が有る場合にはその量を 判定するため、その範囲内のテキストのラインの周期性を判定するため、及びそ のテキストの最上部ラインの位置を判定するためにオペレーションする。即ち、 ビットマップ・プロセッサは、元に指定された範囲に対応するビットマップ・デ ータ内に現れるすべてのテキストの幾何学的仕様を提供するために、入力デバイ スによって指定された範囲の境界をリファインするようにオペレーションする。 リファインされた幾何学的仕様は次に、例えば、テキスト・イメージのＯＣＲや カット・アンド・ペーストや編集を行うユーティリティに渡され得る。 ビットマップ・プロセッサは好適には、横のエクステント、傾斜、周期性、及 びテキストの最上部ラインの位置を判定する前にビットマップ・データを最初に 横に圧縮するようにオペレーションする。 図面の簡単な説明 本発明の上述及び他の特徴は、後述の本発明の詳細な説明を添付の図面を参照 して読むことにより、より明瞭になる。 図１は本発明の実現に用いるのに好適であるドキュメント・イメージ化システ ムと結合されるドキュメント処理システムのブロック図である。 図２Ａ−２Ｃは本発明の方法及び装置のオペレーションの説明に好適な例示的 な二進ビットマップ・イメージを示す（図２Ｃは図２Ａのイメージの横に圧縮さ れたバージョンである）。 図３Ａ−３Ｃは図２Ａ−２Ｃに示された二進ビットマップ・イメージに対応す るヒストグラムであり、図３Ａ及び３Ｂのヒストグラムは、本発明の方法の特徴 である傾斜判定手順の間に用いられ、図３Ｃのヒストグラムは周期（期間）及び 位相判定手順の間に用いられる。 図４は本発明によって用いられる多種のドキュメント・イメージ規定を示す図 である。 図５は空白バイトを表す長方形の例示的配置を示し、この図はビットマップ・ イメージの横のエクステントの判定の間に長方形の左又は右のエッジを固定する 方法を説明するのに好適である。 図６は所定のパターン・テンプレートを表すバイト・サンプルの例示的配置を 示し、この図は傾斜判定の方法を説明するのに好適である。 図７は編集オペレーションの一部を示すのに好適な図である。 図８はビットマップ・イメージの選択された部分の位相及び周期の判定の方法 の説明に用いられる図である。 図９は本発明の方法によって実行されるステップを示す論理フローチャートで ある。 本発明の詳細な説明 図１は本発明に従って構成され且つオペレーションされるドキュメント処理シ ステム１０を示す。走査されるドキュメント・ページ１４の表面に現れる印刷さ れたテキスト及びグラフィック・イメージからの光学的コントラストを検出する ために従来のドキュメント・スキャナ１２が用いられる。或るタイプのスキャナ では、スキャナ１２とページ１４との間の相対的運動によって、スキャナ１２が 信号ライン（単数又は複数）１２ａ上に、該スキャナによって検知された光学的 コントラストを示す一連の二進１及び０のシーケンスを出力するようにされる。 ＣＣＤカメラのような他のタイプのスキャナでは、ページとスキャナの間の相対 的運動は必要ない。 例えば、二進１はページ１４の暗い範囲（キャラクタ又はグラフィック・イメ ージの一部）の存在を示し、二進０は暗い範囲のないこと（背景又は「白スペー ス」）を示す。ここで用いられるように、二進１及び０はそれぞれピクセルと呼 ばれる。二進情報は走査線フォーマット（scanline format）で出力され、走査 線は走査方向（矢印Ａで示す）に直角に向いている。従って、１つの走査線は典 型的にキャラクタの部分からのピクセルを含む。例えば、且つスキャナ１２の解 像度が２００ｄｐｉであり且つページ１４が８．５インチ（約２１．６センチ） 幅であると仮定すると、走査線は１７００までの個別のピクセル（８．５×２０ ０）を含み得る。典型的なスキャナの解像度は、（走査線に沿って）インチ当た り１００ドット（又はピクセル）から４００ｄｐｉの範囲にある。 信号ライン（単数又は複数）１２ａには、従って、スキャナ１２の出力には、 スキャナ・インターフェース１６が結合される。スキャナ・インターフェース１ ６の出力はバス１６ａを経由でドキュメント記憶モジュール１８に結合される。 記憶モジュール１８は、半導体メモリ、磁気又は光学ディスク・メモリ、磁気又 は光学テープ、又はデジタル化されたドキュメント・ページのデータを記憶する のに適当な任意の形態のものの内部に実現され得る。示されるように、記憶モジ ュール１８はビットマップ・ページ・データ・ブロック１８ａとして表される３ つの記憶されたドキュメント・ページ・イメージを有する。 ドキュメント記憶１８のアクセスとページの表示はドキュメント・プロセッサ ２０によって制御される。このプロセッサはバス２０ａを経由でドキュメント記 憶モジュール１８と双方向に結合され、且つＣＲＴディスプレイ２２、キーボー ド２４、及びマウス２５のようなオプションのポインティング・デバイスのよう な従来のユーザ・インターフェース・デバイスに結合される。ＣＲＴディスプレ イ２２は、スキャナ１２によって出力されるピクセルの２次元アレイ（ビットマ ップ・ドキュメント・ページ・イメージ）の表示を可能にするグラフィック能力 を有する表示スクリーン２２ａを有する。ドキュメント・プロセッサ２０はワー ド処理及び編集能力を有し得るが、ドキュメント・アーカイブ・アプリケーショ ンに対してこれらの能力は要求されるものでも望まれるものでもない。 コンポーネント１６−２４はすべて、パーソナル・コンピュータのような１つ のデータ・プロセッサ２６内に含まれ得ることを認識すべきである。この場合、 スキャナ・インターフェース１６は、従来の様式でデータ・プロセッサ２６のパ ラレル又はシリアル・ポートに結合され得るスキャナ１２の出力を処理するため に呼び出されるソフトウエア・モジュールであり得る。また、この場合には、バ ス１６ａ及び２０ａは同じシステム・バスであり得、それによってスキャナ・イ ンターフェース・ソフトウエア及びドキュメント・プロセッサ・ソフトウエアが 、データ・プロセッサ２６のメイン・メモリ及び大容量記憶コンポーネントにイ ンターフェースされる。本発明の別の実施例において、スキャナ１２はデータ・ プロセッサ２６の一体のコンポーネントに作られ得る。 従って、図１のドキュメント処理システム１０の実施例は、本発明の１つの例 示的実施として見られることを意図されおり、本発明の実施の際の制限として見 られることを意図していないことが理解されるべきである。 ここで図２Ａ−２Ｃを参照する。ドキュメント・ページのスキャンされた二進 ビットマップ・イメージは、典型的に、ビットマップ・イメージ内に含まれるテ キストについての論理的又は幾何学的な情報なしに発生する。一般に、もし編集 （redaction）のような正確なオペレーションが二進ビットマップ・イメージに 行われるならばテキスト・ラインの傾斜（多分水平であると意図される）さえも 仮定されていないであろう。 図２Ａ及び２Ｂに示されるように、本発明は図２Ａの例示的二進ビットマップ ・イメージ３０の開始点ｓ及び終了点ｔを指し且つクリックする（マウス２５を 使用すると仮定）ための機構をユーザに提供する。二進ビットマップ・イメージ ３０の部分のこの初期的な幾何学的仕様に応答し、ドキュメント・プロセッサ２ ０はビットマップ・イメージを検査し、図２Ｂの幾何学的「回答」ｇ、即ち、ｓ とｔの間にあるテキスト・イメージを完全に且つそれのみを覆う平行四辺形のセ ットを輪郭描写（delineate）する。このように、初期的な幾何学的仕様は洗練 （純化）され、ビットマップ・イメージの指定された部分にオペレーションを行 うことができる１以上のプログラム又はユーティリティに使用可能にされる。 ドキュメント・プロセッサ２０によって実行されねばならないタスクの１つの 定義は、以下の５つのパラメータに対する値の最良のセットを生じるサーチの定 義である。 １）テキスト・イメージの左方向のエクステント（extent）（アイル又はペー ジ・マージンへの。図２ＡにおいてアイルはＡｌと示す。） ２）テキスト・イメージの右方向のエクステント（アイル又はページ・マージ ンへの） ３）テキスト・イメージの傾斜（即ち、示されたエクステントを横切っての水 平からのピクセルにおける偏差） ４）テキスト・イメージの周期（period）（即ち、テキストラインの中央から 中央の間隔（center-to-center spacing）） ５）テキスト・イメージの位相（phase）（即ち、最上部テキストラインの最 上部の位置） これら５つの値の組み合わせのすべてを完全にテストするのは計算的に高価で あり且つ時間を消費する。その代わりに、本発明の方法は、周期及び位相が同時 に判定されるのを除いて、本質的にリストされたオーダーでこれら５つのパラメ ータに対する値を確立する。 最初に、５つのパラメータに対して多種の精度が要求されることに留意された い。パラメータ１及び２に関しては、テキスト・イメージの左及び右のエクステ ントが空白スペース（ページ・マージン又はカラム間のアイルの何れか）によっ て規定されるのでピクセル精度は必要ではなく、実際には、最も近いバイト（８ ピクセル）に対しての値で十分である。パラメータ３及び５に関しては、後続の オペレーションは典型的に完全なピクセルを用いて最も微細な解像度でオペレー ションを行うので、傾斜及び位相は最も近いピクセル全体に対してのみ指定され る必要がある。パラメータ４に関しては、ラインからラインの周期は、テキスト の後続するラインが輪郭描写されるにつれてまるめによるエラーが積み重ならな いように、好適にはより正確に判定される。従って、本発明の方法はラインから ラインの周期の最良の概算を生成し、結果はピクセルの第１０（tenths of pixe ls）で表される。 これらの多種の解像度は本発明の現在好適な実施例に対しての到着したものを 反映するものであり、本発明の実現を制限するために構成したものではないこと を認識されたい。 図２Ａ−２Ｂのテキスト・ビットマップ・イメージの多種の部分を参照して、 以下の判定、即ち、横のエクステント、傾斜、及び周期／位相が詳細に説明され る。これらの判定はページ・イメージの下に横たわるビットマップを基にする。 このビットマップは図１のスクリーン１２２ａ上でユーザに表示されるビットマ ップと同じ解像度を有する必要はない。しかしながら、水平からの傾斜は典型的 に小さいので、且つ横のエクステントは高い精度（１バイト又は８ピクセル内に 対して）で判定される必要がないので、バイトあたりビット（ビット・パー・バ イト、bit-per-byte）のマップが十分であることが発見されている。図２Ａのビ ットマップ・イメージの８倍（８：１）横に圧縮されたバージョンが図２Ｃに示 されている。図２Ｃは拡大して示されており、垂直寸法及び、従って、ピクセル のラインの数は図２Ａのものと等しいことが認識される。図２Ｃの横に圧縮され たイメージ３２において、表示された各ピクセルは、例えば、２つ又はそれ以上 の前景ピクセルを含む元のビットマップ・イメージのバイト（即ち、少なくとも ２つの論理１ビットを含むバイト）を表す。このようなビット・パー・バイトの 横に圧縮されたイメージを用いてオペレーションを行うことは、大きな高解像度 のイメージに対しての法外な高速記憶の要求を大きく減少させることが発見され ている。 図４を参照すると、本発明の方法のオペレーションが以下のように説明され得 る。 ユーザが供給した座標（ｘ開始，ｙ開始）及び（ｘ終了，ｙ終了）を与え る （上部左ｘ，上部左ｙ）、（上部右ｘ，上部右ｙ）及び第１０ピクセルを 判定する オプションで、本方法は元のイメージ内の輪郭描写した範囲を１から７の符号 付されたもののような長方形（互換的には平行四辺形）へ分解することを提供す る。図４に示した実施例において、「傾斜（スロープ、slope）」はテキストの エクステントを横切って−２ピクセルである。即ち、（上部右ｘ、上部右ｙ）と 示された点は（上部左ｘ、上部左ｙ）と示された点よりも２ピクセル又は２走査 線「低い」。傾斜が正である場合には、その逆になり、即ち、（上部右のｘ、上 部右のｙ）と示された点は（上部左ｘ、上部左ｙ）と示された点よりも２ピクセ ル又は２走査線「高い」。零の傾斜に対しては、（上部右ｘ、上部右ｙ）と示さ れた点と（上部左ｘ、上部左ｙ）と示された点は同一の走査線上にある。 より大きな正又は負の傾斜に対して、対応してより多くの結果的な長方形があ る。１ピクセルのステップで僅かに傾斜するラインは周知のブレゼンハム・ライ ン（Bresenham line）、即ち、所与の終了点間の直線を概算（近似）するための 二進ビットマップ上の最良のライン、と等価である。 本発明の方法の多種のステップの詳細な説明を図９のフローチャートと関連し てここで示す。 ブロックＡで、ユーザが表示されたビットマップ・イメージにおける開始点及 び終了点（図２Ａにおいてｓ及びｔで示される点）を指定することに応答して本 方法が呼び出される。これが、スクリーン２２ａでユーザに表示されているビッ トマップ・イメージ内の対象となる範囲の初期の概算的幾何学的仕様である。 ブロックＢで、圧縮されたイメージ（図２Ｃ）が作成される。インタラクティ ブ・セッションの開始で（又はそれより前に）、圧縮されたイメージは一度作成 されるのみでよく、そして、それは高速メモリに適合し得る限り、それはテキス ト仕様に対するすべての後の要求に対して働く。そうでない場合には、圧縮され たイメージは、もしその或る必要な部分が既に高速メモリにないならば又はない ときに必要なだけまでのみ更新される。この場合、圧縮されていないイメージの 更に必要とされる部分を読み取ることによって所望される部分が再び計算される か、又は既に圧縮されたイメージの適当な部分が読み出される（たぶんハード・ ディスクから）かの何れかである。一般に使用されるコンピュータは、伝統的な ２００又は３００ｄｐｉの解像度で二進走査（binary-scan）された８．５”× １１”（約２１．６ｃｍ×２７．９ｃｍ）のページの完全な８×の圧縮されたイ メージを保持するための十分な高速のメモリ（ＲＡＭ）を有する。ブロックＣは この圧縮イメージ更新プロシージャを示シ、これは本方法の実行の或る場合に対 して要求されることもされないこともある。 ブロックＤで、ユーザが指定した点ｓ及びｔが圧縮されたビットマップ・イメ ージ内にあることを確実にするための判定が行われる。 ブロックＥで、ビットマップ・イメージ内のテキストの示された範囲の左−右 （横）のエクステントの判定が行われる。この点に関して、ユーザの示した点ｓ 及びｔ（図２Ａ）は対象となる領域の垂直エクステントを概算的に示すのみであ り、即ち、何れかが高すぎ又は低すぎでありそれが近接するテキスト・ラインに 現れるのときのみその結果は完全に誤りである。 ブロックＥの実行の間に、規定された点ｓ及びｔ及び上及び下の所定数のイメ ージ・ラインを含むように最初の長方形ｒが規定される。この長方形は「空白バ イト」の十分に広い垂直の区画（スワス、swath）がその右及び左のエッジに発 見されるまで水平に延ばされ、空白バイトは、２つよりも少ない前景ピクセルを 有する元のバイトを表す圧縮されたピクセル・パー・バイトのマップにおける零 ビットである。 もしテキスト・イメージが過度に傾斜すると、テキストのカラム間のアイルも 傾く。従って、表現「十分に広い空白区画」は、それぞれが３つの連続する空白 バイトの水平ストリングの一部であるクリアの空白バイトの１カラムとして規定 される。この定義は特に２００ｄｐｉのイメージに適用される。他の解像度に対 しては、それに従ってこれらの値がスケール化される。 ２００ｄｐｉの場合に対して、図５に示す３つの空白バイト３４の繰り返しパ ターンは初期の長方形の左又は右のエッジを定めるのに十分である。 ユーザが指定したテキストの範囲の横のエクステントがこのように決定される と、本方法は傾斜を判定するためのブロックＦに続く。この点に関して、及びテ キストの傾斜が事前に知られていた場合には、同じ傾斜でサンプリング・ライン に沿って間隔をとられたイメージのサンプルは、サンプリング・ラインがテキス トのラインを通じて通過しているか又はテキストの２つの近接するライン間のス ペースを通じて通過しているかに依存して、空白であるか又は大きく占有されて いるかの傾向があることが予期される。また、もし２つの平行なサンプリング・ ラインが固定距離離れた圧縮されたテキスト・イメージをサンプリングするため に用いられるならば、及びもしこの２つの平行なサンプリング・ラインがテキス トの実際の傾向に向いているならば、頻繁に、一方のサンプリング・ラインはサ ンプル空白ピクセルとして発見され、他方はサンプルが占有したピクセルとして 発見されることが予期されるべきである。 上述の仮定を基にして、ブロックＦは、すべての傾斜に対して、初期の長方形 ３８内で特定のパターンが発見された回数からカウント又はタリーを作成する技 術に従ってオペレーションする。これらのパターン又はテンプレートは図６に示 されており、ａ、ｂ、ｃ、ｄと示されたサンプル３６は或る傾斜のラインに沿っ ての初期長方形３８の幅の４分の１の水平に間隔をとられたものであり、ｅ、ｆ 、ｇ、ｈと示されたサンプル３６はａ、ｂ、ｃ、ｄのそれぞれの下の固定数（例 えば、８）のピクセルである。サンプル３６のパターンは繰り返して配置され、 パターンの中心４０は長方形３８の中心に配置されたクオータ（quarter）３８ ａにおけるすべての位置で連続的に位置される。各傾斜に対して、これがテキス トの実際の傾斜であることを提案する以下の規準を満足するサンプルの各セット に対してタリーが増分される。 規準： ａ、ｂ、ｃ、ｄがすべて空白であり、ｅ、ｆ、ｇの２つ又は３つが占有さ れている、又は ｅ、ｆ、ｇ、ｈがすべて空白であり、ａ、ｂ、ｃの２つ又は３つが占有さ れている 上記で表したように、圧縮化イメージのサンプリングによって受け入れ不可能 な多くの入れ子にされた繰り返しが発生する。従って、最初に傾斜のサンプリン グを行い、そのサンプルから真のテキストの傾斜を判断（概算）することによっ て、ブロックＦを実行するのが好適である。概算の位置において、より完全且つ 慎重なサーチが、図９のブロックＦに示された本方法のステップの以下のサブス テップに従って行われる。 サブステップＡ：第２０の可能な傾斜値ごとに、及び前述の規準において含ま れるサンプリング位置の２分の１に対して、本サブステップは、選択された傾斜 値の概算であるテキストの傾斜の見込みを示すヒストグラムを生成する。図３Ａ は図２Ａの例示的ケースに対するそのヒストグラムを示す。 サブステップＢ：ヒストグラムの結果的タリーから、本方法は最大値を有する タリーとそれの２つの隣接するものとを選択し、これらの点を通る平滑な曲線の 最大の位置の概算が行われる。これを行う１つの比較的簡単な方法は、３つのう ちの最小のものを越える２つの高いタリーのそれらの部分の重心を用いることで ある。もし２つの隣接するものが等しい場合にはこの技術は中心値を与え、等し い近接する最大がある場合には中ほどの値を与える、などなどである。図３Ａに おいて、Ａと示された垂直のバーは最大値のタリーであり、Ｂ及びＣと示された バーは２つの最も近接するバーである。推定される平滑な曲線の最大を概算する ために、Ａ及びＣのＢのレベルより下の部分が無視され、Ａ及びＣの残りの部分 （影を付けて示される）の重心が計算され、この例において概算された傾斜の− ３３を生じる。 サブステップＣ：概算された傾斜に基づいて、イメージの関与する範囲が僅か に調節される。即ち、図２Ａに示した平行四辺形ｐによってその範囲がより良く 概算される。以前の長方形の中心に中心が置かれるのではなく、平行四辺形ｐは その上部及び下部が、点ｓ及びｔを指定する元のｘ−ｙイメージ座標から等しい 距離となるように配置される。即ち、平行四辺形ｐの垂直位置を規定するときに 、概算された傾斜に従って、規定する点ｓ及びｔの水平位置に対して補償が行わ れる。 図２ａの例において、概算された傾斜は約−３３であり、負であることが発見 され、規定する点ｓ及びｔは両方とも中心の左である。従って、平行四辺形ｐは 以前の初期長方形３８よりも僅かに下に中心が置かれる。 サブステップＤ：図３Ａの概算された傾斜の近辺において、最適の傾斜に対し てのより完全且つ正確なサーチがここで行われ、概算された傾斜から開始して上 方（より正の傾斜の方へ）及び下方（より負の傾斜の方へ）の両方に進み、そし て、より高いタリーを有する検査された範囲のその終わりに近接する測定されて いない傾斜を常に次に選択する。ここで図３Ｂを参照すると、各測定において、 間隔的反復は１つおきの位置ではなくすべての位置を用いる。タリーされた傾斜 の範囲は、（ａ）少なくとも特定の数、例えば１３、の値が測定されるまで、及 び（ｂ）検査される範囲の各終わりのタリーが最初に検査された傾斜に対する値 より低いときまで増加する。そのようなタリーのヒストグラムが図３Ｂに示され ている。テキスト・イメージの最終的な決定された傾斜（即ち、テキストの水平 スパンを横切るピクセルの上昇）は、すべてのタリー値が値のセットの最小値に よって減少された後のこの値のセットの重心として取られる。この最終的なリフ ァインされた傾斜値が図３ＢにおいてＦＳとして示されている。 ユーザの指定したテキスト・イメージ範囲の傾斜がこのようにして決定される と、本方法は図９のブロックＧ及びＨへ進み、それぞれ、周期及び位相を判定す る。本発明の現在好適な実施例において、ブロックＧ及びＨは二重にネストされ た反復として並列に実行される。従って、これら２つのブロックはまた図９にお いて単一ブロックＧ−Ｈとして示される。 これらのステップはブロックＦで決定された傾斜の使用を要求する。テキスト ・イメージの期間（周期）がテキスト・ラインの中心から中心の間隔として規定 され、且つテキスト・イメージの位相が平行四辺形ｐの上部から上部テキスト・ ラインの上部の距離として規定されたことを思い出すのが好適である。 決定された傾斜の特性は類推によって最適に説明される直感的な意味を有する 。もし１つのものがテキストを左から右へ見たイメージの面に配置されるとする と、且つ背景が透明で半透明であると仮定すると、決定された傾斜は、テキスト のラインを通じての長さ方向に見ることを試みた場合に見られ得る影のパッチ（ shadowed patch）からのテキストのラインの間に見られる光を区別するであろう 最適の見る角度（ビューイング・アングル、viewing angle）に対応するであろ う。 この類推を留意し、ここで図２Ａの長方形ｒが今決定されたテキストの傾斜を より正確に反映する平行四辺形ｐとして再調節されると、ブロックＧ−Ｈは毎レ ベルでの平行四辺形ｐの範囲を検査するようにオペレーションする。各レベルに 対して、本方法は、現在レベルによって及び決定された傾斜によって規定された ブレゼンハム・ラインの非空白バイトの数を表にする。即ち、決定さたれ傾斜で 非空白バイト集団（ポピュレーション、population）のプロジェクション（proj ection）の決定が行われる。その結果は図３Ｃに示されるような別のヒストグラ ムであり、前景ピクセルが住み着いた５つの範囲を明確に示す。これらの５つの 住み着かれた範囲は、図２Ａの平行四辺形ｐ内で発生するテキストの上から下へ の５つのライン（ＴＬ１−ＴＬ５）を示す。残っているのは、これら５つのテキ スト・ラインの長方形の配置を幾何学的に規定することである。 テキスト・ラインの周期及び位相は図３Ｃのヒストグラムに適合する最適の方 形波（図８を参照せよ）から取られる。適合する最適の方形波を達成するために 、図３Ｃのヒストグラムのすべての値が最大値の８分の１、しかし０よりも少な くない、によって好適には減少される。次に、「オン」値（オンスパン）の平均 と「オフ」値（オフスパン）の平均との差を最大化する方形波の周期及びデュー ティ・サイクル（パーセンテージ「オン」）が選択される。最後に、１つのテキ スト・ラインの範囲と次のものとの間の正確な分割ライン（ＤＶ）が、サイクル の「オフスパン」部分の丁度中央で取られる。 最適の周期（即ち、テキスト・ラインあたりの垂直に近接するピクセルの数） の決定は一般には不十分である。なぜなら、まるめのみによって、周期の値は２ 分の１ピクセルまでのエラーとなり得る。このテキストのラインあたり２分の１ ピクセル・エラーは、もしテキストの多数のラインがこのように輪郭描写される ならば、累積する傾向がある。従って、最適の周期の近隣の２つの近接する値を 用いることによって及び傾斜の中間の最適の値が３つの測定値から決定されたの と同じ様式で概算中間値を決定するように補間することによって、より正確な結 果が得られる。結果的な周期の値はテキスト・ラインあたりピクセルの１０分の １（tenths of pixels）で表される解像度で報告される。 このようにして周期及び相（phase）が決定されると、本方法は図９のブロッ クＩに進み、圧縮されたビットマップ・イメージの決定されたテキスト部分を満 たすか又は輪郭描写する。決定された値（左側エクステント、右側エクステント 、傾斜、周期、及び位相）は、ユーザの元のｘ−ｙピクセル座標系に対して参照 される。次に、これらの値は、テキスト・イメージにオペレーションを行うよう に意図された別のルーチン又はユーティリティに対して使用可能となる。例えば 、ＯＣＲルーチンは、図２Ｂの範囲ｇ内のピクセル値に対応するキャラクタ・コ ードを識別するためにオペレーションを行う。ＯＣＲルーチンは元の（圧縮され ていない）ビットマップ・イメージにオペレーションを行う。 別のユーティリティ、編集（redaction）、のオペレーションの例をここに示 す。 編集ユーティリティは、テキスト・イメージの指定された部分を空白にするか 又は視覚的に見えなくするために用いられる。例えば、図２Ｂの輪郭描写された 範囲ｇは、少なくともイメージのエクスポートされたバージョンにおいて、白ラ インで分離されていようといまいと編集されたテキストのラインとともに、消失 した形で現れる。別のユーティリティは、編集された範囲が、例えば、反転映像 で示される「リード・スルー（read through）」表示を提供する。「リード・ス ルー」表示ユーティリティの使用は、特定のユーザのみが編集された範囲のテキ ストを見ることを可能とするように制御される。 図７を参照すると、もし呼び出すプログラムが編集されるべき範囲を含む長方 形（６７のそのような長方形が図２Ｂの範囲ｇに含まれ、傾斜するラインにおけ る多数の１ピクセル・ステップに対応する）の列挙を要求したならば、後述の多 種の手続きが長方形毎に適用され得る。図７において、Ａは範囲が白又は黒に塗 られ得ることを示し（１ピクセルの高さ）、Ｂは範囲が黒に塗られ得ること又は 反転映像で表示され得ることを示し、Ｃは範囲が白又は黒に塗られ得ることを示 す（１ピクセルの高さ）。 その代わりに、もし呼び出すプログラムがそれ自身の幾何学的計算を行うなら ば、もちろん、元の規定の点の横の位置に従って、図２Ｂに示されたように左の 上部の平行四辺形と右の下部の平行四辺形とを切り捨てねばならない。 本発明の方法は、特定の環境又はアプリケーションの要求に適合させるために 幾つかの変更が可能である。例えば、且つ上述のように、２００ｄｐｉ以外の解 像度に対して、幾何学的な距離を表す多種の定数が適切に再スケールされる。再 スケール化は、テキスト・サイズの変化が予測される状況に対してもなされる。 また、例えば、グレイスケール・イメージに対して、圧縮されたビット・パー・ バイトのマップを生成するために用いられる二進値を確立するために所定のスレ ッショルド・グレイスケール値が用いられ得る。更に、例えば、カラー・イメー ジに対して、所定の輝度スレッショルドとの比較によって、イメージ圧縮のため に用いられる二進値となるピクセルの３つの色コンポーネントから輝度値が導出 され得る。 また、図９の論理フローチャートは、複数のシリアルに接続された機能ブロッ ク、例えば、図２Ｃの圧縮されたテキスト・イメージ・データ３２に指示された 機能を実行する個々の専用のプロセッサ、を有するイメージ処理システムのブロ ッ ク図として見られ得ることを認識すべきである。この場合、少なくともブロック ＣからＧ−Ｈは、ビット・パー・バイトの圧縮されたイメージを記憶するメモリ （例えば、半導体、ディスク、又はテープ）に接続され得る。 更に、本発明の方法はドキュメント・イメージを従来のドキュメント・スキャ ナなどから受信するシステムとの使用に制限されるものではなく、任意のビット マップ・テキスト・イメージを処理するために用いられ得ることを認識すべきで ある。その例としては、ファクシミリ装置から受信したビットマップ・テキスト ・イメージ、及びファクシミリ装置への送信のためにデータ・プロセッサによっ て生成されたビットマップ・テキスト・イメージを含むが、これらに制限される ものではない。 このように、本発明をその好適な実施例に関して特定的に示し且つ説明したが 、当業者には形式及び詳細の変更が本発明の範囲及び精神から逸脱することなし に行われ得ることが理解されるであろう。

【手続補正書】特許法第１８４条の８ 【提出日】１９９６年７月２９日 【補正内容】 『即ち、プログラムのタスクは、インタラクティブに受け入れ可能な時間期間内 で、これら５つのパラメータの可能な値の組み合わせを通じて５次元のサーチを 行い、ビットマップ・イメージの選択された部分の純化された幾何学的仕様を生 じることであろう。純化された幾何学的仕様は、次に、カット・アンド・ペース ト・ルーチンのような別のルーチンに渡され、それが、所望されるオペレーショ ンを行うためにビットマップ・イメージにおけるテキストの所望の部分を正確に 位置付けする。 これまで、インタラクティブに受け入れ可能な速度でこのような５次元のサー チを行うための自動化されたオペレーションのシーケンスを実行することができ 、且つ純化された幾何学的仕様を出力するドキュメント処理システムは存在しな かった。 ＦＲ−Ａ−２５１３７８０は、テキストの位置をマーク付けするための機械的 スタイラスがカメラ又はＯＣＲ読み取り機とともに用いられ得るシステムを記載 している。ＩＢＭシステムズ・ジャーナル（IBM Systems Journal）のＶｏｌ． ２９、Ｎｏ．３、１．１．９０の第４３５〜４５０ページのＲ．ケーシーその他 による「インテリジェント・フォームズ・プロセッシング（Intelligent Forms Processing）」は、ＯＣＲに対しての予めプリントされたブロックからテキスト を抽出する前に、スキャンされたフォームをマスタ・フォームのモデルと整合す る方法を記載している。 本発明の目的 従って、本発明の目的はビットマップ・テキスト・イメージの指定された部分 の概算的幾何学的仕様を純化するための自動化されたオペレーション・シーケン スを行う方法を提供することである。 本発明の別の目的は、ユーザ・インターフェースと、大きいビットマップ・テ キスト・イメージ内のビットマップ・テキスト・イメージの一部分のユーザが指 示した幾何学的仕様を純化するための自動化されたオペレーション・シーケンス を行うことが可能な１つ又はそれ以上のプロセッサであって、ユーザがビットマ ップ・テキスト・イメージのその部分の開始及び終了を示すことに応答してオペ レーションを行うプロセッサとを含むドキュメント処理システムを提供すること である。 本発明の概要 本発明の教示に従ったドキュメント処理システムによって及び該ドキュメント 処理システムをオペレーションする方法によって、上述の及び他の問題は解決さ れ且つ本発明の目的は実現される。 ドキュメント処理システムはユーザ・インターフェースと、テキストを含むド キュメントを表すビットマップ・データを記憶するメモリとを含む。』 １． テキストのラインを含むドキュメント（１４）を表すビットマップ・デ ータ（１８ａ）を記憶するメモリ手段（１８）と、前記ビットマップ・データの イメージを表示する手段（２２、２２ａ）及びユーザからの入力に応答し、記憶 された前記ビットマップ・データ内の位置に対応する表示された前記イメージ内 の位置を指定する手段（２５）を含むユーザ・インターフェース手段（２２、２ ４、２５）とを有するドキュメント処理システム（１０）であって、 テキストのラインを含むイメージの範囲の開始を指定する第１の指定された位 置に応答し、且つテキストのラインを含むイメージの範囲の終了を指定する第２ の指定された位置に応答し、該範囲に対応するビットマップ・データのサブセッ トを処理して、前記ビットマップ・データの前記サブセットから該範囲内のテキ ストのラインの横のエクステントを決定し、前記ビットマップ・データの前記サ ブセットから該範囲内のテキストのラインの傾斜がある場合にはその傾斜の量を 決定し、前記ビットマップ・データの前記サブセットから該範囲内のテキストの ラインの中心から中心の間隔を決定し、前記ビットマップ・データの前記サブセ ットからテキストの上部ラインの位置を決定する処理手段（２０） を特徴とするシステム。 ２． 請求項１に記載のシステムにおいて、 前記処理手段（２０）は、該処理手段が前記ビットマップ・データの前記サブ セットから前記横のエクステント、前記傾斜、前記間隔、及び前記位置を決定す る前に前記ビットマップ・データを横に圧縮する手段を含む、 システム。 ３． テキストのラインを含むドキュメント（１４）を表すピクセル・データ のラインからなるビットマップ・データ（１８ａ）を処理するためのドキュメン ト処理システム（１０）による実行のための方法であって、テキストのラインを 含むテキスト・イメージの部分内の領域の開始点及び終了点の仕様に応答する方 法において、 前記ビットマップ・データのワーキング・コピーにアクセスし、前記領域内の テキストのラインの横のエクステントを決定するステップと、 前記ビットマップ・データのワーキング・コピーにアクセスし、前記領域内の テキストのラインの傾斜がある場合にはその傾斜の量を決定するステップと、 前記ビットマップ・データのワーキング・コピーにアクセスし、決定された前 記傾斜の量に従って、前記領域内のテキストのラインの中心から中心の期間を決 定するステップと、 前記ビットマップ・データのワーキング・コピーにアクセスし、決定された前 記傾斜の量に従って、前記領域内のテキストのラインのテキストの上部ラインの 上部の位置を決定するステップと を実行する方法。 ４． 請求項３に記載の方法において、 前記の前記ビットマップ・データのワーキング・コピーにアクセスし、横のエ クステントを決定するステップは、前記ビットマップ・データを一様に横に圧縮 するステップを行うことによって前記ビットマップ・データの前記ワーキング・ コピーを生成する初期ステップを含む、 方法。 ５． 請求項４に記載の方法において、 前記の圧縮するステップは、前記ビットマップ・データを８：１のピクセルの 圧縮比で圧縮する、 方法。 ６． 請求項３に記載の方法において、 前記の前記ビットマップ・データのワーキング・コピーにアクセスし、横のエ クステントを決定するステップは、前記の指定された開始点及び終了点及び前記 の指定された開始点及び終了点の上及び下の両方の所定数のピクセルのラインを 含む長方形を規定する前置きのステップを含む、 方法。 ７． 請求項６に記載の方法において、 前記の前記ビットマップ・データのワーキング・コピーにアクセスし、傾斜の 量を決定するステップは、 規定された前記長方形内の複数の位置において複数のパターン・テンプ レートを適用して前記長方形内のピクセル値を選択的にサンプリングするステッ プと、 前記のサンプリングされたピクセル値を基にして傾斜の値を概算するス テップと、 前記の概算された傾斜の値の近隣における複数の傾斜の値を反復的にサン プリングすることによって少なくとも１つのヒストグラムを構築するステップと 、 前記の構築された少なくとも１つのヒストグラムを基にして前記の概算さ れた傾斜の値をリファインするステップと を含む、 方法。 ８． 請求項７に記載の方法において、 規定された前記長方形を、リファインされた概算された前記傾斜の値を基に決 定された内部角度を有する平行四辺形と置換するステップ を更に含む方法。 ９． 請求項８に記載の方法において、 前記の前記ビットマップ・データのワーキング・コピーにアクセスし、間隔を 決定するステップ及び前記の前記ビットマップ・データのワーキング・コピーに アクセスし、位置を決定するステップの両方とも、リファインされた概算された 前記傾斜の値で、前記平行四辺形における非空白ピクセルのプロジェクションに 方形波関数を適合させることによって達成され、前記間隔は方形波関数の期間の 関数であり、前記位置は方形波関数の位相の関数である、 方法。 １０． 請求項９に記載の方法において、 リファインされた概算された前記傾斜の値に沿ってピクセルのラインを検査し 、検査された前記ライン内の非空白ピクセルの発生をカウントすることによって ヒストグラムを生成するステップによってプロジェクションを構築するステップ を含む方法。 １１． 請求項８に記載の方法において、 呼び出しルーチンに平行四辺形の座標を出力するステップ を含む方法。 １２． 請求項９に記載の方法において、 前記ヒストグラムに最も適合する方形波は、オンの位相のヒストグラムの値の 平均とオフの位相のヒストグラムの値の平均との間の差を最大化する方形波であ る、 方法。』

───────────────────────────────────────────────────── 【要約の続き】 ンする。即ち、ビットマップ・データ・プロセッサは、 最初に指定された範囲に対応するビットマップ・データ 内に現れるすべてのテキストの幾何学的仕様を提供する ように、入力装置によって指定された範囲の境界をリフ ァインするようにオペレーションする。ビットマップ・ データ・プロセッサは、好適には、ビットマップ・デー タにオペレーションを行う前に該ビットマップ・データ を横に圧縮する。

Claims (1)

1. 【特許請求の範囲】 １． ドキュメント処理システムであって、 テキストを含むドキュメントを表すビットマップ・データを記憶するメモリ手 段と、 前記ビットマップ・データのイメージを表示する手段と、ユーザからの入力に 応答し、記憶されたビットマップ・データ内の位置に対応する表示されたイメー ジ内の位置を指定する手段とを含むユーザ・インターフェース手段と、 テキストを含むイメージの範囲の開始を指定する第１の指定された位置に応答 し、且つテキストを含むイメージの範囲の終了を指定する第２の指定された位置 に応答し、該範囲に対応するビットマップ・データを処理して、該範囲内のテキ ストのラインの横のエクステントを決定し、該範囲内のテキストのラインの傾斜 がある場合にはその傾斜の量を決定し、該範囲内のテキストのラインの中心から 中心の間隔を決定し、テキストの上部ラインの位置を決定する処理手段と を備えるシステム。 ２． 請求項１に記載のシステムにおいて、 前記処理手段は、該処理手段が前記横のエクステント、前記傾斜、前記間隔、 及び前記位置を決定する前に前記ビットマップ・データを横に圧縮する手段を含 む、 システム。 ３． テキストを含むドキュメントを表すイメージ・ビットマップ・データを 処理するためのデータ・プロセッサによる実行のための方法であって、 テキストを含むイメージ・ビットマップ・データの部分の開始点及び終了点の 仕様に応答し、 前記イメージ・ビットマップ・データのワーキング・コピーから、前記開始点 から前記終了点に延びるテキストのすべてのラインの横のエクステントを決定す るステップと、 前記イメージ・ビットマップ・データのワーキング・コピーから、前記開始点 から前記終了点に延びるテキストのラインの傾斜がある場合にはその傾斜の量を 決定するステップと、 前記イメージ・ビットマップ・データのワーキング・コピーから、前記開始点 から前記終了点に延びるテキストのラインの中心から中心の期間を決定するステ ップと、 前記イメージ・ビットマップ・データのワーキング・コピーから、前記開始点 から前記終了点に延びるテキストのラインのテキストの上部ラインの上部の位置 を決定するステップと を備える方法。 ４． 請求項３に記載の方法において、 前記の横のエクステントを決定するステップは、前記イメージ・ビットマップ ・データを一様に横に圧縮するステップを行うことによって前記イメージ・ビッ トマップ・データのワーキング・コピーを生成する初期ステップを含む、 方法。 ５． 請求項４に記載の方法において、 前記の横に圧縮するステップは、前記イメージ・ビットマップ・データを８： １のピクセルの圧縮比で圧縮する、 方法。 ６． 請求項３に記載の方法において、 前記の横のエクステントを決定するステップは、前記の指定された開始点及び 終了点及び前記の指定された開始点及び終了点の上及び下の所定数のピクセル・ ラインを含む長方形を規定する前置きのステップを含む、 方法。 ７． 請求項６に記載の方法において、 前記の傾斜の量を決定するステップは、 規定された前記長方形内の複数の位置において複数のパターン・テンプレー トを適用して前記長方形内のピクセル値を選択的にサンプリングするステップと 、 前記のサンプリングされたピクセル値を基にして傾斜の値を概算するステッ プと、 前記の概算された傾斜の値の近隣における連続的な傾斜を反復的にサンプリ ングすることによって少なくとも１つのヒストグラムを構築するステップと、 前記の構築された少なくとも１つのヒストグラムを基にして前記の概算され た傾斜の値をリファインするステップと を含む、 方法。 ８． 請求項７に記載の方法において、 規定された前記長方形を、概算された前記傾斜を基に決定された内部角度を有 する平行四辺形と置換するステップ を更に含む方法。 ９． 請求項８に記載の方法において、 前記の間隔を決定するステップ及び位置を決定するステップは、決定された前 記傾斜で、前記平行四辺形における占有されたピクセルのプロジェクションに方 形波関数を適合させることによって達成され、前記間隔は方形波関数の期間の関 数であり、前記位置は方形波関数の位相の関数である、 方法。 １０． 請求項９に記載の方法において、 決定された前記傾斜に沿ってピクセルのラインを検査し、検査された前記ライ ン内の占有されたピクセルの発生をカウントすることによってヒストグラムを生 成するステップによってプロジェクションを構築するステップ を更に含む方法。 １１． 請求項８に記載の方法において、 呼び出しプログラムに平行四辺形又は長方形の座標を渡すステップ を更に含む方法。 １２． 請求項９に記載の方法において、 前記ヒストグラムに最も適合する方形波は、オンの位相のヒストグラムの値の 平均とオフの位相のヒストグラムの値の平均との間の差を最大化する方形波であ る、 方法。