JP3996579B2 - 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム - Google Patents

Description

本発明は、機械可読フォームの処理の分野に関し、詳細には所望の動作を示す所定のマークを含み得る、機械可読フォームにおける領域の識別に関する。

機械可読フォームは一般に使用されてきた。かかるフォームは、フォームを読んだり解釈したりすること等の人間の介在を要求することなくペーパ上のマークに基づいて動作が行われることを可能にするメカニズムを提供する。かかるフォーム上のマークは、一般にフォームインタプリタと呼ばれるデバイスの制御下で抽出される。フォームは典型的には光学スキャナ等により「読み取られ」、次にフォームインタプリタがフォーム上のマークを捜し出してその特色を明らかにし、例えばマークの存在、ロケーション、性質等のファンクションとして、周辺デバイスに制御信号を出力する等の動作を実行し得る。

フォームインタプリタに、機械可読ドキュメント上に配置されたマークを読み取らせて解釈させるために、チェックボックス、サイン領域、及びハイライト機能等の多様な技術が開発された。基本的な画像処理技術を用いると、フォーム上の指定された領域（以後「アクティブ領域」と称する）に形成されたマークは、フォームの走査画像から読み取られることができ、データ処理システムへの入力として使用されることのできるデータが生成される。かかるフォーム処理技術を用いる製品の一例は、コネチカット州スタンフォードのゼロックス社（Xerox Corporation ）により開発されたペーパワーク（PaperWorks）（トレードマーク）製品である。

マークが読み取られて解釈されることができる前に、マークはフォームの走査画像上で捜し出されなければならない。これは確実に困難である。アクティブ領域を示すために用いられる、予め印刷されたグラフィクス（何かあれば）が、走査画像中で形状のみにより確実に識別できるほど十分に特色があるのはまれである。例えば、チェックボックスとしてしばしば使用される小さい四角形のボックスは、表中の小さな欄に非常に類似して見える。このような理由から、フォームインタプリタは通常、機械可読フォーム上のアクティブ領域のロケーションを前もって知らされている必要がある。しかしながら、そうだとしても、スキャナから受け取られたフォームの画像は左右上下にかなりシフトされていたり、伸縮されていたり、あるいは回転していたりすることもあるので、アクティブ領域は走査画像において、それらが理想としてあるべき場所からかなり遠くで現れる可能性がある。これを修正するために、大抵の既存のフォームシステムは、容易に認識されると共にフォーム内の周知のロケーションに配置されるレジストレーションマークの使用を必要とする。フォームインタプリタはまず、これらのマークを見出し、次に、レジストレーションマークの実際のロケーションと、それらがあるべきだと想像される場所との差に基づいて、単純な幾何学的変換を演算する。この変換は、走査されるフォームのインスタンスにおけるアクティブ領域の理想的なロケーションからそれらの実際のロケーションへのマッピングを示し、その結果アクティブマーク領域は正確に捜し出されることができる。

予め規定された静止レジストレーションマークの使用は２つの限界を有している。まず、レジストレーションマークはフォームを乱し、その設計を束縛する（それらは常に図形的に見て非常に邪魔である）。第２に、これらのマークは分かっているロケーションに存在しなければならず、フォームの設計者はそれらを動かしてはならない。いかなるこのようなシステムにおいてもレジストレーションマークの正確な配置が偶然にそこなわれることのないことを確実にするようにフォーム設計者の動作を束縛することは難しいので、上記のことは標準的なページのレイアウトシステムにおいてこれらのマークを含むフォームを作成することが困難であることを意味する。従って、静止レジストレーションマークの配置を必要としない機械可読フォームを有することが望ましい。

フォームランドマークを用いて機械可読フォームのアクティブ領域を識別し、捜し出すフォーム作成及び処理システムを開示する。チェックボックスやサインボックス等の機械可読フォームのアクティブ領域は、ユーザの作成したマークを含むことができる。フォームインタプリタは、フォームのアクティブ領域を調査して、その上にマークが配置されたかどうかを決定する。アクティブ領域を識別するために、本発明はフォーム自体を構成している任意のグラフィックエレメントから推測されるフォームレジストレーション情報（即ちランドマーク）を使用する。特別なレジストレーションマークは必要でない。これは自由なフォーム設計を可能にすると共に、このような機械可読フォームを設計するための非常に幅広い範囲のソフトウェアツールの使用を可能にする。さらに本発明では、多くの既存のフォームを再設計することなく機械により読取り可能であるようにすることができる。

本発明では、フォームはレイアウトされた後、予備分析される。予備分析の目的は、フォーム中の任意のグラフィクスから１セットのグラフィック特性、即ちランドマークを推測することであり、該ランドマークは画像中のそれらのロケーション又はオリエンテーションとは無関係に、その後走査されたフォームの画像において見出されることができる。分析はフォームのグラフィック成分の幾何学的分布及び規則性を見て、１セットのランドマークを選択する。かかるランドマークの例は、テキスト、濃い黒線、又はグレースケール領域を含むことができる。アクティブ領域についてのロケーション及び意味情報と共に各ランドマーク（又はその或るサブセット）の記述はフォーム制御ファイルに書き込まれ、該フォーム制御ファイルは、フォームを処理するためにフォームインタプリタにより用いられる。

フォームインタプリタによりフォームのインスタンスが解釈されると、フォームのインスタンスは走査され、１セットのインスタンスランドマークが識別される。作成されたフォーム制御ファイルを用いて、フォームインタプリタはこのセットのインスタンスランドマークを、フォーム制御ファイル中の指定されたオリジナルランドマークに比較する。これら２つのセットのランドマークの間の対応関係を決定することにより、フォームインタプリタは、インスタンスの走査フォーム画像に対する予備分析で使用された理想のフォーム画像から生じた変形（又は変換）（シフト及び／又はスケーリング）を決定することができる。この変形情報は次に、フォーム制御ファイルから抽出されたアクティブ領域のロケーションを調整するために用いられ、フォームインタプリタに、走査されたフォーム画像のアクティブ領域を正確に見出させ、次いでそれを読み取らせる。

フォームランドマークを用いてフォームのアクティブ領域を識別して捜し出すフォーム作成及び処理システムを開示する。

図１は機械可読フォームの単純な例を示す。図１を参照すると、フォーム１０１は、埋め込みデータ領域１０２、フォームタイトル（FORM TITLE）１０３、付随するテキスト記述（ここでは、ALTERNATIVE 1 、ALTERNATIVE 2 、ALTERNATIVE 3 ）を有するチェックボックス１０４〜１０６、「Mark Only One Box （ボックスを１つだけマークせよ）」というテキストを有する第１ブロックのテキスト命令１０７、「Choose the Alternative That Statifies Your Criteria. Sign Below to Authorize Your Selection （基準を満たす選択肢を選択せよ。選択を認可するために以下にサインせよ）」というテキストを有する第２ブロックのテキスト命令１０８、及びサイン（SIGNATURE ）ボックス１０９を含む。フォーム１０１のチェックボックス１０４〜１０６の各々には、矩形のボックスが関連づけられている。このボックスは、マークがその後認識されてそれに従って処理されることのできる箇所を指示するグラフィカルキューである。なお、その他のグラフィカルキューとして例えば円や線を用いることもできる。埋め込みデータ領域１０２は、フォームに関する種々の情報を提供するのに使用されることができる。使用され得る１つの埋め込みデータ符号化技術は、「埋め込みディジタルデータのセルフクロッキング（Self-Clocking Embedded Digital Data ）」と題されたブルームバーグ（Bloomberg ）の米国特許第５，１６８，１４７号で述べられており、該特許は本発明の譲渡人に譲渡されている。

フォーム１０１のインスタンスを処理するアプリケーションは、各チェックボックスが「チェック」された（即ちマークを含む）回数を単純にカウントし、１フォーム当り１つのチェックボックスだけがマークされたことと、処理されているフォームがサインされたことを決定するものであり得る。このアプリケーションはサインが有効であることを確認することができてもできなくてもよい。サインの有効性は本発明の範囲外であるので、かかる有効性確認の技術についてのさらなる詳細な説明は行わない。

フォーム１０１におけるアクティブ領域は、チェックボックス１０４〜１０６及びサインブロック１０９の矩形のボックスにより示される。アクティブ領域は、フォームインタプリタが調査を行ってアクティブ領域がマークされたかどうかを決定する、完了されたフォームのインスタンス上のロケーションのことである。

フォーム１０１は種々のランドマークを有するということに注目されたい。ランドマークとは、視覚により識別可能なフォームのコンポーネントのことである。埋め込みデータ領域１０２、タイトル１０３、及びテキストブロック１０７及び１０８はフォームに対するランドマークとして使用されることができる（しかし、フォームのインスタンスにおける違いのために、これらの領域は常に別個のランドマークとして識別されるわけではない）。フォームのインスタンスのアクティブ領域の実際のロケーションが見出されるのは、インスタンスのフォームのランドマークと、予備分析された「オリジナル」のフォームのランドマークとの間の空間的変形の分析を通してである。

本発明のこの好適な実施の形態は、コンピュータベースシステムにおいて動作する１セットのソフトウェアプログラムとして実行される。ソフトウェアプログラムは機械可読フォームの処理用のツールを示す。このような１セットのソフトウェアプログラムは、一般に「ツールキット」と称される。「ツールキット」はまた、作成された機械可読フォームのインスタンスを処理するソフトウェアアプリケーションに処理サービスを提供する。本発明に関連する処理サービスは、フォームを走査し、走査されたフォームからデータを抽出するためのソフトウェアを含む。種々の画像処理機能を実行したり、光学的に符号化されたデータを分析したりするためのソフトウェアのような他の処理サービスも提供されることができる。

本発明のツールキットの実施形態を図２で示す。ツールキットは、フォーム作成部２０１、フォーム分析部２０２、及びフォーム解釈部２０３を含む。フォーム作成部２０１は、フォーム２０５を作成するために、例えばワシントンベルビューのマイクロソフト社から入手できるマイクロソフトワードプログラムのようなページレイアウト又は他のドキュメント作成プログラム２０４と組み合わせられて作用するのが好ましい。別法としては、フォーム作成部はスタンドアローンプログラムであってもよい。いずれにせよ、フォーム作成部は、フォーム上の「アクティブ領域」が規定されることができるように必要な制御情報の挿入を可能にする。

フォーム分析部２０２は、フォーム２０５の表現とフォーム上のアクティブ領域の記述とを入力として受け取り、フォーム制御ファイル２０６を作成するソフトウェアプログラムであるのが好ましい。この好適な実施の形態では、フォーム制御ファイル２０６は、フォーム２０５のアクティブ領域とランドマーク情報とを含む。

好ましくは、フォーム解釈部２０３は、アプリケーションプログラムにより呼び出されてフォームのインスタンスからデータを抽出する。かかるデータは、アクティブ領域におけるマークの有無の検出であり得る。

上記各部について、以下により詳細に記載する。

従来技術に関して述べたように、機械可読フォームを読み取るための従来のシステムは、予め規定された静止レジストレーションマークの存在を必要とした。本発明ではこのようなレジストレーションマークの必要性はない。本発明のフォーム作成部は、適切なページレイアウト又はドキュメント編集プログラムと共に動作し、新しい機械可読フォームを作成する。作成される機械可読フォームは、新たに構成されてもよいし、あるいは既存の非機械可読フォームの改造であってもよい。

本発明のこの好適な実施の形態では、アクティブ領域はフォーム制御オブジェクトを介して特定される。フォーム制御オブジェクトは、典型的にはドキュメントレイアウト又はドキュメント作成プログラムの使用と共に、作成されているフォームの特定のロケーションに挿入されるオブジェクトである。この好適な実施の形態では、マイクロソフト社のオブジェクトの連結及び埋め込み（Object Linking and Embedding；ＯＬＥ）として知られるウィンドウズ（トレードマーク）オペレーティングシステムの特徴を用いて、フォーム制御オブジェクトをフォームに埋め込む。ＯＬＥ特徴は、マイクロソフトワード等のワード処理プログラムにより支持される。フォームが作成さている時に、フォーム制御オブジェクトを挿入することが望ましい場合には、オブジェクトの挿入を可能にするワード処理コマンドが選択される。対応するアクティブ領域のタイプ、ネーム、及びサイズが特定される。フォーム制御オブジェクトが一旦規定されると、該フォーム制御オブジェクトに対応するテキストが入力される。このプロセスは、フォーム上の全ての所望のフォーム制御オブジェクトに対して繰り返される。

既存のフォームを機械により読取り可能なように改造する種々の技術を用いることができる。既存のフォームがハードコピーフォームに存在する場合には、既存のフォームの走査画像を作成し、次に画像編集プログラムを用いてアクティブ領域を特定し配置するのが単純な方法である。コンピュータファイルが既存のフォームに対して存在する場合には、コンピュータファイル中に適切なフォーム制御オブジェクトを挿入することが、適切にイネーブルにされるドキュメントレイアウトプログラムを用いるのと同じくらい単純であり得る。

フォーム分析により得られるのがフォーム制御ファイルである。フォーム制御ファイルは、機械可読フォームからデータを抽出するために、詳細には、フォームのアクティブ領域内に存在するマーキングを識別するために、フォームインタプリタにより用いられる。この好適な実施の形態では、フォーム分析はフォームの"print file （印刷ファイル）" 表現を処理する。print fileは、コンピュータベースシステムに対するフォームを印刷するユーザリクエストにより作成される。コンピュータシステムは次に、ドキュメントを印刷する時にプリンタにより解釈される１セットのグラフィカルコマンドを作成する。この好適な実施の形態では、print fileはまた、アクティブ領域を示すフォーム制御オブジェクトを含む。フォーム制御オブジェクトは、アクティブ領域に対する識別子及びタイプと、アクティブ領域に対するあらゆるグラフィカルキューをレンダリングするためのグラフィカルコマンドを有する。識別子は単に、アクティブ領域が後で参照されることのできるネームである。アクティブ領域のタイプは、どのタイプのデータがその中に位置しているかを示すものである（例えばチェックボックスは、所定の手書きのチェックシンボルを含み、サインボックスはサインを含む）。最後に、フォームのビットマップ表現が内部で生成され、次にそれが用いられてフォーム分析が駆動される。以下に詳細に述べるように、本発明のフォーム分析は、種々の画像処理技術を用いて、作成されたビットマップ表現を評価し、ランドマークを識別する。

図３は、フォーム分析において実行されるステップをより詳細に示す。まず、"print file " がステップ３０１で受け取られる。上述のように、プリントファイルは、グラフィカルコマンドとフォーム制御オブジェクトのリストを含む。この好適な実施の形態では、"print file"は、３００×３００dpi 解像度の画像をレンダリングするように用いられる。次いで、ステップ３０２でprint fileの各エレメントが処理される。エレメントがグラフィックコマンドであるのか、又はフォーム制御オブジェクトであるのかに関して決定が行われる。グラフィックコマンドである場合には、ステップ３０３でグラフィックコマンドが実行される。グラフィックコマンドを実行することにより、フォームの一部がレンダリングされる。フォーム制御オブジェクトである場合には、フォーム制御オブジェクトに対するレンダリングロケーションがアクティブ領域として示される。フォーム制御オブジェクトは次に、ステップ３０４でレンダリングされる。フォーム制御オブジェクトのレンダリングロケーションは次に、ステップ３０５でフォーム制御ファイルにセーブされる。ピクセルのロケーションに関してではなく、フォームのページの左上角からの距離に関してロケーションが格納される。ステップ３０６では、それがprint fileにおける最後のグラフィックエレメントであるかどうかを決定するためのチェックが行われる。最後のものでなければ、ステップ３０２で次のコマンドが処理される。最後のエレメントである場合には、次にステップ３０７で画像のビットマップ表現上でランドマークの抽出が行われる。ランドマークの抽出は、図４のフローチャートに関して詳細に述べることにする。ランドマークが一旦抽出されると、それらはステップ３０８でフォーム制御ファイルにセーブされる。ランドマーク情報は、ランドマークのタイプ、ランドマークのロケーション、及びランドマークのリストに対する識別を含む。以下に述べるように、フォーム制御ファイルは、フォームインタプリタによるアクセスのために、種々のロケーションに格納されることができる。

図４を参照すると、ステップ４０１において、フォームのビットマップ表現が十分な情報（例えばテキスト又はグラフィカルデータ）を有し、その結果それがスキュー解除されることができるかどうかに関しての決定を行うことにより、ランドマークの抽出が開始する。この決定は、次のフォーム処理の完全性を確実にするために行われる。スキュー解除されることのできないビットマップ画像は、フォーム処理中にエラーとなることが確認された。フォームがスキュー解除できないことが決定された場合には、ステップ４０２でフォームは拒絶される。そうでない場合には、次にビットマップ表現はステップ４０３で「標準的な」ページ濃度に変換される。この好適な実施の形態では、フォームの３００×３００dpi の画像が、１００×１００dpi 画像に低減される。この「標準的な」濃度レベルでの処理は、エレメントを印刷及び走査することにより用いられる種々の解像度によりもたらされ得るエラーを減少するということが確認された。３×３ピクセルアレイにおけるオン／オフピクセルのカウントに基づいて３×３ピクセルアレイが単一の値に減少されるしきい値方法を介して、この低減が生じる。

ステップ４０４において、フォームの圧縮された表現を用いて、連結コンポーネントの分析が行われ、境界ボックスが作成される。連結コンポーネントの分析とは、隣接するピクセルが同じ状態にあるかどうか（即ちオンかブラックか）に基づいてピクセルをグルーピングすることをいう。このような連結コンポーネント分析は、例えば光学文字認識等の多くのドキュメント分析作業において幅広く用いられている。該分析の結果、キャラクタレベルでの矩形が得られる。これらの矩形は、ステップ４０５において他の近接した矩形と併合される。これは結果的に、「ワード」レベルでの矩形となる。「近接」については、第１しきい値により決定される。次に、ステップ４０６においてオーバーラップした矩形が併合される。これは結果的に、オーバーラップしていないワードサイズの矩形を収集することになる。

この時点において、より大きいフォーム特性が識別される。ステップ４０７ではまず、今回は第２のしきい値に従って近接した矩形が併合され、反復カウンタが増分される。以下に述べるように、このステップは現在抽出された矩形の数に依存して繰り返される。ステップ４０８で、オーバーラップした矩形が併合されて最初のランドマークリストが形成される。次にステップ４０９で、合理的な数のランドマークが識別されたかどうかが決定される。この決定はまず、所定の数（例えば１０）未満のランドマークが識別されたかどうか、又は反復中に形成されたランドマークにおける違いが別の所定のしきい値未満（例えば１０％未満）であるかをみるために行われる。いずれにせよ、ランドマークの数が合理的なものでなければ、ステップ４０７毎にさらなる矩形併合が発生する。そうでない場合には、ステップ４１０でランドマークのリストと反復カウンタの値がフォーム制御ファイルに格納される。フォーム制御ファイルにおけるランドマークは、「オリジナル」ランドマークと称される。反復カウンタはフォーム解釈部に対し、ステップ４０７に対応するステップが何回実行されるべきかについての情報を提供するように用いられる。

図５は本発明のフォーム制御ファイルを示す。フォーム制御ファイルはバージョンナンバー５０１、フォーム制御オブジェクト５０２、及びランドマーク情報５０３を含む。各フォーム制御オブジェクトは、制御オブジェクト（ＣＯ）識別子、位置、サイズ、及びタイプを含む。ランドマーク情報５０３は特定ランドマークタイプと、反復カウントと、ランドマークのリストとを含む。各ランドマークはサイズ及び位置を特定する。

この好適な実施の形態のフォームインタプリタは、フォームを処理してフォームのアクティブ領域に含まれるあらゆるマークを識別するアプリケーションプログラム内から呼びされるのが典型的である。フォームインタプリタはアクティブ領域の位置を識別し、アクティブ領域におけるマークの存在を判断し、次いでアプリケーションプログラムにその情報を渡す。図６はフォームから情報を「読み取る」際にフォームインタプリタにより実行されるステップを述べるフローチャートである。まず、ステップ６０１でフォームのビットマップ表現が得られる。フォームのビットマップ表現はスキャナからの出力であるのが典型的である。次にこのフォームのビットマップ表現は、ステップ６０２でスキュー解除される。スキュー解除とは、走査プロセスにより又はフォームの再生において生じるあらゆるスキュー歪を修正することを意味する。次に、スキューを修正された表現はステップ６０３で標準フォーマットに「低減」され、ステップ６０４でフォーム制御ファイルが読み込まれる。フォーム制御ファイルは種々の方法で得られることができることに注目されたい。例えば、フォーム制御ファイルは、フォーム自体内で符号化され、次いでフォームが処理される時に抽出されることが可能である。又はフォーム制御ファイルは、フォームを処理するコンピュータベースシステムに接続される格納手段中に永久的に格納されることも可能である。あるいは、フォーム制御ファイルは、或るネットワークコネクションを介して得られ、フォームが処理されている間の短い間、格納されることができる。かかる種々の技術を実行することは、本発明の主旨及び範囲を逸脱するものではない。

次に、ランドマーク抽出はステップ６０５で「インスタンス」ランドマークを見出すように実行される。ランドマークの識別は、図４に関して述べられたステップと略同じプロセスを介して行われる。「近接した」矩形を見出すステップは反復の値で特定される回数で実行され、種々のしきい値は予備分析のものと同じである。いずれにせよ、この時点では、「インスタンス」ランドマークのリストと「オリジナル」ランドマークのリストが形成されたことになる。なお、「インスタンス」リスト中のランドマークと「オリジナル」リスト中のランドマークの数は同じである必要はない。なぜなら、分析されたフォームと走査されたフォームのビットマップ表現には違いがある可能性があるからである。いずれにせよ、インスタンスのランドマークリストとオリジナルのランドマークリストは、ステップ６０６でフォームページの左上角に対するそれらの位置に基づいて格納される。次に各リスト中のランドマークは、ステップ６０７で「マッチング」即ち対にされる。このような対を得るための基準は、ランドマークの形状及び位置に基づく。なお、１つのリスト中の各ランドマークが対にされる必要はない。適切な数の対が発生する限り、フォームのインスタンスにおけるアクティブ領域の識別が決定されることができる。この時点で、フォームのインスタンスにおけるアクティブ領域が調査されることができる。この好適な実施の形態では、アクティブ領域の調査は、フォーム処理アプリケーションにより明確にリクエストされなければならない。各リクエストの処理を図７に関して述べる。

図７を参照すると、ステップ７０１で、調査されているアクティブ領域に「最も近い」２対のランドマークが識別される。「最も近い」２対のランドマークの決定は、アクティブ領域の空間的な位置とフォーム制御ファイルからの「オリジナル」ランドマークとを比較することにより行われる。選択されたランドマーク対のオフセットが許容可能なものかどうかについての決定がステップ７０２で行われる。許容できないオフセットは、ランドマークの位置が、全ランドマークに対する平均のシフトよりもかなり大きい量でそのオリジナルの位置からシフトしている場合に生じ得る。いずれにせよ、ランドマークが許容可能なオフセットを有していない場合には、ステップ７０３でランドマークが拒絶され、その後使用されない。処理は残りのランドマークを用いてステップ７０１に戻る。オフセットが許容可能である場合には、ランドマークがオリジナルのアクティブ領域位置に「近接している」かどうかの決定がステップ７０４で行われる。それらが近接している場合には、ステップ７０５において、ランドマーク対における得られたシフトを平均することにより、オフセットが得られる。次にステップ７０６において、オフセット値がオリジナルアクティブ領域位置と結合されて、調査されるべき位置が形成される。それらが近接していない場合には、ステップ７０７において、調査されるべき領域は、オリジナルフォームにより規定される座標系空間から、走査されたインスタンスフォームにより規定される座標系空間へのアフィン変換を形成することにより決定される。このアフィン変換は次いで、フォーム制御ファイルにおけるアクティブ領域情報に適用される。いずれにせよ、ステップ７０８において対応する領域が調査される。調査は単に、対応する領域における任意のマーク（例えば「オン」ピクセル」）の検出であることが可能である。この処理は調査されるべき各アクティブ領域に対して繰り返される。

本発明のこの好適な実施の形態が実行され得るコンピュータベースシステムについて、図８を参照して説明する。図８を参照すると、コンピュータベースシステムは、バス８０１を介して連結される複数のコンポーネントを含む。バス８０１は、複数の並列バス（例えばアドレスバス、データバス、及び状態バス）と、バスの階層（例えばプロセッサバス、ローカルバス、及びＩ／Ｏバス）とを含むのが典型的である。いずれにせよ、コンピュータベースシステムはさらに、内部メモリ８０３からバス８０１を介して提供された命令を実行するプロセッサ８０２を含む（なお、内部メモリ８０３はランダムアクセスメモリ又は読取り専用メモリの組み合わせであることが典型的である）。プロセッサ８０２と内部メモリＲＯＭ８０３は、別々のコンポーネントであっても、又はアプリケーション指定集積回路（ＡＳＩＣ）チップ等の単一の総合デバイスであってもよい。

英数字入力を行うためのキーボード８０４と、データを格納するための外部格納装置８０５と、カーソルを操作するためのカーソル制御デバイス８０６と、ビジュアル出力をディスプレイするディスプレイ８０７も、バス８０１に接続される。キーボード８０４は典型的には標準的なＱＷＥＲＴＹキーボードであるが、電話のようなキーパッドであってもよい。外部格納装置８０５は、固定型又は移動型の磁気若しくは光ディスクドライブであってよい。カーソル制御デバイス８０６は、所定の機能の実行をプログラムされることのできる、協働するボタンやスイッチを有するのが典型的である。バス８０１にはさらにスキャナ８０８が接続される。スキャナ８０８は、フォームのハードコピーインスタンスのビットマップ表現を作成するための手段を提供する。

バス８０１に連結されることのできる光学素子は、プリンタ８０９とネットワークコネクション８１０を含む。ネットワークコネクション８１０は、ネットワークを超える本発明の使用を可能にするために用いられることができる。例えば、フォームのインスタンスの走査画像は、分析に必要とされる必要なフォームインタプリタを有するシステムに送られる。

機械可読フォーム及び対応するフォーム制御ファイルが作成されるコンピュータベースシステムと、フォームインタプリタが存在するコンピュータベースシステムは同じである必要がないことに注目されたい。

図１の機械可読フォームのランドマークが抽出される例において本発明をさらに説明する。本発明のランドマーク抽出は、媒体のビットマップ表現を分析し、ブロックに関して媒体の構造を識別するように開発された種々の技術に類似する。図９は、図４のフローチャートのステップ４０４に関して述べられた連結コンポーネントステップの後での矩形を表したものである。この時点では、矩形の各々はキャラクタ、又は少なくともキャラクタの一部を表す。図１０は（図４のステップ４０５で作成され得るように）矩形の併合を示し、ワード等のグルーピングが識別された。最終的に、図１１は矩形がさらに併合されたグルーピングを示している。図１１のブロックは、ブロック１１０１〜１１０８と示される、可能性のあるランドマークを示している。

図１２は、ランドマークが識別された、図１の機械可読フォームのインスタンスを示す。種々の理由から、フォームのインスタンスは、図１１のものとは違うランドマークのセットを作成した。図１２は５つのランドマーク（ランドマーク１２０１〜１２０５）を有するだけである。ランドマークは異なる形状を有し得ることに注目されたい。さらに、識別されたランドマークは異なる空間的位置を有するのが典型的である。図１２では、テキスト及びチェックボックスの領域が併合されて単一のランドマークとなった。同様に、フォームを完成する命令を含むテキストは、フォームを併合して単一のランドマークとした。

ランドマークのペアリングは以下のように行われる：ランドマーク１１０１はランドマーク１２０１と、ランドマーク１１０２はランドマーク１２０２と、そしてランドマーク１１０８はランドマーク１２０５とペアリングされる。なお、図１１のランドマーク１１０３〜１１０７とランドマーク１２０３及び１２０４はペアリングされない。なぜなら、それらは対にするために必要な位置及び形状基準を満たさないからである。

上記情報を用いて、フォームのインスタンス上の領域が調査され、マーキングがあるかどうかが判断される。第１の選択肢を表すアクティブ領域Ａに対する空間的情報が受け取られたと仮定する。ランドマークの近接した２つのペアは１１０１／１２０１と１１０２／１２０２である。この２つのランドマークペアは「近接している」ので、オフセットは２つの異なるランドマークから生じた変位を平均することにより決定される。ランドマーク１２０１に対するランドマーク１１０２によるシフトは（ｄｘ１，ｄｙ１）により示され、ランドマーク１２０２に対する１１０２によるシフトは（ｄｘ２，ｄｙ２）により示される。従って、アクティブ領域Ａに対するオフセット（又はシフト）は、((ｄｘ１＋ｄｘ２)/２，（ｄｙ１＋ｄｙ２)/２）と演算される。フォーム制御ファイルにおいて特定される空間的位置とこのオフセットとを結合したものが、調査されるフォームのインスタンスにおけるアクティブ領域の位置となる。この調査は、規定される全体のアクティブ領域に及ぶ。

上述のように、ランドマークが離れている場合には、調査されるべき領域はアフィン変換により決定される。アフィン変換は或る座標系（オリジナルフォーム空間）から別の座標系（走査フォーム空間）へのマッピングを計算する標準的な算術的演算である。この変換は回転、スケーリング、及び或る空間から他の空間への変換を考慮する。この変換が一旦計算されると、それを使用して１つの点を或る座標系から他の座標系へとマッピングすることができる。本発明では、オリジナルランドマークからの３つの点とインスタンスランドマークからの３つの点とを用いて、この変換が何であるのかを計算する。この変換に基づけば、アクティブオブジェクトに対するオリジナル矩形を、走査座標系の場所へとマッピングするだけである。

アクティブ領域を有する機械可読フォームの一例を示す図である。 好適な実施の形態の機械可読フォームを作成し、解釈するためのツールキットの機能上のコンポーネントのブロック図である。 好適な実施の形態で実行され得るフォーム分析の基本的なステップを示すフローチャートである。 好適な実施の形態で実行され得るランドマークの抽出のステップを示すフローチャートである。 好適な実施の形態におけるフォーム制御ファイルの一例を示す図である。 好適な実施の形態で実行され得るフォーム解釈のステップを示すフローチャートである。 好適な実施の形態で実行され得るフォームのインスタンスのアクティブ領域の位置を決定するステップを示すフローチャートである。 好適な実施の形態で使用され得るコンピュータベースシステムのブロック図である。 好適な実施の形態で実行されるランドマークの抽出が行われる際の図１の機械可読フォームの状態の一例を示す図である。 好適な実施の形態で実行されるランドマークの抽出が行われる際の図１の機械可読フォームの状態の一例を示す図である。 好適な実施の形態で実行されるランドマークの抽出が行われる際の図１の機械可読フォームの状態の一例を示す図である。 図１の機械可読フォームのインスタンスから抽出されたランドマークの一例を示す図である。

符号の説明

２０１ フォーム作成部
２０２ フォーム分析部
２０３ フォーム解釈部
２０４ ページレイアウト／ドキュメント作成プログラム
２０５ 作成されたフォーム
２０６ フォーム制御ファイル
２０７ 作成されたフォームのインスタンス

Claims (1)

1. 所定のレジストレーションマークがない機械可読フォームのアクティブ領域を識別するためのフォーム処理システムであって、前記システムは、
   機械可読フォームのインスタンスをスキャンしてビットマップ表現を作成するスキャナと、
   前記機械可読フォームの前記インスタンスに関連するフォーム制御ファイルを受け取る受け取り回路であって、前記フォーム制御ファイルは前記機械可読フォームのオリジナルランドマークの集合を有し、前記オリジナルランドマークはテキストブロック、グラフィックブロック、水平バー、又は垂直バーを含み、前記フォーム制御ファイルはさらに前記機械可読フォームの各アクティブ領域のオリジナル位置情報を有する、該受け取り回路と、
   前記機械可読フォームの前記ビットマップ表現を分析して、テキストブロック、グラフィックブロック、水平バー、又は垂直バーからなるインスタンスランドマークの集合を識別する機能を提供するように適切に適合された第１の処理回路と、
   前記オリジナルランドマークの集合の中のランドマークと前記インスタンスランドマークの中のランドマークを所定の空間位置と所定の形状閾値に基づいてマッチして、マッチしたランドマークの対を作成する機能を提供するように適切に適合された第２の処理回路と、
   前記マッチしたランドマークの対と処理されるアクティブ領域のオリジナル位置情報とに基づいてオフセットを生成する機能を提供するように適切に適合された第３の処理回路であって、
   前記処理されるアクティブ領域に最も近い、ランドマークの第１及び第２の対を識別する回路と、
   前記ランドマークの第１及び第２の対が前記処理されるアクティブ領域から所定の距離内であるか否かを判定する回路と、
   前記ランドマークの第１及び第２の対が前記処理されるアクティブ領域から所定の距離内であると判定する場合に、前記ランドマークの第１の対の間の距離と前記ランドマークの第２の対の間の距離とを平均することによりオフセットを決定する回路と、
   前記ランドマークの第１及び第２の対が前記処理されるアクティブ領域から所定の距離内ではないと判定する場合に、前記ランドマークの第１及び第２の対のオリジナルランドマークと前記ランドマークの第１及び第２の対のインスタンスランドマークとの間のアフィン変換関数を構築することにより前記オフセットを決定し、前記アフィン変換を前記処理されるアクティブ領域に適用する回路と
   を有する該第３の処理回路と、
   前記処理されるアクティブ領域についてのオリジナル位置情報に前記オフセットを適用する機能を提供するように適切に適合された第４の処理回路と
   を有する、システム。

Images