JPH08305778A - ユーザの作成したマークの存在を調査するための方法 - Google Patents

ユーザの作成したマークの存在を調査するための方法

Info

Publication number
JPH08305778A
JPH08305778A JP8090826A JP9082696A JPH08305778A JP H08305778 A JPH08305778 A JP H08305778A JP 8090826 A JP8090826 A JP 8090826A JP 9082696 A JP9082696 A JP 9082696A JP H08305778 A JPH08305778 A JP H08305778A
Authority
JP
Japan
Prior art keywords
landmarks
active area
instance
landmark
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8090826A
Other languages
English (en)
Inventor
David Edward Hirsch
エドワード ヒーシュ デービッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH08305778A publication Critical patent/JPH08305778A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0032Apparatus for automatic testing and analysing marked record carriers, used for examinations of the multiple choice answer type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

(57)【要約】 【課題】 フォームランドマークを用いて機械可読フォ
ームのアクティブ領域を識別し、捜し出すフォーム作成
及び処理方法を提供する。 【解決手段】 フォーム解釈部203 はフォーム205 のア
クティブ領域を調査し、その上のマークの有無を判断す
る。フォーム分析部202 により、1セットのランドマー
クが選択される。アクティブ領域の位置及び意味情報と
共に各ランドマークがフォーム制御ファイル206 に記述
され、フォーム解釈部203 によりフォームが処理され、
インスタンスランドマークが識別される。作成されたフ
ォーム制御ファイル206 を用いて、フォーム解釈部はイ
ンスタンスランドマークをフォーム制御ファイル中の特
定されたオリジナルランドマークと比較する。これらの
間の対応関係はアクティブ領域の位置調整に用いられ
る。フォーム解釈部は走査フォーム画像のアクティブ領
域を正確に見出し、マークの有無を読み取る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、機械可読フォーム
の処理の分野に関し、詳細には所望の動作を示す所定の
マークを含み得る、機械可読フォームにおける領域の識
別に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】機械可
読フォームは一般に使用されてきた。かかるフォーム
は、フォームを読んだり解釈したりすること等の人間の
介在を要求することなくペーパ上のマークに基づいて動
作が行われることを可能にするメカニズムを提供する。
かかるフォーム上のマークは、一般にフォームインタプ
リタと呼ばれるデバイスの制御下で抽出される。フォー
ムは典型的には光学スキャナ等により「読み取られ」、
次にフォームインタプリタがフォーム上のマークを捜し
出してその特色を明らかにし、例えばマークの存在、ロ
ケーション、性質等のファンクションとして、周辺デバ
イスに制御信号を出力する等の動作を実行し得る。
【0003】フォームインタプリタに、機械可読ドキュ
メント上に配置されたマークを読み取らせて解釈させる
ために、チェックボックス、サイン領域、及びハイライ
ト機能等の多様な技術が開発された。基本的な画像処理
技術を用いると、フォーム上の指定された領域(以後
「アクティブ領域」と称する)に形成されたマークは、
フォームの走査画像から読み取られることができ、デー
タ処理システムへの入力として使用されることのできる
データが生成される。かかるフォーム処理技術を用いる
製品の一例は、コネチカット州スタンフォードのゼロッ
クス社(Xerox Corporation )により開発されたペーパ
ワーク(PaperWorks)(トレードマーク)製品である。
【0004】マークが読み取られて解釈されることがで
きる前に、マークはフォームの走査画像上で捜し出され
なければならない。これは確実に困難である。アクティ
ブ領域を示すために用いられる、予め印刷されたグラフ
ィクス(何かあれば)が、走査画像中で形状のみにより
確実に識別できるほど十分に特色があるのはまれであ
る。例えば、チェックボックスとしてしばしば使用され
る小さい四角形のボックスは、表中の小さな欄に非常に
類似して見える。このような理由から、フォームインタ
プリタは通常、機械可読フォーム上のアクティブ領域の
ロケーションを前もって知らされている必要がある。し
かしながら、そうだとしても、スキャナから受け取られ
たフォームの画像は左右上下にかなりシフトされていた
り、伸縮されていたり、あるいは回転していたりするこ
ともあるので、アクティブ領域は走査画像において、そ
れらが理想としてあるべき場所からかなり遠くで現れる
可能性がある。これを修正するために、大抵の既存のフ
ォームシステムは、容易に認識されると共にフォーム内
の周知のロケーションに配置されるレジストレーション
マークの使用を必要とする。フォームインタプリタはま
ず、これらのマークを見出し、次に、レジストレーショ
ンマークの実際のロケーションと、それらがあるべきだ
と想像される場所との差に基づいて、単純な幾何学的変
換を演算する。この変換は、走査されるフォームのイン
スタンスにおけるアクティブ領域の理想的なロケーショ
ンからそれらの実際のロケーションへのマッピングを示
し、その結果アクティブマーク領域は正確に捜し出され
ることができる。
【0005】予め規定された静止レジストレーションマ
ークの使用は2つの限界を有している。まず、レジスト
レーションマークはフォームを乱し、その設計を束縛す
る(それらは常に図形的に見て非常に邪魔である)。第
2に、これらのマークは分かっているロケーションに存
在しなければならず、フォームの設計者はそれらを動か
してはならない。いかなるこのようなシステムにおいて
もレジストレーションマークの正確な配置が偶然にそこ
なわれることのないことを確実にするようにフォーム設
計者の動作を束縛することは難しいので、上記のことは
標準的なページのレイアウトシステムにおいてこれらの
マークを含むフォームを作成することが困難であること
を意味する。従って、静止レジストレーションマークの
配置を必要としない機械可読フォームを有することが望
ましい。
【0006】
【課題を解決するための手段】フォームランドマークを
用いて機械可読フォームのアクティブ領域を識別し、捜
し出すフォーム作成及び処理システムを開示する。チェ
ックボックスやサインボックス等の機械可読フォームの
アクティブ領域は、ユーザの作成したマークを含むこと
ができる。フォームインタプリタは、フォームのアクテ
ィブ領域を調査して、その上にマークが配置されたかど
うかを決定する。アクティブ領域を識別するために、本
発明はフォーム自体を構成している任意のグラフィック
エレメントから推測されるフォームレジストレーション
情報(即ちランドマーク)を使用する。特別なレジスト
レーションマークは必要でない。これは自由なフォーム
設計を可能にすると共に、このような機械可読フォーム
を設計するための非常に幅広い範囲のソフトウェアツー
ルの使用を可能にする。さらに本発明では、多くの既存
のフォームを再設計することなく機械により読取り可能
であるようにすることができる。
【0007】本発明では、フォームはレイアウトされた
後、予備分析される。予備分析の目的は、フォーム中の
任意のグラフィクスから1セットのグラフィック特性、
即ちランドマークを推測することであり、該ランドマー
クは画像中のそれらのロケーション又はオリエンテーシ
ョンとは無関係に、その後走査されたフォームの画像に
おいて見出されることができる。分析はフォームのグラ
フィック成分の幾何学的分布及び規則性を見て、1セッ
トのランドマークを選択する。かかるランドマークの例
は、テキスト、濃い黒線、又はグレースケール領域を含
むことができる。アクティブ領域についてのロケーショ
ン及び意味情報と共に各ランドマーク(又はその或るサ
ブセット)の記述はフォーム制御ファイルに書き込ま
れ、該フォーム制御ファイルは、フォームを処理するた
めにフォームインタプリタにより用いられる。
【0008】フォームインタプリタによりフォームのイ
ンスタンスが解釈されると、フォームのインスタンスは
走査され、1セットのインスタンスランドマークが識別
される。作成されたフォーム制御ファイルを用いて、フ
ォームインタプリタはこのセットのインスタンスランド
マークを、フォーム制御ファイル中の指定されたオリジ
ナルランドマークに比較する。これら2つのセットのラ
ンドマークの間の対応関係を決定することにより、フォ
ームインタプリタは、インスタンスの走査フォーム画像
に対する予備分析で使用された理想のフォーム画像から
生じた変形(又は変換)(シフト及び/又はスケーリン
グ)を決定することができる。この変形情報は次に、フ
ォーム制御ファイルから抽出されたアクティブ領域のロ
ケーションを調整するために用いられ、フォームインタ
プリタに、走査されたフォーム画像のアクティブ領域を
正確に見出させ、次いでそれを読み取らせる。
【0009】
【発明の実施の形態】フォームランドマークを用いてフ
ォームのアクティブ領域を識別して捜し出すフォーム作
成及び処理システムを開示する。
【0010】図1は機械可読フォームの単純な例を示
す。図1を参照すると、フォーム101は、埋め込みデ
ータ領域102、フォームタイトル(FORM TITLE)10
3、付随するテキスト記述(ここでは、ALTERNATIVE 1
、ALTERNATIVE 2 、ALTERNATIVE 3 )を有するチェッ
クボックス104〜106、「Mark Only One Box (ボ
ックスを1つだけマークせよ)」というテキストを有す
る第1ブロックのテキスト命令107、「Choose the A
lternative That Statifies Your Criteria. SignBelow
to Authorize Your Selection (基準を満たす選択肢
を選択せよ。選択を認可するために以下にサインせ
よ)」というテキストを有する第2ブロックのテキスト
命令108、及びサイン(SIGNATURE )ボックス109
を含む。フォーム101のチェックボックス104〜1
06の各々には、矩形のボックスが関連づけられてい
る。このボックスは、マークがその後認識されてそれに
従って処理されることのできる箇所を指示するグラフィ
カルキューである。なお、その他のグラフィカルキュー
として例えば円や線を用いることもできる。埋め込みデ
ータ領域102は、フォームに関する種々の情報を提供
するのに使用されることができる。使用され得る1つの
埋め込みデータ符号化技術は、「埋め込みディジタルデ
ータのセルフクロッキング(Self-Clocking Embedded D
igital Data )」と題されたブルームバーグ(Bloomber
g )の米国特許第5,168,147号で述べられてお
り、該特許は本発明の譲渡人に譲渡されている。
【0011】フォーム101のインスタンスを処理する
アプリケーションは、各チェックボックスが「チェッ
ク」された(即ちマークを含む)回数を単純にカウント
し、1フォーム当り1つのチェックボックスだけがマー
クされたことと、処理されているフォームがサインされ
たことを決定するものであり得る。このアプリケーショ
ンはサインが有効であることを確認することができても
できなくてもよい。サインの有効性は本発明の範囲外で
あるので、かかる有効性確認の技術についてのさらなる
詳細な説明は行わない。
【0012】フォーム101におけるアクティブ領域
は、チェックボックス104〜106及びサインブロッ
ク109の矩形のボックスにより示される。アクティブ
領域は、フォームインタプリタが調査を行ってアクティ
ブ領域がマークされたかどうかを決定する、完了された
フォームのインスタンス上のロケーションのことであ
る。
【0013】フォーム101は種々のランドマークを有
するということに注目されたい。ランドマークとは、視
覚により識別可能なフォームのコンポーネントのことで
ある。埋め込みデータ領域102、タイトル103、及
びテキストブロック107及び108はフォームに対す
るランドマークとして使用されることができる(しか
し、フォームのインスタンスにおける違いのために、こ
れらの領域は常に別個のランドマークとして識別される
わけではない)。フォームのインスタンスのアクティブ
領域の実際のロケーションが見出されるのは、インスタ
ンスのフォームのランドマークと、予備分析された「オ
リジナル」のフォームのランドマークとの間の空間的変
形の分析を通してである。
【0014】本発明のこの好適な実施の形態は、コンピ
ュータベースシステムにおいて動作する1セットのソフ
トウェアプログラムとして実行される。ソフトウェアプ
ログラムは機械可読フォームの処理用のツールを示す。
このような1セットのソフトウェアプログラムは、一般
に「ツールキット」と称される。「ツールキット」はま
た、作成された機械可読フォームのインスタンスを処理
するソフトウェアアプリケーションに処理サービスを提
供する。本発明に関連する処理サービスは、フォームを
走査し、走査されたフォームからデータを抽出するため
のソフトウェアを含む。種々の画像処理機能を実行した
り、光学的に符号化されたデータを分析したりするため
のソフトウェアのような他の処理サービスも提供される
ことができる。
【0015】本発明のツールキットの実施形態を図2で
示す。ツールキットは、フォーム作成部201、フォー
ム分析部202、及びフォーム解釈部203を含む。フ
ォーム作成部201は、フォーム205を作成するため
に、例えばワシントンベルビューのマイクロソフト社か
ら入手できるマイクロソフトワードプログラムのような
ページレイアウト又は他のドキュメント作成プログラム
204と組み合わせられて作用するのが好ましい。別法
としては、フォーム作成部はスタンドアローンプログラ
ムであってもよい。いずれにせよ、フォーム作成部は、
フォーム上の「アクティブ領域」が規定されることがで
きるように必要な制御情報の挿入を可能にする。
【0016】フォーム分析部202は、フォーム205
の表現とフォーム上のアクティブ領域の記述とを入力と
して受け取り、フォーム制御ファイル206を作成する
ソフトウェアプログラムであるのが好ましい。この好適
な実施の形態では、フォーム制御ファイル206は、フ
ォーム205のアクティブ領域とランドマーク情報とを
含む。
【0017】好ましくは、フォーム解釈部203は、ア
プリケーションプログラムにより呼び出されてフォーム
のインスタンスからデータを抽出する。かかるデータ
は、アクティブ領域におけるマークの有無の検出であり
得る。
【0018】上記各部について、以下により詳細に記載
する。
【0019】従来技術に関して述べたように、機械可読
フォームを読み取るための従来のシステムは、予め規定
された静止レジストレーションマークの存在を必要とし
た。本発明ではこのようなレジストレーションマークの
必要性はない。本発明のフォーム作成部は、適切なペー
ジレイアウト又はドキュメント編集プログラムと共に動
作し、新しい機械可読フォームを作成する。作成される
機械可読フォームは、新たに構成されてもよいし、ある
いは既存の非機械可読フォームの改造であってもよい。
【0020】本発明のこの好適な実施の形態では、アク
ティブ領域はフォーム制御オブジェクトを介して特定さ
れる。フォーム制御オブジェクトは、典型的にはドキュ
メントレイアウト又はドキュメント作成プログラムの使
用と共に、作成されているフォームの特定のロケーショ
ンに挿入されるオブジェクトである。この好適な実施の
形態では、マイクロソフト社のオブジェクトの連結及び
埋め込み(Object Linking and Embedding;OLE)と
して知られるウィンドウズ(トレードマーク)オペレー
ティングシステムの特徴を用いて、フォーム制御オブジ
ェクトをフォームに埋め込む。OLE特徴は、マイクロ
ソフトワード等のワード処理プログラムにより支持され
る。フォームが作成さている時に、フォーム制御オブジ
ェクトを挿入することが望ましい場合には、オブジェク
トの挿入を可能にするワード処理コマンドが選択され
る。対応するアクティブ領域のタイプ、ネーム、及びサ
イズが特定される。フォーム制御オブジェクトが一旦規
定されると、該フォーム制御オブジェクトに対応するテ
キストが入力される。このプロセスは、フォーム上の全
ての所望のフォーム制御オブジェクトに対して繰り返さ
れる。
【0021】既存のフォームを機械により読取り可能な
ように改造する種々の技術を用いることができる。既存
のフォームがハードコピーフォームに存在する場合に
は、既存のフォームの走査画像を作成し、次に画像編集
プログラムを用いてアクティブ領域を特定し配置するの
が単純な方法である。コンピュータファイルが既存のフ
ォームに対して存在する場合には、コンピュータファイ
ル中に適切なフォーム制御オブジェクトを挿入すること
が、適切にイネーブルにされるドキュメントレイアウト
プログラムを用いるのと同じくらい単純であり得る。
【0022】フォーム分析により得られるのがフォーム
制御ファイルである。フォーム制御ファイルは、機械可
読フォームからデータを抽出するために、詳細には、フ
ォームのアクティブ領域内に存在するマーキングを識別
するために、フォームインタプリタにより用いられる。
この好適な実施の形態では、フォーム分析はフォーム
の"print file (印刷ファイル)" 表現を処理する。pr
int fileは、コンピュータベースシステムに対するフォ
ームを印刷するユーザリクエストにより作成される。コ
ンピュータシステムは次に、ドキュメントを印刷する時
にプリンタにより解釈される1セットのグラフィカルコ
マンドを作成する。この好適な実施の形態では、print
fileはまた、アクティブ領域を示すフォーム制御オブジ
ェクトを含む。フォーム制御オブジェクトは、アクティ
ブ領域に対する識別子及びタイプと、アクティブ領域に
対するあらゆるグラフィカルキューをレンダリングする
ためのグラフィカルコマンドを有する。識別子は単に、
アクティブ領域が後で参照されることのできるネームで
ある。アクティブ領域のタイプは、どのタイプのデータ
がその中に位置しているかを示すものである(例えばチ
ェックボックスは、所定の手書きのチェックシンボルを
含み、サインボックスはサインを含む)。最後に、フォ
ームのビットマップ表現が内部で生成され、次にそれが
用いられてフォーム分析が駆動される。以下に詳細に述
べるように、本発明のフォーム分析は、種々の画像処理
技術を用いて、作成されたビットマップ表現を評価し、
ランドマークを識別する。
【0023】図3は、フォーム分析において実行される
ステップをより詳細に示す。まず、"print file " がス
テップ301で受け取られる。上述のように、プリント
ファイルは、グラフィカルコマンドとフォーム制御オブ
ジェクトのリストを含む。この好適な実施の形態で
は、"print file"は、300×300dpi 解像度の画像
をレンダリングするように用いられる。次いで、ステッ
プ302でprint fileの各エレメントが処理される。エ
レメントがグラフィックコマンドであるのか、又はフォ
ーム制御オブジェクトであるのかに関して決定が行われ
る。グラフィックコマンドである場合には、ステップ3
03でグラフィックコマンドが実行される。グラフィッ
クコマンドを実行することにより、フォームの一部がレ
ンダリングされる。フォーム制御オブジェクトである場
合には、フォーム制御オブジェクトに対するレンダリン
グロケーションがアクティブ領域として示される。フォ
ーム制御オブジェクトは次に、ステップ304でレンダ
リングされる。フォーム制御オブジェクトのレンダリン
グロケーションは次に、ステップ305でフォーム制御
ファイルにセーブされる。ピクセルのロケーションに関
してではなく、フォームのページの左上角からの距離に
関してロケーションが格納される。ステップ306で
は、それがprint fileにおける最後のグラフィックエレ
メントであるかどうかを決定するためのチェックが行わ
れる。最後のものでなければ、ステップ302で次のコ
マンドが処理される。最後のエレメントである場合に
は、次にステップ307で画像のビットマップ表現上で
ランドマークの抽出が行われる。ランドマークの抽出
は、図4のフローチャートに関して詳細に述べることに
する。ランドマークが一旦抽出されると、それらはステ
ップ308でフォーム制御ファイルにセーブされる。ラ
ンドマーク情報は、ランドマークのタイプ、ランドマー
クのロケーション、及びランドマークのリストに対する
識別を含む。以下に述べるように、フォーム制御ファイ
ルは、フォームインタプリタによるアクセスのために、
種々のロケーションに格納されることができる。
【0024】図4を参照すると、ステップ401におい
て、フォームのビットマップ表現が十分な情報(例えば
テキスト又はグラフィカルデータ)を有し、その結果そ
れがスキュー解除されることができるかどうかに関して
の決定を行うことにより、ランドマークの抽出が開始す
る。この決定は、次のフォーム処理の完全性を確実にす
るために行われる。スキュー解除されることのできない
ビットマップ画像は、フォーム処理中にエラーとなるこ
とが確認された。フォームがスキュー解除できないこと
が決定された場合には、ステップ402でフォームは拒
絶される。そうでない場合には、次にビットマップ表現
はステップ403で「標準的な」ページ濃度に変換され
る。この好適な実施の形態では、フォームの300×3
00dpiの画像が、100×100dpi 画像に低減され
る。この「標準的な」濃度レベルでの処理は、エレメン
トを印刷及び走査することにより用いられる種々の解像
度によりもたらされ得るエラーを減少するということが
確認された。3×3ピクセルアレイにおけるオン/オフ
ピクセルのカウントに基づいて3×3ピクセルアレイが
単一の値に減少されるしきい値方法を介して、この低減
が生じる。
【0025】ステップ404において、フォームの圧縮
された表現を用いて、連結コンポーネントの分析が行わ
れ、境界ボックスが作成される。連結コンポーネントの
分析とは、隣接するピクセルが同じ状態にあるかどうか
(即ちオンかブラックか)に基づいてピクセルをグルー
ピングすることをいう。このような連結コンポーネント
分析は、例えば光学文字認識等の多くのドキュメント分
析作業において幅広く用いられている。該分析の結果、
キャラクタレベルでの矩形が得られる。これらの矩形
は、ステップ405において他の近接した矩形と併合さ
れる。これは結果的に、「ワード」レベルでの矩形とな
る。「近接」については、第1しきい値により決定され
る。次に、ステップ406においてオーバーラップした
矩形が併合される。これは結果的に、オーバーラップし
ていないワードサイズの矩形を収集することになる。
【0026】この時点において、より大きいフォーム特
性が識別される。ステップ407ではまず、今回は第2
のしきい値に従って近接した矩形が併合され、反復カウ
ンタが増分される。以下に述べるように、このステップ
は現在抽出された矩形の数に依存して繰り返される。ス
テップ408で、オーバーラップした矩形が併合されて
最初のランドマークリストが形成される。次にステップ
409で、合理的な数のランドマークが識別されたかど
うかが決定される。この決定はまず、所定の数(例えば
10)未満のランドマークが識別されたかどうか、又は
反復中に形成されたランドマークにおける違いが別の所
定のしきい値未満(例えば10%未満)であるかをみる
ために行われる。いずれにせよ、ランドマークの数が合
理的なものでなければ、ステップ407毎にさらなる矩
形併合が発生する。そうでない場合には、ステップ41
0でランドマークのリストと反復カウンタの値がフォー
ム制御ファイルに格納される。フォーム制御ファイルに
おけるランドマークは、「オリジナル」ランドマークと
称される。反復カウンタはフォーム解釈部に対し、ステ
ップ407に対応するステップが何回実行されるべきか
についての情報を提供するように用いられる。
【0027】図5は本発明のフォーム制御ファイルを示
す。フォーム制御ファイルはバージョンナンバー50
1、フォーム制御オブジェクト502、及びランドマー
ク情報503を含む。各フォーム制御オブジェクトは、
制御オブジェクト(CO)識別子、位置、サイズ、及び
タイプを含む。ランドマーク情報503は特定ランドマ
ークタイプと、反復カウントと、ランドマークのリスト
とを含む。各ランドマークはサイズ及び位置を特定す
る。
【0028】この好適な実施の形態のフォームインタプ
リタは、フォームを処理してフォームのアクティブ領域
に含まれるあらゆるマークを識別するアプリケーション
プログラム内から呼びされるのが典型的である。フォー
ムインタプリタはアクティブ領域の位置を識別し、アク
ティブ領域におけるマークの存在を判断し、次いでアプ
リケーションプログラムにその情報を渡す。図6はフォ
ームから情報を「読み取る」際にフォームインタプリタ
により実行されるステップを述べるフローチャートであ
る。まず、ステップ601でフォームのビットマップ表
現が得られる。フォームのビットマップ表現はスキャナ
からの出力であるのが典型的である。次にこのフォーム
のビットマップ表現は、ステップ602でスキュー解除
される。スキュー解除とは、走査プロセスにより又はフ
ォームの再生において生じるあらゆるスキュー歪を修正
することを意味する。次に、スキューを修正された表現
はステップ603で標準フォーマットに「低減」され、
ステップ604でフォーム制御ファイルが読み込まれ
る。フォーム制御ファイルは種々の方法で得られること
ができることに注目されたい。例えば、フォーム制御フ
ァイルは、フォーム自体内で符号化され、次いでフォー
ムが処理される時に抽出されることが可能である。又は
フォーム制御ファイルは、フォームを処理するコンピュ
ータベースシステムに接続される格納手段中に永久的に
格納されることも可能である。あるいは、フォーム制御
ファイルは、或るネットワークコネクションを介して得
られ、フォームが処理されている間の短い間、格納され
ることができる。かかる種々の技術を実行することは、
本発明の主旨及び範囲を逸脱するものではない。
【0029】次に、ランドマーク抽出はステップ605
で「インスタンス」ランドマークを見出すように実行さ
れる。ランドマークの識別は、図4に関して述べられた
ステップと略同じプロセスを介して行われる。「近接し
た」矩形を見出すステップは反復の値で特定される回数
で実行され、種々のしきい値は予備分析のものと同じで
ある。いずれにせよ、この時点では、「インスタンス」
ランドマークのリストと「オリジナル」ランドマークの
リストが形成されたことになる。なお、「インスタン
ス」リスト中のランドマークと「オリジナル」リスト中
のランドマークの数は同じである必要はない。なぜな
ら、分析されたフォームと走査されたフォームのビット
マップ表現には違いがある可能性があるからである。い
ずれにせよ、インスタンスのランドマークリストとオリ
ジナルのランドマークリストは、ステップ606でフォ
ームページの左上角に対するそれらの位置に基づいて格
納される。次に各リスト中のランドマークは、ステップ
607で「マッチング」即ち対にされる。このような対
を得るための基準は、ランドマークの形状及び位置に基
づく。なお、1つのリスト中の各ランドマークが対にさ
れる必要はない。適切な数の対が発生する限り、フォー
ムのインスタンスにおけるアクティブ領域の識別が決定
されることができる。この時点で、フォームのインスタ
ンスにおけるアクティブ領域が調査されることができ
る。この好適な実施の形態では、アクティブ領域の調査
は、フォーム処理アプリケーションにより明確にリクエ
ストされなければならない。各リクエストの処理を図7
に関して述べる。
【0030】図7を参照すると、ステップ701で、調
査されているアクティブ領域に「最も近い」2対のラン
ドマークが識別される。「最も近い」2対のランドマー
クの決定は、アクティブ領域の空間的な位置とフォーム
制御ファイルからの「オリジナル」ランドマークとを比
較することにより行われる。選択されたランドマーク対
のオフセットが許容可能なものかどうかについての決定
がステップ702で行われる。許容できないオフセット
は、ランドマークの位置が、全ランドマークに対する平
均のシフトよりもかなり大きい量でそのオリジナルの位
置からシフトしている場合に生じ得る。いずれにせよ、
ランドマークが許容可能なオフセットを有していない場
合には、ステップ703でランドマークが拒絶され、そ
の後使用されない。処理は残りのランドマークを用いて
ステップ701に戻る。オフセットが許容可能である場
合には、ランドマークがオリジナルのアクティブ領域位
置に「近接している」かどうかの決定がステップ704
で行われる。それらが近接している場合には、ステップ
705において、ランドマーク対における得られたシフ
トを平均することにより、オフセットが得られる。次に
ステップ706において、オフセット値がオリジナルア
クティブ領域位置と結合されて、調査されるべき位置が
形成される。それらが近接していない場合には、ステッ
プ707において、調査されるべき領域は、オリジナル
フォームにより規定される座標系空間から、走査された
インスタンスフォームにより規定される座標系空間への
アフィン変換を形成することにより決定される。このア
フィン変換は次いで、フォーム制御ファイルにおけるア
クティブ領域情報に適用される。いずれにせよ、ステッ
プ708において対応する領域が調査される。調査は単
に、対応する領域における任意のマーク(例えば「オ
ン」ピクセル」)の検出であることが可能である。この
処理は調査されるべき各アクティブ領域に対して繰り返
される。
【0031】本発明のこの好適な実施の形態が実行され
得るコンピュータベースシステムについて、図8を参照
して説明する。図8を参照すると、コンピュータベース
システムは、バス801を介して連結される複数のコン
ポーネントを含む。バス801は、複数の並列バス(例
えばアドレスバス、データバス、及び状態バス)と、バ
スの階層(例えばプロセッサバス、ローカルバス、及び
I/Oバス)とを含むのが典型的である。いずれにせ
よ、コンピュータベースシステムはさらに、内部メモリ
803からバス801を介して提供された命令を実行す
るプロセッサ802を含む(なお、内部メモリ803は
ランダムアクセスメモリ又は読取り専用メモリの組み合
わせであることが典型的である)。プロセッサ802と
内部メモリROM803は、別々のコンポーネントであ
っても、又はアプリケーション指定集積回路(ASI
C)チップ等の単一の総合デバイスであってもよい。
【0032】英数字入力を行うためのキーボード804
と、データを格納するための外部格納装置805と、カ
ーソルを操作するためのカーソル制御デバイス806
と、ビジュアル出力をディスプレイするディスプレイ8
07も、バス801に接続される。キーボード804は
典型的には標準的なQWERTYキーボードであるが、
電話のようなキーパッドであってもよい。外部格納装置
805は、固定型又は移動型の磁気若しくは光ディスク
ドライブであってよい。カーソル制御デバイス806
は、所定の機能の実行をプログラムされることのでき
る、協働するボタンやスイッチを有するのが典型的であ
る。バス801にはさらにスキャナ808が接続され
る。スキャナ808は、フォームのハードコピーインス
タンスのビットマップ表現を作成するための手段を提供
する。
【0033】バス801に連結されることのできる光学
素子は、プリンタ809とネットワークコネクション8
10を含む。ネットワークコネクション810は、ネッ
トワークを超える本発明の使用を可能にするために用い
られることができる。例えば、フォームのインスタンス
の走査画像は、分析に必要とされる必要なフォームイン
タプリタを有するシステムに送られる。
【0034】機械可読フォーム及び対応するフォーム制
御ファイルが作成されるコンピュータベースシステム
と、フォームインタプリタが存在するコンピュータベー
スシステムは同じである必要がないことに注目された
い。
【0035】図1の機械可読フォームのランドマークが
抽出される例において本発明をさらに説明する。本発明
のランドマーク抽出は、媒体のビットマップ表現を分析
し、ブロックに関して媒体の構造を識別するように開発
された種々の技術に類似する。図9は、図4のフローチ
ャートのステップ404に関して述べられた連結コンポ
ーネントステップの後での矩形を表したものである。こ
の時点では、矩形の各々はキャラクタ、又は少なくとも
キャラクタの一部を表す。図10は(図4のステップ4
05で作成され得るように)矩形の併合を示し、ワード
等のグルーピングが識別された。最終的に、図11は矩
形がさらに併合されたグルーピングを示している。図1
1のブロックは、ブロック1101〜1108と示され
る、可能性のあるランドマークを示している。
【0036】図12は、ランドマークが識別された、図
1の機械可読フォームのインスタンスを示す。種々の理
由から、フォームのインスタンスは、図11のものとは
違うランドマークのセットを作成した。図12は5つの
ランドマーク(ランドマーク1201〜1205)を有
するだけである。ランドマークは異なる形状を有し得る
ことに注目されたい。さらに、識別されたランドマーク
は異なる空間的位置を有するのが典型的である。図12
では、テキスト及びチェックボックスの領域が併合され
て単一のランドマークとなった。同様に、フォームを完
成する命令を含むテキストは、フォームを併合して単一
のランドマークとした。
【0037】ランドマークのペアリングは以下のように
行われる:ランドマーク1101はランドマーク120
1と、ランドマーク1102はランドマーク1202
と、そしてランドマーク1108はランドマーク120
5とペアリングされる。なお、図11のランドマーク1
103〜1107とランドマーク1203及び1204
はペアリングされない。なぜなら、それらは対にするた
めに必要な位置及び形状基準を満たさないからである。
【0038】上記情報を用いて、フォームのインスタン
ス上の領域が調査され、マーキングがあるかどうかが判
断される。第1の選択肢を表すアクティブ領域Aに対す
る空間的情報が受け取られたと仮定する。ランドマーク
の近接した2つのペアは1101/1201と1102
/1202である。この2つのランドマークペアは「近
接している」ので、オフセットは2つの異なるランドマ
ークから生じた変位を平均することにより決定される。
ランドマーク1201に対するランドマーク1102に
よるシフトは(dx1,dy1)により示され、ランド
マーク1202に対する1102によるシフトは(dx
2,dy2)により示される。従って、アクティブ領域
Aに対するオフセット(又はシフト)は、((dx1+d
x2)/2,(dy1+dy2)/2)と演算される。フォ
ーム制御ファイルにおいて特定される空間的位置とこの
オフセットとを結合したものが、調査されるフォームの
インスタンスにおけるアクティブ領域の位置となる。こ
の調査は、規定される全体のアクティブ領域に及ぶ。
【0039】上述のように、ランドマークが離れている
場合には、調査されるべき領域はアフィン変換により決
定される。アフィン変換は或る座標系(オリジナルフォ
ーム空間)から別の座標系(走査フォーム空間)へのマ
ッピングを計算する標準的な算術的演算である。この変
換は回転、スケーリング、及び或る空間から他の空間へ
の変換を考慮する。この変換が一旦計算されると、それ
を使用して1つの点を或る座標系から他の座標系へとマ
ッピングすることができる。本発明では、オリジナルラ
ンドマークからの3つの点とインスタンスランドマーク
からの3つの点とを用いて、この変換が何であるのかを
計算する。この変換に基づけば、アクティブオブジェク
トに対するオリジナル矩形を、走査座標系の場所へとマ
ッピングするだけである。
【図面の簡単な説明】
【図1】アクティブ領域を有する機械可読フォームの一
例を示す図である。
【図2】好適な実施の形態の機械可読フォームを作成
し、解釈するためのツールキットの機能上のコンポーネ
ントのブロック図である。
【図3】好適な実施の形態で実行され得るフォーム分析
の基本的なステップを示すフローチャートである。
【図4】好適な実施の形態で実行され得るランドマーク
の抽出のステップを示すフローチャートである。
【図5】好適な実施の形態におけるフォーム制御ファイ
ルの一例を示す図である。
【図6】好適な実施の形態で実行され得るフォーム解釈
のステップを示すフローチャートである。
【図7】好適な実施の形態で実行され得るフォームのイ
ンスタンスのアクティブ領域の位置を決定するステップ
を示すフローチャートである。
【図8】好適な実施の形態で使用され得るコンピュータ
ベースシステムのブロック図である。
【図9】好適な実施の形態で実行されるランドマークの
抽出が行われる際の図1の機械可読フォームの状態の一
例を示す図である。
【図10】好適な実施の形態で実行されるランドマーク
の抽出が行われる際の図1の機械可読フォームの状態の
一例を示す図である。
【図11】好適な実施の形態で実行されるランドマーク
の抽出が行われる際の図1の機械可読フォームの状態の
一例を示す図である。
【図12】図1の機械可読フォームのインスタンスから
抽出されたランドマークの一例を示す図である。
【符号の説明】
201 フォーム作成部 202 フォーム分析部 203 フォーム解釈部 204 ページレイアウト/ドキュメント作成プログ
ラム 205 作成されたフォーム 206 フォーム制御ファイル 207 作成されたフォームのインスタンス

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 機械可読フォームのインスタンス上の領
    域を識別して、ユーザの作成したマークの存在を調査す
    るための方法であって、 a)1つ以上のアクティブ領域を有する前記機械可読フ
    ォームを構成するステップと、 前記機械可読フォームの画像を分析して、1つ以上のオ
    リジナルランドマークを識別するステップと、 フォーム制御ファイルにおいて前記1つ以上のオリジナ
    ルランドマークと前記アクティブ領域の位置を格納し、
    それらに対する情報を識別するステップと、を含むサブ
    ステップを実行することにより、前記機械可読フォーム
    を作成するステップと、 b)前記機械可読フォームの前記インスタンスのビット
    マップ表現を作成するステップと、 c)前記機械可読フォームの前記インスタンスの前記ビ
    ットマップ表現を分析して、1つ以上のインスタンスラ
    ンドマークを識別するステップと、 d)前記フォーム制御ファイルを検索するステップと、
    を含み、前記フォーム制御ファイル中のアクティブ領域
    に対して、 e)前記フォーム制御ファイルからの前記1つ以上のオ
    リジナルランドマークを、前記1つ以上のインスタンス
    ランドマークと比較するステップと、 f)前記比較ステップe)に基づいて、前記機械可読フ
    ォームの前記インスタンスの前記ビットマップ表現上の
    領域を識別するステップと、 g)ステップf)で識別された前記領域を前記アクティ
    ブ領域として調査するステップと、を実行する、ユーザ
    の作成したマークの存在を調査するための方法。
JP8090826A 1995-04-21 1996-04-12 ユーザの作成したマークの存在を調査するための方法 Withdrawn JPH08305778A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42635495A 1995-04-21 1995-04-21
US426354 1995-04-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004015005A Division JP3996579B2 (ja) 1995-04-21 2004-01-23 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム

Publications (1)

Publication Number Publication Date
JPH08305778A true JPH08305778A (ja) 1996-11-22

Family

ID=23690457

Family Applications (2)

Application Number Title Priority Date Filing Date
JP8090826A Withdrawn JPH08305778A (ja) 1995-04-21 1996-04-12 ユーザの作成したマークの存在を調査するための方法
JP2004015005A Expired - Fee Related JP3996579B2 (ja) 1995-04-21 2004-01-23 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004015005A Expired - Fee Related JP3996579B2 (ja) 1995-04-21 2004-01-23 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム

Country Status (4)

Country Link
US (1) US5748809A (ja)
EP (1) EP0738987B1 (ja)
JP (2) JPH08305778A (ja)
DE (1) DE69633809T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279434A (ja) * 2001-02-22 2002-09-27 Oce Print Logic Technologies Sa ドキュメントにおける自動的テーブル位置決め

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201894B1 (en) * 1996-01-23 2001-03-13 Canon Kabushiki Kaisha Method and apparatus for extracting ruled lines or region surrounding ruled lines
US6236463B1 (en) * 1997-01-17 2001-05-22 Moore U.S.A., Inc. Generating high speed variable information printed multiple page documents
JP2001526857A (ja) * 1997-05-09 2001-12-18 ネオメディア テクノロジーズ,インク. インテリジェント・ドキュメント上のマシン可読のデータを経由して電子的リソースにアクセスするための方法およびシステム
JP3580670B2 (ja) * 1997-06-10 2004-10-27 富士通株式会社 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体
US6351559B1 (en) * 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US7038797B1 (en) * 1999-05-25 2006-05-02 Silverbrook Research Pty Ltd Method and system for delivery of mail
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
US6816274B1 (en) * 1999-05-25 2004-11-09 Silverbrook Research Pty Ltd Method and system for composition and delivery of electronic mail
US6640010B2 (en) * 1999-11-12 2003-10-28 Xerox Corporation Word-to-word selection on images
US7149347B1 (en) 2000-03-02 2006-12-12 Science Applications International Corporation Machine learning of document templates for data extraction
US6741738B2 (en) 2000-03-13 2004-05-25 Tms, Inc. Method of optical mark recognition
US6950553B1 (en) * 2000-03-23 2005-09-27 Cardiff Software, Inc. Method and system for searching form features for form identification
US6816630B1 (en) * 2000-05-22 2004-11-09 Electro-Sensors, Inc. System and method for creating and processing data forms
US6832349B1 (en) * 2001-01-08 2004-12-14 Cardiff Software, Inc. Remote activation of enhanced functionality features in locally created documents
US6810232B2 (en) * 2001-03-05 2004-10-26 Ncs Pearson, Inc. Test processing workflow tracking system
US6961482B2 (en) * 2001-03-05 2005-11-01 Ncs Pearson, Inc. System for archiving electronic images of test question responses
US7561734B1 (en) 2002-03-02 2009-07-14 Science Applications International Corporation Machine learning of document templates for data extraction
US7142728B2 (en) * 2002-05-17 2006-11-28 Science Applications International Corporation Method and system for extracting information from a document
US20040008212A1 (en) * 2002-07-11 2004-01-15 Sun Microsystems, Inc., A Delaware Corporation Reshaping irregularly-shaped images for improved compression
US9015573B2 (en) 2003-03-28 2015-04-21 Abbyy Development Llc Object recognition and describing structure of graphical objects
RU2003108434A (ru) * 2003-03-28 2004-09-27 "Аби Софтвер Лтд." (CY) Способ предварительной обработки изображения машиночитаемой формы нефиксированного формата
US9224040B2 (en) 2003-03-28 2015-12-29 Abbyy Development Llc Method for object recognition and describing structure of graphical objects
US7305612B2 (en) * 2003-03-31 2007-12-04 Siemens Corporate Research, Inc. Systems and methods for automatic form segmentation for raster-based passive electronic documents
US20060187466A1 (en) * 2005-02-18 2006-08-24 Timbre Technologies, Inc. Selecting unit cell configuration for repeating structures in optical metrology
US7916972B2 (en) * 2006-07-31 2011-03-29 Xerox Corporation Landmark-based form reading with declarative language
US8233714B2 (en) 2006-08-01 2012-07-31 Abbyy Software Ltd. Method and system for creating flexible structure descriptions
US9740692B2 (en) 2006-08-01 2017-08-22 Abbyy Development Llc Creating flexible structure descriptions of documents with repetitive non-regular structures
US20090015875A1 (en) * 2007-06-20 2009-01-15 Ctb/Mcgraw-Hill Companies, Inc. Image manipulation of digitized images of documents
US9917975B2 (en) * 2013-05-29 2018-03-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Facsimile requirements monitoring
US10067926B2 (en) 2015-12-21 2018-09-04 Xerox Corporation Image processing system and methods for identifying table captions for an electronic fillable form
US10025766B2 (en) * 2015-12-21 2018-07-17 Xerox Corporation Relational database for assigning orphan fillable fields of electronic fillable forms with associated captions
US10002291B2 (en) 2016-05-25 2018-06-19 Xerox Corporation Method and system of identifying fillable fields of an electronic form

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107694B2 (ja) * 1984-08-31 1995-11-15 株式会社日立製作所 文書処理装置
US5140650A (en) * 1989-02-02 1992-08-18 International Business Machines Corporation Computer-implemented method for automatic extraction of data from printed forms
US5060980A (en) * 1990-05-30 1991-10-29 Xerox Corporation Form utilizing encoded indications for form field processing
US5452379A (en) * 1991-09-13 1995-09-19 Meadowbrook Industries, Ltd. Image capture and storage techniques in association with optical mark reading
US5201011A (en) * 1991-11-19 1993-04-06 Xerox Corporation Method and apparatus for image hand markup detection using morphological techniques
US5282052A (en) * 1992-03-20 1994-01-25 Xerox Corporation Techniques for automatic form creation by combining partial operations
US5317646A (en) * 1992-03-24 1994-05-31 Xerox Corporation Automated method for creating templates in a forms recognition and processing system
TW274597B (ja) * 1992-04-27 1996-04-21 Philips Electronics Nv
US5481621A (en) * 1992-05-28 1996-01-02 Matsushita Electric Industrial Co., Ltd. Device and method for recognizing an image based on a feature indicating a relative positional relationship between patterns
US5416849A (en) * 1992-10-21 1995-05-16 International Business Machines Corporation Data processing system and method for field extraction of scanned images of document forms
US5428694A (en) * 1993-10-14 1995-06-27 International Business Machines Corporation Data processing system and method for forms definition, recognition and verification of scanned images of document forms

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279434A (ja) * 2001-02-22 2002-09-27 Oce Print Logic Technologies Sa ドキュメントにおける自動的テーブル位置決め

Also Published As

Publication number Publication date
EP0738987A2 (en) 1996-10-23
EP0738987A3 (en) 1999-04-07
JP3996579B2 (ja) 2007-10-24
DE69633809D1 (de) 2004-12-16
DE69633809T2 (de) 2005-03-17
US5748809A (en) 1998-05-05
JP2004158036A (ja) 2004-06-03
EP0738987B1 (en) 2004-11-10

Similar Documents

Publication Publication Date Title
JP3996579B2 (ja) 機械可読フォームのアクティブ領域を識別するためのフォーム処理システム
Yanikoglu et al. Pink Panther: a complete environment for ground-truthing and benchmarking document page segmentation
US7926732B2 (en) OCR sheet-inputting device, OCR sheet, program for inputting an OCR sheet and program for drawing an OCR sheet form
JP3805005B2 (ja) 画像処理装置及び光学的文字認識装置及びそれらの方法
US6801673B2 (en) Section extraction tool for PDF documents
US8331677B2 (en) Combined image and text document
CN102117269B (zh) 对文档进行数字化的装置及方法
JP3278471B2 (ja) 領域分割方法
EP0621553A2 (en) Methods and apparatus for inferring orientation of lines of text
US6356655B1 (en) Apparatus and method of bitmap image processing, storage medium storing an image processing program
US8213717B2 (en) Document processing apparatus, document processing method, recording medium and data signal
JP5121599B2 (ja) 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体
US5509092A (en) Method and apparatus for generating information on recognized characters
KR100570224B1 (ko) 전표정의데이터 작성방법 및 전표처리장치
CN107133615B (zh) 信息处理设备和信息处理方法
JP5538812B2 (ja) 画像処理装置、画像処理方法及びプログラム
US6968501B2 (en) Document format identification apparatus and method
JPH08166865A (ja) 画面生成方法及びその装置
JP2009031937A (ja) 帳票画像処理装置及び帳票画像処理プログラム
JP2022090469A (ja) 書式定義装置、書式定義方法、及びプログラム
JPH07230526A (ja) 文字読取装置
JP5361315B2 (ja) 情報処理装置及び情報処理方法
JP3186712B2 (ja) 文書読取装置
WO2021117128A1 (ja) 帳票画像処理システム
JP2001236464A (ja) 文字抽出方法、文字抽出装置及び記憶媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031028

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20040409