JP3088019B2 - 媒体処理装置及び媒体処理方法 - Google Patents
媒体処理装置及び媒体処理方法Info
- Publication number
- JP3088019B2 JP3088019B2 JP09507471A JP50747197A JP3088019B2 JP 3088019 B2 JP3088019 B2 JP 3088019B2 JP 09507471 A JP09507471 A JP 09507471A JP 50747197 A JP50747197 A JP 50747197A JP 3088019 B2 JP3088019 B2 JP 3088019B2
- Authority
- JP
- Japan
- Prior art keywords
- layout
- information
- image
- item
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
好適な、媒体処理装置及び媒体処理方法であって、特
に、私製伝票等のように多種多様なフォーマットを有す
る帳票処理を行なうための、媒体処理装置及び媒体処理
方法に関する。
読み取ってから文字認識する装置として、光学文字読み
取り装置(OCR装置)等のイメージデータ読取装置が開
発され、各種産業においてはこのイメージデータ読取装
置を幅広く利用することにより、業務の効率化等を図っ
ている。
ータは、上述のイメージデータ読取装置を用いて、帳票
媒体(帳票)を効率的に処理することを通じて、業務の
効率化を図っている。
率化を図るためには、同一種類の帳票媒体(認識処理専
用媒体)の多量処理を行なうだけでなく、多種多様なフ
ォーマットを有する帳票媒体を自動的に処理することが
要求されている。
0を用いることにより、複数種類の帳票媒体について、
イメージデータ読取装置を用いた帳票媒体の処理を行な
うことができる。
イメージデータを読み取るイメージデータ読取装置であ
り、このイメージデータ読取装置1001は、電子計算機10
02に接続されて、電子計算機1002からの制御に基づいた
イメージデータの読取動作を行なえるようになってい
る。なお、このイメージデータ読取装置1001としては、
例えばイメージスキャナやFAXが用いられている。
置としての電子計算機1002は、オペレータからの命令,
データ等を入力するキーボードあるいはマウス等の入力
部(FIG.115においてはキーボードのみ図示)1002−1,
計算機本体1002−2及びデータあるいは制御情報等を表
示するディスプレイ1002−3により構成されている。な
お、イメージデータ読取装置1001により読み取られたイ
メージデータの文字認識処理は、電子計算機本体1002−
2により行なわれる。
ィスク1003は、電子計算機1002に接続され、例えばFIG.
116に示すように、予め帳票種類毎に認識すべき文字デ
ータの位置情報および文字の種類、桁数等を指定した情
報(以下「定義体情報」と称す)1003A〜1003C,…を格
納しておくものである。
に、FIG.116,FIG.117に示すような、イメージデータ読
取認識装置1005を用いることもできる。このイメージ読
取装置1005は、イメージデータ読取装置1001と同様のイ
メージデータの読取動作を行なうとともに文字認識をも
行なうことができる。
ばFIG.116に示すように、電気料金払込通知書1004上に
記載された文字データを認識する際には、まず、オペレ
ータによるキーボード1002−1の操作により帳票種別
(この場合は電気料金払込通知書(帳票B)1004に対応
する定義体情報1003B)を指示する。
アクセスを通じて、指示された帳票の定義体情報1003B
を引出してイメージデータ読取認識装置1005に通知す
る。
電子計算機1002からの制御情報としての定義体情報1003
Bに基づいて、イメージデータの読み取りと文字認識処
理を行なうことができる。
理する手法においては、オペレータの指示により読み取
りたい帳票毎に定義体情報を指示するので、オペレータ
に負担がかるほか、定義体が多くなると指示を間違えた
り、数千種類もの帳票を処理することが要求される場合
にはオペレータが指示することは現実的に困難となる。
れた位置1004aに、予め帳票毎に異なった帳票を識別す
るためのID番号(この場合は‘0102')を記載しておく
ことにより、上述したようにオペレータが帳票種別を指
示することなく、自動的に帳票の読取処理を行なう方法
も考えられている。
にて帳票のイメージデータを読み取る際に、最初に定め
られた位置1004aに記されたID番号を認識し、続いて認
識したID番号に対応した定義体情報(この場合は1003
B)を使用することにより、文字認識を行なうことがで
きる。
データ読取装置1001やイメージデータ読取認識装置1005
等の光学的読取装置(例えば帳票処理装置)において帳
票等をセットする位置が変動すると、例えばハードディ
スク1003に定義体情報が予め格納されている帳票と同一
の帳票が読み取られた場合でも、文字データの領域や図
形領域等のイメージの基準点(物理原点)からの座標が
定義体情報におけるものと同一にならないため、帳票処
理装置等においては、同一のレイアウトではないと判定
される。
ータのレイアウトと定義体情報におけるレイアウトとを
一致させてからイメージデータの文字認識を行なわない
と、文字認識処理が正常に行なわれないことがあるた
め、まず各々のイメージの基準点を抽出して各々のイメ
ージの基準点からの座標を比較してレイアウトの一致の
判定を行なっている。
の2つの方法が主流となっている。なお、前提条件とし
て、読み取り対象の帳票は予め印刷された帳票であり、
用紙における帳票の印刷位置が高い精度で管理されてい
るものとする。
取られる帳票の用紙端面1006と読取背景1007とが域別で
きるようなイメージデータ読取装置により帳票のイメー
ジデータを読み取る場合には、用紙端面1006の左上端位
置Pを基準点とするものである。
り帳票のイメージデータを読み取る場合には、FIG.188
(b)に示すように、読取背景1009と読み取られた用紙
端面1008とが識別できないため、予め読み取り対象の帳
票用紙に基準マークRを印刷しておき、この基準マーク
Rをイメージデータから抽出して基準点とするものであ
る。
ークRとして印刷されているため、読取装置に帳票をセ
ットする位置が変動した場合でも、安定して基準点を抽
出することが可能である利点がある。
より基準点が正確に抽出された場合でも、イメージデー
タの読取方向が正しい方向でなければ、イメージデータ
の文字記述方向が正しい方向とならないため、文字認識
処理を行なうことができない。
れた振込伝票(帳票C)1010が、イメージデータ読取装
置1001により誤った方向(FIG.119では縦方向)から読
み取られた場合には、読み取られた振込伝票1010のイメ
ージデータは、ディスプレイ1002−3に符号1010Aで示
すように誤った向きで表示される。
は、オペレータが、ディスプレイ1002−3を目視して帳
票の読み取り方向が正しいか否かを判断して、帳票の読
み取り方向が正しくない場合には、読み取られた帳票の
イメージデータを90度又は180度回転させる指示をキー
ボード1002−1から入力して、帳票のイメージデータが
ディスプレイ1002−3に符号1010Bで示すように正しい
方向に表示されるように、イメージデータの回転補正処
理を行なう必要がある。
いては、オペレータが、送金依頼表である帳票に記載さ
れている口座番号,氏名及び金額等の情報を、帳票処理
装置1000のキーボード1002−1等から入力しているが、
このとき、オペレータは帳票とディスプレイ1002−3と
を交互に目視して入力操作を行なっていた。
3とを交互に目視して入力操作を行なう場合には、視線
の移動が多くなるため、視認性が悪くなり、帳票の項目
と画面の項目との対応を誤るおそれがあるという課題が
あった。
み取って、読み取られたイメージデータの文字認識結果
とともにイメージデータそのものをディスプレイ1002−
3に表示するような帳票処理装置が提案されている。
イ1002−3上で直接見れるようになるため、視線の移動
が少なくなり、文字認識結果の認識及び修正の際の、文
字認識結果とイメージデータとの対応の誤りを少なくす
ることができる。
−サーバシステムを用いて、サーバで集中的且つ高速に
データ処理を行なう方式が主流となっている。
れたクライアントと地区センタに設置されたサーバと
を、専用回線や交換回線等を介して接続することによ
り、クライアント−サーバシステムを構成して、サーバ
により帳票処理を一括して行なうことにより、業務の効
率化を図ることが提案されている。
には、サーバに集中するデータ量が膨大になることか
ら、サーバでの帳票処理をオペレータが行なうことは不
可能となるため、オペレータが介在することなく、サー
バが自動的に帳票処理を行なうようなシステムを設計す
る必要がある。
記載された帳票を用いた帳票識別処理をこのクライアン
ト−サーバシステムに適用すれば、サーバが自動的に帳
票種別を識別して帳票の読取処理を行なうことができ
る。
アントにおいても、前述したように、イメージデータ読
取装置により読み取られたイメージデータの文字認識結
果とともに、イメージデータそのものをディスプレイに
表示させることにより、帳票に記載されている情報をデ
ィスプレイ上で直接見れるようにして、文字認識結果の
確認及び修正の際の文字認識結果とイメージデータとの
対応の誤りを少なくすることができる。
理する手法においては、読み取り可能な帳票媒体は、そ
の帳票処理装置専用に作成された帳票媒体のみであり、
従来から使用している一般的な帳票を使用することがで
きないため、この場合は新たに専用の帳票を作成しなけ
ればならないという課題がある。
な、1つめの基準点抽出方法においては、用紙における
帳票の印刷位置が高い精度で管理されている必要がある
が、例えばワードプロセッサ等により印字された帳票の
場合には、手動により用紙を設定すると印字する度に印
字位置が変動することが多いため、このような場合には
用紙端面1006の左上端位置Pを基準点とすることは適当
ではないという課題がある。
な、2つめの基準点抽出方法においては、読み取り対象
の帳票は基準マークRが印字された専用帳票であり、基
準マークRの印刷されていない一般の帳票については基
準点を抽出することができないという課題がある。
票内の表の特定点を基準点として使用する方式の場合に
も、認識対象帳票のレイアウトがある程度特定できない
場合には有効に機能しないという課題がある。
を、再度読み取った場合でも、イメージ読み取り時のゴ
ミや掠れ等により、読み取られたイメージが以前のもの
と同一のものとはならないこともあり、このような場合
には同一の基準点が抽出されないこともある。
メージデータの回転補正処理をサーバにおいて自動的に
行なうためには、実際に読み取られたイメージデータの
文字認識を行ない、文字認識が可能であるか否かにより
帳票の読取方向の正誤の判断を行なわなければならず、
業務の効率化を著しく妨げるという課題がある。
従来から使用している一般的な帳票であり、私製伝票等
のように多種多様なフォーマットを有する帳票の処理を
行なえるようにした、媒体処理装置及び媒体処理方法を
提供することを目的とする。
したような帳票についても、従来のような用紙端面や基
準マーク等を用いることなく、印字された帳票のイメー
ジデータにおける基準点の抽出処理を常に安定且つ自動
的に行なえるようにした、媒体処理方法を提供すること
を目的とする。
られたイメージデータの回転補正処理を自動的に行なえ
るようにした、媒体処理方法を提供することを目的とす
る。
ットで情報が記入された媒体から読み取ったイメージに
基づいて、該情報の認識を行なう媒体処理装置であっ
て、読み取ったイメージのデータから、学習更新が可能
な解析用辞書を参照して該イメージのレイアウトの特徴
を抽出し、該特徴から認識すべき情報の存在する位置を
特定する情報存在位置特定手段と、該情報存在位置特定
手段によって抽出された該レイアウトの特徴を記憶し、
該レイアウトの特徴を学習によって更新していく記憶手
段と、該記憶手段の更新後、次に読み取ったイメージデ
ータを、前回のイメージのレイアウトの特徴抽出によっ
て学習更新された該記憶手段に記憶されている該レイア
ウトの特徴を使用しながら、該情報存在位置特定手段で
特定された位置でのイメージを認識して、該情報を判別
するイメージ認識手段とを備えて構成されたことを特徴
とする。
で情報が記入された媒体から読み取ったイメージに基づ
いて、該情報の認識を行なう媒体処理装置であって、読
み取ったイメージのレイアウトの特徴を抽出して、該レ
イアウトの構成を解析し、該抽出した特徴により、該レ
イアウトを論理的に表現するレイアウト解析処理部と、
該レイアウト解析処理部で得られるイメージのレイアウ
トの特徴及び該レイアウトの特徴に対応する論理的に表
現されたレイアウトを含む候補レイアウトを記憶してい
る候補レイアウト記憶部と、該レイアウト解析処理部で
抽出された該レイアウトの特徴を制約検索条件として、
該候補レイアウト記憶部から該候補レイアウトを検索す
ることにより、一致している候補レイアウトがあるかど
うかを照合するレイアウト照合処理部と、該レイアウト
解析処理部で得られた該レイアウトと一致している候補
レイアウトが該候補レイアウト記憶部にない場合には、
読み取ったイメージの該レイアウトの特徴及び対応する
レイアウトをともに該候補レイアウト記憶部に記憶する
レイアウト学習処理部とをそなえて構成されたことを特
徴としている。
処理に先立って、認識対象となるイメージに対して所要
の前処理を施す解析前処理部が設けられてもよい。
アウトの特徴を抽出するレイアウト特徴抽出部と、該レ
イアウト特徴抽出部で抽出された該レイアウトの特徴に
基づいて該レイアウトの構成を解析するレイアウト解析
部とを少なくとも含んで構成されている。
特徴を抽出してから、該レイアウトの論理的な原点を抽
出するように構成されるとともに、該レイアウト照合処
理部が、該レイアウト解析処理部で抽出された論理的な
原点を基準にして、一致している候補レイアウトがある
かどうかを照合するように構成されている。
罫線を抽出する罫線抽出部をそなえるとともに、該レイ
アウト解析部が該レイアウト特徴抽出部で抽出された該
レイアウトの罫線に基づいて該罫線により構成される表
構造を解析する表構造解析部をそなえて構成されてもよ
く、また、該レイアウト特徴抽出部が、該レイアウトの
項目データを抽出する項目データ抽出部をそなえて構成
されてもよい。
見出し領域を決定して、この見出し領域中の見出し項目
情報を認識して、対応する項目データを決定するように
構成してもよい。
アウト情報を記憶するように構成するとともに、該レイ
アウト照合処理部を、該レイアウト解析処理部で抽出さ
れた該レイアウトの特徴を圧縮処理し、この圧縮したレ
イアウトの特徴を制約検索条件として、該候補レイアウ
ト記憶部から該圧縮した候補レイアウトを検索すること
により、一致している候補レイアウトがあるかどうかを
照合するように構成してもよい。
情報を学習により更新していくように構成されてもよ
い。
在位置特定ステップで、読み取ったイメージのデータか
ら、学習更新が可能な解析用辞書を参照して該イメージ
のレイアウトの特徴を抽出し、該特徴から認識すべき情
報の存在する位置を特定し、記憶ステップで、該情報存
在位置特定ステップによって抽出された該レイアウトの
特徴を記憶手段に記憶し、該記憶手段に記憶された該レ
イアウトの特徴を学習によって更新し、イメージ認識ス
テップで、該記憶ステップにおける該記憶手段の更新
後、次に読み取ったイメージデータを、前回のイメージ
のレイアウトの特徴抽出によって学習更新された該記憶
手段に記憶されている該レイアウトの特徴を使用しなが
ら、該情報存在位置特定ステップで特定された位置での
イメージを認識して、該情報を判別することにより、任
意のフォーマットで情報が記入された媒体から読み取っ
たイメージに基づいて該情報の認識を行なう。
処理ステップで、読み取ったイメージのレイアウトの特
徴を抽出して、該レイアウトの構成を解析し、該抽出し
た特徴により、該レイアウトを論理的に表現し、レイア
ウト照合処理ステップで、該レイアウト解析処理ステッ
プで抽出された該レイアウトの特徴を制約検索条件とし
て、候補レイアウト記憶部に記憶されているイメージの
レイアウトの特徴及び該レイアウトの特徴に対応する論
理的に表現されたレイアウトを含む候補レイアウトを検
索することにより、一致している候補レイアウトがある
かどうかを照合し、レイアウト学習ステップで、該レイ
アウト解析処理ステップで抽出された該レイアウトと一
致する候補レイアウトが該候補レイアウト記憶部にない
場合に、読み取ったイメージの該レイアウトの特徴及び
対応するレイアウトをともに該候補レイアウト記憶部に
記憶させることにより、任意のフォーマットで情報が記
入された媒体から読み取ったイメージに基づいて該情報
の認識を行なう。
トの特徴を抽出してから該レイアウトの論理的な原点を
抽出するとともに、該レイアウト照合処理ステップで、
該レイアウト解析処理ステップで抽出された論理的な原
点を基準にして該情報を判別してもよい。
たイメージのレイアウトが所定の方向であるかどうかを
判定してこの判定結果に基づき該レイアウトが所定の方
向となるように読み取ったイメージデータを変換しても
よく、該読み取ったイメージデータの変換処理として該
レイアウトを回転させるような処理を施してもよい。
ウトの罫線を抽出し、抽出された該レイアウトの罫線に
基づいて該罫線により構成される表構造を解析してもよ
く、該レイアウト解析処理ステップで、該レイアウトの
項目データを抽出してもよい。
ジ中の見出し領域を決定しこの見出し領域中の見出し項
目情報を認識して対応する項目データを決定してもよ
い。
ト記憶部に記憶するように構成されているときは、該レ
イアウト照合処理ステップで、該レイアウト解析処理ス
テップで抽出された該レイアウトの特徴を圧縮して圧縮
したレイアウトの特徴を制約検索条件として該候補レイ
アウト記憶部から圧縮した候補レイアウトを検索し検索
結果に基づいて一致している候補レイアウトがあるかど
うかを照合する。
イアウト情報を学習により更新してもよい。
る様々な帳票や帳票イメージを電子的に自動解析するこ
とにより、従来のエントリシステム(OCRエントリシス
テムやデータエントリシステム等)を利用したエントリ
業務を飛躍的に効率化することができる利点がある。
て、レイアウトログ情報を作成して候補レイアウト記憶
部に学習登録することにより、以降は自動的に同一レイ
アウトを有する帳票の判別が可能となるため、専用帳票
作成にかかる労力やコストを削減するとともに、学習後
はすぐにエントリが可能となるため、本装置によるシス
テムの導入期間の短縮を図ることができる。
るため、裁断誤差や印刷誤差の少ない高価な専用OCR帳
票以外の帳票の自動認識処理を行なうことができる。
で情報が記入された媒体から読み取ったイメージに基づ
いて、該情報の認識を行なう媒体処理方法であって、読
み取ったイメージのデータから、該イメージのレイアウ
トの特徴を抽出する特徴抽出ステップと、該特徴抽出ス
テップで抽出された該レイアウトの特徴に応じて複数の
論理原点抽出方法の中から選択された最適な論理原点抽
出方法により、該フォーマットの論理的な原点を抽出す
る論理原点抽出ステップと、該論理原点抽出ステップで
抽出された論理的な原点を基準にして、該特徴から認識
すべき情報の存在する位置を特定する情報存在位置特定
ステップと、該情報存在位置特定ステップで特定された
位置でのイメージを認識する際に、該論理原点抽出ステ
ップで抽出された論理的な原点を基準にして、該情報を
判別するイメージ認識ステップとを備えて構成されたこ
とを特徴としている。
マットの論理的な原点を抽出するほかに該論理的な原点
に対して補助的な情報を付与する論理原点補助座標情報
を抽出するとともに、該イメージ認識ステップにおい
て、上記の論理的な原点及び論理原点補助座標情報を基
準にして該応報を判別してもよい。
により構成される表構造を構成する角部のうちの一つの
角部に関連する座標情報を抽出してもよい。
りの角部に関連する座標情報を抽出してもよい。
罫線により構成される表構造を構成する角部のうち最小
X座標,最小Y座標を有する角部の座標情報を抽出して
もよい。
れぞれ最大X座標,最小Y座標を有する角部、最小X座
標,最大Y座標を有する角部、最大X座標,最大Y座標
を有する角部の座標情報を抽出してもよい。
イアウト中の項目データの外接矩形の角部のうちの一つ
の角部に関連する座標情報を抽出してもよい。
外接矩形の残りの角部に関連する座標情報を抽出しても
よい。
該外接矩形の角部のうち最小X座標,最大Y座標を有す
る角部の座標情報を抽出してもよい。
外接矩形における最大X座標,最小Y座標を有する角
部、最小X座標,最大Y座標を有する角部、最大X座
標,最大Y座標を有する角部の座標情報を抽出してもよ
い。
ータから抽出された罫線項目や項目データに基づいて処
理対象の帳票のレイアウト解析を行ない、レイアウト解
析により得られた領域の角部の座標のうちの所定の座標
を論理原点座標及び補正座標とすることにより、基準マ
ーク等が印字された専用帳票以外の一般帳票のイメージ
データからでも論理原点座標及び補正座標を抽出するこ
とができる利点がある。
補正座標を同時に抽出することにより、レイアウト照合
処理での論理原点の照合時に、確実に一致を取ることが
可能となる。
を照合することを通じて論理原点の照合を行なっている
ので、イメージ読み取り時の位置ズレが起こった場合で
も確実にレイアウトの照合処理を行なえるようになる。
トで情報が記入された媒体から読み取ったイメージに基
づいて、該情報の認識を行なう媒体処理方法であって、
候補レイアウトおよび該候補レイアウトを圧縮処理した
参照圧縮情報を記憶する記憶ステップと、読み取ったイ
メージのデータから、該イメージのレイアウトの特徴を
抽出して、該レイアウトの特徴から認識すべき情報の存
在する位置を特定する情報存在位置特定ステップと、該
情報存在位置特定ステップで抽出された該レイアウトの
特徴を圧縮処理する特徴圧縮処理ステップと、該特徴圧
縮処理ステップで圧縮処理した該レイアウトの特徴を制
約検索条件として、該記憶ステップで記憶された該参照
圧縮情報を検索し、一致している参照圧縮情報であるか
どうかを照合するレイアウト照合処理ステップと、該レ
イアウト照合処理ステップにおける該参照圧縮情報を用
いた照合結果に基づき、一致している参照圧縮情報に対
応する候補レイアウトを使用しながら、該情報存在位置
特定ステップで特定された位置でのイメージを認識し
て、該情報を判別するイメージ認識ステップとをそなえ
て構成されたことを特徴としている。
たイメージデータについて斜行補正及び歪み補正処理を
施してもよい。
メージデータについて、罫線項目を構成する水平罫線を
参照して該罫線項目の上側罫線が同一罫線を共有する罫
線項目に対して同一Y座標化処理を施すとともに、上記
読み取ったイメージデータについて、罫線項目を構成す
る垂直罫線を参照して該罫線項目の左側罫線が同一罫線
を共有する罫線項目に対して同一X座標化処理を施す。
るビット列に変換しこのビット列を圧縮処理してこれを
マトリックステーブルとして設定する。
の構成要素の一つである罫線項目のレイアウトを圧縮処
理してマトリックステーブルとして表現し、レイアウト
の照合時にそのマトリックステーブル同士を照合するこ
とにより、レイアウト照合処理速度が罫線項目の数に依
存せず、照合対象レイアウト数に直線的に比例するだけ
になり、大量の帳票のレイアウトの照合処理を高速に行
なうことができる利点がある。
ブルの圧縮処理に先立って、読み取られたイメージデー
タについて、斜行補正及び歪み補正処理を施すととも
に、角罫線項目に対して同一Y座標化処理及び同一X座
標化処理を施すことにより、イメージデータの読み取り
時に生じるレイアウトの変動を吸収することができる。
で情報が記入された媒体から読み取ったイメージに基づ
いて、該情報の認識を行なう媒体処理方法であって、読
み取ったイメージのレイアウトの特徴を抽出して、該レ
イアウトの構成を解析し、該レイアウトを論理的に表現
するレイアウト解析処理ステップと、該レイアウト解析
処理ステップで解析されたレイアウト構成をディスプレ
イ上に表示して、この表示されたレイアウト構成につい
て、所定の特徴データ認識領域を設定して、この領域内
の標章情報に対応するコードデータを外部入力装置を通
じて入力し、更に上記の特徴データ認識領域とコードデ
ータとから領域特徴データを作成する領域特徴データ作
成ステップと、該領域特徴データ作成ステップで作成さ
れた領域特徴データと該レイアウト解析処理ステップで
解析され該領域特徴データを作成する際に使用されたレ
イアウト構成とをリンクさせて登録する登録ステップ
と、その後、別に読み取ったイメージの特徴を抽出し
て、レイアウトの構成を解析したあと、該登録ステップ
でリンクして登録された該領域特徴データと該レイアウ
ト構成とを参照データとして検索し、一致するものがあ
るかどうかを照合する照合ステップとをそなえて構成さ
れたことを特徴としている。
対応するコードデータを入力する際に、該標章情報に対
応する意味付けをもったコードデータを入力する。
置と同様の領域イメージ特徴抽出機構及び特徴照合機構
を機能拡張して、レイアウト認識システムと組み合わせ
ることにより、指定された領域における任意の図形イメ
ージの認識処理をレイアウト認識処理と連動して行なう
ことが可能となる。
リンクして記録されるため、レイアウト単位で照合対象
を限定することが可能となり、これにより、通常の文字
認識装置のように大量の照合処理を行なう必要がなくな
るとともに、高い認識率を実現することが可能となる。
目として指定すれば、通常の文字認識では認識できない
ゴム印やサイン等の項目を認識することができ、ゴム印
やサイン等の項目の特徴領域の認識結果として対応する
コードデータを取得することができる。
で情報が記入された媒体から読み取ったイメージに基づ
いて、該情報の認識を行なう媒体処理装置であって、読
み取ったイメージのレイアウトの特徴を抽出して、該レ
イアウトの構成を解析し、該レイアウトを論理的に表現
するレイアウト解析処理部と、該レイアウト解析処理部
で抽出した特徴により、表構造部分の見出し位置探索ル
ール及び表構造以外の見出し位置探索ルールに従って該
イメージ中の見出し領域を決定し、この見出し領域中の
見出し項目情報を認識する見出し項目解析処理部と、該
見出し解析処理部で認識した見出し項目情報に基づき、
項目データ探索ルールに従って各見出し項目に対応する
項目データ領域を決定し、この項目データ領域中の項目
データ情報を認識する項目データ解析処理部とをそなえ
て構成されたことを特徴としている。
ウト解析処理ステップで、読み取ったイメージのレイア
ウトの特徴を抽出して、該レイアウトの構成を解析し、
該レイアウトを論理的に表現し、見出し項目解析処理ス
テップで、該レイアウト解析処理ステップで抽出した特
徴に基づき、表構造部分の見出し位置探索ルール及び表
構造以外の見出し位置探索ルールに従って該イメージ中
の見出し領域を決定し、この見出し領域中の見出し項目
情報を認識し、項目データ解析処理ステップで、該見出
し解析処理ステップで認識した見出し項目情報に基づ
き、項目データ探索ルールに従って各見出し項目に対応
する項目データ領域を決定し、この項目データ領域中の
項目データ情報を認識することにより、任意のフォーマ
ットで情報が記入された媒体から読み取ったイメージに
基づいて該情報の認識を行なう。
ウトの構成解析結果に基づいて見出し位置候補を決定す
る見出し位置候補決定ステップと、このステップで決定
された見出し位置候補に対し該見出し領域中の該見出し
項目情報を照合する見出し項目照合ステップとを含んで
いることを特徴としている。
合に際し、照合させるべきイメージデータに正規化処理
を施してから見出し項目の照合処理を施してもよい。
帳票イメージの罫線項目構成から見出し位置を探索照合
して、帳票上に記載された見出しと対応する項目情報を
自動的に解析する見出し解析処理を行なうことにより、
レイアウト認識処理により見出し項目及び見出し項目と
対応する項目データが識別できるので、見出し項目の文
字認識処理を行なうことなく直ちに項目データの文字認
識を行なうことができる利点がある。
の情報が記入された媒体としての帳票についてそのイメ
ージデータを読み取るイメージデータ読取装置と、該イ
メージデータ読取装置によって読み取られた帳票のイメ
ージデータを格納するイメージデータ格納メモリと、該
イメージデータ格納メモリに格納された該帳票のイメー
ジデータから該帳票上に記載されている所要の情報を指
示し、該指示された記載情報における位置情報、大きさ
情報及びデータ情報からなる帳票識別情報を抽出する帳
票識別情報抽出手段と、該帳票識別情報抽出手段で抽出
された該帳票識別情報を特定帳票の帳票識別手段として
登録する帳票識別辞書と、該イメージデータ読取装置に
よって読み取られ該イメージデータ格納メモリに格納さ
れた任意の帳票のイメージデータ中に該帳票識別辞書に
登録されている該帳票識別情報があるかどうかを参照す
る参照手段と、該参照手段での参照結果に基づいて該任
意の帳票が該特定帳票であるかどうかを識別する帳票識
別手段とをそなえたことを特徴としている。
要の情報が記入された媒体としての帳票についてそのイ
メージデータを読み取るイメージデータ読取装置と、該
イメージデータ読取装置によって読み取られた帳票のイ
メージデータをそれぞれ格納するイメージデータ格納メ
モリ及びファイルメモリと、該イメージデータ格納メモ
リに格納された該帳票のイメージデータから該帳票上に
記載されている所要の情報を指示し、該指示された記載
情報における位置情報、大きさ情報及びデータ情報から
なる帳票識別情報を抽出する帳票識別情報抽出手段と、
該帳票識別情報抽出手段で抽出された該帳票識別情報を
特定帳票の帳票識別情報として登録する帳票識別辞書
と、該ファイルメモリに格納されている該特定帳票のイ
メージデータを読み出し該特定帳票のイメージデータ中
に該帳票識別辞書に登録されている該投票識別情報があ
るかどうかを検証する検証手段と、該検証手段での検証
結果に基づいて該特定帳票の認識ができるかどうかを判
定する判定手段と、該イメージデータ読取装置によって
読み取られ該イメージデータ格納メモリに格納された任
意の帳票のイメージデータ中に該帳票識別辞書に登録さ
れている該帳票識別情報があるかどうかを参照する参照
手段と、該参照手段での参照結果に基づいて該任意の帳
票が該特定帳票であるかどうかを識別する帳票識別手段
とをそなえたことを特徴としている。
に、該帳票識別手段が該判定手段を兼用してもよい。
ジデータ読取装置によって読み取られたところのフォー
マットに所要の情報が記入された媒体としての特定帳票
のイメージデータから該特定帳票上に記載されている記
載されている情報のうち任意の情報を指示し、該指示さ
れた記載情報における位置情報、大きさ情報及びデータ
情報からなる帳票識別情報を抽出して該帳票識別情報を
帳票識別辞書に登録し、その後任意の帳票のイメージデ
ータをイメージデータ読取装置によって読み取り、この
任意の帳票のイメージデータ中に該帳票識別辞書に登録
されている該帳票識別情報があるかどうかを参照するこ
とにより該任意の帳票が該特定帳票であるかどうかを識
別する。
装置によって読み取られたところのフォーマットに所要
の情報が記入された媒体としての特定帳票のイメージデ
ータから該特定帳票上に記載されている情報のうち任意
の情報を指示し、該指示された記載情報における位置情
報、大きさ情報及びデータ情報からなる帳票識別情報を
抽出して該帳票識別情報を帳票識別辞書に登録し、その
後再度該特定帳票のイメージデータを入力して、該入力
された特定帳票のイメージデータ中に該帳票識別辞書に
登録されている該帳票識別情報があるかどうかを検証す
ることにより該特定帳票の認識ができるかどうかを判定
して、該特定帳票の認識ができた場合に任意の帳票のイ
メージデータをイメージデータ読取装置によって読み取
り、この任意の帳票のイメージデータ中に該帳票識別辞
書に登録されている該帳票識別情報があるかどうかを参
照することにより該任意の帳票が該特定帳票であるかど
うかを識別する。
においては、該イメージデータ読取装置によって読み取
られた該特定帳票のイメージデータをディスプレイ上に
表示し、この表示された該特定帳票のイメージデータに
ついて該特定帳票上に記載されている該帳票識別情報の
イメージを含む領域を指定することにより該帳票識別情
報を抽出してもよい。
おいては、該イメージデータ読取装置によって読み取ら
れた該特定帳票のイメージデータから、該特定帳票上に
記載されている特定の帳票識別情報を自動的に抽出して
もよい。
において、該帳票識別情報の該帳票識別辞書への登録時
に読み取った該特定帳票のイメージデータを記憶してお
き、該入力された特定帳票のイメージデータ中に該帳票
識別辞書に登録されている該帳票識別情報があるかどう
かを検証する際において、この記憶された該特定帳票の
イメージデータを再度該特定帳票のイメージデータとし
て入力して、該入力された特定帳票のイメージデータ中
に該帳票識別辞書に登録されている該帳票識別情報があ
るかどうかを検証することにより該特定帳票の認識がで
きるかどうかを判定してもよい。
ータ読取装置でイメージデータを読み取った帳票の種別
を自動識別することができるので、イメージ読取装置に
て読み取るべき帳票が複数種類混在していても、オペレ
ータは帳票毎の定義体を意識することなく処理すること
ができ、作業の効率化を図ることができる利点があるほ
か、帳票自体の識別用のID番号等を記載しておく必要が
なく、一般的な帳票を用いることができ、既存のシステ
ムに対して容易に適応することができる利点もある。
否かを検証することができるので、帳票の誤判別が皆無
となり、装置の信頼性が向上する利点がある。
票識別手段が判定手段を兼用していることにより、装置
構成を簡素なものとすることができる利点がある。
の全体構成を示す機能ブロック図である。
理装置における処理を説明するための図である。
におけるレイアウト解析処理部の構成を示す機能ブロッ
ク図である。
における帳票処理について説明するための図である。
におけるイメージリーダを示す模式的な斜視図である。
理装置におけるイメージデータの回転補正処理の着目し
た機能ブロック図である。
処理装置において処理される帳票の例を示す図である。
処理装置におけるイメージデータ回転補正処理について
説明するためのフローチャートである。
における原点抽出照合処理の適用を示す処理説明図であ
る。
明の一実施形態にかかる媒体処理装置において処理され
る帳票の例を示す図である。
における論理原点抽出処理について説明するためのフロ
ーチャートである。
における論理原点補正座標の一致判定を説明するための
図である。
にかかる媒体処理装置において処理される帳票の例を示
す図である。
における論理原点照合処理について説明するためのフロ
ーチャートである。
におけるマトリックス照合処理に着目した処理説明図で
ある。
におけるマトリックステーブル作成処理について説明す
るための図である。
にかかる媒体処理装置におけるマトリックステーブル作
成処理の際のイメージデータの座標の正規化処理につい
て説明するための図である。
処理装置におけるマトリックステーブル作成処理の際の
ビットテーブル作成処理について説明するための図であ
る。
において作成されるマトリックステーブルについて説明
するための図である。
処理装置におけるマトリックステーブル照合処理につい
て説明するためのフローチャートである。
にかかる媒体処理装置におけるマトリックステーブル照
合処理の際のマトリックス情報を示す図である。
における特徴データ認識処理に着目した処理説明図であ
る。
処理装置における特徴データ認識処理について説明する
ための図である。
処理装置において処理される為替総合振込帳票について
説明するための図である。
における見出し解析処理に着目した処理説明図である。
における見出し解析処理で使用される罫線項目構成情報
について説明するための図である。
における見出し解析処理で使用される罫線項目構成情報
のうちの罫線属性について説明するための図である。
実施形態にかかる媒体処理装置における見出し解析処理
で使用される罫線項目構成情報テーブルについて説明す
るための図である。
施形態にかかる媒体処理装置における見出し解析処理で
使用される見出し位置探索ルールについて説明するため
の図である。
における見出し解析処理について説明するためのフロー
チャートである。
における見出し解析処理の結果の一例を示す図である。
(c),FIG.48(a)〜FIG.48(c)は、本発明の一実
施形態にかかる媒体処理装置における見出し解析処理の
際に見出し例を示す図である。
における見出し解析処理の際の正規化処理の一例を示す
図である。
における見出し解析処理で使用される項目見出し辞書に
ついて説明するための図である。
にかかる媒体処理装置における見出し解析処理の際の見
出し項目データの照合結果の一例を示す図である。
にかかる媒体処理装置における見出し解析処理の際の見
出し補正ルールによる照合結果の補正について説明する
ための図である。
における見出し解析処理について説明するためのフロー
チャートである。
(f)は、本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される見出し部罫線項目と
データ部罫線項目との接続ルールについて説明するため
の図である。
における見出し解析処理の際の見出し項目に対応する項
目データ位置の決定結果の一例を示す図である。
処理装置における見出し解析処理の際の各情報のリンク
関係について説明するための図である。
にかかる媒体処理装置における見出し解析処理の際に機
能項目にリンクされる項目データについて説明するため
の図である。
にかかる媒体処理装置における見出し解析処理の際の金
額項目リンク処理について説明するための図である。
タ表示装置の構成を示す模式図である。
ージデータ表示装置の機能ブロック図である。
ージデータ表示装置の動作を説明するためのフローチャ
ートである。
タ表示装置のディスプレイ表示例を説明するための図で
ある。
タ表示装置で作成された関連情報を説明するための図で
ある。
タ表示装置で作成された強調情報を説明するための図で
ある。
ージデータ表示装置のディスプレイ表示例を説明するた
めの図である。
タ表示装置で作成された強調情報を説明するための図で
ある。
ージデータ表示装置のディスプレイ表示例を説明するた
めの図である。
表示・認識情報修正装置の構成を示す模式図である。
取り標章表示・認識情報修正装置の機能ブロック図であ
る。
取り標章表示・認識情報修正装置の動作を説明するため
のフローチャートである。
表示・認識情報修正装置で作成された全面イメージを説
明するための図である。
表示・認識情報修正装置で作成された認識文字情報を説
明するための図である。
章表示・認識情報修正装置で作成された関連情報を説明
するための図である。
み取り標章表示・認識情報修正装置の表示例を説明する
ための図である。
かる帳票識別装置を示すブロック図である。
かる帳票識別装置の登録ステップ動作時に着目した制御
ブロック図である。
かる帳票識別装置の登録ステップ動作時の動作を説明す
るためのフローチャートである。
かる帳票識別装置の登録ステップ動作時の動作を説明す
るための図である。
かる帳票識別装置の検証ステップ動作時に着目した制御
ブロック図である。
かる帳票識別装置の登録ステップ動作時の動作を説明す
るためのフローチャートである。
かる帳票識別装置の運用ステップ動作時に着目した制御
ブロック図である。
かる帳票識別装置の運用ステップ動作時の動作を説明す
るためのフローチャートである。
かる帳票識別装置の制御ブロック図である。
かる帳票識別装置の動作を説明するためのフローチャー
トである。
る。
である。
ための図である。
基準点の抽出方法を説明するための図である。
るための図である。
の全体構成を示す機能ブロック図である。
のように多種多様なフォーマットを有する帳票媒体(帳
票)から読み取ったイメージデータ(イメージ)に基づ
いて、この情報の認識を行なうものである。
うに、例えば金融機関の各支店(営業店)毎に設置され
たクライアント(CL)35と、地区センタに設置されたサ
ーバ(SV)39とが、交換回線36等を介して接続されるこ
とにより構成され、各営業店における帳票処理を地区セ
ンタのサーバ39により一括して行なうものである。
のレイアウトを解析することにより処理対象の帳票のフ
ォーマットを認識し、この帳票のフォーマットの認識結
果に基づいて帳票の文字認識を行なうことにより、帳票
処理装置専用に作成された帳票だけでなく、任意のフォ
ーマットで情報が記入された帳票の認識処理を行なうこ
とができるものである。
ように、レイアウト認識処理ブロック16,文字認識処理
ブロック17及びオペレータ確認/修正処理ブロック18を
そなえている。
取装置により読み取られたイメージデータ19のレイアウ
ト認識処理を行なうブロックであり、解析前処理部1,レ
イアウト解析処理部2,レイアウト照合処理部3及びレイ
アウト編集処理部4をそなえている。
立って、レイアウトの変動要因を少なくして解析精度を
高めるために、認識対象イメージデータ19の形式変換後
に、解析処理用の低密度イメージの作成を行うととも
に、解析処理時に精度低下の要因となるイメージデータ
上のゴミ等の除去を行うものである。
照して、読み取ったイメージデータからレイアウトの特
徴である罫線項目及び項目データを抽出して、レイアウ
トの構成を解析し、この抽出した罫線項目及び項目デー
タによりレイアウトを論理的に表現するものである。
ジデータから、帳票媒体固有の特徴を抽出し、この特徴
により認識すべき情報の存在する位置を特定する手段と
して機能するものである。
メージのレイアウトを解析して、レイアウトを構成して
いる各種の構成要素(罫線項目及び項目データ)をレイ
アウト特徴として抽出するとともに、後段のレイアウト
照合処理部3でのレイアウト照合処理時に登録済レイア
ウト情報を検索するために、この抽出されたレイアウト
特徴からレイアウトの大まかな制約条件であるレイアウ
トのキー情報を作成するものである。
に、イメージのレイアウトの特徴を抽出するレイアウト
特徴抽出部2Aと、レイアウト特徴抽出部2Aで抽出された
レイアウトの特徴に基づいてレイアウトの構成を解析す
るレイアウト解析部2Bとを少なくとも含んで構成されて
いる。
目データ抽出部2Dをそなえており、レイアウト解析部2B
は表構造解析部2Eをそなえている。
有している場合には、罫線抽出部2Cでレイアウトの罫線
から形成される最小矩形である罫線項目が抽出され、抽
出された罫線項目に基づいて、表構造解析部2Eで罫線項
目により構成される表構造が解析されるようになってい
る。
している場合には、項目データ抽出部2Dでレイアウトの
項目データが抽出され、抽出されたレイアウトの項目デ
ータに基づいて、表構造解析部2Eで無罫線表構造が解析
されるようになっている。
データを抽出してから、レイアウトの論理的な原点(論
理原点)を抽出するように構成されている。
(2−1)ラベリング処理によるラベル画像の作成,
(2−2)レイアウト照合用の帳票イメージの論理原点
及び斜度情報の抽出,(2−3)罫線項目の抽出と罫線
項目により構成される表構造の解析(前述にて説明
済),(2−4)項目データの抽出と無罫線表時の項目
表構造の解析(前述にて説明済)及び(2−5)見出し
領域の決定と見出し項目の認識,対応する項目データの
決定(見出し解析処理)、が行なわれている。
の作成処理は、入力されたイメージデータ(2値画像デ
ータ)から連結成分(2値画像において1つに繋がった
画像の成分)を算出して、各連結成分毎にラベルを付け
たラベル画像を作成する処理のことである。なお、この
ラベリング処理については、例えば、「連結領域の抽出
装置及び方法」(特開平08−55219号)が公知である。
まれた文字や図形等のデータから罫線部分を抽出して、
罫線部分とデータ部分とを分離する処理のことである。
なお、この罫線項目の抽出処理については、例えば「画
像抽出方式」(特開平06−309498号)が公知である。
の見出し領域(見出し項目)を決定して、この見出し領
域中の見出し項目情報を認識して、対応する項目データ
を決定するものである。
2において見出し項目及び見出し項目と対応する項目デ
ータを識別することにより、文字認識処理ブロック17に
おいて見出し項目の文字認識処理を行なうことなく直ち
に項目データの文字認識を行なえるようにしている。
出照合処理の説明にて、処理(2−5)については(a
6)見出し解析処理の説明にて、それぞれ詳細に説明す
る。
析処理部2で抽出されたレイアウトの特徴(罫線項目及
び項目データ)を制約検索条件として、レイアウトデー
タベース(レイアウトDB)14から候補レイアウトを検索
して、一致している候補レイアウトがあるかどうかを照
合することにより、レイアウト解析処理部2で特定され
た位置でのイメージを認識して、特定された位置におけ
る情報を判別するイメージ認識手段として機能するもの
である。
憶している候補レイアウト記憶部であり、本実施形態に
おいては、候補レイアウト情報として圧縮された候補レ
イアウト情報を記憶している。なお、このときのレイア
ウト情報の圧縮処理については、後述にて詳細に説明す
る。
でのレイアウト解析結果を補正するためのレイアウト補
正情報が格納されており、本実施形態においては、後述
するレイアウト編集処理部4において、このレイアウト
補正情報を用いてレイアウト解析結果を補正することに
より、その後の処理を高い精度で行なえるようになって
いる。
候補レイアウト情報を、レイアウト認識処理ブロック16
やオペレータ確認/補正処理ブロック18での処理結果に
基づいて学習,更新されるようになっており、これによ
り、オペレータ等による候補レイアウト情報のレイアウ
トDB14への登録操作を不要として操作の簡素化を図って
いる。
理部2で抽出された論理原点を基準にして、一致してい
る候補レイアウトがあるかどうかを照合するようになっ
ている。
理部2で作成されたレイアウトキー情報を使用して、レ
イアウトDB14に格納されているレイアウト情報を検索照
合し、一致するレイアウト情報を取得するものである。
アウトの検索照合を行なう際には、先ず大まかな制約条
件であるレイアウトキー情報を制約条件としてレイアウ
トDB14を検索し、検索の結果得られた複数の候補レイア
ウトに対して、更に詳細な照合を行うことにより一致す
るレイアウトを決定するようになっている。
補レイアウトに対する詳細な照合処理の際に、制約条件
の大まかなものから順に、(3−1)罫線項目ビットマ
トリクスの照合,(3−2)罫線項目位置と罫線項目属
性の詳細な照合,(3−3)項目データ位置の照合,
(3−4)見出し位置と見出し内容の照合及び(3−
5)領域イメージ(ユニークイメージ)の特徴データ照
合、が行なわれている。
合処理とは、レイアウト解析処理部2で抽出されたレイ
アウトの特徴を圧縮処理し、この圧縮したレイアウトの
特徴を制約検索条件として、レイアウトDB14から圧縮し
た候補レイアウトを検索することにより、一致している
候補レイアウトがあるかどうかを照合するものである。
した候補レイアウト情報を記憶して、レイアウト照合処
理部3において圧縮処理したレイアウト情報を作成して
圧縮したレイアウト情報同士を照合することにより、レ
イアウト照合処理の高速化を図っているのである。
照合処理の説明にて、処理(3−2)〜(3−4)につ
いては(a6)見出し解析処理の説明にて、処理(3−
5)については(b)本発明の一実施形態の変形例の説
明にて、それぞれ詳細に説明する。
処理部3でレイアウトDB14を検索照合した結果、レイア
ウトDB14に一致するレイアウトが存在する場合には、前
述のごとく、レイアウトDB14から取得したレイアウト補
正情報に基づいてレイアウト解析結果を補正した後に、
補正されたレイアウト情報をレイアウト認識結果20とし
て出力するものである。
し位置と見出し内容の補正と、見出しにリンクする項目
データ位置及び項目データ属性の補正である。
理部3でレイアウトDB14を検索照合した結果、レイアウ
トDB14に一致するレイアウトが存在しない場合には、新
規レイアウトとして、レイアウト解析結果をそのままレ
イアウト情報(レイアウト認識結果20)として出力する
ものである。
識処理ブロック16からのレイアウト認識結果20の文字認
識処理を行なうブロックであり、文字認識用定義体作成
部5,文字認識処理部6及び知識処理部7をそなえてい
る。
識結果20として出力されるレイアウト情報をもとに、文
字認識処理部6で使用する文字認識対象の項目データ位
置と項目データ属性を定義した文字認識用定義体(一時
定義体)21を作成するものである。
イメージの左上端からの絶対座標で出力するが、イメー
ジ読み取り時の用紙位置の変動により、解析対象イメー
ジの左上端が常に一定の位置になるとは限らない。
イメージに合わせてその都度、文字認識用定義体21を動
的に作成しているのである。
部5で、レイアウト情報より作成された文字認識用定義
体21を使用して、文字認識対象の項目データについて文
字認識処理を行ない、認識結果のコードデータを取得す
るものである。
果コードデータを、認識結果の補正情報を記録した知識
データベース(知識DB)15を参照して補正し、文字認識
結果22として出力するものである。
イアウト認識結果20及び文字認識結果22が、端末装置
(例えばFIG.1におけるクライアント10)に表示され
て、オペレータによりイメージデータの処理結果の確認
及び修正処理が行なわれるブロックであり、レイアウト
画面表示処理部8及び文字認識結果画面表示処理部9を
そなえている。
によるレイアウト認識結果20及び文字認識結果22の修正
及び確認のため、レイアウト認識結果20のレイアウト情
報をもとに、認識対象イメージと見出し位置や見出し内
容及び対応する項目位置等の解析結果をクライアント10
のディスプレイに表示するものである。
及び修正処理の説明にて詳細に説明するように、従来の
修正及び確認処理を拡張して、認識結果のコードデータ
と、対応する帳票イメージ上の見出し内容や項目データ
とをリンクしてクライアント10のディスプレイに表示す
ることにより、レイアウト情報の修正及び確認処理を行
えるようになっている。
画面表示処理部8の表示に合わせて、文字認識対象イメ
ージの認識項目に対応する文字認識結果のコードデータ
を画面表示するものである。
示された認識対象イメージと対応するレイアウト認識結
果20や文字認識結果22がオペレータにより確認され、必
要に応じてレイアウト認識結果20及び文字認識結果22の
修正が行なわれる。
アウト認識処理ブロック16,文字認識処理ブロック17及
びオペレータ確認/修正処理ブロック18のほかに、レイ
アウトログ情報作成処理部11及び知識ログ情報作成処理
部12もそなえている。
ウト認識結果20のレイアウト情報に、オペレータによる
修正内容を補正データとして付加してレイアウトDB学習
情報25(後述するFIG.4では、これを学習用レイアウト
情報28で示している)を作成することにより、レイアウ
トDB14に格納されるレイアウト補正情報を作成するもの
である。なお、作成されたレイアウト補正情報は、補正
内容が判断された上、レイアウトDB14に学習登録され
る。
ト認識結果20のレイアウト情報に、オペレータによる修
正内容を補正データとして付加して解析用辞書学習情報
24(後述するFIG.4では、これを登録用レイアウト情報2
9で示している)を作成するものであり、作成された解
析用辞書学習情報24は、補正内容が判断された上、解析
用辞書13に学習登録される。
22のコードデータに、オペレータによる修正内容を補正
データとして付加して知識DB15用の知識学習情報23を作
成するものであり、作成された学習データは、知識DB15
に学習登録される。
処理装置30においては、任意のフォーマットを有する帳
票のイメージデータ19が読み取られると、このイメージ
データ19のレイアウトが解析されることにより処理対象
の帳票のフォーマットが認識され、この帳票のフォーマ
ットの認識結果に基づいて帳票の文字認識が行なわれ
る。
は、オペレータにより確認され、必要に応じて修正され
る。
〜FIG.4を用いて説明する。
レイアウトである場合の処理についてFIG.2に基づいて
説明する。
理部1では、処理対象の帳票のイメージデータ19の解析
前処理が施される(ステップA1)。
ジからレイアウトの構成要素である罫線項目や項目デー
タが抽出され、レイアウト解析辞書13を参照してレイア
ウト内の見出し項目位置及びその内容と対応する項目デ
ータ位置が解析結果として出力される(ステップA2)。
は、読み取ったイメージデータから、帳票媒体固有の特
徴を抽出し、この特徴により認識すべき情報の存在する
位置を特定する情報存在位置特定ステップであり、読み
取ったイメージのレイアウトの特徴を抽出して、レイア
ウトの構成を解析し、抽出した特徴によりレイアウトを
論理的に表現するものである。
ウトの罫線項目や項目データを抽出してから、レイアウ
トの論理原点を抽出するステップを含むとともに、読み
取ったイメージのレイアウトが所定の方向であるかどう
かを判定するステップと、このステップでの判定結果に
基づきレイアウトが所定の方向となるように読み取った
イメージデータを変換するステップとを含んでいる。な
お、読み取ったイメージデータの変換処理は、レイアウ
トを回転させるような処理であり、この処理について
は、後述する(a3)イメージデータの回転補正処理の説
明にて詳細に説明する。
有している場合には、レイアウト解析処理ステップA2
は、イメージデータから罫線項目を抽出するステップ
と、このステップで抽出された罫線項目に基づいて罫線
により構成される表構造を解析するステップとを含んで
いる。
している場合には、レイアウト解析処理ステップA2が、
イメージデータから項目データを抽出するステップ
と、、このステップで抽出された項目データに基づいて
無罫線表構造を解析するステップとを含んでいる。
ージ中の見出し領域を決定しこの見出し領域中の見出し
項目情報を認識して対応する項目データを決定するステ
ップを含んでいる。
イアウト構成要素(罫線項目や項目データ)を検索条件
としてレイアウトDB14を検索するが、処理対象の帳票が
新規のものであるため、該当するレイアウトはレイアウ
トDB14に存在せず、候補レイアウト情報及びレイアウト
の補正情報は取得されない(ステップA3)。
は、ステップA2で特定された位置でのイメージデータを
認識して、特定された位置における情報を判別するイメ
ージ認識ステップであり、ステップA2で抽出されたレイ
アウトの特徴を制約検索条件として、レイアウトDB14に
記憶されている候補レイアウトを検索することにより、
一致している候補レイアウトがあるかどうかを照合する
ものである。
プA2で抽出された論理的な原点を基準にして、情報を判
別するステップを含むとともに、ステップA2で抽出され
たレイアウトの特徴を圧縮処理する圧縮処理ステップ
と、このステップで圧縮したレイアウトの特徴を制約検
索条件としてレイアウトDB14から圧縮した候補レイアウ
トを検索するステップと、このステップでの検索結果に
基づいて一致している候補レイアウトがあるかどうかを
照合するステップとを含んでいる。
合の結果、ステップA3において候補レイアウト情報及び
レイアウトの補正情報が取得されないことから、レイア
ウト認識結果20が補正情報なしの状態で作成される(ス
テップA4)。
では、ステップA4において作成されたレイアウト認識結
果20のレイアウト情報をもとに、一時定義体21が作成さ
れる(FIG.4のステップA14)。
て作成された一時定義体21を使用して、文字認識対象の
項目データについて文字認識処理が行われ、認識結果の
コードデータが取得される(FIG.4のステップA15)。
得された認識結果コードデータが、認識結果の補正情報
が記録された知識DB15を参照して補正され、文字認識結
果22が作成される(FIG.4のステップA16)。
アウト画面表示処理部8では、ステップA4において作成
されたレイアウト認識結果20を参照して、見出し項目内
容及びその位置と対応する項目データ位置(FIG.4に示
すレイアウト解析情報26)がクライアント10のディスプ
レイに出力されるとともに、読み取られたイメージデー
タ(FIG.4に示す画面表示イメージ27)がクライアント1
0のディスプレイに出力される(ステップA5)。
ト画面表示処理部8による表示に合わせて、文字認識対
象イメージの認識項目に対応する文字認識結果22(この
文字認識結果22はステップA16において作成される)の
コードデータがクライアント10のディスプレイに出力さ
れる。
レイアウト認識結果20や文字認識結果22の確認及び修正
操作がオペレータにより行なわれる(ステップA6)。
ータによるレイアウトの確認及び修正操作の結果からレ
イアウトの補正情報(レイアウトログ情報)が作成され
る(ステップA7)。
情報は、レイアウトの補正情報〔レイアウトDB学習情報
25(学習用レイアウト情報28)及び解析辞書学習情報24
(登録用レイアウト情報29)〕としてレイアウトDB14及
び解析辞書13に反映され、レイアウト学習処理が行なわ
れる(ステップA8)。
レイアウトDB14に学習により更新していくように構成さ
れているのである。
レイアウトである場合の処理についてFIG.2に基づいて
説明する。
ク16の解析前処理部1では、処理対象の帳票のイメージ
データ19の解析前処理が施される(ステップA1)。
ップA2と同様にレイアウトが解析され、レイアウトの解
析結果が出力される(ステップA9)。
イアウト構成要素(罫線項目や項目データ)を検索条件
としてレイアウトDB14を検索することにより、一致する
レイアウトの詳細情報及びレイアウト補正情報が取得さ
れる(ステップA10)。
め、レイアウトDB14検索の結果、該当する候補レイアウ
ト情報が通知され、通知された候補レイアウトに対して
レイアウトの詳細情報を照合してレイアウトの一致性が
判定される。
レイアウト編集処理部4では既存レイアウトとしてステ
ップA11〜ステップA13までの処理が行われる。また、照
合の結果で不一致と判定された場合には、レイアウト編
集処理部4では新規レイアウトとしてステップA4〜ステ
ップA8までの処理が行われる。
14の検索の結果、取得されたレイアウト補正情報をもと
に、レイアウト解析結果の見出し項目内容及びその位置
と対応するデータ位置が補正され、レイアウト認識結果
20が作成される(ステップA11)。
4のステップA14〜ステップA15により説明したものと同
様である。
アウト画面表示処理部8では、ステップA11において作
成されたレイアウト認識結果20を参照して、見出し項目
内容及びその位置と対応する項目データ位置(FIG.4に
示すレイアウト解析情報26)がクライアント10のディス
プレイに出力されるとともに、読み取られたイメージデ
ータ(FIG.4に示す画面表示イメージ27)がクライアン
ト10のディスプレイに出力される(ステップA12)。
ト画面表示処理部8による表示に合わせて、文字認識対
象イメージの認識項目に対応する文字認識結果22(この
文字認識結果22はステップA16において作成される)の
コードデータがクライアント10のディスプレイに出力さ
れる。
イアウト認識結果20の確認操作や文字認識結果22の確認
及び修正操作がオペレータにより行なわれる(ステップ
A13)。
である場合には、ステップA13のレイアウトの確認操作
が終了した時点で、解析対象イメージに対する処理は完
了するため、レイアウトログ情報作成処理部11でのレイ
アウトログ情報の作成は行なわれない。
理について説明する。
読取装置(例えばFIG.6に示すFAX31,イメージスキャナ3
2,DATA−EYE33及び及びFIG.6,FIG.7に示すイメージリー
ダ34)により帳票のイメージデータが読み取られる。
ジリーダ34により読み取られたイメージデータは、クラ
イアント35に送信される。
SDN/公衆網)36及びFAXアダプタ37を介して、また、ク
ライアント35からのイメージデータは、交換回線(ISDN
/公衆網)36及び通信アダプタ38を介して、それぞれ地
区センタのサーバ39へ送信される。
イメージデータの解析処理を自動的に一括して行なうも
のであり、私製伝票認識ソフトコンポーネント40を格納
するとともに、知識データベース(知識DB)15,レイア
ウトデータベース(レイアウトDB)14及び集中文字認識
装置6をそなえている。
認識処理ブロック16及び文字認識処理ブロック17に相当
する機能を有するものであり、これらの機能を与えるよ
うなソフトウェアである私製伝票認識ソフトコンポーネ
ント40が、図示しないハードディスク又はその他のメモ
リにインストールされることにより、相当する処理が行
なわれている。
ジテータの解析処理結果の確認及び修正するために、ク
ライアント(CL)10も設置されている。
レータ確認/修正処理ブロック18に相当する機能を有す
るものであり、クライアント10においては、このような
機能を与えるような適宜のソウトウェアが、図示しない
ハードディスク又はその他のメモリにインストールされ
ることにより、相当する処理が行なわれている。
メージデータのレイアウトや文字認識結果が表示され、
オペレータはこのディスプレイを参照することにより、
イメージデータの解析処理結果の確認及び修正を行なう
ことができる。
込み伝票等の帳票の処理を行なうために、イメージデー
タ読取装置としてのイメージリーダ34及びDATA−EYE33
が接続されており、これらのイメージデータ読取装置に
より読み取られた帳票のイメージデータを、サーバ39へ
送信するようになっている。
ブランチサーバ(BS)41を介して上位装置であるホスト
(図示せず)へ送信される。
置30によれば、日常発生する様々な帳票や帳票イメージ
を電子的に自動解析することにより、従来のエントリシ
ステム(OCRエントリシステムやデータエントリシステ
ム等)を利用したエントリ業務を飛躍的に効率化するこ
とができる。
従来のエントリシステムの専用帳票だけでなく、現存す
る各種任意の帳票をそのまま対象としたエントリシステ
ムを構築することが可能となるのである。
私製総合振込(エンドユーザ作成の総合振込帳票)を自
動的にレイアウト解析することにより、そのまま文字認
識処理及びエントリ処理が可能となり、私製総合振込帳
票の完全な自動認識処理を行なうことができる。
て、レイアウトログ情報を作成してレイアウトDB14に学
習登録することにより、以降は自動的に同一レイアウト
を有する帳票の判別が可能となるため、専用帳票作成に
かかる労力やコストを削減するとともに、学習後はすぐ
にエントリが可能となるため、本装置30によるシステム
の導入期間の短縮を図ることができる。
るため、裁断誤差や印刷誤差の少ない高価な専用OCR帳
票以外の帳票の自動認識処理を行なうことができる。
における原点抽出照合処理の適用を示す処理説明図であ
る。
用して読み取ったイメージは、読み取り時の位置ズレに
より、同一レイアウトの場合でも、個々のレイアウトの
構成要素(罫線項目や項目データ)のイメージの物理原
点からの座標は同一にならない。
の一致を判定する場合、それぞれのレイアウトから抽出
した論理原点位置を突き合わせ、レイアウト構成要素に
ついて論理原点からの相対座標を求め、その相対座標を
使用して照合する必要がある。
のイメージの変動に対しても、安定して抽出される必要
があるため、十分な精度を持ち安定して抽出可能な座標
位置を論理原点として選定する必要がある。
併用して論理原点を抽出することにより、任意のレイア
ウトを有する帳票を処理する際にも、常に安定した論理
原点を抽出しているのである。
は、FIG.14に示すように、レイアウト解析処理部2にお
けるレイアウト解析処理ステップA2(及びA9)は、フォ
ーマットの論理的な原点を抽出する論理原点抽出ステッ
プM1と、このステップM1で抽出された論理的な原点を基
準にしてフォーマットを含む媒体固有の特徴を抽出し抽
出された特徴から認識すべき情報の存在する位置を特定
する情報存在位置特定ステップとをそなえている。
合処理ステップA3(及びA10)は、この情報存在位置特
定ステップで特定された位置でのイメージを認識する際
に、論理原点抽出ステップM1で抽出された論理的な原点
を基準にしてレイアウト照合処理を行なうことにより
(ステップM2)、抽出された特徴における情報を判別す
るイメージ認識ステップをそなえている。
プM1では、フォーマットの論理的な原点を抽出するほか
に、論理的な原点に対して補助的な情報を付与する論理
原点補助座標情報を抽出するようになっており、レイア
ウト照合処理部3のイメージ認識ステップでは、論理的
な原点及び論理原点補助座標情報を基準にしてレイアウ
ト照合処理を行なうことにより(ステップM2)、抽出さ
れた特徴における情報を判別するようになっている。
より構成される表構造を有している場合には、FIG.15
(a)に示すように、フォーマットの論理原点として、
表構造を構成する角部のうち最小X座標,最小Y座標を
有する角部の座標情報〔FIG.15(a)に示す座標A〕が
抽出されるとともに、論理原点補助座標情報として、そ
れぞれ最大X座標,最小Y座標を有する角部、最小X座
標,最大Y座標を有する角部、最大X座標,最大Y座標
を有する角部の座標情報〔それぞれFIG.15(a)に示す
座標Aa,Ab,Ac〕が抽出される。
している場合には、例えばFIG.17に示すように、フォー
マットの論理的原点として、外接矩形の角部のうち最小
X座標,最小Y座標を有する角部の座標情報(FIG.17に
示す座標D)が抽出されるとともに、論理原点補助座標
情報として、外接矩形における最大X座標,最小Y座標
を有する角部、最小X座標,最大Y座標を有する角部、
最大X座標,最大Y座標を有する角部の座標情報(それ
ぞれFIG.17に示す座標Da,Db,Dc)が抽出される。
レイアウト解析部2Bの表構造解析部2Eにおいて行なわれ
る。
出部2Aの罫線抽出部2Cで抽出された罫線項目及びレイア
ウト特徴抽出部2Aの項目データ抽出部2Dで抽出された項
目データに基づいて、罫線項目の外接矩形,罫線項目か
ら形成される表構造の最大外接矩形及び項目データの外
接矩形を解析し、これらの矩形から角部の座標を抽出し
て所定の座標を論理原点座標及び補正座標として設定す
るものである。
FIG.18に示すフローチャートにより説明する。
理原点抽出処理の前処理として、レイアウト特徴抽出部
2Aの罫線抽出部2Cでは、抽出対象であるイメージデータ
から罫線が抽出され(ステップB1)、続いて、抽出され
た罫線により構成される最小矩形が罫線項目として抽出
される(ステップB2)。
罫線項目が抽出されたか否かが判断され(ステップB
3)、罫線項目が抽出された場合であって、抽出された
罫線項目同士が隣接または近傍に同じ幅または高さで位
置する場合には、これらの罫線項目が論理的な関係を持
つ罫線項目群とみなされてグループ化される(ステップ
B4)。
造(ここで表構造とは2行×2列以上の罫線項目群によ
り構成される領域を指す)が存在するか否かが判定され
る(ステップB5)。
では、FIG.15(a)に斜線部Iとして示すような表構造
内の最大矩形領域が抽出され、矩形領域の4隅の座標が
取得される(ステップB6)。
として、残りの右上座標Aa,左下座標Ab,右下座標Acの3
箇所が論理原点の補正座標として設定される(ステップ
B7,B8)。
数の表構造が存在する場合には、表構造解析部2Eでは、
個々の表構造が抽出され(斜線部I参照)、各矩形領域
の4隅の座標が取得される(ステップB6)。
に投影した際の座標B(最小X座標,最小Y座標)〔即
ち(Xo,Yo)〕が論理原点として、座標Ba(最大X座
標,最小Y座標),座標Bb(最小X座標,最大Y座
標),座標Bc(最大X座標,最大Y座標)の3箇所が論
理原点の補正座標として設定される(ステップB7,B
8)。
場合には、表構造解析部2Eでは、FIG.16に斜線部Iとし
て示すような最も外側に位置する罫線項目の矩形領域が
抽出され、各矩形領域の4隅の座標が取得される(ステ
ップB12)。
投影した際の座標C〔(最小X座標,最大Y座標),即
ち(Xo,Yo)〕が論理原点として、座標Ca(最大X座
標,最小Y座標),座標Cb(最小X座標,最大Y座
標),座標Cc(最大X座標,最大Y座標)の3箇所が論
理原点の補正座標として設定される(ステップB13,B1
4)。
の場合には、レイアウト特徴抽出部2Aの項目データ抽出
部2Dでは、レイアウト中の項目データが抽出され、表構
造解析部2Eでは、FIG.17に斜線部Iとして示すような最
も外側に位置する項目データの矩形領域が抽出され、各
矩形領域の4隅の座標が取得される(ステップB9)。
投影した際の座標D〔(最小X座標,最小Y座標),即
ち(Xo,Yo)〕が論理原点として、座標Da(最小X座
標,最小Y座標),座標Db(最小X座標,最大Y座
標),座標Dc(最大X座標,最大Y座標)の3箇所が論
理原点の補正座標として設定される(ステップB10,B1
1)。
された論理原点座標及び論理原点の補正座標のほかに、
論理原点の抽出の際に採用した方法について記録した情
報(即ち、論理原点が表構造,罫線項目及び項目データ
のいずれから抽出されたかを示す情報)である論理原点
抽出方法も取得される。
理原点を表論理原点,罫線項目論理原点及び項目データ
論理原点と呼称する場合がある。
点抽出方法,論理原点座標及び論理原点補正座標が論理
原点情報としてレイアウト照合処理部3へ送出される。
すレイアウト照合処理部3において行なわれる。
アウトにおけるレイアウト構成要素の座標を論理原点か
らの相対座標に変換して、これらの相対座標同士を突き
合わせることにより、それぞれのレイアウトから抽出さ
れた論理原点同士の突き合わせが行なわれる。
等の変動要因により、同一レイアウトの場合でも論理原
点の一致が取れない場合があり得る。
論理原点を動的に再度抽出し、その上で論理原点の一致
を判定する。
G.21に示すフローチャートにより説明する。
ウト解析処理部2での論理原点の抽出には複数の方法が
あるため、論理原点の照合に先立って、論理原点の抽出
方法の一致の判定が行われる(ステップC1,C2)。
すように、レイアウトL1とレイアウトL2のそれぞれの論
理原点補正座標同士が比較されて、論理原点補正座標の
一致が判定される(ステップC3〜C5)。
L1の論理原点座標E(最小X座標,最小Y座標)及びレ
イアウトL2の論理原点座標F(最小X座標,最大Y座
標)基づいて、レイアウトL1の補正座標Ea〜Ec及びレイ
アウトL2の補正座標Fa〜Fcの相対座標(Ea′〜Ec′及び
Fa′〜Fc′)がそれぞれ求められ、これらの相対座標の
一致判定により補正座標の一致判定が行なわれる。
判定を行なうことにより、論理原点の一致が判定され、
レイアウトの照合が行なわれるのである(ステップC
6)。
(6)として示す。
(9)として示す。
(ステップC2参照)や、補正座標が不一致である場合
(ステップC4参照)には、一方のレイアウトの論理原点
情報をもとに、他方のレイアウトの論理原点の再抽出が
行なわれる。
一部分が罫線の掠れにより抽出できなかった場合には、
レイアウトL1の論理原点情報(論理原点抽出方法,論理
原点座標G,補正座標Ga〜Gc)を使用して、FIG.20(b)
に示すように、レイアウトL2における新たな論理原点座
標H′,補正座標H′a,Hb,Hcが抽出される(ステップC
7,C8)。
イアウトL1及びレイアウトL2の論理原点座標及び補正座
標から、FIG.20(a)及びFIG.20(b)において図示す
ように、X座標間の差分Xa,Xb,X′a,X′b及びY座標間
の差分Ya,Yb,Y′a,Y′bがそれぞれ算出される。
して示す。
分があるか否かが判定される。
差分Yaと差分Y′aとが一致しないとともに、差分Ybと
差分Y′bとが一致しないため、レイアウトL1の差分Y
a,Ybと一致する差分をレイアウトL2の各座標から探索す
る。
て、レイアウトL2から論理原点及び補正座標が探索され
るのである(ステップC7,C8参照)。
G.20(b)に示すように、その座標を論理原点H′及び
補正座標H′aとしてとして使用する。
には、レイアウトL2の論理原点抽出方法に従って、レイ
アウトL1から論理原点及び補正座標が上述の場合と同様
に探索される(ステップC9,C10)。
場合は、レイアウトの照合は行なわれない(ステップC1
1)。
置における原点抽出照合処理によれば、イメージデータ
から抽出された罫線項目や項目データに基づいて処理対
象の帳票のレイアウト解析を行ない、レイアウト解析に
より得られた領域の角部の座標のうちの所定の座標を論
理原点座標及び補正座標とすることにより、基準マーク
等が印字された専用帳票以外の一般帳票のイメージデー
タからでも論理原点座標及び補正座標を抽出することが
できる。
動的に選択することにより、処理対象の帳票のレイアウ
トに適した論理原点抽出を行なうことができる。
て補正座標を同時に抽出することにより、レイアウト照
合処理での論理原点の照合時に、確実に一致を取ること
が可能となる。
を照合することを通じて論理原点の照合を行なっている
ので、イメージ読み取り時の位置ズレが起こった場合で
も確実にレイアウトの照合処理を行なえるようになる。
ない場合でも、他のレイアウトの論理原点抽出方法に従
い、補正座標を使用して論理原点の再抽出を行なうこと
により、確実に抽出できる別の点を論理原点とすること
が可能となる。
点を論理原点としたが、これに限定されず、右上端,左
下端及び右下端の点を論理原点としてもよい。
票の読取方向が正しい方向でなければ、イメージデータ
(イメージ)の文字記述方向が正しい方向とならないた
め、文字認識処理を行なうことができない。
30においては、例えば前述した原点抽出処理時に、読み
取られたイメージの方向を判定して、イメージの方向が
誤っていた場合には、正しい方向となるようにイメージ
の回転補正処理を行なうことにより、処理対象の帳票の
読取方向が誤っていた場合でも、後述するイメージのレ
イアウト解析処理や文字認識処理を行なうことができる
ようになっている。
のごとく、FIG.1及びFIG.5に示すレイアウト解析処理部
2において行なわれており、レイアウト解析処理部2
は、イメージデータの回転補正処理を実現するために、
読み取ったイメージのレイアウトが所定の方向であるか
どうかを判定するステップと、このステップでの判定結
果に基づきレイアウトが所定の方向となるように読み取
ったイメージデータのレイアウトを回転させるステップ
とを含んでいる。
イメージデータの回転補正処理に着目した機能ブロック
図をFIG.8,FIG.9に示す。FIG.8は罫線項目のある帳票を
処理する場合の、FIG.9は罫線項目のない帳票を処理す
る場合の機能ブロック図である。
置30においては、FIG.8に示すように、イメージ入力部3
01,イメージデータ格納メモリ302,回転イメージデータ
格納メモリ303,罫線項目抽出部(罫線抽出部)2C,罫線
項目情報格納部304,罫線項目解析部(表構造解析部)2
E,縦/横判定設定部305,横長罫線項目格納部306,イメー
ジ90度回転部307,イメージ180度回転部308及び文字列認
識部(文字認識処理ブロック)17が機能する。
み取るものであり、イメージデータ格納メモリ302は、
読み取ったイメージデータを一端格納しておくメモリで
ある。
正処理が施されたイメージデータを格納しておくメモリ
であり、この回転イメージデータ格納メモリ303に格納
されたイメージデータを用いて、以降のレイアウト認識
処理や文字認識処理等が行なわれることになる。
られたイメージデータを探索して、罫線から形成される
最小矩形である罫線項目を自動的に抽出するものであ
り、罫線項目情報格納部304は、罫線項目抽出部2Cによ
り抽出された罫線項目情報を格納しておくメモリであ
る。
目情報格納部304に格納される罫線項目の形状が縦長/
横長のいずれであるかを解析することにより、イメージ
データの読取方向が縦読み/横読みのいずれであるかを
判定するものである。
常は横方向に記述されたものが多い。このため、罫線項
目も横長となることが多く、横長の罫線項目が縦長の罫
線項目より多いという条件を判定条件として、縦/横判
定設定部305に設定して、設定された判定条件に基づい
てイメージデータの読取方向を判定するようになってい
る。
Eで横長であると判定された罫線項目を格納するもので
ある。
で罫線項目が縦長であると判定された場合には、イメー
ジデータを90度回転させてイメージデータの回転補正を
行なうものである。
するものであり、イメージ180度回転部308は、文字列認
識部17において文字認識ができない場合には、イメージ
データを180度回転させてイメージデータの回転補正を
行なうものである。
ータ格納メモリ302及び回転イメージデータ格納メモリ3
03に格納され、上述の場合と同様に、罫線項目抽出部2
C,罫線項目解析部2E及び文字列認識部17における処理が
施される。
処理装置30においては、FIG.9に示すように、イメージ
入力部301,イメージデータ格納メモリ302,回転イメージ
データ格納メモリ303,ラベリング部309,ラベリング情報
格納部310,文字領域統合部311,文字領域統合ルール部31
2,統合結果格納部313,文字列縦/横判定部314,イメージ
90度回転部307,イメージ180度回転部308及び文字列認識
部(文字認識処理ブロック)17が機能する。
び回転イメージデータ格納メモリ303は、前述したもの
と同様の機能及び構成を有するものである。
ート情報を抽出するラベリング処理を行なうものであ
り、ラベリング情報格納部310は、ラベリング部309によ
り抽出された連続するドット情報を格納しておくメモリ
である。
部312により設定される統合ルールに基づいて、ラベリ
ング部309により抽出されたドット情報に基づいて連続
した文字を文字列として統合することにより項目データ
を抽出するものであり、統合結果格納部313は、文字領
域統合部311により抽出された項目データを格納してお
くものである。
字領域統合部311,文字領域統合ルール部312及び統合結
果格納部313により、項目データ抽出部2Dが構成されて
いるのである。
により抽出された項目データの形状が縦長/横長のいず
れであるかを解析することにより、イメージデータの読
取方向が縦読み/横読みのいずれであるかを判定するも
のである。
定部314で項目データが縦長であると判定された場合に
は、イメージデータを90度回転させてイメージデータの
回転補正を行なうものである。
識するものであり、イメージ180度回転部308は、文字列
認識部17において文字認識ができない場合には、イメー
ジデータを180度回転させてイメージデータの回転補正
を行なうものである。
ータ格納メモリ302及び回転イメージデータ格納メモリ3
03に格納され、上述の場合と同様に、ラベリング部309,
文字領域統合部311,文字列縦/横判定部314及び文字列
認識部17における処理が施される。
処理装置30においては、イメージ入力部301からイメー
ジデータが入力されると、イメージデータから罫線項目
又は項目データが抽出される。
罫線項目抽出部2Cにより罫線項目が抽出され、罫線項目
解析部2Eにより抽出された罫線項目の形状が縦長/横長
のいずれであるかが解析される。
合には、イメージ90度回転部307によりイメージデータ
が90度回転補正される。
には、文字列認識部17により罫線項目の文字認識が行な
われ、文字認識ができない場合には、イメージ180度回
転部308によりイメージデータが180度回転補正される。
文字領域統合部311により項目データが抽出され、文字
領域統合部311により抽出された項目データの形状が縦
長/横長のいずれであるかが解析される。
場合には、イメージ90度回転部307によりイメージデー
タが90度回転補正される。
合には、文字列認識部17により罫線項目の文字認識が行
なわれ、文字認識ができない場合には、イメージ180度
回転部308によりイメージデータが180度回転補正され
る。
転補正処理について、FIG.12及びFIG.13に示すフローチ
ャートを用いて更に説明する。
ジデータの読み取りが行なわれる(ステップG1)。な
お、帳票や文書等の用紙は、どの方向から読み取られて
もよい。
読み取られた場合には、読み取られたイメージデータ
が、イメージデータ格納メモリ302に一端格納される
(ステップG2)。なお、最初のみ回転イメージデータ格
納メモリ303にも同じイメージデータが格納される(ス
テップG3)。
罫線項目(例えばFIG.10には罫線項目Mが図示されてい
る)が抽出される(ステップG4)。
報格納部304に罫線項目情報が格納される(ステップG5,
G6)。
納された罫線項目情報に基づいて罫線項目の形状が解析
され、罫線項目が縦長であるか横長であるかが判定され
分類され(ステップG7,G8)、横長である罫線項目情報
が、横長罫線項目格納部306に格納される(ステップG
9)。
5により設定される判定条件に基づいて、横長の罫線項
目が縦長の罫線項目より多いか否かの判定により、イメ
ージデータの読み取り方向の正誤が判定される(ステッ
プG10)。
と判定された場合には、文字列認識部17で文字認識が行
なわれる(ステップG10のYESルートからステップG1
1)。
データの読取方向が正常であると判断される(ステップ
G12のYESルート)。
イメージが180度回転している(イメージの上下が逆転
している)可能性があるため、イメージ180度回転部308
により、回転イメージデータ格納メモリ303のイメージ
データが一端イメージデータ格納メモリ302に移動され
た後180度回転補正され(ステップG14)、180度回転さ
れた後のイメージデータが回転イメージデータ格納メモ
リ303に格納されて、上述した処理と同様の処理が行な
われる(ステップG4〜G12)。
と判定された場合には、イメージ90度回転部308によ
り、イメージデータ格納メモリ302に格納されるイメー
ジデータが90度回転補正され(ステップG13)、回転イ
メージデータ格納メモリ303に回転後のイメージデータ
が格納されて、上述した処理と同様の処理が行なわれる
(ステップG4〜ステップG12)。
タについても、文字列認識部17で文字認識が不可能であ
れば、イメージが180度回転している可能性があるた
め、イメージ180度回転部308により、回転イメージデー
タ格納メモリ303のイメージデータが一端イメージデー
タ格納メモリ302に移動された後180度回転補正され(ス
テップG14)、180度回転された後のイメージデータが回
転イメージデータ格納メモリ303に格納されて、上述し
た処理と同様の処理が行なわれる(ステップG4〜G1
2)。
ない場合は、例えばFIG.11に示すような罫線項目のない
帳票321が読み取られた場合であるため、項目データを
抽出するために以下の処理が行なわれる。
納メモリ303に格納されているイメージデータからラベ
リング情報(例えばFIG.11にはラベリング情報Nが図示
されている)が抽出され(ステップG5のNOルートからFI
G.13のステップG15)、抽出されたラベリング情報はラ
ベリング情報格納部310に格納される(ステップG16)。
部312のルールに基づいて、ラベリング情報格納部310に
格納されるラベリング情報における個々のラベリング情
報が文字列として統合されることにより項目データ(例
えばFIG.11には、7つのラベリング情報“出",“張",
“旅",“費",“精",“算",“書”が文字列として統合さ
れた文字領域統合結果(“出張旅費精算書";O)が項目
データとして図示されている)が抽出され(ステップG1
7)、統合結果が統合結果格納部313に格納される(ステ
ップG18)。
タが縦長の項目データより多いか否かに判定により、イ
メージデータの読み取り方向の正誤が判定される(ステ
ップG19)。
が多いと判定された場合には、文字列認識部17で文字認
識が行なわれる(ステップG20)。
データの読取方向が正常であると判断される(ステップ
G21)。
イメージが180度回転している可能性があるため、イメ
ージ180度回転308により、回転イメージデータ格納メモ
リ303のイメージデータが一端イメージデータ格納メモ
リ302に移動された後180度回転補正され(ステップG2
3)、180度回転された後のイメージデータが回転イメー
ジデータ格納メモリ303に格納されて、上述した処理と
同様の処理が行なわれる(ステップG15〜G21)。
が多いと判定された場合には、イメージ90度回転部308
により、イメージデータ格納メモリ302に格納されたイ
メージデータが90度回転補正され(ステップG22)、回
転イメージデータ格納メモリ303に回転後のイメージデ
ータが格納されて、上述した処理と同様の処理が行なわ
れる(ステップG15〜ステップG21)。
タについても、文字列認識部17で文字認識が不可能であ
れば、イメージが180度回転している可能性があるた
め、イメージ180度回転部308により、回転イメージデー
タ格納メモリ303のイメージデータが一端イメージデー
タ格納メモリ302に移動された後180度回転補正され(ス
テップG23)、180度回転された後のイメージデータが回
転イメージデータ格納メモリ303に格納されて、上述し
た処理と同様の処理が行なわれる(ステップG15〜G2
1)。
置30によれば、読み取られたイメージデータから罫線項
目又は項目データを抽出して、抽出された罫線項目又は
項目データの形状が横長であるか縦長であるかを判断し
て、罫線項目又は項目データの形状が縦長である場合に
は、イメージデータの90度回転補正を行ない、罫線項目
又は項目データの形状が横長であっても文字認識できな
い場合には、イメージデータの180度回転補正を行なう
ことにより、イメージデータがどのような方向から読み
取られてもイメージデータの読取方向を自動的に判定で
き、イメージデータの読取方向が誤っている場合には自
動的にイメージデータを回転補正して、オペレータによ
る確認及び回転補正操作を不要にでき、クライアント−
サーバシステムでの帳票の自動処理を効率的に行なうこ
とができる利点がある。
票のレイアウトとレイアウトDB等に格納されるレイアウ
トとの照合処理の際に、個々のレイアウトの構成要素
(罫線項目や項目データ等)を順次照合して座標やサイ
ズ等の比較を行なうため、レイアウトの構成要素数
(N)の増加に伴い照合回数が非常に多くなり、大量の
帳票のレイアウトの照合処理を高速に行なうことができ
ない。
30においては、レイアウトの構成要素の一つである罫線
項目のレイアウトを圧縮処理してマトリックステーブル
として表現し、レイアウトの照合時にそのマトリックス
テーブル同士を照合することにより、大量の帳票のレイ
アウトの照合処理を高速に行なうことができるようにな
っている。
は、レイアウト照合処理部3が、レイアウト解析処理部
2により抽出された罫線項目のレイアウトを圧縮処理し
てマトリックステーブルとして表現し、このマトリック
ステーブルを制約検索条件としてレイアウトDB14に記憶
されている参照用のマトリックステーブルを検索し、一
致しているマトリックステーブルがあるかどうかを照合
するようになっており、文字認識処理ブロック17が、こ
の照合結果に基づき、特定された位置でのイメージにお
ける情報を判別するようになっている。
マトリックス照合処理に着目した処理説明図をFIG.22に
示す。
ず、処理対象の帳票が読み取られて解析対象のイメージ
データ19が入力されると、レイアウト解析処理部2で
は、入力されたイメージデータを解析して罫線線分が抽
出され、罫線線分により構成される矩形が罫線項目とし
て抽出される。
て、抽出された個々の罫線項目の座標位置の斜行補正が
施されるとともに、レイアウトの論理原点及び補正座標
が抽出されて、補正された罫線項目の座標位置や論理原
点及び補正座標がレイアウト情報に設定される(ステッ
プF1)。
メージデータに対応する10DPI(Dot Per Inch)相当の
ビットテーブルが作成され、レイアウト情報における個
々の罫線項目の左上座標及び最下行の罫線項目の右下座
標がビットテーブル上の対応する位置にプロットされ
る。
の有無に基づいて圧縮処理されるとともに、行構成の規
則性に基づいて行方向に圧縮処理されて、マトリックス
テーブルが作成される(ステップF2)。
レイアウト情報とともにレイアウトDB14に格納される
(ステップF3)。
相当し、上述のステップF2及びステップF3はFIG.2に示
すステップA3に相当する。
読み取られて解析対象のイメージデータ19が入力される
と、レイアウト解析処理部2では、入力されたイメージ
データについて上述のステップF1と同様の処理が施さ
れ、罫線項目の座標位置や論理原点及び補正座標がレイ
アウト情報に設定される(ステップF4)。
メージデータについて上述のステップF2と同様の処理が
施され、マトリックステーブルが作成される(ステップ
F5)。
14から照合対象のマトリックステーブルが読み出され、
読み出された照合対象のマトリックステーブルと上述の
ステップF5で作成されたマトリックステーブルとの照合
が、個々のレイアウトの論理原点を基準としてビット位
置が行単位で照合されることにより行なわれる。
から、全照合ビット数に対する一致ビット数が算出さ
れ、マトリックステーブルの一致率として照合結果200
が出力される(ステップF6)。
相当し、上述のステップF5及びステップF6はFIG.2に示
すステップA10に相当する。
トリックステーブル作成処理についてFIG.23を用いて説
明する。
ジから罫線が抽出され、抽出された罫線から罫線項目
(罫線により構成される最小の矩形領域)が抽出され
る。このとき、レイアウトの斜度情報に基づいて、抽出
された罫線項目における各座標の斜行補正が行われる
(ステップF21)。
より罫線の歪み率が取得され、ステップF21で斜行補正
された罫線項目における各座標の歪み補正が行なわれる
(ステップF22)。
する水平罫線を参照して、罫線項目の上側罫線が同一の
罫線を共有する罫線項目について、左上Y座標の値が全
て同じ値となるように設定されて、Y座標の正規化が行
なわれるとともに(ステップF23)、FIG.24(b)に示
すように、罫線項目を構成する垂直罫線を参照して、罫
線項目の左側罫線が同一の罫線を共有する罫線項目につ
いて、左上X座標の値が全て同じ値となるように設定さ
れて、X座標の正規化が行なわれる(ステップF24)。
が反映されたビットテーブルの圧縮処理に先立って、読
み取られたイメージデータについて、斜行補正及び歪み
補正処理を施すとともに(ステップF21,F22参照)、罫
線項目を構成する水平罫線を参照して、罫線項目の上側
罫線が同一罫線を共有する罫線項目に対して、同一Y座
標化処理を施し(ステップF23参照)、罫線項目を構成
する垂直罫線を参照して、罫線項目の左側罫線が同一罫
線を共有する罫線項目に対して、同一X座標化処理を施
すことにより(ステップF24参照)、イメージデータの
読み取り時に生じるレイアウトの変動を吸収するように
なっている。
線項目について、同一のY座標を持つ罫線項目単位毎
に、罫線項目左上座標がビットテーブルの指定解像度に
合わせて座標変換(ビット列変換)され、テーブルの該
当位置にビットが設定される。
換された罫線項目のY座標の間隔が設定される(ステッ
プF25)。
成されたビットテーブルが、先頭行より順次比較処理さ
れ、継続して同一ビット構成を持つ行が1行に行方向に
圧縮されて圧縮済行ビット情報Kが作成され、行管理情
報Jに行圧縮情報として圧縮済フラグQが設定される
(ステップF26)。
ット情報K及び行管理情報Jからなるマトリックステー
ブル情報Sが、マトリックステーブルとして設定される
(ステップF27)。
の圧縮処理に際して、罫線項目のレイアウトが相当する
ビット列に変換され、このビット列を圧縮処理して、こ
の圧縮処理されたビットテーブルをマトリックステーブ
ルとして設定することにより、レイアウト照合時の照合
回数が、レイアウトの構成要素数(N)に依存せず、照
合対象のレイアウト数に直線的に比例するだけとなり、
大量の帳票のレイアウトの照合処理を高速に行なうこと
ができるのである。
ブル照合処理についてFIG.29,FIG.30に示すフローチャ
ートを用いて説明する。
G.31(a)に示すような照合元マトリクス情報が作成さ
れて取得され、この照合元マトリックス情報の圧縮済行
ビット情報(K1)が照合元ワーク領域に設定される(ス
テップD1)。
クス情報がレイアウトDB14から取得され、この照合先マ
トリックス情報の圧縮済行ビット情報(K′1)が照合
先ワーク領域に設定される(ステップD2)。
行ビット情報(K1),(K′1)が先頭ビットより順に
比較照合され、1行分の照合が行われる(ステップD
3)。
一致である場合は、照合結果200(FIG.22参照)として
不一致が設定されるが(ステップD4,ステップD10)、こ
こでは圧縮済行ビット情報(K1),(K′1)が一致し
ているため、照合元圧縮済行ビット情報Kが、行管理情
報Jに基づいて、照合元ワーク領域に設定される(ステ
ップD4,ステップD5)。
より(ステップE1)、行管理情報Jの該当行に圧縮済フ
ラグQが設定されている場合には圧縮行であると判断さ
れて、直前の照合行の圧縮済行ビット情報Kが照合元ワ
ーク領域に設定され(ステップE2,ステップE4)、行管
理情報Jの該当行に圧縮済フラグQが設定されていない
場合には非圧縮行であると判断されて新規に該当する行
の圧縮済行ビット情報Kが照合元ワーク領域に設定され
る(ステップE2,ステップE3)。
J′に基づいて、照合先ワーク領域に設定される(ステ
ップD6)。
様に、行管理情報J′を参照することにより(ステップ
E1)、行管理情報J′の該当行に圧縮済フラグQ′が設
定されている場合には圧縮行であると判断されて、直前
の照合行の圧縮済行ビット情報K′が照合元ワーク領域
に設定され(ステップE2,ステップE4)、行管理情報
J′の該当行に圧縮済フラグQ′が設定されていない場
合には非圧縮行であると判断されて新規に該当する行の
圧縮済行ビット情報K′が照合元ワーク領域に設定され
る(ステップE2,ステップE3)。
K′を比較した結果、全ての行が一定範囲内で一致する
場合には、照合結果200として一致が設定される(ステ
ップD7〜ステップD9)。
前に一方の行ビット情報が終了した場合には、照合結果
200として不一致が設定される(ステップD7,ステップD
8,ステップD10)。
置におけるマトリックス照合処理によれば、レイアウト
の構成要素の一つである罫線項目のレイアウトを圧縮処
理してマトリックステーブルとして表現し、レイアウト
の照合時にそのマトリックステーブル同士を照合するこ
とにより、レイアウト照合処理速度が罫線項目の数に依
存せず、照合対象レイアウト数に直線的に比例するだけ
になり、大量の帳票のレイアウトの照合処理を高速に行
なうことができる。
構成する罫線項目により表現することにより、レイアウ
トを安定して表現することが可能となるのである。
ブルの圧縮処理に先立って、読み取られたイメージデー
タについて、斜行補正及び歪み補正処理を施すととも
に、各罫線項目に対して同一Y座標化処理及び同一X座
標化処理を施して、間引きされたビットテーブルを作成
することにより、イメージデータの読み取り時に生じる
レイアウトの変動を吸収することができる。
ルを圧縮する、すなわち、ビットテーブルを先頭行より
順次比較処理し、継続して同一ビット構成を持つ行を1
行に行方向に圧縮することにより、帳票内のレイアウト
構成要素数を効率良く圧縮表現することが可能となる。
識対象とするため、認識率を考慮して認識対象に合わせ
て作成された辞書を使用する必要があり、動的に指定さ
れた任意の図形を認識することはできない。
ら、認識対象の領域の制約や認識用定義体の設定上の制
約等があり、任意の領域を認識対象として設定すること
はできない。
30においては、文字認識処理において認識不可能な文字
や図形等を含む領域イメージ(レイアウト)を特徴デー
タとして記録するとともに、この特徴データに対応する
コードデータをレイアウトの付属情報として記録して、
レイアウト照合処理時にレイアウトの特徴データの照合
を行い、一致する特徴データがある場合にはこの特徴デ
ータに対応するコードデータを取得して認識結果として
ディスプレイ表示することにより、文字認識処理におい
て認識不可能な文字や図形等を認識することができるよ
うになっている。
における特徴データ認識処理に着目した処理説明図をFI
G.32に示す。
データ認識処理を、FIG.32に示すように、特徴データを
学習処理によりレイアウトDB14に登録する登録ステップ
(ステップH1,ステップA6,ステップH2)と、別に読み取
ったイメージに登録された特徴データと一致するものが
あるか照合する照合ステップ(ステップH3)とにより行
なうようになっている。
アウトの特徴を抽出してレイアウトの構成を解析し(ス
テップH1)、解析されたレイアウト構成をディスプレイ
403上に表示して(ステップA6)、FIG.33に示すよう
に、この表示されたレイアウト構成について所定の特徴
データ認識領域T(FIG.33の斜線部)を設定して、この
領域T内の標章情報(FIG.33では“富士通株式会社”)
に対応するコードデータU〔FIG.33では下線部に示され
た“フジツウ(カ”〕を外部入力装置404を通じて入力
し、更に上記の特徴データ認識領域TとコードデータU
とから領域特徴データを作成して、この領域特徴データ
を上記で解析されたレイアウト構成とをリンクさせて登
録するレイアウト学習処理(ステップH2)を行なうもの
である。
特徴データの登録の際に、特徴データ認識領域Tに正規
化処理を施すことにより、後述する照合ステップにおい
て確実に領域特徴データの照合を行なえるようになって
いる。
報に対応するコードデータUを入力する際に、標章情報
に通する意味付けをもったコードデータを入力すること
により、媒体処理装置30では、特徴データ認識領域Tを
認識すれば、対応するコードデータを認識結果として画
面表示できるようになっている。
に読み取ったイメージの特徴を抽出してレイアウトの構
成を解析し、その後登録ステップで登録された領域特徴
データとレイアウト構成とを参照データとしてレイアウ
トDB14を検索し、一致するものがあるかどうかを照合す
るものである。
処理装置30において特徴データ認識処理を行なう際に
は、特徴データが学習処理によりレイアウトDB14に登録
されるとともに、別に読み取ったイメージに登録された
特徴データと一致するものがあるかどうかが照合され
て、一致する特徴データがある場合にはこの特徴データ
に対応するコードデータが取得されて、認識結果として
ディスプレイ403に表示される。
FIG.34を用いて更に説明する。
象の帳票イメージ19が読み取られると、レイアウト解析
処理部2において、対象帳票のレイアウトが解析されて
レイアウト情報が作成される(ステップH1)。
1参照)では、帳票イメージ及び解析されたレイアウト
情報がディスプレイ403に表示され、FIG.33に示すよう
に、オペレータにより特徴データ認識領域T(“富士通
株式会社”)が設定され、対応するコードデータU
〔“フジツウ(カ”〕が外部入力装置404から入力され
る(ステップH6)。
レータにより指定された領域Tと入力されたコードデー
タUから領域特徴データが作成され、レイアウト認識処
理ブロック16にて取得したレイアウト情報とともにレイ
アウトDB14にレイアウト補正情報として学習登録される
(ステップH2)。
及びレイアウトログ情報作成処理部11により、登録ステ
ップの動作が行なわれることになる。
された後に、レイアウト解析処理部2では、上述におい
て処理されたものと同一の帳票イメージ19が再度読み取
られると、対象帳票のレイアウトが解析されてレイアウ
ト情報が作成される。
イアウト情報を検索条件として用いてレイアウトDB14を
検索することにより、ステップH2において学習登録され
た該当帳票のレイアウト補正情報が取得される。
特徴データについて、解析中の帳票のイメージに該当す
るものがあるかが照合されて、照合の結果、解析中の帳
票のイメージに一致条件を満たすものがある場合には、
この領域特徴データに対応するコードデータUがレイア
ウト認識結果20として設定される(ステップH3)。
読み取られた帳票イメージ及びレイアウト認識結果20が
ディスプレイ403に表示されるとともに、FIG.34に示す
ように、通常の文字認識結果22と同様に特徴データの認
識結果として特徴データ認識領域T及び対応するコード
データUがディスプレイ403に表示される(ステップA1
3)。
置における特徴データ認識処理によれば、文字認識装置
の同様の領域イメージ特徴抽出機構及び特徴照合機構を
機能拡張して、レイアウト認識システムと組み合わせ
て、登録ステップでオペレータにより指定された特徴デ
ータ認識領域T及び対応するコードデータU(認識結果
コード)を、レイアウト解析結果とともにレイアウトDB
14に動的に学習登録するとともに、学習済のレイアウト
と同一のレイアウトを持つ帳票の認識を行なう場合に、
照合ステップでレイアウトDB14からレイアウト情報とと
もに領域特徴データを取得して、認識対象の帳票イメー
ジの該当領域との照合を行い、照合の結果、対応するコ
ードデータUを取得して認識結果として設定し出力する
ことにより、指定された領域における任意の図形イメー
ジの認識処理をレイアウト認識処理と連動して行なうこ
とが可能となる。
として登録することにより、文字に限定されずに任意の
領域を認識して対応するコードデータを取得することが
可能となるのであり、認識対象領域をレイアウト情報と
ともにレイアウトDB14に動的に学習することにより、レ
イアウトの再出現時に認識対象領域の認識処理をレイア
ウト認識処理と連動して行なうことが可能となるのであ
る。
ータがレイアウト情報にリンクして記録されるため、レ
イアウト単位で照合対象を限定することが可能となり、
これにより、通常の文字認識装置のように大量の照合処
理を行なう必要がなくなるとともに、高い認識率を実現
することが可能となる。
にリンク関係を持たせて複数設定することが可能である
ため、レイアウト内の認識対象領域の位置情報とデータ
構造とを対応させて登録することが可能となる。
目のカナ認識処理や、為替総合振込帳票の依頼人/受取
人の認識処理にも適用することができる。
場合には、漢字で記入された項目の領域を特徴領域とし
て指定し、対応するコードデータをカナで入力して、帳
票のレイアウト情報とともに特徴データ及びコードデー
タを学習登録させる。
ウトの帳票のレイアウト認識を行なう場合には、漢字項
目の特徴領域の認識結果としてカナのコードデータを取
得することができる。
様に、ゴム印やサイン等の項目を特徴データ認識項目と
して指定すれば、通常の文字認識では認識できないゴム
印やサイン等の項目を認識することができ、ゴム印やサ
イン等の項目の特徴領域の認識結果として対応するコー
ドデータを取得することができる。
頼人姓名や受取人姓名の項目は任意の組み合わせを持つ
訳ではなく、その帳票に依存した関係を持つ(FIG.35,F
IG.36参照)。
として学習登録する際に、それぞれの関係をリンクして
学習登録することにより、特徴データ照合時に更に精度
の高い認識が可能となる。
は、解析対象の帳票イメージの罫線項目構成から見出し
位置を探索照合して、帳票上に記載された見出しと対応
する項目情報を自動的に解析する見出し解析処理が行な
われようになっている。
取ったイメージのレイアウトを論理的に表現するレイア
ウト解析処理ステップA2(又はA9)と、読み取ったイメ
ージのレイアウトと一致するレイアウトがレイアウトDB
14にあるかどうかを照合するレイアウト照合処理ステッ
プA3(又はA10)とをそなえている。
ったイメージのレイアウトの罫線項目を抽出して、レイ
アウトの構成を解析し、抽出した罫線項目によりイメー
ジ中の見出し領域を決定し、この見出し領域中の見出し
項目情報を認識して、対応する項目データを決定して、
レイアウトを論理的に表現するものであり、レイアウト
解析処理部2のレイアウト解析部2Bで行なわれている。
イアウトの構成解析結果に基づいて見出し位置候補を決
定する見出し位置候補決定ステップと、このステップで
決定された見出し位置候補に対し見出し領域中の見出し
項目情報を照合する見出し項目照合ステップとを含んで
いる。
照合処理は、この見出し項目照合ステップにおいて、FI
G.49を用いて後述にて説明するように、照合させるべき
イメージデータに正規化処理が施されてから行なわれる
ようになっている。
は、レイアウト解析処理ステップで抽出されたレイアウ
トの罫線項目を制約検索条件として、レイアウトDB14に
記憶されている候補レイアウトを検索することにより、
一致している候補レイアウトがあるかどうかを照合する
ものであり、レイアウト照合処理部3で行なわれてい
る。
ウト解析処理部2のレイアウト解析部2Bにおける見出し
解析処理に着目した処理説明図をFIG.37に示す。
目構成解析処理(ステップK1)及び項目見出し位置探索
処理(ステップK2)からなる見出し位置候補決定ステッ
プK9としての処理を行なうとともに、項目見出し照合処
理(ステップK3),多元特徴データ抽出照合処理(ステ
ップK4),見出し照合結果補正処理(ステップK5),項
目データ位置探索処理(ステップK6),項目データ部リ
ンク処理(ステップK7)及び金額項目リンク処理(ステ
ップK8)からなる見出し項目照合ステップK10としての
処理を行なうようになっている。
出し辞書507,見出し補正ルール508及びデータ探索ルー
ル509を格納するようになっている。
イアウトの解析により得られた罫線項目情報502と表構
造情報(図示せず)を参照して、後述する見出し位置探
索ルールにより評価されるルールキー情報としての罫線
項目構成情報テーブル(罫線項目構成情報TBL)503を作
成するものである。
析の結果、個々の罫線項目にはFIG.38に示すような構成
情報が付加される。
と、罫線項目IDは、個々の罫線項目を識別するID情報で
あって罫線項目抽出時にユニークに採番されるものであ
り、グループIDは、罫線項目をグループ化した場合に同
一グループに対して付加する識別IDであり、ブロックID
は、同一グループ内で同一の罫線項目構成を持つ単位に
分割した個々の識別用のIDである。
表構造の有無を示すものであり、表構造の有無の判断を
固定としないために、表構成の有無の判断は項目行数/
項目列数で行なわれる。なお、項目行数は、グループ内
の表矩形に存在する罫線項目表の行構成を示すものであ
り、項目列数は、グループ内の表矩形に存在する罫線項
目表の列構成を示すものである。
アウトの構成要素としての属性情報であり、帳票レイア
ウトへの対応をFIG.39に示す。
は、以下に示すものがある。
は、以下に示すものがある。
存在しないため、(f)フッタ行に属する罫線項目も存
在しない。
I,H,F,D,U,Lは、各罫線属性が符号化されたものであ
る。
号を示すものであり、列情報は、罫線項目表内の罫線項
目の列番号を示すものである。
に、罫線項目属性として入れ子構造を持つ罫線項目の階
層関係を示すものである。
の位置情報を示すものである。
罫線項目情報502及び表構造情報を参照して、罫線項目
構成情報TBL503が作成される〔FIG.40及びFIG.41(a)
〜FIG.41(d)参照〕 また、項目見出し位置探索処理(ステップK2)は、ス
テップK1において作成された罫線項目構成情報TBL503に
おける各罫線項目を、見出し位置探索ルール〔FIG.42,F
IG.43(a)及びFIG.43(b)参照〕により評価して、
見出し位置候補を決定するものである。
せて上位より指定されるものであり、対象帳票を為替総
合振込帳票(一次元表)とした場合の見出し位置探索ル
ール505の一例を以下に示す。
明する。
プである上凸,下凸,フッタ行を含む罫線項目や、表構
造部分と別グループであり表を構成しない罫線項目が該
当し、このような罫線項目についての見出し位置探索ル
ールを以下に示す。
目内に見出し部が存在する(※データ部共存)。
子の左側罫線項目に見出し部が存在する。
子の上側罫線項目に見出し部が存在する。
線項目に見出し部が存在する。
線項目および継続する罫線項目に見出し部が存在する。
て説明する。
2行×2列以上の表矩形を含む最大矩形部分に存在し、
最大矩形部分の先頭行にヘッダ部が存在し、継続する行
部分にボディ部が存在する。
を以下に示す。
出し項目が存在する。
る場合、その罫線項目の上側に複合見出しが存在する。
る場合、その罫線項目の下側に子見出しが存在する。
探索処理を行なう場合においては、例えば上述したよう
な見出し位置探索ルール505に基づいて、見出し照合対
象となる見出し位置候補の決定が行なわれ、このときの
処理をFIG.44に示すフローチャートを用いて説明する。
報TBL503から罫線項目情報が取り出される(ステップJ
1)。
位置の評価が行われ(ステップJ2)、評価結果が罫線項
目構成情報TBL503に記録される(ステップJ3)。
見出し位置の評価が行なわれたか判定され、見出し位置
の評価に用いていないルールがあればそのルールに基づ
いて見出し位置の評価が行なわれる(ステップJ4からス
テップJ2,ステップJ3)。
価が行なわれたか判定され、評価されていない罫線項目
情報があればその罫線項目情報について評価が行われる
(ステップJ5からステップJ1〜ステップJ4)。
評価が終了したら、動作パラメタ情報501内の評価基準
値を参照して見出し位置候補が決定される(ステップJ
6)。
かけ表示された罫線項目(網かけ部分V)が見出し位置
候補として決定される。
し位置探索ルール505に基づいて決定された見出し位置
候補について、多元特徴データの抽出照合処理により罫
線項目内に存在する項目データが項目見出し辞書507と
照合され(ステップK4)、その結果により、見出し位置
候補の罫線項目の位置とその見出しに対応する機能項目
とが決定されるものである。
線項目内の項目データ)について説明すると、見出し位
置候補の罫線項目には、複数の見出し項目データが含ま
れる場合がある。
方式により決定される。
G.46(a)に示すように、見出し位置候補の罫線項目内
で最大の項目データとする。
なる見出し項目データは1つしかないはずであるため、
FIG.46(b)に示すように、残りの項目データはゴミま
たは単位等の飾り文字であると仮定と、複合機能見出し
の場合にも、FIG.46(c)に示すように、通常は見出し
項目データは続けて存在すると仮定する。
や、FIG.47(b)及びFIG.47(c)に示すような複数行
から構成される見出しの場合には、照合対象の見出し項
目データは継続する項目データを合わせた領域に存在す
ると仮定する。
同一のX座標付近から始まると仮定して、継続する項目
データを統合した領域とするのである。
ような複合見出しの場合や、FIG.48(c)に示すような
複数行見出しの場合には、見出し項目データを正しく決
定することはできない。
合された領域を、項目データと見なして処理される。
ータ抽出照合処理(ステップK4)においては、見出し項
目に正規化処理を施すようになっており、これにより、
各種帳票に表記の違いや印字フォント/印字ピッチ等の
相違があっても、見出し照合時に突き合わせる見出し項
目データのイメージを、全て項目見出し辞書507に格納
できるようになっている。
重心4分割による正規化処理後(手書き文字認識手
法)、多元特徴による照合を行うことにより対応する。
うに、照合する見出し項目データの文字間の空白を、一
定量(例えば1ドット)となるように正規化することに
より対応する。
出し辞書507内に代表的な見出し文言の表記を予め複数
種類持つことにより対応する。
取得した見出し項目データのイメージを、正規化処理し
た後に多元特徴情報として格納してある。また、見出し
の表記の違いを吸収するため、FIG.50に示すように、同
一機能を示す項目見出しはすべて同一カテゴリとして分
類して格納されている。
出し項目データを照合した場合、その照合結果として各
候補見出しのカテゴリID,見出しイメージID及び相違度
が、FIG.51(a)及びFIG.51(b)に示すように、候補
順に通知される。
(Th1,Th2)を参照して、見出し項目位置の見出し内容
が決定される。
違度が照合パラメタ(Th1)以下である相違度条件と、
照合効果の第1位候補とカテゴリIDの異なる(機能項目
が異なる)候補との相違度差が照合パラメタ(Th2)以
上である相違度差条件とを満たすものを、見出し項目位
置の見出し内容とするのである。
h2=2000と仮定して評価すると以下のようになり、照合
結果は上述の2つの条件(相違度条件及び相違度差条
件)を満たしていることがわかる。
定されるケースには、全ての照合結果がOKであり見出し
項目の解析が100%成功したと思われるケース(ケース
1),一部の見出し項目の解析を失敗したケース(ケー
ス2)及びほとんどの項目見出しの解析を失敗したケー
ス(ケース3)がある。
出し解析結果として通知し、ケース3の場合には、見出
し解析結果が失敗したとして通知してその帳票の認識結
果はリジェクトして依頼元に通知される。
(ステップK5)を施すことにより、その中である特定の
場合については、解析できなかった見出し項目を解析す
ることができる。
義される必須の見出し項目について、以下の場合に見出
し補正ルール508により補正が行なわれる(見出し補正
ルール508による見出し照合結果補正処理,ステップK
5)。なお、見出し補正ルール508は、照合結果が未確定
の場合にのみ適用するものであり、照合結果を否定する
ような使い方はできないものとする。
つ複合見出し項目のうちのいずれか一方の見出し項目が
未確定である場合に、見出し補正ルール508により補正
が行なわれると、複合見出し項目の機能項目内容から残
りの機能項目が一意に決定するため(複合見出し項目の
“金融機関名”の場合、入れ子の見出し項目には必ず
“銀行名”と“支店名”の見出しが対応するため)、解
析できなかった見出し項目(網かけ部分W)を解析する
ことができる。
票において見出し行にある必須項目の見出しが1つだけ
未確定である場合に、見出し補正ルール508により補正
が行なわれると、見出し行にあるべき機能項目が機能名
情報テーブルから一意に決定するため、解析できなかっ
た見出し項目(網かけ部分W)を解析することができ
る。
存在するべき必須の見出し項目が1つだけ未確定であ
り、未確定の見出し候補位置も1つだけ存在する場合
に、見出し補正ルール508により補正が行なわれると、
見出し位置候補と必須の見出し項目の数が一致する場合
は確定した見出しの消去法で決定することができるた
め、解析できなかった見出し項目(網かけ部分W)を解
析することができる。
かった見出し項目を網かけ部分Wで示し、見出し照合結
果補正処理により解析された見出し項目を網かけ部分
W′で示している。
出し項目照合の結果、確定した見出し項目に対して対応
する項目データの罫線項目位置を探索するものである。
の探索は、見出し項目(見出し罫線項目)位置探索の場
合と同様に、罫線項目構成情報TBL503の個々の罫線項目
について、項目データ探索ルール509により評価される
ことにより行なわれる。
の相違点は、項目データ位置探索の場合は、既に見出し
項目が決定しているため、最初に見出しを評価して探索
ルールを選択した後に個々の罫線項目に対してそのルー
ルを適用する点と、見出し項目位置探索の場合は、見出
し項目の照合処理があるためまず見出し位置候補を決定
したが、項目データ位置探索の場合は、探索処理の結果
として項目データ位置を決定する必要がある点である。
た見出し項目について、罫線項目構成情報TBL503及び項
目データ探索ルール509に基づいて、見出し項目に対応
する項目データ位置(項目データの罫線項目位置)が決
定される。
て説明すると、まず、見出し解析により決定された見出
し項目情報が取り出され(ステップL1)、取り出された
見出し項目に対応する項目データ探索ルール509が決定
される(ステップL2)。
取り出され(ステップL3)、項目データ探索ルール509
による評価が行われる(ステップL4)。
決定された項目データ位置の罫線項目IDが機能名情報に
設定される(ステップL5)。
判定され、終了していなければ、次の罫線項目情報につ
いての評価が継続して行われる(ステップL6,ステップL
3〜ステップL5)。
位置が決定されたか判定され、項目データ位置が決定さ
れていない見出し項目があれば、次の見出し項目情報に
ついて処理が行われる(ステップL7,ステップL2〜ステ
ップL6)。
続ルールは、表構造以外の場合には、以下に示すように
定義される。
である〔FIG.54(a)及びFIG.54(b)参照〕 (b)見出し部に続く罫線項目が無い場合には、見出し
部と同一の罫線項目にデータ部が存在する〔FIG.54
(c)参照〕 (c)見出し部に続く罫線項目が複数存在する場合、別
の独立した見出しが出現するまでの罫線項目に、データ
部が存在する〔FIG.54(d)及びFIG.54(e)参照〕 (d)見出し部が入れ子罫線項目の親に存在する場合、
子の罫線項目にデータ部が存在する〔FIG.54(f)及び
FIG.54(g)参照〕 (e)2罫線項目の場合には、見出しとデータ部が同一
罫線項目に存在する可能性がある〔FIG.54(h)参照〕 また、見出し部罫線項目とデータ部罫線項目との接続
ルールは、表構造の場合には、以下に示すように定義さ
れる。
向の罫線項目にデータ部が続く〔FIG.55(a)参照〕 (g)縦方向の1次元表で2段組見出しの場合、見出し
罫線項目の列方向の罫線項目にデータ部が続く〔FIG.55
(b)参照〕 (h)縦方向の1次元表で入れ子項目の見出しの場合、
親見出し罫線項目の方向の罫線項目にデータ部が続く
〔FIG.55(c)参照〕 (i)縦方向の1次元表で複合見出しの場合、複合見出
し罫線項目の列方向の罫線項目にデータ部が続く〔FIG.
55(d)参照〕 (j)横方向の1次元表の場合、見出し罫線項目の行方
向の罫線項目にデータ部が続く〔FIG.55(e)参照〕 (k)2次元表の場合、見出し項目の列/行方向の罫線
項目にデータ部が続く〔FIG.55(f)参照〕 ここで、見出し項目に対応する項目データ位置が決定
された例を、FIG.56に示す。なお、FIG.56においては、
見出し項目決定位置を網かけ部分Xで示し、項目データ
位置をX′で示すとともに、見出し項目決定位置と項目
データ位置とのリンク関係を矢印により示している。
見出し罫線項目と対応するデータ部罫線項目位置を参照
して、データ部罫線項目内の項目データ位置を決定し、
そのリンク関係を設定するものである。
を、FIG.57及びFIG.58に示す。
領域内に、1個以上の項目データが存在する場合には、
動作パラメタ情報501に従って、機能項目にリンクする
項目データが決定される。
情報501に従って、指定行桁位置から指定行数,指定桁
数の項目データをリンクする〔FIG.59(a)参照〕。
データリンクの動作パラメタ情報501は、以下に示すよ
うなものがある。
行=1行目、指定行数=1行),ただし、指定行数に項
目データ行数が満たない場合には、領域内の全ての項目
データ行をリンク (b)指定列より指定列数リンク(※デフォルト:指定
列=1列目、指定行数=全列数),ただし、指定列数に
項目データ列数が満たない場合には、領域内の全ての項
目データ列をリンク また、複合機能項目よりリンクより場合には、動作パ
ラメタ情報501に従って、機械項目の定義順に指定行桁
位置から指定行数,指定桁数の項目データをリンクし、
継続する機能項目は、続きの項目データを同様にリンク
する〔FIG.59(b)参照〕。
データリンクの動作パラメタ情報501は、以下に示すよ
うなものがある。
目データ行を割り当てる (d)N<KかつM≧Kの場合、機能項目リンク順に項
目データ桁を割り当てる (e)N≧KかつM≧Kの場合、機能項目リンク順に項
目データ行を割り当てる (f)N≧KかつM≧Kの場合、機能項目リンク順に項
目データ列を割り当てる (g)N<KかつM<Kの場合、割当て不可として、項
目データをリンクしない なお、上述において、Nは項目行数,Mは項目桁数及び
Kは機能項目数である。
した見出し項目の機能項目が金額や手数料等の場合に
は、対応する項目データの属する罫線項目構成を調べ、
構成が1桁区切り罫線項目となっている場合には、個々
の1桁罫線項目を連結して1つの項目データ情報を作成
し、その項目データを機能項目にリンクするものであ
る。
上(動作パラメタ指定値に従う)の罫線項目に分割され
ている場合であって、個々の罫線項目のサイズが動作パ
ラメタ設定値以下のサイズで、かつ見出し機能が金額と
確定した場合には、該当の罫線項目が1桁区切りの罫線
項目であると判定される〔FIG.60(a)及びFIG.60
(b)参照〕。
線項目により構成されていると判定された場合には、個
々の罫線項目のリンクを関係を先頭桁の罫線項目より順
に設定し、連続した罫線項目として扱うことにより、罫
線項目が連結される〔FIG.60(c)参照〕。
線項目により構成されている場合には、個々の罫線項目
内の項目データも分割されているため、各々の項目デー
タを統合処理して1つの項目データとして設定すること
により、項目データが連結される〔FIG.60(d)参
照〕。
項目である場合について説明したが、3桁区切りの罫線
項目についても同様に処理される。
の場合と同様に、罫線項目及び項目データの連結が行わ
れるが、3桁区切りの場合には桁幅および罫線項目数が
少ないため、1桁区切りとは別条件が設定される〔FIG.
60(e)及びFIG.60(f)参照〕。
処理装置30において見出し解析処理を行なう際には、レ
イアウト解析処理ステップA2(又はA9)では、読み取っ
たイメージのレイアウトの特徴を抽出してレイアウトの
構成を解析し、抽出した特徴によりイメージ中の見出し
領域を決定し、この見出し領域中の見出し項目情報を認
識して対応する項目データを決定してレイアウトを論理
的に表現する。
では、レイアウト解析処理ステップA2(又はA9)で抽出
されたレイアウトの特徴を制約検索条件として、レイア
ウトDB14に記憶されている候補レイアウトを検索するこ
とにより、一致している候補レイアウトがあるかどうか
を照合する。
置30によれば、解析対象の帳票イメージの罫線項目構成
から見出し位置を探索照合して、帳票上に記載された見
出しと対応する項目情報を自動的に解析する見出し解析
処理を行なうことにより、レイアウト認識処理により見
出し項目及び見出し項目と対応する項目データが識別で
きるので、見出し項目の文字認識処理を行なうことなく
直ちに項目データの文字認識を行なうことができる。
表示装置640の構成を示す模式図であり、このイメージ
データ表示装置640は、送金すべき者(この者は氏名で
特定される)の口座番号(口番)や送金金額等が記載さ
れた帳票をイメージデータとして表示し、この口番,氏
名及び送金金額等の送金データをオペレータがキーボー
ド等を介して入力することにより送金依頼処理を施した
り、オペレータが他の装置等によるイメージデータ(送
金データ)の文字認識結果の正誤の確認を目視により行
なうとともに必要に応じて文字認識結果の修正を行なう
ことにより送金依頼処理を施すものであり、FIG.6に示
す媒体処理装置30のクライアント10に相当するものであ
る。
ータが、ディスプレイ表示されたイメージデータを目視
して入力操作を行なうこともできるが、例えば帳票をOC
R装置等のイメージデータ入力装置で読み取る際に自動
的に文字認識を行なうようにして、誤認識及び認識不能
文字についてのみオペレータが入力操作を行なうことも
できるようになっている。
は、イメージデータ入力装置としてのイメージスキャナ
621A及び光学式文字読み取り装置(OCR装置)621B,デー
タ入力手段としてのキーボード631,表示制御装置として
のコンピュータ本体629,ディスプレイ630及びハードデ
ィスク622をそなえて構成されている。
すサーバ39と接続されており、イメージスキャナ621Aか
らのイメージデータ(送金データ)をサーバ39に出力し
て、サーバ39で文字認識されたイメージデータの文字認
識結果が入力されてこれをディスプレイ630に表示する
ようになっているとともに、オペレータにより確認及び
修正された送金データをサーバ39に出力するワークステ
ーションとして機能するようになっている。
等の帳票のような複数の項目情報を含んだイメージデー
タを読み取り、イメージデータ表示装置640に入力する
ものである。
にイメージデータを読み取るとともに読み取ったイメー
ジデータの文字認識を行なうものである。
R装置621Bの両方をイメージデータ表示装置640に設ける
ことにより、様々な様式のイメージデータを扱えるよう
になっている。
た場合は、イメージデータの文字認識結果は直接イメー
ジデータ表示装置640のディスプレイ630に表示される。
ア611と項目表示エリア614とを有するものであり、入力
された帳票のイメージデータを表示すると、例えばFIG.
70のようになるのである。
スキャナ621A又はOCR装置621Bから入力された帳票のイ
メージデータを表示するエリア部分である。
を含んだイメージデータが表示されるようになってお
り、FIG.70では、「口座番号(口番)」,「氏名」,
「取引先(取引)」及び「金額」の4つの項目612に情
報を含んだイメージデータが表示されるようになってい
る。
エリア611の所望の項目612のイメージデータ部分に対応
する送金データを、キーボード631を用いて入力するた
めに設けられたエリアである。
リア部分615を有している。FIG.70では、「項目1〜
4」の4つのデータ入力表示エリア部分615を有してお
り、それぞれ「項目1」は「口番」に、「項目2」は
「氏名」に、「項目3」は「取引」に、「項目4」は
「金額」に対応している。
ソル表示616がなされるようになっており、これと対応
する所望の項目612のイメージデータ部分に表示された
送金データを入力できるようになっている。なお、デー
タ入力は、データ入力手段としてのキーボード631を用
いて行なうようになっている。
は、前述のごとく、ハードディスク622をそなえてお
り、このハードディスク622は、定義体情報としてのイ
メージデータ分割情報を格納する定義体格納部である。
なお、イメージデータ分割情報とは、イメージスキャナ
621A又はOCR装置621Bから入力された帳票のイメージデ
ータを、複数の項目612のイメージデータ部分に分割す
るための情報をいう。
として機能し(以下コンピュータ本体629を表示制御装
置629と表記する場合がある)、イメージデータ表示エ
リア611に、イメージスキャナ621A又はOCR装置621Bから
入力することにより得られたイメージデータを表示させ
るとともに、キーボード631により所望項目612のイメー
ジデータ部分に対応するデータを入力するに当たり、項
目表示エリア614における所望項目612用のデータ入力表
示エリア部分615に、カーソル表示616を行なわせるもで
ある。
に格納されているイメージデータ分割情報を使用して、
イメージスキャナ621A又はCOR装置621Bから入力された
帳票のイメージデータの罫線を認識し、複数の項目612
のイメージデータ部分からなる表に変換してから、この
変換されたイメージデータをイメージデータ表示エリア
611に表示させるのである。
ンピュータ本体629は、強調情報作成処理部623,イメー
ジデータ部分強調表示手段としての強調表示部624,イメ
ージデータ強調表示解除手段としての強調表示取消部62
5,強調表示遷移制御手段としての強調表示遷移制御部62
6及び表示画面スクロール手段としての画面スクロール
部627をそなえている。
入力装置としてのイメージデータ分割装置621から入力
されたイメージデータあるいはハードディスク622に格
納されたイメージデータ分割情報(定義体情報)を参照
して、関連情報Pと強調情報Qを作成するものである。
をそれぞれ「口番」,「氏名」,「取引」,「金額」に
対応させて、これらを関連づけるための情報である。
において強調表示を行なうための情報であり、FIG.69に
示すように、項目612のタイトルを示す「タイトル1〜
4」に対応した強調表示種類,強調表示領域からなる強
調表示属性情報を有するものである。なお、「タイトル
1〜4」は、それぞれ「口番」,「氏名」,「取引」,
「金額」に対応している。
り、本実施形態では強調表示として太枠表示を「タイト
ル1」,「タイトル3」に対応する項目612に設定する
とともに、網かけ表示を「タイトル2」,「タイトル
4」に対応する項目612に設定して、「タイトル1〜
4」を順に強調表示させるのに伴って、異なる強調表示
がなされるようにしており、より視認性を高めるように
している。
部分613の開始及び終了位置を、X座標とY座標からな
る座標(ドット単位)を用いて表示したものであり、項
目612毎に強調表示部分613の大きさを任意に設定できる
ようになっている。
ローチャートのステップA1′及びA2′で作成されるので
ある。
メージデータ表示エリア611に、複数の項目情報を含ん
だイメージデータが表示されている状態で、項目表示エ
リア614における各項目612用データ入力表示エリア615
部分のうちで、所望項目612用のデータ入力表示エリア
部分615にカーソル表示616がなされると、このデータ入
力表示エリア615と対応する所望項目612のイメージデー
タ部分のみを符号613で示すように強調表示させるもの
である。
示エリア部分615に、カーソル表示616がなされたとき
に、この項目612用データ入力表示エリア部分615と対応
する所望項目612のイメージデータ部分のみを、網かけ
又は飾り罫線等で強調表示することにより、イメージデ
ータと入力項目との対応を目視によって行なう際の視認
性を高めて、スムーズな入力操作を可能にするものであ
る。
強調された所望項目612のイメージデータ部分の強調表
示613を解除して、この項目612を強調表示する前の状態
に戻すものである。即ち、強調表示取消部625は、カー
ソル移動操作によって、所望項目612用データ入力表示
エリア部分615とは別の他の項目612用データ入力表示エ
リア部分615に、カーソル表示616が遷移せしめられる
と、項目対応のイメージデータ部分の強調表示613を解
除するものである。
と連動して機能しており、強調表示取消部625が、対応
するある項目612のイメージデータ部分の強調表示613を
解除した後に、別の項目612用データ入力表示エリア部
分615へカーソル表示616を移動させ、カーソル表示616
されている項目612用データ入力表示エリア部分615に対
応する他の項目612のイメージデータ部分のみを、強調
表示部624にて強調表示させるよう制御するものであ
る。
一部をディスプレイ630上に表示している状態からディ
スプレイ630上に表示されていないイメージデータを表
示させるものである。
を有しており、この変更部628は、強調表示部分613の強
調表示種類又は領域を例えばキーボードを使用して外部
からの指示により変更するものであり、変更情報獲得部
628Aと強調情報変更部628Bを有している。
を獲得するものであり、強調情報変更部628Bは、この変
更情報Rを使用して後述する強調情報Qを更新して強調
情報Q′を作成するものである。
5,強調表示遷移制御部626及び画面スクロール部627とし
ての機能をコンピュータ本体629に与えるような適宜の
ソフトウェアを、ハードディスク622又はその他のメモ
リにインストールすることにより、イメージデータ表示
装置640を構成するのである。
タ表示装置640は、以下のように動作する。
タ分割装置621(イメージスキャナ621A又はCOR装置621
B)から入力し、ディスプレイ(FIG.62では図示せず)
に表示したときの初期画塩はFIG.67に示すようになる。
イメージデータ表示エリア611には、複数の項目情報を
含んだイメージデータ、即ち、「口番」,「氏名」,
「取引」,「金額」の4つの項目情報を含んだイメージ
データが表示されている。
力表示エリア部分615にカーソル表示616を移動させるこ
とにより、所望の項目612のイメージデータ部分に対応
する送金データを入力する。このとき、FIG.70に示すよ
うに、強調表示部624によって、所望の項目612のイメー
ジデータ部分が強調表示部分613を有して強調表示され
ており、FIG.71〜FIG.76に示すように、カーソル表示61
6の移動に伴って、この強調表示部分613もイメージデー
タ表示エリア611を移動する。
示エリア部分615には、イメージデータの文字認識結果
が表示されていないが、文字認識結果が表示されていて
ももちろんかまわない。
2を強調表示したときのディスプレイ630が示されてい
る。
ード631により、「0001」と入力した後、キーボード631
を操作して、項目表示エリア614において「項目1」か
ら「項目2」へカーソル表示616を移動させると、強調
表示遷移制御部626によって、FIG.71に示すように、イ
メージデータ表示エリア611では、これに対応して、
「口番(0001)」から「氏名(フジ タロウ)」へ強調
表示部分613が移動する。この状態で、オペレータはキ
ーボード631を使用して、「フジ タロウ」と入力す
る。
入力した後、キーボード631を操作して、「項目2」か
ら「項目3」へカーソル表示616を移動させると、強調
表示遷移制御部626によって、FIG.72に示すように、
「氏名(フジ タロウ)」から「取引(010)」へ強調
表示部分613が移動し、更に「010」と入力した後、「項
目3」から「項目4」へカーソル表示616を移動させる
と、強調表示遷移制御部626によって、FIG.73に示すよ
うに、「取引(010)」から「金額(¥12,000)」へ強
調表示部分613が移動する。もちろん、このときも、オ
ペレータはキーボードを使用して、「010」,「¥12,00
0」を入力する。
金額データ「¥12,000」を入力した後に、キーボード63
1の例えばリターンキーを押下すると、「項目1〜4」
に対応する送金データ(口座番号,氏名,取引,金額の
各データ)がFIG.6に示すサーバ39へ送出されるのであ
る。
から再度「項目1」へカーソル表示616が移動し、強調
表示遷移制御部626によって、FIG.74に示すように、
「金額(¥12,000)」から2段目の「口番(0010)」へ
強調表示部分613が移動するが、以降は上記の操作を繰
り返すことにより、イメージ表示エリア611の所定の項
目612を順次強調表示させていくことができるのであ
る。
リア部分615に対応する項目612が強調表示されており、
カーソル表示616の移動に伴って、強調表示部分613も項
目612間を移動するようになっているのである。
データ入力表示エリア部分615で行なわれるようになっ
ており、データ入力すべきデータ入力表示エリア部分61
5にカーソル表示を移動させると、同時に参照すべき項
目612のイメージデータ部分が強調表示されることによ
り、データを参照する際の対応の誤認識を防いで視認性
を高めることができ、これにより、入力操作における労
力を軽減させるとともに、送金データの誤入力を防止す
ることができる。
75に示すように、ディスプレイ630のイメージデータ表
示エリア611の最下部にある「金額(¥1,765)」が強調
表示される状態になったとすると、このとき更に、その
下方部にディスプレイ630に表示されていない項目612が
存在する場合は、項目表示エリア614において「項目
4」から「項目1」へカーソル表示616を移動させる
と、画面スクロール部627によって、自動的に表示画面
をスクロールするとともに、強調表示遷移制御部626に
よって、FIG.76に示すように、イメージデータ表示エリ
ア611では、これに対応して、「金額(¥1,765)」から
「口番(2148)」へ強調表示部分613が移動する。
項目612が強調表示され、その下方部にディスプレイ630
に表示されていない項目612が存在する場合には、デー
タ入力表示エリア部分615の間をカーソル表示616を移動
させることにより、自動的に表示画面をスクロールする
ことができる。
つ行なって「口番(2148)」の項目を表示しているが、
これに限定されず、「口番(2148)の項目を最上段へ移
動することにより、1画面分(7項目分)の項目の全て
をスクロールして、その下方部に存在する1画面分の項
目を表示するようにしてもよい。
の制御は、FIG.62に示す強調表示部624,強調表示取消部
625,強調表示遷移制御部626及び画面スクロール部627に
よって行なわれており、このときの動作フローをFIG.65
を用いて更に説明する。
ア614において、「項目1」から「項目2」へカーソル
表示616を移動させると、即ち、イメージデータ表示エ
リア611において、入力対象となる項目612が、前回の入
力対象となった項目612と異なる場合には、まず、前回
の入力時において、強調表示属性(強調表示種類,強調
表示領域)の変更が行なわれたか否かを判断する(ステ
ップB1′)。
は、強調表示取消部625が、前回の項目612のイメージデ
ータ部分の強調表示属性を通常(変更前の属性)に戻す
ことにより強調表示を取り消し(ステップB2′)、次の
項目612のための関連情報Pを取得する(ステップB
3′)。
て、入力対象となる項目612に関する関連情報Pが存在
するか否かを判断し(ステップB4′)、入力対象となる
項目612に関する関連情報Pが存在する場合には、強調
情報Qを取得するとともに、変更情報獲得部628Aが、こ
の強調情報Qを参照して強調表示属性の変更情報を獲得
する(ステップB5′)。
データ部分がディスプレイ630上に表示されているか否
かを判断することによって、画面自動スクロールが必要
か否かを判断し(ステップB6′)、画面自動スクロール
が必要でない場合には、強調情報変更部628Bが、ステッ
プB5′で獲得した変更情報でイメージデータ部分の強調
表示属性を変更し、FIG.70,FIG.71に示すように、「口
番(0001)」から「氏名(フジ タロウ)」へ強調表示
部分613が移動する(ステップB8′)。
必要である場合には、画面スクロール部627が、FIG.75,
FIG.76に示すように、強調表示部分613の移動に伴う面
自動スクロール処理を行ない(ステップB7′)、強調情
報変更部628BがステップB5′で獲得した変更情報でイメ
ージデータ部分の強調表示属性を変更する(ステップB
8′)。
の変更が行なわれたか否かを判断し、強調表示属性の変
更が行なわれていた場合には前回の項目612の強調表示
を取り消すとともに、入力対象となる項目612に関する
関連情報Pが存在するか否かを判断し、入力対象となる
項目612に関する関連情報Pが存在する場合には強調表
示属性の変更情報を獲得する。
画面自動スクロールが必要でない場合には強調表示属性
を変更し、画面自動スクロールが必要である場合には画
面自動スクロール処理を行なった後強調表示属性を変更
するのである。
は、強調情報Qを変更することにより、任意に変更する
ことができる。
ージデータ表示エリア611の最下部にある項目612である
「金額(¥4,321)」が強調表示されている場合を例に
して説明する。
表示部分613は、FIG.69,FIG.79の強調情報Qに示すよう
に、開始位置座標(320,180)と終了位置座標(420,20
0)とを規定することにより、一意に決められるように
なっている。なお、開始位置座標(320,180)は、「タ
イトル4(金額)」に対応した「No.7開始」に示す座標
であり、終了位置座標(420,200)は、「タイトル4
(金額)に対応した「No.7終了」に示す座標である。
位置座標(320,180)を、(360,180)に変更すると、FI
G.78に示すように、FIG.77に示す項目612である「金額
(¥4,321)」の強調表示部分613の領域は狭くなる。
位置座標を変更することにより、強調表示部分613の領
域の大きさを任意に設定することができるのである。
力手段としてのキーボード等を用いて、イメージデータ
表示装置640に強調表示属性の変更の旨を入力すること
により、FIG.62,FIG.63に示す変更部628で行なわれる。
報Rを獲得すると、強調情報変更部628Bが強調情報Qを
更新して、強調情報Q′を作成するのであり、このとき
の動作フローをFIG.66を用いて説明する。
8Aが、強調情報変更開始認識処理(ステップC1′)及び
強調情報変更終了認識処理(ステップC2′)を行なった
後、変更情報獲得処理を行なうことにより(ステップC
3′)、強調情報Qがどのように変更されたかを認識す
る。
が、強調情報更新処理(ステップC4′)及び強調情報変
更処理(ステップC5′)を行なうことにより、例えばFI
G.79に示すように、強調情報Qを更新して強調情報Q′
を作成するのである。
域を任意に変更することができるため、用途に応じて自
由に強調表示を施すことができるのである。
分615には、イメージデータの文字認識結果が表示され
ていないが、文字認識結果が表示されていてももちろん
かまわない。
640によれば、データ入力すべきデータ入力表示エリア
部分615にカーソル表示を移動させると、同時に参照す
べき項目612のイメージデータ部分が強調表示されるこ
とにより、オペレータがディスプレイ630から一度目を
離した後に、再度ディスプレイ630を見た場合でも、誤
った項目612を見ることを防いで、イメージデータを参
照する際の対応の誤認識を防いで視認性を高め、入力操
作における労力を軽減させるとともに、誤入力を防止す
ることができる利点がある。
プレイ630に表示されていない場合には、強調表示部分6
13の移動に伴って自動的にスクロールすることができる
ため、例えばキーを押下する等の無駄な操作を削減する
ことができるという利点がある。
を変更することもでき、用途に応じて使用することがで
きる利点がある。
ディスプレイに表示される帳票のイメージデータに強調
表示を施す際に、所定の項目612の全体を強調表示する
場合について説明したが、これに限定されず、例えばFI
G.80に示すように、所定の項目612の一部分を強調表示
するようにしてもよい。
ータ表示エリア611には、「口座番号」,「科目」,
「銀行名/支店名」,「受取人」及び「金額」の5つの
項目情報を含んだイメージデータが表示されるようにな
っている。
力表示エリア部分615にカーソル表示616を移動させるこ
とにより、所望の項目612のイメージデータ部分に対応
する送金データを入力する。このとき、FIG.80に示すよ
うに、所望の項目612のイメージデータ部分が強調表示
部分613を有して強調表示されており(「銀行名/支店
名(富士通銀行)」の部分)、FIG.81,FIG.82に示すよ
うに、カーソル表示616の移動に伴って、この強調表示
部分613もイメージデータ表示エリア611を移動する。
郎)」の文字部分が強調表示されているが、FIG.83に示
すように、項目612の全体を強調表示してもよい。
データを、個人情報毎にディスプレイ630に表示するよ
うにすることもできる。
ータ表示エリア611には、「銀行名」,「支店名」,
「口座番号」,「科目」,「金額」,「受取人」及び
「依頼人」の7つの項目情報を含んだイメージデータが
表示されるようになっている。
入力表示エリア部分615にカーソル表示616を移動させる
ことにより、所望の項目612′のイメージデータ部分に
対応する送金データを入力する。このとき、FIG.84に示
すように、所望の項目612′のイメージデータ部分が強
調表示部分613を有して強調表示されており(「科目
(1)」の部分)、FIG.85に示すように、カーソル表示
616の移動に伴って、この強調表示部分613もイメージデ
ータ表示エリア611を移動する。
も、本実施形態と同様の利点を得ることができる。
分615には、イメージデータの文字認識結果が表示され
ていないが、文字認識結果が表示されていてももちろん
かまわない。
ージデータ入力装置で読み取り、イメージデータとして
ディスプレイ等の画面に表示する場合について説明した
が、これに限定されず、その他のデータ類(例えば名簿
等)をイメージデータ入力装置で読み取り、イメージデ
ータとしてディスプレイ等の画面に表示することもで
き、このようにしても、本実施形態と同様の利点を得る
ことができる。
メージデータを目視して、入力操作を行なう場合につい
て説明したが、例えば帳票をイメージデータ入力装置で
読み取る際に、自動的に文字認識を行なうようにするこ
とにより、誤認識及び認識不能文字を含んだ項目につい
てのみオペレータが入力操作を行なうようにすることも
できる。
とができるほか、入力操作における労力及び時間を大幅
に削減することができる。
0においては、イメージデータの編集表示は複数の文字
から構成される項目を単位としているため、自動文字認
識の結果の正誤の確認の際には、イメージデータ中の連
続する異なった文字の中から、目視によって確認対象の
認識文字に対応する文字の選別を行なうため、視線の移
動及び比較する対象が多く、正誤の確認作業に労力及び
時間を要することもある。
み取り標章表示・認識情報修正装置740を用いて入金依
頼処理を施すことができる。
えば入金すべき料金の種類や金額等の入金データが記載
された帳票をイメージとして取り込み、この入金データ
のイメージを自動文字認識によりコード情報に変換する
ことにより、入金依頼処理を施すものであるものである
が、変換の際の認識不能文字及び誤認識文字(文字には
数字も含む。以下同じ。)の修正は、オペレータがキー
ボード等を介して行なうようになっている。
0は、FIG.6に示す媒体処理装置30のクライアント10に相
当するものであり、FIG.6に示すサーバ39と接続された
場合には、サーバ39に接続された集中文字認識装置6に
よるイメージの文字認識結果についても、同様に認識不
能文字及び誤認識文字の修正処理を施すとともに、この
修正結果をサーバ39に出力するワークステーションとし
て機能するようになる。
置740は、FGI.86に示すように、イメージ読み取り部と
してのイメージリーダ721,データ入力装置としてのキー
ボード722,ハードディスク723,標章認識装置としてのコ
ンピュータ本体724及びディスプレイ725をそなえて構成
されている。
入金データが記載された帳票のような数字,文字等の標
章情報を有するイメージである全面イメージPを読み取
り、数字及び文字等のイメージ情報である標章イメージ
情報として、コンピュータ本体724に入力するものであ
る。
数字及び文字単位で構成されているものであるが、これ
に限らず、数字及び文字の集合をその構成単位としても
よい。また、この全面イメージPは、複数枚分をまとめ
て保持されるようにしてもよい。
イメージ情報及び誤認識された標章イメージ情報に対応
するコードデータを修正するために、適正なコードデー
タを正解データとして、オペレータが手動で入力するた
めのものである。
入力された標章イメージ情報を読み取ったイメージの状
態で表示するものであり、認識不能標章イメージ情報表
示エリア732A,標章イメージ情報表示エリア733A,連関標
章イメージ情報表示エリア733B及び正解データ表示エリ
ア733Cを有している。
は、自動認識不能であった標章イメージ情報を、その周
辺の標章イメージ情報とともに表示するものであり、認
識不能標章イメージ情報には強調表示を施すことによ
り、周辺の標章イメージ情報と識別できるようになって
いる。例えば、FIG.101の画面Aにおいて、「1.“?"
(リジェクト文字)」に示す「2034」では、「3」が認
識不能標章イメージ情報であり、「2」,「0」,
「4」が周辺の標章イメージ情報に相当する。
中におけるコード情報に変換されるべき最小構成単位の
標章イメージ情報を、この標章イメージ情報を変換した
コード情報の意味する標章情報に対応させて表示するも
のである。
ジ情報として、例えばFIG.101の画面Aに示すように、
数字の場合では「0」〜「9」に対応するエリアが設け
られており、「1」を表す標章イメージ情報は、全て
「1」に対応するエリアに表示されるように、同一標章
を同一エリアに表示するようになっており、視線の移動
を削減するようになっている。
えば続き文字のような前後の文字を参照することによ
り、自動文字認識の結果の正誤の確認及び修正が容易に
行なえる場合に、キーボード722の例えば参照キーを押
下することにより、強調表示されている標章イメージ情
報の周辺のイメージ情報を参考表示させるものである。
例えば、FIG.103の画面Fにおいて、「1175」では、
「7」が強調表示されている標章イメージ情報であり、
「1」,「1」,「5」がその周辺のイメージ情報であ
る。
から入力された適正なコードデータを正解データとして
表示するためのものであり、例えば、FIG.103の画面F
においては、「7」が入力された状態になっている。
正装置740は、前述のごとく、ハードディスク723をそな
えており、このハードディスク723は、定義体情報とし
ての読み取り指定情報を格納する定義体情報格納部であ
る。なお、読み取り指定情報とは、全面イメージPの分
割及びコードデータとしての認識に関する情報をいう。
として機能し(以下コンピュータ本体724を標章認識装
置724と表記する場合がある)、イメージリーダ721によ
り入力されたイメージの標章のイメージ情報を認識し
て、この標章のイメージ情報を標章のコードデータに変
換するとともに、標章のイメージに所定の処理を施して
ディスプレイ725に表示するものである。
ンピュータ本体724は、標章認識部としての文字認識部7
26,読み取り標章イメージ表示制御部727,正解データ表
示手段としての正解データ表示部728,最小構成単位標章
イメージ情報抽出部としての文字イメージ抽出処理部72
9,最小構成単位標章イメージ表示制御部としての文字イ
メージ表示処理部730,連関標章イメージ表示手段として
の関連標章イメージ表示部731,認識情報修正手段として
の認識情報修正部752及び連関情報作成部741をそなえて
いる。
取られたイメージ中の標章イメージ情報を認識して、こ
の標章イメージ情報に対応するコード情報に変換するも
のであり、例えば文字認識装置等と同様の機能を有する
ものである。
み取られた全面イメージPあるいはハードディスク723
に格納された読み取り指定情報(定義体情報)を参照し
て、認識文字情報Sを作成するものである。
識された文字のコードデータを表したものであり、FIG.
99に示すように、「項目名」,「項目桁数」,「認識結
果」で表されている。
道料金」及び「電気料金」に対応しており、「SUI−1
〜4」及び「DEN−1〜4」の項目を有している。
の場合は6桁の文字及び数字を入力できるように設定さ
れており、「認識結果」は、文字として認識されたコー
ドデータとしてのコード情報を表している。なお、付記
した正解データとの比較でわかるように、「SUI−
2」,「SUI−4」の認識結果は、認識不能及び誤認識
である。
イメージ情報を対応するコード情報に変換できなかった
場合は、この変換できなかった認識不能標章イメージ情
報を認識不能標章イメージ情報と関連する標章イメージ
情報とともに、ディスプレイ725に、読み取ったイメー
ジの状態で表示させるものである。
文字認識部726で認識及び対応するコード情報への変換
が行なわれなかった標章イメージ情報を、認識不能標章
イメージ情報として、この認識不能標章イメージ情報の
周辺に位置する連関する標章イメージ情報とともに、デ
ィスプレイ725上の認識不能標章イメージ情報表示エリ
ア732Aに、読み取ったイメージの状態で表示させるもの
である。
は、オペレータによる認識不能標章イメージ情報の識別
を容易にするために、認識不能標章イメージ情報に強調
表示を施す強調表示手段としての強調表示部727Aもそな
えている。
正解データ表示部728により、正解データがディスプレ
イ725上の認識不能標章イメージ情報表示エリア732Aと
は別の正解データ表示エリア733Cに表示されると、今ま
で強調表示されていた認識不能標章イメージ情報につい
ては修正済みを意味する別の強調表示に変更する強調表
示変更手段としての強調表示変更部727Bをそなえてい
る。
におけるコード情報に変換されるべき最小構成単位の標
章イメージ情報を、最小構成単位の標章イメージ情報毎
に抽出するものである。
字,文字をその最小構成単位としている標章イメージ情
報を、数字及び文字単位のイメージ情報に分割して抽出
するものであり、全面イメージPあるいはハードディス
ク723に格納された読み取り指定情報(定義体情報)を
参照して、関連情報Rを作成するものである。
に示すフローチャートのステップB1″〜ステップB8″の
処理を施すことにより作成される。
字イメージ情報を作成して(ステップB1″)、この文字
イメージ情報の全面イメージPにおける位置(帳票上の
位置)情報を取得する(ステップB2″)。
金,電気料金等)に指定されているか否かを判断し(ス
テップB3″)、指定されている場合には、文字イメージ
情報を所定の項目毎に分類し(ステップB4″)、各文字
イメージ情報の項目内の位置情報を設定する(ステップ
B5″)。
合は、行を項目として項目毎に分類し(ステップB
6″)、各文字イメージ情報の項目内の位置情報を設定
する(ステップB7″)。
の位置情報を用いて、関連情報Rが作成されるのである
(ステップB8″)。なお、この関連情報Rは、認識文字
に関する認識文字情報を有していないものである。
抽出処理部729で抽出された最小構成単位の標章イメー
ジ情報(例えば数字,文字単位のイメージ情報)を、こ
の標章イメージ情報を変換したコード情報の意味する標
章情報に対応させて表示させるとともに、同種の最小構
成単位の標章イメージ情報を、この標章イメージ情報を
変換したコード情報の意味する標章情報に対応させて複
数個表示させる機能を有するものである。
文字イメージ抽出処理部729で抽出された「1」のイメ
ージ情報を変換したコード情報を、ディスプレイ725上
の標章イメージ情報表示エリア733Aの「0」〜「9」等
の複数の標章を表示する部分の中の「1」の標章を表示
する部分に表示させるものである。
標章イメージ情報についてのみ強調表示を行なう強調表
示手段としての強調表示部730Aをそなえており、現在処
理しているイメージ情報の識別が容易にできるようにな
っている。
0Bは、データ入力装置であるキーボード722の操作によ
り正解データを入力すると、今まで強調表示されていた
1つの標章イメージ情報については修正済みを意味する
別の強調表示を施し、修正前の標章イメージ情報と修正
済の標章イメージ情報との識別を容易にするものであ
る。
メージ情報をこの標章イメージ情報と連関する標章イメ
ージ情報とともに、ディスプレイ725上に、読み取った
イメージの状態で表示するものである。
章イメージ情報をこの標章イメージ情報の周辺に位置
し、連関する標章イメージ情報とともに、ディスプレイ
725上の連関標章イメージ情報表示エリア733Bに、読み
取ったイメージの状態で表示するものであり、例えば続
き文字のような前後の文字を参照することにより、自動
文字認識の結果の正誤の確認及び修正が容易に行なえる
場合に、強調表示されているイメージ情報の周辺のイメ
ージ情報を参考表示させるものである。
標章イメージ情報については強調表示を施す強調表示手
段としての強調表示部731Aをそなえており、連関する標
章イメージ情報との識別を容易にしている。
操作により正解データを入力すると、ディスプレイ725
上の標章イメージ情報表示エリア733A及び連関標章イメ
ージ情報表示エリア733Bとは異なるエリアである正解デ
ータ表示エリア733Cに、正解データを表示させるもので
ある。
ジ情報及び誤認識標章イメージ情報に対する正解データ
がキーボード722から入力されると、正解データを正解
コードデータとして登録することにより、認識不能標章
イメージ情報及び誤認識標章イメージ情報の修正を行な
うものであり、FIG.88に示すように、修正情報取得処理
部742及び修正結果反映処理部743をそなえている。
字情報Sを参照して、認識文字情報を有した関連情報
R′を作成するものである。
文字イメージ情報における「全面イメージ上の位置及び
サイズ」,「対応文字項目名」,「対応項目イメージ
名」,「項目内桁位置」,「認識文字」,「認識文字情
報内オフセット」及び「修正済フラグ」を表したもので
ある。
字イメージ情報の全面イメージP上の位置情報を表して
おり、ビット単位で表現されている。
する項目([SUI−1〜4」等)を表しており、「対応
項目イメージ名」は、文字イメージ情報が属するイメー
ジを表しており「対応文字項目名」に対応している
(「ISUI−1〜4」等)。
情報「1050」に対応しているが、FIG.100に示すよう
に、文字イメージ1〜4情報からなり、イメージ名は
[ISUI−1]となる。
ジ情報の位置を表しており、「認識文字」は、認識文字
情報Sを表すものであり、認識文字「1」が項目内で3
桁目に、「0」が4桁目に、「5」が5桁目に、「0」
が6桁目に位置することを表している。
F」となっているが、認識不能文字及び誤認識文字の修
正を施したときには、その文字イメージ情報に対する修
正済フラグ」を「ON」に変更され、修正が行なわれた旨
を示すものである。
オフセット」情報によっても規定されている。
て作成される。
る位置情報毎に分類し(ステップC1″)、分類された認
識文字情報Sを対応する関連情報Rに追加する(ステッ
プC2″)。次に、この認識文字情報Sの項目及び/又は
行内文字数が、関連情報Rの項目又は行内文字数以内で
あるかを判断し(ステップC3″)、さらに、この認識文
字情報Sの項目及び/又は行数が、関連情報Rの項目又
は行数以内であるかを判断し(ステップC4″)、これに
より、関連情報Rを更新して関連情報R′を作成するの
である。
ージ表示制御部727,文字イメージ抽出処理部729,文字イ
メージ表示処理部730,連関標章イメージ表示部731,正解
データ表示部728及び関連情報作成部741としての機能を
コンピュータ本体724に与えるような適宜のソフトウェ
アを、ハードディスク723又はその他のメモリにインス
トールすることにより、読み取り標章表示・認識情報修
正装置740を構成するのである。
表示・認識情報修正装置740は、以下のように動作す
る。
対象の帳票の全面イメージPを作成し、標章認識装置72
4でこの全面イメージPを文字イメージ情報に変換する
とともに、読み取り指定情報(定義体情報)を用いて関
連情報R′を作成する。
をディスプレイ(FIG.87では図示せず)に表示したとき
のディスプレイ725上の初期画面はFIG.101の画面Aに示
すようになる。
には、リジェクト文字及びその周辺に位置する文字であ
る「2034」及び「1201」が表示され、標章イメージ情報
表示エリア733Aには、「0」〜「9」のエリアに、それ
ぞれ「0」〜「9」を表す文字イメージが表示されてい
る。
示された「2034」は、修正対象であることを示すため太
枠で強調表示されているとともに、認識不能文字である
リジェクト文字「3」に斜線で強調表示が施されてい
る。また、同様に認識不能標章イメージ情報表示エリア
732Aに表示された「1201」は、認識不能文字であるリジ
ェクト文字「2」に斜線で強調表示が施されている。
情報の表示は、FIG.87に示す標章認識装置724で行なわ
れており、このときの動作フローをFIG.93を用いて説明
する。
と(ステップD1″)、関連情報R′を複写し認識文字情
報Sの順に分類を行なう(ステップD2″)。
か否かを判断し(ステップD3″)、リジェクト文字であ
る場合には、その周辺及び/又は項目の文字イメージ情
報を取得して、認識不能標章イメージ情報表示エリア73
2Aに表示する(ステップD4″)。なお、これらのステッ
プD1″〜D4″の動作をリジェクト文字の数だけ繰り返す
のである(ステップD5″)。
章イメージ情報表示エリア733Aの該当するエリアに文字
イメージ情報を表示し(ステップD6″)、認識文字の数
だけこのステップD6″の動作を繰り返すのである(ステ
ップD7″)。
レータがキーボード722により、正解データとして
「3」を入力すると、正解データ表示エリア733Cには
「3」が表示され、その後、例えば確定キーを押下する
と、画面Bに示すように認識不能標章イメージ情報表示
エリア732Aに表示された「2034」のリジェクト文字であ
る「3」部分の強調表示が、斜線から修正された旨を示
す網かけになる。これに伴って認識文字情報Sが修正さ
れるとともに、関連情報R′が更新されるのである。
「3」が修正された旨を示す網かけの強調表示に変更さ
れたことに伴って、自動的に次の修正対象である「120
1」に太枠の強調表示が施される。
ーボード722により、正解データとして「2」を入力す
ると、正解データ表示エリア733Cには「2」が表示さ
れ、その後、確定キーを押下すると、FIG.102の画面C
に示すように、認識不能標識イメージ情報表示エリア73
2Aに表示された「1201」のリジェクト文字である「2」
部分の強調表示が、斜線から修正された旨を示す網かけ
になる。これに伴って認識文字情報Sが修正されるとと
もに、関連情報R′が更新されるのである。
〜「9」のエリアに表示された「0」〜「9」を表す文
字イメージが異なっていた場合、即ち、文字イメージ情
報が誤認識されていた場合には、オペレータがキーボー
ド722の例えばタブキーを押下すると、FIG.102に示すよ
うに、ディスプレイ725の「1.“?"(リジェクト文
字)」のエリアから、「2.“0"」のエリアに太枠の強調
表示が移動する。
面Eに示すように、「3.“1"」のエリアに太枠の強調表
示が移動し、これを繰り返すことにより、修正対象であ
ることを示す太枠の強調表示が順次ディスプレイ725内
を移動する。
を移動する際には、タブキーを押下して所望の文字イメ
ージ情報を選択するようになっており、FIG.103の画面
Eでは、「3.“1"」のエリアに誤認識(即ち、「7」の
イメージが「1」のコード情報に変換されている)によ
り表示された文字イメージ情報「7」が太枠で強調表示
されている。
では識別しにくい場合には、FIG.89に示すように、オペ
レータがキーボード722の参照キーを押下すると、連関
標章イメージ表示手段としての参照イメージ表示処理部
731が、関連情報R′を参照して、FIG.103の画面Fに示
すように、連関標章イメージ情報表示エリア733Bに参照
イメージを表示する。
722により、正解データとして「7」を入力し、確定キ
ーを押下すると、正解データ表示エリア733Cには「7」
が表示され、FIG.104に示すように、文字イメージ情報
「7」のコード情報が、誤認識である「1」から「7」
へと修正され、文字イメージ情報「7」には、修正が行
なわれた旨の網かけの強調表示が施される。
とともに、修正され文字イメージ情報「7」には、修正
した旨を示す強調表示が施されるのである。
は、前述のごとく、参照イメージ表示処理部731で行な
われており、このときの動作フローをFIG.97を用いて説
明する。
判断し(ステップH1″)、参照イメージが表示されてい
ない場合には、強調表示されている修正対象の文字イメ
ージ情報の関連情報R′を検索する(ステップH2″)。
項目イメージ情報を取得し(ステップH3″)、参照イメ
ージを表示する位置を、強調表示されている修正対象の
文字イメージ情報を遮蔽しない位置に設定し(ステップ
H4″)、参照イメージを表示する(ステップH5″)。
照キーを押下すると、参照イメージを消去する(ステッ
プH6″)。
情報の修正は、FIG.87,FIG.88に示す文字認識部726の修
正情報取得処理部742,修正結果反映処理部743及び強調
表示変更手段としての修正文字イメージ強調表示部727B
によって行なわれており、このときの動作フローをFIG.
94〜FIG.96を用いて説明する。
より、正解データを入力すると、この正解データは修正
情報として修正情報取得処理部742に入力され、この修
正情報と関連情報R′とを用いて修正結果反映処理部74
3で認識文字情報Sを作成するとともに、関連情報R′
を修正して更新する。また、修正文字イメージ強調表示
部727Bは、修正情報を参照して、修正が行なわれた項目
にその旨の強調表示を施す。
すように、入力画面が表示されると(ステップE1″)、
認識文字が認識不能文字であるリジェクト文字であるか
否かを判断し(ステップE2″)、リジェクト文字である
場合には、周辺及び/又は項目イメージ情報に修正対象
の項目であることを示す太枠の強調表示を施し(ステッ
プE3″)、該当文字であるリジェクト文字には太枠とは
別な斜線の強調表示を施す(ステップE4″)。
の文字イメージ情報に太枠の強調表示を施す(ステップ
E5″)。
(ステップE6″)、例えばタブキー又は逆タブキー(タ
ブキーと反対方向へカーソルを移動させるキー)が押下
されると、修正対象を示す太枠の強調表示を移動して、
次の文字イメージ情報を修正対象とし(ステップE
7″)、最終の文字イメージ情報まで太枠の強調表示が
移動すると、はじめからこの動作が行なわれる(ステッ
プE8″)。
報作成部741に通知される(ステップE9″)。
G.95に示すように、強調表示中の文字イメージ情報の関
連情報R′を検索し(ステップF1″)、認識文字(認識
不能文字及び誤認識文字)を修正し(ステップF2″)、
更に、関連情報R′の認識文字を修正し(ステップF
3″)、参照イメージを表示又は消去する(ステップF
4″)。
7Bでは、FIG.96に示すように、修正情報を取得して(ス
テップG1″)、修正がなされた旨の強調表示を施す(ス
テップG2″)。
置740における文字イメージ情報の表示,修正及び参照
イメージの表示は、FIG.90に示すように、標章認識装置
724での、全面イメージPであるイメージデータの取得
(ステップA1″),文字イメージ情報の抽出(ステップ
A2″),認識文字イメージ情報の取得(ステップA
3″),関連情報R′の作成(ステップA4″),文字イ
メージ情報の表示(ステップA5″),修正情報の取得
(ステップA6″),データキー又は参照キーの押下(ス
テップA7″),データキーの押下に伴う修正結果の反映
(ステップA8″)及び修正された文字イメージ情報の強
調表示(ステップA9″),参照キー押下に伴う参照イメ
ージの表示(ステップA10″)のように行なわれ、表示
されている文字イメージ情報全てについてこの処理を行
なうのである(ステップA11″)。
識情報修正装置740によれば、標章認識装置724により、
認識できなかった認識不能文字のイメージ情報を、その
周辺の文字のイメージ情報とともにディスプレイ725上
に読み取ったイメージの状態で表示するとともに、この
認識不能文字のイメージ情報については強調表示を施す
ことにより、続き文字のような前後の文字のイメージ情
報を参照することにより、精度の高い確認作業を行なう
ことができ、正誤の確認作業に要する労力及び時間を削
減することができる利点がある。
報修正装置740によれば、認識不能文字及び誤認識文字
のイメージ情報に対応する正解データをキーボード722
の操作により入力すると、正解データがディスプレイ72
5上に表示されるとともに、今まで強調表示されていた
認識不能文字及び誤認識文字のイメージ情報については
修正済みを意味する別の強調表示が施されることによ
り、認識不能文字の入力及び誤認識文字の修正が行なわ
れたものと行なわれていないものとの識別が容易にな
り、視認性を高めてオペレータの二重修正等を防ぎ、正
誤の確認作業に要する労力及び時間を大幅に削減するこ
とができる利点がある。
情報修正装置740によれば、同一標章のみをディスプレ
イ上の同一のエリアに表示するような目視が容易に行な
えるような単位で表示するとともに、所望の1つの文字
イメージ情報についてのみ強調表示を行なうことによ
り、オペレータが関連する周辺の文字イメージ情報を参
照することなく、イメージ情報を参照するだけでその認
識結果の正誤を確認できるようにして視線の移動を大幅
に削減するとともに、処理中の文字イメージ情報につい
てのみ強調表示を行なって比較対象を削減して、正誤の
確認作業に要する労力及び時間を大幅に削減することが
できる利点がある。
報修正装置740によれば、正解データが、上記1つの文
字イメージ情報とこの文字イメージ情報と関連する周辺
の文字イメージ情報とを表示しているエリアとは別の正
解データ表示エリアに表示されることにより、文字イメ
ージ情報と入力した正解データとを目視により再確認す
ることができ、正誤の確認作業に要する労力及び時間を
削減するとともに、精度の高い確認作業が行なうことが
できる利点がある。
を修正する際に、認識不能文字及び誤認識文字に対して
入力された正解データを、ディスプレイの725の正解デ
ータ表示エリア733Cに表示するようになっているが、認
識不能文字及び誤認識文字に対する正解データを表示す
ることなく、認識不能文字及び誤認識文字を修正するよ
うにしてもよく、認識不能文字又は誤認識文字のいずれ
かに対する正解データのみを表示して、認識不能文字及
び誤認識文字を修正するようにしてもよい。
として、FIG.98に示すような表形式の帳票を用いて説明
したが、これに限定されず、その他の形式の帳票を用い
てもよい。
の説明FIG.105は本発明の一実施形態の第1の変形例に
かかる帳票識別装置を示すブロック図であり、このFIG.
105に示す帳票識別装置についても、前述のFIG.115にお
けるもの(符号1001,1002及び1003参照)と同様、イメ
ージデータ読取装置811,電子計算機812(この電子計算
機812は後述のごとく入力部812−1,ディスプレイ812−
2及び制御部812−3をそなえている)及びハードディ
スク813により構成することができる。
て、そのイメージデータを読み取るものであり、このイ
メージデータ読取装置811としては、前述のFIG.115にお
けるものと同様に、光学式文字読み取り装置(OCR装
置)やイメージスキャナ等を用いることができる。
にて読み取った帳票のイメージデータに基づいて、帳票
データとして処理を行なうものであり、電子計算機812
におけるCPU及びメモリとしての機能部分により構成す
ることができる。
ものと同様に、オペレータからの制御部812−3へのデ
ータあるいは命令等を入力するキーボードあるいはマウ
ス等の入力部(後述のFIG.106における符号812−1参
照)とともに、イメージデータ読取装置811で読み取っ
たイメージデータ等を表示するディスプレイ(後述のFI
G.106における符号812−2参照)に接続されている。
イメージデータ読取装置によって読み取られた帳票の全
イメージデータを格納するものである。
すように、イメージデータ格納メモリ814,イメージデー
タ切り出し部815,帳票識別辞書部816,データ比較部817,
閾値設定部818,帳票判定部819,定義体格納部820,定義体
格納テーブル821,文字認識部822及び文字認識結果格納
部923をそなえている。
取装置811によって読み取られた帳票のイメージデータ
を一旦格納するものであり、イメージデータ切り出し部
815は、オペレータの入力部812−1の操作による抽出の
対象となる情報(識別情報)の指示を受けて、イメージ
データ格納メモリ814に格納された帳票のイメージデー
タから、帳票上に記載されている所要の帳票識別情報を
抽出する帳票識別情報抽出手段としての機能を有するも
のである。
て、識別情報から所要の帳票識別情報を抽出する際に
は、イメージデータ読取装置811にて読み取られた帳票
のイメージデータをディスプレイ812−2に表示(投
影)されるようになっており、オペレータは、このディ
スプレイ812−2に表示されたイメージデータに基づい
て、識別情報を指示することができる。
にて抽出する対象となる情報としては、例えば帳票上に
記載されている文字情報,マーク,印鑑あるいは罫線等
のあらゆる記載情報を指示することができ、イメージデ
ータ切り出し部815においては、指示された情報の座標
位置情報,記載情報の大きさ情報及びデータ情報を、帳
票識別情報として例えばソフトウェアあるいはファーム
ウェア処理により自動的に抽出するようになっている。
ージデータ切り出し部815で抽出された帳票識別情報を
特定帳票の帳票識別情報として登録するものである。
付された帳票種別Aの帳票識別情報は領域816aに格納さ
れ、ID番号‘0102'の付された帳票種別Bの帳票識別情
報は領域816bに格納されるようになっている。
ジデータ切り出し部815及び帳票識別辞書部816により、
イメージデータ読取装置811によって読み取られた特定
帳票のイメージデータから、特定帳票上に記載されてい
る帳票識別情報を抽出して、帳票識別情報を帳票識別辞
書部816に登録する登録ステップとしての動作が行なわ
れるようになっている。
み取られた帳票のイメージデータは、帳票識別辞書部81
6に帳票識別情報を登録する際に、イメージデータ格納
メモリ814にて一旦格納されるが、その一方でイメージ
データ読取装置811にて読み取られた全帳票に関するイ
メージデータがハードディスク813に格納されるように
なっている。
リ814に格納されている特定帳票のイメージデータを読
み出し、特定帳票のイメージデータ中に、帳票識別辞書
部816に登録されている帳票識別情報があるかどうかを
検証する検証手段としての機能を有するとともに、イメ
ージデータ読取装置811によって読み取られイメージデ
ータ格納メモリ814に格納された任意の帳票のイメージ
データ中に、帳票識別辞書部816に登録されている帳票
識別情報があるかどうかを参照する参照手段としての機
能をも有しており、これにより、装置構成を簡素化して
いる。
比較部817による検証結果に基づいて、特定帳票の認識
ができるかどうかを判定することにより、特定帳票が全
て確実に一つに特定できたかどうかを判定する判定手段
としての機能を有するとともに、参照手段としてのデー
タ比較部817での参照結果に基づいて、任意の帳票が特
定帳票であるかどうかを識別する帳票識別手段としての
機能をも有しており、これにより、装置構成を簡素化し
ている。
ハードディスク813にて格納されている全帳票に関する
イメージデータについて、イメージデータ切り出し部81
5において1帳票のイメージデータ単位で抽出された情
報と、対応する帳票識別辞書部816からの帳票識別情報
とを1イメージずつ順次取り出して、これらの情報を照
合するようになっており、判定手段としての帳票判定部
819では、データ比較部817からの、帳票識別情報の照合
結果に基づいて、帳票を間違いなく一意に特定すること
ができるか否かを判定するようになっている。
ージデータ読取装置811から入力されたイメージデータ
について、イメージデータ切り出し部815にて抽出され
た情報と、対応する帳票識別辞書部816からの帳票識別
情報とを照合することにより一致度を算出するようにな
っており、帳票識別手段としての帳票判定部819では、
データ比較部817からの帳票識別情報の一致度と、閾値
設定部818からの閾値とを比較することにより、イメー
ジデータ読取装置811から入力されたイメージデータの
帳票を識別することができるか否かを判定するようにな
っている。
閾値設定部818及び帳票判定部819により、特定帳票の認
識ができるかどうかを判定する検証ステップとしての動
作が行なわれるとともに、任意の帳票が特定帳票である
かどうかを識別する運用ステップとしての動作が行なわ
れるようになっている。
アウトの初回出現時>の処理(レイアウト解析処理A2,
オペレータ処理A6及びレイアウト学習処理A8)に相当
し、上述の検証ステップ及び運用ステップは、FIG.3の
<レイアウトの再出現時>の処理(レイアウト解析処理
A9,レイアウト照合処理A10及びオペレータ処理A13)に
相当する。
の閾値情報に基づいた一致度の判定の際には、閾値設定
部818からの閾値情報は、イメージデータ読取装置811に
おける読取動作時の誤差や、帳票そのものの印字誤差等
を吸収して判定できる程度に、設定されるようになって
いる。
任意の帳票が特定帳票であると識別された場合、即ち、
システム運用時に帳票判定部819により、イメージデー
タ読取装置811にてイメージデータを読み取った帳票
が、帳票識別辞書部816にて登録済の帳票識別情報に対
応する特定帳票と認識することができた場合に、この帳
票に記載されているデータを認識するための定義体情報
を、定義体格納テーブル821から読み出して一旦格納し
ておくものである。
録されている帳票識別情報に対応する特定帳票に記載さ
れている内容を文字認識するための定義体情報(例えば
読取位置情報,文字属性情報,読取桁数等)を保持して
おくものである。
メモリ814にて格納されている、帳票識別辞書部816にて
登録済の特定帳票と認識することができた帳票に関する
イメージデータについて、定義体格納部820からの、イ
メージデータに対応する定義体情報とを入力され、イメ
ージデータを定義体情報に従って文字認識処理を行なう
ものである。
て認識された文字情報を格納するものである。
例にかかる帳票識別装置の動作を、上述の登録ステップ
時,検証ステップ及び運用ステップ時毎に、以下に説明
する。
制御ブロック図,FIG.107に示す登録ステップ動作時の動
作を説明するためのフローチャート及びFIG.108を用い
て、本実施形態にかかる帳票識別装置の登録ステップ時
の動作を以下に説明する。
り、イメージデータ読取装置811において電気料金払込
通知書の帳票824Bのイメージデータを読み取ると(FIG.
107のステップB1)、イメージデータ格納メモリ814で
は読み取られたイメージデータを一旦格納するとともに
(FIG.107のステップB2)、ハードディスク813へも、
このイメージデータを格納することにより、イメージデ
ータ読取装置811にて読み取られた全イメージデータを
格納しておく(FIG.107のステップB3)。なお、この
イメージデータ読取装置811にて読み取られたイメージ
データは、FIG.108に示すように、ディスプレイ812−2
を介して表示される(FIG.107のステップB4)。
ィスク813に格納されたイメージデータが、初めて読み
取られた帳票に関するイメージデータである場合は、以
下に示すように帳票識別情報を帳票登録辞書部816に格
納する。
がら、入力部812−1を操作することにより、イメージ
データ切り出し部815に対して抽出する対象となる情報
を複数箇所指示する(FIG.107のステップB5)。
データ格納メモリ814に格納された帳票のイメージデー
タから、帳票上の記載情報における位置情報,大きさ情
報及びデータ情報を自動的に抽出し(FIG.107のステッ
プB6)、帳票識別情報として帳票識別辞書部816に登
録する(FIG.107のステップB7)。
12−1を操作することにより、第1の情報として払込通
知書の払込金の内容を示す‘電気料金’を指定するとと
もに、第2の情報として払込人の名称を示す‘富士一
郎’を指定する。すると、イメージデータ切り出し部81
5では、上述の第1の情報における位置情報,大きさ情
報及びデータ情報を格納するとともに、第2の情報にお
ける位置情報,大きさ情報及びデータ情報を抽出する。
ID番号が‘0102'の帳票種別Bの帳票識別情報として、
帳票識別辞書部816の領域816bに格納する。
メージデータ切り出し部815で切り出されたイメージデ
ータは、帳票の識別のためにのみ用いられている。
つの帳票について複数の帳票識別情報を登録することに
より、前述の(a5)特徴データ認識処理において説明し
たようなイメージデータの正規化処理を施すことなく、
後述する検証ステップ及び運用ステップにおいて確実に
帳票を識別できるようになっている。
制御ブロック図と、FIG.110に示す検証ステップ時の動
作を説明するためのフローチャートとを用いて、本実施
形態にかかる帳票識別装置の検証ステップ時の動作を以
下に説明する。
別情報を帳票識別辞書部816に登録しているが、その
後、ハードディスク813に格納されている全帳票のイメ
ージについて、帳票識別辞書部816にて登録された帳票
識別情報を用いて確実に識別できるかを検証する検証ス
テップとしての動作が行なわれる。
ての動作時に予め格納されている、帳票識別辞書部816
にて登録された帳票の全イメージ(帳票全体のイメー
ジ)を用いて、1帳票イメージ毎に、帳票識別辞書部81
6において登録された帳票識別情報との照合を行なう。
ジがイメージデータ格納メモリ814を介してイメージデ
ータ切り出し部815に出力され(FIG.110のステップC1
)、イメージデータ切り出し部815では、帳票識別辞
書部816にて該当する帳票における帳票識別情報の位置
情報及び大きさ情報に基づいて、照合用データを抽出す
る。
からの照合用データと帳票識別辞書部816からの帳票識
別情報としてのデータ情報とを入力され(FIG.110のス
テップC2,ステップC3)、これらのデータ一致度を
参照することにより比較照合を行なう(FIG.110のステ
ップC4)。
結果と閾値設定部818からの閾値データとを入力され、
全ての帳票識別情報の一致度が閾値の範囲内にある場合
は、データが一致しているので、ハードディスク813か
ら取り出した帳票種別を一意に特定できると判定され、
特定された帳票種別を記録する(ステップC5のYESル
ートからステップC6)。
が閾値の範囲内にない場合は、データが一致しておら
ず、帳票種別を特定できないと判定される(ステップC5
のNOルートからステップC7)。次に、帳票識別辞書
部816の帳票種別が全て終了していない場合は、帳票識
別辞書部816に登録されている次の帳票種別の帳票種別
情報により同様に処理される(ステップC7のNOルート
からステップC2)。従って、全ての帳票種別について
帳票が特定できなかった場合はステップC6における処
理は実行されないことになる。
の帳票イメージについて、上述の場合と同様に、帳票識
別情報の一致度の判定を行なう(ステップC8)。
の帳票イメージの各々について、全て異なった一つの帳
票に特定することができた場合は、検証OKとし、検証ス
テップとしての動作が完了するが(ステップC9のYES
ルートからステップC10)、そうでない場合は、帳票
識別辞書部816に格納されている帳票識別情報に問題あ
りと判定され、問題のあった帳票をオペレータに通知
し、その帳票についての帳票識別情報の再指定を要求す
る(ステップC9のNOルートからステップC11)。
813から特定帳票のイメージデータを入力して、イメー
ジデータ切り出し部815において、データ比較部817にお
いて、入力された特定帳票のイメージデータ中に、帳票
識別辞書部816に登録されている帳票識別情報があるか
どうかを検証することにより、特定帳票の認識ができる
かどうかを判定することができる。
制御ブロック図と、FIG.112に示す運用ステップ時の動
作を説明するためのフローチャートとを用いて、本実施
形態にかかる帳票識別装置の運用ステップ時の動作を以
下に説明する。
ディスク813に格納されている全帳票のイメージについ
て、帳票識別辞書部816にて登録された帳票識別情報を
用いて特定できるかを検証しているが、検証が完了する
と、実際の装置運用時においては、任意の帳票のイメー
ジデータについて、以下に示すような帳票種別を特定す
る運用ステップとしての動作が行なわれる。
の操作により、ある帳票のイメージデータが読み取られ
ると(FIG.112のステップD1)、読み取られたイメー
ジデータはイメージデータ格納メモリ814に一旦格納さ
れる(FIG.112のステップD2)。
データ格納メモリ814に一旦格納されたイメージデータ
について、帳票識別辞書部816からの、ある帳票種別に
おける帳票識別情報を構成する位置情報及び大きさ情報
に基づいて、複数箇所のイメージデータ(識別情報)を
抽出し切り出す(ステップD3,ステップD4)。
出し部815にて切り出された全てのイメージデータのデ
ータ情報と、当該帳票識別情報を構成するデータ情報と
の一致度を算出することにより比較判定を行なう(ステ
ップD5)。
比較判定結果として算出された一致度と閾値設定部818
にて設定されている一致度の判定基準とを比較すること
により、イメージデータ読取装置811にて読み取ったイ
メージデータが帳票識別辞書部816からの帳票識別情報
により帳票種別を特定できるか否かを判定する(ステッ
プD6)。
帳票種別Aのイメージデータを読み込む一方、比較対象
となる帳票識別辞書部816からの帳票識別情報として第
2の帳票種別Bに関するものを用いた場合は、一致しな
いと判定され、再び帳票識別辞書部816から他の帳票種
別に関する帳票識別情報を用いて一致度の判定を行なう
(ステップD6のNOルートからステップD8のNOルート
を経由してステップD3)。
の帳票種別Aのイメージデータを読み込んだ場合に、比
較対象となる帳票識別辞書部816からの帳票識別情報
が、第1の帳票種別Aに関するものである場合は、帳票
識別情報について一致すると判定され、読み込んだイメ
ージデータが該当する帳票種別と特定される。この時、
特定された帳票種別を制御部812−3内の図示しないメ
モリに記録しておく(ステップD6のYESルートからス
テップD7)。
イメージデータ切り出し部815にて切り出された複数箇
所のイメージデータの内で、一つでも帳票識別辞書部81
6からの帳票識別情報に一致しない場合は、他の種別の
帳票と判定する。
取ったイメージデータについて、帳票識別辞書部816に
格納されている全帳票種別毎の帳票識別情報に基づき、
上述の場合と同様の、帳票識別情報の一致度の判定を行
なう(ステップD8)。
タ読取装置811にて読み取ったイメージデータについて
1種類の帳票種別に特定することができた場合は、特定
した帳票種別を定義体格納部820(FIG.105参照)に出力
する一方(ステップD9のYESルートからステップD10
)、1種類の帳票種別に特定することができなかった
場合は、オペレータに対して、例えばディスプレイ812
−2を介することにより帳票特定不可を通知する(ステ
ップD9のNOルートからステップD11)。
票種別を入力されると、定義体格納テーブル821から、
特定された帳票種別に対応する定義体情報(読取位置情
報,文字属性情報,読取桁数等)を読み出す。
情報とイメージデータ格納メモリ814に格納されている
イメージデータ読取装置811にてイメージデータを読み
取った帳票に記載されている文字情報を認識して、認識
結果としての文字情報を文字認識結果格納部823に格納
しておく。
できた場合に、運用ステップ時においては、任意の帳票
のイメージデータをイメージデータ読取装置811によっ
て読み取り、この任意の帳票のイメージデータ中に、帳
票識別辞書部816に登録されている帳票識別情報がある
かどうかを参照することにより、任意の帳票が特定帳票
であるかどうかを識別して、文字認識を行なうことがで
きる。
かる帳票識別装置によれば、イメージデータ読取装置81
1,イメージデータ格納メモリ814,ハードディスク813,イ
メージデータ切り出し部815,帳票識別辞書部816,データ
比較部817及び帳票判定部819をそなえたことにより、装
置運用時においては、イメージデータ読取装置811でイ
メージデータを読み取った帳票の種別を自動識別するこ
とができるので、イメージ読取装置811にて読み取るべ
き帳票が複数種類混在していても、オペレータは帳票毎
の定義体を意識することなく処理することができ、作業
の効率化を図ることができる利点があるほか、帳票自体
の識別用のID番号等を記載しておく必要がなく、一般的
な帳票を用いることができ、既存のシステムに対して容
易に適応することができる利点もある。
においては、オペレータがディスプレイ812−2に投影
された登録対象帳票のイメージデータを見ながら指定す
るだけで、自動的に必要な帳票識別情報を取り込むこと
ができるので、帳票識別用の辞書作成が容易となり、作
業の効率化を図ることができる。
手段としての帳票判定部819とをそなえたことにより、
オペレータが指定した帳票識別情報が正しいか否かを検
証することができるので、帳票の誤判別が皆無となり、
装置の信頼性が向上する利点もある。
出される帳票識別情報は、識別情報が帳票中の複数箇所
を指示することにより、1箇所の場合に比して高精度で
帳票の特定が可能となる。
の説明 FIG.113は本発明の一実施形態の第2の変形例にかか
る帳票識別装置を示すブロック図であって、特に、登録
ステップ動作時に着目した制御ブロック図を示すもので
ある。
IG.105におけるものに比して、帳票識別情報抽出手段
が、タイトル部分自動抽出部815a,項目見出し部分自動
抽出部815b及び帳票識別情報切り出し部815cにより構成
されている点が異なり、その他の構成については基本的
に同様である。
メモリ814にて格納されている帳票に関するイメージデ
ータについて、タイトル部分(例えば前述のFIG.108に
示す第1の帳票識別情報としての‘電気料金’参照)と
みられる位置情報を自動的に抽出するものである。
メモリ814にて格納されている帳票に関するイメージデ
ータについて、項目部分の位置情報を自動的に抽出する
ものである。
ータ格納メモリ814にて格納されているイメージデータ
について、タイトル部分自動抽出部815a及び項目見出し
部自動抽出部815bからの位置情報に基づいて、タイトル
部分及び項目部分に関する大きさ情報及びデータ情報を
帳票識別情報として切り出すものである。
例にかかる帳票識別装置では、登録ステップ時の動作と
しては、まず、前述の実施形態の場合と同様に、オペレ
ータの操作により、イメージデータ読取装置811におい
て帳票のイメージデータを読み取ると(FIG.114のステ
ップE1)、イメージデータ格納メモリ814では読み取
られたイメージデータを一旦格納するとともに(FIG.11
4のステップE2)、ハードディスク813へも、このイメ
ージデータを格納することにより、イメージデータ読取
装置811にて読み取られた全イメージデータを格納して
おく(FIG.114のステップE3)。
タイトルとみられる位置情報を自動的に抽出するととも
に(FIG.114のステップE4)、項目見出し部分自動抽
出部815bにより、罫線項目内に記述された項目見出しの
位置情報を自動的に抽出する(FIG.114のステップE5
)。
分自動抽出部815a及び項目見出し部分自動抽出部815bか
らの位置情報に基づく大きさ情報及びデータ情報を抽出
して(FIG.114のステップE6)、これらの位置情報及
び位置情報に対応する大きさ情報,データ情報を帳票識
別情報として帳票識別辞書部816に登録する(FIG.114の
ステップE7)。
としては基本的に前述の一実施形態におけるものと同様
である。
ペレータが、ディスプレイ812−2を参照しながら、入
力部812−1を操作することにより、帳票識別情報を抽
出するための識別情報を指定しているが、本実施形態に
よれば、イメージデータ読取装置811によって読み取ら
れた特定帳票のイメージデータから、特定帳票上に記載
されている特定の帳票識別情報を自動的に抽出して、特
定の帳票識別情報を帳票識別辞書部816に登録すること
ができ、オペレータの作業効率が飛躍的に向上する利点
がある。
票識別情報を抽出するための識別情報として、タイトル
部分及び項目部分を用いているが、これ以外の帳票の部
分(固定情報部分)を用いても差し支えない。
してのデータ比較部817及び判定手段としての帳票判定
部819により、登録ステップの後、再度、特定帳票のイ
メージデータを入力して、入力された特定帳票のイメー
ジデータ中に、帳票識別辞書部816に登録されている帳
票識別情報があるかどうかを検証することにより、特定
帳票の認識ができるかどうかを判定する検証ステップと
しての動作を行なっているが、これを省略しても、少な
くとも、装置運用時においては、イメージデータ読取装
置811でイメージデータを読み取った帳票の種別を自動
識別することができるので、イメージ読取装置811にて
読み取るべき帳票が複数種類混在していても、オペレー
タは帳票毎の定義体を意識することなく処理することが
でき、作業の効率化を図ることができる利点があるほ
か、帳票自体の識別用のID番号等を記載しておく必要が
なく、一般的な帳票を用いることができ、既存のシステ
ムに対して容易に適応することができる利点もある。
においては、オペレータがディスプレイ812−2に投影
された登録対象帳票のイメージデータを見ながら指定す
るだけで、自動的に必要な帳票識別情報を取り込むこと
ができるので、帳票識別用の辞書作成が容易となり、作
業の効率化を図ることができる。
処理方法によれば、例えば金融期間における帳票処理に
用いて好適であり、特に、私製伝票等のように多種多様
なフォーマットを有する帳票処理を自動的に行なうこと
ができるため、その有用性は極めて高いものと考えられ
る。
Claims (48)
- 【請求項1】任意のフォーマットで情報が記入された媒
体から読み取ったイメージに基づいて、該情報の認識を
行なう媒体処理装置であって、 読み取ったイメージのデータから、学習更新が可能な解
析用辞書を参照して該イメージのレイアウトの特徴を抽
出し、該特徴から認識すべき情報の存在する位置を特定
する情報存在位置特定手段と、 該情報存在位置特定手段によって抽出された該レイアウ
トの特徴を記憶し、該レイアウトの特徴を学習によって
更新していく記憶手段と、 該記憶手段の更新後、次に読み取ったイメージデータ
を、前回のイメージのレイアウトの特徴抽出によって学
習更新された該記憶手段に記憶されている該レイアウト
の特徴を使用しながら、該情報存在位置特定手段で特定
された位置でのイメージを認識して、該情報を判別する
イメージ認識手段とを備えて構成されたことを特徴とす
る、媒体処理装置。 - 【請求項2】任意のフォーマットで情報が記入された媒
体から読み取ったイメージに基づいて、該情報の認識を
行なう媒体処理装置であって、 読み取ったイメージのレイアウトの特徴を抽出して、該
レイアウトの構成を解析し、該抽出した特徴により、該
レイアウトを理論的に表現するレイアウト解析処理部
と、 該レイアウト解析処理部で得られるイメージのレイアウ
トの特徴及び該レイアウトの特徴に対応する論理的に表
現されたレイアウトを含む候補レイアウトを記憶してい
る候補レイアウト記憶部と、 該レイアウト解析処理部で抽出された該レイアウトの特
徴を制約検索条件として、該候補レイアウト記憶部から
該候補レイアウトを検索することにより、一致している
候補レイアウトがあるかどうかを照合するレイアウト照
合処理部と、 該レイアウト解析処理部で得られた該レイアウトと一致
している候補レイアウトが該候補レイアウト記憶部にな
い場合には、読み取ったイメージの該レイアウトの特徴
及び対応するレイアウトをともに該候補レイアウト記憶
部に記憶するレイアウト学習処理部とをそなえて構成さ
れたことを特徴とする、媒体処理装置。 - 【請求項3】該レイアウト解析処理部でのレイアウト解
析処理に先立って、認識対象となるイメージに対して所
要の前処理を施す解析前処理部が設けられていることを
特徴とする、請求項2記載の媒体処理装置。 - 【請求項4】該レイアウト解析処理部が、該イメージの
レイアウトの特徴を抽出するレイアウト特徴抽出部と、
該レイアウト特徴抽出部で抽出された該レイアウトの特
徴に基づいて該レイアウトの構成を解析するレイアウト
解析部とを少なくとも含んで構成されていることを特徴
とする、請求項2記載の媒体処理装置。 - 【請求項5】該レイアウト解析処理部が、該レイアウト
の特徴を抽出してから、該レイアウトの論理的な原点を
抽出するように構成されるとともに、 該レイアウト照合処理部が、該レイアウト解析処理部で
抽出された論理的な原点を基準にして、一致している候
補レイアウトがあるかどうかを照合するように構成され
たことを特徴とする、請求項4記載の媒体処理装置。 - 【請求項6】該レイアウト特徴抽出部が、該レイアウト
の罫線を抽出する罫線抽出部をそなえるとともに、該レ
イアウト解析部が該レイアウト特徴抽出部で抽出された
該レイアウトの罫線に基づいて該罫線により構成される
表構造を解析する表構造解析部をそなえていることを特
徴とする、請求項4記載の媒体処理装置。 - 【請求項7】該レイアウト特徴抽出部が、該レイアウト
の項目データを抽出する項目データ抽出部をそなえてい
ることを特徴とする、請求項4記載の媒体処理装置。 - 【請求項8】該レイアウト解析処理部が、該イメージ中
の見出し領域を決定して、この見出し領域中の見出し項
目情報を認識して、対応する項目データを決定するよう
に構成されていることを特徴とする、請求項2記載の媒
体処理装置。 - 【請求項9】該候補レイアウト記憶部が、圧縮した候補
レイアウト情報を記憶するように構成されるとともに、 該レイアウト照合処理部が、該レイアウト解析処理部で
抽出された該レイアウトの特徴を圧縮処理し、この圧縮
したレイアウトの特徴を制約検索条件として、該候補レ
イアウト記憶部から該圧縮した候補レイアウトを検索す
ることにより、一致している候補レイアウトがあるかど
うかを照合するように構成されたことを特徴とする、請
求項2記載の媒体処理装置。 - 【請求項10】該候補レイアウト記憶部が、候補レイア
ウト情報を学習により更新していくように構成されてい
ることを特徴とする、請求項2記載の媒体処理装置。 - 【請求項11】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 読み取ったイメージのデータから、学習更新が可能な解
析用辞書を参照して該イメージのレイアウトの特徴を抽
出し、該特徴から認識すべき情報の存在する位置を特定
する情報存在位置特定ステップと、 該情報存在位置特定ステップによって抽出された該レイ
アウトの特徴を記憶手段に記憶し、該記憶手段に記憶さ
れた該レイアウトの特徴を学習によって更新していく記
憶ステップと、 該記憶ステップにおける該記憶手段の更新後、次に読み
取ったイメージデータを、前回のイメージのレイアウト
の特徴抽出によって学習更新された該記憶手段に記憶さ
れている該レイアウトの特徴を使用しながら、該情報存
在位置特定ステップで特定された位置でのイメージを認
識して、該情報を判別するイメージ認識ステップとを備
えて構成されたことを特徴とする、媒体処理方法。 - 【請求項12】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 読み取ったイメージのレイアウトの特徴を抽出して、該
レイアウトの構成を解析し、該抽出した特徴により、該
レイアウトを論理的に表現するレイアウト解析処理ステ
ップと、 該レイアウト解析処理ステップで抽出された該イレイア
ウトの特徴を制約検索条件として、候補レイアウト記憶
部に記憶されているイメージのレイアウトの特徴及び該
レイアウトの特徴に対応する論理的に表現されたレイア
ウトを含む候補レイアウトを検索することにより、一致
している候補レイアウトがあるかどうかを照合するレイ
アウト照合処理ステップと、 該レイアウト解析処理ステップで抽出された該レイアウ
トと一致する候補レイアウトが該候補レイアウト記憶部
にない場合に、読み取ったイメージの該レイアウトの特
徴及び対応するレイアウトをともに該候補レイアウト記
憶部に記憶させるレイアウト学習ステップとをそなえて
構成されたこと特徴とする、媒体処理方法。 - 【請求項13】該レイアウト解析処理ステップが、該レ
イアウトの特徴を抽出してから、該レイアウトの論理的
な原点を抽出するステップを含むとともに、 該レイアウト照合処理ステップが、該レイアウト解析処
理ステップで抽出された論理的な原点を基準にして、該
情報を判別するステップを含んで構成されたことを特徴
とする、請求項12記載の媒体処理方法。 - 【請求項14】該レイアウト解析処理ステップが、読み
取ったイメージのレイアウトが所定の方向であるかどう
かを判定するステップと、このステップでの判定結果に
基づき該レイアウトが所定の方向となるように読み取っ
たイメージデータを変換するステップとを含んでいるこ
とを特徴する、請求項12記載の媒体処理方法。 - 【請求項15】該読み取ったイメージデータの変換処理
が、該レイアウトを回転させるような処理であることを
特徴とする、請求項14記載の媒体処理方法。 - 【請求項16】該レイアウト解析処理ステップが、該レ
イアウトの罫線を抽出するステップと、このステップで
抽出された該レイアウトの罫線に基づいて該罫線により
構成される表構造を解析するステップとを含んでいるこ
とを特徴とする、請求項12記載の媒体処理方法。 - 【請求項17】該レイアウト解析処理ステップが、該レ
イアウトの項目データを抽出するステップを含んでいる
ことを特徴とする、請求項12記載の媒体処理方法。 - 【請求項18】該レイアウト解析処理ステップが、該イ
メージ中の見出し領域を決定し、この見出し領域中の見
出し項目情報を認識して、対応する項目データを決定す
るステップを含んで構成されていることを特徴とする、
請求項12記載の媒体処理方法。 - 【請求項19】圧縮した候補レイアウト情報を該候補レ
イアウト記憶部に記憶するように構成されるとともに、 該レイアウト照合処理ステップが、 該レイアウト解析処理ステップで抽出された該レイアウ
トの特徴を圧縮処理する圧縮処理ステップと、 このステップで圧縮したレイアウトの特徴を制約検索条
件として、該候補レイアウト記憶部から圧縮した候補レ
イアウトを検索するステップと、 このステップでの検索結果に基づいて、一致している候
補レイアウトがあるかどうかを照合するステップとを含
んで構成されたことをことを特徴とする、請求項12記載
の媒体処理方法。 - 【請求項20】該候補レイアウト情報を該候補レイアウ
ト記憶部に学習により更新していくように構成されてい
ることを特徴とする、請求項12記載の媒体処理方法。 - 【請求項21】任意のフォーマットが情報で記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 読み取ったイメージのデータから、該イメージのレイア
ウトの特徴を抽出する特徴抽出ステップと、 該特許抽出ステップで抽出された該レイアウトの特徴に
応じて複数の論理原点抽出方法の中から選択された最適
な論理原点抽出方法により、該フォーマットの論理的な
原点を抽出する論理原点抽出ステップと、 該論理原点抽出ステップで抽出された論理的な原点を基
準にして、該特徴から認識すべき情報の存在する位置を
特定する情報存在位置特定ステップと、 該情報存在位置特定ステップで特定された位置でのイメ
ージを認識する際に、該論理原点抽出ステップで抽出さ
れた論理的な原点を基準にして、該情報を判別するイメ
ージ認識ステップとを備えて構成されたことを特徴とす
る、媒体処理方法。 - 【請求項22】該論理原点抽出ステップにおいて、該フ
ォーマットの論理的な原点を抽出するほかに、該論理的
な原点に対して補助的な情報を付与する論理原点補助座
標情報を抽出するとともに、 該イメージ認識ステップにおいて、上記の論理的な原点
及び論理原点補助座標情報を基準にして、該情報を判別
するように構成されたことを特徴とする、請求項21記載
の媒体処理方法。 - 【請求項23】該フォーマットの論理的な原点として、
罫線により構成される表構造を構成する角部のうちの一
つの角部に関連する座標情報が抽出されることを特徴と
する、請求項21記載の媒体処理方法。 - 【請求項24】該フォーマットの論理的な原点として、
罫線により構成される表構造を構成する角部のうちの一
つの角部に関連する座標情報が抽出されるとともに、該
論理原点補助座標情報として、残りの角部に関連する座
標情報が抽出されることを特徴とする、請求項22記載の
媒体処理方法。 - 【請求項25】該フォーマットの論理的な原点として、
罫線により構成される表構造を構成する角部のうち最小
X座標、最小Y座標を有する角部の座標情報が抽出され
ることを特徴とする、請求項23記載の媒体処理方法。 - 【請求項26】該フォーマットの論理的な原点として、
罫線により構成される表構造を構成する角部のうち最小
X座標,最小Y座標を有する角部の座標情報が抽出され
るとともに、該論理原点補助座標情報として、それぞれ
最大X座標,最小Y座標を有する角部、最小X座標、最
大Y座標を有する角部、最大X座標,最大Y座標を有す
る角部の座標情報が抽出されることを特徴とする、請求
項24記載の媒体処理方法。 - 【請求項27】該フォーマットの論理的な原点として、
該レイアウト中の項目データの外接矩形の角部のうちの
一つの角部に関連する座標情報が抽出されることを特徴
とする、請求項21記載の媒体処理方法。 - 【請求項28】該フォーマットの論理的な原点として、
該レイアウト中の項目データの外接矩形の角部のうちの
一つの角部に関連する座標情報が抽出されるとともに、 該論理原点補助座標情報として、該外接矩形の残りの角
部に関連する座標情報が抽出されることを特徴とする、
請求項22記載の媒体処理方法。 - 【請求項29】該フォーマットの論理的な原点として、
該外接矩形の角部のうち最小X座標,最小Y座標を有す
る角部の座標情報が抽出されることを特徴とする、請求
項27記載の媒体処理方法。 - 【請求項30】該フォーマットの論理的な原点として、
該外接矩形の角部のうち最小X座標,最小Y座標を有す
る角部の座標情報が抽出されるとともに、 該論理原点補助座標情報として、該外接矩形における最
大X座標,最小Y座標を有する角部、最小X座標,最大
Y座標を有する角部、最大X座標,最大Y座標を有する
角部の座標情報が抽出されることを特徴とする、請求項
28記載の媒体処理方法。 - 【請求項31】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 候補レイアウトおよび該候補レイアウトを圧縮処理した
参照圧縮情報を記憶する記憶ステップと、 読み取ったイメージのデータから、該イメージのレイア
ウトの特徴を抽出して、該レイアウトの特徴から認識す
べき情報の存在する位置を特定する情報存在位置特定ス
テップと、 該情報存在位置特定ステップで抽出された該レイアウト
の特徴を圧縮処理する特徴圧縮処理ステップと、 該特徴圧縮処理ステップで圧縮処理した該レイアウトの
特徴を制約検索条件として、該記憶ステップで記憶され
た該参照圧縮情報を検索し、一致している参照圧縮情報
があるかどうかを照合するレイアウト照合処理ステップ
と、 該レイアウト照合処理ステップにおける該参照圧縮情報
を用いた照応結果に基づき、一致している参照圧縮情報
に対応する候補レイアウトを使用しながら、該情報存在
位置特定ステップで特定された位置でのイメージを認識
して、該情報を判別するイメージ認識ステップとをそな
えて構成されたことを特徴とする、媒体処理方法。 - 【請求項32】該特徴の圧縮処理に先立って、上記読み
取ったイメージデータについて、斜行補正及び歪み補正
処理を施すことを特徴とする、請求項31記載の媒体処理
方法。 - 【請求項33】該特徴の圧縮処理に際して、上記読み取
ったイメージデータについて、罫線項目を構成する水平
罫線を参照して、該罫線項目の上側罫線が同一罫線を共
有する罫線項目に対して、同一Y座標化処理を施すとと
もに、上記読み取ったイメージデータについて、罫線項
目を構成する垂直罫線を参照して、該罫線項目の左側罫
線が同一罫線を共有する罫線項目に対して、同一X座標
化処理を施すことを特徴とする、請求項31記載の媒体処
理方法。 - 【請求項34】該特徴の圧縮処理に際して、該特徴を相
当するビット列に変換し、このビット列を圧縮処理し
て、これをマトリックステーブルとして設定することを
特徴とする、請求項31記載の媒体処理方法。 - 【請求項35】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 読み取ったイメージのレイアウトの特徴を抽出して、該
レイアウトの構成を解析し、該レイアウトを論理的に表
現するレイアウト解析処理ステップと、 該レイアウト解析処理ステップで解析されたレイアウト
構成をディスプレイ上に表示して、この表示されたレイ
アウト構成について、所定の特徴データ認識領域を設定
して、この領域内の標章情報に対応するコードデータを
外部入力装置を通じて入力し、更に上記の特徴データ認
識領域とコードデータとから領域特徴データを作成する
領域特徴データ作成ステップと、 該領域特徴データ作成ステップで作成された領域特徴デ
ータと該レイアウト解析処理ステップで解析され該領域
特徴データを作成する際に使用されたレイアウト構成と
をリンクさせて登録する登録ステップと、 その後、別に読み取ったイメージの特徴を抽出して、レ
イアウトの構成を解析したあと、該登録ステップでリン
クして登録された該領域特徴データと該レイアウト構成
とを参照データとして検索し、一致するものがあるかど
うかを照合する照合ステップとをそなえて構成されたこ
とを特徴とする、媒体処理方法。 - 【請求項36】該登録ステップにて、上記領域内の標章
情報に対応するコードデータを入力する際に、該標章情
報に対応する意味付けをもったコードデータを入力する
ことを特徴とする、請求項35記載の媒体処理方法。 - 【請求項37】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理方法であって、 読み取ったイメージのレイアウトの特徴を抽出して、該
レイアウトの構成を解析し、該レイアウトを論理的に表
現するレイアウト解析処理ステップと、 該レイアウト解析処理ステップで抽出した特徴に基づ
き、表構造部分の見出し位置探索ルール及び表構造以外
の見出し位置探索ルールに従って該イメージ中の見出し
領域を決定し、この見出し領域中の見出し項目情報を認
識する見出し項目解析処理ステップと、 該見出し解析処理ステップで認識した見出し項目情報に
基づき、項目データ探索ルールに従って各見出し項目に
対応する項目データ領域を決定し、この項目データ領域
中の項目データ情報を認識する項目データ解析処理ステ
ップをそなえて構成されたことを特徴とする、媒体処理
方法。 - 【請求項38】該見出し解析処理ステップが、該レイア
ウトの構成解析結果に基づいて見出し位置候補を決定す
る見出し位置候補決定ステップと、このステップで決定
された見出し位置候補に対し該見出し領域中の該見出し
項目情報を照合する見出し項目照合ステップとを含んで
いることを特徴とする、請求項37記載の媒体処理方法。 - 【請求項39】該見出し項目照合ステップでの見出し項
目の照合に際し、照合させるべきイメージデータに正規
化処理を施してから、見出し項目の照合処理を施すこと
を特徴とする、請求項38記載の媒体処理方法。 - 【請求項40】イメージデータ読取装置によって読み取
られたところのフォーマットに所要の情報が記入された
媒体としての特定帳票のイメージデータから、該特定帳
票上に記載されている記載情報のうち任意の情報を指示
し、該指示された記載情報における位置情報、大きさ情
報及びデータ情報からなる帳票識別情報を抽出して、該
帳票識別情報を帳票識別辞書に登録する登録ステップ
と、 該登録ステップの後、任意の帳票のイメージデータをイ
メージデータ読取装置によって読み取り、この任意の帳
票のイメージデータ中に、該帳票識別辞書に登録されて
いる該帳票識別情報があるかどうかを参照することによ
り、該任意の帳票が該特定帳票であるかどうかを識別す
る運用ステップとをそなえて構成されたことを特徴とす
る、媒体処理方法。 - 【請求項41】イメージデータ読取装置によって読み取
られたところのフォーマットに所要の情報が記入された
媒体としての特徴帳票のイメージデータから、該特定帳
票上に記載されている記載情報のうち任意の情報を指示
し、該指示された記載情報における位置情報、大きさ情
報及びデータ情報からなる帳票識別情報を抽出して、該
帳票識別情報を帳票識別辞書に登録する登録ステップ
と、 該登録ステップの後、再度、該特定帳票のイメージデー
タを入力して、該入力された特定帳票のイメージデータ
中に、該帳票識別辞書に登録されている該帳票識別情報
があるかどうかを検証することにより、該特定帳票の認
識ができるかどうかを判定する検証ステップと、 該検証ステップにおいて、該特定帳票の認識ができた場
合に、任意の帳票のイメージデータをイメージデータ読
取装置によって読み取り、この任意の帳票のイメージデ
ータ中に、該帳票識別辞書に登録されている該帳票識別
情報があるかどうかを参照することにより、該任意の帳
票が該特定帳票であるかどうかを識別する運用ステップ
とをそなえて構成されたことを特徴とする、媒体処理方
法。 - 【請求項42】該登録ステップにおいて、該イメージデ
ータ読取装置によって読み取られた該特定帳票のイメー
ジデータをディスプレイ上に表示し、この表示された該
特定帳票のイメージデータについて、該特定帳票上に記
載されている該帳票識別情報の基となるイメージを含む
領域を指定することにより、該帳票識別情報を抽出し
て、該帳票識別情報を該帳票識別辞書に登録することを
特徴とする、請求項40または請求項41に記載の媒体処理
方法。 - 【請求項43】該登録ステップにおいて、該イメージデ
ータ読取装置によって読み取られた該特定帳票のイメー
ジデータから、該特定帳票上に記載されている特定の帳
票識別情報を自動的に抽出して、該特定の帳票識別情報
を該帳票識別辞書に登録することを特徴とする、請求項
40または請求項41に記載の媒体処理方法。 - 【請求項44】該登録ステップにおいて、該帳票識別情
報の該帳票識別辞書への登録時に、登録時に読み取った
該特定帳票のイメージデータを記憶しておき、 該検証ステップ時に、この記憶された該特定帳票のイメ
ージデータを再度該特定帳票のイメージデータとして入
力して、該入力された特定帳票のイメージデータ中に、
該帳票識別辞書に登録されている該帳票識別情報がある
かどうかを検証することにより、該特定帳票の認識がで
きるかどうかを判定することを特徴とする、請求項41記
載の媒体処理方法。 - 【請求項45】フォーマットに所要の情報が記入された
媒体としての帳票について、そのイメージデータを読み
取るイメージデータ読取装置と、 該イメージデータ読取装置によって読み取られた帳票の
イメージデータを格納するイメージデータ格納メモリ
と、 該イメージデータ格納メモリに格納された該帳票のイメ
ージデータから、該帳票上に記載されている所要の情報
を指示し、該指示された記憶情報における位置情報、大
きさ情報及びデータ情報からなる帳票識別情報を抽出す
る帳票識別情報抽出手段と、 該帳票識別情報抽出手段で抽出された該帳票識別情報を
特定帳票の帳票識別情報として登録する帳票識別辞書
と、 該イメージデータ読取装置によって読み取られ該イメー
ジデータ格納メモリに格納された任意の帳票のイメージ
データ中に、該帳票識別辞書に登録されている該帳票識
別情報があるかどうかを参照する参照手段と、 該参照手段での参照結果に基づいて、該任意の帳票が該
特定帳票であるかどうかを識別する帳票識別手段とをそ
なえたことを特徴とする、媒体処理装置。 - 【請求項46】フォーマットに所要の情報が記入された
媒体としての帳票について、そのイメージデータを読み
取るイメージデータ読取装置と、 該イメージデータ読取装置によって読み取られた帳票の
イメージデータをそれぞれ格納するイメーデータ格納メ
モリ及びファイルメモリと、 該イメージデータ格納メモリに格納された該帳票のイメ
ージデータから、該帳票上に記載されている所要の情報
を指示し、該指示された記載情報における位置情報、大
きさ情報及びデータ情報からなる帳票識別情報を抽出す
る帳票識別情報抽出手段と、 該帳票識別情報抽出手段で抽出された該帳票識別情報を
特定帳票の帳票識別情報として登録する帳票識別辞書
と、 該ファイルメモリに格納されている該特定帳票のイメー
ジデータを読み出し、該特定帳票のイメージデータ中
に、該帳票識別辞書に登録されている該帳票識別情報が
あるかどうかを検証する検証手段と、 該検証手段での検証結果に基づいて、該特定帳票の認識
ができるかどうかを判定する判定手段と、 該イメージデータ読取装置によって読み取られ該イメー
ジデータ格納メモリに格納された任意の帳票のイメージ
データ中に、該帳票識別辞書に登録されている該帳票識
別情報があるかどうかを参照する参照手段と、 該参照手段での参照結果に基づいて、該任意の帳票が該
特定帳票であるかどうかを識別する帳票識別手段とをそ
なえたことを特徴とする、媒体処理装置。 - 【請求項47】該参照手段が該検証手段を兼用するとと
もに、該帳票識別手段が該判定手段を兼用していること
を特徴とする、請求項46記載の媒体処理装置。 - 【請求項48】任意のフォーマットで情報が記入された
媒体から読み取ったイメージに基づいて、該情報の認識
を行なう媒体処理装置であって、 読み取ったイメージのレイアウトの特徴を抽出して、該
レイアウトの構成を解析し、該レイアウトを論理的に表
現するレイアウト解析処理部と、 該レイアウト解析処理部で抽出した特徴により、表構造
部分の見出し位置探索ルール及び表構造以外の見出し位
置探索ルールに従って該イメージ中の見出し領域を決定
し、この見出し領域中の見出し項目情報を認識する見出
し項目解析処理部と、 該見出し解析処理部で認識した見出し項目情報に基づ
き、項目データ探索ルールに従って各見出し項目に対応
する項目データ領域を決定し、この項目データ領域中の
項目データ情報を認識する項目データ解析処理部とをそ
なえて構成されたことを特徴とする、媒体処理装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19562695 | 1995-07-31 | ||
JP19485295 | 1995-07-31 | ||
JP19485195 | 1995-07-31 | ||
JP7-194851 | 1995-07-31 | ||
JP7-195626 | 1995-07-31 | ||
JP7-194852 | 1995-07-31 | ||
PCT/JP1996/002150 WO1997005561A1 (fr) | 1995-07-31 | 1996-07-30 | Processeur de supports et procede de traitement de supports |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25234199A Division JP3463008B2 (ja) | 1995-07-31 | 1999-09-06 | 媒体処理方法及び媒体処理装置 |
JP25234299A Division JP3463009B2 (ja) | 1995-07-31 | 1999-09-06 | 媒体処理方法及び媒体処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3088019B2 true JP3088019B2 (ja) | 2000-09-18 |
Family
ID=27327008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09507471A Expired - Fee Related JP3088019B2 (ja) | 1995-07-31 | 1996-07-30 | 媒体処理装置及び媒体処理方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US6360011B1 (ja) |
EP (3) | EP1814062A1 (ja) |
JP (1) | JP3088019B2 (ja) |
CN (2) | CN1282937C (ja) |
DE (2) | DE69637073T2 (ja) |
WO (1) | WO1997005561A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07151143A (ja) * | 1993-11-30 | 1995-06-13 | Nec Corp | 転がり軸受 |
CN1313963C (zh) * | 2004-03-10 | 2007-05-02 | 富士通株式会社 | 字符识别装置和字符识别方法 |
EP2136316A2 (en) | 2008-06-20 | 2009-12-23 | Fujitsu Frontech Limited | Form recognition apparatus, method, database generation apparatus, method, and storage medium |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11102416A (ja) * | 1997-09-26 | 1999-04-13 | Fujitsu Ltd | 帳票読取方向判定装置および帳票読取方向判定方法 |
JP2000251012A (ja) * | 1999-03-01 | 2000-09-14 | Hitachi Ltd | 帳票処理方法およびシステム |
DE10034629A1 (de) * | 1999-08-11 | 2001-03-22 | Ibm | Verfahren und System zum Verzahnen von OCR und ABL zur automatischen Postsortierung |
JP4377494B2 (ja) * | 1999-10-22 | 2009-12-02 | 東芝テック株式会社 | 情報入力装置 |
JP4416890B2 (ja) | 1999-12-20 | 2010-02-17 | 富士通株式会社 | 帳票識別装置 |
EP2278451A1 (en) * | 2000-05-31 | 2011-01-26 | Seiko Epson Corporation | Projector, projection display system, and corresponding method and recording medium |
US7346848B1 (en) | 2000-06-21 | 2008-03-18 | Microsoft Corporation | Single window navigation methods and systems |
US6948135B1 (en) | 2000-06-21 | 2005-09-20 | Microsoft Corporation | Method and systems of providing information to computer users |
US7624356B1 (en) | 2000-06-21 | 2009-11-24 | Microsoft Corporation | Task-sensitive methods and systems for displaying command sets |
US7191394B1 (en) | 2000-06-21 | 2007-03-13 | Microsoft Corporation | Authoring arbitrary XML documents using DHTML and XSLT |
US6883168B1 (en) | 2000-06-21 | 2005-04-19 | Microsoft Corporation | Methods, systems, architectures and data structures for delivering software via a network |
US7000230B1 (en) | 2000-06-21 | 2006-02-14 | Microsoft Corporation | Network-based software extensions |
US7155667B1 (en) | 2000-06-21 | 2006-12-26 | Microsoft Corporation | User interface for integrated spreadsheets and word processing tables |
JP2002259882A (ja) * | 2001-03-02 | 2002-09-13 | Fujitsu Ltd | カード情報入力方法、プログラム、および、カード情報処理装置 |
US7099508B2 (en) * | 2001-11-29 | 2006-08-29 | Kabushiki Kaisha Toshiba | Document identification device, document definition method and document identification method |
EP1324236A1 (de) * | 2001-12-27 | 2003-07-02 | Sap Ag | Bestimmen einer Kennfunktion aus Matrix mit Anreichern und Verdichten |
US20040030780A1 (en) * | 2002-08-08 | 2004-02-12 | International Business Machines Corporation | Automatic search responsive to an invalid request |
JP4366916B2 (ja) * | 2002-10-29 | 2009-11-18 | 富士ゼロックス株式会社 | 書類確認システム、書類確認方法、及び書類確認プログラム |
WO2004070657A1 (ja) * | 2003-02-05 | 2004-08-19 | Seiko Epson Corporation | 画像処理装置 |
US7370066B1 (en) | 2003-03-24 | 2008-05-06 | Microsoft Corporation | System and method for offline editing of data files |
US7415672B1 (en) | 2003-03-24 | 2008-08-19 | Microsoft Corporation | System and method for designing electronic forms |
US7275216B2 (en) | 2003-03-24 | 2007-09-25 | Microsoft Corporation | System and method for designing electronic forms and hierarchical schemas |
US20040194009A1 (en) * | 2003-03-27 | 2004-09-30 | Lacomb Christina | Automated understanding, extraction and structured reformatting of information in electronic files |
US7913159B2 (en) | 2003-03-28 | 2011-03-22 | Microsoft Corporation | System and method for real-time validation of structured data files |
US7296017B2 (en) | 2003-03-28 | 2007-11-13 | Microsoft Corporation | Validation of XML data files |
US7451392B1 (en) | 2003-06-30 | 2008-11-11 | Microsoft Corporation | Rendering an HTML electronic form by applying XSLT to XML using a solution |
US7406660B1 (en) | 2003-08-01 | 2008-07-29 | Microsoft Corporation | Mapping between structured data and a visual surface |
US7334187B1 (en) | 2003-08-06 | 2008-02-19 | Microsoft Corporation | Electronic form aggregation |
JP4227500B2 (ja) * | 2003-11-21 | 2009-02-18 | キヤノン株式会社 | 履歴管理システム、履歴管理方法、プログラム及び記録媒体 |
US7039394B2 (en) * | 2003-11-25 | 2006-05-02 | Good Technology, Inc. | Communication system and method for compressing information sent by a communication device to a target portable communication device |
US8819072B1 (en) | 2004-02-02 | 2014-08-26 | Microsoft Corporation | Promoting data from structured data files |
US7496837B1 (en) | 2004-04-29 | 2009-02-24 | Microsoft Corporation | Structural editing with schema awareness |
US7774620B1 (en) | 2004-05-27 | 2010-08-10 | Microsoft Corporation | Executing applications at appropriate trust levels |
WO2006025145A1 (ja) * | 2004-08-31 | 2006-03-09 | Access Co., Ltd. | マークアップ言語文書処理装置、ブラウザプログラムおよびマークアップ言語処理方法 |
JP2006074337A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Xerox Co Ltd | 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム |
US7712022B2 (en) | 2004-11-15 | 2010-05-04 | Microsoft Corporation | Mutually exclusive options in electronic forms |
US7721190B2 (en) | 2004-11-16 | 2010-05-18 | Microsoft Corporation | Methods and systems for server side form processing |
US7904801B2 (en) | 2004-12-15 | 2011-03-08 | Microsoft Corporation | Recursive sections in electronic forms |
US7937651B2 (en) | 2005-01-14 | 2011-05-03 | Microsoft Corporation | Structural editing operations for network forms |
US7725834B2 (en) | 2005-03-04 | 2010-05-25 | Microsoft Corporation | Designer-created aspect for an electronic form template |
JP2006268372A (ja) * | 2005-03-23 | 2006-10-05 | Fuji Xerox Co Ltd | 翻訳装置、画像処理装置、画像形成装置、翻訳方法及びプログラム |
US8200975B2 (en) | 2005-06-29 | 2012-06-12 | Microsoft Corporation | Digital signatures for network forms |
US8001459B2 (en) | 2005-12-05 | 2011-08-16 | Microsoft Corporation | Enabling electronic documents for limited-capability computing devices |
JP4977368B2 (ja) * | 2005-12-28 | 2012-07-18 | 富士通株式会社 | 媒体処理装置,媒体処理方法,媒体処理システム,及び媒体処理プログラムを記録したコンピュータ読取可能な記録媒体 |
GB2448275A (en) * | 2006-01-03 | 2008-10-08 | Kyos Systems Inc | Document analysis system for integration of paper records into a searchable electronic database |
JP5060053B2 (ja) * | 2006-01-20 | 2012-10-31 | 富士通株式会社 | 媒体判別情報データベース作成装置及び媒体判別情報データベース管理装置 |
JP4539613B2 (ja) * | 2006-06-28 | 2010-09-08 | 富士ゼロックス株式会社 | 画像形成装置、画像生成方法およびプログラム |
JP2008052709A (ja) * | 2006-07-26 | 2008-03-06 | Canon Inc | 画像処理装置、画像処理装置の制御方法およびプログラム |
US8280734B2 (en) * | 2006-08-16 | 2012-10-02 | Nuance Communications, Inc. | Systems and arrangements for titling audio recordings comprising a lingual translation of the title |
US8707167B2 (en) * | 2006-11-15 | 2014-04-22 | Ebay Inc. | High precision data extraction |
US8144989B2 (en) * | 2007-06-21 | 2012-03-27 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying text orientation in a digital image |
US8208725B2 (en) * | 2007-06-21 | 2012-06-26 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying text orientation in a digital image |
US8340430B2 (en) * | 2007-07-10 | 2012-12-25 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying digital image characteristics |
US20090110281A1 (en) * | 2007-10-29 | 2009-04-30 | Kabushiki Kaisha Toshiba | Image forming apparatus, image processing apparatus, and image processing method |
JP5338063B2 (ja) * | 2007-10-31 | 2013-11-13 | 富士通株式会社 | 画像認識プログラム、画像認識装置および画像認識方法 |
JP4998220B2 (ja) * | 2007-11-09 | 2012-08-15 | 富士通株式会社 | 帳票データ抽出プログラム、帳票データ抽出装置および帳票データ抽出方法 |
RU2436156C1 (ru) | 2007-11-20 | 2011-12-10 | Люмэкс Ас | Способ разрешения противоречивых выходных данных из системы оптического распознавания символов (ocr), где выходные данные включают в себя более одной альтернативы распознавания изображения символа |
CN101464951B (zh) * | 2007-12-21 | 2012-05-30 | 北大方正集团有限公司 | 图像识别方法及系统 |
US8023770B2 (en) | 2008-05-23 | 2011-09-20 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying the orientation of a digital image |
US8023741B2 (en) * | 2008-05-23 | 2011-09-20 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting numerals in a digital image |
US8160365B2 (en) * | 2008-06-30 | 2012-04-17 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying digital image characteristics |
US8608481B2 (en) | 2009-05-13 | 2013-12-17 | Medtronic Navigation, Inc. | Method and apparatus for identifying an instrument location based on measuring a characteristic |
US8706727B2 (en) * | 2009-06-19 | 2014-04-22 | Sybase, Inc. | Data compression for reducing storage requirements in a database system |
JP5267364B2 (ja) * | 2009-07-10 | 2013-08-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
JP4856235B2 (ja) * | 2009-12-15 | 2012-01-18 | 富士通株式会社 | 帳票認識方法及び帳票認識装置 |
CN102750541B (zh) * | 2011-04-22 | 2015-07-08 | 北京文通科技有限公司 | 一种文档图像分类识别方法及装置 |
WO2013110289A1 (en) | 2012-01-23 | 2013-08-01 | Microsoft Corporation | Borderless table detection engine |
US8942489B2 (en) | 2012-01-23 | 2015-01-27 | Microsoft Corporation | Vector graphics classification engine |
US20130191732A1 (en) * | 2012-01-23 | 2013-07-25 | Microsoft Corporation | Fixed Format Document Conversion Engine |
EP2883193A4 (en) | 2012-08-10 | 2016-07-13 | Transaxy Inc | SYSTEM FOR ENTERING DATA IN A DATA PROCESSING SYSTEM |
US9953008B2 (en) | 2013-01-18 | 2018-04-24 | Microsoft Technology Licensing, Llc | Grouping fixed format document elements to preserve graphical data semantics after reflow by manipulating a bounding box vertically and horizontally |
US9076058B2 (en) | 2013-01-29 | 2015-07-07 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for determining orientation in a document image |
JP6295519B2 (ja) * | 2013-05-21 | 2018-03-20 | 富士通株式会社 | 表示処理装置、システム及び表示処理プログラム |
JP6123597B2 (ja) * | 2013-09-12 | 2017-05-10 | ブラザー工業株式会社 | 筆記データ処理装置 |
CN103971134B (zh) * | 2014-04-25 | 2017-07-07 | 华为技术有限公司 | 图像分类、检索和校正方法,以及相应装置 |
CN105893337B (zh) * | 2015-01-04 | 2020-07-10 | 伊姆西Ip控股有限责任公司 | 用于文本压缩和解压缩的方法和设备 |
US10740372B2 (en) * | 2015-04-02 | 2020-08-11 | Canon Information And Imaging Solutions, Inc. | System and method for extracting data from a non-structured document |
JP6531738B2 (ja) * | 2016-08-08 | 2019-06-19 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
JP6953957B2 (ja) * | 2017-09-27 | 2021-10-27 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
JP7259468B2 (ja) * | 2019-03-25 | 2023-04-18 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7439435B2 (ja) * | 2019-09-30 | 2024-02-28 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7374003B2 (ja) * | 2020-01-23 | 2023-11-06 | 東芝テック株式会社 | 画像処理装置、及びプログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60239884A (ja) * | 1984-05-15 | 1985-11-28 | Fujitsu Ltd | 認識装置 |
JPS61182459A (ja) * | 1985-02-07 | 1986-08-15 | Nippon Denso Co Ltd | 燃料噴射弁 |
JPS6238984A (ja) * | 1985-08-14 | 1987-02-19 | Hitachi Ltd | 光学文字読取方式 |
JPH083829B2 (ja) * | 1986-08-01 | 1996-01-17 | 松下電器産業株式会社 | 文字認識方法 |
JPS63265374A (ja) * | 1987-04-22 | 1988-11-01 | Mitsubishi Electric Corp | 文字読み取り装置 |
JPS63316285A (ja) * | 1987-06-19 | 1988-12-23 | Oki Electric Ind Co Ltd | 文字認識装置 |
US5022081A (en) | 1987-10-01 | 1991-06-04 | Sharp Kabushiki Kaisha | Information recognition system |
JPH01142074A (ja) | 1987-11-30 | 1989-06-02 | Nkk Corp | イオンプレーテイングの前処理法 |
JPH07111729B2 (ja) | 1988-01-27 | 1995-11-29 | 株式会社東芝 | 読取装置 |
JPH0228785A (ja) * | 1988-07-18 | 1990-01-30 | Toshiba Corp | 光学的文字読取装置 |
JPH02126245A (ja) * | 1988-11-05 | 1990-05-15 | Minolta Camera Co Ltd | カメラの自動露出演算装置 |
JPH0749557Y2 (ja) * | 1989-03-24 | 1995-11-13 | 沖電気工業株式会社 | 文字認識装置 |
JPH04500422A (ja) * | 1989-06-02 | 1992-01-23 | イーストマン・コダック・カンパニー | 光学式文字認識装置における認識不可能な文字を識別するための方法及び装置 |
DE69033312D1 (de) * | 1989-07-10 | 1999-11-11 | Hitachi Ltd | Dokumentdatenverarbeitungsgerät unter Anwendung von Bilddaten |
JPH03263282A (ja) | 1990-03-14 | 1991-11-22 | Fujitsu Ltd | 文字読取装置の文字切出し方法 |
JP2740335B2 (ja) | 1990-05-18 | 1998-04-15 | 富士ファコム制御株式会社 | 自動セル属性判定機能を有する表読取装置 |
JPH04343190A (ja) * | 1991-05-21 | 1992-11-30 | Hitachi Ltd | 文字データ入力方式 |
US5315667A (en) | 1991-10-31 | 1994-05-24 | International Business Machines Corporation | On-line handwriting recognition using a prototype confusability dialog |
JP3388829B2 (ja) * | 1993-03-23 | 2003-03-24 | 株式会社東芝 | 文字読取装置 |
JPH07152856A (ja) * | 1993-11-29 | 1995-06-16 | Toshiba Corp | 光学的文字読取装置 |
CN1045679C (zh) | 1993-12-01 | 1999-10-13 | 摩托罗拉公司 | 以字典为基础与可能的字符串结合的手写物识别方法 |
JPH07182459A (ja) * | 1993-12-22 | 1995-07-21 | Matsushita Electric Ind Co Ltd | 表構造抽出装置 |
US6181837B1 (en) * | 1994-11-18 | 2001-01-30 | The Chase Manhattan Bank, N.A. | Electronic check image storage and retrieval system |
JP3263282B2 (ja) | 1995-07-11 | 2002-03-04 | 株式会社東芝 | ミリ波・赤外撮像装置 |
-
1996
- 1996-07-30 CN CNB961910003A patent/CN1282937C/zh not_active Expired - Fee Related
- 1996-07-30 DE DE69637073T patent/DE69637073T2/de not_active Expired - Lifetime
- 1996-07-30 EP EP07107701A patent/EP1814062A1/en not_active Withdrawn
- 1996-07-30 JP JP09507471A patent/JP3088019B2/ja not_active Expired - Fee Related
- 1996-07-30 CN CNB2004100038927A patent/CN1287322C/zh not_active Expired - Fee Related
- 1996-07-30 EP EP96925139A patent/EP0790573B1/en not_active Expired - Lifetime
- 1996-07-30 WO PCT/JP1996/002150 patent/WO1997005561A1/ja active IP Right Grant
- 1996-07-30 US US08/809,594 patent/US6360011B1/en not_active Expired - Fee Related
- 1996-07-30 EP EP07107692A patent/EP1818857B1/en not_active Expired - Lifetime
- 1996-07-30 DE DE69638207T patent/DE69638207D1/de not_active Expired - Lifetime
-
1999
- 1999-01-29 US US09/240,006 patent/US6501864B1/en not_active Expired - Fee Related
- 1999-01-29 US US09/239,713 patent/US6567546B1/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07151143A (ja) * | 1993-11-30 | 1995-06-13 | Nec Corp | 転がり軸受 |
CN1313963C (zh) * | 2004-03-10 | 2007-05-02 | 富士通株式会社 | 字符识别装置和字符识别方法 |
EP2136316A2 (en) | 2008-06-20 | 2009-12-23 | Fujitsu Frontech Limited | Form recognition apparatus, method, database generation apparatus, method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US6360011B1 (en) | 2002-03-19 |
EP0790573A1 (en) | 1997-08-20 |
CN1287322C (zh) | 2006-11-29 |
EP1818857B1 (en) | 2010-06-23 |
CN1540578A (zh) | 2004-10-27 |
CN1164902A (zh) | 1997-11-12 |
DE69637073T2 (de) | 2007-08-30 |
US6567546B1 (en) | 2003-05-20 |
EP0790573A4 (en) | 1998-03-25 |
EP1818857A3 (en) | 2007-11-21 |
US6501864B1 (en) | 2002-12-31 |
DE69638207D1 (de) | 2010-08-05 |
DE69637073D1 (de) | 2007-06-21 |
EP1818857A2 (en) | 2007-08-15 |
EP0790573B1 (en) | 2007-05-09 |
CN1282937C (zh) | 2006-11-01 |
EP1814062A1 (en) | 2007-08-01 |
WO1997005561A1 (fr) | 1997-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3088019B2 (ja) | 媒体処理装置及び媒体処理方法 | |
US6885769B2 (en) | Business form handling method and system for carrying out the same | |
Casey et al. | Intelligent forms processing system | |
EP0344742B1 (en) | Courtesy amount read and transaction balancing system | |
US5721940A (en) | Form identification and processing system using hierarchical form profiles | |
CN113255642B (zh) | 一种用于人伤理赔的医疗票据信息整合方法 | |
US20120170829A1 (en) | Check Boundary Detection by String Literal Analysis | |
JPH07107694B2 (ja) | 文書処理装置 | |
JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
JP3422924B2 (ja) | 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3463008B2 (ja) | 媒体処理方法及び媒体処理装置 | |
JP3463009B2 (ja) | 媒体処理方法及び媒体処理装置 | |
JP4356908B2 (ja) | 財務諸表自動入力装置 | |
JP5134383B2 (ja) | Ocr装置、証跡管理装置及び証跡管理システム | |
JPH11259597A (ja) | フォーマット認識装置及び文字読み取り装置 | |
Gupta et al. | Table detection and metadata extraction in document images | |
JP2006252575A (ja) | 財務諸表自動入力装置及び財務諸表自動入力方法 | |
JP3946043B2 (ja) | 帳票識別装置及び識別方法 | |
JPH11102416A (ja) | 帳票読取方向判定装置および帳票読取方向判定方法 | |
CN100367288C (zh) | 数据媒体处理装置及数据媒体处理方法 | |
JP2001312694A (ja) | 多種類の帳票認識方法および装置 | |
Ogata et al. | Form-type identification for banking applications and its implementation issues | |
Said | Automatic processing of documents and bank cheques | |
Oddo et al. | Image-understanding approach to reading business transaction documents | |
JP2001092912A (ja) | データ入力装置及びデータ入力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080714 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |