JP3435375B2 - 文字認識方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字画像を認識し
て、文字画像に応じた文字情報を生成する文字認識方法
および装置に係り、たとえば、表形式にて記述された帳
票を読み取って、表構造および文字に対する認識を行う
文字認識方法および装置に関するものである。

【０００２】

【従来の技術】近年、紙などに記録された文字画像を読
み取って対応する文字コードを出力することにより、文
字を高速に入力する文字認識技術が知られている。この
ような認識技術を採用したOCR (Optical Character Rea
der)は、汎用のコンピュータ装置に導入されたソフトウ
ェアや専用装置によって構成されて、様々な文字を認識
することができる。最近のOCR は、手書き文字、英数・
カタカナ(ANK) 文字、漢字および欧文活字を認識対象と
して処理するのみならず、それらのレイアウトや表組み
状態をも認識して、認識対象の状態に応じた書式のコー
ドデータを生成できるようになり、さらに、様々な様式
の認識対象を精度よく認識することが望まれている。

【０００３】たとえば、一般帳票として、罫線等にて囲
まれた表形式の一般帳票に対して、文字認識処理を行う
際には、罫線にて囲まれる項目の領域をセルとして取り
扱い、各セル内における文字を認識するものであった。
たとえば、特許第2740335 号の特許公報には、自動セル
属性判定機能を有する表読取装置が開示されている。こ
の公報に記載の発明では、罫線で囲まれたセル内の文字
を読み取る際、数字・記号や書式等のセル内文字内容に
関するセル属性を自動的に判定し、セル属性に応じた文
字認識処理を行うことにより文字認識率を向上させると
いうものであった。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
表読み取り機能で的確に読みとれる表形式は、一つの項
目が一つのセルで表されており、また、項目に対応する
データがその項目の真下に一つのセルにて表されている
場合であった。

【０００５】しかし、文書のレイアウト構造には様々な
ものがあり、たとえば、罫線等にて表組みされた帳票に
記録されている文字を認識する際に、項目やデータのセ
ルが複数のセルにて構成されている表については、表形
式に応じた文字認識を精度よく行うことは困難であっ
た。

【０００６】たとえば、項目のセルを複数のセルで構成
した表形式の場合や、１つのデータのセルが複数セルに
て構成されている表形式の場合には、表形式を的確に判
断することができなかった。このため、たとえば、密接
に関連する各領域がそれぞれ無関係な領域として処理さ
れてしまう。この結果、本来同一行であるものが複数行
として認識されてしまったり、同一項目や一つのセル内
容であるにもかかわらず複数のセルとして認識されてし
まうという問題があった。

【０００７】本発明はこのような従来技術の欠点を解消
し、表組みされた各領域のセル構造を高精度に認識し、
たとえば、複数セルで一つの項目を表されたり、複数セ
ルで一組のデータを表されたりした帳票形式から、セル
構造を適切に認識し、セル構造に応じた文字認識処理を
行うことができる文字認識方法および装置を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】本発明は上述の課題を解
決するために、情報記録媒体に記録された画像を読み取
って得られるイメージ情報に応じて、イメージ情報に対
応する文字情報を認識する文字認識方法において、この
方法は、イメージ情報を入力する入力工程と、イメージ
情報から罫線にて囲まれる表領域における最小単位のセ
ルを抽出し、セルの位置を表す座標情報を各セルごとに
生成するセル抽出工程と、表領域の構造を各セルを整列
させて特定し、構造を表す整列情報を生成する表整列工
程と、座標情報および整列情報に基づいて、セルに対応
するイメージデータから文字情報を認識する認識工程
と、認識工程にて認識される文字情報を出力する認識結
果出力工程とを含み、表整列工程は、行方向の整列処理
と列方向の整列処理とを行って、各セル間の関係を表す
整列情報を各セルについてそれぞれ生成することを特徴
とする。

【０００９】この場合、表整列工程は、行方向の整列処
理を行う際、表領域における項目を表す項目セルと、項
目セルによる項目行とを特定し、列方向の整列処理に
て、項目行の各項目セルに対応するデータ行におけるデ
ータセルを特定する情報を整列情報に記述するとよい。

【００１０】この場合さらに、表整列工程は、各データ
セルにそれぞれ対応するデータセルを特定する情報を整
列情報に記述するとよい。

【００１１】また、表整列工程は、項目行における項目
セルの入れ子状態を認識する工程と、認識した入れ子状
態に応じて、入れ子状態の項目セルを表す複合セルを作
成する工程とを含み、認識工程は、複合セルに対応する
データセルについて文字情報を認識するとよい。

【００１２】また、表整列工程は、データ行におけるデ
ータセルを項目セルの幅に応じて結合して結合セルを作
成する工程を含み、認識工程は、結合セルに対応する各
データセルについて文字情報を認識するとよい。

【００１３】また、表整列工程は、項目行における項目
セルの入れ子状態を認識する工程と、認識した入れ子状
態に応じて、入れ子状態の項目セルに対応するデータセ
ルを項目セルの幅に応じて特定する工程とを含み、認識
工程は、特定されるデータセルについて文字情報を認識
するとよい。

【００１４】また、本発明は上述の課題を解決するため
に、情報記録媒体に記録された画像を読み取って得られ
るイメージ情報に応じて、イメージ情報に対応する文字
情報を認識する文字認識装置において、この装置は、イ
メージ情報を入力する入力手段と、イメージ情報から罫
線にて囲まれる表領域における最小単位のセルを抽出
し、セルの位置を表す座標情報を各セルごとに生成する
セル抽出手段と、表領域の構造を各セルを整列させて特
定し、構造を表す整列情報を生成する表整列手段と、座
標情報および整列情報に基づいて、セルに対応するイメ
ージデータから文字情報を認識する認識手段と、認識工
程にて認識される文字情報を出力する認識結果出力手段
とを含み、表整列手段は、列方向の整列処理と行方向の
整列処理とを行って、各セル間の関係を表す整列情報を
各セルについてそれぞれ生成することを特徴とする。

【００１５】この場合、表整列手段は、行方向の整列処
理を行う際、表領域における項目を表す項目セルと、項
目セルによる項目行とを特定し、列方向の整列処理に
て、項目行の各項目セルに対応するデータ行におけるデ
ータセルを特定する情報を整列情報に記述するとよい。

【００１６】この場合さらに表整列手段は、各データセ
ルにそれぞれ対応するデータセルを特定する情報を整列
情報に記述するとよい。

【００１７】また、表整列手段は、項目行における項目
セルの入れ子状態を認識する手段と、認識した入れ子状
態に応じて、入れ子状態の項目セルを表す複合セルを作
成する手段とを含み、認識手段は、複合セルに対応する
データセルについて文字情報を認識するとよい。

【００１８】また、表整列手段は、データ行におけるデ
ータセルを項目セルの幅に応じて結合して結合セルを作
成する手段を含み、認識手段は、結合セルに対応する各
データセルについて文字情報を認識するとよい。

【００１９】また、表整列手段は、項目行における項目
セルの入れ子状態を認識する手段と、認識した入れ子状
態に応じて、入れ子状態の項目セルに対応するデータセ
ルを項目セルの幅に応じて特定する手段とを含み、認識
手段は、特定されるデータセルについて文字情報を認識
するとよい。

【００２０】

【発明の実施の形態】次に添付図面を参照して本発明に
よる文字認識方法および装置の実施例を詳細に説明す
る。図３を参照すると、本実施例における文字認識シス
テム10が示され、このシステム10は、たとえば、図４に
示すような表形式にて表された帳票400等の情報記録媒
体に記録されたイメージを読み取って、その表構造およ
び記載文字を適切に認識し、認識結果に応じて帳票400
を表すコードデータを生成する表読取機能を有するシス
テムである。本実施例における帳票400 の項目行402 に
は、振込先、預金種目、口座番号、受取人名および金額
の各欄が記述されており、振込先欄はさらに銀行名と支
店名とが上下２段に分けられている。これら各欄は、実
線等の罫線でそれぞれ囲まれる領域にて示され、この項
目行以下の各行には、各項目に応じたデータが記述され
るデータ行404 がそれぞれ罫線に囲まれて配置されてい
る。この例ではデータ行404 の先頭行には、データ₁₁〜
データ₁₅が記述される領域がそれぞれ形成され、このよ
うなデータ行がデータ₈₁〜データ₈₅の最終行にわたって
配置されている。システム10は、このような帳票400 に
記述された表の構造および文字情報を的確に解析して認
識し、これら情報に応じた罫線コード、文字コードおよ
び書式情報を生成する。なお、以下の説明において本発
明に直接関係のない部分は、図示およびその説明を省略
し、また、信号の参照符号はその現われる接続線の参照
番号で表わす。

【００２１】図３に戻って、画像入力装置302 は、紙な
どのシート状の帳票400 に印刷および印字された画像を
読み取って、そのイメージデータを出力304 に出力する
イメージスキャナである。画像入力装置302 は、帳票40
0 に記録された文字や図形などを光学的に読み取り、RG
B カラーまたはモノクロ等の画像情報を生成し、生成し
た画像情報をディジタル形式のイメージデータに変換し
て出力304 に出力する。

【００２２】画像入力装置302 の出力304 は、コンピュ
ータ装置306 に接続され、コンピュータ装置306 は、入
力されるイメージデータから、文字種類および表構造を
認識して、認識結果に応じたコードデータを生成する処
理装置である。コンピュータ装置306 には、キーボード
308 やマウス310 等の入力装置と、処理画面や処理結果
等を表示する表示装置312 と、所望の情報をプリント出
力するプリンタ314 とがそれぞれ接続されている。

【００２３】コンピュータ装置306 にはさらに、イメー
ジデータを所定の伝送形式にて送受信するモデムを有す
るファクシミリ装置316 が接続線318 を介して接続さ
れ、電話回線および通信回線等のライン320 を介して相
手先より送信されるイメージデータを受信してコンピュ
ータ装置306 に記憶させる。コンピュータ装置306 は、
記憶されたイメージデータ318 に対しても、画像入力装
置302 からの出力データ304 と同様にして表および文字
に対する認識処理を行う。

【００２４】本実施例におけるコンピュータ装置306
は、入力304 および入力318 に入力されるイメージデー
タを、アプリケーションプログラムに従う手順にて処理
し、その処理結果をファイルしたり、表示およびプリン
ト出力する機能を有する汎用のコンピュータである。コ
ンピュータ装置306 には、各接続機器に対する制御およ
び情報の授受を行う基本プログラムが導入されて、汎用
の情報処理機能および周辺機器に対する制御機能が備え
られている。さらに、コンピュータ装置306 には、画像
入力機能、文字認識機能および認識結果出力機能を実現
するための認識処理プログラムが不図示の記憶装置に導
入されており、コンピュータ装置306 は、これらプログ
ラムを主記憶に読み込んでこれらプログラムに応じた制
御および処理を行う。なお、このコンピュータ装置306
に導入される認識処理プログラムは、不図示の光ディス
クなどの記録媒体やサーバー等に記録され、これから読
み取ったプログラムデータがコンピュータ装置306 内の
記憶装置に格納されて、使用可能に導入される。

【００２５】なお、接続線318 を介して接続されるファ
クシミリ装置316 がファクシミリ伝送機能を有するモデ
ムである場合には、コンピュータ装置306 は、導入され
ている通信ソフトウェアに応じた手順にてファクシミリ
伝送を行って、受信データを記憶する。コンピュータ装
置306 は、この受信データを伸張してイメージデータを
再生し、再生されたイメージデータに対して、文字およ
び帳票の認識処理を行う。

【００２６】このようなコンピュータ装置306 の機能構
成を図２に示した機能ブロック図を参照して説明する
と、コンピュータ装置306 は、キーボード308 やマウス
310 が接続される入力部200 と、処理結果を出力する出
力部202 とを備え、これら入力部200 および出力部202
は、バス204 を介して制御部220 に接続されている。

【００２７】画像入力部206 は、画像入力装置302 およ
びファクシミリ装置316 から出力されるイメージデータ
304,318 を入力し、イメージデータを文字認識に適合す
る形式の白黒画像を表す２値データおよびファイル形式
に変換する機能を有する。画像入力部206 は、変換した
２値データをバス204 に出力して、画像メモリ208 に格
納させる。なお、あらかじめ２値画像のイメージデータ
が画像入力部206 に入力される場合には、画像入力部20
6 は、そのイメージデータを画像メモリ208 に格納させ
る。

【００２８】バス204 に接続された画像メモリ208 は、
入力304 または入力318 に入力される複数枚の帳票400
から読み取られたイメージデータを格納する記憶領域を
有する。画像メモリ208 に格納されたイメージデータ
は、制御部220 の制御に応動してバス204 に読み出さ
れ、読み出されたイメージデータは、帳票400 に記録さ
れた表セル構造を特定する際には、セル抽出部210 に入
力され、文字認識段階では認識部216 に入力される。

【００２９】セル抽出部210 は、画像メモリ208 に格納
されたイメージデータから、罫線にて囲まれた領域をセ
ルとして抽出する機能部である。セル抽出部210 は、抽
出されたセルの位置を示す座標情報を生成し、生成した
座標情報を表セル情報メモリ214 に格納させる。

【００３０】詳しくは、セル抽出部210 は、帳票400 に
おけるイメージデータの水平（行）方向および垂直
（列）方向について走査して、水平方向に連続する黒デ
ータと水平方向に連続する黒データとを抽出する。セル
抽出部210 は、抽出した黒データのうち所定長連続する
黒データを、それぞれ水平および垂直方向の罫線として
認識する。セル抽出部210 は、認識した罫線にて囲まれ
る領域のうち、それらの最小単位の領域をそれぞれセル
として判定し、各セルの座標情報を算出する。この座標
情報は、たとえば、イメージデータの所定位置を基準と
する位置座標であり、各セルの四隅、４点の位置を示す
位置情報である。セル抽出部210 は、このようにして抽
出した各セルの座標情報をバス204 に出力して、表セル
情報メモリ214 に格納させる。

【００３１】表整列部212 は、各セルの位置座標を参照
して各セルを行（水平）方向および列（垂直）方向に整
列させ、この整列形態を表す整列情報を生成する機能部
である。表整列部212 は、生成した整列情報をバス204
に出力して、表セル情報メモリ214 に格納させる。表整
列部212 の詳細機能構成を説明すると、表整列部212
は、イメージデータにおける行を決定する行判定機能を
有する。

【００３２】詳しくは、表整列部212 は、各セルの高さ
を基準として項目行およびデータ行を決定し、表構造お
よびセル関連等を表す表セル構造データを作成する。こ
の表セル構造データは、各セルについてそれぞれ作成さ
れ、後述するように、属性情報、右セル情報、下セル情
報およびデータセル情報の各情報が記述される形式の整
列情報である。

【００３３】表整列部212 は、項目文字が記述されてい
る項目行における各セル高の最大値を基準として、項目
行の高さを判定し、項目行に対する分類処理を行う。た
とえば、表整列部212 は、各セルによる項目を行方向に
走査してゆき、各対象セルのそれぞれの右側にあるセル
を、対象セルの右セルとして表セル構造データの右セル
情報に記述する。

【００３４】具体的には図５に示すように、項目行にお
いて、その左から「振込先」、「銀行名」、「預金種
目」、「口座番号」、「受取人名」および「金額」の各
項目順に、それぞれの項目ごとの属性情報として”項目
セル”を確認および決定し、さらに、右セル情報として
各項目の右側に存在する項目セル名を確認および決定し
て、各項目セルについて順次、表セル構造データを作成
する。最後に、項目行において項目セルが残っているか
どうかを確認する。この場合、水平方向に走査して残さ
れた項目「支店名」のセルについて表セル構造データを
作成する。図６に示すように、第１行目としてこれら項
目を含むようにして項目行が決定され、第２行目以降に
データ行が決定される。なお、この行方向のセル整列処
理において、各項目の次行に配置されているデータセル
を示すデータセル情報を特定する処理を行わず、データ
セル情報は次に説明する列方向のセル整列処理にて特定
する。表整列部212 は、このようにして作成した表セル
構造データを一旦、表セル情報メモリ214 に格納させ
る。

【００３５】このようにして作成した表セル構造データ
は、図７にその一例を示すように構成される。本実施例
では、同図(a) に示すように「振込先」の項目セルの構
造は、属性情報が”項目セル”、右セル情報が”銀行
名”、下セル情報が”なし”、そしてデータセル情報が
未設定としてたとえば空欄などにて作成される。また、
「銀行名」の項目セルの構造は、同図(b) に示すよう
に、属性情報が”項目セル”、右セル情報が”預金種
目”、下セル情報が”支店名”、そしてデータセル情報
は未設定となる。同様に、「預金種目」については、同
図(c) に示すように、右セル情報が”口座番号”、下セ
ル情報が”なし”、データセル情報が未設定となる。

【００３６】表整列部212 は、各データ行におけるデー
タセルについても同様にして表セル構造データを作成す
る。この場合、各セルの属性情報は”データセル”と
し、右セル情報は、右側にデータセルがある場合には、
そのセル名を記述する。なお、下セル情報については、
後述する列方向整列処理にて、同一データ行内で、対象
データセルの下に他のセルがある場合にはそのデータセ
ル名を設定し、ない場合には”なし”に設定する。

【００３７】また、表整列部212 は、列方向の整列を行
う機能を有する。表整列部212 は、行方向について作成
された表セル構造データを表セル情報メモリ214 より読
み出して、各表セル構造データにおけるデータセル情報
を決定する操作を行う。詳しくは、表整列部212 は、未
設定状態のデータセル情報を各セルについて設定する際
に、たとえば、図10(a) に示すように項目「振込先」の
データセル情報を”データ₁₁”とし、同図(b) に示すよ
うに「銀行名」のデータセル情報を”なし”とし、同図
(c) に示すように預金種目のデータセル情報を”データ
₁₂”とする。また、各データ行のセルにおけるデータセ
ル情報については、次行にデータセルがある場合にはそ
のセル名を記述する。たとえば、処理対象セルが”デー
タ₁₁”のセルの場合には、”データ₂₁”を記述する。表
整列部212 は、このようにして作成した表セル構造デー
タを表セル情報メモリ214 に供給して、メモリ内の表セ
ル構造データを更新する。

【００３８】さらに、表整列部212 は、一つの項目が複
数のセルによって構成されているいれ子状態のセル構造
を判定し、複数セルによる一項目セルを表す複合セルを
設定する機能を有している。詳しくは、表整列部212
は、複数のセルにより構成されている一項目が、データ
行のデータセルに対応する場合、それら複数の項目セル
を組み合わせた領域を複合セルとして仮想的に設定す
る。たとえば、項目行における「振込先」は、垂直方向
に走査しても、データ行の列幅とは対応しないので、こ
の「振込先」の列幅に「銀行名」の列幅を加えて、デー
タ行の列幅と比較する。この場合、項目セルについて合
計された列幅が、その下のデータ項目の列幅と一致する
ので、図８に示すように、これら「振込先」と「銀行
名」とに「支店名」を加えた３セルを表す複合セルを設
定する。この複合セルは、表セル構造データにおいて、
これら３つのセルの、上の行に存在するように仮想的に
定義づけられる。表整列部212 は、この複合セルに対し
ても表セル構造データを作成する。その際、表整列部21
2 は、図９に示すように、下セル情報を”振込先”とし
て仮想配置し、属性情報を”複合セル”、右セル情報
を”預金種目”、データセル情報を”なし”としてそれ
ぞれ設定する。表整列部212 は、このようにして作成し
た複合セルに関する情報を表セル情報メモリ214 に供給
して、表セル構造データに複合セルの各内容を追加記述
する。

【００３９】表整列部212 は、このようにして、各セル
同士の関連性を表セル構造データにて表し、各セルを行
および列方向に関連づけて整列した表構造データを作成
する。とくに、たとえば、項目行において、入れ子状態
の項目セルに対して複合セルを作成し、同一項目行内の
下セル情報に関する記述が表セル構造データに作成され
ることから、項目行が複数行に分かれてしまうことが防
止される。また、入れ子状態の項目セルを認識して複合
セルを設定するから、入れ子状態の項目が複合セルによ
って代表され、他の項目セルおよび次行のデータセルと
の関係が明確に定義される。もちろん、データ行につい
ても同様の処理を行って、たとえば、１つのデータ行に
おいて、部分的に複数セルにて形成されている場合につ
いても、同一行内の下セル情報を設定することにより、
表構造を特定することが可能である。このように本実施
例では、一つの項目が複数のセルにて表されており、こ
れに一つのデータセルが対応する場合であっても、複数
のセルを一つのセルとして取り扱う複合セルを設定し
て、図９に示したような複合セルの表セル構造データを
作成することにより、表セルの構造を適切に定義するこ
とができる。

【００４０】表セル情報メモリ214 は、セル抽出部210
にて作成された座標情報と、表整列部212 にて作成され
た整列情報の表セル構造データとを格納する記憶領域を
有する。表セル情報メモリ214 に、これら座標情報と整
列情報とが格納されると認識部216 は、データ行に対す
る文字認識処理を開始する。

【００４１】認識部216 は、表セル情報メモリ214 に格
納された座標情報および整列情報に基づいて、画像メモ
リ208 に格納されているイメージデータの各領域に記入
もしくは印字されている文字列を認識する機能部であ
る。認識部216 は、認識した文字列を対応する文字コー
ドに変換し、その変換結果を認識結果格納メモリ218 に
格納させる。

【００４２】詳しくは、認識部216 は、各セルの座標情
報および整列情報に応じて処理対象のセルを決定し、画
像メモリ208 に格納されているイメージデータのうち、
対象セルに対応する位置に配置された文字画像を表すイ
メージデータを画像メモリ208 から読み出し、文字画像
に対応する文字コードを生成する。認識部216 は、文字
画像を認識するための基準となる文字パターンおよびそ
の特徴を示す情報を認識辞書として記憶保持しており、
各セルに対応する文字画像を切り出して抽出されたイメ
ージデータを、認識辞書内の文字パターンおよび特徴情
報と比較照合する。認識部216 は、比較照合の結果、相
関の高い文字パターン順に候補文字の優先順位を決定
し、名詞、文脈等を記憶した解析辞書を用いて、適切な
文字を選択する。認識部216 は、このように選択した文
字列を候補文字列として各セル対応に順次記憶保持し、
これを帳票400 に関する表構造データにてリンクされる
全セルについて行う。認識部216 は、このようにして認
識した文字に対し、所定形式の文字コードを付与して、
制御部220 からの要求に応動してバス204 に出力すると
ともに表構造データからその表形式を表す所定形式の罫
線コードを作成してバス204 に出力する。また認識部21
6 は、表形式および文字の位置およびサイズ等を示す書
式情報をバス204 に出力する。これら所定形式の文字コ
ード、罫線コードおよび制御文字による書式情報は、文
書形式のデータに限らず、たとえば、表計算ソフトウエ
ァにて使用される表形式のバイナリデータでもよい。

【００４３】なお、制御部220 より、候補文字変更の要
求があった場合には、認識部216 は、要求に応じた文字
を候補文字と置き換えて認識結果を修正する。また、認
識部216 は、項目行に記述されている項目名に対する文
字認識処理を、表構造を特定する際にあらかじめ行う機
能を有する。しかしこれに限らず、データ行の各セルに
記録された各文字を認識する前または後に、項目名を認
識するようにしてもよい。また、本実施例では、表構造
のセル内データについて文字認識を行う点について説明
しているが、認識部216 は、罫線等が記述されていな
い、たとえば表枠の外側や通常文章等の各行内の文字に
ついても文字認識を行う機能を有する。

【００４４】認識結果格納メモリ218 は、認識部216 に
おける処理結果の文字コード、罫線コードおよび書式情
報等の認識結果を格納する記憶領域を有する。なお、図
２において、画像メモリ208 、表セル情報メモリ214 お
よび認識結果格納メモリ218の各記憶回路は、それぞれ
別ブロックのメモリ構成として示しているが、これに限
らず、たとえば、コンピュータ装置の主記憶を構成する
同一種類のランダムアクセスメモリの各記憶領域に各機
能ごとに格納されて区分されてよい。

【００４５】制御部220 は、各機能部を制御する制御機
能と、各部からの情報をバス204 を介して所望の機能部
に転送する転送機能と、各種演算処理機能とを有する機
能部である。たとえば制御部220 は、帳票400 、１頁分
の認識結果が認識結果格納メモリ218 に蓄積されると、
それら文字および罫線コードと書式情報とをバス204に
読み出して出力部202 に転送する。出力部202 は、画像
メモリ208 に格納されているイメージデータを処理して
モニタ装置312 に供給することにより、読み取り画像を
表示させるとともに、認識結果格納メモリ218 から読み
出された情報を、出力先に応じた形式のデータに変換し
て、表示用の画像信号やプリント用の画像データを作成
する。これにより、モニタ装置312 の表示画面にはその
認識処理後の表および文字が表示され、また、プリンタ
装置314 は、それら情報を所定用紙にプリントして出力
する。

【００４６】以上のような構成で、本実施例におけるシ
ステム10の処理動作を説明すると、図１に示すステップ
100 において、帳票400 が画像入力装置302 の読取部に
セットされると、その原稿上の記録画像が走査されて、
濃淡に応じた電気信号が生成され、そのイメージデータ
がコンピュータ装置306 の画像入力部206 に入力され
る。また、イメージデータがファックス送信されると、
ファクシミリ装置316 はこれを受信し、復号等の処理を
経たイメージデータが画像入力部206 に入力される。画
像入力部206 に入力したイメージデータは、それがカラ
ー画像等の階調データである場合には、モノクロの２値
画像データに変換され、変換されたイメージデータは、
画像メモリ208 に格納される。

【００４７】このようにして認識対象のイメージデータ
が格納されるとステップ102 に進んでセル抽出処理が行
われる。セル抽出部210 では、画像メモリ208 に格納さ
れたイメージデータにおける水平および垂直方向の連続
黒データが抽出されて、帳票400 における罫線が認識さ
れる。次いで、認識された罫線にて囲まれた領域がセル
として判定され、各セルの位置を表す座標情報が作成さ
れる。作成された座標情報は、このイメージデータに対
するセル位置を示す情報として表セル情報メモリ214 に
格納される。

【００４８】このようにして帳票400 におけるセルが抽
出されると、ステップ104 に進み、表整列処理が行われ
る。行方向整列処理106 では、帳票400 における上端に
行方向に配列されている各セルについて、その高さがそ
れぞれ判定され、行方向に複数のセルがある場合でも、
各セルの最大高さが第１行目の項目行として認識され
る。項目行が決定されると、認識部216 では、項目行に
おける項目文字に対する文字認識が行われて、各項目の
内容がコードデータ化される。次いで、項目行における
左側のセルからその項目名が認識されてゆき、「振込
先」から「金額」までのそれぞれの属性情報として”項
目セル”が設定され、さらに、この項目行における「支
店名」についても”項目セル”としてその属性情報が設
定される。項目行における属性情報が確定すると、各項
目セルごとに属性情報が記述された表セル構造データが
表セル情報メモリ214 に格納される。データ行における
各セルについても同様にして属性情報を”データセル”
とする表セル構造データがそれぞれ作成されて、表セル
情報メモリ214 に格納される。

【００４９】このようにして行方向に対する整列処理が
完了すると、列方向整列処理108 が行われる。この処理
108 では、それぞれの項目セルおよびデータセルについ
て、データセル情報が認識される。このとき入れ子状態
のセル構造が判定されると、複合セルが作成され、たと
えば、図９に示すような複合セルに関する情報が作成さ
れる。作成された情報は表セル情報メモリ214 に供給さ
れて、格納されている表セル構造データに追加記述され
る。

【００５０】このようにして、表セル構造データが互い
のセルに関連づけられて整列されると、ステップ110 に
進み、データ行における文字認識処理が開始される。認
識部216 では、表セル情報メモリ214 に格納されている
座標情報および整列情報に基づいて、処理対象のセルが
決定され、対象セルに対応するイメージデータが画像メ
モリ208 から読み出される。本実施例では、各データ行
におけるデータセルのイメージデータの文字画像と認識
辞書とが照合されて、文字画像に対応するコードデータ
が生成される。さらに、表セル構造データから罫線およ
び書式情報が認識部216 にて作成されて、これら文字コ
ード、罫線コードおよび書式情報がバス204 を介して認
識結果格納メモリ218 に格納される。

【００５１】次いでステップ112 に進み、認識結果格納
メモリ218 に格納された情報は、制御部220 の制御に応
動して出力部202 に転送され、表示用の画像信号に変換
され、モニタ装置312 に供給される。操作者は、モニタ
装置312 に表示された表および文字などの認識結果を確
認して、修正等が必要であれば、入力装置を操作して候
補文字を修正する処理を行うことができる。このように
して認識結果が確定されると、認識結果を表す画像を必
要に応じてプリントしたり、情報記録媒体にファイルと
して記録保管したりする。

【００５２】なお、同一表形式の複数枚帳票400 を連続
処理する場合には、第１枚目で認識した解析結果の座標
情報と、整列情報の表セル構造データとを用いて、２枚
目以降の認識処理を行うことにより処理の高速化を図る
ことができる。また、解析結果を保存しておくことによ
り、複数種類の帳票が混在していたとしても、帳票の種
類に応じた解析結果の表セル構造データ等を選択して使
用することにより、表構造の認識処理、つまり表セル構
造データの作成処理を、毎回行わずにすむ。これは、た
とえば、帳票の種類を表す帳票番号と表セル構造データ
とを対応させて行う。

【００５３】次に、図11を参照して、システム10の他の
実施例を説明する。同図に示すようにこの実施例では、
項目「金額」に対応するデータセルが複数桁の領域にて
区分されている帳票1100に対する認識処理を適切に行う
点で図１〜３に示した第１の実施例とは異なり、そのほ
かについては第１の実施例と同様の機能構成でよいので
その説明を省略する。

【００５４】図示するように帳票1100は、項目行に「銀
行名」〜「金額」の各項目が配置されており、とくに項
目「金額」に対応する各データ行には、数字や記号等の
文字が各桁ごとに記入されるように、各桁を区分けする
点線および破線等の罫線が記録されている。

【００５５】本実施例におけるセル抽出部210 は、画像
メモリ208 に格納されているイメージデータから、これ
ら区分されている領域についてそれぞれセルとして抽出
し、各セルの座標情報を表セル情報メモリ214 に格納さ
せる。また、表整列部212 は、上述の実施例と同様にし
て行方向の整列処理を行った後、列方向の整列処理を行
う。本実施例における列方向の整列処理は、データセル
の幅に応じて項目セルを対応させてデータセル情報を決
定する。

【００５６】詳しくは、表整列部212 は、列方向の整列
処理において、図12に示すように、項目セルの幅と、そ
の下に配置されているデータセルの幅とを比較して、項
目セル幅よりも小さい幅のデータセルを認識する。表整
列部212 は、認識したデータセルについて項目セル幅と
同じ幅になるまで、データセルの幅を合計し、複数のデ
ータセルを合計した結果が項目セル幅と一致する場合
に、それらデータセルを結合して一つの結合セル1200と
して認識するとともに、結合セル1200を項目セルに対応
させる。この場合、表整列部212 は、この結合セル1200
を特定する表セル構造データを作成し、表セル情報メモ
リ214 に格納させる。

【００５７】図11に示した例では、「金額」に対応する
データセルが、たとえばデータ行の第１行目において
「データ (1,6)」〜「データ(1,11)」の各セルによって
示されており、表整列部212 は、これらデータセル (1,
6)〜(1,11)を表す結合セルを作成し、その表セル構造デ
ータを作成する。この場合の結合セル1200は、属性情報
が”結合セル”で、右セルおよび下セル情報がそれぞ
れ”なし”で、データセル情報は、次行のデータセル
の”結合セル (2,6 〜2,11) ”となる。また「金額」の
表セル構造は、属性情報が”項目セル”で、右セルおよ
び下セル情報がそれぞれ”なし”で、データセル情報
は、次行のデータセルの”結合セル(1,6〜 1,11)”とな
る。

【００５８】また、認識部216 は、結合セル1200に対応
するデータセルのイメージデータを画像メモリ208 より
読み出して、各セルに対応するイメージデータにおける
文字認識処理を行う。とくに認識部216 は、「金額」の
項目セルに対応するデータ行における結合セル1200に記
入された文字画像に対する認識処理を行う。その認識結
果は、結合セルに対する認識結果として、認識結果格納
メモリ218 に格納される。この場合、認識部216 は、結
合セルに対応するイメージデータに対して、縦罫線の除
去処理を行ってから文字認識処理を行うとよい。

【００５９】以上説明したように本実施例では、「金
額」の項目セル対応する複数のデータセルを、複数に分
割して独立した領域としては文字認識処理を行わず、結
合セルを単位として文字認識処理を行うので、意味上密
接に関連する複数桁の「金額」欄の項目セルに対応する
データ行の認識結果として、金額に対応する一連の数字
および記号等を表す認識結果を出力することができる。

【００６０】次に、図13を参照して、システム10の他の
実施例を説明する。同図に示すようにこの実施例では、
項目行における項目セル「振込先」について、その下の
行方向に並んで「銀行名」および「支店名」が入れ子状
態となって配列している帳票1300に対する認識処理を適
切に行う点で上述の実施例とは異なり、そのほかについ
ては上記実施例と同様の機能構成でよいのでその説明を
省略する。

【００６１】図示するように帳票1300は、項目行内にお
いて「振込先」〜「金額」の各項目が配置され、「振込
先」の下段にはさらに「銀行名」および「支店名」の各
項目が入れ子状態となって配置されている帳票である。

【００６２】本実施例における表整列部212 は、上述の
実施例と同様にして、行方向の整列処理を行って行分類
した後、列方向の整列処理を行う。具体的には、図15
(a) 〜(c) にその一例を示すように、「振込先」の項目
セルに対する表セル構造データは、属性情報が”項目セ
ル”、右セル情報が”預金種目”、下セル情報が”銀行
名”となる。また、「銀行名」の項目セルに対する表セ
ル構造データは、属性情報が”項目セル”、右セル情報
が”支店名”、下セル情報が”なし”となる。また、
「支店名」の項目セルに対する表セル構造データは、属
性情報が”項目セル”、右セル情報が”なし”、下セル
情報が”なし”となる。なお、この行方向の整列処理に
おけるデータセル情報の内容は、上述の実施例と同様に
未設定となっている。また、各データセルについても上
記実施例と同様に整列処理が行われる。

【００６３】次に、列方向の整列処理は、データセル情
報を決定する処理を行う際に、入れ子状態の項目セルを
認識して、入れ子部分の項目セルとデータセルとを対応
づける処理を行う。

【００６４】詳しくは、表整列部212 は、図14に示すよ
うに、項目行内に複数段の項目セルが存在する場合に、
上段の項目セルの幅と、その下に配置された下段の項目
セルの幅とを比較して、項目セル幅よりも小さい幅の項
目セルを認識する。表整列部212 は、認識した項目セル
について上段の項目セル幅と同じ幅になるまで、下段の
項目セルの幅を合計し、複数の項目セルを合計した結
果、上段の項目セルと同幅となって、さらに下段の項目
セル幅がそれぞれデータセルの幅に一致する場合に、下
段の項目セルとデータセルとを対応づける。

【００６５】この対応付け処理は、表セル構造データ中
のデータセル情報を定義する処理であり、たとえば図15
(a) 〜(c) に示したように、項目「振込先」、「銀行
名」および「支店名」における未設定状態のデータセル
情報を、それぞれ”なし”、”データ₁₁”および”デー
タ₁₂”と設定する。表整列部212 は、このように行およ
び列方向の整列処理を行って各セルの構造およびそれら
の関係を特定する整列情報として表セル構造データを作
成し、表セル情報メモリ214 に格納させる。

【００６６】認識部216 は、表セル情報メモリ214 に格
納されている座標情報および整列情報に基づいて、各項
目セルおよびデータセルに対応するイメージデータにお
ける文字を認識して、その認識結果を認識結果格納メモ
リ218 に格納させる。このように本実施例では、項目の
セルと、データのセルとが入れ子の状態になって、入れ
子の項目セルがデータセルに対応している場合でも、入
れ子状態のそれぞれの項目セルと、データセルとを対応
させる整列処理を行うことにより、帳票1300のような項
目行の形式であっても、「振込先」が「銀行名」や「支
店名」に対応づけられるのみならず、「銀行名」および
「支店名」にそれぞれ対応するデータ行のデータセルが
特定され、対応するデータセルごとに文字認識処理が行
われる。

【００６７】以上説明したように、上記各実施例では、
項目のセルが複数で、データのセルが一つのセルで表さ
れている表形式や、項目のセルが一つで、データのセル
が複数で横（行）方向に並んでいる表形式、さらには、
項目のセルとデータのセルとが入れ子の状態となってい
る表形式に対して、適切に読み取ることができ、表構造
に応じた認識結果を的確に生成し出力することができ
る。

【００６８】

【発明の効果】このように本発明によれば、表組みされ
た各領域のセル構造を高精度に認識する表セル構造デー
タを作成して、複数セルで一つの項目を表されたり、複
数セルで一組のデータを表されたりした帳票形式のセル
構造を適切に認識することができるので、セル構造に応
じた文字認識処理を的確に行うことができる。

【図面の簡単な説明】

【図１】本発明が適用された実施例の文字認識システム
における動作を示すフローチャートである。

【図２】文字認識システムのコンピュータ装置の機能構
成例を示すブロック図である。

【図３】本発明が適用された文字認識システムのシステ
ム構成例を示す図である。

【図４】実施例にて文字認識処理を行う帳票の一例を示
す図である。

【図５】項目行における項目セルの特定状態を示す図で
ある。

【図６】項目行およびデータ行の決定状態を示す図であ
る。

【図７】行方向整列処理にて作成される表セル構造デー
タの一例を示す図である。

【図８】複合セルの作成状態を示す図である。

【図９】複合セルの表セル構造データの一例を示す図で
ある。

【図１０】列方向整列処理にて作成される表セル構造デ
ータの一例を示す図である。

【図１１】実施例にて文字認識処理を行う帳票の一例を
示す図である。

【図１２】項目「金額」に対応するデータセルから結合
セルを作成する一例を示す図である。

【図１３】実施例にて文字認識処理を行う帳票の一例を
示す図である。

【図１４】入れ子状態の項目セルとデータセルとの対応
関係を示す図である。

【図１５】整列処理にて作成される表セル構造データの
一例を示す図である。

【符号の説明】

102 セル抽出処理 104 表整列処理 106 行方向整列処理 108 列方向整列処理 110 認識処理 206 画像入力部 208 画像メモリ 210 セル抽出部 212 表整列部 214 表セル情報メモリ 216 認識部 218 認識結果格納メモリ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 情報記録媒体に記録された画像を読み取
   って得られるイメージ情報に応じて、該イメージ情報に
   対応する文字情報を認識する文字認識方法において、該
   方法は、 前記イメージ情報を入力する入力工程と、 前記イメージ情報から罫線にて囲まれる表領域における
   最小単位のセルを抽出し、該セルの位置を表す座標情報
   を各セルごとに生成するセル抽出工程と、 前記表領域の構造を各セルを整列させて特定し、該構造
   を表す整列情報を生成する表整列工程と、 前記座標情報および整列情報に基づいて、前記セルに対
   応する前記イメージデータから前記文字情報を認識する
   認識工程と、 該認識工程にて認識される文字情報を出力する認識結果
   出力工程とを含み、 前記表整列工程は、行方向の整列処理と列方向の整列処
   理とを行って、各セル間の関係を表す整列情報を各セル
   についてそれぞれ生成し、 前記行方向の整列処理を行う際、前記表領域における項
   目を表す項目セルと、該項目セルによる項目行とを特定
   し、 前記列方向の整列処理にて、前記項目行の各項目セルに
   対応するデータ行におけるデータセルを特定する情報を
   前記整列情報に記述 することを特徴とする文字認識方
   法。
2. 【請求項２】 請求項１に記載の方法において、前記表
   整列工程は、各データセルにそれぞれ対応するデータセ
   ルを特定する情報を前記整列情報に記述することを特徴
   とする文字認識方法。
3. 【請求項３】 請求項１に記載の方法において、前記表
   整列工程は、 前記項目行における項目セルの入れ子状態を認識する工
   程と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
   セルを表す複合セルを作成する工程とを含み、 前記認識工程は、前記複合セルに対応するデータセルに
   ついて前記文字情報を認識することを特徴とする文字認
   識方法。
4. 【請求項４】 請求項１に記載の方法において、前記表
   整列工程は、 前記データ行におけるデータセルを前記項目セルの幅に
   応じて結合して結合セルを作成する工程を含み、 前記認識工程は、前記結合セルに対応する各データセル
   について前記文字情報を認識することを特徴とする文字
   認識方法。
5. 【請求項５】 請求項１に記載の方法において、前記表
   整列工程は、 前記項目行における項目セルの入れ子状態を認識する工
   程と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
   セルに対応するデータセルを前記項目セルの幅に応じて
   特定する工程とを含み、 前記認識工程は、前記特定されるデータセルについて前
   記文字情報を認識することを特徴とする文字認識方法。
6. 【請求項６】 情報記録媒体に記録された画像を読み取
   って得られるイメージ情報に応じて、該イメージ情報に
   対応する文字情報を認識する文字認識装置において、該
   装置は、 前記イメージ情報を入力する入力手段と、 前記イメージ情報から罫線にて囲まれる表領域における
   最小単位のセルを抽出し、該セルの位置を表す座標情報
   を各セルごとに生成するセル抽出手段と、 前記表領域の構造を各セルを整列させて特定し、該構造
   を表す整列情報を生成する表整列手段と、 前記座標情報および整列情報に基づいて、前記セルに対
   応する前記イメージデータから前記文字情報を認識する
   認識手段と、 該認識工程にて認識される文字情報を出力する認識結果
   出力手段とを含み、 前記表整列手段は、列方向の整列処理と行方向の整列処
   理とを行って、各セル間の関係を表す整列情報を各セル
   についてそれぞれ生成し、前記行方向の整列処理を行う
   際、前記表領域における項目を表す項目セルと、該項目
   セルによる項目行とを特定し、前記列方向の整列処理に
   て、前記項目行の各項目セルに対応するデータ行におけ
   るデータセルを特定する情報を前記整列情報に記述する
   ことを特徴とする文字認識装置。
7. 【請求項７】 請求項６に記載の装置において、前記表
   整列手段は、各データセルにそれぞれ対応するデータセ
   ルを特定する情報を前記整列情報に記述することを特徴
   とする文字認識装置。
8. 【請求項８】 請求項６に記載の装置において、前記表
   整列手段は、 前記項目行における項目セルの入れ子状態を認識する手
   段と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
   セルを表す複合セルを作成する手段とを含み、 前記認識手段は、前記複合セルに対応するデータセルに
   ついて前記文字情報を認識することを特徴とする文字認
   識装置。
9. 【請求項９】 請求項６に記載の装置において、前記表
   整列手段は、 前記データ行におけるデータセルを前記項目セルの幅に
   応じて結合して結合セルを作成する手段を含み、前記認
   識手段は、前記結合セルに対応する各データセルについ
   て前記文字情報を認識することを特徴とする文字認識装
   置。
10. 【請求項１０】 請求項６に記載の装置において、前記
    表整列手段は、 前記項目行における項目セルの入れ子状態を認識する手
    段と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
    セルに対応するデータセルを前記項目セルの幅に応じて
    特定する手段とを含み、 前記認識手段は、前記特定されるデータセルについて前
    記文字情報を認識することを特徴とする文字認識装置。
11. 【請求項１１】 画像を読み取って得られるイメージ情
    報に応じて、該イメージ情報に対応する文字情報を認識
    する文字認識プログラムが記録されたコンピュータ読み
    取り可能な情報記録媒体において、該情報記憶媒体は、 前記イメージ情報を入力する入力手順と、 前記イメージ情報から罫線にて囲まれる表領域における
    最小単位のセルを抽出し、該セルの位置を表す座標情報
    を各セルごとに生成するセル抽出手順と、 前記表領域の構造を各セルを整列させて特定し、該構造
    を表す整列情報を生成する表整列手順と、 前記座標情報および整列情報に基づいて、前記セルに対
    応する前記イメージデータから前記文字情報を認識する
    認識手順と、 該認識工程にて認識される文字情報を出力する認識結果
    出力手順とを含み、 前記表整列手順は、列方向の整列処理と行方向の整列処
    理とを行って、各セル間の関係を表す整列情報を各セル
    についてそれぞれ生成し、 前記行方向の整列処理を行う際、前記表領域における項
    目を表す項目セルと、該項目セルによる項目行とを特定
    し、 前記列方向の整列処理にて、前記項目行の各項目セルに
    対応するデータ行におけるデータセルを特定する情報を
    前記整列情報に記述 することを特徴とする文字認識プロ
    グラムが記憶されたコンピュータ読み取り可能な情報記
    録媒体。
12. 【請求項１２】 請求項１１に記載の情報記録媒体にお
    いて、前記表整列手順は、各データセルにそれぞれ対応
    するデータセルを特定する情報を前記整列情報に記述す
    ることを特徴とするコンピュータ読み取り可能な情報記
    録媒体。
13. 【請求項１３】 請求項１１に記載の情報記録媒体にお
    いて、前記表整列手順は、 前記項目行における項目セルの入れ子状態を認識する手
    順と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
    セルを表す複合セルを作成する手順とを含み、 前記認識手順は、前記複合セルに対応するデータセルに
    ついて前記文字情報を認識することを特徴とするコンピ
    ュータ読み取り可能な情報記録媒体。
14. 【請求項１４】 請求項１１に記載の情報記録媒体にお
    いて、前記表整列手順は、 前記データ行におけるデータセルを前記項目セルの幅に
    応じて結合して結合セルを作成する手順を含み、 前記認識手順は、前記結合セルに対応する各データセル
    について前記文字情報を認識することを特徴とするコン
    ピュータ読み取り可能な情報記録媒体。
15. 【請求項１５】 請求項１１に記載の情報記録媒体にお
    いて、前記表整列手順は、 前記項目行における項目セルの入れ子状態を認識する手
    順と、 前記認識した入れ子状態に応じて、該入れ子状態の項目
    セルに対応するデータセルを前記項目セルの幅に応じて
    特定する手順とを含み、 前記認識手順は、前記特定されるデータセルについて前
    記文字情報を認識することを特徴とするコンピュータ読
    み取り可能な情報記録媒体。