JP3266687B2 - マーク認識方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，紙の文書を認識し，計
算機に入力する文書認識システムに係り、特に、紙の文
書に記されたマークなどを認識するマーク認識方式に関
する。

【０００２】

【従来の技術】従来より，紙に記された簡略なマークを
認識する装置が用いられてきた。このような装置には，
紙にあらかじめ印刷した枠の中を塗りつぶした場所を認
識するマークシートリーダーや，紙にあらかじめ印刷し
た枠のなかに記入した「×」や「○」印を認識するチェ
ックマーク認識機能付きＯＣＲがある。マークシートリ
ーダーはあらかじめ指定した位置にマークを記入するよ
う指定された領域内の濃淡を検出することにより，マー
クの有無を判別する。枠は画像入力に用いられる光電変
換装置により白色背景と識別不可能な波長帯域の色（ド
ロップアウトカラー）で印刷されており，位置ずれはあ
らかじめ用紙上に印刷した位置ずれ補正専用のマーク
（タイミングマーク）の位置を検出することにより補正
する。チェックマーク認識機能付きＯＣＲは，文書中に
あらかじめ指定された位置に印刷された枠近辺の画像パ
ターンの形状の特徴を識別することにより枠内の「×」
や「○」のマークの有無を判別する。この際，枠がドロ
ップアウトカラーでなくても，認識対象のパターンと枠
とを分離する方式（中野他「文字切り出し方式」，特開
昭６０−１２６７７７号公報参照）を用いることによ
り，マークの有無を識別することが出来る。

【０００３】

【発明が解決しようとする課題】上記の従来の装置は専
用の用紙上に指定された形式のマークを認識するもので
ある。しかし，通常の事務処理に用いられる伝票では，
マークを記入するための専用の枠などがない。さらに，
「男・女」等の不動文字に重ねて「×」や「○」のマー
クを記入する場合が多い。また，書式が同一でも寸法や
使用字形の異なる伝票が混在して用いられる場合があ
り，マークを記入する位置もそれに応じて変化する。ま
た，通常，マークは手書きで記入するため，マークの形
状は一定でない。マークをプリンタなどで印刷する場合
もあるが，この際にも印刷の品質や位置決め精度，マー
クの形状がプリンタ毎に異なる。

【０００４】本発明は，このような通常の事務処理で用
いられる伝票等に記載された不動文字の選択情報を認識
し，不動文字位置が自由であり，マーク形状が自由で，
不動文字重ね書きを許容するマーク認識方式を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】上記目的は，文書画像中
よりマークの施された被マーク文字を含むパターン列を
検出する文字列検出手段と，検出したパターン列よりパ
ターンを切り出すパターン切出し手段を有し，更に，検
出したパターン列中の各パターンの少なくとも一つの特
徴量を比較することにより被マーク文字を判別する被マ
ーク文字判別手段を設けることにより達成される。

【０００６】

【作用】画像入力は、既知の方法により文書紙面の濃淡
情報を光電変換して装置に入力を行う。文字列検出手段
は，画像入力によって獲得した画像中より文書の書式に
関する知識などを用い，認識の対象となるパターン列
（被マーク文字を含む不動文字列）を検出する。パター
ン切出し手段は，上記文字列検出手段により検出したパ
ターン列（被マーク文字を含む不動文字列）より，不動
文字１文字のパターン，あるいはマークのパターン，あ
るいは不動文字にマークが重ねて記入された被マーク文
字のパターンを切り出す。上記の文字列検出手段および
パターン切出し手段の作用により，非特定の位置に印刷
された不動文字を検出することができる。被マーク文字
判別手段は，上記パターン切出し手段により切出した各
パターンの特徴を算出し，その結果をパターン列（被マ
ーク文字を含む不動文字列）の文字の並びおよび文字パ
ターンに関する知識を参照することにより，マークの施
された文字を判別する。

【０００７】マークと不動文字が重なることにより生成
されるパターンは，もとの不動文字とマークのどちらと
も異なる形状となるため，従来方式のようにマークの特
徴量と検出されたパターンの特徴量を比較することのみ
では，マークの記入位置を識別するのは困難である。さ
らに，従来方式ではマークの施されたパターンが識別で
きても，そのパターンに印刷されていた不動文字が何で
あったかを識別することが困難である。本発明では上記
の被マーク文字判別手段の作用により，形状自由の重ね
書きマーク識別に対応できる。

【０００８】

【実施例】図１は本発明の一実施例である。マーク認識
部１０１は一例としてＷＳ（ワークステーション）上の
ソフトウエアで実現しても，ハードウエアで実現しても
よい。マーク認識部１０１は入力手段１０２より画像デ
ータを入力し，画像メモリ１０４に格納する。マーク認
識制御部１０６は文字列検出部１０７，パターン切出し
部１０８および被マーク文字判別部１０９を制御する。
文字列検出部１０７は認識対象の文字列の座標を文書画
像中より検出しその結果を文字列バッファ１１０に格納
する。パターン切出し部１０８は文字列バッファ１１０
を参照し，文字列より一文字毎のパターンを切出しパタ
ーンテーブル１１１へ格納する。被マーク文字判別部１
０９はパターンテーブル１１１を参照し，マークの施さ
れた文字を判別する。これらの処理はユーザーインタフ
ェース部１０５により操作する。また処理結果をＣＲＴ
１１２に表示し，キーボード１１３，マウス１１４，ペ
ン１１５等により修正する。

【０００９】図２は従来用いられてきたマーク認識の対
象の例を示す。（Ａ），（Ｂ），（Ｃ），（Ｄ）はマー
ク認識機能つきＯＣＲの認識対象の例である。マークは
記入枠内に手書き又は印刷で記入される。マークは枠内
に入っていなくてはならない。不動文字（男，女などの
文字）は枠の外に予め印刷してある。記入枠の位置は予
め定められている。（Ｅ），（Ｆ）はマークシートの認
識対象の例である。（Ｅ）のような形式では，記入枠は
ドロップアウトカラーで印刷され，不動文字も通常ドロ
ップアウトカラーで印刷される。（Ｆ）の形式では記入
枠，不動文字共にドロップアウトカラーで印刷される。

【００１０】図３は本発明が対象とする認識対象の例で
ある。本発明の場合，（Ａ）の３０１のように記入枠は
なく，マークは不動文字に重ねて記入される。また，不
動文字列に多少の位置ずれがあっても，近辺に黒線枠や
他の文字行がある場合もある。（Ｂ）のようにマークが
手書きである場合もある。また，（Ｃ）のように，指定
する対象以外の不動文字をアスタリスク等の記号で上書
きする記入方式する場合もある。また，括弧の有無，中
点の有無，年号の範囲（「明治，大正，昭和，平成」
「大正，昭和，平成」「昭和，平成」等）等，不動文字
の形式の変動する場合もある。

【００１１】図４は本発明によるマーク認識の処理手順
を示す。まずステップ４０１において文書画像を光電変
換し，画像メモリへ格納する。ステップ４０２において
画像中より文字列を検出する。ステップ４０３において
検出した文字列を逐一マーク認識対象の文字列であるか
どうかを判別し，認識対象の文字列である場合には，ス
テップ４０４におけるパターン切出しを行ないパターン
テーブル１１１へのパターンの格納を行なうとともに，
ステップ４０５における被マーク文字判別を実行する。

【００１２】図５に本発明の文字列検出の原理を示す。
文字列検出は，５０１に示すような画像メモリに格納し
た画像データより，５０２に示すような文字列を検出し
文字列バッファ１１０に格納する処理である。この方式
としては，「Document Analysis System」 IBM J. Res.
Develop, Vol.26, No.6, November 1982」が知られてい
る。また，あらかじめ定められた座標を記憶しておき文
字列の座標としてもよい。また，文字列の座標を検出す
る替わりに，文字列の画像を文字列バッファ１１０に格
納してもよい。

【００１３】図６にパターン切出しの原理を示す。パタ
ーン切出しは，文字列バッファ１１０に格納した６０１
のような文字列より，６０２に示すようなパターンを切
出し，パターンテーブル１１１に格納する処理である。
この方式としては文字認識の際に用いられる文字パター
ン切出しのための手法（「接触した手書き文字の自動分
離を行なう文字切り出し方式」，昭和５９年電子通信学
会総合全国大会１５８８）を用いることができる。ま
た，あらかじめ定められた座標を記憶しておき文字パタ
ーンの座標としてもよい。パターンはビットマップとし
て格納しても，輪郭等の符号化を施して格納してもよ
い。またパターンの外接矩形の座標を格納してもよい。
文字列バッファ１１０に格納した文字列において６０３
に示すようにマークと不動文字が分離している場合には
６０４に示すようにマークと不動文字を異なるパターン
としてパターンテーブル１１１に格納してもよい。文字
列バッファ１１０に格納した文字列において６０５に示
すようにパターンの切出しに複数の可能性が考慮しうる
場合には，６０６に示すように複数のパターン切出し候
補をパターンテーブル１１１に格納してもよい。このよ
うな複数の切出し候補の表現については先に示した「接
触した手書き文字の自動分離を行なう文字切り出し方
式」（昭和５９年電子通信学会総合全国大会１５８８）
などの手法が知られている。

【００１４】図７に被マーク文字判別の出力の例を示
す。被マーク文字判別はパターンテーブル１１１を解析
し，どの不動文字にマークが施されているかを調べ，７
０１に示すように性別，年号などの属性毎にどの項目が
選択されていたかを判別する処理である。

【００１５】図８に被マーク文字判別部の構成の一例を
示す。パターン特徴算出部８０４はパターン距離比較部
８０２より起動され，パターンテーブル１１１中のパタ
ーンのうち起動時にパターン距離比較部８０２より指定
されたものを解析して特徴量を計算し，パターン特徴テ
ーブル８０６へ格納する。この際用いる特徴量として
は，文字認識等に用いられている複雑指数，周辺分布，
ペリフェラル・パターン等（「パターン認識」社団法人
電子情報通信学会編集，ISBN 4-88552-075-4,pp.66）等
を用いる。あるいは，文字認識をした際の一位候補への
距離等を用いてもよい。パターン特徴距離算出部８０５
はパターン距離比較部８０２より起動され，パターン距
離比較部８０２が指定した文字のパターンの特徴量をパ
ターン特徴辞書８０８より呼び出し，これとパターン特
徴テーブル８０６に登録した特徴量との距離をユークリ
ッドの距離等の方式により算出する。パターン距離比較
部８０２は不動文字列辞書８０９を照合してパターンテ
ーブル１１１を解析し，マークが施されている不動文字
（被マーク文字）を求め，被マーク文字のコードを被マ
ーク文字テーブル８０７に格納する。この目的のため，
まず，パターン距離比較部８０２はパターン特徴算出部
８０５を起動してパターンテーブル１１１中の１番目の
パターンの特徴量を求め，パターン特徴量テーブル８０
６へ格納する。次にパターン特徴距離算出部８０５を起
動し不動文字列辞書８０９中の文字列の１番目の文字の
パターンの特徴量とパターン特徴テーブル中の特徴量の
距離を算出する。同様にパターンテーブル１１１中の２
番目以降のパターンの特徴量と不動文字列辞書８０９中
の文字列の２番目以降の文字のパターンの特徴量の距離
を求める。次に求めた特徴量の距離を比較し，マークの
施された不動文字を判別する。一般にマークの施された
文字はもとの文字と異なる形状となり，パターンの特徴
量の距離もマークの施されていないパターンとの距離よ
り大きくなるので，容易に識別できる。この際，特徴量
の距離を相互に比較して距離の大きいものを選択して
も，あるいは一定値以上の距離を選択してもよい。ま
た，パターン切出し誤りに対応するために後述するＤＰ
マッチングの様な手法を用いてもよい。文字属性照合部
８０３は，文字属性辞書８１０を参照し被マーク文字テ
ーブル８０７に格納された文字の属性を調べ，各属性毎
にどの項目が選択されていたかを判別し，その結果を出
力する。被マーク文字判別制御部８０１は，被マーク文
字判別部８００より起動，パラメータの受渡し等の制御
を受け，パターンテーブル１１１中の各パターンを解析
し，各属性毎にどの項目が選択されていたかを判別し，
被マーク文字テーブル８０７にその結果を格納する。こ
の目的のため，被マーク文字判別制御部８０１は，パタ
ーン距離比較部８０２に対し起動，パラメータの受渡し
等の制御を行ない，各属性毎にどの不動文字にマークが
施されていたかを判別し，被マーク文字テーブル８０７
にその結果を格納する。さらに文字判別制御部８０１
は，文字属性照合部８０３に対し起動，パラメータの受
渡し等の制御を行ない，被マーク文字テーブル８０７に
格納された文字の属性を調べ，各属性毎にどの項目が選
択されていたかを判別し，その結果を出力する。

【００１６】図９に図８の構成におけるマーク認識の原
理を示す。パターンテーブル内には９０１に示すような
パターンが格納されており，「男」と「昭」に丸印が記
されているとする。これらのパターンに対し，特徴量
（例えばパターン中の画素数）を算出し９０２に示すよ
うにパターン特徴テーブルに格納する。パターン認識に
おいては周知のように，複雑指数，周辺分布などの特徴
量を複数用いても良い。次に，ただ一つの文字列を記憶
した不動文字列辞書９０４中の文字を一文字ずつ参照
し，９０３に示すような形式であらかじめパターン文字
辞書内に格納してある不動文字の特徴量とパターン特徴
テーブル９０２中の特徴量との距離を算出する。次に，
求めた距離の大きい不動文字とパターンの組を選び出
し，マークの施された文字として当該不動文字を被マー
ク文字テーブル９０５へ格納する。距離の大きいものを
選ぶには，距離があるいき値以上のものを選び出す方
式，あるいは距離が大きい順にソートする方式を用いて
もよい。続いて９０６に示すような文字属性辞書を参照
して，被マーク文字テーブル９０５中の被マーク文字が
どのような属性を有するかを判別する。被マーク文字を
検出する際にいき値を用いた際には，性別，年号などに
適合する文字が被マーク文字テーブル内に格納されない
場合がある。この場合は性別，年号などにリジェクトを
出力する。また，同一属性に対し複数の被マーク文字が
候補として格納されている場合には，距離の値などを用
いて候補に順位付けをし，優先順位の高いものから順に
出力する。

【００１７】図１０は図８の構成におけるマーク認識の
フローを示すものである。図中のＮはパターンテーブル
中のパターン数，Ｐｉはパターンテーブル中のｉ番目の
パターン，Ｃｉは不動文字列辞書中のｉ番目の文字，Ｄ
（Ｐｉ，Ｃｉ）はＰｉの特徴とＣｉの特徴の距離，Ｔｈ
は被マーク文字を判別するためのいき値，Ｔｉは被マー
ク文字テーブル中のｉ番目の文字とする。まずステップ
１００１で変数ｊの値を０とおく。次にステップ１００
２ですべてのパターンテーブル中のパターンと不動文字
列辞書中の文字の距離を求める。この際，パターンテー
ブル中のパターンの特徴はパターン特徴算出部８０４で
算出し，不動文字列中の文字の特徴はパターン特徴辞書
８０８に記憶したものを用い，距離の算出はパターン特
徴距離算出部８０５にて行なう。この距離がＴｈ以上の
ものを被マーク文字テーブルへ格納する。次にステップ
１００３にて被マーク文字テーブルに格納した文字を文
字属性辞書と照合し，当該文字と文字属性とを対にして
出力とする。

【００１８】また図８の構成における別のマーク認識の
方式として，パターン特徴辞書８０８に少なくとも不動
文字列中に出現する不動文字の一部と不動文字にマーク
の施されたパターンの特徴量を格納しておき，パターン
距離比較部８０２はパターンテーブル１１１中のパター
ンの特徴とパターン特徴辞書８０８中の特徴の距離の最
も近いものを求めてもよい。この方式では，マークの施
されたパターンの特徴と距離の近いパターンがマークの
施された文字であるとする。

【００１９】また図８の構成における別のマーク認識の
方式として，マークのパターンの特徴量をあらかじめ記
憶しておき，パターンテーブル１１１中のパターンの特
徴との距離を比較し，距離が小さいものを選択してもよ
い。

【００２０】図１１に被マーク文字判別部の構成の他の
例を示す。被マーク文字判別部１１００はマーク認識制
御部１０６により制御される。被マーク文字判別部１１
００中の被マーク文字判別制御部１１０１は文字列距離
算出部１１０２と被マーク文字照合部１１１２と文字属
性照合部１１０３を制御し，パターンテーブル１１１を
解析し，各属性毎にどの項目が選択されていたかを判別
する。文字列辞書１１０９には被マーク文字判別の対象
となりうる文字列と，（マーク記入位置が異なるものは
異なる文字列とする），各々の文字列においてどの文字
にマークが施されているかを表すの情報をあらかじめ格
納しておく。文字列距離算出部１１０２は，パターン特
徴算出部１１０４およびパターン特徴距離算出部１１０
５を制御し，文字列辞書１１０９の文字列と入力文字列
との距離を算出し，文字列距離テーブル１１１１に格納
する。文字列の距離とは，二つの文字列の似ている度合
いで，値が大きいほど似ていないことを表す。この例で
は，パターンテーブル中の各パターンと文字列辞書１１
０９中の文字列の文字との距離の平均値を文字列の距離
と定義する。被マーク文字判別制御部１０１は文字列辞
書１１０９のいずれの文字列と入力文字列の距離が最も
近いかを判定し，その結果よりマークの施された文字を
判別し被マーク文字テーブル１１０７へ格納する。被マ
ーク文字照合部１１１２は文字列距離テーブル１１１１
中に格納された文字列距離を相互に比較し，最も距離の
小さいものを選び出し，つぎに，最も距離の近い文字列
においてどの文字にマークが施されているかを文字列辞
書１１０９を参照して求め，得られた被マーク文字のコ
ードを被マーク文字テーブル１１０７に格納する。文字
属性照合部１１０３は，被マーク文字テーブル１１０７
に格納された文字の属性を調べ，各属性毎にどの項目が
選択されているかを判別し，その結果を出力する。パタ
ーン特徴算出部１１０４はパターンテーブル１１１を解
析して特徴量を計算し，パターン特徴テーブル１１０６
へ格納する。パターン特徴距離算出部１１０５は文字列
距離比較部１１０２が文字列辞書１１０９を参照して指
定した文字のパターンの特徴量をパターン特徴辞書１１
０８より呼び出し，パターン特徴テーブル１１０６に登
録した特徴量との距離を算出する。

【００２１】図１２に図１１の構成における文字列辞書
１１０９に格納する文字列の集合の例を示す。丸付きの
文字に対して各々固有の文字コードを定義して文字列辞
書に格納する。図８の構成における文字列辞書８０９の
格納内容９０４と異なり，マークの施されている箇所の
変化に応じた種々の文字列１２０１から１２０６を格納
してある。また，括弧の有無等のあらかじめ印刷してあ
る文字列の変化に応じて１２０７から１２１２のような
文字列も格納しておく。

【００２２】図１３に図１１の構成における文字列距離
算出の原理を示す。図中（Ａ）の１３０１は文字列辞書
１１０９に格納した文字列のうちの一つを表す。この文
字列よりパターン特徴辞書１１０８を参照して各文字の
パターンの特徴量を求めることができる。１３０２はパ
ターンテーブル中に格納したパターンを示す。これらの
パターンよりパターン特徴算出部１１０４で特徴量を求
めることができる。ここでは，文字列１３０１のｉ番目
の文字の特徴量とパターンテーブル１３０２中のｉ番目
のパターンの特徴量の距離をｄｉとし，文字列距離をΣ
ｄｉとして算出する。図中（Ｂ）はＤＰマッチングを用
いた文字列距離の定義方法を示したものである（「パタ
ーン情報処理」コロナ社ISBN339-00057-4 C3355,pp. 13
4-135参照)。ここで文字列の長さをｎ，パターンテーブ
ル中のパターン数をｍ，ｄｉｊを文字列１３０１のｉ番
目の文字の特徴量とパターンテーブル１３０２中のｊ番
目のパターンの特徴量の距離（距離の最大値を１とす
る）とし，ずれ量Ｆを下記のように定義する。

【００２３】Ｆ（０，０）＝０ Ｆ（ｉ，ｊ）＝ｍｉｎ｛Ｆ（ｉ−１，ｊ）＋１，Ｆ
（ｉ，ｊ−１），Ｆ（ｉ−１，ｊ−１）＋ｄｉｊ｝ さらに文字列距離をＦ（ｎ，ｍ）と定義する。本方式を
用いれば，１３０５に示すようなノイズがパターン中に
混在していたり，文字の欠落が生じている場合にも誤り
無く文字列を照合できる。また，図６の６０６に示すよ
うに，パターン切出しに複数の可能性がある場合にも，
複数のパターン切出し候補によって得られるパターン列
のすべてと文字列辞書内に格納した文字列のすべての組
み合わせについて距離を算出して比較することにより，
誤り無く被マーク文字を識別することができる。

【００２４】図１４及び図１５は不動文字が多様である
場合に好適な高速に文字列距離を求める方式の原理図で
ある。ここでは文字間の中点の有無，括弧の有無，年号
の範囲などの多様性に応じて図に示すようなオートマト
ンを作成し，「A high speedword matching algorithm
for handwritten chinese character recognition」(Int
ernational Association of Pattern Recognition,Inte
rnatioanal Workshopon Machine Vision Application M
VA '90）」で知られる方式によって，パターンテーブル
の内容と照合し，各文字列との距離を算出することがで
きる。

【００２５】

【発明の効果】従来用いられている帳票等に印刷された
不動文字に重ねたマークを読取り，選択項目をマークの
情報を計算機に自動的に入力することが出来るようにな
る。

【図面の簡単な説明】

【図１】本発明のシステムの構成を示す図である。

【図２】従来用いられていた認識の対象を示す図であ
る。

【図３】本発明の認識の対象を示す図である。

【図４】本発明のマーク認識の処理手順を示す図であ
る。

【図５】本発明における文字列検出の原理を示す図であ
る。

【図６】本発明におけるパターン切出しの原理を示す図
である。

【図７】本発明における被マーク文字判別の原理を示す
図である。

【図８】本発明における被マーク文字判別部の構成の例
を示す図である。

【図９】本発明におけるマーク認識の原理を示す図であ
る。

【図１０】本発明におけるマーク認識のフローを示す図
である。

【図１１】本発明における被マーク文字判別部の構成の
例を示す図である。

【図１２】本発明における文字列辞書の例を示す図であ
る。

【図１３】本発明における文字列距離算出の原理を示す
図である。

【図１４】本発明における多様な不動文字へ対応するた
めのオートマトンを示す図である。

【図１５】本発明における多様な不動文字へ対応するた
めのオートマトンを示す図である。

【符号の説明】

１０４…画像メモリ，１０６…マーク認識制御部，１０
９…被マーク文字制御部，１１１１…パターンテーブ
ル，８０４…パターン特徴算出部，８０９…不動文字列
辞書８１０…文字属性字書。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 嶋 好博 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 栗野 清道 神奈川県小田原市国府津2880番地 株式 会社日立製作所ストレージシステム事業 部内 (72)発明者 杉本 建行 神奈川県小田原市国府津2880番地 株式 会社日立製作所ストレージシステム事業 部内 (56)参考文献 特開 平４−205076（ＪＰ，Ａ) 特開 平６−103397（ＪＰ，Ａ) 特開 昭55−124877（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/62 G06K 7/10 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】文書画像よりマークの施された被マーク文
   字を含むパターン列を検出して切り出す手段と、上記切
   り出したパターン列とあらかじめ記録された上記パター
   ン列についての互いに被マーク文字の組み合わせが異な
   る複数の基準パターンとの特徴量を比較する手段と、上
   記比較結果から上記基準パターンのうち上記切り出した
   パターン列と類似する基準パターンと対応づけられて記
   憶される被マーク文字を認識結果とすることを特徴とす
   るマーク認識方法。
2. 【請求項２】上記特徴量として画素数、複雑指数、周辺
   分布、ペリフェラル・パターンのいずれかを用いること
   を特徴とする請求項１記載のマーク認識方法。