JPS62173578A - 情景画像中の文字認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、光文字認識装置（以下ＯＣ１’Ｌという：
　０ｐＨｃａｌ　　Ｃｈａｒａｃｔｅｒ　　几ｅａｄｅ
ｒ　）　ｉｃ関するもので、現状の紙上の文字だけを読
み取り対象としていたものを、看板等の３次元空間中の
文字で読み増り対象を拡張する情景画像中の文字認識方
式に関するものである。

〔従来の技術〕

この発明以前に存在する最も近い技術としては昭和５８
年度電子通信学会総合全国大会ｐ　５−２３゜１１５２
、　　″′複雑背景からの特定文字領域の抽出法”記載
の技術がある。この従来技術では、まず文字を含む情景
の濃淡画像に対して、二次微分フィルタを作用させ、固
定しきい値で２値化する。

次に、２値化により得られる連続した白画素または黒画
素から領域を形成し、各領域の寸法と面積をチェックし
て特定の文字らしい領域゛を求めた後に、それらの並び
方を調べて特定文字列らしい列を求めるものである。こ
の従来技術では、二次微分フィルタを作用させているた
めｋ、ノイズを強調し易いという欠点があった。また二
次微分フィルタを作用させた後、固定のしきい値で２値
化を行っているために、領域が必要以上に増加したり、
必要な情報の欠落を招くといった不安定性の欠点があっ
た。また領域の寸法や面積で文字らしい領域を選んでい
るため１文字の大きさや出現する文字種類に関する知識
がない場合には適用困難であった。また個別の文字を切
り出て方法に関しての記載がなかった。

一方、個別の文字を切り出す方法に関しては、従来の紙
上の文字を読み取り対象としたＯＣＲへの適用を目指し
て、いくつかの従来技術があるが、（例えば、信学論Ｖ
ｏｌ　　Ｊ　、６８−ＤＡ６１１　、　Ｐ　１８９９−
１９０９（１９８５，１１）の「横書き日本文書におけ
る個別文字の抽出」がある）いずれも新聞や書籍等のよ
うに白地に黒い文字が存在していて、文字は文字列を構
成していることを前提としている。すなわち、黒画素だ
けに注目し文字列をまず検出して文字列間のピッチを求
め、このピッチに基づいて文字サイズを推定して個別に
文字を切り出す、というものであった〇 〔発明が解決しようとする問題点〕 このような従来の技術では、情景中の文字のように、文
字が白地に黒で書かれていなかったり、文字列を構成し
ていなかりたり、文字サイズが不定で変動が大である対
象には対応できないという問題点があった。

この発明の目的は、情景画像中の文字線に対応する箇所
を領域として安定に検出するとともに、文字の濃度２文
字列や文字サイズ等の知識がない場合でも前述の領域に
基づき文字を切り出し、認識を行う方式を提供すること
にある。

〔問題点を解決するための手段〕

この発明にかかる情景画像中の文字認識方式は、対象と
する画像中の文字線に対応する箇所を検出するために、
画像を複数個のブロックに分割し、各グミツク毎釦２値
化のしきい値を決定し、各フロック間でしきい値の補間
を行った後に画素毎のしきい値を求めてから２値化を行
い、連続した白画素または黒画素に識別番号を付与して
識別領域を形成する。さらに各識別領域の包含関係、背
景や穴候補であるか否か等のトポロジカルな特性に基づ
いて、切り出し順序を決め、この順序に従って領域の近
傍を調べ、注目している領域に近い濃度をもつ領域を求
め、得られた領域群の全ての組合せについてそれらの外
接矩形枠形状により文字ら乙さを評価し、文字らしい領
域群をＯＣＲの文字認識アルゴリズムにかげ、正読可能
か否かで、文字か否かの判定を行うとともに１文字認識
結果を得るようにしたものである。

〔作用〕

この発明においては、画像を複数個のブロックに分割し
て画像の局所情報に基づき適応的に２値化を行い、さら
に各領域のトポロジカル的特性に基づいて切り出しの順
序を決定し、近傍に存在する同じような濃度の領域から
外接矩形枠の形状枠情報に基づき文字候補を切り出し、
０ＣＲＫよって最終的判定を行う。

〔実施例〕

第１図はこの発明の一実施例を示す図であり、１はテレ
ビカメラ等の入力部、２は画像格納用メモリ、３は２値
化回路、４はしきい値および２値画偉格納用メモリ、５
はしきい値補開演算回路、６は領域番号決定回路、７は
領域番号格納用メモリ、８はコントラスト評価回路、９
は領域特性計算回路、１０は領域特性格納用メモリ、１
１は文字切出し回路、１２は文字候補用バッファ、１３
は文字認識部（ＯＣＲ）、１４は出力部である。

なお、２，４，７．１０等は単にメモリという。

この動作は、まず入力部１から文字を含む情景を濃淡画
＊（濃度は８　ｂｉｔ　＝２５６レベル程度）として入
力し、メモリ２に格納する。メモリ２はＭＸＮ画素（Ｍ
、Ｎは５１２画素程度）から構成される。次に２値化回
路３およびしきい値補開演算回路５により２値化を行う
。

第２図はこの発明における２値化法を説明する図で、２
１は原画、２２は固定しきい値による２値化結果、２３
はブロック分割、２４はしきい値の補間なしの２値化結
果、２５はしきい値のブロック間補間、２６はこの発明
の２値化結果を示す。

第２図で、原画２１に照明条件の影響等により画像全体
に濃度ムラや勾配があると、固定しきい値で２値化する
と２値化結果２２のように正確に文字線を抽出できない
。そこでフロック分割２３を行い、ｍ　Ｘ　ｎ　（ｍ＜
Ｍ、　　ｎ　＜Ｎ　）画素のプｅ１７りに原画２１を分
割し、各ブロック毎にしきい値を決定する。各しきい値
は白、黒２つのクラスに分離する２クラスの問題として
とらえ最もクラス間分散が大となる濃度をしきい値とす
る判別分析法が良好な結果を与える。各ブロックのしき
い値でそのまま２値化を行うと、２値化結果２４のよう
にブロック境界で不連続がおこるので、しきい値のブロ
ック間補間２５を行い画素毎にしきい値を決定すれば滑
らかな２値化結果２６が得られる。

ブロック間補間２５は線形補間で十分良い結果を与える
。

ブロック分割２３の中心の濃度をθ２８．θ１．・・・
・・・θ１ｆｆ１＋・・・・・・Ｑ＋ｌｌ＋・・・・・
・Ｑｎｍとし、中心間で線形補間を行う。第２図は一番
上の列と、下の列の線形補間の一部を示している。

９２図で説明した２値化のしきい値を求めしきい値をメ
モリ４に格納し、メモリ２の対応する原画２１の画素の
濃度と比較して２値化を行いメモリ４に格納する◎ 次に、領域番号決定回路６により、第３図に示す左側の
画像に連続した白画素または黒画素に画像の左上からラ
スク方式に＃＆別番号を付与していき、結果として右側
に示す画像の領域分割結果つまり、識別番号１〜５のう
ち同じものが付された領域をそれぞれ識別領域としてメ
モ’）ＴＫ格納する。このようにして得られた領域分割
結果には、第２図のブロック分割２３により原１［１ｉ
ｉ２１の濃度が一様の部分も強制的にしきい値を定めて
いるために、ノイズ状の微小領域が一般には多数混在し
ている。

このため、コントラスト評価回路８により、第４図のよ
うにコントラストの評価を行い、ノイズ領域を除去する
。

第４図で、３１は注目領域、３２は前記注目領域３１の
外接矩形枠、３３は前記注目領域３１を囲む領域のうち
外接矩形枠３２に含まれる範囲である。コントラストの
評価は、注目領域３１と範囲３３のそれぞれ平均濃度Ｌ
Ｈ＊　Ｌ２を求め、ΔＬ”ｌＬ＋−Ｌｔｌで定義される
フントラストΔＬがΔしくθＬ（θ、はしきい値）を充
せば、ノイズ領域と判定することＫより行う。θ、は人
間がほとんど識別不能のレベル差に設定する。コントラ
スト評価回路８でノイズと判定された領域は、メモリ４
中の対応する画素の値を反転（白ならば黒、黒ならば白
に対応する値に変換する）する。このようにすれば結果
としてノイズ領域の除去が行える。

画像の縁に接していない全ての領域に対して本評価を行
りた後、領域番号決定回路６で再び領域番号を付与し、
メモ！１７に格納する。次に、領域特性計算回路９で文
字切り出しに必要な情報を求め。

メモリ１０に格納する。

第５図に示すように、メモリ１０の構成は２次元の配列
状になっており、４１は領域番号、４２〜４５は各々領
域の上・下・左・右端の座標、４６は背景か否かの判定
、４１はトポロジカル的特性、４８は深さの格納を行う
それぞれの場所であり、４９はその領域を包含している
領域番号の格納場所である。

まず、第４図に示すように、全領域の外接矩形枠３２の
上・下・左・右端の画像中の座標（上。

下端はＹ、左、右端はＸ座標）を求め、メモリ１０の場
所４２〜４５に格納する。次に、場所４２〜４５１Ｃ格
納された上・下・左・右端のいずれかが画像の縁と一致
している場合には背景と判定しく仮に文字の一部が画像
中に現われていても認識は不可能である）、メモリ１０
の場所４６に背景を示す値（例えば１）を格納し、一致
しない場合は文字候補を示す値（例えばＯ）を格納する
。

文字の切り出しは、文字の濃度情報や文字列情報が使用
できない条件が一般的であるので、各文字候補領域（場
所４６の値がＯの領域）のトポロジカル的特性を用いて
切出しの順序を定め、ＯＣＲにデータとしてわたす。領
域のトポロジカル的特性を考える必要のある例を、第６
図に示す。

第６図（ａ）　、　　（ｂ）で、５１は注目領域、５２
は前記注目領域５１の外接矩形枠、５３は外接範囲（第
４図の３３と同じ定義）、５４は穴、５５は前記注目領
域５１を囲む領域、５６は前記領域５５の外接矩形枠、
５Ｔは前記領域５５の外接範囲である。

第６図＜ａ）で、穴５４は外接範囲５３とほぼ同じ濃度
をもつので、注目領域５１が文字線に対応していると考
えられるが、同じ推論を同図（ｂ）　Ｋ適用すると、注
目領域５１と外接範囲５１が同じ濃度をもつと、本来文
字線に対応している注目領域５１・が穴と判定されてし
まう。そこで領域のトポロジカル関係を考え、それによ
り切り出て順序（プライオリティ）を決定する。すなわ
ち、領域の包含関係および穴候補か否か（第６図で説明
した定義）により、■他の文字候補領域の真部分集合に
なっていない、■真部分集合罠なっているが穴候補でな
い、■真部分集合で穴候補でもある、０３段階を導入し
、■から■の屓で文字を切り出し、ＯＣ几１３にかける
。ところで、■と■に関しては第６図（ｂ）の注目領域
５１と領域５５の関係のように、同じ■でも領域５５の
方が包含されている集合の数（深さ）が１少ない。

このように、■と■でけ、領域が何重に包含されている
かＫより深さを定義し、深さが浅い程、切り出し順序の
プライオリティを高くする。例えば第６図（ｂ）で外接
範囲５７が■とすると、領域５５の深さはｌ、注目領域
５１は２であり、領域５５の方を先に切り出］°。

このようにして、領域の切り出し順序が与えられるが、
文字には単一の領域から構成されるものだけでなく、複
数の領域から構成される。いわゆる分離文字が存在する
。従って、近傍にほぼ同じ濃度をもつ領域の組み合せを
考えなければならない。その例を第７図に示す。

第７図で、６１は文字「い」、６２は文字「；す」、６
３．６４は前記文字６１を構成する領域、６５゜６６は
前記文字６２を構成する領域、６１は前記領域６３の外
接矩形枠、６８は組み合せ領域探索範囲、６９〜１５は
文字候補切り出し結果である。

いま、領域６３に注目しているとすると、外接矩形枠６
７に基づき組み合せ領域探索範囲６８を定める。組み合
せ領域探索範囲６８は外接矩形枠６Ｔの中心（対角線の
交点）を中心とし、外接矩形枠６７の長辺の長さａのＰ
倍のＰａを一辺とする正方形に定めるとよい。Ｐは３〜
１ｏ程度の値を目的や出現字種に応じて選択する。組み
合せ領域探索範囲６８の中について領域６３の平均濃度
Ｌ０忙対し、平均濃度りがＩＬＬＯ＋≦００を充丁領域
を探す。ここで探す領域は、前述の切り出しプライオリ
ティが領域６３のそれ以下のものを対象とする。またθ
０はしきい値である。このようにして第７図のように領
域６４と６６が得られたとする。一般ＩＣＫ個の領域が
抽出されると、ＫＣ１＋よＣ１＋・・・・・・＋ｔＣｔ
通りの組み合せが考えられ、第７図の場合はに＝３なの
でｓＣ，＋３Ｃ，十、Ｃ，＝７通りの組合せがある。

次に１文字であるならば組み合せてできる領域の外接矩
形枠の縦横比ｒはθｔ＜、ｒくθｈの範囲にある。θ１
．θｈは縦横比の下限、上限値であり、字種１字形等に
より定まる値である。この式を満しているか否かを判定
すると、切り出し結果７４とＴ５はかなり横長であり、
文字候補でないと判定される。切り出し結果６９〜７３
をＯＣ几１３にかけると、切り出し結果７３以上は文字
ではないので読むことができず、切り出し結果Ｔ３だけ
が正、読できる。従って、領域６３と６４から文字が構
成されていて、その文字は「い」であることがわかる。

以上のようにして文字を読あるが、いずれも読めないと
きには、プライオリティの低い領域について同様に調べ
る。全てのプライオリティを調べて、いずれも読めない
とぎは、その領域は文字ではなかったとい５判定結果に
なる。

以上のような文字切り出し処理を行うためＫ。

領域特性計算回路９はメモリ１０の場所４６（第５図）
の値が０の領域について、その包含関係を調べ、前述の
■〜■に対応するｌ〜３の値を場所４７に格納し、場所
４７に２か３が格納された領域については、その領域を
包含する領域の場所４７の値を調べてこれが１の領域に
到達するまで繰り返しその回数により深さが求まるので
、格納場所４８に格納するとともＫ、その領域を包含し
ている領域の番号を格納場所４９に格納する。次に文字
切出し回路１１で場所４７の値がＩの領域から順にメモ
リ７上で、前述の探索を行い、文字候補領域の切り出し
を行い、文字候補用バッファ１２に格納する。これをＯ
Ｃ几１３で読み、正読か否かの判定結果を文字切出し回
路１１に返し、正読の場合は認識結果を出力部１４に出
力する。出力部１４はディスプレイ、プリンタ等である
。正読でないときは、文字切出し回路１１は文字候補用
バッファ１２の次の候補をＯＣＩ’Ｌ１３にわたし、全
て候補がな（なればその次の領域は文字でない旨を出力
部１４に出力する。

文字切出し回路１１では場所４７の値が３で、格納場所
４８の値が最大（最下位のプライオリティ）の領域を調
べ終るまで同様の処理を繰り返す。

以上のようにして、文字の濃度が予め与えられておらず
、文字列を構成していない情景画像中の文字を読むこと
ができる。

なお、この発明は３次元空間中に存在する文字の認識の
みならず２次元面の文字のｇＲをも行うことができるの
は云うまでもない。

〔発明の効果〕

以上説明したようにこの発明は、対象とする画像中の文
字線に対応する箇所を検出するためＫ。

画像を複数個のブロックに分割し、各ブロック毎に適応
的に２値化を行うので、文字線のよ５に背景に対してコ
ントラストが高い個所を領域として確実に抽出でき、ま
た領域のトポロジカル的特性から切り出し頭序を決め、
近傍に存在する同じような濃度の領域を組み合わせて外
接矩形枠の形状を評価して文字候補を切り出し、文字認
識アルゴリズムを適用しているので、文字が存在すれば
必ず正読に達し、文字以上のものは正読できないことか
ら、文字以外と判定できるという利点がある。

応用分野としては、車のナンバープレートの文字、数字
の認識、名札などにより個人名を認識するパトロールロ
ボット、従来のＯＣＲでは取り扱えなかったブック形式
等の文書に書かれた文字認識等に、この発明は広く適用
できるものである。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
はこの発明で用いる２値化の原理説明図、第３図はこの
発明で用いる領域分割処理の説明図、第４図は領域のフ
ントラストの評価法の説明図、第５図は領域・特性格納
用メモリの構成例の説明図、第６図（ａ）　、　　（ｂ
）は領域のトポロジカル的関係の説明図、第７図は文字
候補の切り出し法の原理説明図である。 図中、１は入力部、２は画像格納用メモリ、３は２値化
回路、４はしきい値および２値画像格納用メモリ、５は
しきい値補間演算回路、６は領域番号決定回路、７は領
域番号格納用メモリ、８はコントラスト評価回路、９は
領域特性計算回路、１０は領域特性格納用メモリ、１１
は文字切出し回路、１２は文字候補用バッファ、１３は
文字認識部、１４は出力部である。 第１図 第２図 第３図

Claims (1)

【特許請求の範囲】
1. ２次元面または３次元空間中に存在する文字を認識する
   方式において、前記文字を含む情景を濃淡画像として入
   力し対象画像を複数個のブロックに分割して各々のブロ
   ックにおいて２値化のしきい値を決定し、前記各ブロッ
   ク間でしきい値の補間を行い画素毎のしきい値を計算し
   た後２値化を行い連続した白画素または黒画素に識別番
   号を付与していき結果として識別領域を得、これら各識
   別領域の平均濃度と、前記領域を囲む領域で前記識別領
   域の外接矩形枠に含まれる外接範囲の平均濃度との差の
   絶対値が設定しきい値より小であれば前記外接範囲にそ
   の識別領域を統合し、全領域の外接矩形枠の上・下・左
   ・右端の座標を求め、いずれかが画像の縁と一致すれば
   背景、一致しなければ文字候補領域と判定し、前記文字
   候補領域について、他の文字候補領域に包含されている
   か否かおよび前記文字候補領域を包含している領域の外
   接範囲の平均濃度との差が小さい穴候補であるか否かで
   包含されていない、包含されているが穴でない、包含さ
   れていて穴であるという順に切り出し、プライオリティ
   を前記文字候補領域に与え、他の文字候補領域に包含さ
   れているかでさらに切り出しプライオリティを与え、こ
   の切り出しプライオリティに従いプライオリティの高い
   ものから前記文字候補領域の近傍の探索を行い、前記文
   字候補領域の切り出しプライオリティ以下の領域でその
   領域とほぼ等しい濃度をもつ領域を抽出し、全ての組み
   合せについて外接矩形枠の形状により文字候補を選択し
   、文字認識アルコリズムにより正読できればその結果を
   出力し、正読できなければ他の文字候補領域を読み、文
   字候補領域の全てを正読できない場合は、文字以外のも
   のに対応していると判定することを特徴とする情景画像
   中の文字認識方式。