JP2775807B2 - 文字認識方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は文字認識方法に関し、より詳細には情景画
像、特に自動車のナンバープレート，交通標識，屋内の
案内標識など文字や図形を含む景観画像から文字領域を
自動的に抽出して認識する方法に関する。

〔従来の技術〕

従来、景観中の文字を抽出して認識する方法として
は、文字の書かれたプレートの大きさ，形（矩形な
ど），色などを足掛りに文字を抽出していた。

第12図は、従来の景観中文字の認識法の処理を実現す
るブロック図の一例である。まず、前処理部121は、図
示しないTVカメラ等から入力された画像信号を微分した
後、２値化して縦方向および横方向の直線を検出する。
プレート検出部122は、検出された縦・横の直線のうち
予め判っているプレートの大きさ、縦横比に合致するも
のを選択し、プレート位置を決定する。

２値化処理部123は、検出されたプレート領域内部を
２値化して２値パターンを得る。文字列抽出部124は、
２値化されたプレート領域内部について黒画素に関する
縦・横周辺分布を求め文字列位置を決定する。文字認識
部125は、文字列に含まれる文字を認識辞書との照合に
より認識する。

第13図は、文字列抽出部124における周辺分布による
文字列位置決定の概念図である。図中131はプレート、1
32は横方向の周辺分布、133は縦方向の周辺分布、134は
検出された文字例、135は文字である。このように、横
方向の周辺分布132および縦方向の周辺分布133を知るこ
とで、文字列位置が特定できる。

〔発明が解決しようとする課題〕

しかしながら従来の方法では、文字プレートの大き
さ，形状（例えば長方形），色（または濃度）などの不
安定要素に基づいて処理するため、精度良く文字列を抽
出できない。特に、プレートの形が不定の場合や、プレ
ートとその背景が同一の色の場合には抽出が困難であっ
た。

本発明の目的は、プレートの形が不定であり、かつプ
レートとその背景との分離が困難な場合にも安定に景観
画像中から文字を検出して精度良く認識する方法を提供
することにある。

〔課題を解決するための手段〕

第１図は、本発明の手順を示すフローチャートであ
る。

まず、２値化された文字列パターンの白部分および黒
部分のそれぞれについてラベル付け処理を行う（ステッ
プS1）。

次に、同一のラベルの付された領域として定義される
ラベル領域間の相対的位置関係を求める（ステップS
2）。

次に、該相対的位置関係から複数のラベル領域からな
る文字列候補を求める（ステップS3）。

次に、該文字列候補に含まれる各ラベル領域間のピッ
チを求める（ステップS4）。

次に、該ピッチと認識対象に固有な書式情報とを照合
してピッチ整合度を求める（ステップS5）。

最後に、該ピッチ整合度から文字列を決定して認識す
る（ステップS6）。

〔作用〕

本発明では、もともと背景と明確なコントラストをも
つ文字の並びの情報をステップS1〜S4で求め、これを認
識対象に固有な書式情報と照合して文字を抽出し認識し
ている（ステップS5,S6）。

従って、プレートの形が不定であり、かつプレートの
色（または濃度）がその背景と同じであっても文字の抽
出・認識が可能となる。

〔実施例〕 以下、本発明の一実施例を図面を参照して詳細に説明
する。

第２図は、本発明の一実施例のブロック図である。同
図において10は制御部、11はTVカメラ、12はA/Dコンバ
ータ、13は多値フレームメモリ、14は２値化処理部、15
は２値パターンメモリ、16はラベル付け処理部、17はラ
ベルパターンメモリ、18はラベルテーブル、19はラベル
領域間の位置関係抽出処理部、20はラベルマトリック
ス、21は位置関係による文字列抽出部、22は文字列テー
ブル、23はピッチ整合度算出部、および24は文字認識部
である。100〜105は制御10が各部に送るタイミング信
号、106はTVカメラ11から出力されるビデオ信号であ
る。

以下、各部を詳細に説明する。

制御部10は、タイミング信号100〜105を生成してれぞ
れ多値フレームメモリ13、２値化処理部14、ラベル付け
処理部16、文字列抽出部21、および文字認識部24に与え
る。これらの各部は対応するタイミング信号100〜105に
基づいて動作する。

ビデオ信号106はTVカメラ11から出力され、A/Dコンバ
ータ12を介してディジタル化された後、多値フレームメ
モリ13に格納される。

多値フレームメモリ13は、Ｍ×Ｎ画素（例えば、Ｍ＝
Ｎ＝512:8ビット／画素）の画像信号を格納する多値の
フレームメモリであって、制御部10から与えられるタイ
ミング信号100により格納している濃淡画像をフリーズ
する。

２値化処理部14は、ラベル付け処理部16の前処理とし
て、多値フレームメモリ13から供給される入力濃淡画像
を２値化して２値パターンを求め、２値パターンメモリ
15に出力する。この前処理を行う２値化処理部14は、制
御部10からのタイミング信号101によりその動作を開始
する。２値化の方法は、文字情報を損なわなければ特に
問わないが、景観画像を対象とする場合には画像内の位
置によって閾値が変わる動的２値化法（例えば、特開昭
59−114687号公報、特開昭61−194580号公報など）が適
当である。

２値パターンメモリ15は、Ｍ×Ｎ画素（１ビット／画
素）のメモリであって、例えば黒画素に対して０、白画
素に対しては１の値を保持する。

ラベル付け処理部16は、制御部10からのタイミング信
号102により動作を開始し、２値パターンメモリ15上で
白点・黒点のそれぞれに関し、つながりを持った点の集
合をひとまとめにして番号付けしたラベルパターンを作
成する処理を行う。作成されたラベルパターンは、ラベ
ルパターンメモリ17に格納される。

ラベルパターンメモリ17は、Ｍ×Ｎ画素（16ビット／
画素）のメモリであり、各画素に対応するアドレスには
そのラベル番号が格納される。

第３図は、ラベル付け処理部16の処理の説明図であっ
て、同図（Ａ）は２値化パターンメモリ15の記憶内容の
一例を示し、同図（Ｂ）はその黒点に関するラベルパタ
ーンメモリ17の記憶内容の一例を示す。第３図中（Ｂ）
中、“1",“2",“3"などは第３図（Ａ）の２値パターン
に対して付与されたラベル番号を示している。なお、第
３図（Ｂ）には示していないが、白点に関しても２値パ
ターンの白黒を反転させて同様の処理を行うことにより
実現できる。更に、各ラベル番号の領域（以降、ラベル
領域または単にラベルと呼ぶ）の外接矩形の左上および
右上の頂点の座標（x1,y1），（x2,y2）を求め、これを
ラベルテーブル18に格納する。

第４図は、ラベルテーブル18の内容の一例を示す図で
ある。同図において、41はラベル番号、42は黒白フラ
グ、43は外接矩形の左上頂点のｘ座標、44は同ｙ座標、
45は外接矩形の右下頂点のｘ座標、46は同ｙ座標、およ
び47は除去フラグである。ラベル番号41は１から始まる
領域の番号であり、黒白フラグ42はその領域が黒点（Fb
w＝０）であるか白点（（Fbw＝１）であるかの別を示
し、外接矩形の頂点の座標43〜46は正の整数値をとる。
また、除去フラグ47は、初期値０をとり、後述する位置
関係による文字列抽出部21の処理により除去されると値
が１に変更される。なお、本発明では、ラベル付け処理
部16の実現方法は特に限定しないが、例えば特開昭61−
214082号公報に開示の方法が利用できる。

ラベル領域間の位置関係を抽出する位置関係抽出処理
部19は、制御部10からのタイミング信号103により動作
を開始し、ラベルテーブル18を参照して任意の２つの白
または黒のラベル領域間の上下左右の位置関係（後で定
義する）を求め、結果をラベルマトリックス20に書き込
む。

ラベルマトリックス20は、２つのＩ×Ｉの正方マトリ
ックスからなり、一方は左右マトリックス［h_ij］、他
方は上下マトリックス［V_ij］である。第５図は、ラベ
ルマトリックス20の構成例を示す図であって、20−１は
左右マトリックス、20−２は上下マトリックス、51〜54
はアドレスである。左右マトリックス20−１のアドレス
（i,j）の内容h_ijは、ラベル番号ｉおよびｊの領域間の
左右関係の有無を示し、値が１ならば左右関係にあるこ
と、値が０ならば左右関係にないことを示す。同様に、
上下マトリックス20−２のアドレス（i,j）の内容V
_ijは、ラベル番号ｉおよびｊの領域間の上下関係の有無
を示し、値が１ならば上下関係にあることを示し、値が
０ならば上下関係にないことを示す。

次に、左右マトリックス［h_ij］および上下マトリッ
クス［V_ij］の求め方を説明する。第６図は、位置関係
抽出処理部19で行う相対的位置関係決定の説明図であっ
て、61はラベル番号ｉの領域の外接矩形、62はラベル番
号ｊの領域の外接矩形である。いま、第６図に示す様に
任意の２つの異なる領域のラベル番号をi,j（ｉ≠
ｊ）、その外接矩形の左上および右下の頂点の座標を
（X_i1,Y_i1），（X_i2,Y_i2），（X_j1,Y_j1），（X_j2,Y_j2）
とするとき、領域i,jの左右関係は、 ［領域ｉが領域ｊの左側にある時］ X_i1＜X_j1かつ、 X_j1−X_i2＜H_th ^＊Min（X_i2−X_i1,X_j2−X_j1） かつ、 Max（Y_j2−Y_i1,Y_i2−Y_j1）/Min（Y_i2−Y_i1,Y_j2−Y_j1）
＞V_th ［領域ｊが領域ｉの左側にある時］ X_j1＜X_i1かつ、 X_i1−X_j2＜H_th ^＊Min（X_i2−X_i1,X_j2−X_j1） かつ、 Max（Y_j2−Y_i1,Y_i2−Y_j1）/Min（Y_i2−Y_i1,Y_j2−Y_j1）
＞V_th なる条件により決定され、これらの条件を満たすときラ
ベル領域i,jは左右の位置関係にあるとして、 h_ij＝1,h_ji＝１ が与えられる。ただし、H_thは文字列方向の領域間の距
離に関する閾値、V_thは文字列方向と直角な方向の領域
間の重なりに関する閾値であり、その値は実験的に求め
られる。

又同様に、領域i,jの上下関係は、 ［領域ｉが領域ｊの上側にある時］ Y_i1＜Y_j1かつ、 Y_j1−y_i2＜H_th ^＊Min（Y_i2−Y_i1,Y_j2−Y_j1） かつ、 Max（X_j2−X_i1,X_i2−X_j1）/Min（X_i2−X_i1,X_j2−X_j1）
＞V_th ［領域ｊが領域ｉの上側にある時］ Y_j1＜Y_i1かつ、 Y_i1−y_j2＜H_th ^＊Min（Y_i2−Y_i1,Y_j2−Y_j1） かつ、 Max（X_j2−X_i1,X_i2−X_j1）/Min（X_i2−X_i1,X_j2−X_j1）
＞V_th なる条件により決定され、これらの条件を満たすときラ
ベル領域i,jは上下の位置関係にあるとして、 V_ij＝1,V_j1＝１ が与えられる。以上説明した条件は、位置関係を決定す
る方法の一例である。

なお、ｉ＝ｊの場合には、後の処理の関係上、 V_ij＝1,h_ij＝１ としておく。

位置関係により文字列を抽出する文字列抽出部21は、
制御部10からのタイミング信号104により動作を開始
し、ラベルマトリックス20を参照して以下の処理を行
う。第７図は、位置関係により文字列を抽出する文字列
抽出部21の処理内容に関する説明図であって、左右マト
リックス20−１の内容の一例を示す。第７図に示した左
右マトリックス20−１の行ベクトルｈ（ｉ）： を考える。上記行ベクトルｈ（ｉ）は隣り合うラベル番
号i,jの左右関係のみを表わしたものなので、以下に説
明する文字列抽出処理によりすべてのラベル番号間の左
右関係を調べて、文字列を抽出する。

この処理は、第８図に示す位置関係による文字列抽出
処理のフローに従って、文字列抽出部21で行われる。は
じめに、図中の記号の一部を説明するとｉは第１の行ベ
クトル番号、ｉ′は第２の行ベクトル番号、Lmaxは領域
数の上限値を示す。

まず、ｉに０を入れ（ステップ1101）、次にｉ＋１を
ｉとする（ステップ1102）。このとき、ｉ＝１である。
次にｉ→ｉ′とし（ステップ1103）,i′＋１→ｉ′とす
る（ステップ1104）。ステップ1102でｉ＝１のとき、ス
テップ1104のｉ′はｉ′＝２となる。次に、ステップ11
05で、行ベクトルｉとｉ′の各要素間の論理積を求め
る。次に、この演算の結果ｋが０ベクトル（要素がすべ
て０）かどうかをチェックする（ステップ1106）。ここ
で、ステップ1105の演算結果ｋが０ベクトルでない場合
にはステップ1107に進み、行ベクトル番号ｉとｉ′の行
ベクトルの各要素間の論理和を求め、その結果を行ベク
トル番号ｉの行ベクトルに書き込むとともに、行ベクト
ルｉ′の行ベクトルを０クリアする。そして、ステップ
1108で行ベクトル番号ｉ′が領域数の上限値Lmaxより大
きいかどうかをチェックする。もし、上限値Lmaxが行ベ
クトル番号ｉ′よりも大きいときはステップ1104に戻り
（ループ１）、ｉ′を１インクリメントして同様の処理
を行う。他方ステップ1108で行ベクトル番号ｉが上限値
以下の場合はステップ1109に進み、行ベクトル番号ｉが
領域数の上限値Lmaxより大きいかどうかをチェックす
る。大きい場合には処理は終了する。一方、行ベクトル
番号ｉが上限値Lmax以下のときはステップ1102に戻り
（ループ２）、ｉを１インクリメントして同様の処理を
行う。

以上のようにして、第７図の左右マトリックス20−１
に対し位置関係抽出処理を行うと、第９図のようにな
る。第９図において、位置関係による文字列抽出後の左
右マトリックス20−１において、ラベル番号（1,3,4,6,
7）、（2,5）はそれぞれ同一文字列（横書き）上にあ
り、ラベル番号８は文字列に関係しないことを示してい
る。以上の説明では、左右テーブルに関するものであっ
たが、上下テーブルに関しても全く同様である。

ここで、文字列であることの条件を縦書き横書きとも 「同一行の文字数」≧C_th（C_thは、閾値）とし、仮に
C_th＝４とすると、第９図の結果のうち、ラベル番号
（1,3,4,6,7）の領域が同一文字列を構成するラベル領
域として抽出され、文字列テーブルに格納される。

第10図は、横書きの文字列に関する文字列テーブル22
の内容の一例を示す図であって、81は文字列番号、82は
ラベル領域数、83はラベル番号列、84はピッチ整合度で
ある。ここでピッチ整合度は、ピッチ整合度算出部23で
一定の条件を満足した場合にのみ求められるため、ここ
で初期値０を予め格納しておく。例えば第10図に示す場
合においては、文字列番号81が１の文字列中のラベル領
域数82は５であり、ラベル番号列83は1,3,4,6,7のとお
りである。

ピッチ整合度算出部23は、文字列テーブル22に格納さ
れた各文字列について、予め判っている認識対象の書式
情報（文字ピッチに関する）と合致する度合（ピッチ整
合度）を求め文字列テーブル22のピッチ整合度格納領域
84に与える。

文字列番号ｃを構成するｎ個のラベル番号を L₁,L₂,L₃…,L_n とする時、各ラベル領域ｋの外接矩形のＸ座標X_ks,X_ke
をラベルテーブル18から求め、これから各ラベル領域の
中心のＸ座標X_kを X_k＝（X_ks＋X_ke）/2 により求める（ここでは、横書きの場合について述べる
が、縦書きでも同様である）。次に、異なるラベル領域
k,k′間のＸ座標X_k,X_k′（X_k′≧X_kなるものを選ぶ）の
差 D_kk′＝X_k′−X_k をX_k′≧X_kなる全ての（k,k′）の組合せについて求め
る。

いま、認識対象の書式情報に関して、以下のことが判
っているとする。

［書式情報］：文字列はｎ′文字からなり、第１文字目
（横書きの場合は文字中心が最も左にある文字、縦書き
では文字中心が最も上にある文字）から見た他の中心ま
での距離の比、 a₁:a₂:a₃:…:a_n′_-1 が判っているとする。説明の都合上、 ｎ′＝４ の場合を考えると、書式情報から４つの文字ピッチ情報
は、 a₁:a₂:a₃ または、a₁で正規化して 1:b₁:b₂ （１） （但し、b₁＝a₂/a₁,b₂＝a₃/a₁） となる。

第11図は、ピッチ情報の説明図であって、91〜94は第
１〜第４の文字の外接矩形を示す。以下に、先に述べた
領域間距離D_kk′（ｋ≠ｋ′,k,k′＝1,…ｎ）と上のピ
ッチ情報との整合方法およびピッチ整合度の算出法の一
例について述べる。

まず、２つのラベル領域k,k′（X_k≦X_k′）を選び、
ラベル領域ｋの中心から各ラベル領域中心までの距離の
比 D_kk′:D_kk1:D_kk2:… をD_kk′で正規化すると、 1:d_k1:d_k2:… が得られる（ただし、d_k1:d_k2…は、１≦d_k1≦d_k2≦…
となる様に選ばれる）。

この様に、同一行に属するｎ個の領域（文字候補）の
うち、ｎ′個が書式情報に合致する文字に対応するとす
れば、ｎ個からｎ′個を選び出す組み合わせ（Φ）の数
は、 nCn′ となる。そこで、これらの組み合わせΦの中から、例え
ば次式で表すピッチ整合度（厳密にはピッチ不整合度）
m₀が最小になるｎ′個の領域を見つければ、それが書式
情報に最も合致する文字列と見なすことができる。

［ピッチ整合度の定義］ ピッチ整合度によって、同一行で最も書式情報に整合
する文字列が決定されるため、文字列テーブル22上の対
応する文字列番号のラベル番号列、およびピッチ整合度
を書きかえる。ラベル番号列には、ｎ′個の領域に対応
する番号を、ピッチ整合度には最小となった値を、それ
ぞれ書き込む。

文字認識部24は、文字列テーブル22に格納された文字
列に含まれる各ラベル領域をその外接矩形で切り出し、
予め用意する文字テンプレートとの整合により文字認識
結果を求める。文字テンプレートとの整合は、例えば文
字テンプレートと切り出された外接矩形の大きさが等し
くなる様に正規化して重ね合わせ、両パターンが一致し
ない画素数が最小になった文字カテゴリ名を認識結果と
する。ただし、不一致画素数が何れのテンプレートに対
しても一定値を越える場合には認識結果を棄却する。

この様にして、文字列ｃ毎に認識された文字の数R₀を
求め、これと文字列テーブル22に格納されているピッチ
整合度m₀とにより例えば R₀−αm₀（ただし、αは実験的に定める正の定数）の
値を求め、この値を最大とする文字列ｃを決定し、その
認識結果を出力する。

〔発明の効果〕

以上説明したように、本発明では、文字の書かれたプ
レートの大きさ，形，色などを利用せずに景観中の文字
を抽出するため、安定な文字の抽出および認識を精度良
く行うことができる。

【図面の簡単な説明】

第１図は本発明の文字認識方法の手順を示す図、 第２図は本発明の一実施例のブロック図、 第３図はラベル付け処理部の処理の説明図、 第４図はラベルテーブルの記憶内容の一例を示す図、 第５図はラベルマトリックスの構成例を示す図、 第６図は位置関係決定の説明図、 第７図は位置関係による文字列抽出部の処理内容に関す
る説明図、 第８図は位置関係による文字列抽出処理部の処理フロー
チャート、 第９図は位置関係による文字列抽出結果の一例を示す
図、 第10図は横書きの文字列に関する文字列テーブルの内容
の一例を示す図、 第11図はピッチ情報の説明図、 第12図は従来の文字認識方法を実現するブロック図、お
よび 第13図は周辺分布による文字列位置決定の概念図であ
る。 10……制御部、11……TVカメラ、12……A/Dコンバー
タ、13……多値フレームメモリ、14……２値化処理部、
15……２値パターンメモリ、16……ラベル付け処理部、
17……ラベルパターンメモリ、18……ラベルテーブル、
19……ラベル領域間の位置関係抽出処理部、20……ラベ
ルマトリックス、20−１……左右マトリックス、20−２
……上下マトリックス、21……位置関係による文字列抽
出部、22……文字列テーブル、23……ピッチ整合度算出
部、24……文字認識部、41……ラベル番号、42……黒白
フラグ、43……外接矩形の左上頂点のｘ座標、44……外
接矩形の左上頂点のｙ座標、45……外接矩形の右下頂点
のｘ座標、46……外接矩形の右下頂点のｙ座標、47……
除去フラグ、61……ラベル番号ｉの領域の外接矩形、62
……ラベル番号ｊの領域の外接矩形、81……文字列番
号、82……ラベル領域数、83……ラベル番号列、84……
ピッチ整合度、91〜94……第１〜第４の文字の外接矩
形、100〜105……タイミング信号、106……ビデオ信
号。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】２値化された文字列パターンの白部分およ
   び黒部分のそれぞれについてラベル付け処理を行う工程
   と、 同一のラベルの付された領域として定義されるラベル領
   域間の相対的位置関係を求める工程と、 該相対的位置関係から複数のラベル領域からなる文字列
   候補を求める工程と、 該文字列候補に含まれる各ラベル領域間のピッチを求め
   る工程と、 該ピッチと認識対象に固有な書式情報とを照合してピッ
   チ整合度を求める工程と、 該ピッチ整合度から文字列を決定して認識する工程とを
   有することを特徴とする文字認識方法。