JP2647911B2 - 文字・図形領域抽出方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、テレビカメラ等の撮像装置から入力された
景観画像中の文字・図形領域を抽出する方法に係り、と
くに自動車のナンバープレート、交通標識、屋内の案内
標識など文字や図形を含む景観画像から文字・図形領域
を自動的に抽出する方法に関する。

〔従来の技術〕

従来、テレビカメラ等から自動車のナンバープレー
ト、交通標識、屋内の案内標識など文字や図形を含む景
観画像を入力し、該景観画像から例えば文字を抽出する
方法としては、文字の書かれたプレートの大きさ、形、
色、プレート内の書式（文字の並び）などを足掛りに文
字を抽出していた。

第２図は従来の景観中から文字を抽出する場合の処理
ブロック図の一例である。まず、前処理部21は、TVカメ
ラ等から入力された画像を微分した後、２値化して縦方
向および横方向の直線を検出する。プレート検出部22
は、検出された縦・横の直線のうち予め判っているプレ
ートの大きさ、縦横比に合致するものを選択し、プレー
ト位置を決定する。２値化処理部23は、検出されたプレ
ート領域内部を２値化して２値パターンを得る。文字列
検出部24は、２値化されたプレート領域内部について黒
画素に関する縦・横の周辺分布を求め文字列位置を決定
し、文字列を検出する。

第３図は周辺分布による文字列位値決定の概念図で、
プレート31内の黒画素（文字）に関し、横方向の周辺分
布32及び縦方向の周辺分布33を求めることにより、文字
領域34を検出し、該文字領域内の各文字35を抽出するこ
とを示している。

〔発明が解決しようとする課題〕

以上述べた従来の方法では、景観画像中の文字・図形
等を抽出するのに、文字プレートの大きさ、形状（例え
ば長方形）、色などに基づいて処理するため、抽出でき
るのは自動車のナンバープレートなど特定の対象に限ら
れ、形の定まらないプレート等の文字・図形の検出は困
難であった。

本発明の目的は、対象の大きさ、形、色、書式などが
判らなくても安定に景観画像から文字・図形を抽出する
方法を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本願発明の文字・図形領域
抽出方法においては、テレビカメラ等の撮像装置から入
力される文字・図形を含む景観画像について、該景観画
像を２値化して白・黒の２値パターンを得、該２値パタ
ーンの白部分および黒部分のそれぞれの領域についてラ
ベル付けを行い（以下、同一ラベルの付された各領域を
ラベル領域という）、各ラベル領域ごとに複雑度を算出
し、穫複雑度に基づいて有効とすべきラベル領域を限定
すると共に、該有効とした各ラベル領域間の位置関係を
求め、該位置関係から文字・図形列のラベル領域である
かどうかを判定し、該判定結果に基づいて文字・図形列
のラベル領域に限定して文字・図形を抽出するものであ
る。

〔作 用〕

複雑度は、例えばラベル領域の外接矩形内の白黒境界
長の最大値で割つた値で定義する。各ラベル領域の位置
関係は、任意の２つのラベル領域の組合せに対して求め
る。文字・図形列であるかどうかの判定は、ラベル領域
が縦方向にｎ個以上または横方向にｍ個以上連続して存
在することによって行う。

本発明では、対象の大きさ、形、色、書式などが判ら
なくても、景観画像中からの任意の文字・図形の抽出が
可能である。

〔実施例〕

以下、本発明の一実施例について図面により説明す
る。

第１図は本発明の一実施例のブロック図であって、10
0は制御部、101はTVカメラ、102はA/Dコンバータ、103
は多値フレームメモリ、104は２値化処理部、105は２値
パターンメモリ、106はラベリング処理部、107はラベル
パターンメモリ、108はラベルテーブル、109は複雑度算
出処理部、110は複雑度によるラベル限定処理部、111は
ラベル領域間の位置関係抽出処理部、112はラベルマト
リックス、113は位置関係によるラベル限定処理部、120
〜125は制御部100から各部に送られるタイミング信号、
130はビデオ信号である。

制御部100は、タイミング信号120〜125を発生して各
部に与え、各部はこれらのタイミング信号120〜125に基
づいて動作する。

ビデオ信号130はTVカメラ101により入力され、A/Dコ
ンバータ102を介してディジタル化（例えば８ビット／
画素）された後、多値フレームメモリ103に入力され
る。

多値フレームメモリ103は、Ｍ×Ｎ画素（例えば、Ｍ
＝Ｎ＝512:8ビット／画素）の画像信号を格納する多値
のフレームメモリであって、制御部100から与えられる
タイミング信号120により、格納している多値ディジタ
ル信号の濃淡画像をフリーズする。

２値化処理部104は、ラベリング処理部106の前処理と
して入力濃淡画像の多値ディジタル信号を２値化して２
値パターンを求め、２値パターンメモリ105に出力する
処理であり、制御部100からのタイミング信号121により
その動作を開始する。２値化の方法は、文字情報を損な
わなければ特に問わないが、景観画像を対象とする場合
には画像内の位置によって閾値が変わる動的２値化法
（例えば、特願昭60−34595号など）が適当である。

２値パターンメモリ105は、Ｍ×Ｎ画素（１ビット／
画素）のメモリであって、例えば黒画素に対して０、白
画素に対しては１の値を保持する。

ラベリング処理部106は、タイミング信号122により動
作を開始し、２値パターンメモリ105上で白点・黒点の
それぞれに関し、つながりを持った点の集合をひとまと
めにして番号付けしたラベルパターンを作成する処理で
あり、作成されたラベルパターンはラベルパターンメモ
リ107に格納される。

ラベルパターンメモリ107は、Ｍ×Ｎ画素（16ビット
／画素）のメモリであり、各画素に対応するアドレスに
はそのラベル番号が格納される。

第４図は、ラベリング処理部106の処理の説明図であ
って、41は２値パターンメモリ105の一例、42はその黒
点（黒画素）に関し、ラベル処理して得られるラベルパ
ターンメモリ107の一例である。なお、第４図には示し
ていないが、白点（白画素）に関しても同様のラベル番
号が付与される。

ラベリング処理部106は、更に、各ラベル番号の領域
（以降、ラベル領域または単にラベルと呼ぶ）の外接矩
形の左上および右下の頂点の座標（x1,x2），（x2,y2）
を求め、これをラベルテーブル108に格納する。

第５図はラベルテーブル108の一例であり、51はラベ
ル番号、52は黒白フラグ、53は外接矩形の左上頂点のｘ
座標、54は同ｙ座標、55は外接矩形の右下頂点のｘ座
標、56は同ｙ座標、57は除去フラグである。ラベル番号
51は１から始まるラベル領域の番号であり、黒白フラグ
52はその領域が黒点（Fbw＝０）であるか白点（Fbw＝
１）であるかの別を示し、外接矩形の頂点の座標53〜56
は正の整数値をとる。また、除去フラグ57は、初期値０
をとり、複雑度によるラベル限定処理部110または位置
関係によるラベル限定処理部113により除去されると値
が１に変更される。なお、本発明では、ラベルリング処
理部106の実現方法は特に限定しないが、例えば特開昭6
1−214082号等に開示されている方法が利用できる。

複雑度算出処理部109は、タイミング信号123により動
作を開始し、ラベルパターンメモリ107およびラベルテ
ーブル108を参照して、各ラベル領域ごとに以下の式で
定義される複雑度Ｃ′Ｌを計算する処理である。

［複雑度］:C′Ｌ Ｃ′Ｌ＝ＣL/CLmax （１式） （０≦ＣL≦１） たゞし、ＣLはラベル番号Ｌの領域の外接矩形内の白
・黒境界の全長すなわち複数指数であり、ＣLmaxは外接
矩形の幅Ｗと高さＨで決定される最大の白黒境界長（Ｃ
Lの最大値）であり、 ＣLmax＝Ｗ（Ｈ−１）＋Ｈ（Ｗ−１） （２式） で表され、図形的には第６図に示す様な最も細かな市松
模様に対応する。

第７図は、複雑度算出処理部109の説明図であって、7
1はラベル領域の外接矩形、72は白画素、73は黒画素、7
4はＸ方向の走査線、75はＹ方向の走査線である。複雑
指数ＣLは、横方向の複雑指数ＣLxと縦方向の複雑指数
ＣLyの和、すなわち、 ＣL＝ＣLx＋ＣLy （３式） で定義する。

第７図を用いて複雑度指数ＣL及び複雑度Ｃ′Lの算出
処理を説明する。まず、ラベル番号Ｌのラベル領域の外
接矩形71の内部に関して、例えば左上角の点から右に水
平走査しながら以下の処理を行う。Ｘ方向の走査線74上
の２値パターンの値が黒画素73から白画素72、または白
画素72から黒画素73に変化したとき、ＣLxの値に１を加
える操作を行い、これを全てのＸ方向の走査が終了する
まで繰返す。同様に、Ｙ方向に関しても走査線75上で２
値パターンの値が黒画素73から白画素72、または白画素
72から黒画素73に変化したとき、ＣLyの値に１を加える
操作を行い、これを全てのＹ方向の走査が終了するまで
繰返す。この様にして得られたＣLxとＣLyを基に第３式
から複雑指数ＣL、更に第１式から複雑度Ｃ′Lが求ま
る。

複雑度によるラベル限定処理部110は、各ラベル領域
に対する複雑度Ｃ′Lが、 Ｃ′L＞C th（実験的に決定される閾値） となるラベル領域に対応するラベルテーブル108上の除
去フラグを０から１に変更することによってそのラベル
領域を除去する処理である。

ラベル領域間の位置関係抽出処理部111は、タイミン
グ信号124により動作を開始し、ラベルテーブル108を参
照して任意の２つの白または黒のラベル領域間の上下左
右の位置関係を求め、結果をラベルマトリッス112に書
込む。

ラベルマトリックス112は、２つのＩ×Ｉの正方マト
リッスからなり、一方は左右マトリック［h ij］、他方
は上下マトリックス［v ij］である。第８図は、ラベル
マトリックス112の構成例であって、81は左右マトリッ
クス、82は上下マトリックス、83〜86はアドレスであ
る。左右マトリックス81のアドレス（i,j）の内容h ij
は、ラベル番号ｉおよびｊの領域間の左右関係の有無を
示し、値が１ならば左右関係にあること、値が０ならば
左右関係にないことを示す。同様に、上下マトリックス
82のアドレス（i,j）の内容v ijは、ラベル番号ｉおよ
びｊの領域間の上下関係の有無を示し、値が１ならば上
下関係にあること、値が０ならば上下関係にないことを
示す。

次に、左右マトリックス［h ij］および上下マトリッ
クス［v ij］の求め方を説明する。第９図は、位置関係
決定の説明図であって、91はラベル番号ｉの領域の外接
矩形、92はラベル番号ｉの領域の外接矩形である。い
ま、第９図に示す様に任意の２つの領域のラベル番号を
i,j、その外接矩形の左上および右下の頂点の座標を（X
i1,Yi1），（Xi2,Yi2），（Xj1,Yj1），（Xj2,Yj2）と
するとき、領域i,jの左右関係は、 ［領域ｉが領域ｊの左側にある時］ Xi1＜Xj1かつ Xj1−Xi2＜H th＊min（Xi2−Xi1,Xj2−Xj1） かつ、 max（Yj2−Yi1,Yi2−Yj1）／ min（Yi2−Yil,Yj2−Yj1）＞V th ［領域ｊが領域ｉの左側にある時］ Xj1＜Xi1かつ Xi1−Xj2＜H th＊min（Xi2−Xi1,Xj2−Xj1） かつ、 max（Yj2−Yi1,Yi2−Yj1）／ min（Yi2−Yi1,Yj2−Yj1）＞V th なる条件により決定され、これらの条件を満たすときラ
ベル領域i,jは左右の位置関係にあるとして、 h ij＝1,h ji＝１ が与えられる。たゞし、H thは文字列方向の領域間の距
離に関する閾値、V thは文字列方向と直角な方向の領域
間の重なりに関する閾値であり、その値は実験的に求め
られる。

また同様に、領域i,jの上下関係は、 ［領域ｉが領域ｊの上側にある時］ Yi1＜Yj1かつ Yj1−Yi2＜H th＊min（Yi2−Yi1,Yj2−Yj1） かつ、 max（Xj2−Xi1,Xi2−Xj1）／ min（Xi2−Xi1,Xj2−Xj1）＞V th ［領域ｊが領域ｉの上側にある時］ Yj1＜Yi1かつ Yi1−Yj2＜H th＊min（Yi2−Yi1,Yj2−Yj1） かつ、 max（Xj2−Xi1,Xi2−Xj1）／ min（Xi2−Xi1,Xj2−Xj1）＞V th なる条件により決定され、これらの条件を満たすときラ
ベル領域i,jは上下の位置関係にあるとして、 v ij＝1,v ji＝１ が与えられる。以上説明した条件は、位置関係を決定す
る方法の一例である。

なお、ｉ＝ｊの場合には、後の処理の関係上、v ij＝
1,h ji＝１ としておく。

位置関係によるラベル限定処理部113は、タイミング
信号125により動作を開始し、ラベルマトリックス112を
参照して以下の処理を行う。第10図は、位置関係による
ラベル限定処理部113の処理内容に関する説明図であっ
て、1001は左右マトリックス、1002,1003は縦方向およ
び横方向のアドレスを示す。まず、例えば第10図に示し
た左右マトリックス1001の行ベクトルｈ（ｉ）： ｈ（１）＝（1,0,1,1,0,0,0,0…） ｈ（２）＝（0,1,0,0,1,0,0,0…） ｈ（３）＝（1,0,1,0,0,1,1,0…） …… を考える。第11図は、位置関係によるラベル限定処理部
113の処理フローであって、1101〜1109は処理番号、ｉ
は第１の行ベクトル番号、ｉ′は第２の行ベクトル番
号、Lmaxは領域数の上限値を示す。

まず、処理1101〜1104により第１および第２の行ベク
トル番号i,j′が設定される。処理1105では、行番号i,
i′の行ベクトルの各要素間のAND論理を求め、処理1106
でその結果が０ベクトル（要素が全て０）であるかどう
かをチェックする。こゝでもし結果が０でない場合に
は、処理1107で行番号i,i′の行ベクトルの各要素間のO
R論理を求め、結果を行番号ｉの行ベクトルに書込むと
ゝもに、行番号ｉ′の行ベクトルを０クリアする。処理
1108および1109はループ１および２の終了条件である。

第12図は、位置関係によるラベル限定処理の結果の一
例であって、1201は左右マトリックス、1202,1203は縦
方向および横方向のアドレスを示す。第12図に於ける左
右マトリックス1201は、ラベル番号（1,3,4,6,7）、
（2,5）はそれぞれ同一文字列（横書き）上にあり、ラ
ベル番号８は文字列に関係しないことを示している。

以上の説明では、左右テーブルに関するものであった
が、上下テーブルに関しても全く同様である。

こゝで、文字列であることの条件を縦書き横書きとも 「同一行の文字数」≧C th （C thは、閾値） とし、仮にC th＝３とすると、第12図の結果のうち、ラ
ベル番号（1,3,4,6,7）の領域が同一文字列を構成する
ラベル領域として抽出される。

以上の処理により、ラベルマトリックスから文字列ご
とにそれを構成するラベル番号、ラベルテーブルから各
ラベル番号の領域の外接矩形の座標が得られるから、こ
れを基にラベル領域の外接矩形で２値パターンを切出す
ことができる。

〔発明の効果〕

以上説明したように、本発明では、文字・図形の書か
れたプレートの大きさ、形、色などに関する知識を用い
ずに景観中の文字・図形を抽出する為、任意のプレート
上の文字・図形の切出しが可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は従来
の文字領域抽出法を説明するための処理ブロック図、第
３図は周辺分布による文字列位置決定の概念図、第４図
はラベリング処理部の処理の説明図、第５図はラベルテ
ーブルの一例を示す図、第６図は市松模様の説明図、第
７図は複雑度算出処理の説明図、第８図はラベルマトリ
ックスの構成例を示す図、第９図は位置関係決定の説明
図、第10図は位置関係によるラベル限定処理部の処理内
容に関する説明図、第11図は位置関係によるラベル限定
処理部の処理フロー図、第12図は位置関係によるラベル
限定処理の結果の一例を示す図である。 100……制御部、101……TVカメラ、 102……A/Dコンバータ、 103……多値フレームメモリ、 104……２値化処理部、 105……２値パターンメモリ、 106……ラベリング処理部、 107……ラベルパターンメモリ、 108……ラベルテーブル、 109……複雑度算出処理部、 110……複雑度によるラベル限定処理部、 111……ラベル領域間の位置関係抽出処理部、 112……ラベルマトリックス、 113……位置関係によるラベル限定処理部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】撮像装置から文字・図形を含む景観画像を
   入力し、該景観画像中から文字・図形を抽出する方法に
   おいて、前記景観画像を２値化して白・黒の２値パター
   ンを得、該２値パターンの白部分および黒部分のそれぞ
   れの領域についてラベル付けを行い（以下、同一ラベル
   の付された各領域をラベル領域という）、各ラベル領域
   ごとに複雑度を算出し、該複雑度に基づいて有効とすべ
   きラベル領域を限定し、該有効とした各ラベル領域間の
   位置関係を求め、該位置関係から文字・図形列のラベル
   領域であるかどうかを判定し、該判定結果に基づいて文
   字・図形列のラベル領域に限定して文字・図形を抽出す
   ることを特徴とする文字・図形領域抽出方法。