JP3349243B2 - 文字列読み取り装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、定型定数文字列等の文
字パターンを含む画像データから文字位置、文字種類の
推定と文字列認識を行なう文字列読み取り装置に関す
る。

【０００２】

【従来の技術】従来、例えば文字列の文字パターンを含
む画像データから文字列を読み取る場合には、まず文字
列の文字パターンを１文字毎の文字パターンに分解する
文字切り出し処理を行ない、次に切り出された１文字１
文字の文字パターンについて文字認識する手順が一般的
である。

【０００３】文字切り出し処理は、一般的には、画像デ
ータの輝度情報に基づいて、文字部分と背景部分を分離
する輝度しきい値を求め、このしきい値により画像デー
タの二値化を行なう。そして、図１４に示すように二値
化により連結する１かたまり（以下、連結成分とする）
を１文字とみなして分解する第１の手法か、あるいは図
１５に示すように文字列が横書きの場合には縦方向に射
影をとり横方向の輝度分布を求め（文字列が縦書きの場
合には横方向に射影をとり縦方向の輝度分布を求め）、
これに対し輝度分布を表わす射影ヒストグラムの凸凹か
ら文字の切れ目を推定して分解するという第２の手法を
用いている。

【０００４】

【発明が解決しようとする課題】このように従来では、
文字列の画像データから文字を読み取るためには文字切
り出しを行なわねばならず、文字切り出し処理では１文
字が１つの連結成分になるように輝度のしきい値を求め
るか、あるいは射影により文字の切れ目を推定する必要
があった。

【０００５】ところが、従来の第１及び第２の手法によ
る文字切り出し処理には、それぞれ次のような問題があ
った。まず、第１の手法では、次のような問題があっ
た。

【０００６】一般には、画像データ中の１つの文字の中
でも輝度の分布があるため、１文字が１つの連結成分と
なるようにしきい値をとることが困難または画像データ
によっては不可能となる場合があった。

【０００７】具体的には、１文字を１つの連結成分にす
るためにしきい値を求めると、隣接する他の文字と１つ
の連結成分となったり、逆に隣接する他の文字と完全に
分離させるためにしきい値を求めると、１つの文字が２
つ以上の連結成分に分離する場合があるという問題が生
じてしまう。

【０００８】また、金属等に刻印された文字を１方向か
ら光を照射して得られる刻印文字の画像の場合では、元
々影により文字を浮き上がらせているため、１つの文字
の影が連結していない場合が多い。従って、従来の方式
では、刻印文字の画像データには対処出来ないという問
題点があった。

【０００９】図１６には連結成分を１文字として文字の
切り出しを行なう状況を示している。図１６（ａ）に示
す画像データには、本来、２文字からなる文字列「Ａ
Ｂ」の文字パターンが含まれているが、所定のしきい値
によって二値化した結果、４つの連結成分ができてい
る。従って、図１６（ｂ）に示すように、（１）〜
（４）のパターンがそれぞれ１文字として切り出され
る。このため、切り出された各文字毎について文字認識
しても、当然ながら本来の文字「ＡＢ」の認識結果を得
ることができない。

【００１０】次に、第２の手法では、次のような問題が
あった。射影ヒストグラムをとった場合、異なる文字の
間に必ず射影値０の部分ができ、１文字の全範囲内で射
影値０より大であれば問題がないが、背景部分のノイズ
や一部の欠落により、こうした条件が満たされない場合
がしばしば起こる。

【００１１】射影値が０か否かによって文字の切れ目を
判別するのではなく、射影分布の凸凹の形状から文字の
切れ目を推定するには、文字の幅（縦書きの場合には高
さ）がわかっている必要もある。例えば、文字種類によ
って文字幅が異なる場合には、文字数と文字の隙間がわ
かっても、文字の切り出しが正確には行なえないという
問題点があった。

【００１２】具体的には、「Ｗ」のように横に広い文字
と「Ｉ」のように細い文字とが存在する文字列では、背
景部分の輝度ムラも考慮に入れると、射影輝度の形状だ
けから信頼性の高い文字切り出しを行なうことはできな
かった。

【００１３】また、第１の手法と同様に、刻印文字の画
像などの場合には、１つの文字が連結しないので射影成
分に偽の文字切れ目が多く発生し正確な文字切り出しが
できなかった。

【００１４】図１７には射影成分の分布により１文字切
り出しを行なう状況を示している。図１７（ａ）に示す
画像データには、本来、３文字からなる文字列「ＨＢ
Ｆ」の文字パターンが含まれているが、図１７（ｂ）の
射影ヒストグラムの凸凹から推定すると１〜５の文字切
れ目候補が得られる。すなわち、真の切れ目が２つ（文
字切れ目候補２，４）であるにもかかわらず、この切れ
目のみを正確に求めることができない。従って、文字切
れ目候補で切り出された各文字毎について文字認識して
も、当然ながら本来の文字「ＨＢＦ」の認識結果を得る
ことができない。

【００１５】本発明は前記のような事情を考慮してなさ
れたもので、文字列の文字パターンを含む画像データか
ら正確に文字位置を推定し、正しい認識結果の取得が可
能な文字列読み取り装置を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明は、文字列の文字
パターンを含む画像データから各文字についての文字認
識結果を求める文字列読み取り装置において、前記文字
列を含む画像データから前記文字パターンを含む文字列
領域を求める文字列領域計算装置と、読み取りの対象と
する全文字種類についてのサンプル画像であるテンプレ
ートを記憶するためのテンプレート記憶装置と、前記テ
ンプレート記憶装置に記憶されたテンプレートを読みだ
すテンプレート読みだし装置と、前記テンプレート読み
だし装置によって読みだされたテンプレートの位置を、
前記文字列領域計算装置によって得られた文字列領域内
で変更しながら、各位置での文字領域内の画像データと
前記テンプレートとの相互相関値を求める相互相関計算
装置と、前記相互相関計算装置によって各位置で求めた
前記相互相関値のうち、相関度の高い所定数個分の位置
を求める高相関位置検出装置と、処理対象とする文字列
の文字数を示す情報を含む、文字列に関する情報を記憶
するための文字列情報記憶装置と、前記文字列情報記憶
装置に記憶された文字列に関する情報に基づいて、処理
対象とする文字列に関する規則基準値を設定する規則基
準値設定装置と、前記相互相関計算装置によって求めら
れた相互相関値と、前記高相関位置検出装置によって求
められた高相関位置と、前記規則基準値設定装置によっ
て設定された規則基準値を用いてＤＰマッチング（動的
計画法）を行なうための設定を行なうＤＰ定式化装置
と、前記ＤＰ定式化装置によって設定された内容に応じ
て、ＤＰマッチング（動的計画法）の手法を用いて、各
テンプレート毎に求められた、前記相互相関値と前記高
相関位置と同相互相関値及び同高相関位置を求める際に
用いたテンプレートを示すテンプレート名を含むテンプ
レート相関結果を、文字列の文字順に対応づけするＤＰ
マッチング装置と、前記ＤＰマッチング装置による対応
づけの結果に基づいて、最終的な文字列に対する読み取
り結果を決定する文字列認識装置とを具備したことを特
徴とする。

【００１７】

【作用】このような構成によれば、文字位置の推定と文
字の認識において、各文字のテンプレートを用いた正規
化相互相関による高相関位置の検出と相関度の計算を行
ない、文字列の長さ、文字隙間の知識等の規則基準値、
相関値および高相関位置検出結果を使ったＤＰマッチン
グにより各文字位置の推定と文字種類の認識を同時に行
なわれる。

【００１８】文字の見本としてテンプレートを持つこと
により、文字部が非連結になりやすい刻印文字等であっ
ても１つの文字として扱うことができ、正規化相互相関
により、背景の輝度ムラやノイズ、文字部の切れや結合
にあまり影響を受けない文字の認識を行なえる。

【００１９】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本発明の一実施例に係わる定型定数文字
列読み取り装置の構成を示すブロック図である。本実施
例における定型定数文字列読み取り装置は、定型（各文
字毎に大きさは異なり得る）文字列を含む画像データ、
文字列の文字数情報、及び処理対象とする全文字種類に
ついてのサンプル画像（テンプレート）が与えられた場
合に、文字列内に例えば文字間の隙間が一定という規則
で配列された文字列を読み取るものである。

【００２０】図１に示すように、定型定数文字列読み取
り装置は、処理対象画像データ抽出手段１０、テンプレ
ート設定手段１２、テンプレート相関結果検出手段１
４、文字列規則設定手段１６、ＤＰマッチング処理手段
１８、及び読取り結果出力制御手段２０を有している。

【００２１】処理対象画像データ抽出手段１０は、文字
列領域計算装置３０を有し、文字列読み取りの処理対象
となる定型文字列を含む画像データ（文字列領域）を抽
出するものである。

【００２２】テンプレート設定手段１２は、テンプレー
ト読み出し装置３２及びテンプレート記憶装置３４を有
し、文字列領域に対する処理に際し、文字列領域中の各
文字位置の推定と各文字種類の認識の基準となるテンプ
レートを設定するものである。

【００２３】テンプレート相関結果検出手段１４は、相
互相関計算装置３６及び高相関位置検出装置３８を有
し、テンプレート設定手段１２によって設定されたテン
プレートに基づいて、文字列領域の画像データに対する
テンプレート相関結果（相互相関値、高相関位置、テン
プレート名）を求めるものである。

【００２４】文字列規則設定手段１６は、規則基準値設
定装置４０及び文字列情報記憶装置４４を有し、テンプ
レート相関結果検出手段１４によって検出されたテンプ
レート毎のテンプレート相関結果に対するＤＰマッチン
グ処理に際し、同処理で用いられる処理対象とする文字
列に関する規則を設定するものである。

【００２５】ＤＰマッチング処理手段１８は、ＤＰ定式
化装置４６及びＤＰマッチング装置４８を有し、テンプ
レート相関結果検出手段１４によって検出されたテンプ
レート毎のテンプレート相関結果を、ＤＰマッチング
（動的計画法）の手法を用いて文字列中の各文字に対応
づけを行なうものである。

【００２６】読取り結果出力制御手段２０は、文字認識
装置５０を有し、ＤＰマッチング処理手段１８による処
理結果を、最終的に出力すべきかを制御するものであ
る。文字列領域計算装置３０は、定型文字列の文字パタ
ーンを含む画像データを入力して記憶装置、例えばＲＡ
Ｍ等のメモリ装置に格納し、文字パターンを含む文字列
領域を求めるものである。

【００２７】テンプレート読み出し装置３２は、テンプ
レート記憶装置３４に記憶された複数のテンプレート
（詳細について後述する）を、１つずつ読みだして相互
相関計算装置３６に供給するものである。

【００２８】テンプレート記憶装置３４は、例えばテン
プレート用のデータベースとして構成され、ハードディ
スク装置等の外部記憶装置によって実現される。テンプ
レート記憶装置３４に記憶されるテンプレートは、画像
データ中の文字パターンに対して文字位置推定と文字認
識を行なうための基になる文字パターン情報であって、
本実施例では各画素の輝度値を成分とする二次元の画像
データである。テンプレート記憶装置３４には、読み取
りの対象とする全ての文字種類についてのテンプレート
が記憶されている。また、テンプレートの大きさは、全
ての文字について同じではなく、文字種類によって異な
り得るものである。また、同じ文字について異なる形
状、大きさのテンプレートを用意しておくことも当然可
能である。さらに、図２に示すように、刻印文字のよう
に照明により文字部の一部が光り、他が影になるように
見える状態そのままをテンプレートとして登録しておく
こともできる。従って、処理対象とする文字パイプライ
ンの文字部が非連結となる場合であっても１つの文字と
して扱うことができ、背景の輝度ムラやノイズ、文字部
の切れや結合に影響されにくい文字の認識が可能とな
る。

【００２９】相互相関計算装置３６は、文字列領域計算
装置３０によって求められた文字列領域内の画像につい
て、テンプレート読みだし装置３２によってテンプレー
ト記憶装置３４から読み出された各テンプレートを、文
字列領域内で移動させながら各位置で相関度を求めるも
のである。

【００３０】高相関位置検出装置３８は、相互相関計算
装置３６によって各テンプレート毎に求められた各位置
での相関度のうち、相関度の高かった位置（高相関位
置）を上位から所定個（最大ｎ個）求めるものである。
ｎは、各テンプレートに対応する文字が、現在処理対象
としている文字列の中に出現し得る回数分とする。ただ
し、高相関位置検出装置３８は、文字認識の結果に何等
影響しない無意味な処理を省いて全体の処理を高速化す
るために、相関度が予め設定されたしきい値以下であれ
ばｎ個分求めず、しきい値を越えた個数分だけ求めてお
くようにしても良い。

【００３１】規則基準値設定装置４０は、文字列情報記
憶装置４４に記憶された文字列情報（詳細については後
述する）を読みだし、文字列情報に基づいて処理対象と
する文字列に関する規則基準値（詳細については後述す
る）を設定するものである。

【００３２】文字列情報記憶装置４４は、メモリ装置や
ハードディスク装置等の外部記憶装置によって実現さ
れ、規則基準値設定装置４０において設定される文字列
に関する規則基準値のもとになる文字列情報を記憶する
ためのものである。文字列情報には、処理対象とする文
字列の文字数、テンプレートの総数、各テンプレートの
幅を少なくとも１つを含む文字数情報や、既知となって
いる処理対象とする文字列の文字間の隙間を示す情報を
含む規則情報等が記憶される。

【００３３】ＤＰ定式化装置４６は、相互相関計算装置
３６によって求められた相互相関値と、高相関位置検出
装置３８によって求められた高相関位置と、規則基準値
設定装置４０によって設定された規則基準値に基づい
て、テンプレート相関結果と規則基準値をＤＰマッチン
グ（動的計画法）にかけるための定式化、すなわち各テ
ンプレートに対応するテンプレート相関結果の順序関係
を定義する。なお、テンプレート相関結果とは、相互相
関値、高相関位置、テンプレート名の各情報が含まれて
いるものとする。

【００３４】ＤＰマッチング装置４８は、ＤＰマッチン
グ（動的計画法）の手法を用いて、ＤＰ定式化装置４６
によって定義されたテンプレート相関結果の順序関係に
応じて、テンプレート相関結果と処理対象とする文字列
中の各文字との対応づけを行なうものである。

【００３５】文字認識装置５０は、ＤＰマッチング装置
４８によるテンプレート相関結果と処理対象とする文字
列中の各文字との対応づけを用いて、文字列中の各文字
を認識して、最終的な文字列を決定、もしくは認識不能
を判断するものである。

【００３６】次に、本実施例の動作について説明する。
本実施例では、図３に示すような、横書きの英文字の刻
印文字を読み取る場合を例にして説明する。本実施例で
は、英文字を対象としているので、少なくともテンプレ
ート記憶装置３４には、予め英文字の全ての文字種類に
ついて、テンプレートがデータベースとして用意されて
いるものとする。

【００３７】また、刻印文字は、文字の線に所定の幅が
あり、かつ一方向からの照明により文字の証明側の線に
沿って発生する影によって表されるので、全ての文字種
類について刻印文字として見える状態そのままがテンプ
レートとして登録されているものとする（図２に１つの
刻印文字「Ｍ」に対応するテンプレートを示す）。

【００３８】文字列領域計算装置３０は、定型文字列の
文字パターンを含む画像データを入力し、画像データか
ら認識すべき文字列の文字パターンを含む文字列領域を
次のようにして求める。

【００３９】まず、文字列領域計算装置３０は、図３に
示すような画像データを入力すると、所定の手法によっ
て、文字列とその背景部分だけからなる領域を切り出
す。例えば、図３に示す画像データに対する手法とし
て、まず図４に示すような特定のパターンを検出する。
そして、検出したパターンから、上方向の所定の幅を文
字列領域を含む領域として求める。

【００４０】次に、場合によっては、所定の手法により
文字列が水平方向に並ぶように画像に回転をかける（横
書きの場合これにより文字は直立する）。例えば、図５
（ａ）に示すような文字領域を含む領域に対して、図５
（ｂ）に示すように慣性主軸を求め、この主軸が水平と
なるように回転をかける。

【００４１】なお、以上の手法は一例であって他の手法
を用いることも可能である。また、対象とする画像デー
タの内容によっても手法、手順を決定しても良い。次
に、文字列領域計算装置３０は、文字列とその背景部分
だけからなる領域から図６に示すように文字領域を求め
る。まず、図６（ａ）に示す背景部分を含む領域の画像
データについて、図６（ｂ）に示すように、輝度値を横
方向に射影し、縦方向に関する輝度射影分布を求める。
また、図６（ｃ）に示すように、輝度値を縦方向に射影
し、横方向に関する輝度射影分布を求める。

【００４２】この分布は背景の輝度ムラやノイズ、文字
部の切れや結合等で各文字毎に切り出しを行なうには不
完全に情報の危険性がある。しかし、大局的にみた場
合、文字列の領域なのかそれ以外の領域であるかは、背
景部と文字部の平均輝度が異なる場合には輝度射影分布
をしきい値処理し、しきい値を越える最右点と最左点を
求めることにより判断可能である。

【００４３】この場合、上から下、あるいは左から右に
射影分布を調べ、初めてしきい値を越えたところから最
後にしきい値を越えたところまでの領域を文字列領域と
する。この結果、図６（ｄ）に示すように、破線で囲ん
だ部分が文字列領域として求められる。

【００４４】文字列領域計算装置３０は、規則基準値設
定装置４０において読取り対象とする文字列に関して文
字間の隙間の推定が必要な場合には、文字列領域から求
められる文字列の幅を示すＷstringを規則基準値設定装
置４０に出力する。

【００４５】一方、テンプレート読みだし装置３２は、
テンプレート記憶装置３４からまずテンプレートを一つ
読み出す。テンプレートは、輝度値を成分とする二次元
の画像データであり、ここではベクトルｔi と表される
ものとする。ただし、ｉは、テンプレート記憶装置３４
から読み出されたｉ番目（すなわち文字種類ｉ）のテン
プレートを表わす添字である。ベクトルｔi の要素は各
画素の輝度値であり、二値画像の場合は０か１、多値画
像の場合はその輝度範囲に応じた数値をとる。

【００４６】図７に二値画像のテンプレート（文字
「Ｗ」に関する）を概略的に示している。この場合、ベ
クトルｔi は、ベクトルｔi ＝（１０００１ １０１０
１ １０１０１ ０１０１０ ０１０１０）となる。す
なわち、各画素の輝度値を左上隅から横方向に順次並べ
たものである。

【００４７】なお、注意すべきことは、テンプレート記
憶装置３４に記憶されたテンプレートの大きさは文字種
類ｉによって異なりうるもので、ベクトルｔi の次元数
と、他のベクトルｔj の次元数は同じとは限らないとい
うことである。例えば文字「Ｗ」のテンプレートは、文
字「Ｉ」のテンプレートと高さは同じものの幅が異なる
ため、次元（＝幅×高さ）は異なる。

【００４８】次に、相互相関計算装置３６は、テンプレ
ート読みだし装置３２によってテンプレート記憶装置３
４から読み出されたテンプレートを、図８（ａ）に示す
ように、文字列領域計算装置３０によって求められた入
力画像の文字列領域内で移動させながら、対象とするテ
ンプレートに関する文字列領域の画像データとの相関値
を求める。

【００４９】テンプレートと重なっている部分の入力画
像はテンプレートと同じ次元のベクトルであり、ベクト
ルｒ(x,y) と表わす。ここで(x,y) は、テンプレートの
基準点（ここでは画像の左上の点）が入力画像の(x,y)
の位置にあるときにテンプレートと重なる部分を表わ
す。

【００５０】図９にはテンプレートと入力画像（文字列
領域）が重なった状態の一例を示している。図９に示す
入力画像で、テンプレートが太線で示す位置となった場
合、ベクトルｒ(4,2) は、ベクトルｒ(4,2) ＝（０１０
１０１０１０）となる。（テンプレートの基準点（左上
の点）が入力画像の（４，２）の位置にある）。このと
き相関値ｓ(i,x,y) は、以下に示す式（１）で求められ
る。

【００５１】

【数１】

【００５２】ここで「・」はベクトルの内積を、「‖
‖」はベクトルの大きさを表わす。相互相関計算装置３
６は、全てのテンプレートｉについて、入力画像全体の
各位置（ｘ，ｙ）に移動させながら、各位置でのテンプ
レートｉについての相関値ｓ(i,x,y) を求める。

【００５３】図８（ｂ）には文字列領域内のある位置か
ら横方向にテンプレートｉを移動させた各位置での、各
テンプレート（英文字「Ａ」〜「Ｚ」）によって求ま
る、それぞれの相関値ｓ(i,x,y) の変化を示している。

【００５４】次に、高相関位置検出装置３８は、相互相
関計算装置３６によって各テンプレートｉについて得ら
れた相関値ｓ(i,x,y) が大きかった位置（ｘ，ｙ）を、
高相関位置として、予め設定された最大ｎ個分求める。
なお、ｎは各テンプレートの表わす文字が、現在対象と
している文字列領域の中に出現しうる回数分とする。ま
た、所定のしきい値を設定しておき、しきい値を越える
相関値のみを対象とする場合であれば、必ずしもｎ個分
求めず、しきい値を越えた個数分の相関値ｓ(i,x,y) だ
け求めておくようにしても良い。

【００５５】なお、相関値ｓ(i,x,y) は、ベクトルｔi
とベクトルｒi の向きが近い程大きな値となり、すなわ
ち図９に示す状態でテンプレートと入力画像とが類似し
ている程、相関度が高くなる。

【００５６】図１０には、相互相関計算装置３６によっ
て求まった図８（ｂ）で示す各位置での相関値ｓ(i,x,
y) から、各テンプレート毎に求まった高相関位置を示
している。図１０はテンプレート「Ａ」「Ｗ」「Ｘ」
「Ｙ」についてはそれぞれ１つの高相関位置を示し、テ
ンプレート「Ｖ」については２つの高相関位置を示し、
テンプレート「Ｂ」「Ｚ」については高相関位置が求め
られなかった例を示している。

【００５７】一方、規則基準値設定装置４０は、読取り
の対象とする文字列に関する規則基準値を設定する。例
えば規則基準値設定装置４０は、文字の隙間が一定であ
り、その値が既知である場合には、文字隙間の規則基準
値を１文字目と２文字目、２文字目と３文字目等々、全
てについてその既知の値を、文字列情報記憶装置４４の
規則情報から読みだして設定する。

【００５８】また、図１１（ａ）に示すように、文字列
の隙間が一定だが値は未知である場合には、規則基準値
設定装置４０は、文字列情報記憶装置４４の文字数情報
から必要な情報を読みだして、これらの情報を用いて文
字間の隙間を推定して求め、規則基準値として設定す
る。具体的には、各テンプレートの文字幅の平均値Ｗch
arを以下の式（２）によって求める。

【００５９】

【数２】

【００６０】従って、規則基準値設定装置４０は、文字
列領域計算装置３０で求めた文字列の幅をＷstringと
し、文字数をｌとすると、文字隙間の規則基準値Ｗgap
を以下の式（３）によって求める。

【００６１】

【数３】

【００６２】その他文字の隙間も一定ではない場合、規
則基準値設定装置４０は、図１１（ａ）に示すように、
文字列情報記憶装置４４の規則情報から読みだして１文
字目と２文字目の隙間がいくら、というように直接値を
設定する。

【００６３】次に、ＤＰ定式化装置４６は、相互相関計
算装置３６及び高相関位置検出装置３８によって求めら
れたテンプレート相関結果と、規則基準値設定装置４０
によって設定された文字列の規則基準値をＤＰマッチン
グにかけるための定式化を行なう。なお、テンプレート
相関結果は、テンプレートｉと画像データとの相互相関
値を示す相関値ｓ(i,x,y) 、相関度が高かった高相関位
置を示す相関位置（ｘ，ｙ）、及び相互相関を求める際
に用いたテンプレートを示すテンプレート名ｉを含んで
いる。

【００６４】まず、ＤＰ定式化装置４６は、高相関位置
検出装置３８で求めた高相関位置（ｘ，ｙ）をｘ座標が
小さい順にソートする。高相関位置（ｘ，ｙ）のｘ座標
が同じ場合には、ｙ座標が小さい順にソートする。こう
して、ＤＰ定式化装置４６は、高相関位置検出装置３８
で求めた全ての高相関位置（ｘ，ｙ）を１次元に並べる
ことにより、テンプレート相関結果に順序関係を定義す
る。

【００６５】例えば、図１０に示すように、高相関位置
が求められている場合には、図１２に示すように、文字
種類が「Ａ」「Ｙ」「Ｖ」「Ｗ」「Ｘ」のように、テン
プレート相関結果に順序関係が定義される。

【００６６】次に、ＤＰマッチング装置４８は、ＤＰ定
式化装置４６によって定義されたテンプレート相関結果
の高相関位置（ｘ，ｙ）の列と、文字列の何文字目かを
最適に対応付けする。

【００６７】一般に、ＤＰマッチングに関する説明を行
なう場合、対応付けられる対象を横軸、対応付けの基準
となるものを縦軸にとり、対応グラフを発見する問題と
して表現することが多いため、ここでもその方式を用い
て説明する。

【００６８】例えば横軸をＡ軸、縦軸をＢ軸と表わす。
Ａ軸上には、１次元にソートされたテンプレート相関結
果を配置し、Ｂ軸上には、１文字目、２文字目・・・の
文字順を配置する。ＤＰマッチングそのものは公知の技
術であるので内容は説明しないが、ＤＰマッチングに用
いる評価関数は本発明において独自の点であるので以下
に説明する。

【００６９】ＤＰマッチングはＡ軸上に配置された要素
（ａ1 ，ａ2 ，・・・，ａN ）とＢ軸上に配置された要
素（ｂ1 ，ｂ2 ，・・・，ｂM ）との対応付けを（本実
施例におけるテンプレート相関結果と文字順との対応づ
け）、ある評価関数を最大にするように求める手法であ
る。

【００７０】ここで、ＤＰマッチング装置４８によるＤ
Ｐマッチングにより次のような対応が求まったとする。 （ａ1,ｂ1 ）−（ａ2,ｂ2 ）−・・・−（ａn,ｂm ） これはｂ1 文字目はａ1 で表されるテンプレート相関結
果である、という判断を表わす。具体例を図１３に示し
ている。テンプレート相関結果には文字種類ｉ、及び文
字位置（ｘ，ｙ）が含まれているので、これにより文字
列のｂ1 文字目の文字種類と文字位置とが認識されたこ
とになる。（ａi ，ｂj ）を対応付けする評価関数は、
以下の式（４）で表す。

【００７１】

【数４】

【００７２】ここで、Φ（ａi,ｂj ）は、ｂj 文字目が
ａi の文字種類である確度を意味し、本発明では要素ａ
i の相関値を用いる。ψ（ａk,ｂl,ａi,ｂj ）は、ｂj
文字目にａi で表される文字が書かれていた仮定した場
合に、その１つ前であるｂl文字目がａk で表される確
度を意味し、Ｍａｘ(ak,bl) ｛ψ（ａk,ｂl,ａi,ｂ
j）｝はψ（ａk,ｂl,ａi,ｂj ）の内の最大値を表わ
す。ψ（ａk,ｂl,ａi,ｂj ）は、以下の式（５）で定義
される。

【００７３】

【数５】

【００７４】Ａbsは絶対値、ｘakは要素ａk の存在する
位置（Ｘ座標）、Ｗidth（ａk ）はａk 要素の表わす文
字種類のテンプレートの幅である。Ｗgap は規則基準値
設定装置４０によって設定された文字隙間を示す規則基
準値である。また、Ｃonstは十分に大きい一定の正数と
し、ｂj ＝１（１文字目）の時はψ＝０とする。本適用
例では１文字目、２文字目、３文字目というように、Ｂ
軸の要素は必ずＡ軸上の要素のどれかと対応付けられな
くてはならない。従ってｂj の１つ前であるｂl は、ｂ
l ＝ｂj −１とした。

【００７５】α及びβは２種類の評価関数を足し込む際
の重み付けを表わす係数である。Φ（ａi,ｂj ）を決定
する時、Ｍａｘ(ak,bi) ｛ψ（ａk,ｂl,ａi,ｂj ）を満
足したａk ，ｂl を併せて記憶しておく（具体的には
（ａi,ｂl ）から（ａk,ｂl ）へのポインタをもつ。） こうして、ＤＰマッチング装置４８は、各（ａi,ｂj ）
についてΦを求めた後、Φ（ａn,Ｍ）の内の最大値Ｍａ
ｘ(an,M)｛Φ（ａn,Ｍ）｝を求め、その点から前述した
ポインタをたどることで全ての文字の認識に相当する対
応付けが得られる。このときのＭａｘ(an,M)｛Φ（ａn,
Ｍ）｝の値が文字列全体の認識結果の確度となる。

【００７６】図１２に示すＤＰ定式化装置４６による結
果に対しては、図１３中の最適のパスで示す全ての文字
の認識に相当する対応付け、すなわち１文字目から順に
「Ａ」「Ｙ」「Ｗ」「Ｘ」の認識結果が得られる。

【００７７】次に、文字列認識装置５０は、ＤＰマッチ
ング装置４８によって求められた対応結果を用いて文字
列の各文字を認識する。具体的には、得られた対応付け
が （ａi1，１）−（ａi2，２）−・・・−（ａiM，Ｍ） であったとすると、文字列の１文字目はａi1のテンプレ
ート相関結果が表わす位置（ｘai1,ｙai1 ）に存在し、
文字内容はそのテンプレートの文字、その文字である確
度はΦ（ａi1，１）である。

【００７８】文字毎に確度が低い場合や、文字列全体の
確度が低い場合には、文字を誤認識している危険性があ
るためリジェクトの判断を行なう。それ以外の場合には
文字列認識結果を、文字列領域計算装置３０に入力され
た画像データに対する文字読取り結果として出力する。

【００７９】このようにして、読み取りの対象とする全
文字種類のテンプレートをテンプレート記憶装置３４に
用意し、このテンプレートを用いた文字列領域の画像デ
ータに対する領域内の各位置における相関度の計算、及
び正規化相互相関による高相関位置の検出を行ない、規
則基準値設定装置４０によって文字列の長さ、文字隙間
の知識等の規則基準値、相関値及び高相関位置を使った
ＤＰマッチングにより、各文字位置の推定と文字種類の
認識を同時に行なうことができる。

【００８０】テンプレートは、処理対象とする画像デー
タ中の文字に応じて予め用意しておくことができるの
で、文字部が非連結になりやすい刻印文字等であっても
１つの文字として扱うことができ、正規化相互相関によ
り、背景の輝度ムラやノイズ、文字部の切れや結合にあ
まり影響を受けない文字の認識を行なうことができる。

【００８１】

【発明の効果】以上のように本発明によれば、定型文字
列の認識において、背景部分の輝度ムラやノイズ、文字
部の切れや複数文字の結合などによる文字切り出しの失
敗と、これによる文字認識失敗を防ぎ、文字列の規則を
利用して確度の高い文字切り出し、文字認識を同時に行
なうことができるものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係る全体構成を示すブロッ
ク図。

【図２】本実施例における刻印文字に対応するテンプレ
ートの一例を示す図。

【図３】本実施例における処理対象となる横書き刻印文
字を含む画像データの一例を示す図。

【図４】本実施例における文字列領域計算装置３０によ
る文字列とその背景部分だけからなる領域を切り出す手
法を説明するための図。

【図５】本実施例における文字列領域計算装置３０によ
る画像を回転させる手法を説明するための図。

【図６】本実施例における文字列領域計算装置３０によ
る文字列領域を求める処理を説明するための図。

【図７】本実施例におけるテンプレートを説明するため
の図。

【図８】本実施例における相互相関計算装置３６の動作
を説明するための図。

【図９】本実施例における相互相関計算装置３６の相関
値を求め動作を説明するための図。

【図１０】本実施例における高相関位置計算装置３８に
よって求まった高相関位置を示す図。

【図１１】本実施例における規則基準値設定装置４０の
動作を説明するための図。

【図１２】本実施例におけるＤＰ定式化装置４６の動作
を説明するための図。

【図１３】本実施例におけるＤＰマッチング装置４８の
動作を説明するための図。

【図１４】従来技術において連結部分を１文字として１
文字切り出しを行なう手法を説明するための図。

【図１５】従来技術において射影部分の分布により１文
字切り出しを行なう手法を説明するための図。

【図１６】従来技術において連結成分を１文字として１
文字切り出しを行なう手法の問題点を説明するための
図。

【図１７】従来技術において射影部分の分布により１文
字切り出しを行なう手法の問題点を説明するための図。

【符号の説明】

１０…処理対象画像データ抽出手段、 １２…テンプ
レート設定手段、１４…テンプレート相関結果検出手
段、 １６…文字列規則設定手段、１８…ＤＰマッチン
グ処理手段、 ２０…読取り結果出力制御手段、
３０…文字列領域計算装置、 ３２…テンプ
レート読み出し装置、３４…テンプレート記憶装置、
３６…相互相関計算装置、３８…高相関位置検
出装置、 ４０…規則基準値設定装置、４４
…文字列情報記憶装置、 ４６…ＤＰ定式化
装置、４８…ＤＰマッチング装置、 ５０…
文字認識装置。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−66786（ＪＰ，Ａ) 特開 平５−159056（ＪＰ，Ａ) 特開 平３−51982（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 文字列の文字パターンを含む画像データ
   から各文字についての文字認識結果を求める文字列読み
   取り装置において、 前記文字列を含む画像データから前記文字パターンを含
   む文字列領域を求める文字列領域計算装置と、 読み取りの対象とする全文字種類についてのサンプル画
   像であるテンプレートを記憶するためのテンプレート記
   憶装置と、 前記テンプレート記憶装置に記憶されたテンプレートを
   読みだすテンプレート読みだし装置と、 前記テンプレート読みだし装置によって読みだされたテ
   ンプレートの位置を、前記文字列領域計算装置によって
   得られた文字列領域内で変更しながら、各位置での文字
   領域内の画像データと前記テンプレートとの相互相関値
   を求める相互相関計算装置と、 前記相互相関計算装置によって各位置で求めた前記相互
   相関値のうち、相関度の高い所定数個分の位置を求める
   高相関位置検出装置と、 処理対象とする文字列の文字数を示す情報を含む、文字
   列に関する情報を記憶するための文字列情報記憶装置
   と、 前記文字列情報記憶装置に記憶された文字列に関する情
   報に基づいて、処理対象とする文字列に関する規則基準
   値を設定する規則基準値設定装置と、 前記相互相関計算装置によって求められた相互相関値
   と、前記高相関位置検出装置によって求められた高相関
   位置と、前記規則基準値設定装置によって設定された規
   則基準値を用いてＤＰマッチング（動的計画法）を行な
   うための設定を行なうＤＰ定式化装置と、 前記ＤＰ定式化装置によって設定された内容に応じて、
   ＤＰマッチング（動的計画法）の手法を用いて、各テン
   プレート毎に求められた、前記相互相関値と前記高相関
   位置と同相互相関値及び同高相関位置を求める際に用い
   たテンプレートを示すテンプレート名を含むテンプレー
   ト相関結果を、文字列の文字順に対応づけするＤＰマッ
   チング装置と、 前記ＤＰマッチング装置による対応づけの結果に基づい
   て、最終的な読み取り結果を決定する文字列認識装置
   と、 を具備したことを特徴とする文字列読み取り装置。