JP3411796B2 - 文字認識装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、文字列の全文字も
しくは一部の文字のストロークが一部欠損した低品質文
字に対して、どの場所がどれだけ欠損しているかが何ら
かの方法でわかっている場合に、文字を高い精度で認識
できるようにした文字認識装置に関するものである。 【０００２】 【従来の技術】従来から、文字を認識する場合、認識す
る文字に関する幾何学的変形（手書き文字の場合は筆跡
の違い）等のばらつきも含めて学習するために、文字サ
ンプルをなるべく多く集め、統計的識別手法やニューラ
ルネットにより、最適な識別面を学習する方式が一般的
となっている。 【０００３】また、文字を認識する別の方法として、文
字の構造的な特徴（穴が何個あいているとか、上が真っ
直ぐである等）を記述し、規則を当てはめることで認識
する手法がある。 【０００４】 【発明が解決しようとする課題】しかしながら、これら
の手法によって、文字の一部が欠損した文字と欠損のな
い文字とが混在する可能性のある時に、文字の一部が欠
損した文字を認識する場合には、以下に示すような問題
点がある。 【０００５】すなわち、統計的方式やニューラルネット
による方式では、文字の変形等による分布を正確に把握
するために、数多くの文字パターンをサンプルとして用
い、サンプルにあまり現われない文字変形は、その文字
である可能性が低いという、パターン分布に関する情報
を利用することで、文字認識の精度を向上させている。 【０００６】従って、文字の一部が欠損した文字を正確
に認識するためには、同じように一部が欠損した文字サ
ンプルを数多く準備して、学習やパラメータ調整を行な
っておく必要がある。 【０００７】特に、正常な文字も同様に存在する可能性
のある課題では、欠損パターンと正常パターンとが混在
するサンプルを用いなくてはならない。しかしながら、
欠損パターンを正常パターンとを混在させると、正常パ
ターンの識別能力が著しく低減されてしまうという問題
がある。 【０００８】ここで、具体的に、英字の認識において、
上部が欠損する可能性がある課題を考える。すなわち、
いま例えば図４に示すように、「Ｔ」と「Ｉ」は、上部
が欠損すると、共に「Ｉ」のパターンになる。しかしな
がら、これを考慮して、「Ｔ」の集合に始めから「Ｉ」
を混在させると（欠損文字の「Ｔ」と「Ｉ」との識別が
できないのは仕方ないとして）、上部が隠れない場合の
「Ｉ」と「Ｔ」との識別が曖昧になり、文字認識の精度
が低下する。 【０００９】そこで、文字毎に欠損しているか否かが判
断できる場合には、例えば図５に示すように、欠損する
場合のサンプルと欠損しない場合のサンプルとを分けて
おいて、それぞれのケースでの認識用辞書（統計的手法
の場合）や、結合重み（ニューラルネットの場合）を持
ち、認識時にこれらを使い分けすることによって、欠損
パターンと正常パターンとの混在学習に伴なう上記のよ
うな課題を回避する方法も考えられる。 【００１０】しかしながら、このような方法では、欠損
種類（上部、下部、右部等の欠損場所毎、また何パーセ
ント欠損しているか）毎に辞書が必要となり、大量の記
憶領域が必要となるという問題がある。 【００１１】この場合、認識用辞書は、文字認識の精度
を向上させようとすると大きくなりがちであり、欠損に
対応するためにそのような辞書を複数個持つことは、装
置作成上の問題となる。 【００１２】また、構造的な特徴により規則に基づいて
識別する手法では、文字種毎に特徴の内容を人間が整理
し、個別に特徴計算部を作成する等問題に依存した方式
のため、文字種の変更や変形パターンの増加等への対応
に、多くの時間を要するという問題がある。 【００１３】さらに、一般に、文字認識精度が、統計的
手法やニューラルネットに比ベて低いという問題もあ
る。なお、以降の説明では、従来手法としてこちらの方
式は除外して説明することにする。 【００１４】本発明は、上記のような問題点を解決する
ために成されたもので、その目的は、従来と同じ辞書の
大きさで、正常パターン（欠損していないパターン）に
対する認識精度を低下することなく、欠損文字に対して
も高い精度で認識を行なうことが可能な文字認識装置を
提供することにある。 【００１５】 【課題を解決するための手段】上記の目的を達成するた
めに本発明では、文字列の全文字もしくは一部の文字に
ついて、部分が欠損した文字の認識を行なう文字認識装
置において、１文字分の画像を取り込む文字画像取り込
み手段と、文字の欠損の有無、欠損場所、欠損量に関す
る情報を取り込む欠損量・欠損場所入力手段と、文字画
像取り込み手段により取り込まれた文字画像に対して、
文字の各場所の局所的な情報に着目し、複数の特徴量要
素からなる局所特徴量を計算する局所特徴量計算手段
と、文字種の平均特徴量ベクトルを表す文字認識用辞書
を各文字種毎にあらかじめ保存する認識辞書保存手段
と、欠損量・欠損場所入力手段により取り込まれた情報
と、局所特徴量計算手段により計算された局所特徴量
と、認識辞書保存手段に保存されている辞書とを取り込
み、前記欠損の有の文字に係る欠損場所及び欠損量に基
づいて前記局所特徴量の複数の特徴量要素のうち前記欠
損場所に係る特徴量要素を求め、該欠損場所に係る特徴
量要素と前記文字種の平均特徴量ベクトルを表す文字認
識用辞書とに基づいて欠損部を補填した認識用特徴量を
作成する欠損部補填手段と、欠損部補填手段により作成
された認識用特徴量に対して、認識辞書保存手段に保存
されている辞書を用いて、各文字種毎に類似度を計算す
る類似度計算手段と、類似度計算手段により各文字種毎
に計算された類似度から、文字画像取り込み手段により
取り込まれた文字画像の文字種を判定する文字種判定手
段とを備えて成ることを特徴とする。 【００１６】 【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は、本実施の形
態による文字認識装置の全体構成例を示す機能ブロック
図である。 【００１７】すなわち、本実施の形態の文字認識装置
は、図１に示すように、文字画像取り込み装置１と、欠
損量・欠損場所入力装置２と、局所特徴量計算装置３
と、認識辞書保存装置４と、欠損部補填装置５と、類似
度計算装置６と、文字種判定装置７とから構成してい
る。 【００１８】文字画像取り込み装置１は、１文字分の画
像を取り込むものである。欠損量・欠損場所入力装置２
は、その文字のどこがどの程度欠損しているか（いない
か）の情報、すなわち文字の欠損の有無、欠損場所、欠
損量に関する情報を取り込むものである。 【００１９】局所特徴量計算装置３は、文字画像取り込
み装置１により取り込まれた文字画像に対して、文字の
各場所の局所的な情報に着目した局所特徴量を計算する
ものである。 【００２０】認識辞書保存装置４は、文字認識用の辞書
を各文字種毎にあらかじめ保存するものである。欠損部
補填装置５は、欠損量・欠損場所入力装置２により取り
込まれた情報と、局所特徴量計算装置３により計算され
た局所特徴量と、認識辞書保存装置４に保存されている
辞書とを用いて、各文字種に対する類似度を計算するた
めの、欠損部の特徴を補填した認識用特徴量を作成する
ものである。 【００２１】類似度計算装置６は、欠損部補填装置５に
より作成された認識用特徴量に対して、認識辞書保存装
置４に保存されている辞書を用いて、各文字種毎に類似
度を計算するものである。 【００２２】文字種判定装置７は、類似度計算装置６に
より各文字種毎に計算された類似度から、文字画像取り
込み装置１により取り込まれた文字画像の文字種を判定
するものである。 【００２３】次に、以上のように構成した本実施の形態
の文字認識装置の作用について説明する。なお、ここで
は、海外の車両番号（英数字、文字列１段または２段）
を例にとって述べる。 【００２４】まず、欠損の主要因は、ナンバープレート
が車両の奥に取り付けられるため、斜め上方から撮像す
るカメラの画像では、ナンバープレートの上端が欠損す
ることである。そして、ナンバープレート周囲の構造に
よって、欠損の状態は多様である。また、ナンバープレ
ート上のシールやバイクの場合運転者の服の一部で隠さ
れる場合もある（図２参照）。 【００２５】図１において、文字画像取り込み装置１に
より、各文字毎に切り出した１文字分の文字画像を読み
込む。この場合、文字切り出しは、従来の手法を用い
る。また、欠損量・欠損場所入力装置２により、その文
字のどこがどの程度欠損しているか（いないか）の情
報、すなわち文字の欠損の有無、欠損場所、欠損量に関
する情報を読み込む。 【００２６】この場合、欠損位置や場所は、文字列中の
各文字について異なっていてもよい。また、欠損量、欠
損場所を正確に判断することは重要な技術課題である
が、本発明の範囲からは除外する。 【００２７】ここでは、何らかの方法（現実的には、上
部隠れの場合の専用ロジックや、シールの場合のシール
検知ロジック等、個別に特化した方法で判断することが
多い）で、欠損量、欠損場所は既知であることを前提と
する。 【００２８】次に、局所特徴量計算装置３により、文字
画像取り込み装置１で取り込まれた文字画像に対して、
各文字の各場所の局所的な情報に着目した局所特徴量を
計算する。 【００２９】この場合、本手法を有効に機能させるため
には、特徴量が文字の局所的な性質を表わす必要があ
る。「局所的な」性質とは、文字の一部の欠損により、
特徴量でも欠損相当量分だけが影響を受ける（１０％欠
損なら、特徴量次元数の１０％が正常文字から変化する
という意味）ような特徴量の性質のことである。最も典
型的な局所特徴量は、文字の２次元パターンそのもので
ある。 【００３０】また、文字の輪郭部分の傾き成分を、文字
をメッシュ分割して各メッシュ中で頻度分布をとる特徴
量（加重方向指数ヒストグラム特徴といい、公知の特徴
量方式である）については、メッシュ分割の粗さに量子
化されるものの、局所特徴量と言える。 【００３１】局所特徴量でない特徴とは、文字を２次元
フーリエ変換した係数や、文字の高さ等、欠損により特
徴量全体が影響を受けるようなものである。一方、認識
辞書保存装置４には、局所特徴量計算装置３と同じ種類
の局所特徴量を用いて、あらかじめ欠損のない文字サン
プルデータのみを用いて計算された文字認識用の辞書を
各文字種毎に保存している。 【００３２】この場合、欠損のない文字サンプルデータ
のみを用いて製作するため、文字欠損による変形に対応
する細工は全く含まれていない。反面、欠損サンプルを
無理に覚えることによる正常文字の誤認識等の副作用も
ない。 【００３３】以下、具体例を説明する場合には、認識手
法として統計的認識手法を主に用いる。しかしながら、
本発明の手法の中心は「辞書作成後の」特徴量の操作に
あるので、辞書の内容や形式の異なるニューラルネット
でも、議論の本質は同様に成り立つ。 【００３４】ここで、統計的認識手法を例題とした場
合、文字認識用辞書は（ａ）各文字種類の平均特徴量、
（ｂ）多数サンプルに関する平均からの分散値、（ｃ）
分散の方向、である。 【００３５】統計的手法の数学用語を用いると、（ａ）
平均特徴量ベクトル、（ｂ）共分散行列の固有値、
（ｃ）共分散行列の固有ベクトル、である。ニューラル
ネットでは、辞書の内容は異なる。 【００３６】本手法を用いる場合には、本来のニューラ
ルネットでは必要ない場合でも、（ａ）各文字種類の平
均特徴量だけは追加で保存しておく必要がある。（ｂ）
各文字種類の平均特徴量が、欠損部補填装置５で使用さ
れる。数学的に表記すると、 【００３７】 【数１】 である。 【００３８】ここで、（・）^T は転地ベクトルを表わ
す。また、Ｎⁱ は文字種ｉのサンプルデータ数である。
これら情報の使用方法は、類似度計算装置６のところで
説明する。 【００３９】次に、欠損部補填装置５は、欠損量・欠損
場所入力装置２からの情報と、局所特徴量計算装置３か
らの局所特徴量と、認識辞書保存装置４からの辞書（各
文字種の平均特徴量ベクトル）とを用いて、各文字種ｋ
に対する類似度を計算するための、欠損部を補填した認
識用特徴量を作成する。 【００４０】具体的には、 （１）欠損量・欠損場所入力装置２からの情報により、
局所特徴量計算装置３からの局所特徴量 【００４１】 【数２】 のｎ個（次元）の特徴量要素のうち、欠損該当特徴量要
素を求める。 【００４２】表記を簡単にするため、一般性を無くさず
ｆ₁ 〜ｆ_p （ｐ＜ｎ）とする。 （２）認識辞書保存装置４からの辞書（文字種ｋの平均
特徴量ベクトル）を用いて、欠損部を補填した認識用特
徴量を作成する。具体的には、 【００４３】 【数３】 とする。である。 【００４４】この場合、欠損部補填装置５の機能の意味
は、各文字の隠れた部分には、マッチングする各文字種
の該当部分が存在している、という仮定に立った特徴量
ベクトルを生成することである。その概念を図３に示
す。次に、類似度計算装置６により、文字種ｋと、欠損
部補填装置５により計算された認識用特徴量 【００４５】 【数４】 （真に属する文字種は未知）について、類似度 【００４６】 【数５】 を計算する。 【００４７】具体的なｓは手法毎に異なるが、いずれも
公知の手法である。通常の特徴量（局所的特徴量計算装
置３で求まる特徴量を使う場合）の代わりに、欠損部補
填装置５により計算された特徴量を、ｓの計算に影響な
く置き換えられる。ニューラルネットの場合には、 【００４８】 【数６】 の代わりに、結合重み情報（抽象的にＷ^k と表わす）を
用いることが一般的であるが、 【００４９】 【数７】 が定義できる。以下、識別手法の違いを意識しないた
め、 【００５０】 【数８】と表わす。最後に、文字種判定装置７により、文字認識
を行なう。すなわち、文字認識では 【００５１】 【数９】 の文字種ｊは 【００５２】 【数１０】 であると判断する。 【００５３】上述したように、本実施の形態の文字認識
装置は、１文字分の画像を取り込む文字画像取り込み装
置１と、文字の欠損の有無、欠損場所、欠損量に関する
情報を取り込む欠損量・欠損場所入力装置２と、文字画
像取り込み装置１により取り込まれた文字画像に対し
て、文字の各場所の局所的な情報に着目した局所特徴量
を計算する局所特徴量計算装置３と、文字認識用の辞書
を各文字種毎にあらかじめ保存する認識辞書保存装置４
と、欠損量・欠損場所入力装置２により取り込まれた情
報と、局所特徴量計算装置３により計算された局所特徴
量と、認識辞書保存装置４に保存されている辞書とを用
いて、各文字種に対する類似度を計算するための、欠損
部の特徴を補填した認識用特徴量を作成する欠損部補填
装置５と、欠損部補填装置５により作成された認識用特
徴量に対して、認識辞書保存装置４に保存されている辞
書を用いて、各文字種毎に類似度を計算する類似度計算
装置６と、類似度計算装置６により各文字種毎に計算さ
れた類似度から、文字画像取り込み装置１により取り込
まれた文字画像の文字種を判定する文字種判定装置７と
から構成したものである。 【００５４】従って、文字の欠損量と欠損場所がわかる
場合、欠損部分を補填することにより、前述した従来の
ように、欠損の種類や場所に関するあらゆるケースに対
応した文字認識用の辞書を持つ必要がないため、従来と
同じ辞書の大きさで、正常文字（欠損のない文字）に対
する認識精度を低下することなく、欠損文字に対しても
高精度で認識を行なうことが可能となる。また、認識手
法としては、統計的手法やニューラルネット等の従来手
法を、そのまま修正なしで使用することが可能である。 【００５５】 【発明の効果】以上説明したように本発明では、文字列
の全文字もしくは一部の文字について、部分が欠損した
文字の認識を行なう文字認識装置において、１文字分の
画像を取り込む文字画像取り込み手段と、文字の欠損の
有無、欠損場所、欠損量に関する情報を取り込む欠損量
・欠損場所入力手段と、文字画像取り込み手段により取
り込まれた文字画像に対して、文字の各場所の局所的な
情報に着目し、複数の特徴量要素からなる局所特徴量を
計算する局所特徴量計算手段と、文字種の平均特徴量ベ
クトルを表す文字認識用辞書を各文字種毎にあらかじめ
保存する認識辞書保存手段と、欠損量・欠損場所入力手
段により取り込まれた情報と、局所特徴量計算手段によ
り計算された局所特徴量と、認識辞書保存手段に保存さ
れている辞書とを取り込み、前記欠損の有の文字に係る
欠損場所及び欠損量に基づいて前記局所特徴量の複数の
特徴量要素のうち前記欠損場所に係る特徴量要素を求
め、該欠損場所に係る特徴量要素と前記文字種の平均特
徴量ベクトルを表す文字認識用辞書とに基づいて欠損部
を補填した認識用特徴量を作成する欠損部補填手段と、
欠損部補填手段により作成された認識用特徴量に対し
て、認識辞書保存手段に保存されている辞書を用いて、
各文字種毎に類似度を計算する類似度計算手段と、類似
度計算手段により各文字種毎に計算された類似度から、
文字画像取り込み手段により取り込まれた文字画像の文
字種を判定する文字種判定手段とを備えるようにしたも
のである。 【００５６】従って、本発明の文字認識装置において
は、文字画像取り込み手段にて、１文字分の画像を取り
込み、欠損量・欠損場所入力手段にて、文字の欠損の有
無、欠損場所、欠損量に関する情報を取り込む。そし
て、局所特徴量計算手段にて、取り込まれた文字画像に
対して、文字の各場所の局所的な情報に着目した局所特
徴量を計算する。 【００５７】一方、欠損部補填手段にて、取り込まれた
情報と、計算された局所特徴量と、あらかじめ保存され
ている辞書とを用いて、各文字種に対する類似度を計算
するための、欠損部の特徴を補填した認識用特徴量を作
成する。そして、作成された認識用特徴量に対して、あ
らかじめ保存されている辞書を用いて、各文字種毎に類
似度を計算し、さらに文字種判定手段にて、各文字種毎
に計算された類似度から、取り込まれた文字画像の文字
種を判定する。 【００５８】以上により、文字の欠損量と欠損場所がわ
かる場合、欠損部分を補填することにより、前述した従
来のように、欠損の種類や場所に関するあらゆるケース
に対応した文字認識用の辞書を持つ必要がないため、従
来と同じ辞書の大きさで、正常文字（欠損のない文字）
に対する認識精度を低下することなく、欠損文字に対し
ても高精度で認識を行なうことが可能となる。また、認
識手法としては、統計的手法やニューラルネット等の従
来手法を、そのまま修正なしで使用することが可能であ
る。

【図面の簡単な説明】 【図１】本発明による文字認識装置の一実施の形態を示
す機能ブロック図。 【図２】同一実施の形態の文字認識装置における認識対
象の一例である海外車両ナンバープレートの文字欠損を
説明するための図。 【図３】同一実施の形態の文字認識装置における欠損部
補填の作用を説明するための概念図。 【図４】従来技術における欠損文字、正常文字混在辞書
を用いる場合の問題点を説明するための概念図。 【図５】従来技術における欠損種類毎に認識辞書を用い
る場合の問題点を説明するための概念図。 【符号の説明】 １…文字画像取り込み装置、 ２…欠損量・欠損場所入力装置、 ３…局所特徴量計算装置、 ４…認識辞書保存装置、 ５…欠損部補填装置、 ６…類似度計算装置、 ７…文字種判定装置。

フロントページの続き (72)発明者 宮本 一正 兵庫県神戸市兵庫区和田崎町一丁目１番 １号 三菱重工業株式会社神戸造船所内 (56)参考文献 特開 平１−171082（ＪＰ，Ａ) 特開 平４−148391（ＪＰ，Ａ) 特開 平７−254048（ＪＰ，Ａ) 特開 平10−228521（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 文字列の全文字もしくは一部の文字につ
   いて、部分が欠損した文字の認識を行なう文字認識装置
   において、 １文字分の画像を取り込む文字画像取り込み手段と、 文字の欠損の有無、欠損場所、欠損量に関する情報を取
   り込む欠損量・欠損場所入力手段と、 文字画像取り込み手段により取り込まれた文字画像に対
   して、文字の各場所の局所的な情報に着目し、複数の特
   徴量要素からなる局所特徴量を計算する局所特徴量計算
   手段と、文字種の平均特徴量ベクトルを表す文字認識用辞書 を各
   文字種毎にあらかじめ保存する認識辞書保存手段と、 欠損量・欠損場所入力手段により取り込まれた情報と、
   局所特徴量計算手段により計算された局所特徴量と、認
   識辞書保存手段に保存されている辞書とを取り込み、前
   記欠損の有の文字に係る欠損場所及び欠損量に基づいて
   前記局所特徴量の複数の特徴量要素のうち前記欠損場所
   に係る特徴量要素を求め、該欠損場所に係る特徴量要素
   と前記文字種の平均特徴量ベクトルを表す文字認識用辞
   書とに基づいて欠損部を補填した認識用特徴量を作成す
   る欠損部補填手段と、 欠損部補填手段により作成された認識用特徴量に対し
   て、認識辞書保存手段に保存されている辞書を用いて、
   各文字種毎に類似度を計算する類似度計算手段と、 類似度計算手段により各文字種毎に計算された類似度か
   ら、文字画像取り込み手段により取り込まれた文字画像
   の文字種を判定する文字種判定手段と、 を備えて成ることを特徴とする文字認識装置。