JPH05174187A

JPH05174187A - 文字認識装置

Info

Publication number: JPH05174187A
Application number: JP3343517A
Authority: JP
Inventors: Koji Yamamoto; 浩司山本; Susumu Maruno; 進丸野; 泰治〆木; Taiji Shimeki; Shigeo Sakagami; 茂生阪上; Toshiyuki Koda; 敏行香田; Toshio Niwa; 寿男丹羽; Yoshihiro Kojima; 良宏小島
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-12-25
Filing date: 1991-12-25
Publication date: 1993-07-13
Anticipated expiration: 2016-07-16
Also published as: JP3187899B2

Abstract

(57)【要約】【目的】文字認識において文字の大きさや形、ピッチ等
が文書毎に異なっていても精度の良い認識を行うこと。【構成】言語的に正しいと思われる部分の文字を確定文
字検出部３が確定文字として検出し、認識結果出力部６
が認識結果として出力する一方、文字矩形情報検出部４
が確定文字の矩形情報を検出し、矩形評価関数の最適化
を行なう。矩形分割統合部５は最適化された矩形評価関
数に基づいてまだ確定されていない部分の基本矩形の分
割・統合を行うことによって新たな基本矩形を求め、再
び候補文字選出部１以下の処理を行なう。また筆記者推
定部７が確定文字から得た情報を用いて候補文字選出部
１で用いる辞書を最適化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン認識の分野にお
いて、文書からの文字切り出し処理と認識、言語処理を
相補的に用いることによって認識精度の向上を図った文
字認識装置に関するものである。

【０００２】

【従来の技術】従来の文字認識装置としては、例えば
「手書き文字列認識方法の一検討」、佐藤弥生、津雲
淳、１９９０年電子情報通信学会春季全国大会予稿、
Ｄ−４９１、７−２４３に示された装置が知られてい
る。

【０００３】図１１はこの従来の文字認識装置の主要構
成図を示すものである。

【０００４】まず、撮像され、入力された画像文字列２
０１は矩形化処理部２０２に２次元データとして渡され
る。ここで文字列構成成分に含まれる画素は１、含まれ
ない画素は０、文字列方向は便宜上横軸方向であり、文
字列の高さも既知であるとする。

【０００５】図１２は従来の矩形化処理部２０２の具体
的な構成図である。矩形化処理部２０２に入力された文
字列２０１は文字列データ記憶部２１１に保持される。
周辺分布算出部２１２は文字列データ記憶部２１１に保
持された画素値を縦方向に累積した値を算出し、その結
果をガウシアンフィルタ処理部２１３に出力する。ガウ
シアンフィルタ処理部２１３は周辺分布算出部２１２に
よって求められた文字列データの画素値の縦方向の累積
ヒストグラムに対してガウス型関数を畳み込むことによ
って平滑化を行うことで累積ヒストグラムの高周波成分
を除き、ノイズの影響を抑える。平滑化を受けた累積ヒ
ストグラムは左右端検出部２１４に入力される。左右端
検出部２１４は図１３に示すように累積ヒストグラムの
値が一定値（いき値）以下の部分を検出して、その境界
座標位置を順に基本矩形の左右端座標として列方向周辺
分布算出部２１５と基本矩形記憶部２１７に出力する。

【０００６】このとき、いき値はすべての基本矩形の横
幅が文字列の高さの一定倍以下になるように設定される
ものとする。

【０００７】列方向周辺分布算出部２１５は左右端検出
部２１４からの入力を受けて基本矩形の左右端座標に挟
まれる部分の画素値を文字列データ記憶部２１１から読
みだして横方向に斜影し、その結果を上下端検出部２１
６に出力する。さらに上下端検出部２１６は図１４に示
すように列方向周辺分布算出部２１５からの斜影結果の
文字構成成分が成す部分の最大値、最小値を求め、その
結果を対応する基本矩形の上下端として基本矩形記憶部
２１７に出力する。

【０００８】以上の処理によって基本矩形記憶部２１７
には基本矩形がその左右端と上下端で表わされ、検出順
に記憶されることになる。

【０００９】図１５は、図１０の矩形統合認識部２０３
の具体的な構成図であり、図１６はその一部である重み
付きラティス作成部２４１の具体的な構成図である。以
下に矩形統合認識部２０３、ラティス作成部２４１の動
作を図に従って説明する。

【００１０】基本矩形組合せ部２５１は上記基本矩形記
憶部２１７に保持されている基本矩形の座標値を読みだ
し、隣合う基本矩形を組合せた矩形の外郭幅が文字列の
高さの一定倍以下になるようなすべての組合せを検出
し、その結果を重み付きラティス記憶部２５２に出力す
る。

【００１１】重み付きラティス記憶部２５２は、図１７
に示すように基本矩形組合せ部２５１によって検出され
たすべての基本矩形の組合せについて、組合せ矩形の上
下、左右端座標を記憶保持し、さらに各組合せ矩形に対
応する重み値及び、候補文字を記憶保持するためのメモ
リを確保する。

【００１２】重み値算出部２４２は、図１１の文字評価
値算出部２０４と矩形評価値算出部２０５からの入力を
受け、重み付きラティス記憶部２５２に記憶されている
各組合せ矩形に対応する重み値及び、候補文字を求め、
その結果を再び重み付きラティス記憶部２５２の対応す
るメモリに出力する。

【００１３】ここでまず、文字評価値算出部２０４と矩
形評価値算出部２０５の動作について説明する。

【００１４】図１８は文字評価値算出部２０４の具体的
な構成図である。特徴量抽出部２７１は重み付きラティ
ス記憶部２５２に記憶されている組合せ矩形の上下、左
右端座標を参照し、前記座標内に含まれる画素を文字列
データ記憶部２１１から読みだして特徴量を得、類似度
算出部２７３に出力する。特徴量抽出部２７１によって
抽出される特徴量としては、例えばメッシュ特徴ベクト
ルなどが考えられる。メッシュ特徴ベクトルは以下のよ
うにして得られる。

【００１５】入力される画素が含まれる組合せ矩形の一
辺をｎ等分し、前記矩形全体をｎ×ｎ個のマスに分割
し、各マス内の文字構成成分に含まれる画素数がそのマ
ス全体の画素数に占める割合の値を順番に並べてできる
ｎ×ｎ次元ベクトルをメッシュ特徴ベクトルとする。

【００１６】文字辞書２７２には、各文字の代表メッシ
ュ特徴ベクトルが記憶保持されている。各文字の代表メ
ッシュ特徴ベクトルは複数の標準文字のメッシュ特徴ベ
クトルの平均ベクトルとする。

【００１７】類似度算出部２７３は各文字の代表メッシ
ュ特徴ベクトルと特徴量抽出部２７１から入力されたメ
ッシュ特徴ベクトルの２乗誤差の逆数値を求め、どの文
字にどのくらい近いかを示す類似度値として出力選出部
２７４に出力する。

【００１８】出力選出部２７４はすべての文字に対する
類似度値が入力された後に、その中の最大値ｘと対応す
る候補文字を重み値算出部２４２に出力する。

【００１９】図１９は矩形評価値算出部２０５の具体的
な構成図である。方形度算出部２８１は重み付きラティ
ス記憶部２５２に記憶されている組合せ矩形の上下、左
右端座標を参照し、前記矩形の縦横比（方形度ｒ）を
（数１）に従って算出し、適合度算出部２８３に出力す
る。

【００２０】

【数１】ｒ＝矩形の縦長さ／矩形の横長さ空白度算出部２８２は重み付きラティス記憶部２５２に
記憶されている組合せ矩形の上下、左右端座標を参照
し、文字列データ記憶部２１１から前記矩形内の画素を
読みだし、そのうちの文字構成成分に含まれない画素数
が前記矩形全体の画素数に占める割合（空白度ｓ）を算
出して適合度算出部２８３に出力する。

【００２１】適合度算出部２８３は（数２）に示す値ｙ
を適合度値として求め、重み値算出部２４２に出力す
る。

【００２２】

【数２】ｙ＝ρ1(ｒ)・ρ2(ｓ) 但し、ｒは方形度算出部２８１からの入力、ｓは空白度
算出部２７２からの入力、ρ1、ρ2は適当な関数であ
り、処理対象によって変化する事はない。

【００２３】以上説明したように文字評価値算出部２０
４が出力として出力選出部２６４からｘとそれに対応す
る候補文字、矩形評価値算出部２０５が出力として適合
度算出部２７３からｙを出すとき、重み値算出部２４２
は（数３）に示す値ｗを対応する組合せ矩形の重み付き
ラティス記憶部２５２の重み値として算出する。

【００２４】

【数３】ｗ＝１・・・(ｘ≧α2) ρ( (C0＋C1・ｘ＋C2・ｙ＋C3・ｘ・ｙ)/C4 ) ・・・(ｘ＜α2) 但し、C0＝β1・(α2−1)(α2−α1）−α1・β2、 C1＝α1・β1−α2・β1＋β2、C2＝α1・α2−α2²＋α2、 C3＝α2−α1−１、C4＝(α2−α1)・(β2−β1)、 ρ(ｚ)＝ｚ・・・（ｚ＞０)、ρ(ｚ)＝０・・・（ｚ≦０)。

【００２５】なお、処理パラメータα1、α2、β1、β2
は一定値であり、処理対象によって変化する事はない。

【００２６】（数３）は以下の４つ条件を満たし、値が
大きい程文字らしいと考えられる。１．文字評価値算出部２５１から得られる評価値ｘがあ
る値α1より小さく、矩形評価値算出部２５２から得ら
れる評価値ｙがある値β1より小さい場合は、文字らし
くないと判断し、ｗ＝０とする。２．ｘがある値α2より大きいときは、文字らしいと判
断しｗ＝１とする。３．ｙがある値β2より大きいときは、文字である可能
性が大きい。４．重み値ｗはｘとｙに関して、単調に増加する。

【００２７】次に算出した重み値ｗと出力選出部２６４
から入力された候補文字を重み付きラティス記憶部２５
２の対応するメモリに出力する。

【００２８】以上のようにしてすべての組合せ矩形に対
する重み値とそのときの候補文字が重み付きラティス記
憶部２５２に記憶保持された後、切り出し位置探索部２
４３が以下のようにして切り出し位置及び、認識結果を
決定する。

【００２９】重み付きラティス記憶部２５２の始端から
終端に至る経路のうちで経路上の一矩形当りの重み値が
最大になる経路を選択し、そのときの組合せ矩形を一文
字とし、その候補文字を認識結果２０６として出力す
る。

【００３０】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、単一文字のパターンマッチングだけから
得られる類似度値から候補文字列を求めているために、
常に言語的に正しいとは言えない。さらに矩形化処理に
おいて１つの基本矩形内に一文字以上の文字が含まれた
場合にそれにともなって文字切り出し結果や認識結果が
大きく間違ってしまう。さらに一定の矩形評価規準によ
って評価しているために不定ピッチの文字列を含む印刷
文書や手書き文書等のように文書毎、領域毎に最適な矩
形評価規準が異なる場合に矩形評価値の誤りが生じやす
くなる。

【００３１】以上の理由から処理系全体としての文字評
価規準の不適性によって認識精度が悪くなるという課題
を有していた。

【００３２】本発明はかかる従来の文字認識装置の課題
に鑑み、処理系全体の処理精度の向上を図り、文字の誤
切り出しを減少させ、認識精度の良い文字認識装置を提
供することを目的とする。

【００３３】

【課題を解決するための手段】第１の本発明は、候補文
字を組合せて単語辞書との整合性をみることによって複
数の候補単語を決定する候補単語決定部と、候補単語決
定部の結果から文節を推定し、推定した文節と文法辞書
との整合性をみることによって複数の候補文節を決定す
る候補文節決定部と、候補文節決定部によって候補に挙
げられた候補文節について候補文節を構成する文字の類
似度平均、候補文節を構成する単語の文字数とある値と
の差の自乗、候補文節の文字数、候補文節を構成する単
語の頻度とで表わされる評価関数に基づいて評価値を算
出した後、連続する候補文節を組み合わせることによっ
てできる一定長さの文節群について、一文節当りの評価
値が最も良い文節群を選出し、文節群の先頭文節を確定
するとともに確定された文節が持つ評価値を文節として
の言語的正しさを表わす評価値とする文節評価確定部を
備えた言語処理装置である。

【００３４】第２の本発明は、入力文字列からの文字切
り出し処理によって生じる文字の外接長方形候補である
矩形の縦横比、矩形の面積と矩形面積に占める文字構成
成分以外の部分の面積の割合とで表わされる評価関数に
基づいて分割すべき矩形（１文字分以上の文字構成成分
を含む矩形）を選出する分割矩形候補選出部と、分割矩
形候補選出部によって選出された矩形を分割する矩形分
割部と、矩形分割部によって分割されて生じた矩形も含
めてすべての矩形を組み合わせて最適な矩形の統合の組
合せを決定する矩形統合部を備えた矩形分割統合装置で
ある。

【００３５】第３の本発明は、複数の候補文字を選出す
る候補文字選出部と、候補文字選出部の結果を単語辞
書、文法辞書と照合することによって文章としての確か
らしさの評価値を算出する第１本発明の言語処理装置
と、言語処理装置の結果から文字として確定した矩形を
検出する確定文字検出部と、確定文字検出部の結果から
文字として確定した矩形の特徴を抽出する文字矩形情報
抽出部と、文字矩形情報抽出部よって得られた矩形情報
に基づいて、まだ文字として確定していない矩形の統合
と分割を行なう第２の本発明の矩形分割統合装置と、確
定文字検出部の結果を認識結果として出力する認識結果
出力部を備えた文字認識装置である。

【００３６】第４の本発明は、各筆記者が書く文字、あ
るいは印刷文字のフォントの癖（各文字の特徴量の分
布、文字の外接長方形の縦横比）を記憶保持している筆
記者辞書と、筆記者辞書と言語的に正しいと確定された
文字との整合性をみることによって筆記者辞書のどの筆
記者またはどの印刷文字のフォントにどれくらい近いか
を表わす評価値を算出する筆記者評価値算出部と、筆記
者評価値算出部の結果によって入力文字列の筆者または
印刷文字のフォントを特定する筆記者決定部を備えた筆
記者推定装置である。

【００３７】第５の本発明は、複数の候補文字を選出す
る候補文字選出部と、候補文字選出部の結果を単語辞
書、文法辞書と照合することによって文章としての確か
らしさの評価値を算出する第１の本発明の言語処理装置
と、言語処理装置の結果から文字として確定した矩形を
検出する確定文字検出部と、確定文字検出部の結果から
文字として確定した矩形の特徴を抽出する文字矩形情報
抽出部と、確定文字検出部の結果と文字矩形情報抽出部
よって得られた矩形情報に基づいて入力文字列の筆記者
または印刷文字のフォントを決定し、その結果を候補文
字選出部に出力する第３の本発明の筆記者推定装置部
と、文字矩形情報抽出部よって得られた矩形情報に基づ
いて、まだ文字として確定していない矩形の統合と分割
を行なう第２の本発明の矩形分割統合装置と、確定文字
検出部の結果を認識結果として出力する認識結果出力部
を備えた文字認識装置である。

【００３８】

【作用】第１の本発明は前記した構成により、言語的に
「文節内の一文字当りの類似度が高いほうが良い。」、
「文節内の単語の文字数はある値に近い方が良い。」、
「文節内の文字数は多い方が良い。」、「文節を構成す
る単語の入力文字列中での出現頻度は高い方が良い。」
という仮定に基づき、文節単位で言語的な確からしさの
評価値を算出することができる。

【００３９】第２の本発明は前記した構成により、文字
の外接長方形候補である矩形に１文字分以上の文字構成
成分含まれた場合には、「横書き（縦書き）では矩形は
横長（縦長）になり、矩形の面積が他の矩形よりも大き
くなる。さらに矩形面積に占める文字構成成分以外の部
分の面積の割合が一定である。」という仮定に基づき、
上記仮定を満たす矩形（１文字分以上の文字構成成分を
含む矩形）を分割することによって文字の誤切り出しを
減少させることができる。

【００４０】第３の本発明は前記した構成により、候補
文字選出手段が出力する複数の候補文字から成る文字列
の中で言語的に正しいと思われる部分の文字を確定文字
検出手段が確定文字として検出し、認識結果出力手段が
認識結果として出力する一方、文字矩形情報検出手段が
確定文字の矩形情報を検出し、矩形評価関数の最適化を
行なう。矩形分割統合手段は最適化された矩形評価関数
に基づいてまだ確定されていない部分の基本矩形の分割
・統合を行うことによって新たな基本矩形を求め、再び
候補文字選出手段以下の処理を行なう。

【００４１】このようにして最終的にすべての矩形が言
語的に文字として確定されるまで以上の処理を繰り返
す。

【００４２】以上のように文字評価結果をさらに言語処
理で評価した後に認識結果を決定するために認識精度が
高まる。またその結果を用いて矩形の文字らしさを評価
する評価関数自身を推定するために文書毎に最適な処理
が行える。

【００４３】第４の本発明は前記した構成により、言語
的に正しいと判断された候補文字あるいは文字列が持つ
特徴から入力文字列が手書きの場合は筆記者または入力
文字列が印刷文字の場合はフォントを特定することがで
きる。

【００４４】第５の本発明は前記した構成により、第４
の本発明と同様にして文字評価結果をさらに言語処理で
評価した後に認識結果を決定するために認識精度が高ま
る。さらにその結果を用いて筆記者あるいは印刷文字の
フォントを特定することによって候補文字選出手段にお
ける候補文字決定の際の文字辞書に前記特定された筆記
者、あるいは印刷文字のフォント用の文字辞書を使用す
ることによって候補文字選出手段の精度が向上し、より
最適な処理が行える。

【００４５】すなわち、言語的に正しいと思われる部分
の文字を確定文字検出手段が確定文字として検出し、認
識結果出力手段が認識結果として出力する一方、文字矩
形情報検出手段が確定文字の矩形情報を検出し、矩形評
価関数の最適化を行なう。矩形分割統合手段は最適化さ
れた矩形評価関数に基づいてまだ確定されていない部分
の基本矩形の分割・統合を行うことによって新たな基本
矩形を求め、再び候補文字選出手段以下の処理を行な
う。また筆記者推定手段が確定文字から得た情報を用い
て候補文字選出手段で用いる辞書を最適化する。

【００４６】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００４７】図１は第５の本発明の一実施例における文
字認識装置の構成図を示すものである。本発明の第１、
第２、第３、第４の本発明はこの第５の本発明の構成要
素を成すものであり、第５の本発明の実施例の説明の中
で同時に説明する。

【００４８】図１において、入力文字列２０１は入力さ
れる画像文字、矩形化処理部２０２はその入力文字を矩
形化するための処理部、候補文字選出部１は候補となる
文字を選出する部、言語処理部２はその候補文字を言語
的に処理する部、確定文字検出部３は確定文字を検出す
る部、文字矩形情報検出部４は文字矩形情報を検出する
部、矩形分割統合部５は矩形を分割統合する部、認識結
果出力部６は認識結果を出力する部、筆記者推定部７は
筆記者を推定する部である。

【００４９】以上のように構成された本実施例の文字認
識装置について、以下にその動作を説明する。

【００５０】矩形化処理部２０２は従来の文字認識装置
における場合と同じ構成要素からなり、従来の文字認識
装置と同様にして基本矩形記憶部２１７に基本矩形を記
憶保持する。

【００５１】図２は上記候補文字選出部１の具体的な構
成図であり、特徴抽出部２７１は特徴を抽出する部、文
字辞書２７２は文字情報を記憶した辞書、類似度算出部
２７３は文字辞書２７３を参照して類似度を算出する
部、文字選択部２１は類似度を参照して文字を選択する
部、候補文字記憶部２２は候補文字を記憶する部であ
る。

【００５２】この候補文字選出部１の動作は次の通りで
ある。特徴抽出部２７１は基本矩形記憶部２１７から基
本矩形の座標位置を参照し、前記座標位置内の画素を矩
形化処理部２０２内の文字列データ記憶部２１１から読
みだし、従来の文字認識装置の場合と同様にして特徴量
を得て、類似度算出部２７３に出力する。次に類似度算
出部２７３は文字辞書２７２から各文字の代表特徴ベク
トルを読みだし、従来の文字認識装置の場合と同様にし
て各文字との類似度を算出して文字選択部２１に出力す
る。文字選択部２１は類似度の高い文字から順にｍ個の
文字とその類似度を候補文字記憶部２２に出力し、候補
文字記憶部２２は一矩形当りｍ個の候補文字と類似度を
記憶保持する。

【００５３】図３は第１の本発明である言語処理部２の
具体的な構成図である。図３において、候補単語決定部
３１は候補単語を決定する部、候補文節決定部３２は、
候補文節を決定する部、文節評価確定部３３は文節を評
価する部であり、さらに候補文字組合せ部３０１は候補
文字を組み合わせる部、単語整合部３０２は端号を整合
する部、単語辞書３０３は単語の辞書、候補単語記憶部
３０４は候補単語を記憶する部、候補文節出力部３０５
は候補文節出力部、文節整合部３０６は文節を整合する
部、文法辞書３０７は文法を記憶した辞書、候補文節記
憶部３０８は候補文節を記憶する部、文節評価値算出部
３０９は文節評価値を算出する部、候補文節組合せ部３
１０は候補文節を組み合わせる部、文節決定部３１１は
文節を決定する部である。

【００５４】候補文字組合せ部３０１は候補文字記憶部
２２から連続する矩形の候補文字を一矩形当り一文字ず
つ選び出し、選びだした文字を一個ないし複数個、組合
せた結果を単語整合部３０２に出力する。なお前記組合
せは網羅的に行なわれ、すべての組合せについて単語整
合部３０２に出力されるものとする。単語辞書３０３に
は各単語が文字毎の整合がとれるように木構造で表現さ
れており、各単語にはその品詞と分別記号が付随して記
憶保持されているものとする。単語整合部３０２は入力
された文字の組合せと単語辞書３０３に記憶保持されて
いる単語と一文字毎に整合、不整合の判断を行い、すべ
ての文字が整合した”文字の組合せ”についてその文字
列内の位置と分別記号、品詞を候補単語記憶部３０４に
出力する。候補単語記憶部３０４は単語整合部３０２か
らの入力を順に記憶保持する。

【００５５】候補文節出力部３０５は候補単語記憶３０
４に記憶保持されている候補単語の情報を読みだし、隣
合う位置にある候補単語から候補文節を決定し文節整合
部３０６に出力する。文法辞書３０７には単語の活用
形、助詞との接続などの情報が記憶保持されているもの
とする。文節整合部３０６は入力された候補文節と文法
辞書３０７に記憶保持されている情報との整合、不整合
を判断し、整合した文節の位置及び候補文字記憶部２２
から前記文節を構成している文字の個数ｋ、前記文節内
の単語を構成している文字の類似度平均ｄと個数ｌ、前
記単語の文字列中における頻度ｑを候補文節記憶部３０
８に出力する。候補文節記憶部３０８は入力された候補
文節の上記の情報を記憶保持するメモリと以下で述べる
ように文節評価値算出部３０９からフィードバックされ
てくる評価値を記憶保持するメモリとからなり、入力情
報をそれらのメモリ内に記憶保持する。

【００５６】文節評価値算出部３０９は候補文節記憶部
３０８に記憶保持された上記に述べた文節の情報を読み
だし、（数４）のＨを文節の言語的正しさを表わす量と
して算出し、対応する文節の文節評価値として候補文節
記憶部３０８に出力する。

【００５７】

【数４】Ｈ＝ａ1・ｄ＋ａ2・ｋ＋ａ3・(Ｌ−ｌ)²＋ａ4・ｑ但し、ｄは文節を構成する文字の類似度平均、ｋは文節を構成する単語の文字数、Ｌは一定値、ｌは文節の文字数、ｑは文節を構成する単語の頻度、ａ1、ａ2、ａ3、ａ4は正規化係数。

【００５８】（数４）は「構成文字の類似度が大きい程
文節として正しい。単語の文字数が多い程文節として正
しい。文節の文字数はＬに近い程良い。単語の頻度が高
い程文節として確からしい。」ということを表わしてい
る。

【００５９】候補文節記憶部３０８に記憶保持されてい
るすべての候補文節について評価値が算出された後、候
補文節組合せ部３１０は候補文節記憶部３０８に記憶保
持されている候補文節の位置情報から一定の長さになる
ように連続する複数の文節で構成される”文節組合せ”
を抽出し、その結果を文節決定部３１１に出力する。従
って同じ位置で始まり、同じ位置で終わる”文節組合
せ”が複数、文節決定部３１１に入力されることにな
る。なお”文節組合せ”は初期状態では入力文字列２０
１の先頭から順にすべて抽出するものとし、さらに以下
のようにして文節決定部３１１によって文節が確定され
る毎に抽出する先頭を確定された文節の次の位置にす
る。

【００６０】文節決定部３１１は入力される”文節組合
せ”のうち構成する文節一つ当りの文節評価値が最大に
なる”文節組合せ”を選び、その先頭の文節を確定され
た文節として位置情報および候補文字、文節評価値を確
定文字検出部３へ出力する。

【００６１】以上の処理によって入力文字列２０１は文
節単位に区切られ、各々の文節には文節の言語的正しさ
を表わす量として文節評価値がつけられる。確定文字検
出部３は入力された文節のうち、一定値以上の文節評価
値を持つ文節内の候補文字を認識結果の確定文字として
矩形情報抽出部４と認識結果出力部６に出力する。なお
矩形情報抽出部４と認識結果出力部６には文節内の文字
の位置情報も出力するものとする。

【００６２】認識結果出力部６は確定文字検出部３から
入力される確定文字を前記確定文字に付随して入力され
る位置での認識結果として出力する。

【００６３】矩形情報抽出部４は確定された文字から矩
形情報を抽出する。図４は矩形情報抽出部４の具体的な
構成図であり、方形度算出部２８１は方形度を算出する
部、空白度算出部２８２は空白度を算出する部、矩形面
積算出部４１は矩形面積を算出する部、方形度評価関数
決定部４２は方形度評価関数を決定する部、空白度評価
関数決定部４３は空白度評価関数を決定する部、矩形面
積評価関数決定部４４は矩形面積評価関数を決定する
部、評価関数記憶部４５は評価関数を記憶する部であ
る。

【００６４】方形度算出部２８１は入力された確定文字
の位置情報を参照し、基本矩形記憶部２１７から前記確
定文字の矩形の方形度を算出し、方形度評価関数決定部
４２に出力する。同様に空白度算出部２８２は入力され
た確定文字の位置情報を参照し、矩形化処理部２０２内
の文字列データ記憶部２１１から前記座標位置内の画素
のうち文字構成成分に含まれない画素数が全体の画素数
に占める割合（空白度）を算出し、空白度評価関数決定
部４３に出力する。矩形面積算出部４１は入力された確
定文字の位置情報を参照し、矩形化処理部２０２内の文
字列データ記憶部２１１から前記座標位置内の総画素数
を求め矩形面積評価関数決定部４４に出力する。

【００６５】方形度評価関数決定部４２は例えば図５に
示すように入力された方形度の値のヒストグラムをと
り、評価関数の形を決定する。さらにヒストグラム値を
正規化することで評価値を決めることによって方形度評
価関数ρ1を決定する。同様にして空白度評価関数決定
部４３は入力された空白度の値のヒストグラムから空白
度評価関数ρ2を決定する。矩形面積評価関数決定部４
４は入力された矩形面積の値のヒストグラムから矩形面
積評価関数ρ3を決定する。

【００６６】方形度評価関数決定部４２、空白度評価関
数決定部４３と矩形面積評価関数４４によって決定され
た評価関数は評価関数記憶部４５に記憶保持される。

【００６７】以上のようにして決定された評価関数は入
力文字列２０１から言語的に確定された文字から推定し
たものであり、評価関数としての精度は非常に高いと考
えられる。

【００６８】図６は第２の本発明の矩形分割統合部５の
具体的な構成図である。

【００６９】分割矩形候補選出部６１は基本矩形記憶部
２１７に記憶保持されている矩形の中でまだ文字として
確定していない矩形を読みだし、前記矩形の方形度ｒ、
空白度ｓ、面積Ｍを求める。次に評価関数記憶部４３に
記憶保持されている評価関数から（数５）を満たす矩形
を複数の文字を含むと考えられる矩形として選び出す。

【００７０】

【数５】 ρ1(ｒ)＜λr かつ ρ2(ｓ)＞λs かつ ρ3(Ｍ)＞
λM 但し、λr、λs、λMは適当な値。

【００７１】（数５）は「ある程度以上横長で面積も大
きく、かつ空白度が大きい矩形は複数文字を含む可能性
が高い。」ということを表わしている。

【００７２】分割矩形候補選出部６１は選出した矩形の
位置情報を矩形分割部６２に出力する。

【００７３】図７は矩形分割部６２の具体的な構成図で
ある。

【００７４】周辺分布算出部２１２は分割矩形候補選出
部６１から入力された位置に対応する文字列データ記憶
部２１１に保持された値を縦方向に累積した値を算出
し、その結果をガウスシアンフィルタ処理部２１３に出
力する。ガウスシアンフィルタ処理部２１３は周辺分布
算出部２１２によって求められた文字データの縦方向の
累積ヒストグラムに対してガウス型関数を畳み込むこと
によって平滑化を行うことで累積ヒストグラムの高周波
成分を除き、ノイズの影響を抑える。平滑化を受けた累
積ヒストグラムは分割点検出部７１に入力される。分割
点検出部７１は連続して累積ヒストグラムの値が一定値
（いき値）以下の部分を検出し、さらにその部分におい
て累積ヒストグラムの値が最小になる座標位置を現在注
目している矩形の分割点として分割矩形列方向周辺分布
算出部７２と分割矩形記憶部７４に出力する。

【００７５】このとき、いき値は分割されてできるすべ
ての矩形が（数５）を満たさなくなるように設定される
ものとする。

【００７６】分割矩形列方向周辺分布算出部７２は分割
点検出部７１からの入力を受けて基本矩形の左端座標と
入力された分割点及び、入力された分割点と基本矩形の
右端座標とで挟まれる部分の文字データを各々別々に横
方向に斜影し、その結果を分割矩形上下端検出部７３に
出力する。なお分割点が複数ある場合にはさらに分割点
間の文字データに対しても同様の処理を行なうものとす
る。

【００７７】分割矩形上下端検出部７３は図１３に示し
たのと同様に分割矩形列方向周辺分布算出部７２からの
斜影結果の文字構成成分が成す部分の最大値、最小値を
求め、その結果を対応する分割矩形の上下端として分割
矩形記憶部７４に出力する。

【００７８】以上の処理によって分割矩形記憶部７４に
は分割されてできた矩形がその左右端と上下端で表わさ
れ、検出順に記憶されることになる。

【００７９】図８は矩形統合部６３の具体的な構成図で
ある。矩形統合部６３の動作を以下に図にしたがって説
明する。

【００８０】図９は矩形統合部６３の統合重み付きラテ
ィス作成部８１の具体的な構成図であり、９１は矩形組
合せ部、９２は統合重み付きラティス記憶部である。矩
形組合せ部９１は基本矩形記憶部２１７及び、分割矩形
記憶部７４に保持されている文字として確定していない
部分の矩形の座標値を読みだし、隣合う矩形を組合せた
矩形の外郭幅が文字列の高さの一定倍以下になるような
すべての組合せを検出し、その結果を統合重み付きラテ
ィス記憶部９２に出力する。

【００８１】統合重み付きラティス記憶部９２は、図１
６に示したのと同様に矩形組合せ部８１によって検出さ
れたすべての矩形の組合せについて、組合せ矩形の上
下、左右端座標を記憶保持し、さらに各組合せ矩形に対
応する重み値を記憶保持するためのメモリを確保する。

【００８２】統合重み値算出部８２は評価関数記憶部４
５に記憶保持されている評価関数と統合重み付きラティ
ス記憶部９２に記憶保持されている組合せ矩形の情報か
ら前記組合せ矩形の矩形評価値を算出し、前記組合せ矩
形に対応する重み値として統合重み付きラティス記憶部
９２に出力する。

【００８３】切り出し位置探索部２４３は重み付きラテ
ィス記憶部の始端から終端に至る経路のうちで経路上の
一矩形当りの重み値が最大になる経路を選択し、そのと
きの組合せ矩形を矩形統合結果として基本矩形記憶部２
１７に出力する。

【００８４】第３の本発明の文字認識装置では、すべて
の矩形が文字として確定され、認識結果出力部６によっ
て出力されるまで、再びこれまでに述べた候補文字選出
部１以降の処理を繰り返す。なお、繰り返しの処理回数
が一定以上になった場合はその時点での文節決定部３１
１の出力を認識結果として認識結果出力部６が出力す
る、あるいはまだ文字として確定されていない部分の認
識を棄却するものとしても良い。

【００８５】このように第３の本発明の実施例によれば
最初に矩形化処理部２０２によって適当な基本矩形に区
切られた入力文字列に対して候補文字選出部１が１つの
基本矩形に付き複数の候補文字を挙げ、それらの候補文
字がつくる文字列を言語処理部２が判断する。次に言語
的に正しいと思われる部分の文字を確定文字検出部３が
確定文字として検出し、認識結果出力部６が認識結果と
して出力する一方、文字矩形情報検出部４が確定文字の
矩形情報を検出し、矩形評価関数の最適化を行なう。矩
形分割統合部５は最適化された矩形評価関数に基づいて
まだ確定されていない部分の基本矩形の分割・統合を行
うことによって新たな基本矩形を求め、再び候補文字選
出部１以下の処理を行なう。このように言語的に確定さ
れた文字を認識結果とし、さらにそれらの文字を処理中
の評価関数の決定に用いることで文書毎に精度の高い評
価関数を自動的に決定することができる。

【００８６】第５の本発明の文字認識装置では、以下に
述べるようにして第４の本発明の筆記者推定部によって
筆記者あるいは印刷文字のフォントを決定し、その結果
から候補文字選出部１内の文字辞書２７２の内容を変更
してからこれまでに述べた候補文字選出部１以降の処理
をを繰り返す。したがって候補文字選出部１での繰り返
し処理の際に文字辞書２７２が文書に対応して最適化さ
れるためにより精度の高い処理が行える。

【００８７】筆記者推定部７は図１に示すように矩形化
処理部２０２、確定文字検出部３、文字矩形情報抽出部
４からの入力と候補文字選出部１への出力を持つ。

【００８８】図１０は本発明の第４の本発明である筆記
者推定部７の具体的な構成図である。

【００８９】筆記者辞書１０１は図１０に示すように、
あらかじめ文字認識装置の使用が予想される筆記者別、
あるいは文字の特徴量の分布が似ている筆記者群別の文
字辞書１１１₁〜１１１_t（ｔは筆記者または筆記者群の
数）と方形度辞書１１２₁〜１１２_tから構成されてい
る。但し、方形度辞書１１２₁〜１１２_tは各文字が持つ
方形度の値が記憶保持されているものとする。

【００９０】筆記者評価値算出部１０２は図１０に示す
ように特徴抽出部２７１、類似度平均算出部１２１から
なり、以下のようにして評価値を算出する。

【００９１】まず、特徴抽出部２７１は確定文字検出部
３から入力される確定文字の位置情報に基づいて画素値
を矩形化処理部２０２内の文字列データ記憶部２１１か
ら読みだし、候補文字選出部１と同様にして確定文字の
特徴量ベクトルを得、類似度平均算出部１２１に出力す
る。

【００９２】類似度平均算出部１２１は特徴抽出部２７
１から確定文字の特徴量ベクトルを受け、文字矩形情報
抽出部４からは確定文字の方形度を受ける。類似度平均
算出部１２１は入力されるすべての確定文字の特徴量ベ
クトルについて候補文字選出部１内の類似度算出部２７
３と同様にして文字辞書１１１₁〜１１１_t内の対応する
確定文字の代表ベクトルとの類似度を求め、前記文字辞
書毎の類似度の和μを算出する一方、入力されるすべて
の確定文字の方形度と方形度辞書１１２₁〜１１２_t内の
対応する確定文字の方形度との自乗誤差を求め、前記文
字辞書毎の自乗誤差の和νを算出し、（数６）で表わさ
れるＥiを確定文字が文字辞書１１１_iにどのぐらい近い
かを表わす筆記者評価値として筆記者決定部１０３に出
力する。

【００９３】

【数６】Ｅi＝（μ＋b1・ν）／Ｎ但し、b1は正規化定数、Ｎは入力された確定文字の数。

【００９４】筆記者決定部１０３は筆記者評価値算出部
１０２からの入力の中で最大の筆記者評価値Ｅmaxを持
つ筆記者辞書１０１内の文字辞書１１１maxを選出し、
候補文字選出部１内の文字辞書２７２の内容を文字辞書
１１１maxの内容に変換する。

【００９５】なおこの変換は前記最大の筆記者評価値Ｅ
maxがある値以上になるまで行なわないとしても良い。
また筆記者辞書１０１として文字列から得られる他の情
報（文字間ピッチ、文字の外接長方形の底辺の高さ位
置、文字の外接長方形の重心の高さ位置等）の辞書を持
っていても同様の効果を得ることができるのは明かであ
る。

【００９６】本発明の各種手段は、コンピュータを用い
てソフトウェア的に実現するのが通常であるが、各機能
を有するハード回路を用いて実現してもかまわない。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
文書毎に処理のための文字らしさを表わす評価関数を自
動的に最適化でき、処理精度、認識率の向上が図れ、そ
の実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明における一実施例の文字認識装置の構成
図である。

【図２】本発明における候補文字選出部１の構成図であ
る。

【図３】本発明における言語処理部２の構成図である。

【図４】本発明における矩形情報抽出部４の構成図であ
る。

【図５】本発明における方形度評価関数の決定法の説明
図である。

【図６】本発明における矩形分割統合部５の構成図であ
る。

【図７】本発明における矩形分割部６２の構成図であ
る。

【図８】本発明における矩形統合部６３の構成図であ
る。

【図９】本発明における統合重み付きラティス作成部８
１の構成図である。

【図１０】本発明における筆記者推定部７の構成図であ
る。

【図１１】従来例における文字認識装置の構成図であ
る。

【図１２】従来例における文字認識装置の矩形化処理部
２０１の構成図である。

【図１３】従来例における左右端検出部２１４の動作の
説明図である。

【図１４】従来例における上下端検出部２１６の動作の
説明図である。

【図１５】従来例における矩形統合認識部２０３の構成
図である。

【図１６】従来例における重み付きラティス作成部２４
１の構成図である。

【図１７】従来例における重み付きラティス記憶部２５
２の説明図である。

【図１８】従来例における文字評価値算出部２０４の構
成図である。

【図１９】従来例における矩形評価値算出部２０５の構
成図である。

【符号の説明】

１候補文字選出部（手段）２言語処理部（手段）３確定文字検出部（手段）４文字矩形情報抽出部（手段）５矩形分割統合部（手段）６認識結果出力部（手段）７筆記者推定部（手段）２１文字選択部（手段）２２候補文字記憶部（手段）３１候補単語決定部（手段）３２候補文節決定部（手段）３３文節評価確定部（手段）３０１候補文字組合せ部（手段）３０２単語整合部（手段）３０３単語辞書３０４候補単語記憶部（手段）３０５候補文節出力部（手段）３０６文節整合部（手段）３０７文法辞書３０８候補文節記憶部（手段）３０９候補文節組合せ部（手段）３１０文節評価値算出部（手段）３１１文節決定部（手段）４１矩形面積算出部（手段）４２方形度関数決定部（手段）４３空白度評価関数決定部（手段）４４矩形面積評価関数決定部（手段）４５評価関数記憶部（手段）６１分割矩形候補選出部（手段）６２矩形分割部（手段）６３矩形統合部（手段）７１分割点検出部（手段）７２分割矩形列方向周辺分布算出部（手段）７３分割矩形上下端検出部（手段）７４矩形記憶部（手段）８１統合重み付きラティス作成部（手段）８２統合重み算出部（手段）９１矩形組合せ部（手段）９２統合重み付きラティス記憶部（手段）１０１筆記者辞書１０２筆記者評価値算出部（手段）１０３筆記者決定部（手段）１１１筆記者辞書１０１内の文字辞書１１２筆記者辞書１０１内の方形度辞書１２１類似度平均算出部（手段）２０１入力文字列２０２矩形化処理部（手段）２０３矩形統合認識部（手段）２０４文字評価値算出部（手段）２０５矩形評価値算出部（手段）２０６認識結果２１１文字列データ記憶部（手段）２１２周辺分布算出部（手段）２１３ガウシアンフィルタ処理部（手段）２１４左右端検出部（手段）２１５列方向周辺分布算出部（手段）２１６上下端検出部（手段）２１７基本矩形記憶部（手段）２４１重み付きラティス作成部（手段）２４２重み値算出部（手段）２４３切り出し位置探索部（手段）２５１基本矩形組合せ部（手段）２５２重み付きラティス記憶部（手段）２７１特徴量抽出部（手段）２７２文字辞書２７３類似度算出部（手段）２７４出力選出部（手段）２８１方形度算出部（手段）２８２空白度算出部（手段）２８３適合度算出部（手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者阪上茂生大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者香田敏行大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者丹羽寿男大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者小島良宏大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】候補文字を組合せて単語辞書との整合性を
みることによって複数の候補単語を決定する候補単語決
定手段と、前記候補単語決定手段の結果から文節を推定
し、前記推定した文節と文法辞書との整合性をみること
によって複数の候補文節を決定する候補文節決定手段
と、前記候補文節決定手段によって候補に挙げられた候
補文節について前記候補文節を構成する文字の類似度平
均、前記候補文節を構成する単語の文字数と所定値との
差の自乗、前記候補文節の文字数、前記候補文節を構成
する単語の頻度とで表わされる評価関数に基づいて評価
値を算出した後、連続する前記候補文節を組み合わせる
ことによってできる一定長さの文節群について、一文節
当りの前記評価値が最も良い文節群を選出し、前記文節
群の先頭文節を確定するとともに確定された文節が持つ
評価値を文節としての言語的正しさを表わす評価値とす
る文節評価確定手段とを備えたことを特徴とする言語処
理装置。
【請求項２】入力文字列からの文字切り出し処理によっ
て生じる文字の外接長方形候補である矩形の縦横比、前
記矩形の面積と前記矩形面積に占める文字構成成分以外
の部分の面積の割合とで表わされる評価関数に基づいて
分割すべき矩形（１文字分以上の文字構成成分を含む矩
形）を選出する分割矩形候補選出手段と、前記分割矩形
候補選出手段によって選出された矩形を分割する矩形分
割手段と、前記矩形分割手段によって分割されて生じた
矩形も含めてすべての矩形を組み合わせて最適な矩形の
統合の組合せを決定する矩形統合手段とを備えたことを
特徴とする矩形分割統合装置。
【請求項３】入力された文字列構成成分を文字列方向の
軸に射影してできるヒストグラムの値の小さい部分で分
割することで文字列構成成分を複数の矩形として分割す
る矩形化処理手段と、それら矩形内部の文字構成成分か
ら特徴抽出を行い、どの文字にどれくらい近いかを表わ
す類似度を各文字について算出することによって複数の
候補文字を選出する候補文字選出手段と、前記候補文字
選出手段の結果を単語辞書、文法辞書と照合することに
よって文章としての確からしさの評価値を算出する請求
項１記載の言語処理装置と、前記言語処理装置の結果か
ら文字として確定した矩形を検出する確定文字検出手段
と、前記確定文字検出手段の結果から文字として確定し
た矩形の特徴を抽出する文字矩形情報抽出手段と、前記
文字矩形情報抽出手段よって得られた矩形情報に基づい
て、まだ文字として確定していない矩形の統合と分割を
行なう請求項２記載の矩形分割統合装置と、前記確定文
字検出手段の結果を認識結果として出力する認識結果出
力手段を備えたことを特徴とする文字認識装置。
【請求項４】各筆記者が書く文字、あるいは印刷文字の
フォントの癖（各文字の特徴量の分布、文字の外接長方
形の縦横比、文字の大きさ）を記憶保持している筆記者
辞書と、前記筆記者辞書と言語的に正しいと確定された
文字との整合性をみることによって前記筆記者辞書のど
の筆記者またはどの印刷文字のフォントにどれくらい近
いかを表わす評価値を算出する筆記者評価値算出手段
と、前記筆記者評価値算出手段の結果によって入力文字
列の筆者または印刷文字のフォントを特定する筆記者決
定手段を備えたことを特徴とする筆記者推定装置。
【請求項５】入力された文字列構成成分を文字列方向の
軸に射影してできるヒストグラムの値の小さい部分で分
割することで文字列構成成分を複数の矩形として分割す
る矩形化処理手段と、それら矩形内部の文字構成成分か
ら特徴抽出を行い、どの文字にどれくらい近いかを表わ
す類似度を各文字について算出することによって複数の
候補文字を選出する候補文字選出手段と、前記候補文字
選出手段の結果を単語辞書、文法辞書と照合することに
よって文章としての確からしさの評価値を算出する請求
項１記載の言語処理装置と、前記言語処理装置の結果か
ら文字として確定した矩形を検出する確定文字検出手段
と、前記確定文字検出手段の結果から文字として確定し
た矩形の特徴を抽出する文字矩形情報抽出手段と、前記
確定文字検出手段の結果と前記文字矩形情報抽出手段よ
って得られた矩形情報に基づいて入力文字列の筆記者ま
たは印刷文字のフォントを決定し、その結果を前記候補
文字選出手段に出力する請求項４記載の筆記者推定装置
と、前記文字矩形情報抽出手段よって得られた矩形情報
に基づいて、まだ文字として確定していない矩形の統合
と分割を行なう請求項２記載の矩形分割統合装置と、前
記確定文字検出手段の結果を認識結果として出力する認
識結果出力手段とを備えたことを特徴とする文字認識装
置。