JPH01233679A

JPH01233679A - 言語認識装置

Info

Publication number: JPH01233679A
Application number: JP63061385A
Authority: JP
Inventors: Yoshiaki Kurosawa; 由明黒沢
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-03-15
Filing date: 1988-03-15
Publication date: 1989-09-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、文字、音素、音節等を認識単位とし言語情報
を認識する言語認識装置に係わり、特に認識のあいまい
さを言語の知識による拘束条件を用いて減少させ、最終
的に尤もらしい候補文を選択する文章後処理手段を備え
た言語認識装置に関する。

（従来の技術）従来より、文字若しくは音声認識結果から尤もらしい候
補文を選択するいくつかの文章後処理技術が知られてい
る。その一つは文字単位の認識率が比較的良い場合に適
用される候補文生成方式であり、他の一つは文字単位の
認識率が悪い場合でも適用が可能な探索木生成方式であ
る。候補文生成方式は、第１６図に示すように、文字認
識結果中のりジェクト文字に対応する複数の候補文字を
それぞれ当てはめた複数の候補文を生成し、これら候補
文に対して文章解析を行なって最終的に妥当な文を選択
する方式である。一方、探索木生成方式は、上述のよう
な候補文を生成するのではなく、第１７図に示すように
、各文字毎の認識の結果得られる候補文字列と単語辞書
とを直接照合比較する方式である。この方法では、まず
、候補文字列の一部分の照合を行なう。その結果、可能
な候補文節が得られた時は、それに続く文節を次々に求
めていくことにより、候補文節の接続関係を表す木表現
を得る。最後に、この木表現の中から最適なバスを求め
ることにより最適解を得ることができる。

しかし、上述した候補文生成方式では、文字認識結果の
りジエクト数が多いとその組合わせが極端に増加するの
で、事実上、候補文を生成することができなくなるとい
う欠点がある。一方、従来の探索木生成方式では、単語
照合の高速処理方式や木探索の高速処理方式に十分な考
慮が払われていなかったので、処理時間がかかりすぎる
という欠点があった。また、処理速度を高めるために処
理を単純化すると、認識性能が低下してしまうという問
題があった。

（発明が解決しようとする課題）このように、従来の言語認識装置における文章後処理と
しての候補文生成方式では、候補文字数が多いと候補文
の生成が困難になり、また探索木生成方式では、認識性
能を維持しようとすると本探索に時間がかかりすぎると
いう欠点があった。

本発明は、このような問題点を解決し、認識性能を低下
させることなく、処理速度を向上させることができる言
語認識装置を提供することを目的とする。

［発明の構成］（課題を解決するための手段）本発明は、認識単位の系列を入力する入力手段と、この
入力手段を介して入力された認識単位の系列を認識して
各認識単位について一又は複数の認識候補からなる認識
候補群を求める認識手段と、前記認識単位の系列の全体
にわたり、前記各認識単位の認識候補群のうちからその
認識結果と言語の知識とに基づいて尤もらしい一又は複
数の認識候補を選択し、これらを順次探索木状に展開し
ながら前記探索木のバスに沿って候補文を生成していく
文章後処理手段とを具備した言語認識装置において、前
記文章後処理手段が、前記探索木のバスの数を常に一定
数以下に保ちつつ前記候補文を生成していくものである
ことを特徴としている。

即ち、本発明は、例えば第１図に示すように、探索木の
各ノード（この例では文節）のうち、同一レベルのノー
ドから例えば２つずつ認識候補を選択し、探索木のバス
の数を常に２以下に保ちつつ候補文を生成していく。

本発明の好ましい態様においては、前記文章後処理手段
は、候補文の生成途中で前記探索木の展開が不可能にな
ったバスについては、次の認識候補から再度探索木を展
開していくようにしている。

この場合、前記探索木の展開が不可能になったバスにつ
いては、それを識別するため、ストップフラグを立てる
ようにすると良い。

また、前記探索木の各ノードが、例えば単語又は文節で
あるとすると、前記文章後処理手段は、連続する前記認
識候補群に対して単語照合又は文節照合を行ない、その
結果の良好な認識候補を選択するように動作をする。

（作用）本発明によれば、文章後処理手段が、前記探木本のバス
の数を常に一定数以下に保ちつつ前記候補文を生成して
いくので、候補文は絞り込まれ、認識候補の不必要な選
択処理を行なわない分だけ、木探索の高速化が図れる。

例えば、第１図の例では、探索木のバスが２以下になる
ように候補文が生成されるので、最終的には、候補文の
バスが特定のバスに絞り込まれていく。このように、バ
スが絞り込まれることにより、探索木の展開範囲が挟ま
り、結局、処理数を少なくできる。

また、例えばストップフラグなどを用いて探索木の展開
が不可能になったバスについては、次の認識候補から再
度探索木を生成していくようにすれば、古いレベルの有
効なバス（候補文）を残すことができ、しかも文章後処
理部が同一バスを繰返し探索するような無限ループに陥
るの、を防止できる。従って、さらに認識性能が良好で
信頼性の高い処理が行なえる。

また、本探索を文字単位や音素単位ではなく、単語単位
や更には文節単位で行なうようにすると、より長い単位
の照合処理によって認識候補が選択されるので、更に認
識性能が向上するとともに、木探索の高速化を図ること
ができる。

（実施例）以下、図面を参照しながら、本発明の一実施例について
説明する。

第２図は、本発明を日本語の文字認識装置に適用した実
施例の構成を示す図である。このシステムは、スキャナ
１、文字切出部２、文字認識部３及び文章後処理部４よ
り構成されている。

スキャナ１は、例えば第３図に示すような手書き文字若
しくは印刷文字の記載された帳票２１を光学的に読取り
、その読取り情報を二値パターン情報として文字切出し
部２に出力する。文字切出部２は、スキャナ１から入力
された二値パターン情報から１つ１つの文字を切出し、
その文字パターンを文字認識部３に出力する。文字認識
部３は、この文字パターンを認識して、その認識結果の
コードを出力する。第４図はこの文字切出しと文字認識
処理の一例を示す図である。即ち、いま「船」という文
字３１が入力され、これが例えば図中３２のように切出
された場合、文字認識部２は文字認識結果として３３に
示すような第１位から第３位までの文字認識候補を得る
。また、文字切出部２が入力文字３１に対する例えば図
中３４及び３５のような切出し可能性を示唆した場合に
は、文字認識部２は文字認識結果として上述した認識結
果３３の他に３６に示すような各文字についての文字認
識候補を得ておく。このように切出しにあいまい性が残
る場合には、後処理結果によって最終的にどちらの切出
しが妥当であったかを判断する。なお、これら文字認識
候補には文字認識の確からしさを示す情報、例えば類似
度等が付属されているの・が望ましい。この認識処理の
結果、第５図に示すように認識単位である各文字につい
て３つ程度の認識候補からなる認識候補群を求めて候補
文字列４１が得られる。

この候補文字列４１は、文章後処理部４に入力され、た
こで日本語の知識及びその認識結果の情報を用いた尤も
らしい認識候補文の生成に供される。この文章後処理部
４は、第２図に示すように、データ入力部１１、単語マ
ツチング部１２、文節マツチング部１３、木探索部１４
、データ出力部１５及びこれらを制御する全体制御部１
６により構成されている。

データ入力部１１は、最大Ｂ文字分を収容できるデータ
φバッファを備えている。順次入力される候補文字列は
、このデータ・バッファに格納される。このデータ・バ
ッファは、例えば第６図（ａ）に示すような形式となっ
ている。このバッファ５１は、０番目の文字格納位置か
らＢ−１番目の文字格納位置までの間にＡ番目の文子格
納位置を有し、同図（ｂ）に示すように、０番目に格納
された文字から処理が進められ、現在処理位置ＰがＡ番
目の格納位置を越えたら（５２）、未処理の候補文字列
をその先頭が０番目の格納位置に位置するようにシフト
しく５３）、これに続くＢ−Ｐ−１番目の格納位置から
Ｂ−１番目の格納位置までの領域に新たな候補文字列を
格納する（５４）。なお、このデータ・バッファ５１の
動作は一例であって、例えば第７図に示すように、現在
処理位置ＰがＡ番目の格納位置を越えたら（５５）、未
処理の候補文字列をシフトさせずに、０番目の格納位置
からＰ−１番目の格納位置までの領域に新たな候補文字
列を格納する（５６）ようにしてリング・バッファを形
成しても良い。この場合、Ｂの位置は０の位置と同一視
され、ノく・ソファはリング状の無限ループを構成する
ことになる。また、Ｂの値を２．にしておけば、バッフ
ァ位置を示すカウンタのｎ＋１桁目以上を無視すること
により、格納位置の指定を単純化することができる。

このように、候補文字列は、あるまとまった単位で非同
期に一括してデータ・バ・ソファに入出力されるように
動作をする。そして、データ入力部１１にこのようなデ
ータ・バッファを用いることにより、文章後処理に必要
な認識候補列を前後に自由に参照することができる。

データ入力部１１に入力された候補文字列に対し、全体
制御部１６は、木探索部１４を動作させて探索木状に展
開し、候補文を生成していく。この木探索部１４は、ま
ず文節マツチング部１３を起動し、更に単語マツチング
部１２を起動する。

単語マツチング部１２は、以下の処理によって単語辞書
と入力された候補文字列とのマツチングを行なう。すな
わち、今、候補文字列が第８図に示すように、・・・、
　　ｂ　Ｌｐ　、　　ｂ　１．ｐ＋ｌ　、　　ｂ　ｌ、
ｐ＋２　。

・・・（第１位候補）、・・・、　　ｂ　２．ｐ　、　
　ｂ　２．ｐ＋１　。

ｂ　２．ｐ＋２・、・・・（第２位候補）のように求め
られているとすると、単語辞書に登録されている長さΩ
の単語ａｌ、ａ２．・・・、ａｇとのマツチング結果と
して得られる一致度Ｓは、次の式によって求められる。

ここで、ｒ（１）　　：第ｉ文字位置の候補文字数ｓｊ、ｉ：第
ｉ文字位置の第ｊ候補文字の認識の確からしさを表す数
値である。この−成度Ｓを用い、Ｓが所定のしきい値を超
えたときに、その単語を候補単語として出力する。なお
、このＳの計算方法としては、この他にも特開昭５８−
３９３７７号、特開昭５９−１９７９７４号、特願昭５
９−２８１２４４号等に記載されているように種々の方
法を採用できる。また、このような−成度Ｓのみを使用
する単語マツチングだけでなく、例えば単語の出現頻度
、品詞情報、前後の接続情報等を使用して、総合的に判
定するようにしても良い。第４図に示したように、文字
切出で複数の切出し可能性を示唆した場合には、その各
々について同様の単語マツチングを行なえば良い。

この他、単語辞書に登録されていない単語に対する定形
フォーマット単語の処理として次のような方式を用いる
ことも可能である。この例を第９図に示す。図中、「￥
」　「昭和」　「年」　「月」「日」なる文字は、定形
部分であり、ｎ＊は長さが不定の数字文字列、ｎｎは１
桁又は２桁の数字文字列を意味する。このような定形フ
ォーマットについては、定形部分以外の数字文字列の部
分については各桁の最大のｓ　Ｊ、ｉを持つ数字を採用
し、そのｓ　ｊ、ｉの値を全文字について加算する。こ
のようにして求められた数字文字列の一致度を定形部分
の一致度と合計することにより定形フォーマット全体の
一致度を得る。図中６１に示すような不定長の数字列に
対しては、各長さの文字列についての一致度を得て、そ
のそれぞれを単語候補とする。この時、単語長は、ある
長さ以下に限定しても良いし、−成度があるしきい値以
下になる長さ以上のものについては、候補としないよう
にしても良い。こうして候補単語は、上記採用された数
字を定形フォーマット内のｎ＊またはｎｎの部分に埋込
むことによって得られる。図中６２の例に対して６３の
例では、７２ｍ、ｎは、各々１≦ｙ≦（現在の年度）、
１≦ｍ≦１２，１≦ｎ≦（ｍ月の日数）のように限定条
件の付された数字文字列である。この場合には、候補数
字列の中から上記条件式を満たすものを選べば良い。ま
た、ここでは、数字文字列の例で定形フォーマットのマ
ツチングについて説明したが、対象字種は英字。

記号、カタカナを問わない。また定形フォーマットの記
述なしに、単に数字列、年月日列のような指定方法によ
って処理しても良い。

第１０図に、この単語マツチングで使用される単語辞書
の一例を示す。辞書本体７１は、ＪＩＳコード順にソー
トされている。ポインタテーブル７２は、単語の先頭文
字のＪＩＳコードに対応させて、辞書本体７１内の当該
単語の格納エリアの先頭アドレスと最終アドレスとを格
納したものである。単語マツチングを行なう時には、候
補文字列７３の第１文字の第１位から第１位までの候補
字ついて、順にそのＪＩ８コードからポインタテーブル
７２を参照し、そのポインタテーブル７２に示されるエ
リアの単語についてのみ単語マツチングを行なうように
する。この処理でく途中の第１位の候補文字の処理中に
一定値以上の一致度を持つ単語が得られた時は、第ｉ＋
１位以降の処理をオミットしても良い。これによって処
理の高速化を図ることができる。また、最後まで処理を
行なって一定値（上記とは別の値でも良い）以上の一致
度を持つ単語が得られないときに辞書全体のマツチング
を行なっても良い。こうすることにより、第１文字に正
解文字が含まれていない場合でも単語マツチングが可能
となる。

文節マツチング部１３では、単語マツチング部１２で得
られる候補単語を接続して候補文節を作る。ここで文節
とは、基本的には「語幹」＋「活用形」＋「助動詞」＋
「助詞」で構成されたまとまりをいうが、それに「接頭
語」　「接尾語」　「合成語」　「句点」　「読点」等
をっけ加えたものを一つの文節として取扱うようにして
も良い。

第１１図は、この文節マツチング部１３の流れ図、第１
２図はその処理過程を説明するための図である。まず、
単語マツチング部１２がらｎ個の語幹候補が選ばれ、こ
れらがバッファ８１に初期単語として登録される（１０
１）。第１２図の例では、「乗」　「来」　「東」の３
つの語幹候補がバッファ８１に登録されている。次に、
各語幹候補に対して、付属語辞書８２内にある全付属語
の接続可能性を検討しく１ｏ２）１、接続可能性のある
付属語については、候補文字列とのマツチングをとる（
１０３）。そして、付属語の尤度があるしきい値ａを超
え、且つ語幹＋付属語の尤度があるしきい値すを超えた
ならば（１０４）、それを新たな単語としてバッファ８
１内に登録する（１０５）。これによって、文節候補を
バッファ８１内に増加させていき、最終的に得られたバ
ッファ８１内から文節として設立するものだけを抜出し
て出力する（１０６）。なお、候補数を削減するため、
単語間の接続関係を調べて有り得ない候補を削除したり
、接続頻度情報と単語マツチングの結果を使ってしきい
値処理を総合的に行なうようにしてもよい。

木探索部１４は、いわゆるビームサーチ法を候補文生成
に適用した処理を行なう部分で、候補文の数を常に一定
数以下に制限しながらその候補文の最後尾に文節マツチ
ングを適用し、その結果得られる候補文節を上記候補文
に付加して新しい候補文を作成していく。この処理の流
れを第１３図に、また処理の様子を第１４図に示す。

即ち、第１４図に示すバッファ９１は、予め定められた
ビームを構成するバスの数（この例では２）だけの候補
文を格納するために用意されたものである。このバッフ
ァ９１には、各候補文格納エリアと対応してストップフ
ラグ９２と得点９３とが付帯情報として付加されている
。ストップフラグ９２は、それがｏｎになった場合は、
以後の処理で文節マツチングによる候補文の拡張を行な
わないことを指示するためのフラグである。このストッ
プフラグ９２は、有効な候補文が、それに続く文節の接
続の失敗で棄却されてしまうのを防止するために必要な
フラグであるとともに、本探索処理が、上記文節の接続
の失敗によって再度向、−の候補文を生成するという無
限ループに陥るのを防止するものである。例えば句読点
や読点等が出現した場合には、このストップフラグがＯ
ｎになるようにしても良い。また、得点９３は候補文の
一致度又は評価値に基づく数値で、例えばこ°れらの氷
積値や平均値等が使用される。また、この本探索処理に
は、第１４図に示すテンポラリバッファ９４が使用され
る。このテンボラリノ＜・ソファ９４にも、各バスの格
納領域に対応してスト・ツブフラグ９５と得点９６とが
付属されて、いる。

本探索処理においては、まず、テンボラリノくソファ９
４がクリアされる（１１１；第１３図）。

次に、バッファ９１内の各候補文について、そのストッ
プフラグ９２がｏｆｆ’であることを条件に（１１２）
、文節マツチングによる候補文の拡張を行なってい＜　
（１１３，１１４，１１５）。拡張された候補文は、ス
トップフラグをｏｆ’ｆにしてテンポラリバッファ９４
に格納されていく。また、元の候補文についてもストッ
プフラグをＯｎにしてテンポラリバッファ９４に格納さ
れる（１１５）。

これらは、新しく生成された探索木のノくスである。

そして、これら各バスについて得点９６が計算され、得
点の高い方から２つのノくスが選択され、新たな候補文
としてバッファ９１に格納される（１１６）。例えば、
第１４図では、得点力（Ｓ４＞８８である関係の候補文
「宇宙」　「宅地」に、比較的一致度の高い「船に」　
「船は」がそれぞれ接続されることにより、全体の候補
文の得点順位がＳＬ　＞３２　＞Ｓ３・・・に変化した
とすると、候補文としては、「宇宙船に」　「宇宙船は
」、の２つが残ることになる。このような処理を、全て
のバスのストップフラグがＯｎになるまで繰返しく１１
７）、最終的に得点の高いバスを候補文として出力する
（１１８）。

このような処理によれば、候補文は、常に一定の数に制
限されるので、無制限にワークバッファや処理速度を増
大させることなく正しい候補文を探索していくことがで
きる。

なお、ここで、文の評価値としては、前述したように文
節の一致度の累積値を用いれば良いが、更に、これに加
えて各文節の接続毎に、その接続の適正度や接続の頻度
情報等に基づく値を加算するようにしてもよい。また、
文の長いものが無条件に有利になるのを防止するため、
評価値からα×（文の長さ）を減じるようにしても良い
。

データ出力部１５は、本探索部１４で得られた候補文の
中から出力データを文章後処理部４の外部に出力するも
のである。ここでは、次の時点で候補文の出力動作を行
なう。

（１）候補文中の文が長くなりすぎてバ・ソファ９１が
溢れた時。この時は、文中の第１位の得点の候補文を出
力する。

（２）候補文中の文のどれもが新たに拡張できなくなっ
た時（ストップフラグが全てＯｎになった時）。この時
も、文中の第１位の得点の候補文を出力する。

（３）候補文中の各文の最初の部分が完全に一致すると
き。この時は、その一致部分を出力する。

このように、このシステムでは第１順位の候補文を出力
するようにしている。その他の候補文字が必要となる時
には、次のような方法で、追加候補文字を得ることがで
きる。即ち、木探索実行中の単語マツチングにより得ら
れる候補単語を構成する文字は、候補文字として別に登
録しておき、これら候補文字にうち、一致度の高い候補
単語に含まれる文字を追加候補文字として出力する。こ
れらの出力には、文の区切りや文節として認識されたか
どうかを示すフラグなどを付属させるようにしても良い
。

第１５図に以上の処理の全体のフローを示す。

このように、上記システム、常にビームの幅を一定値（
ｂｅａａ＋幅）以下に抑えつつ、文節マツチングにより
候補文を拡張していき、最終的に得点の高い候補文を文
章後処理結果として出力するものである。

なお、本発明は上述した実施例に限定されるものではな
い。例えば、上記実施例では、文節マツチングによって
候補文を拡張していったが、単語マツチングによって候
補文を拡張していくようにしても良い。まｈ、単語マツ
チングにおいて、認識されなかった部分を集積して、そ
の中から反復して現われる文字列を新たに単語として登
録する辞書の学習処理を行なわせることも有効である。

また、単語辞書や接続に関するデータの頻度を表す情報
が付与されている場合には、上記候補文中の単語や文節
の個数に基づいて頻度を更新するようにしても良い。ま
た、読取り結果をオペレータが修正した後、その文を再
度文章解析して、その結果から上記登録動作や頻度更新
動作を行なわせたり、修正中又は修正後におけるオペレ
ータの指示（例えば更新したい文字位置や頻度更新のた
めの度数パラメータなどの指定）に従って上記登録動作
や頻度更新動作を行なわせるようにすることも有効であ
る。更に、用言の活用形を新規登録する場合には、集積
された新規登録単語の中から単語の先頭部分が一致する
ものについて語尾が活用形の形態をなしているかどうか
をチエツクして、その結果判断される活用形を付与する
ことにより行なえる。

この他、本発明は、マツチングによる候補文の拡張処理
を候補文の数を制限しながら進めてい（ので、音声認識
装置にも全く同様に適用可能である。

［発明の効果］以上述べたように、本発明によれば、探索木のバスの数
を制限しながら候補文を生成していくので、探索木の展
開処理範囲を大幅に制限して処理数の削減が図れるとと
もに、認識性能を十分に高めることができる。

【図面の簡単な説明】

第１図は本発明における木探索方法の一例を示す図、第
２図は本発明の一実施例に係る文字認識装置のブロック
図、第３図は同装置に入力される帳票の部分平面図、第
４図は同装置における文字切出し及び文字認識結果を示
す図、第５図は同装置における轄補文字列を示す図、第
６図及び第７図は同装置における入力データバッファを
示す図、第８図は同装置における候補文字列を記号化し
て示す図、第９図は同装置において認識される定形フォ
ーマットの例を示す図、第１０図は同装置における単語
辞書の一例を示す図、第１１図は同装置における文節マ
ツチング処理の流れ図、第１２図は同装置における文節
マツチングの様子を示す図、第１３図は同装置における
木探索の処理の流れ図、第１４図は同装置における木探
索の様子を示す図、第１５図は同装置の全体フローを示
す図、第１６図は従来の候補文生成方式の手順を示す流
れ図、第１７図は従来の探索木生成方式の処理手順を示
す流れ図で・ある。１・・・スキャナ、２・・・文字切出部、３・・・文字
認識部、４・・・文章後処理部、１・・・データ入力部
、１２・・・単語マツチング部、１３・・・文節マツチ
ング部、１４・・・本探索部、１５・・・データ出力部
、１６・・・全体制御部。出願人代理人　弁理士　鈴江武彦徳　１　図４ｑ−ヅ第５０第８０第９０第６　口第７　ロ第１２山

Claims

【特許請求の範囲】

（１）認識単位の系列を入力する入力手段と、この入力
手段を介して入力された認識単位の系列を認識して各認
識単位について一又は複数の認識候補からなる認識候補
群を求める認識手段と、前記認識単位の系列の全体にわ
たり、前記各認識単位の認識候補群のうちからその認識
結果と言語の知識とに基づいて尤もらしい一又は複数の
認識候補を選択し、これらを順次探索木状に展開しなが
ら前記探索木のバスに沿って候補文を生成していく文章
後処理手段とを具備した言語認識装置において、前記文章後処理手段は、前記探索木のバスの数を常に一
定数以下に保ちつつ前記候補文を生成していくものであ
ることを特徴とする言語認識装置。
（２）前記文章後処理手段は、候補文の生成途中で前記
探索木の展開が不可能になったバスについては、次の認
識候補から再度探索木を展開していくものであることを
特徴とする請求項１記載の言語認識装置。
（３）前記文章後処理手段は、候補文の生成途中で前記
探索木の展開が不可能になったバスについては、ストッ
プフラグを立てるものであることを特徴とする請求項２
記載の言語認識装置。
（４）前記文章後処理手段は、連続する前記認識候補群
に対して単語照合又は文節照合を行ない、その結果の良
好な認識候補を選択するものである請求項１記載の言語
認識装置。
（５）前記探索木の各ノードは、単語又は文節であるこ
とを特徴とする請求項１記載の言語認識装置。