JP3647127B2 - 情報処理方法及び装置 - Google Patents
情報処理方法及び装置 Download PDFInfo
- Publication number
- JP3647127B2 JP3647127B2 JP03781696A JP3781696A JP3647127B2 JP 3647127 B2 JP3647127 B2 JP 3647127B2 JP 03781696 A JP03781696 A JP 03781696A JP 3781696 A JP3781696 A JP 3781696A JP 3647127 B2 JP3647127 B2 JP 3647127B2
- Authority
- JP
- Japan
- Prior art keywords
- classification tree
- category
- information processing
- created
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は情報処理方法とその装置、特に、文字認識、音声認識等の文章を認識する情報処理方法および装置に関する。
【０００２】
【従来の技術】
従来、文章認識を行う１方法として、Ｎ−ｇｒａｍテーブルを使用した方法が存在した。
この方法は、例えば、文献「確率モデルによる音声認識」（電子情報通信学会編、中川聖一著）にあるように、文章の帰属する言語モデルとして有限状態オートマトンを採用し、このモデルに基づいて文字列の事前確率を求める方法である。
【０００３】
つまり、この方法においては、文章を構成する要素列の連なりに関する確率を大規模文章データベースから求められるステップが必要不可欠になる。
【０００４】
【発明が解決しようとする課題】
しかしながら、日本語や中国語のように、文字の種類が数千種類になる言語においては、ｔｒｉｇｒａｍ（Ｎ＝３）程度のテーブルを作成するにも非常に大量の文章データが必要になる。
また、少ない文章データを用いてテーブルを作成しようとすると、信頼性のある遷移確率と信頼性のない遷移確率がテーブル内に共存することになり、不具合が生じるという問題があった。
【０００５】
本発明は、上記従来例に鑑みてなされたもので、文字パターンから効率よく階層化文字パターンを生成する情報処理方法および装置を提供することを目的とする。
また、生成された階層化文字パターンに基づいて、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される構造の分類木を生成する情報処理方法および装置を提供することを目的とする。
【０００６】
また、生成された分類木からメモリ効率のよいＮ−ｇｒａｍテーブルを生成する情報処理方法および装置を提供することを目的とする。
さらに、生成されたＮ−ｇｒａｍテーブルを検索して、高認識率かつ高速な認識が可能な情報処理方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明の情報処理方法は以下の構成を備える。即ち、
記憶媒体に記憶されたプログラムコードを実行することにより、Ｎ−ｇｒａｍテーブルを作成する情報処理装置を制御するための情報処理方法であって、
複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理工程と、
前記階層化前処理工程で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成工程と、
前記分類木作成工程で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成工程とを備える。
【０００８】
また、上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理手段と、
前記階層化前処理手段で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成手段と、
前記分類木作成手段で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成手段とを備える。
【０００９】
【発明の実施の形態】
はじめに、本発明の実施の形態の情報処理方法のポイントを要約した後に、その詳細な説明に入るものとする。
本発明の実施の形態の情報処理方法では、学習用パターンを階層的に処理し分類木を作成する。そして、その分類木を元にＮ−ｇｒａｍテーブルを作成する。
【００１０】
また、学習用パターンの階層的処理では、学習用パターンの特徴を段階的に縮退させる。
また、分類木作成では、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される変数を選び、前記縮退された変数を下の階層に向かって展開する。
【００１１】
また、学習用ストロークを分割し、分割されたストローク切片をベクトル量子化し、その結果得られたベクトル系列を階層的に処理してベクトル系列を階層化し、その階層化されたベクトル系列を元に、分類木を作成し、その分類木を元にＮ−ｇｒａｍテーブルを作成する。
また、前記階層化前処理では、学習用ストロークを構成するベクトル系列情報を段階的に縮退させる。
【００１２】
また、前記分類木作成処理では、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離されるベクトルを選び、その結果に基づき縮退されたベクトルを下の階層に向かって展開する。
また、生成されたＮ−ｇｒａｍテーブルを元にユーザが入力した文章を認識する。
【００１３】
以下、図面に基づいて、本発明の実施の形態の情報処理装置の詳細な説明を行う。
＜実施の形態＞
図１は、本発明の以下の実施の形態すべてにかかわるパターン認識方式が適用される情報処理装置の構成を示すブロック図である。
【００１４】
パターン認識装置は、パターン入力装置２０１、表示装置２０２、中央処理装置（ＣＰＵ）２０３、メモリ２０４から構成される。
パターン入力装置２０１は、例えば、オンライン文字認識ならば、デジタイザとペンを有し、デジタイザの上にペンによって入力された文字や図形の座標データをＣＰＵ２０３に渡す。このパターン入力装置は、これから認識しようとするパターンが入力できるものならば、スキャナーでもマイクでも何でもよい。
【００１５】
表示装置２０２は、パターン入力手段２０１に入力された生のパターンデータやＣＰＵ２０３が認識した結果を表示する。
ＣＰＵ２０３は、入力されたパターン認識を行ったり、すべての装置の制御を行う。
メモリ２０４は、ＣＰＵ２０３が使用する認識プログラムや辞書を記録したり、入力されたパターンデータ、認識プログラムの使用する変数等を一時的に記録する。
【００１６】
図２は、本発明に係る実施の形態の情報処理方法の処理概念を表す図である。１０１は生の学習用パターンであり、Ｓ１０２は、生の学習用パターン（１０１）をニューラルネットに適用する前処理を行う階層化前処理ステップである。
１０３は、ニューラルネットで処理後の階層化された学習用パターンである。
Ｓ１０４は、階層化された学習用パターン（１０３）を元に分類木を作成する分類木作成ステップである。
【００１７】
Ｓ１０５は、分類木作成ステップ（Ｓ１０４）が分類木を作成する過程で使用する展開変数判別ステップである。
１０６は、ステップＳ１０４の処理で生成された分類木である。
１０７は、文章データベースである。この文章データベースには、一般に使われている様々な文章のパターンが格納されている。この文章データベースは、後述するＮ-ｇｒａｍ作成ステップで、事前に生成された分類木での事前確率を求めるためにアクセスされる。
【００１８】
Ｓ１０８は、文章データベース（１０７）と分類木（１０６）を元に、Ｎ−ｇｒａｍテーブル（１０９）を作成するＮ−ｇｒａｍテーブル作成ステップである。本実施の形態における入力は、生の学習用パターン（１０１）、および、文章データベース（１０７）であり、その出力はＮ−ｇｒａｍテーブル（１０９）となる。
【００１９】
以下、図３から図７に基づいて、本実施の形態の処理手順を詳細に述べる。
まず、入力パターンとしては、１６×１６のメッシュ上に書かれた「０」から「９」までの１０個の数字パターンがあるとする。「０」の入力パターン例を図５に示す。
辞書作成用の学習パターンは、「０」から「９」までそれぞれ１００個存在するとする。なお、これらを、
ＬＴi,j（Learning Template i,j）
と名前付ける。ここで、ｉはカテゴリーを表すサフィックスで、
０＜＝ ｉ ＜＝ ９
の範囲の値をとる。ｊは、学習パターンナンバーを示すサフィックスで、
１＜＝ ｊ ＜＝ １００
の範囲の値をとる。
【００２０】
そして、図３に示すような４階層のニューラルネットワークを構成する。
図３の４階層は、それぞれ上から２×２、４×４、８×８、１６×１６個のニューロン群から構成される。
本パターン認識用辞書作成方法は、ニューラルネット展開フェーズ、分類木作成フェーズ、Ｎ−ｇｒａｍテーブル作成フェーズの３段階のステップをへて実施される。以下、順に説明する（図４参照）。
【００２１】
（１）ニューラルネット展開フェーズ
まず、学習用テンプレートは、図３の最下層の１６×１６個のニューロンに入力される。この時、入力パターン（ＬＴi,j）の白の部分はニューロンがオフ（ＯＦＦ）で、黒の部分はニューロンがオン（ＯＮ）になるとする。以下の説明においては、「黒」と「ニューロンのＯＮ」／「白」と「ニューロンのＯＦＦ」はそれぞれ同一の意味を持つものとする。
【００２２】
ニューラルネットの構成は極めて単純である。つまり、下の層の２×２のニューロンの中で、ＯＮとなっているものが１つでもあれば、真上の層の１つのニューロンはＯＮとなる。というルールで入力パターンを上に向かって処理していく。
図５の学習用テンプレートを処理した結果を、図６に示す。
【００２３】
結局、入力パターンの特徴空間は２５６次元の超立方格子（２256通りのデータ組み合わせを有する）をなす。
これが、第１層では２4、第２層では２16、第３層では２64となる。
なお、このニューラルネットの構造はこれに限ったものではない。
【００２４】
（２）分類木作成フェーズ
（１）のニューラルネット展開フェーズによって、学習用テンプレート（ＬＴi,j）の全てが、図３のニューラルネットに展開される。分類木の作成はこのニューラルネットの展開とは逆に、上から下へ行われる。
【００２５】
ルールのノードは、図３の最上位の層（２×２）のさらに上に仮想的に存在するニューロンから始まる。
学習用テンプレート（ＬＴi,j）を展開した結果、図３の最上位の層（２×２）はどれかはＯＮとなっている。言い換えれば、真っ白い学習用テンプレートが存在しない限り最上位の層（２×２）は、すべてＯＦＦにはならない。
【００２６】
よって、全ての学習用テンプレート（ＬＴi,j）に対して、仮想的に存在する最上位ニューロンの活動はＯＮとなっている。
最上位の層（２×２）の状態は、２4＝１６個存在するので（正確には、上記説明のように、すべてＯＦＦの状態ではないので、１５個である）、ルートノードから１６本の枝が伸びることとなる。（図７参照）
この時、枝に存在する学習用テンプレート（ＬＴi,j）の数を数える。この結果によって、以後の処理が３つにわかれる。
【００２７】
(1)学習用テンプレート（ＬＴi,j）が１つも存在しない場合
この場合は、その枝を削除する。
(2)学習用テンプレート（ＬＴi,j）の中で、あるカテゴリー（例えば「１」のテンプレートのみ存在する場合
この場合は、この枝を葉とし、カテゴリーの番号（例えば「１」）を割り振る。
(3)上記１、２以外の場合、即ち、複数カテゴリーのテンプレートが混合して存在する場合
この場合、この枝をノードとして、更に分類木作成を続ける。
【００２８】
図７が、この処理の結果を示すものである。
枝の状態は、図３の最上位の層（第１層）のニューロンの発火状況を図示することによって、示してある（黒はＯＮで、白はＯＦＦを表す）。
【００２９】
存在するカテゴリーの種類の欄が「×」となっている枝は、上記(1)学習用テンプレート（ＬＴi,j）が１つも存在しない場合に相当し、削除される。
なお、厳密には、一番左の枝はルートからは、出ていない。
左から８番目の枝は、「１」のカテゴリーの学習用テンプレートしか存在しない。これは、上記(2)学習用テンプレート（ＬＴi,j）の中で、あるカテゴリー（例えば「１」）のテンプレートのみ存在する場合に相当し、葉となる。
【００３０】
例えば、左から１２番目の枝には「２」「４」「５」「６」のカテゴリーの学習用テンプレートが存在し、上記(3)上記１、２以外の場合＝複数カテゴリーのテンプレートが混合して存在する場合に相当し、ノードとなる。
次に、このノードから枝を作成する方法について述べる。
このノードから枝を作成する際に、最も効率の良い枝の作成を行いたい。最も効率が良いとは、結局、枝を展開したときに、最も多くカテゴリーに関する情報が得られるということである。
【００３１】
このような要請のもとで枝を展開する方法は、一般に非常に多く存在し、そのどれを採用してよいかは、なかなか決定できない。従来、この問題が原因で、認識用の分類木がうまく作成できないでいた。
【００３２】
しかし、仮に、このノードから展開する枝を、このノードにおいて、ＯＮとなっているニューロンを下の層に展開した枝に限ってみる。
【００３３】
例えば、図７の左から１２番目の枝の場合、図３の第１層における左上、左下、右下の３つのニューロンの中から１つ選び、そのニューロンの下、つまり図３の第２層の下４つのニューロンの状態に関する枝の展開を行う。こうすることによって、枝の展開に要する計算時間を大幅に削減できるし、このような制限をしても、本質的に分類木の分類性能に大きなダメージは与えない。
【００３４】
次に、このノードにおいて、ＯＮとなっているニューロンの内で、展開したときに最も効率良くなるニューロンを選ぶ方法を説明する。
あるノードに存在する学習用テンプレート（ＬＴi,j）の中で、カテゴリー番号ｉの数をＮｉで表す。このノードに存在する学習用テンプレートの総数をＮとすると、このノードにおけるそれぞれのカテゴリーの存在確率ｐｉは
ｐｉ＝Ｎｉ／Ｎ
で表される。なお、
【００３５】
【数１】
【００３６】
よって、このノードの情報が得られたときのエントロピーは、以下の式で表される。
【００３７】
【数２】
（式１）
【００３８】
次に、このノードにおいて、ＯＮとなっているニューロンの１つを選択して、そこから枝を展開したときのエントロピーの減少量を計算する。
【００３９】
上述の通り、１つのニューロンを下の層に向かって展開したときの枝の数は１６本である。この１６本の枝に学習用テンプレート（ＬＴi,j）がどのように分布するかを、展開したときの枝に存在する学習用テンプレート（ＬＴi,j）の数を
Ｎi,b
で表す。Ｎi,bのｉはカテゴリー番号を示し、ｂは枝（branch）の番号を示す。
【００４０】
この時、それぞれの枝の情報が得られたときのエントロピーは、上の議論と同じく、
【００４１】
【数３】
（式２）
【００４２】
この式で、
【００４３】
【数４】
【００４４】
は枝に存在する学習用テンプレート（ＬＴi,j）の総数を表す。
それぞれの枝にいく確率は、
【００４５】
【数５】
【００４６】
（ここで、Ｎは（１）式のＮと同じ）なので、結局、枝を展開したときの平均エントロピーは
【００４７】
【数６】
（式３）
【００４８】
となる。
【００４９】
結局、エントロピーの平均減少値は、
【００５０】
【数７】
（式４）
【００５１】
となる。
【００５２】
そして、この値を枝の数で割った値
【００５３】
【数８】
（式５）
【００５４】
が枝を展開したときの分類効率を表すことになる。
【００５５】
この値が最高となるニューロンを選び、枝を展開していく。
なお、１つのニューロンのみを展開するのではなく、複数のニューロンのグループに関して枝を展開してもよい。
この場合、（式５）のＢｒａｎｃｈＮｕｍｂｅｒは、ニューロンの数×１６となる。ここで、厳密には展開する下の層のニューロンがすべてＯＦＦということは有り得ないので、ＢｒａｎｃｈＮｕｍｂｅｒは、ニューロンの数×１５となる。
【００５６】
また、本実施の形態においては、（式５）で表される値を枝を展開したときの分類効率を表す値として採用したが、例えば、文献「Ｃｌａｓｓｆｉｃａｔｉｏｎａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載されている“Ｇｉｎｉｃｒｉｔｅｒｉｏｎ”等の枝の展開効率を表す関数ならば、（式５）に限らず何でもよい。
【００５７】
以上、展開するニューロン、またはニューロンの組みが決定されれば、それに従って、枝を展開し、葉及びノードを作成していく。
そして、最後に、全部が葉になったところで、分類木作成を完了する。図８に、実際作成された分類木の内容を示す。
図８は、図７を詳しくしたもので、削除された枝は省いてある。図８の○で囲ってある枝は葉であることを示す。
【００５８】
葉以外の全ての枝はノードとなるので、更に深く枝の展開が行われるわけであるが、図８においては、右から３番目のノードのみ、更なる枝の展開結果を図示した。
右から３番目のノードは、「１」「７」「９」の３種類のカテゴリーが共存しており、枝の展開が必要となっている。ここで、第１層のどのニューロンを展開すべきかについて、展開変数判別ステップＳ１０５（図２）が、第１層の右上のニューロンという答えを出したとする。
【００５９】
すると、右上のニューロンの状態に関して、図７と同様に２4＝１６本の枝が展開され、ある枝は削除され、ある枝は葉となり、ある枝はノードとなる。
ノードとなった枝は、更に枝を展開しなければならなく、最終的に全ての枝の末端は葉となる。
図８では、右から３番目のノードの展開結果を、簡単のため、第１層と第２層を重ね書きすることによって示してある。実際は、図３に示したニューラルネットの第１層の４つのニューロンと第２層の右上４つのニューロンに、これらの状態が表現されている。
【００６０】
（３）Ｎ−ｇｒａｍテーブル作成フェーズ
（２）分類木作成フェーズの結果得られる分類木の第１層は、図８に見られるように認識すべき全カテゴリーをその形状に基づいて大分類したことと等価になる。
よって、この大分類カテゴリーグループに基づいて（大分類カテゴリーグループを仮想的なカテゴリーとみなして）Ｎ−ｇｒａｍを作成すれば、より少ないデータベースで信頼性の高い状態遷移確率が求まることになる。
【００６１】
但し、ここで注意しなければいけないことは、分類木作成フェーズの結果得られる分類木の第１層は必ずしも排他的ではないということである。
例えば、図８において、「１」のカテゴリーは４つの枝（またはノード）に存在する。この現象は、文献“A Survery of DecisionTree Classifier Methodology”(IEEE Transactions on Systems, Man,Cybernetics vol.21, No.3, May/June 1991)にもあるように、“overlap classes”と呼ばれる一般的な現象である。
【００６２】
この“overlap classes”を排他的なものにするために、例えば、あるカテゴリーが存在する確率が一番高い枝をそのカテゴリーの専属枝とする方法がある。図８において、「１」のカテゴリーが左から２番目の枝に存在する確率が一番高いとすれば、左から１番目、３番目、６番目に存在する「１」のカテゴリーを無視する。
【００６３】
このようにして作成された大分類カテゴリーグループの例を図９に示す。
この図９において、○をつけた数字のカテゴリーは存在確率が一番高かったものである。
例えば、この図によれば、左から「１」が第１カテゴリーグループ、「４」「６」が第２カテゴリーグループ、「７」「９」が第３カテゴリーグループ、「０」「２」「３」「５」「８」が第４カテゴリーグループを形成し、結果的に当初１０個あったカテゴリーが４つにグループ化されたことになる。この４つのグループを新たに仮想的カテゴリーとしてＮ−ｇｒａｍを作成するわけである。
【００６４】
このようにして作成されたＮ−ｇｒａｍテーブルは、分類木作成フェーズの結果得られた分類木の情報を使用して作成されてはいるが、一般的な文章認識アルゴリズムに組み込んで使用することができるものである。つまり、文章の事前確率を求める際にこのＮ−ｇｒａｍテーブルを使用し、事後確率を求める際に前記分類木を使用せず、全く異なった認識アルゴリズムを使用しても良い。
【００６５】
言うまでもないが、Ｎ−ｇｒａｍテーブルで文章の事前確率を求めながら文章認識を行うアルゴリズムとしては、ＤＰマッチングや全探索アルゴリズム等の公知のアルゴリズムに組み込んで、文章を形成する個々のパターン形状の組み合わせを全て含めた全パターンの事前確率を求めてもよい。
また、上記の説明では、分類木の第１層を大分類カテゴリーと見なしたが、任意のｎ層までをもって大分類カテゴリーグループと見なしてもよい。
【００６６】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１０のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも、ステップＳ１０２、ステップＳ１００４「階層化前処理モジュール」、ステップＳ１０４、ステップＳ１００６での処理に対応する「分類木作成モジュール」、ステップＳ１０５、ステップＳ１００７での処理に対応する「展開変数判別モジュール」、ステップＳ１０８、ステップＳ１０１０での処理に対応する「Ｎ−ｇｒａｍテーブル作成モジュール」、ステップＳ１００２での処理に対応する「ストローク分割処理モジュール」、ステップＳ１００３での処理に対応する「ベクトル化処理モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００７２】
以上説明したように、本発明によれば、
文章を構成するパターンの所属するカテゴリーを大分類したグループに関してＮ−ｇｒａｍテーブルを作成できることによって、少ない量の文章データベースでも信頼性の高いＮ−ｇｒａｍテーブルが作成できるという効果がある。
また、パターンの形状の似かより方をうまく反映させたカテゴリーのグループかを行っているので、高い文章認識率が実現できるという効果がある。
【００７３】
【発明の効果】
以上説明したように本発明によれば、文字パターンから効率よく階層化文字パターンを生成することができる。
また、生成された階層化文字パターンに基づいて、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される構造の分類木を生成することができる。
【００７４】
また、生成された分類木からメモリ効率のよいＮ−ｇｒａｍテーブルを生成することができる。
さらに、生成されたＮ−ｇｒａｍテーブルを検索して、高認識率かつ高速な認識が可能となる。
【図面の簡単な説明】
【図１】 本実施の形態の情報処理装置の構成を示すブロック図である。
【図２】 本発明の情報処理手順の概念を示す図である。
【図３】 実施の形態の情報処理方法における処理手順の一部を示すピラミッド型ニューラルネットの構造図である。
【図４】 実施の形態の情報処理の流れを示すフローチャートである。
【図５】 実施の形態の学習用パターンの例を示す図である。
【図６】 実施の形態の階層化された学習用パターンの例を示す図である。
【図７】 実施の形態の情報処理方法における分類木作成過程を示す図である。
【図８】 実施の形態の情報処理方法で生成された分類木の様子を示す図である。
【図９】 実施の形態の情報処理方法における大分類カテゴリーグループ分けの例を示す図である。
【図１０】 本実施の形態のプログラムモジュールのメモリレイアウト例を示す図である。
【符号の説明】
２０１パターン入力装置
２０２表示装置
２０３中央処理装置
２０４メモリ
【発明の属する技術分野】
本発明は情報処理方法とその装置、特に、文字認識、音声認識等の文章を認識する情報処理方法および装置に関する。
【０００２】
【従来の技術】
従来、文章認識を行う１方法として、Ｎ−ｇｒａｍテーブルを使用した方法が存在した。
この方法は、例えば、文献「確率モデルによる音声認識」（電子情報通信学会編、中川聖一著）にあるように、文章の帰属する言語モデルとして有限状態オートマトンを採用し、このモデルに基づいて文字列の事前確率を求める方法である。
【０００３】
つまり、この方法においては、文章を構成する要素列の連なりに関する確率を大規模文章データベースから求められるステップが必要不可欠になる。
【０００４】
【発明が解決しようとする課題】
しかしながら、日本語や中国語のように、文字の種類が数千種類になる言語においては、ｔｒｉｇｒａｍ（Ｎ＝３）程度のテーブルを作成するにも非常に大量の文章データが必要になる。
また、少ない文章データを用いてテーブルを作成しようとすると、信頼性のある遷移確率と信頼性のない遷移確率がテーブル内に共存することになり、不具合が生じるという問題があった。
【０００５】
本発明は、上記従来例に鑑みてなされたもので、文字パターンから効率よく階層化文字パターンを生成する情報処理方法および装置を提供することを目的とする。
また、生成された階層化文字パターンに基づいて、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される構造の分類木を生成する情報処理方法および装置を提供することを目的とする。
【０００６】
また、生成された分類木からメモリ効率のよいＮ−ｇｒａｍテーブルを生成する情報処理方法および装置を提供することを目的とする。
さらに、生成されたＮ−ｇｒａｍテーブルを検索して、高認識率かつ高速な認識が可能な情報処理方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明の情報処理方法は以下の構成を備える。即ち、
記憶媒体に記憶されたプログラムコードを実行することにより、Ｎ−ｇｒａｍテーブルを作成する情報処理装置を制御するための情報処理方法であって、
複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理工程と、
前記階層化前処理工程で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成工程と、
前記分類木作成工程で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成工程とを備える。
【０００８】
また、上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理手段と、
前記階層化前処理手段で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成手段と、
前記分類木作成手段で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成手段とを備える。
【０００９】
【発明の実施の形態】
はじめに、本発明の実施の形態の情報処理方法のポイントを要約した後に、その詳細な説明に入るものとする。
本発明の実施の形態の情報処理方法では、学習用パターンを階層的に処理し分類木を作成する。そして、その分類木を元にＮ−ｇｒａｍテーブルを作成する。
【００１０】
また、学習用パターンの階層的処理では、学習用パターンの特徴を段階的に縮退させる。
また、分類木作成では、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される変数を選び、前記縮退された変数を下の階層に向かって展開する。
【００１１】
また、学習用ストロークを分割し、分割されたストローク切片をベクトル量子化し、その結果得られたベクトル系列を階層的に処理してベクトル系列を階層化し、その階層化されたベクトル系列を元に、分類木を作成し、その分類木を元にＮ−ｇｒａｍテーブルを作成する。
また、前記階層化前処理では、学習用ストロークを構成するベクトル系列情報を段階的に縮退させる。
【００１２】
また、前記分類木作成処理では、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離されるベクトルを選び、その結果に基づき縮退されたベクトルを下の階層に向かって展開する。
また、生成されたＮ−ｇｒａｍテーブルを元にユーザが入力した文章を認識する。
【００１３】
以下、図面に基づいて、本発明の実施の形態の情報処理装置の詳細な説明を行う。
＜実施の形態＞
図１は、本発明の以下の実施の形態すべてにかかわるパターン認識方式が適用される情報処理装置の構成を示すブロック図である。
【００１４】
パターン認識装置は、パターン入力装置２０１、表示装置２０２、中央処理装置（ＣＰＵ）２０３、メモリ２０４から構成される。
パターン入力装置２０１は、例えば、オンライン文字認識ならば、デジタイザとペンを有し、デジタイザの上にペンによって入力された文字や図形の座標データをＣＰＵ２０３に渡す。このパターン入力装置は、これから認識しようとするパターンが入力できるものならば、スキャナーでもマイクでも何でもよい。
【００１５】
表示装置２０２は、パターン入力手段２０１に入力された生のパターンデータやＣＰＵ２０３が認識した結果を表示する。
ＣＰＵ２０３は、入力されたパターン認識を行ったり、すべての装置の制御を行う。
メモリ２０４は、ＣＰＵ２０３が使用する認識プログラムや辞書を記録したり、入力されたパターンデータ、認識プログラムの使用する変数等を一時的に記録する。
【００１６】
図２は、本発明に係る実施の形態の情報処理方法の処理概念を表す図である。１０１は生の学習用パターンであり、Ｓ１０２は、生の学習用パターン（１０１）をニューラルネットに適用する前処理を行う階層化前処理ステップである。
１０３は、ニューラルネットで処理後の階層化された学習用パターンである。
Ｓ１０４は、階層化された学習用パターン（１０３）を元に分類木を作成する分類木作成ステップである。
【００１７】
Ｓ１０５は、分類木作成ステップ（Ｓ１０４）が分類木を作成する過程で使用する展開変数判別ステップである。
１０６は、ステップＳ１０４の処理で生成された分類木である。
１０７は、文章データベースである。この文章データベースには、一般に使われている様々な文章のパターンが格納されている。この文章データベースは、後述するＮ-ｇｒａｍ作成ステップで、事前に生成された分類木での事前確率を求めるためにアクセスされる。
【００１８】
Ｓ１０８は、文章データベース（１０７）と分類木（１０６）を元に、Ｎ−ｇｒａｍテーブル（１０９）を作成するＮ−ｇｒａｍテーブル作成ステップである。本実施の形態における入力は、生の学習用パターン（１０１）、および、文章データベース（１０７）であり、その出力はＮ−ｇｒａｍテーブル（１０９）となる。
【００１９】
以下、図３から図７に基づいて、本実施の形態の処理手順を詳細に述べる。
まず、入力パターンとしては、１６×１６のメッシュ上に書かれた「０」から「９」までの１０個の数字パターンがあるとする。「０」の入力パターン例を図５に示す。
辞書作成用の学習パターンは、「０」から「９」までそれぞれ１００個存在するとする。なお、これらを、
ＬＴi,j（Learning Template i,j）
と名前付ける。ここで、ｉはカテゴリーを表すサフィックスで、
０＜＝ ｉ ＜＝ ９
の範囲の値をとる。ｊは、学習パターンナンバーを示すサフィックスで、
１＜＝ ｊ ＜＝ １００
の範囲の値をとる。
【００２０】
そして、図３に示すような４階層のニューラルネットワークを構成する。
図３の４階層は、それぞれ上から２×２、４×４、８×８、１６×１６個のニューロン群から構成される。
本パターン認識用辞書作成方法は、ニューラルネット展開フェーズ、分類木作成フェーズ、Ｎ−ｇｒａｍテーブル作成フェーズの３段階のステップをへて実施される。以下、順に説明する（図４参照）。
【００２１】
（１）ニューラルネット展開フェーズ
まず、学習用テンプレートは、図３の最下層の１６×１６個のニューロンに入力される。この時、入力パターン（ＬＴi,j）の白の部分はニューロンがオフ（ＯＦＦ）で、黒の部分はニューロンがオン（ＯＮ）になるとする。以下の説明においては、「黒」と「ニューロンのＯＮ」／「白」と「ニューロンのＯＦＦ」はそれぞれ同一の意味を持つものとする。
【００２２】
ニューラルネットの構成は極めて単純である。つまり、下の層の２×２のニューロンの中で、ＯＮとなっているものが１つでもあれば、真上の層の１つのニューロンはＯＮとなる。というルールで入力パターンを上に向かって処理していく。
図５の学習用テンプレートを処理した結果を、図６に示す。
【００２３】
結局、入力パターンの特徴空間は２５６次元の超立方格子（２256通りのデータ組み合わせを有する）をなす。
これが、第１層では２4、第２層では２16、第３層では２64となる。
なお、このニューラルネットの構造はこれに限ったものではない。
【００２４】
（２）分類木作成フェーズ
（１）のニューラルネット展開フェーズによって、学習用テンプレート（ＬＴi,j）の全てが、図３のニューラルネットに展開される。分類木の作成はこのニューラルネットの展開とは逆に、上から下へ行われる。
【００２５】
ルールのノードは、図３の最上位の層（２×２）のさらに上に仮想的に存在するニューロンから始まる。
学習用テンプレート（ＬＴi,j）を展開した結果、図３の最上位の層（２×２）はどれかはＯＮとなっている。言い換えれば、真っ白い学習用テンプレートが存在しない限り最上位の層（２×２）は、すべてＯＦＦにはならない。
【００２６】
よって、全ての学習用テンプレート（ＬＴi,j）に対して、仮想的に存在する最上位ニューロンの活動はＯＮとなっている。
最上位の層（２×２）の状態は、２4＝１６個存在するので（正確には、上記説明のように、すべてＯＦＦの状態ではないので、１５個である）、ルートノードから１６本の枝が伸びることとなる。（図７参照）
この時、枝に存在する学習用テンプレート（ＬＴi,j）の数を数える。この結果によって、以後の処理が３つにわかれる。
【００２７】
(1)学習用テンプレート（ＬＴi,j）が１つも存在しない場合
この場合は、その枝を削除する。
(2)学習用テンプレート（ＬＴi,j）の中で、あるカテゴリー（例えば「１」のテンプレートのみ存在する場合
この場合は、この枝を葉とし、カテゴリーの番号（例えば「１」）を割り振る。
(3)上記１、２以外の場合、即ち、複数カテゴリーのテンプレートが混合して存在する場合
この場合、この枝をノードとして、更に分類木作成を続ける。
【００２８】
図７が、この処理の結果を示すものである。
枝の状態は、図３の最上位の層（第１層）のニューロンの発火状況を図示することによって、示してある（黒はＯＮで、白はＯＦＦを表す）。
【００２９】
存在するカテゴリーの種類の欄が「×」となっている枝は、上記(1)学習用テンプレート（ＬＴi,j）が１つも存在しない場合に相当し、削除される。
なお、厳密には、一番左の枝はルートからは、出ていない。
左から８番目の枝は、「１」のカテゴリーの学習用テンプレートしか存在しない。これは、上記(2)学習用テンプレート（ＬＴi,j）の中で、あるカテゴリー（例えば「１」）のテンプレートのみ存在する場合に相当し、葉となる。
【００３０】
例えば、左から１２番目の枝には「２」「４」「５」「６」のカテゴリーの学習用テンプレートが存在し、上記(3)上記１、２以外の場合＝複数カテゴリーのテンプレートが混合して存在する場合に相当し、ノードとなる。
次に、このノードから枝を作成する方法について述べる。
このノードから枝を作成する際に、最も効率の良い枝の作成を行いたい。最も効率が良いとは、結局、枝を展開したときに、最も多くカテゴリーに関する情報が得られるということである。
【００３１】
このような要請のもとで枝を展開する方法は、一般に非常に多く存在し、そのどれを採用してよいかは、なかなか決定できない。従来、この問題が原因で、認識用の分類木がうまく作成できないでいた。
【００３２】
しかし、仮に、このノードから展開する枝を、このノードにおいて、ＯＮとなっているニューロンを下の層に展開した枝に限ってみる。
【００３３】
例えば、図７の左から１２番目の枝の場合、図３の第１層における左上、左下、右下の３つのニューロンの中から１つ選び、そのニューロンの下、つまり図３の第２層の下４つのニューロンの状態に関する枝の展開を行う。こうすることによって、枝の展開に要する計算時間を大幅に削減できるし、このような制限をしても、本質的に分類木の分類性能に大きなダメージは与えない。
【００３４】
次に、このノードにおいて、ＯＮとなっているニューロンの内で、展開したときに最も効率良くなるニューロンを選ぶ方法を説明する。
あるノードに存在する学習用テンプレート（ＬＴi,j）の中で、カテゴリー番号ｉの数をＮｉで表す。このノードに存在する学習用テンプレートの総数をＮとすると、このノードにおけるそれぞれのカテゴリーの存在確率ｐｉは
ｐｉ＝Ｎｉ／Ｎ
で表される。なお、
【００３５】
【数１】
よって、このノードの情報が得られたときのエントロピーは、以下の式で表される。
【００３７】
【数２】
【００３８】
次に、このノードにおいて、ＯＮとなっているニューロンの１つを選択して、そこから枝を展開したときのエントロピーの減少量を計算する。
【００３９】
上述の通り、１つのニューロンを下の層に向かって展開したときの枝の数は１６本である。この１６本の枝に学習用テンプレート（ＬＴi,j）がどのように分布するかを、展開したときの枝に存在する学習用テンプレート（ＬＴi,j）の数を
Ｎi,b
で表す。Ｎi,bのｉはカテゴリー番号を示し、ｂは枝（branch）の番号を示す。
【００４０】
この時、それぞれの枝の情報が得られたときのエントロピーは、上の議論と同じく、
【００４１】
【数３】
【００４２】
この式で、
【００４３】
【数４】
は枝に存在する学習用テンプレート（ＬＴi,j）の総数を表す。
それぞれの枝にいく確率は、
【００４５】
【数５】
（ここで、Ｎは（１）式のＮと同じ）なので、結局、枝を展開したときの平均エントロピーは
【００４７】
【数６】
【００４８】
となる。
【００４９】
結局、エントロピーの平均減少値は、
【００５０】
【数７】
【００５１】
となる。
【００５２】
そして、この値を枝の数で割った値
【００５３】
【数８】
【００５４】
が枝を展開したときの分類効率を表すことになる。
【００５５】
この値が最高となるニューロンを選び、枝を展開していく。
なお、１つのニューロンのみを展開するのではなく、複数のニューロンのグループに関して枝を展開してもよい。
この場合、（式５）のＢｒａｎｃｈＮｕｍｂｅｒは、ニューロンの数×１６となる。ここで、厳密には展開する下の層のニューロンがすべてＯＦＦということは有り得ないので、ＢｒａｎｃｈＮｕｍｂｅｒは、ニューロンの数×１５となる。
【００５６】
また、本実施の形態においては、（式５）で表される値を枝を展開したときの分類効率を表す値として採用したが、例えば、文献「Ｃｌａｓｓｆｉｃａｔｉｏｎａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載されている“Ｇｉｎｉｃｒｉｔｅｒｉｏｎ”等の枝の展開効率を表す関数ならば、（式５）に限らず何でもよい。
【００５７】
以上、展開するニューロン、またはニューロンの組みが決定されれば、それに従って、枝を展開し、葉及びノードを作成していく。
そして、最後に、全部が葉になったところで、分類木作成を完了する。図８に、実際作成された分類木の内容を示す。
図８は、図７を詳しくしたもので、削除された枝は省いてある。図８の○で囲ってある枝は葉であることを示す。
【００５８】
葉以外の全ての枝はノードとなるので、更に深く枝の展開が行われるわけであるが、図８においては、右から３番目のノードのみ、更なる枝の展開結果を図示した。
右から３番目のノードは、「１」「７」「９」の３種類のカテゴリーが共存しており、枝の展開が必要となっている。ここで、第１層のどのニューロンを展開すべきかについて、展開変数判別ステップＳ１０５（図２）が、第１層の右上のニューロンという答えを出したとする。
【００５９】
すると、右上のニューロンの状態に関して、図７と同様に２4＝１６本の枝が展開され、ある枝は削除され、ある枝は葉となり、ある枝はノードとなる。
ノードとなった枝は、更に枝を展開しなければならなく、最終的に全ての枝の末端は葉となる。
図８では、右から３番目のノードの展開結果を、簡単のため、第１層と第２層を重ね書きすることによって示してある。実際は、図３に示したニューラルネットの第１層の４つのニューロンと第２層の右上４つのニューロンに、これらの状態が表現されている。
【００６０】
（３）Ｎ−ｇｒａｍテーブル作成フェーズ
（２）分類木作成フェーズの結果得られる分類木の第１層は、図８に見られるように認識すべき全カテゴリーをその形状に基づいて大分類したことと等価になる。
よって、この大分類カテゴリーグループに基づいて（大分類カテゴリーグループを仮想的なカテゴリーとみなして）Ｎ−ｇｒａｍを作成すれば、より少ないデータベースで信頼性の高い状態遷移確率が求まることになる。
【００６１】
但し、ここで注意しなければいけないことは、分類木作成フェーズの結果得られる分類木の第１層は必ずしも排他的ではないということである。
例えば、図８において、「１」のカテゴリーは４つの枝（またはノード）に存在する。この現象は、文献“A Survery of DecisionTree Classifier Methodology”(IEEE Transactions on Systems, Man,Cybernetics vol.21, No.3, May/June 1991)にもあるように、“overlap classes”と呼ばれる一般的な現象である。
【００６２】
この“overlap classes”を排他的なものにするために、例えば、あるカテゴリーが存在する確率が一番高い枝をそのカテゴリーの専属枝とする方法がある。図８において、「１」のカテゴリーが左から２番目の枝に存在する確率が一番高いとすれば、左から１番目、３番目、６番目に存在する「１」のカテゴリーを無視する。
【００６３】
このようにして作成された大分類カテゴリーグループの例を図９に示す。
この図９において、○をつけた数字のカテゴリーは存在確率が一番高かったものである。
例えば、この図によれば、左から「１」が第１カテゴリーグループ、「４」「６」が第２カテゴリーグループ、「７」「９」が第３カテゴリーグループ、「０」「２」「３」「５」「８」が第４カテゴリーグループを形成し、結果的に当初１０個あったカテゴリーが４つにグループ化されたことになる。この４つのグループを新たに仮想的カテゴリーとしてＮ−ｇｒａｍを作成するわけである。
【００６４】
このようにして作成されたＮ−ｇｒａｍテーブルは、分類木作成フェーズの結果得られた分類木の情報を使用して作成されてはいるが、一般的な文章認識アルゴリズムに組み込んで使用することができるものである。つまり、文章の事前確率を求める際にこのＮ−ｇｒａｍテーブルを使用し、事後確率を求める際に前記分類木を使用せず、全く異なった認識アルゴリズムを使用しても良い。
【００６５】
言うまでもないが、Ｎ−ｇｒａｍテーブルで文章の事前確率を求めながら文章認識を行うアルゴリズムとしては、ＤＰマッチングや全探索アルゴリズム等の公知のアルゴリズムに組み込んで、文章を形成する個々のパターン形状の組み合わせを全て含めた全パターンの事前確率を求めてもよい。
また、上記の説明では、分類木の第１層を大分類カテゴリーと見なしたが、任意のｎ層までをもって大分類カテゴリーグループと見なしてもよい。
【００６６】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１０のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも、ステップＳ１０２、ステップＳ１００４「階層化前処理モジュール」、ステップＳ１０４、ステップＳ１００６での処理に対応する「分類木作成モジュール」、ステップＳ１０５、ステップＳ１００７での処理に対応する「展開変数判別モジュール」、ステップＳ１０８、ステップＳ１０１０での処理に対応する「Ｎ−ｇｒａｍテーブル作成モジュール」、ステップＳ１００２での処理に対応する「ストローク分割処理モジュール」、ステップＳ１００３での処理に対応する「ベクトル化処理モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００７２】
以上説明したように、本発明によれば、
文章を構成するパターンの所属するカテゴリーを大分類したグループに関してＮ−ｇｒａｍテーブルを作成できることによって、少ない量の文章データベースでも信頼性の高いＮ−ｇｒａｍテーブルが作成できるという効果がある。
また、パターンの形状の似かより方をうまく反映させたカテゴリーのグループかを行っているので、高い文章認識率が実現できるという効果がある。
【００７３】
【発明の効果】
以上説明したように本発明によれば、文字パターンから効率よく階層化文字パターンを生成することができる。
また、生成された階層化文字パターンに基づいて、上の階層でカテゴリーの競合が最も激しく、かつ、すぐ下の階層でカテゴリーが良く分離される構造の分類木を生成することができる。
【００７４】
また、生成された分類木からメモリ効率のよいＮ−ｇｒａｍテーブルを生成することができる。
さらに、生成されたＮ−ｇｒａｍテーブルを検索して、高認識率かつ高速な認識が可能となる。
【図面の簡単な説明】
【図１】 本実施の形態の情報処理装置の構成を示すブロック図である。
【図２】 本発明の情報処理手順の概念を示す図である。
【図３】 実施の形態の情報処理方法における処理手順の一部を示すピラミッド型ニューラルネットの構造図である。
【図４】 実施の形態の情報処理の流れを示すフローチャートである。
【図５】 実施の形態の学習用パターンの例を示す図である。
【図６】 実施の形態の階層化された学習用パターンの例を示す図である。
【図７】 実施の形態の情報処理方法における分類木作成過程を示す図である。
【図８】 実施の形態の情報処理方法で生成された分類木の様子を示す図である。
【図９】 実施の形態の情報処理方法における大分類カテゴリーグループ分けの例を示す図である。
【図１０】 本実施の形態のプログラムモジュールのメモリレイアウト例を示す図である。
【符号の説明】
２０１パターン入力装置
２０２表示装置
２０３中央処理装置
２０４メモリ
Claims (4)
- 記憶媒体に記憶されたプログラムコードを実行することにより、Ｎ−ｇｒａｍテーブルを作成する情報処理装置を制御するための情報処理方法であって、
複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理工程と、
前記階層化前処理工程で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成工程と、
前記分類木作成工程で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成工程とを備えることを特徴とする情報処理方法。 - 前記グループ化工程では、前記分類木作成工程で作成された分類木の所定の階層における各カテゴリーの存在確率に基づいて該所定の階層における各カテゴリーの専属枝を定め、該専属枝が定められた各カテゴリーに基づいてカテゴリーグループを決定することを特徴とする請求項１に記載の情報処理方法。
- 前記学習用パターンは文字パターンであり、前記階層化前処理工程では、前記文字パターンそれぞれの特徴を段階的に縮退することによって、前記階層構造を作成することを特徴とする請求項１に記載の情報処理方法。
- 複数のカテゴリーそれぞれに属する学習用パターンを複数入力し、入力された複数の学習用パターンそれぞれの特徴を下位の階層から上位の階層へ段階的に縮退することにより、階層構造を作成する階層化前処理手段と、
前記階層化前処理手段で作成された階層構造に基づいて、前記縮退された特徴のうち最も分類効率が高くなる少なくとも１つの特徴を展開していくことにより分類木を作成する分類木作成手段と、
前記分類木作成手段で作成された分類木の所定の階層に基づいて前記複数のカテゴリーをグループ化することにより、複数のカテゴリーグループを決定するグループ化工程と、
文章データベースに格納されている文章と前記グループ化工程で決定されたカテゴリーグループとに基づき、文章における前記カテゴリーグループの遷移確率を示すＮ−ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成手段とを備えることを特徴とする情報処理装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03781696A JP3647127B2 (ja) | 1996-02-26 | 1996-02-26 | 情報処理方法及び装置 |
| US08/777,249 US5982933A (en) | 1996-01-12 | 1996-12-31 | Information processing method, information processing apparatus, and storage medium |
| DE69720564T DE69720564T2 (de) | 1996-01-12 | 1997-01-10 | Verfahren, Gerät und Computerprogrammprodukt zur Erzeugung von einem Klassifikationsbaum |
| EP97100342A EP0784285B1 (en) | 1996-01-12 | 1997-01-10 | Method, apparatus and computer program product for generating a classification tree |
| CN97102205A CN1102270C (zh) | 1996-01-12 | 1997-01-10 | 信息处理方法和信息处理设备 |
| KR1019970000595A KR100251068B1 (ko) | 1996-01-12 | 1997-01-11 | 정보 처리 방법,정보 처리 장치 및 저장 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03781696A JP3647127B2 (ja) | 1996-02-26 | 1996-02-26 | 情報処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09231321A JPH09231321A (ja) | 1997-09-05 |
| JP3647127B2 true JP3647127B2 (ja) | 2005-05-11 |
Family
ID=12508058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03781696A Expired - Fee Related JP3647127B2 (ja) | 1996-01-12 | 1996-02-26 | 情報処理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3647127B2 (ja) |
-
1996
- 1996-02-26 JP JP03781696A patent/JP3647127B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09231321A (ja) | 1997-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| US5982933A (en) | Information processing method, information processing apparatus, and storage medium | |
| D’Ulizia et al. | A survey of grammatical inference methods for natural language learning | |
| JP4940973B2 (ja) | 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置 | |
| US6785643B2 (en) | Chart parsing using compacted grammar representations | |
| CN111460798A (zh) | 近义词推送方法、装置、电子设备及介质 | |
| JPH08106512A (ja) | 手書き認識システム及びその方法 | |
| CN110276080B (zh) | 一种语义处理方法和系统 | |
| US6507815B1 (en) | Speech recognition apparatus and method | |
| CN112183106B (zh) | 一种基于音素联想及深度学习的语义理解方法及装置 | |
| CN113360654A (zh) | 文本分类方法、装置、电子设备及可读存储介质 | |
| CN114238653A (zh) | 一种编程教育知识图谱构建、补全与智能问答的方法 | |
| US6950814B2 (en) | Natural language processing methods and systems | |
| JP3630734B2 (ja) | 情報処理方法 | |
| CN115329075A (zh) | 基于分布式机器学习的文本分类方法 | |
| JP3647127B2 (ja) | 情報処理方法及び装置 | |
| CN115129890A (zh) | 回馈数据图谱生成方法、生成设备、问答设备及冰箱 | |
| JP3240303B2 (ja) | シンボル認識システム | |
| JP3630837B2 (ja) | 情報処理方法及び装置 | |
| JP3291501B2 (ja) | ネットワーク作成装置およびそのネットワーク作成方法 | |
| Watkins | The use of fuzzy graph grammars for recognising noisy two-dimensional images | |
| Malaviya et al. | Handwriting recognition with fuzzy linguistic rules | |
| Lucas | Rapid best-first retrieval from massive dictionaries | |
| JPH08137668A (ja) | 類似単語検索のための有限オートマトン作成方法 | |
| JP3043625B2 (ja) | 単語分類処理方法、単語分類処理装置及び音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |