JPH09282419A - 情報処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 学習パターンの量が少なくても高い認識率を
実現できる辞書の作成と、高速な認識を実現させる。 【解決手段】 学習用パターンからサブパターンを取り
出し（１０２）、取り出したサブパターンを階層化前処
理し（１０３）、階層化された学習用サブパターンにつ
いて分類木を作成する（１０５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像、文字、音声等
のパターンを認識する際に使用する分類木を作成、或い
は認識する情報処理方法及び装置に関するものである。

【０００２】

【従来の技術】従来、特願平６−２６５０５４号公報に
あるように、パターンを段階的に縮退化した前処理を経
て、分類木を作成する方法が存在した。この方法によれ
ば、パターンの巨視的な形から微視的な形にわたったバ
ランスのよい分類木が作成でき、人間の認識能力に限り
なく近い認識性能が期待できるようになる。

【０００３】

【発明が解決しようとしている課題】しかしながら、こ
の方法では学習用パターンの多さでパターンの変形を吸
収するため、学習用パターンが膨大に必要になるという
欠点があった。

【０００４】この様子を図６を使って説明する。

【０００５】「０」から「９」までの数字ビットマップ
を認識するための分類木を上述の従来の方法で作成した
とする。

【０００６】例えば、この方法で作成した分類木は、図
６のような形になり、図６の右から５番目の枝には、
「４」「５」「６」の３種類のカテゴリーの学習用パタ
ーンが存在することになる。

【０００７】このことは、逆にいうと、巨視的に視て図
６の右から５番目の枝の形をした学習用パターンは
「４」「５」「６」の３種類のカテゴリー以外は存在し
ないことを意味する。

【０００８】このようにして作成された分類木を使っ
て、全く新しいビットマップパターンを認識することを
考える。図２２にある（ａ）から（ｅ）のビットマップ
は全て巨視的に見ると、図６の右から５番目の枝の形に
なる。つまりこの上記説明した分類木でこれらのビット
マップを認識しようとすると、必ず「４」「５」「６」
のカテゴリーに分類されてしまう。結果的に（ａ）
（ｂ）（ｃ）は正解で、（ｄ）はリジェクトすべきとこ
ろを認識してしまい、（ｅ）にいたっては明らかな誤認
識をしてしまう。

【０００９】この不具合の原因は、学習用パターンに図
２２の（ｅ）のような形をしたカテゴリー「２」のパタ
ーンが存在しなかったことが原因であるが、これはとり
も直さず、従来の方法が“全ての変動を包含した膨大な
学習用パターンを必要とする”ということを意味してい
るのである。

【００１０】

【課題を解決する為の手段】上記課題を解決する為に、
本発明は、学習用パターンからサブパターンを取り出
し、前記サブパターンを予め階層的に処理し、前記階層
的に処理されたサブパターンに基づいて該サブパターン
の分類木を作成する情報処理方法及び装置を提供する。

【００１１】上記課題を解決する為に、本発明は、好ま
しくは前記階層的処理は、前記サブパターンの詳細なデ
ータから順に縮退したデータを生成する。

【００１２】上記課題を解決する為に、本発明は、好ま
しくは前記分類木の作成は、前記階層的に処理されたサ
ブパターンのデータの上位から下位へと展開する。

【００１３】上記課題を解決する為に、本発明は、好ま
しくは前記サブパターンは、前記学習用パターンを分割
した部分パターンとする。

【００１４】上記課題を解決する為に、本発明は、好ま
しくは前記分類木の作成は、分類効率が最大となる変数
を選択し、該選択された変数について分類木を作成す
る。

【００１５】上記課題を解決する為に、本発明は、好ま
しくはパターンを入力し、前記入力したパターンを階層
的に処理し、前記階層的に処理された入力パターンのデ
ータのより上位のデータから下位に向かって、順に前記
分類木をたどって前記入力パターンを認識する。

【００１６】上記課題を解決する為に、本発明は、好ま
しくは前記パターンはビットマップデータとする。

【００１７】上記課題を解決する為に、本発明は、好ま
しくは前記パターンはストロークデータとする。

【００１８】上記課題を解決する為に、本発明は、好ま
しくは前記パターンは音声データとする。

【００１９】

【発明の実施の形態】以下、図面に基づいて本発明の好
適な実施例を説明する。

【００２０】〈実施の形態１〉図２は本発明に関わる以
下の全ての実施の形態に係わる情報処理装置の構成を示
すブロック図である。

【００２１】装置は、パターン入力装置２０１、表示装
置２０２、中央処理装置（ＣＰＵ）２０３、メモリ２０
４から構成される。

【００２２】パターン入力装置２０１は、例えばオンラ
イン文字認識ならば、デジタイザとペンを有し、デジタ
イザの上にペンによって入力された文字や図形の座標デ
ータをＣＰＵ２０３に渡す。このパターン入力装置は、
これから認識しようとするパターンが入力できるものな
らば、画像を光学的に読み取るスキャナーでも音声を入
力するマイクでもまた、それらの入力手段から入力した
パターンを通信手段を介して入力しても何でもよい。表
示装置２０２はパターン入力手段２０１に入力された生
のパターンデータやＣＰＵ２０３が認識した結果を表示
するものであり、ＣＲＴや液晶表示器等で良い。ＣＰＵ
２０３は入力されたパターン認識を行ったり、すべての
装置の制御を行ったりする。メモリ２０４はＣＰＵ２０
３が使用する認識プログラムや辞書を記憶したり、入力
されたパターンデータ、認識プログラムの使用する変数
等を一時的に記憶する。

【００２３】図１は、本実施の形態の機能的構成を最も
よく表す図画であり、１０１は「生の学習用パター
ン」、１０２は「生の学習用パターン」をサブパターン
毎に切り出す「サブパターン取り出し手段」、１０３は
「学習用サブパターン」をピラミッドに通す「階層化前
処理手段」、１０４はピラミッドで処理された後の「階
層化された学習用サブパターン」、１０５は「階層化さ
れた学習用サブパターン」を元に分類木を作成する「分
類木作成手段」、１０６は「分類木作成手段」が分類木
を作成する過程で使用する「展開変数判別手段」、１０
７は「分類木作成手段」の結果得られた「分類木」であ
る。本発明におけるインプットは“生の学習用パター
ン”で、アウトプットは“分類木”となる。

【００２４】図８は、本実施の形態のオンライン手書き
文字認識方法が適用される情報処理装置における主にメ
モリ内の構造を示すものである。８０１は図２にも２０
３として示したＣＰＵであり、後述するメモリ８０２に
格納されている制御プログラムに従って、本実施の形態
において説明する各処理を実行するものである。後述す
るフローチャートの処理も、実行の為の制御プログラム
がメモリ８０２に格納され、ＣＰＵ８０１により実行さ
れるのは同様である。

【００２５】メモリ８０２は、ＣＰＵ８０１が各処理を
実行する為の制御プログラムを格納するプログラム部８
０２−１と、各種パラメータやデータを格納するデータ
部８０２−２とを有する。プログラム部は、例えば図７
のフローチャートの個々の部品がサブルーチンプログラ
ムとして格納される。このサブルーチンプログラムは、
注目ノードの状態を判別するＳ７０１の処理プログラム
であり、ノードを削除するＳ７０２の処理プログラムで
あり、リーフノードとしてのＳ７０５の処理プログラム
であり、適切な黒ビットを選択するＳ７０６の処理プロ
グラムであり、黒ビットの組みの枝を生成するＳ７０７
の処理プログラムであり、作成された分類木を利用して
入力パターンを認識するプログラムであり、各処理につ
いてのサブルーチンがプログラム部８０２−１に格納さ
れる。後述する各処理の実行時には、必要に応じてメモ
リ８０２の制御プログラムを読み出し、ＣＰＵ８０１が
実行する。データ部８０２−２には、個々の学習パター
ンを暫定的に保持する学習パターンバッファと、各学習
パターンのピラミッド展開したパターンを保持するエリ
アと、作成途中の分類木を保持する分類木バッファを有
する。

【００２６】ＨＤＤ（ハードディスクドライブ）８０３
は、全学習パターンを保持し、本実施の形態で説明する
方法により、作成された分類木のデータを保持し、この
分類木のデータにより図９のような分類木が示すルート
をたどることができる。

【００２７】ここで、メモリ２は、格納のＲＯＭ，ＲＡ
Ｍ，ＨＤ等とし、予めプログラム及びデータを格納して
おいても良いし、或いは装置本体に着脱可能なＦＤやＣ
Ｄ−ＲＯＭ等の記憶媒体から処理に先立ってプログラム
やデータを読み込むようにしても良い。また、公衆回線
やＬＡＮ等の通信手段を介して他の装置からプログラム
やデータを読み込むようにしても良い。

【００２８】入力装置８０４はＨＤＤ８０３に格納され
た分類木を用いて認識を行うパターンを入力する為の入
力装置であり、光学的に入力した学習用画像パターンか
ら生成された分類木を用いて画像パターンを認識する場
合はスキャナを用いる。また、同様にペンにより入力さ
れるストロークデータを認識する場合はペンとデジタイ
ザやタッチパネル、或いは音声データを認識する場合は
マイクロフォンを用いる。

【００２９】また、これらの認識用のデータは、これら
の各入力手段から直接入力する他に、公衆回線やＬＡＮ
等を介して他の装置の有する上記各入力手段により入力
されたデータを取り込むようにしても良いことはもちろ
んである。

【００３０】以下、図３から図８に基づいて、本発明の
動きを詳細に述べる。

【００３１】まず、入力パターンとしては、８×８のメ
ッシュ上に書かれた「０」から「９」までの１０個の数
字（カテゴリー）を想定する。「０」の１入力パターン
を図５の下に示す。

【００３２】辞書作成用の学習パターンは「０」から
「９」までそれぞれのカテゴリーについて１００個存在
すると仮定する。つまり、カテゴリー総数が１０個ある
ので、学習パターンの総数は１０００個になる。なお、
これらを、ＬＴｉ，ｊ（＝Ｌｅａｒｎｉｎｇ Ｔｅｍｐ
ｌａｔｅ ｉ，ｊ）（ｉは「０」から「９」のカテゴリ
ーを表すサフィックスで、０＜＝ｉ＜＝９の範囲の値を
とる。ｊは学習パターンナンバーを示すサフィックス
で、１＜＝ｊ＜＝１００の範囲の値をとる。）とする。

【００３３】本件に係わるパターン認識用辞書作成方式
はサブパターン取り出しフェーズ、ピラミッド展開フェ
ーズ、分類木作成フェーズの３段階の手段を経て実施さ
れる。以下、順に説明する（図３のフローチャート参
照）。

【００３４】（１）サブパターン取り出しフェーズ（３
０１） サブパターン取り出しフェーズ３０１では、図４に示す
ように、生の学習用パターン４００を部分的パターンに
分割したサブパターンとして取り出す。図４において
は、「Ａ」と書かれている学習用パターン４００が３×
３のマトリクスの合計９個のサブパターンに分けて取り
出した例を示す。サブパターンの取り出し方は、図４の
ように互いのサブパターンが重なるように行ってもよい
し、全く重ならないように行ってもよい。このサブパタ
ーンの取り出しは、メモリ８０２に格納されているサブ
パターン取り出しルールに従って行う。

【００３５】図５にこのサブパターン取り出しフェーズ
の詳しい様子を示す。図５では、「０」と書かれている
学習用パターンの真ん中の部分を取り出している様子を
示している。この真ん中の部分は、図４の上に書かれて
いる３×３個のサブパターンの真ん中のサブパターン４
０１と同じと考えてよい。

【００３６】結局、図５において、生の学習用パターン
５０１は８×８のビットマップとして表現されていて、
そこから４×４のビットマップとして表現されるサブパ
ターンが３×３の９個取り出されることになる。

【００３７】（２）ピラミッド展開フェーズ（３０２） サブパターン取り出しフェーズ３０２において、取り出
された９個のサブパターンの各々は、図５に示すような
５０２〜５０４の３階層のピラミッドワークが構成され
ていることになる。図５の３階層はそれぞれ上からパタ
ーン５０４は１×１、パターン５０３は２×２、パター
ン５０２は４×４個のニューロン群からできている。

【００３８】まず、取り出された学習用サブパターンは
図５の最下層の４×４個のニューロンに入力される。こ
の時、入力パターン（ＬＴｉ，ｊ）５０１の各ビットの
状態が白の部分はニューロンがＯＦＦで、黒の部分はニ
ューロンがＯＮとなると仮定する（以下の説明におい
て、「黒」と「ニューロンのＯＮ」／「白」と「ニュー
ロンのＯＦＦ」同一視する。）。

【００３９】ピラミッドの構造は極めて単純である。つ
まり、下の層の２×２のニューロンの中で、ＯＮとなっ
ているものが１つでもあれば、一つ上位の層の１つのニ
ューロンはＯＮとなる。図５において、サブパターン５
０２におけるニューロン５０５〜５０８のうち、５０７
と５０８がＯＮなので、これらのニューロンに対応する
ニューロン５０９もＯＮになる。このようなルールで入
力パターンを上に向かって処理していく。なお、このピ
ラミッドの構造＝ルールはこれに限ったものではなく、
黒のニューロンを１としてカウントし、平均値がしきい
値を超えた場合に、上位ニューロンをＯＮにする等、下
位の複数ニューロンの状態に従って上位ニューロンの状
態を決めるルールであれば良い。

【００４０】これらの下位ニューロンから上位ニューロ
ンを決定する処理を、サブパターンを構成する全てのニ
ューロンについて行い、更に全てのサブパターンについ
ても行う。

【００４１】（３）分類木作成フェーズ（３０３） ピラミッド展開フェーズ３０３によって、学習用パター
ン（ＬＴｉ，ｊ）の全てが、図５のピラミッドに展開さ
れる。分類木の作成はこのピラミッドの展開３０２とは
逆に、上位から下位へ行われる。

【００４２】ルートのノードは、図５の最上位の層（１
×１）のニューロンから始まる。

【００４３】学習用サブパターン（ＬＴｉ，ｊ）をピラ
ミッドに展開した結果、図５の２番目の層のパターン５
０３（２×２）のどれかはＯＮとなっている（本実施の
形態で用いているルールによれば、真っ白い学習用サブ
パターンが存在しない限り２番目の層（２×２）は全て
ＯＦＦにはならない）。よって、全ての学習用サブパタ
ーン（ＬＴｉ，ｊ）に対して、最上位の層（１×１）の
ニューロンの活動はＯＮとなっている。

【００４４】２番目の層（２×２）の状態は２の４乗＝
１６個存在するので（正確には、上記説明のように、全
てＯＦＦの状態はないので、１５個）、ルートノードか
ら１６本の枝が伸びることとなる（図６参照）。

【００４５】図６の枝の状態は、図５の第２層のニュー
ロン群の発火状況を図示することによって、示してある
（黒はＯＮで、白はＯＦＦを表す）。

【００４６】存在するカテゴリーの種類の欄が「×」と
なっている枝は、上記１．学習用サブパターン（ＬＴ
ｉ，ｊ）が１つも存在しない場合に相当し、削除される
（なお、厳密には、一番左の枝はルートからは出ていな
い）。

【００４７】左から８番目の枝は「１」のカテゴリーの
学習用サブパターンしか存在しない。これは、上記２．
学習用サブパターン（ＬＴｉ，ｊ）の中で、あるカテゴ
リー（例えば「１」のサブパターンのみ存在する場合に
相当し、葉となる。

【００４８】例えば、右から５番目の枝には「４」
「５」「６」のカテゴリーの学習用サブパターンが存在
し、上記３．上記１、２以外の場合＝複数カテゴリーの
サブパターンが混合して存在する場合に相当し、ノード
となる。

【００４９】分類木を作成する処理をフローチャートと
して表現した図が図１０である。以下、図９に示したよ
うな分類木の生成手順を説明する。

【００５０】まず、ステップＳ７００では、注目ノード
をルートノードとする。

【００５１】ステップＳ１００１では、設定された注目
ノードに関して、以下の３条件、即ち、 １．学習用ストロークが存在する。 ２．単一カテゴリー学習パターンのみが存在する。 ３．複数のカテゴリーの学習パターンが存在する。 のどれに当てはまるかチェックして、１．の条件を満た
せば、ステップＳ７０２へ進む。また、２．の条件を満
たせば、ステップＳ７０５へ進む。また、３．の条件を
満たせば、ステップＳ７０６へ進む。

【００５２】ステップＳ７０２では、分類木からそのノ
ードを削除する。

【００５３】ステップＳ７０３では、他の全ノードは、
全てリーフノードになったかどうかチェックして、イエ
スであれば、処理を終了する。また、ノーであれば、ス
テップＳ７０４に進み、注目ノードとして次のノードを
選ぶ。そして、ステップＳ７０１に戻り、同様の処理を
繰り返す。

【００５４】ステップＳ７０５では、このノードをリー
フノードとして、そのカテゴリー番号をアサインする。
そして、ステップＳ７０３に進む。

【００５５】ステップＳ７０６では、そのノードに含ま
れるニューロンの中から、上述のエントロピー基準に基
づいて、そのニューロン中の１つのニューロンを選択す
る。

【００５６】ステップＳ７０７では、選択されたニュー
ロンの下位階層のベクトルの組の枝を生成する。

【００５７】図９は、このステップでの処理を説明する
ための図であり、左上のニューロンが選択された場合の
下位階層のニューロンの組の例を示す。

【００５８】図９を参照すると、９００が、ステップＳ
７０６で選択されたニューロンが左上であるとする。こ
のニューロンに対応する下位層での組は、１５通りの組
み合わせ、即ち、下位として示した１５種のパターンが
存在する。そして、これらの組み合わせの各々を新しい
ノードとする各枝を生成する。

【００５９】以上、ステップＳ７０７での処理を示し
た。

【００６０】次に、ステップＳ７０８へ進み、生成され
た枝のノードの１つを次の注目ノードとする。そして、
Ｓ７０８で注目ノードを移してステップＳ７０１へ戻
り、同様の処理を繰り返す。

【００６１】以上説明した手順によって、図１０に示す
ような分類木を生成することにより、特徴量の多いパタ
ーンの大局的分類を維持しながら、類似のカテゴリー間
の細かい特徴の違いを反映した分類木を生成でき、この
分類木を探索することで、高速かつ高認識率の文字認識
が可能になる。

【００６２】次に、このノードから枝を作成する方法に
ついて述べる。先の説明では、左上のニューロンが選ば
れた場合について説明したが、このノードから枝を作成
する際に、最も効率の良い枝の作成を行いたい。最も効
率が良いとは、結局、枝を展開したときに、最も多くカ
テゴリーに関する情報が得られるニューロンを選択する
ということである。

【００６３】このような要請の元に枝を展開する方法
は、一般に非常に多く存在し、そのどれを採用してよい
かは、なかなか決定できない。従来この問題が原因で、
認識用の分類木がうまく作成できないでいた。

【００６４】しかし、仮にこのノードから展開する枝
を、このノードにおいて、ＯＮとなっているニューロン
を下の層に展開した枝に限ってみる。例えば、図６の右
から５番目の枝の場合、図５の第２層における左上、左
下、右下の３つのニューロンの中から１つ選び、そのニ
ューロンの下、つまり図５の第３層の下４つのニューロ
ンの状態に関する枝の展開を行う。

【００６５】こうすることによって、枝の展開に要する
計算時間を大幅に削減できるし、このような制限をして
も、本質的に分類木の分類性能に大きなダメージは与え
ない。

【００６６】では次に、このノードにおいて、ＯＮとな
っているニューロンの内で、展開したときに最も効率の
良くなるニューロンを選ぶ方法を説明する。

【００６７】あるノードに存在する学習用サブパターン
（ＬＴｉ，ｊ）の中で、カテゴリー番号ｉの数をＮｉで
表す。このノードに存在する学習用パターンの総数をＮ
とすると、このノードにおけるそれぞれのカテゴリーの
存在確率ｐｉはｐｉ＝Ｎｉ／Ｎで表される。なお、

【００６８】

【外１】 よって、このノードの情報が得られたときのエントロピ
ーは、以下の式で表される。

【００６９】

【外２】

【００７０】次に、このノードにおいて、ＯＮとなって
いるニューロンの１つを選択して、そこから枝を展開し
たときのエントロピーの減少量を計算する。

【００７１】上述の通り、１つのニューロンを下の層に
向かって展開したときの枝の数は１６本である。この１
６本の枝に学習用サブパターン（ＬＴｉ，ｊ）がどのよ
うに分布するかを、展開したときの枝に存在する学習用
サブパターン（ＬＴｉ，ｊ）の数＝Ｎｉ，ｂで表す。Ｎ
ｉ，ｂのｉはカテゴリー番号を示し、ｂは枝（ｂｒａｎ
ｃｈ）の番号を示す。

【００７２】この時、それぞれの枝の情報が得られたと
きのエントロピーは、上の議論と同じく、

【００７３】

【外３】 この式で、

【００７４】

【外４】 は枝に存在する学習用サブパターン（ＴＰｉ，ｊ）の総
数を表わす。

【００７５】それぞれの枝にいく確率は

【００７６】

【外５】 （Ｎは（１）式のＮと同じ）なので、結局、枝を展開し
たときの平均エントロピーは

【００７７】

【外６】 となる。

【００７８】結局、エントロピーの平均減少値は、

【００７９】

【外７】 となる。

【００８０】そして、この値を枝の数の対数で割った値

【００８１】

【外８】 が、枝を展開したときの分類効率を表すことになる。

【００８２】この値が最高となるニューロンを選び、枝
を展開していく。

【００８３】なお、１つのニューロンのみを展開するの
ではなく、複数のニューロンのグループに関して枝を展
開してもよい。

【００８４】この場合、（５）式のＢｒａｎｃｈＮｕｍ
ｂｅｒは、ニューロンの数×１６となる（厳密には展開
する下の層のニューロンが全てＯＦＦということは有り
得ないので、ＢｒａｎｃｈＮｕｍｂｅｒは、ニューロン
の数×１５が正しい。）。

【００８５】また、本実施例においては、（５）式で表
される値を枝を展開したときの分類効率を表す値として
採用したが、例えば文献「Ｃｌａｓｓｆｉｃａｔｉｏｎ
ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載
されている“Ｇｉｎｉ ｃｒｉｔｅｒｉｏｎ”等の枝の
展開効率を表す関数ならば（５）式に限らず何でもよ
い。

【００８６】以上、展開するニューロン、またはニュー
ロンの組みが決定されれば、それに従って、枝を展開
し、葉及びノードを作成していく。

【００８７】そして、最後、全部、葉になったところ
で、分類木作成を完了する。

【００８８】図１０は、分類木作成フェーズ３０３によ
り作成され、ＨＤＤ８０３に格納された分類木の例であ
る。

【００８９】図１０において、Ｓ７０２により削除され
た枝は省いてある。また図１０の○で囲ってある枝はＳ
７０５でリーフノードとしてカテゴリーの番号がふられ
た葉であることを示す。

【００９０】葉以外の全ての枝はノードとなるので、更
に深く枝の展開が行われるわけであるが、図１０におい
ては右から３番目のノードのみ、更なる枝の展開結果を
図示した。

【００９１】右から３番目のノードは、「１」「７」
「９」の３種類のカテゴリーが共存しており、枝の展開
が必要となっている。ここで、第１層のどのニューロン
を展開すべきかについて、「展開変数判別手段」が第１
層の右上のニューロンという答えを出したとする。する
と、右上のニューロンの状態に関して、図７と同様に２
⁴ ＝１６本の枝が展開され、ある枝は削除され、ある枝
は葉となり、ある枝はノードとなる。ノードとなった枝
は更に枝を展開しなければならなく、最終的に全ての枝
の端末は葉となる。

【００９２】図１０では、右から３番目のノードの展開
結果を、簡単のため、第１層と第２層を重ね書きするこ
とによって示してある。実際は、図３に示したピラミッ
ドの第１層の４つのニューロンと第２層の右上４つのニ
ューロンに、これらの状態が表現されている。

【００９３】図１１は、先に説明した方法により作成し
た分類木を用いて生の入力パターンを認識する流れを表
す図画であり、１０１は「生の入力パターン」、１０２
は「生の入力パターン」、１０２は「生の入力パター
ン」をサブパターン毎に切り出す「サブパターン取り出
し手段」、１０３は「入力サブパターン」をピラミッド
に通す「階層化前処理手段」、１０４はピラミッドで処
理された後の「階層化された入力サブパターン」、１０
５は「分類木」、１０６は「階層化された入力サブパタ
ーン」と「分類木」を元にカテゴリーの判別確率を求め
る「カテゴリー判別手段」、１０７は「カテゴリー判別
手段」の結果得られた各カテゴリーの判別確率を統合す
る「判別確率統合手段」である。本発明におけるインプ
ットは“生の入力パターン”で、アウトプットは“認識
候補”となる。

【００９４】上記の「分類木」の内容は、実施例１の方
法で作成しうる「分類木」であることが望ましい。

【００９５】１００１「生の入力パターン」は、「生の
学習用パターン」１０１に対応するもので、入力装置１
１０４から入力されるが実質的なデータの構成としては
何等変わりない。１００２「サブパターン取り出し手
段」、１００３「階層化前処理手段」の２つの手段は図
１のそれぞれ対応する手段と全く同じものである。１０
０４「階層化された入力サブパターン」は、図１の場合
は学習パターンの数だけ存在したが、本実施例において
は、入力されたパターンから導き出された１つのみであ
る。

【００９６】１００６「カテゴリー判別手段」は、１０
０４「階層化された入力サブパターン」に基づき、図１
０の分類木をたぐって葉に到達した時点で、その葉に存
在するカテゴリーを認識結果として表示器やプリンタよ
り出力する。

【００９７】また、葉に到達しなかった場合は、最後に
通過したノードに含まれるカテゴリー確率を結果として
出力する。

【００９８】１００７「判別確率統合手段」は、１００
６「カテゴリー判別手段」のサブパターン毎の結果を相
加平均、または相乗平均等の平均処理を行う。

【００９９】〈実施の形態２〉本実施の形態では、学習
用データ及び認識対象として入力されるデータが、ペン
等の座標入力手段により入力されるストロークデータで
あり、先の実施の形態１で扱っていたデータがビットマ
ップデータであったのに対し、入力ストロークを分割し
てベクトル量子化して処理を行う点に特徴があるが、全
体的な流れは実施の形態１の処理に準ずる。

【０１００】図１２は、本実施の形態における分類木作
成処理流れを表す図画であり、１２０１は「学習用スト
ローク」、１２０２は前記「学習用ストローク」を分割
する「ストローク分割手段」、１２０３は前記「ストロ
ーク分割手段」において分割されたストローク切片をベ
クトル量子化する「ベクトル化手段」、１２０４は、前
記「ベクトル化手段」の結果得られたベクトル系列を部
分的にサブベクトルとして取り出す「サブベクトル取り
出し手段」、１２０５は前記「サブベクトル取り出し手
段」の結果得られたベクトル系列を階層的に処理する
「階層化前処理手段」、１２０６は前記で「階層化前処
理手段」で処理された後の「階層化されたサブベクトル
系列」、１２０７は前記「階層化されたベクトル系列」
を元に分類木を作成する「分類木作成手段」、１２０８
は前記「分類木作成手段」が分類木を作成する過程で使
用する「展開ベクトル判別手段」、１２０９は「分類木
作成手段」の結果得られた「分類木」である。

【０１０１】本実施例におけるインプットは“学習用ス
トローク”で、アウトプットは“分類木”となる。

【０１０２】以下、図１２から図１７に基づいて、本実
施の形態の動きを詳細に述べる。

【０１０３】まず、認識対象とするカテゴリーとして
は、１画で書かれた「く」「し」「つ」の３種類の文字
を想定する。

【０１０４】次に辞書作成用の学習パターンは「く」
「し」「つ」それぞれ１００個存在すると仮定する。な
お、これらを、ＴＰｉ，ｊ（＝Ｔｒａｉｎｉｎｇ Ｐａ
ｔｔｅｒｎ ｉ，ｊ）（ｉはカテゴリーを表すサフィッ
クスで、０＜＝ｉ＜＝２の範囲の値をとる。ｊは学習パ
ターンナンバーを示すサフィックスで、１＜＝ｊ＜＝１
００の範囲の値をとる。）と名前付ける。

【０１０５】本件に係わるオンライン手書き文字認識用
辞書作成方法は、図１３のフローチャートに示すよう
に、ベクトル生成フェーズ、サブベクトル取り出しフェ
ーズ、階層化前処理フェーズ、分類木作成フェーズの４
段階の手段を経て実行される。

【０１０６】（１）ベクトル生成フェーズ（１３０１） 図１４に基づいて、ベクトル生成フェーズ１３０１の様
子を詳しく述べる。

【０１０７】まず、学習用ストロークはｎ分割（図１４
ではｎ＝８となっている）される。図１４では、このｎ
分割は、ストローク距離に関するｎ等分となっている
が、本実施例はこれを制限しない。

【０１０８】例えば始点終点付近のストロークの状態が
不安定なストローク入力装置であれば、始点終点付近の
ストロークをいくら詳しくベクトル化してもあまり意味
がなくなってくる。このような場合は、ｎ分割における
最初と最後の分割は、その他の分割に比べて長くとって
も構わない。次に、ｎ分割されたそれぞれの切片がベク
トル量子化される。

【０１０９】図１４においては、番号０から番号１１ま
での１２方向の基本ベクトル量子化している。この基本
ベクトルの方向は、３６０度の中で等間隔に並んでいる
が、これもストローク分割手段と同様、制限するもので
はない。

【０１１０】例えば、図１４の１２方向の基本ベクトル
の中で、実際左上方向の（例えば番号１０や番号１１）
基本ベクトルは筆記ストロークの中にはあまり出てこな
い。よって、これらの部分はもっと角度の間隔の開いた
基本ベクトルのセットを用いてもよい。

【０１１１】以上、ベクトル生成フェーズにおいて、図
１２の１２０２ストローク分割手段と１２０３ベクトル
化手段が学習用ストローク全てに施される。

【０１１２】図１４の例でいうと、「〜」ストロークが
基本ベクトル系列「１２４５５４２１」に変換されてい
る。

【０１１３】（２）サブベクトル取り出しフェーズ（１
３０２） 図１５に基づいて、サブベクトル取り出しフェーズ１３
０２の様子を詳しく述べる。

【０１１４】図１５において、ストロークは１６等分さ
れ「５４２１１２４５５４２１１２４５」のベクトルに
変換されている。

【０１１５】この１６個のベクトルで構成されているベ
クトル系列を部分的に取り出し（８個のベクトル系列×
３個）のサブベクトル系列群を作成する。

【０１１６】この取り出し方法は、図１５のように重な
るように行ってもよいし、また、全く重ならないように
行ってもよい。

【０１１７】また、サブベクトル系列のベクトル個数が
図１５では８個となっているが、これも限定しない。

【０１１８】（３）階層化前処理フェーズ（１３０３） 次に、取り出された学習用サブストロークはピラミッド
状に階層化前処理を施される。

【０１１９】図１６にその１例を示す。図１６において
は、ベクトル化手段の結果得られたベクトル系列の隣り
合う２個のベクトルの平均ベクトルを上の階層に出力す
ることによって、ベクトル情報が順次半分になっている
（縮退している）。結局、図１６において８個の基本ベ
クトルで表されたストロークを、順次４個、２個、１個
のベクトルに変換していることになる。

【０１２０】この隣り合う２個のベクトルを平均する１
方法を、図１７に基づいて詳しく述べる。

【０１２１】なお、図１４においては、基本ベクトルを
１２方向としたが、図１７では８方向とする。このよう
に、基本ベクトルの総数や個々の基本ベクトルの方向を
変化させても本質は変わらない。

【０１２２】また基本ベクトルは８方向であるという前
提で、以下、実施例を記述する。

【０１２３】隣り合う２個のベクトルの最初の番号をｐ
ｒｅ、後の番号をｐｏｓｔで示す。この時、２個のベク
トルの平均は単純には（ｐｒｅ＋ｐｏｓｔ）／２となる
が、これが基本ベクトルにならない場合が存在する。

【０１２４】一般的に、８方向の等分割ベクトルと８方
向の等分割ベクトルの平均ベクトルは１６方向存在する
ので、これを８方向にしなくてはいけない。

【０１２５】図１７はこの方法を示している。図１７の
大きな→は上の階層で右向き（番号２）のベクトルが存
在することを意味し、その下に書かれた８組みのベクト
ルは、下の階層で存在しうるベクトルを意味する。

【０１２６】つまり、上の階層で番号２のベクトルにな
る（ｐｅｒ，ｐｏｓｔ）の組みを（２，２）（１，３）
（３，１）（０，４）（２，３）（３，２）（１，４）
（４，１）の８組にしていることになる（これは、ｐｅ
ｒとｐｏｓｔの値の平均（ｐｒｅ＋ｐｏｓｔ）／２が
１．５より大、かつ２．５以下という条件である）。

【０１２７】上の階層のベクトルの番号が番号２以外の
場合は、図１７のベクトル組み合わせを全て４５度ずつ
回転して得られるベクトル組み合わせを用いる。

【０１２８】なお、この上の階層のベクトルと下の階層
の２個のベクトルの組み合わせは図１７に限ったもので
はなく、上の階層のベクトルが下の階層の２個の平均ベ
クトルと見なせうる組み合わせであれば、何でもよい。

【０１２９】（４）分類木作成フェーズ（１３０４） 階層化前処理フェーズ１３０３を経て、学習用サブスト
ローク（ＴＰｉ，ｊ）の全てが、図１６に示すようなベ
クトルのピラミッドに下から上へ展開される。分類木の
作成はこのベクトルのピラミッド化とは逆に、上から下
へ行われる。この処理について、図１９のフローチャー
トに従って以下に説明する。

【０１３０】なお、以下説明において、基本ベクトルは
図１７にある番号０から番号７までの８方向（個）であ
ると仮定する（よって、ベクトルのピラミッド上にある
ベクトルも全てこの基本ベクトルのどれかである。）。

【０１３１】最上位の層のベクトルの状態は８個存在す
るので、ルートノードから８本の枝が伸びることとな
る。

【０１３２】この時、枝に存在する学習用ストローク
（ＴＰｉ，ｊ）の数を数える。この結果によって、以後
の処理が３つにわかれる。

【０１３３】１．学習用ストローク（ＴＰｉ，ｊ）が１
つも存在しない場合 この場合は、その枝を削除する。

【０１３４】２．学習用ストローク（ＴＰｉ，ｊ）の中
で、あるカテゴリー（例えば「つ」）のストロークのみ
存在する場合 この場合は、この枝を葉とし、カテゴリーの番号（例え
ば「つ」）を割り振る。

【０１３５】３．上記１、２以外の場合＝複数カテゴリ
ーのストロークが混合して存在する場合 この場合、この枝をノードとして、更に分類木作成を続
ける。

【０１３６】図１８にこの処理の結果を示す。枝の状態
は、図１６の最上位の層＝第１層のベクトルの状況を図
示することによって、示してある。

【０１３７】存在するカテゴリーの種類の欄が「×」と
なっている枝は、上記１．学習用ストローク（ＴＰｉ，
ｊ）が１つも存在しない場合に相当し、削除される。

【０１３８】左から３番目の枝は「つ」のカテゴリーの
学習用ストロークしか存在しない。これは、上記２．学
習用ストローク（ＴＰｉ，ｊ）の中で、あるカテゴリー
（例えば「つ」）のストロークのみ存在する場合に相当
し、葉となる。

【０１３９】例えば、左から４番目と５番目の枝には
「く」「し」「つ」のカテゴリーの学習用ストロークが
存在し、上記３．１、２以外の場合＝複数カテゴリーの
ストロークが混合して存在する場合に相当し、ノードと
なる。

【０１４０】以上説明した処理をフローチャートとして
表現した図が図１９である。以下、図１８に示したよう
な分類木の生成手順を説明する。

【０１４１】まず、ステップＳ１０００では、注目ノー
ドをルートノードとする。

【０１４２】ステップＳ１００１では、設定された注目
ノードに関して、以下の３条件、即ち、 １．学習用ストロークが存在する。 ２．単一カテゴリー学習パターンのみが存在する。 ３．複数のカテゴリーの学習パターンが存在する。 のどれに当てはまるかチェックして、１．の条件を満た
せば、ステップＳ１００２へ進む。また、２．の条件を
満たせば、ステップＳ１００５へ進む。また、３．の条
件を満たせば、ステップＳ１００６へ進む。

【０１４３】ステップＳ１００２では、分類木からその
ノードを削除する。

【０１４４】ステップＳ１００３では、他の全ノード
は、全てリーフノードになったかどうかチェックして、
イエスであれば、処理を終了する。また、ノーであれ
ば、ステップＳ１００４に進み、注目ノードとして次の
ノードを選ぶ。そして、ステップＳ１００１に戻り、同
様の処理を繰り返す。

【０１４５】ステップＳ１００５では、そのノードをリ
ーフノードとして、そのカテゴリー番号をアサインす
る。そして、ステップＳ１００３に進む。

【０１４６】ステップＳ１００６では、そのノードに含
まれるベクトル列の中から、上述のエントロピー基準に
基づいて、そのベクトル列中の１つのベクトルを選択す
る。

【０１４７】ステップＳ１００７では、選択されたベク
トルの下位階層のベクトルの組の枝を生成する。

【０１４８】図１１は、このステップでの処理を説明す
るための図であり、下位階層のベクトルの組の例を示
す。

【０１４９】図１１を参照して、５０００が、ステップ
Ｓ１００６で選択された方向“２”を有するベクトルで
あるとする。このベクトルに対応する下位層でのベクト
ルの組は、８通りの組み合わせベクトル、即ち、５００
１、５００２、５００３、５００４、５００５、５００
６、５００７、５００８が存在する。そして、これらの
組み合わせベクトルの各々を新しいノードとする各枝を
生成する。

【０１５０】以上、ステップＳ１００７での処理の具体
例を示した。

【０１５１】次に、ステップＳ１００８へ進み、生成さ
れた枝のノードの１つを次の注目ノードとする。そし
て、ステップＳ１００１へ戻り、同様の処理を繰り返
す。

【０１５２】以上説明した手順によって、図９に示すよ
うな分類木を生成することにより、特徴量の多いストロ
ークパターンの大局的分類を維持しながら、類似のカテ
ゴリー間の細かい特徴の違いを反映した分類木を生成で
き、この分類木を探索することで、高速かつ高認識率の
文字認識が可能になる。

【０１５３】ここで、Ｓ１９０７でノードから枝を作成
する際に、最も効率の良い枝の作成を行いたい。最も効
率が良いとは、結局、枝を展開したときに、最も多くカ
テゴリーに関する情報が得られるベクトルをＳ１９０６
において選択するということである。

【０１５４】以下、展開したときに最も効率の良くなる
ベクトルを選ぶ方法を説明する。

【０１５５】あるノードに存在する学習用ストローク
（ＴＰｉ，ｊ）の中で、カテゴリー番号ｉの数をＮｉで
表す。このノードに存在する学習用ストロークの総数を
Ｎとすると、このノードにおけるそれぞれのカテゴリー
の存在確率ｐｉはｐｉ＝Ｎｉ／Ｎで表される。なお、

【０１５６】

【外９】 よって、このノードの情報が得られたときのエントロピ
ーは、以下の式で表される。

【０１５７】

【外１０】

【０１５８】次に、このノードにおいて、あるベクトル
を選択して、そこから枝を展開したときのエントロピー
の減少量を計算する。

【０１５９】上述の通り、１つのベクトルを下の層に向
かって展開したときの枝の数は８本である。この８本の
枝に学習用ストローク（ＴＰｉ，ｊ）がどのように分布
するかを、展開したときの枝に存在する学習用ストロー
ク（ＴＰｉ，ｊ）の数＝Ｎｉ，ｂで表す。Ｎｉ，ｂのｉ
はカテゴリー番号を示し、ｂは枝（ｂｒａｎｃｈ）の番
号を示す。この時、それぞれの枝の情報が得られたとき
のエントロピーは、上の議論と同じく、

【０１６０】

【外１１】 この式で、

【０１６１】

【外１２】 は枝に存在する学習用ストローク（ＴＰｉ，ｊ）の総数
を表わす。

【０１６２】それぞれの枝にいく確率は

【０１６３】

【外１３】 （Ｎは（１）式のＮと同じ）なので、結局、枝を展開し
たときの平均エントロピーは

【０１６４】

【外１４】 となる。

【０１６５】結局、エントロピーの平均減少値は、

【０１６６】

【外１５】 となる。

【０１６７】そして、この値を枝の数の対数で割った値

【０１６８】

【外１６】 が、枝を展開したときの分類効率を表すことになる。こ
の値が最高となるベクトルを選び、枝を展開していく。

【０１６９】なお、１つのベクトルのみを展開するので
はなく、複数のベクトルのグループに関して枝を展開し
てもよい。この場合、（５）式のＢｒａｎｃｈＮｕｍｂ
ｅｒは、（選択されたベクトルの数）×８となる。

【０１７０】また、本実施例においては、（５）式で表
される値を枝を展開したときの分類効率を表す値として
採用したが、例えば文献「Ｃｌａｓｓｆｉｃａｔｉｏｎ
ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載
されている“Ｇｉｎｉ ｃｒｉｔｅｒｉｏｎ”等の枝の
展開効率を表す関数ならば（５）式に限らず何でもよ
い。

【０１７１】以上、展開するベクトル、またはベクトル
の組みが決定されれば、それに従って、枝を展開し、葉
及びノードを作成していく。そして、最後、全部、葉に
なったところで、分類木作成を完了する。

【０１７２】以上、本実施例では、学習ストロークが１
本という前提で、本発明に係わるオンライン手書き文字
認識用の辞書作成方法を述べてきたが、実際には何本の
ストロークが入力文字として切り出されるシステムであ
っても、それぞれのストロークを本実施例と同様に処理
することによって対応できる。

【０１７３】図２０は、分類木作成フェーズによって作
成され、ＨＤＤ８０３に格納される分類木データであっ
て、手書き文字認識用辞書として利用されるデータを示
す図である。

【０１７４】図２０は図１８を更に下の階層まで表示し
た図で、削除された枝は省いてある。図２０の□で囲っ
てある枝は葉であることを示す。

【０１７５】葉以外の全ての枝はノードとなるので、更
に深く枝の展開が行われるわけであるが、図２０におい
ては左から２番目のノードのみ、更なる枝の展開結果を
図示した。

【０１７６】左から２番目のノードは、「く」「し」
「つ」の３種類のカテゴリーが共存しており、枝の展開
が必要となっている。

【０１７７】このノードの状態を表現するベクトルは１
つしか存在しない（○の中に表示されているベクトル）
ので、展開するべきベクトルは一意的に決定する。この
時の展開するベクトルの組み合わせは図１５に記載され
ているベクトルの組みに準ずる。つまり、上の階層のベ
クトルが右下の方向（番号３）のベクトルでありうる下
の階層の２個のベクトルの８つの組み合わせに相当する
枝の展開が行われる。この状況は図１６において、ベク
トルの展開が第２層まで進んだことを意味する。

【０１７８】更に展開した左から２番目の枝のノードに
は「し」「く」の２つのカテゴリーが存在する。よっ
て、更なる枝の展開が必要になる。ここで、ノードを表
現する２個のベクトルのうち、どのベクトルを展開すべ
きかについて、「展開ベクトル判別手段」が最初のベク
トルという答えを出したとする。すると、最初のベクト
ルの状態に関して、上の階層と同様に８本の枝が展開さ
れ、ある枝は削除され、ある枝は葉となり、ある枝はノ
ードとなる。ノードとなって枝は更に枝を展開しなけれ
ばならなく、最終的に全ての枝の端末は葉となる。

【０１７９】図２１は、本実施の形態におけるオンライ
ン手書き文字認識処理を表す図画であり、２１０１はユ
ーザが入力した「筆記ストローク」、２１０２は前記
「筆記ストローク」を分割する「ストローク分割手
段」、２１０３は前記「ストローク分割手段」において
分割されたストローク切片をベクトル量子化する「ベク
トル化手段」、２１０４は前記「ベクトル化手段」の結
果得られたベクトル系列から部分的なベクトルを取り出
す「サブベクトル取り出し手段」、２１０５は前記「サ
ブベクトル取り出し手段」の結果得られたベクトル系列
を階層的に処理する「階層化前処理手段」、２１０６は
前記で「階層化前処理手段」で処理された後の「階層化
されたサブベクトル系列」、２１０７はカテゴリー分類
に必要な情報にまとめた「分類木」、２１０８は前記
「階層化されたベクトル系列」を元に前記「分類木」の
分類内容に従って前記「筆記ストローク」のカテゴリー
を決定する「カテゴリー判別手段」、２１０９は前記
「カテゴリー判別手段」の結果得られた各カテゴリーの
判別確率を統合する「判別確率統合手段」である。本発
明におけるインプットは“筆記パターン”でアウトプッ
トは“認識候補”である。上記の「分類木」の内容は、
実施の形態１の方法で作成しうる「分類木」であること
が望ましい。

【０１８０】２１０１「筆記ストローク」は、実施例４
の１００１「学習用ストローク」対応するもので、実質
的には何等変わりない。２１０２「ストローク分割手
段」、２１０３「ベクトル化手段」、２１０４「サブベ
クトル取り出し手段」、２１０５「階層化前処理手段」
の４つの手段は実施例４のそれぞれ対応する手段と全く
同じものである。２１０６「階層化されたサブベクトル
系列」は、図１２の１２０６の場合は学習パターンの数
だけ存在したが、ここでは、筆記されたストロークから
導き出された１つのみである。

【０１８１】２１０７「カテゴリー判別手段」は、２１
０６「階層化されたベクトル系列」に基づき、図１８の
分類木をたぐって葉に到達した時点で、その葉に存在す
るカテゴリーを認識結果として出力する。また、葉に到
達しなかった場合は、最後に通過したノードに含まれる
カテゴリー確率を結果として出力する。

【０１８２】２１０８「判別確率統合手段」は、２１０
７「カテゴリー判別手段」のサブパターン毎の結果を相
加平均、または相乗平均等の平均処理を行う。

【０１８３】〈実施の形態３〉先の実施の形態で説明し
た分類木の作成方法、及び認識方法を利用して、音声を
認識することも可能である。

【０１８４】音声データは時系列データとして表現され
るが、このデータをフーリエ変換し、その包絡線をとる
と図２３のようになる。図２３は「あしたいく」と発声
された音声データをフーリエ変換した結果である。この
状態では、図２３を見ても分かるように、２値のビット
マップデータと異なり、アナログ値の強度を持ち、山脈
のような起伏を持った３次元形状データとなっている。

【０１８５】よって、この３次元データを何らかの定め
た軸で切断し、Ｎ枚の２次元ビットマップデータに変換
すれば、先の実施の形態で説明したビットマップデータ
の分類木作成方法で分類木が作成でき、また、入力音声
についても同様のフーリエ変換と軸での切断によりビッ
トマップデータで表せ、よって認識が可能となる。

【０１８６】図２４は強度と周波数を軸にして図２３の
データを切断した図であり、図２５は周波数と時間を軸
にして図２３のデータを切断した図である。

【０１８７】尚、図２３のような３次元形状全体の認識
結果としては、上記のようなＮ枚の２次元ビットマップ
の認識結果の相加平均等の平均操作を施すことによって
得られる。

【０１８８】

【発明の効果】以上説明したように、本発明によれば、
学習用パターンからサブパターンを取り出し、前記サブ
パターンを予め階層的に処理し、前記階層的に処理され
たサブパターンに基づいて該サブパターンの分類木を作
成することにより、少量の学習パターンでも高認識率が
実現できる。

【０１８９】以上説明したように、本発明によれば、前
記階層的処理は、前記サブパターの詳細なデータから順
に縮退したデータを生成することにより、高速な認識処
理を可能とする。

【０１９０】以上説明したように、本発明によれば、前
記分類木の作成は、前記階層的に処理されたサブパター
ンのデータの上位から下位へと展開することにより、認
識能率の良い辞書データを作成することができる。

【０１９１】以上説明したように、本発明によれば、前
記サブパターンは、前記学習用パターンを分割した部分
パターンとすることにより、サブパターンの作成が容易
に可能となる。

【０１９２】以上説明したように、本発明によれば、前
記分類木の作成は、分類効率が最大となる変数を選択
し、該選択された変数について分類木を作成することに
より、従来とは違う効率の良い分類木が実現できる。

【０１９３】以上説明したように、本発明によれば、パ
ターンを入力し、前記入力したパターンを階層的に処理
し、前記階層的に処理された入力パターンのデータのよ
り上位のデータから下位に向かって、順に前記分類木を
たどって前記入力パターンを認識することにより、高速
で高い認識率を実現できる。

【０１９４】以上説明したように、本発明によれば、前
記パターンはビットマップデータとすることにより、ス
キャナ等により入力される画像データの高認識を可能と
する。

【０１９５】以上説明したように、本発明によれば、前
記パターンはストロークデータとすることにより、ペン
等により入力される軌跡データの高認識を可能とする。

【０１９６】以上説明したように、本発明によれば、前
記パターンは音声データとすることにより、マイクロフ
ォン等により入力される音声データの高認識を可能とす
る。

【図面の簡単な説明】

【図１】実施の形態１の分類木作成処理を示す図であ
る。

【図２】本発明に係る情報処理装置のハード構成を示す
ブロック図である。

【図３】実施の形態１の情報処理装置の処理の流れを示
すフローチャートである。

【図４】実施の形態１におけるサブパターン取り出しを
説明する図である。

【図５】実施の形態１におけるピラミッドの構造図であ
る。

【図６】作成途中の分類木の様子を示す図である。

【図７】実施の形態１における分類木作成過程を示すフ
ローチャートである。

【図８】本発明に係る情報処理装置の構成図である。

【図９】選択されたニューロンから作成される下の階層
パターンの例を示す図である。

【図１０】実施の形態１により作成された分類木の例を
示す図である。

【図１１】実施の形態１の認識処理を示す図である。

【図１２】実施の形態２の分類木作成処理を示す図であ
る。

【図１３】実施の形態２の情報処理装置の処理の流れを
示すフローチャートである。

【図１４】ストローク生成フェーズの動きを示す図であ
る。

【図１５】サブベクトル取り出し手段を示す図である。

【図１６】ベクトル系列の階層化処理を示す図である。

【図１７】ベクトル平均化を示す図である。

【図１８】作成途中の分類木の様子を示す図である。

【図１９】分類木作成過程を示すフローチャートであ
る。

【図２０】実施の形態２により作成された分類木の例で
ある。

【図２１】実施の形態２の認識処理を示す図である。

【図２２】従来例を示す図である。

【図２３】音声パターンをフーリエ変換した結果の包絡
線の図である。

【図２４】強度と周波数を軸にした音声パターンの図で
ある。

【図２５】周波数と時間を軸にした音声パターンの図で
ある。

Claims (27)

【特許請求の範囲】
1. 【請求項１】 学習用パターンからサブパターンを取り
   出し、 前記サブパターンを予め階層的に処理し、 前記階層的に処理されたサブパターンに基づいて該サブ
   パターンの分類木を作成することを特徴とする情報処理
   方法。
2. 【請求項２】 前記階層的処理は、前記サブパターンの
   詳細なデータから順に縮退したデータを生成することを
   特徴とする請求項１に記載の情報処理方法。
3. 【請求項３】 前記分類木の作成は、前記階層的に処理
   されたサブパターンのデータの上位から下位へと展開す
   ることを特徴とする請求項１に記載の情報処理方法。
4. 【請求項４】 前記サブパターンは、前記学習用パター
   ンを分割した部分パターンとすることを特徴とする請求
   項１に記載の情報処理方法。
5. 【請求項５】 前記分類木の作成は、分類効率が最大と
   なる変数を選択し、 該選択された変数について分類木を作成することを特徴
   とする請求項１に記載の情報処理方法。
6. 【請求項６】 パターンを入力し、 前記入力したパターンを階層的に処理し、 前記階層的に処理された入力パターンのデータのより上
   位のデータから下位に向かって、順に前記分類木をたど
   って前記入力パターンを認識することを特徴とする請求
   項１に記載の情報処理方法。
7. 【請求項７】 前記パターンはビットマップデータとす
   ることを特徴とする請求項１に記載の情報処理方法。
8. 【請求項８】 前記パターンはストロークデータとする
   ことを特徴とする請求項１に記載の情報処理方法。
9. 【請求項９】 前記パターンは音声データとすることを
   特徴とする請求項１に記載の情報処理方法。
10. 【請求項１０】 学習用パターンからサブパターンを取
    り出すサブパターン取り出し手段と、 前記サブパターンを予め階層的に処理する階層化処理手
    段と、 前記階層的に処理されたサブパターンに基づいて該パタ
    ーンの分類木を作成する分類木作成手段を有することを
    特徴とする情報処理装置。
11. 【請求項１１】 前記階層化処理手段は、前記サブパタ
    ーンの詳細なデータから順に縮退したデータを生成する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 【請求項１２】 前記分類木作成手段は、前記階層的に
    処理されたサブパターンのデータの上位から下位へと展
    開することを特徴とする請求項１０に記載の情報処理装
    置。
13. 【請求項１３】 前記サブパターン取り出し手段は、前
    記学習用パターンを分割した部分パターンをサブパター
    ンとして取り出すことを特徴とする請求項１０に記載の
    情報処理装置。
14. 【請求項１４】 前記分類木作成手段は、分類効率が最
    大となる変数を選択し、該選択された変数について分類
    木を作成することを特徴とする請求項１０に記載の情報
    処理装置。
15. 【請求項１５】 パターンを入力する入力手段と、 前記入力したパターンを階層的に処理する手段と、 前記階層的に処理された入力パターンのデータのより上
    位のデータから下位に向かって、順に前記分類木をたど
    って前記入力パターンを認識する認識手段とを有するこ
    とを特徴とする請求項１０に記載の情報処理装置。
16. 【請求項１６】 前記パターンはビットマップデータと
    することを特徴とする請求項１０に記載の情報処理装
    置。
17. 【請求項１７】 前記パターンはストロークデータとす
    ることを特徴とする請求項１０に記載の情報処理装置。
18. 【請求項１８】 前記パターンは音声データとすること
    を特徴とする請求項１０に記載の情報処理装置。
19. 【請求項１９】 学習用パターンからサブパターンを取
    り出し、 前記サブパターンを予め階層的に処理し、 前記階層的に処理されたサブパターンに基づいて該サブ
    パターンの分類木を作成することを特徴とするコンピュ
    ータ可読メモリ。
20. 【請求項２０】 前記階層的処理は、前記サブパターン
    の詳細なデータから順に縮退したデータを生成すること
    を特徴とする請求項１９に記載のコンピュータ可読メモ
    リ。
21. 【請求項２１】 前記分類木の作成は、前記階層的に処
    理されたサブパターンのデータの上位から下位へと展開
    することを特徴とする請求項１９に記載のコンピュータ
    可読メモリ。
22. 【請求項２２】 前記サブパターンは、前記学習用パタ
    ーンを分割した部分パターンとすることを特徴とする請
    求項１９に記載のコンピュータ可読メモリ。
23. 【請求項２３】 前記分類木の作成は、分類効率が最大
    となる変数を選択し、 該選択された変数について分類木を作成することを特徴
    とする請求項１９に記載のコンピュータ可読メモリ。
24. 【請求項２４】 パターンを入力し、 前記入力したパターンを階層的に処理し、 前記階層的に処理された入力パターンのデータのより上
    位のデータから下位に向かって、順に前記分類木をたど
    って前記入力パターンを認識することを特徴とする請求
    項１９に記載のコンピュータ可読メモリ。
25. 【請求項２５】 前記パターンはビットマップデータと
    することを特徴とする請求項１９に記載のコンピュータ
    可読メモリ。
26. 【請求項２６】 前記パターンはストロークデータとす
    ることを特徴とする請求項１９に記載のコンピュータ可
    読メモリ。
27. 【請求項２７】 前記パターンは音声データとすること
    を特徴とする請求項１９に記載のコンピュータ可読メモ
    リ。