JPH09231321A - 情報処理方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 文字パターンから効率よく階層化文字パター
ンを生成する情報処理方法を提供する。 【解決手段】 階層化文字パターンを生成する情報処理
方法であって、文字パターンの複数の部分領域の互いに
近傍の部分領域の文字データの論理和を計算して、縮退
された文字パターンを生成する。そして、生成された縮
退された文字パターンの複数の領域の互いに近傍の部分
領域のデータの論理和を計算して、第２の縮退された文
字パターンを生成する。さらに、生成された縮退された
文字パターンに基づいて、第２の縮退された文字パター
ン生成処理を所定のｎ回繰り返すことによって、ｎ−１
層の階層化文字パターンを生成する（Ｓ１０２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理方法とその
装置、特に、文字認識、音声認識等の文章を認識する情
報処理方法および装置に関する。

【０００２】

【従来の技術】従来、文章認識を行う１方法として、Ｎ
−ｇｒａｍテーブルを使用した方法が存在した。この方
法は、例えば、文献「確率モデルによる音声認識」（電
子情報通信学会編、中川聖一著）にあるように、文章の
帰属する言語モデルとして有限状態オートマトンを採用
し、このモデルに基づいて文字列の事前確率を求める方
法である。

【０００３】つまり、この方法においては、文章を構成
する要素列の連なりに関する確率を大規模文章データベ
ースから求められるステップが必要不可欠になる。

【０００４】

【発明が解決しようとする課題】しかしながら、日本語
や中国語のように、文字の種類が数千種類になる言語に
おいては、ｔｒｉｇｒａｍ（Ｎ＝３）程度のテーブルを
作成するにも非常に大量の文章データが必要になる。ま
た、少ない文章データを用いてテーブルを作成しようと
すると、信頼性のある遷移確率と信頼性のない遷移確率
がテーブル内に共存することになり、不具合が生じると
いう問題があった。

【０００５】本発明は、上記従来例に鑑みてなされたも
ので、文字パターンから効率よく階層化文字パターンを
生成する情報処理方法および装置を提供することを目的
とする。また、生成された階層化文字パターンに基づい
て、上の階層でカテゴリーの競合が最も激しく、かつ、
すぐ下の階層でカテゴリーが良く分離される構造の分類
木を生成する情報処理方法および装置を提供することを
目的とする。

【０００６】また、生成された分類木からメモリ効率の
よいＮ−ｇｒａｍテーブルを生成する情報処理方法およ
び装置を提供することを目的とする。さらに、生成され
たＮ−ｇｒａｍテーブルを検索して、高認識率かつ高速
な認識が可能な情報処理方法および装置を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の情報処理方法および装置は以下の構成を備
える。即ち、階層化文字パターンを生成する情報処理方
法であって、複数の領域に分割された文字パターンにお
いて、前記複数の領域の互いに近傍の部分領域の文字デ
ータの論理和を計算して、縮退された文字パターンを生
成する縮退パターン生成工程と、前記生成された縮退さ
れた文字パターンの複数の領域の互いに近傍の部分領域
のデータの論理和を計算して、第２の縮退された文字パ
ターンを生成する第２縮退パターン生成工程と、前記第
２縮退パターン生成工程で生成された縮退された文字パ
ターンに基づいて、前記第２縮退パターン生成工程の処
理を所定のｎ回繰り返すことによって、ｎ−１層の階層
化文字パターンを生成する繰り返し工程とを備える。

【０００８】また、別の発明は、文字認識のための認識
辞書である分類木を生成する方法であって、所定の学習
用ストロークを、複数の区間に分割する分割工程と、前
記分割工程で分割された各区間のストロークをベクトル
量子化するベクトル量子化工程と、前記ベクトル量子化
工程で量子化された各区間のストロークの近傍ストロー
クの組を合成して、より上位のストロークベクトルを生
成してゆき、階層化ストロークベクトル系列を生成する
階層化ストロークベクトル生成工程と、前記階層化スト
ロークベクトル生成工程で生成された階層化ストローク
ベクトル系列のより上位のストロークベクトルから所定
のエントロピー関数が最大となるストロークベクトルを
選択して、より下位のストロークベクトルの組に展開し
て分類木を生成してゆく分類木生成工程と、前記分類木
生成工程で生成された分類木に、所定の階層化された文
字ストロークを適用して、Ｎ−ｇｒａｍテーブルを生成
するＮ−ｇｒａｍテーブル生成工程とを備える。

【０００９】また、別の発明は、階層化文字パターンを
生成する情報処理装置であって、複数の領域に分割され
た文字パターンにおいて、前記複数の領域の互いに近傍
の部分領域の文字データの論理和を計算して、縮退され
た文字パターンを生成する縮退パターン生成手段と、前
記生成された縮退された文字パターンの複数の領域の互
いに近傍の部分領域のデータの論理和を計算して、第２
の縮退された文字パターンを生成する第２縮退パターン
生成手段と、前記第２縮退パターン生成手段で生成され
た縮退された文字パターンに基づいて、前記第２縮退パ
ターン生成手段の処理を所定のｎ回繰り返すことによっ
て、ｎ−１層の階層化文字パターンを生成する繰り返し
手段とを備えることを特徴する情報処理装置。

【００１０】また、別の発明は、文字認識のための認識
辞書である分類木を生成する装置であって、所定の学習
用ストロークを、複数の区間に分割する分割手段と、前
記分割手段で分割された各区間のストロークをベクトル
量子化するベクトル量子化手段と、前記ベクトル量子化
手段で量子化された各区間のストロークの近傍ストロー
クの組を合成して、より上位のストロークベクトルを生
成してゆき、階層化ストロークベクトル系列を生成する
階層化ストロークベクトル生成手段と、前記階層化スト
ロークベクトル生成手段で生成された階層化ストローク
ベクトル系列のより上位のストロークベクトルから所定
のエントロピー関数が最大となるストロークベクトルを
選択して、より下位のストロークベクトルの組に展開し
て分類木を生成してゆく分類木生成手段と、前記分類木
生成手段で生成された分類木に、所定の階層化された文
字ストロークを適用して、Ｎ−ｇｒａｍテーブルを生成
するＮ−ｇｒａｍテーブル生成手段とを備える。

【００１１】また、別の発明は、コンピュータプログラ
ム製品であって、階層化文字パターンを生成する、コン
ピュータ読み取り可能なプログラムコード手段を有する
コンピュータ使用可能な媒体を備え、前記コンピュータ
プログラム製品は、複数の領域に分割された文字パター
ンにおいて、前記複数の領域の互いに近傍の部分領域の
文字データの論理和を計算して、縮退された文字パター
ンを生成する、コンピュータ読み取り可能な第１プログ
ラムコード手段と、前記生成された縮退された文字パタ
ーンの複数の領域の互いに近傍の部分領域のデータの論
理和を計算して、第２の縮退された文字パターンを生成
する、コンピュータ読み取り可能な第２プログラムコー
ド手段と、前記生成された縮退された文字パターンに基
づいて、前記第２プログラムコード手段の処理を所定の
ｎ回繰り返すことによって、ｎ−１層の階層化文字パタ
ーンを生成する、コンピュータ読み取り可能なプログラ
ムコード手段とを備える。

【００１２】また、別の発明は、コンピュータプログラ
ム製品であって、文字認識のための認識辞書である分類
木を生成する、コンピュータ読み取り可能なプログラム
コード手段を有するコンピュータ使用可能な媒体を備
え、前記コンピュータプログラム製品は、所定の学習用
ストロークを、複数の区間に分割する、コンピュータ読
み取り可能なプログラムコード手段と、前記分割された
各区間のストロークをベクトル量子化する、コンピュー
タ読み取り可能なプログラムコード手段と、前記量子化
された各区間のストロークの近傍ストロークの組を合成
して、より上位のストロークベクトルを生成してゆき、
階層化ストロークベクトル系列を生成する、コンピュー
タ読み取り可能なプログラムコード手段と、前記生成さ
れた階層化ストロークベクトル系列のより上位のストロ
ークベクトルから所定のエントロピー関数が最大となる
ストロークベクトルを選択して、より下位のストローク
ベクトルの組に展開して分類木を生成してゆく、コンピ
ュータ読み取り可能なプログラムコード手段と、前記生
成された分類木に、所定の階層化された文字ストローク
を適用して、Ｎ−ｇｒａｍテーブルを生成する、コンピ
ュータ読み取り可能なプログラムコード手段とを備え
る。

【００１３】

【発明の実施の形態】はじめに、本発明の実施の形態の
情報処理方法のポイントを要約した後に、その詳細な説
明に入るものとする。本発明の実施の形態の情報処理方
法では、学習用パターンを階層的に処理し分類木を作成
する。そして、その分類木を元にＮ−ｇｒａｍテーブル
を作成する。

【００１４】また、学習用パターンの階層的処理では、
学習用パターンの特徴を段階的に縮退させる。また、分
類木作成では、上の階層でカテゴリーの競合が最も激し
く、かつ、すぐ下の階層でカテゴリーが良く分離される
変数を選び、前記縮退された変数を下の階層に向かって
展開する。

【００１５】また、学習用ストロークを分割し、分割さ
れたストローク切片をベクトル量子化し、その結果得ら
れたベクトル系列を階層的に処理してベクトル系列を階
層化し、その階層化されたベクトル系列を元に、分類木
を作成し、その分類木を元にＮ−ｇｒａｍテーブルを作
成する。また、前記階層化前処理では、学習用ストロー
クを構成するベクトル系列情報を段階的に縮退させる。

【００１６】また、前記分類木作成処理では、上の階層
でカテゴリーの競合が最も激しく、かつ、すぐ下の階層
でカテゴリーが良く分離されるベクトルを選び、その結
果に基づき縮退されたベクトルを下の階層に向かって展
開する。また、生成されたＮ−ｇｒａｍテーブルを元に
ユーザが入力した文章を認識する。

【００１７】以下、図面に基づいて、本発明の実施の形
態の情報処理装置の詳細な説明を行う。 ＜実施の形態１＞図１は、本発明の以下の実施の形態す
べてにかかわるパターン認識方式が適用される情報処理
装置の構成を示すブロック図である。

【００１８】パターン認識装置は、パターン入力装置２
０１、表示装置２０２、中央処理装置（ＣＰＵ）２０
３、メモリ２０４から構成される。パターン入力装置２
０１は、例えば、オンライン文字認識ならば、デジタイ
ザとペンを有し、デジタイザの上にペンによって入力さ
れた文字や図形の座標データをＣＰＵ２０３に渡す。こ
のパターン入力装置は、これから認識しようとするパタ
ーンが入力できるものならば、スキャナーでもマイクで
も何でもよい。

【００１９】表示装置２０２は、パターン入力手段２０
１に入力された生のパターンデータやＣＰＵ２０３が認
識した結果を表示する。ＣＰＵ２０３は、入力されたパ
ターン認識を行ったり、すべての装置の制御を行う。メ
モリ２０４は、ＣＰＵ２０３が使用する認識プログラム
や辞書を記録したり、入力されたパターンデータ、認識
プログラムの使用する変数等を一時的に記録する。

【００２０】図２は、本発明に係る実施の形態の情報処
理方法の処理概念を表す図である。１０１は生の学習用
パターンであり、Ｓ１０２は、生の学習用パターン（１
０１）をニューラルネットに適用する前処理を行う階層
化前処理ステップである。１０３は、ニューラルネット
で処理後の階層化された学習用パターンである。Ｓ１０
４は、階層化された学習用パターン（１０３）を元に分
類木を作成する分類木作成ステップである。

【００２１】Ｓ１０５は、分類木作成ステップ（Ｓ１０
４）が分類木を作成する過程で使用する展開変数判別ス
テップである。１０６は、ステップＳ１０４の処理で生
成された分類木である。１０７は、文章データベースで
ある。この文章データベースには、一般に使われている
様々な文章のパターンが格納されている。この文章デー
タベースは、後述するＮ-ｇｒａｍ作成ステップで、事
前に生成された分類木での事前確率を求めるためにアク
セスされる。

【００２２】Ｓ１０８は、文章データベース（１０７）
と分類木（１０６）を元に、Ｎ−ｇｒａｍテーブル（１
０９）を作成するＮ−ｇｒａｍテーブル作成ステップで
ある。 本実施の形態における入力は、生の学習用パタ
ーン（１０１）、および、文章データベース（１０７）
であり、その出力はＮ−ｇｒａｍテーブル（１０９）と
なる。

【００２３】以下、図３から図７に基づいて、本実施の
形態の処理手順を詳細に述べる。まず、入力パターンと
しては、１６×１６のメッシュ上に書かれた「０」から
「９」までの１０個の数字パターンがあるとする。
「０」の入力パターン例を図５に示す。辞書作成用の学
習パターンは、「０」から「９」までそれぞれ１００個
存在するとする。なお、これらを、 ＬＴi,j（Learning Template i,j） と名前付ける。ここで、ｉはカテゴリーを表すサフィッ
クスで、 ０ ＜＝ ｉ ＜＝ ９ の範囲の値をとる。ｊは、学習パターンナンバーを示す
サフィックスで、 １ ＜＝ ｊ ＜＝ １００ の範囲の値をとる。

【００２４】そして、図３に示すような４階層のニュー
ラルネットワークを構成する。図３の４階層は、それぞ
れ上から２×２、４×４、８×８、１６×１６個のニュ
ーロン群から構成される。本パターン認識用辞書作成方
法は、ニューラルネット展開フェーズ、分類木作成フェ
ーズ、Ｎ−ｇｒａｍテーブル作成フェーズの３段階のス
テップをへて実施される。以下、順に説明する（図４参
照）。

【００２５】（１）ニューラルネット展開フェーズ まず、学習用テンプレートは、図３の最下層の１６×１
６個のニューロンに入力される。この時、入力パターン
（ＬＴi,j）の白の部分はニューロンがオフ（ＯＦＦ）
で、黒の部分はニューロンがオン（ＯＮ）になるとす
る。以下の説明においては、「黒」と「ニューロンのＯ
Ｎ」／「白」と「ニューロンのＯＦＦ」はそれぞれ同一
の意味を持つものとする。

【００２６】ニューラルネットの構成は極めて単純であ
る。つまり、下の層の２×２のニューロンの中で、ＯＮ
となっているものが１つでもあれば、真上の層の１つの
ニューロンはＯＮとなる。というルールで入力パターン
を上に向かって処理していく。図５の学習用テンプレー
トを処理した結果を、図６に示す。

【００２７】結局、入力パターンの特徴空間は２５６次
元の超立方格子（２²⁵⁶通りのデータ組み合わせを有す
る）をなす。これが、第１層では２⁴、第２層では
２¹⁶、第３層では２⁶⁴となる。なお、このニューラルネ
ットの構造はこれに限ったものではない。 （２）分類木作成フェーズ （１）のニューラルネット展開フェーズによって、学習
用テンプレート（ＬＴi,j）の全てが、図３のニューラ
ルネットに展開される。分類木の作成はこのニューラル
ネットの展開とは逆に、上から下へ行われる。

【００２８】ルールのノードは、図３の最上位の層（２
×２）のさらに上に仮想的に存在するニューロンから始
まる。学習用テンプレート（ＬＴi,j）を展開した結
果、図３の最上位の層（２×２）はどれかはＯＮとなっ
ている。言い換えれば、真っ白い学習用テンプレートが
存在しない限り最上位の層（２×２）は、すべてＯＦＦ
にはならない。

【００２９】よって、全ての学習用テンプレート（ＬＴ
i,j）に対して、仮想的に存在する最上位ニューロンの
活動はＯＮとなっている。最上位の層（２×２）の状態
は、２⁴＝１６個存在するので（正確には、上記説明の
ように、すべてＯＦＦの状態ではないので、１５個であ
る）、ルートノードから１６本の枝が伸びることとな
る。（図７参照） この時、枝に存在する学習用テンプレート（ＬＴi,j）
の数を数える。この結果によって、以後の処理が３つに
わかれる。

【００３０】学習用テンプレート（ＬＴi,j）が１つ
も存在しない場合 この場合は、その枝を削除する。 学習用テンプレート（ＬＴi,j）の中で、あるカテゴ
リー（例えば「１」のテンプレートのみ存在する場合 この場合は、この枝を葉とし、カテゴリーの番号（例え
ば「１」）を割り振る。

【００３１】上記１、２以外の場合、即ち、複数カテ
ゴリーのテンプレートが混合して存在する場合 この場合、この枝をノードとして、更に分類木作成を続
ける。図７が、この処理の結果を示すものである。枝の
状態は、図３の最上位の層（第１層）のニューロンの発
火状況を図示することによって、示してある（黒はＯＮ
で、白はＯＦＦを表す）。

【００３２】存在するカテゴリーの種類の欄が「×」と
なっている枝は、上記学習用テンプレート（ＬＴi,
j）が１つも存在しない場合に相当し、削除される。な
お、厳密には、一番左の枝はルートからは、出ていな
い。左から８番目の枝は、「１」のカテゴリーの学習用
テンプレートしか存在しない。これは、上記学習用テ
ンプレート（ＬＴi,j）の中で、あるカテゴリー（例え
ば「１」）のテンプレートのみ存在する場合に相当し、
葉となる。

【００３３】例えば、左から１２番目の枝には「２」
「４」「５」「６」のカテゴリーの学習用テンプレート
が存在し、上記上記１、２以外の場合＝複数カテゴリ
ーのテンプレートが混合して存在する場合に相当し、ノ
ードとなる。次に、このノードから枝を作成する方法に
ついて述べる。このノードから枝を作成する際に、最も
効率の良い枝の作成を行いたい。最も効率が良いとは、
結局、枝を展開したときに、最も多くカテゴリーに関す
る情報が得られるということである。

【００３４】このような要請のもとで枝を展開する方法
は、一般に非常に多く存在し、そのどれを採用してよい
かは、なかなか決定できない。従来、この問題が原因
で、認識用の分類木がうまく作成できないでいた。しか
し、仮に、このノードから展開する枝を、このノードに
おいて、ＯＮとなっているニューロンを下の層に展開し
た枝に限ってみる。

【００３５】例えば、図７の左から１２番目の枝の場
合、図３の第１層における左上、左下、右下の３つのニ
ューロンの中から１つ選び、そのニューロンの下、つま
り図３の第２層の下４つのニューロンの状態に関する枝
の展開を行う。こうすることによって、枝の展開に要す
る計算時間を大幅に削減できるし、このような制限をし
ても、本質的に分類木の分類性能に大きなダメージは与
えない。

【００３６】次に、このノードにおいて、ＯＮとなって
いるニューロンの内で、展開したときに最も効率良くな
るニューロンを選ぶ方法を説明する。あるノードに存在
する学習用テンプレート（ＬＴi,j）の中で、カテゴリ
ー番号ｉの数をＮｉで表す。このノードに存在する学習
用テンプレートの総数をＮとすると、このノードにおけ
るそれぞれのカテゴリーの存在確率ｐｉは ｐｉ＝Ｎｉ／Ｎ で表される。なお、

【００３７】

【数１】

【００３８】よって、このノードの情報が得られたとき
のエントロピーは、以下の式で表される。

【００３９】

【数２】 （式１）

【００４０】次に、このノードにおいて、ＯＮとなって
いるニューロンの１つを選択して、そこから枝を展開し
たときのエントロピーの減少量を計算する。

【００４１】上述の通り、１つのニューロンを下の層に
向かって展開したときの枝の数は１６本である。この１
６本の枝に学習用テンプレート（ＬＴi,j）がどのよう
に分布するかを、展開したときの枝に存在する学習用テ
ンプレート（ＬＴi,j）の数を Ｎi,b で表す。Ｎi,bのｉはカテゴリー番号を示し、ｂは枝（b
ranch）の番号を示す。

【００４２】この時、それぞれの枝の情報が得られたと
きのエントロピーは、上の議論と同じく、

【００４３】

【数３】 （式２）

【００４４】この式で、

【００４５】

【数４】

【００４６】は枝に存在する学習用テンプレート（ＬＴ
i,j）の総数を表す。それぞれの枝にいく確率は、

【００４７】

【数５】

【００４８】（ここで、Ｎは（１）式のＮと同じ）なの
で、結局、枝を展開したときの平均エントロピーは

【００４９】

【数６】 （式３） となる。

【００５１】結局、エントロピーの平均減少値は、

【００５２】

【数７】 （式４）

【００５３】となる。

【００５４】そして、この値を枝の数で割った値

【００５５】

【数８】 （式５）

【００５６】が枝を展開したときの分類効率を表すこと
になる。

【００５７】この値が最高となるニューロンを選び、枝
を展開していく。なお、１つのニューロンのみを展開す
るのではなく、複数のニューロンのグループに関して枝
を展開してもよい。この場合、（式５）のＢｒａｎｃｈ
Ｎｕｍｂｅｒは、ニューロンの数×１６となる。ここ
で、厳密には展開する下の層のニューロンがすべてＯＦ
Ｆということは有り得ないので、ＢｒａｎｃｈＮｕｍｂ
ｅｒは、ニューロンの数×１５となる。

【００５８】また、本実施の形態においては、（式５）
で表される値を枝を展開したときの分類効率を表す値と
して採用したが、例えば、文献「Ｃｌａｓｓｆｉｃａｔ
ｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」
に記載されている“Ｇｉｎｉｃｒｉｔｅｒｉｏｎ”等の
枝の展開効率を表す関数ならば、（式５）に限らず何で
もよい。

【００５９】以上、展開するニューロン、またはニュー
ロンの組みが決定されれば、それに従って、枝を展開
し、葉及びノードを作成していく。そして、最後に、全
部が葉になったところで、分類木作成を完了する。図８
に、実際作成された分類木の内容を示す。図８は、図７
を詳しくしたもので、削除された枝は省いてある。図８
の○で囲ってある枝は葉であることを示す。

【００６０】葉以外の全ての枝はノードとなるので、更
に深く枝の展開が行われるわけであるが、図８において
は、右から３番目のノードのみ、更なる枝の展開結果を
図示した。右から３番目のノードは。「１」「７」
「９」の３種類のカテゴリーが共存しており、枝の展開
が必要となっている。ここで、第１層のどのニューロン
を展開すべきかについて、展開変数判別ステップＳ１０
５（図２）が、第１層の右上のニューロンという答えを
出したとする。

【００６１】すると、右上のニューロンの状態に関し
て、図７と同様に ２⁴＝１６本の枝が展開され、ある
枝は削除され、ある枝は葉となり、ある枝はノードとな
る。ノードとなった枝は、更に枝を展開しなければなら
なく、最終的に全ての枝の末端は葉となる。図８では、
右から３番目のノードの展開結果を、簡単のため、第１
層と第２層を重ね書きすることによって示してある。実
際は、図３に示したニューラルネットの第１層の４つの
ニューロンと第２層の右上４つのニューロンに、これら
の状態が表現されている。

【００６２】（３）Ｎ−ｇｒａｍテーブル作成フェーズ （２）分類木作成フェーズの結果得られる分類木の第１
層は、図８に見られるように認識すべき全カテゴリーを
その形状に基づいて大分類したことと等価になる。 よって、この大分類カテゴリーグループに基づいて（大
分類カテゴリーグループを仮想的なカテゴリーとみなし
て）Ｎ−ｇｒａｍを作成すれば、より少ないデータベー
スで信頼性の高い状態遷移確率が求まることになる。

【００６３】但し、ここで注意しなければいけないこと
は、分類木作成フェーズの結果得られる分類木の第１層
は必ずしも排他的ではないということである。例えば、
図８において、「１」のカテゴリーは４つの枝（または
ノード）に存在する。この現象は、文献“A Survery of
Decision Tree Classifier Methodology"(IEEE Transa
ctions on Systems, Man, Cybernetics vol.21, No.3,
May/June 1991)にもあるように、“overlap classes"と
呼ばれる一般的な現象である。

【００６４】この“overlap classes"を排他的なものに
するために、例えば、あるカテゴリーが存在する確率が
一番高い枝をそのカテゴリーの専属枝とする方法があ
る。図８において、「１」のカテゴリーが左から２番目
の枝に存在する確率が一番高いとすれば、左から１番
目、３番目、６番目に存在する「１」のカテゴリーを無
視する。

【００６５】このようにして作成された大分類カテゴリ
ーグループの例を図９に示す。この図９において、○を
つけた数字のカテゴリーは存在確率が一番高かったもの
である。例えば、この図によれば、左から「１」が第１
カテゴリーグループ、「４」「６」が第２カテゴリーグ
ループ、「７」「９」が第３カテゴリーグループ、
「０」「２」「３」「５」「８」が第４カテゴリーグル
ープを形成し、結果的に当初１０個あったカテゴリーが
４つにグループ化されたことになる。この４つのグルー
プを新たに仮想的カテゴリーとしてＮ−ｇｒａｍを作成
するわけである。

【００６６】このようにして作成されたＮ−ｇｒａｍテ
ーブルは、分類木作成フェーズの結果得られた分類木の
情報を使用して作成されてはいるが、一般的な文章認識
アルゴリズムに組み込んで使用することができるもので
ある。つまり、文章の事前確率を求める際にこのＮ−ｇ
ｒａｍテーブルを使用し、事後確率を求める際に前記分
類木を使用せず、全く異なった認識アルゴリズムを使用
しても良い。

【００６７】言うまでもないが、Ｎ−ｇｒａｍテーブル
で文章の事前確率を求めながら文章認識を行うアルゴリ
ズムとしては、ＤＰマッチングや全探索アルゴリズム等
の公知のアルゴリズムに組み込んで、文章を形成する個
々のパターン形状の組み合わせを全て含めた全パターン
の事前確率を求めてもよい。また、上記の説明では、分
類木の第１層を大分類カテゴリーと見なしたが、任意の
ｎ層までをもって大分類カテゴリーグループと見なして
もよい。

【００６８】＜実施の形態２＞図１０は、実施の形態２
での処理方法を表す図面である。１００１は学習用スト
ロークであり、ストローク分割ステップＳ１００２で
は、この学習用ストロークを複数のストローク切片分割
する。ベクトル化ステップＳ１００３では、ストローク
分割ステップＳ１００２において分割されたストローク
切片をベクトル量子化する。

【００６９】階層化前処理ステップＳ１００４では、ベ
クトル化ステップＳ１００３の結果得られたベクトル系
列を階層的に処理し、階層化されたベクトル系列１００
５を生成する。尚、この処理の詳細は後述する。分類木
作成ステップＳ１００６では、階層化されたベクトル系
列１００５を元に分類木１００８を作成する。

【００７０】展開ベクトル判別ステップＳ１００７は、
分類木作成ステップＳ１００６が分類木を作成する過程
で使用される処理工程である。Ｎ−ｇｒａｍテーブル作
成ステップＳ１０１０では、文章データベース１００９
と分類木１００８を元にＮ−ｇｒａｍテーブル１０１１
を作成する。図１０の処理フローでの入力は、生の学習
用パターン（学習用ストローク１００１）および、文章
データベース１００９であり、出力はＮ−ｇｒａｍ（Ｎ
−ｇｒａｍ１０１１）となる。

【００７１】以下、図１１から図１５に基づいて、Ｎ−
ｇｒａｍ生成方法について詳細に述べる。読者の理解を
容易にするために、認識対象とするカテゴリーとして、
１画で書かれた「く」「し」「つ」の３種類の文字での
処理を一例として説明する。また、辞書作成用の学習パ
ターンは、「く」「し」「つ」それぞれ１００個存在す
るとする。

【００７２】なお、これらを、 ＴＰi,j（Traning Pattern i,j） と名前付ける。ここで、ｉはカテゴリーを表すサフィッ
クスで、 ０ ＜＝ ｉ ＜＝ ２ の範囲の値をとる。また、ｊは学習パターンナンバーを
示すサフィックスで、 １ ＜＝ ｊ ＜＝ １００ の範囲の値をとる。

【００７３】本実施の形態のオンライン手書き文字認識
用辞書作成方法は、図１１のフローチャートに示すよう
に、ベクトル生成フェーズ、階層化前処理フェーズ、分
類木作成フェーズ、Ｎ−ｇｒａｍテーブル作成フェーズ
の４段階のステップをへて実行される。 （１）ベクトル生成フェーズ 図１２に基づいて、ベクトル生成フェーズの様子を詳し
く述べる。

【００７４】まず、学習用ストロークはｎ分割（図１２
ではｎ＝８となっている）される。図１２では、このｎ
分割は、ストローク距離に関するｎ等分となっている
が、本実施の形態はこれに制限されるものではない。例
えば、始点終点付近のストロークの状態が不安定なスト
ローク入力装置であれば、始点終点付近のストロークを
いくら詳しくベクトル化してもあまり意味がない。この
ような場合は、ｎ分割における最初と最後の分割は、そ
の他の分割に比べて長くとってもよい。

【００７５】次に、ｎ分割されたそれぞれのバクトル切
片をベクトル量子化する。図１２においては、番号０か
ら番号１１までの１２方向の基本ベクトルにベクトル量
子化している。尚、この基本ベクトルの方向は、３６０
度の中で等間隔に並んでいるが、本実施の形態は、これ
に制限されるものではない。

【００７６】例えば、図１２の１２方向の基本ベクトル
の中で、実際左上方向の（例えば番号１０や番号１１）
基本ベクトルは、筆記ストロークの中にあまり出てこな
い。この場合は、これらの部分はもっと角度の間隔の開
いた基本ベクトルのセットを用いてもよい。以上、ベク
トル生成フェーズにおいて、図１０のストローク分割ス
テップＳ１００２とベクトル化ステップＳ１００３が学
習用ストローク全てに対して施される。

【００７７】図１２の例では、「〜」形のストローク
が、基本ベクトル系列 １２４５５４２１ に変換される。 （２）階層化前処理フェーズ 次に、ベクトル化された学習用ストロークは、ピラミッ
ド状に階層化する前処理が施される。

【００７８】図１３にその１例を示す。図１３において
は、ベクトル化ステップＳ１００３の結果得られたベク
トル系列の隣り合う２個のベクトルの平均ベクトルを上
の階層に出力することによって、ベクトル情報が順次半
分になっている（縮退している）。結局、図１３におい
て、８個の基本ベクトル系列で表されたストロークを、
順次４個、２個、１個のベクトルにそれぞれ変換してい
ることになる。

【００７９】この隣り合う２個のベクトルを平均する一
方法を、図１４に基づいて詳しく述べる。なお、図１２
においては、基本ベクトルを１２方向としたが、図１４
では、説明を簡単にするために便宜上、８方向とする。
このように、基本ベクトルの総数や個々の基本ベクトル
の方向を変化させても本発明の本質は変わらない。

【００８０】また基本ベクトルは８方向であるという前
提で、以下、実施の形態を記述する。いま、隣り合う２
個のベクトルの最初の番号をｐｒｅ、後の番号をｐｏｓ
ｔで示すことにする。この時、２個のベクトルの平均は
単純には （ｐｒｅ＋ｐｏｓｔ）／２ となるが、これが基本ベクトルにならない場合が存在す
る。

【００８１】一般的に、８方向の等分割ベクトルの平均
ベクトルは１６方向存在するので、これを８方向にしな
くてはいけない。図１４は、この方法を示している。図
１４の大きな→は上の階層で右向き（番号２）のベクト
ルが存在することを意味し、その下に書かれた８組のベ
クトルは、下の階層で存在しうるベクトルを意味する。

【００８２】つまり、上の階層で番号２のベクトルにな
る（ｐｒｅ，ｐｏｓｔ）の組みを (2,2)(1,3)(3,1)(0,4)(2,3)(3,2)(3,4)(4,3) の８組にしていることになる。これは、ｐｒｅとｐｏｓ
ｔの値の平均 （ｐｒｅ＋ｐｏｓｔ）／２ が１．５より大、かつ２．５以下という条件である。

【００８３】上の階層のベクトルの番号が番号２以外の
場合は、図１４のベクトル組み合わせを全て４５度ずつ
回転して得られるベクトル組み合わせを用いる。なお、
この上の階層のベクトルと下の階層の２個のベクトルの
組み合わせは図１４に限ったものではなく、上の階層の
ベクトルが下の階層の２個の平均ベクトルと見なせうる
組み合わせであれば、何でもよい。

【００８４】（３）分類木作成フェーズ （２）の階層化前処理フェーズをへて、学習用ストロー
ク（ＴＰi,j）の全てが、図１３に示すようなベクトル
のピラミッドに下から上へ展開される。分類木の作成で
は、このベクトルのピラミッド化とは逆に、上から下へ
行われる。なお、以下説明において、基本ベクトルは図
１４にある番号０から番号７までの８方向（個）である
と仮定する。よって、ベクトルのピラミッド上にあるベ
クトルも全てこの基本ベクトルのどれかである。

【００８５】最上位の層のベクトルの状態は８個存在す
るので、ルートノードから８本の枝が伸びることとな
る。この時、枝に存在する学習用ストローク（ＴＰi,
j）の数を数える。この結果によって、以後の処理が３
つにわかれる。 学習用ストローク（ＴＰi,j）が１つも存在しない場
合 この場合は、その枝を削除する。

【００８６】学習用ストローク（ＴＰi,j）の中で、
あるカテゴリー（例えば「つ」のストロークのみ存在す
る場合 この場合は、この枝を葉とし、カテゴリーの番号（例え
ば「つ」を割り振る。 上記１、２以外の場合、即ち、複数カテゴリーのスト
ロークが混合して存在する場合 この場合、この枝をノードとして、更に分類木の作成を
続ける。

【００８７】図１５にこの処理の結果を示す。枝の状態
は、図１３の最上位の層、即ち、第１層のベクトルの状
況を図示することによって示してある。存在するカテゴ
リーの種類の欄が「×」となっている枝は、上記学習
用ストローク（ＴＰｉ，ｊ）が１つも存在しない場合に
相当し、削除される。左から３番目の枝は「つ」のカテ
ゴリーの学習用ストロークしか存在しない。これは、上
記学習用ストローク（ＴＰi,j）の中で、あるカテゴ
リー（例えば「つ」）のストロークのみ存在する場合に
相当し、葉となる。

【００８８】例えば、左から４番目と５番目の枝には
「く」「し」「つ」のカテゴリーの学習用ストロークが
存在し、上記上記１、２以外の場合、即ち、複数カテ
ゴリーのストロークが混合して存在する場合に相当し、
ノードとなる。次に、このノードから枝を作成する方法
について述べる。このノードから枝を作成する際に、最
も効率の良い枝の作成を行いたい。最も効率が良いと
は、結局、枝を展開したときに、最も多くカテゴリーに
関する情報が得られるということである。

【００８９】以下、展開したときに最も効率の良くなる
ベクトルを選ぶ方法を説明する。あるノードに存在する
学習用ストローク（ＴＰi,j）の中で、カテゴリー番号
ｉの数をＮｉで表す。このノードに存在する学習用スト
ロークの総数をＮとすると、このノードにおけるそれぞ
れのカテゴリーの存在確率ｐｉは、 ｐｉ＝Ｎｉ／Ｎ で表される。なお、

【００９０】

【数９】

【００９１】よって、このノードの情報が得られたとき
のエントロピーは、以下の式で表される。

【００９２】

【数１０】 （式６）

【００９３】次に、このノードにおいて、あるベクトル
を選択して、そこから枝を展開したときのエントロピー
の減少量を計算する。

【００９４】上述の通り、１つのベクトルを下の層に向
かって展開したときの枝の数は８本である。この８本の
枝に学習用ストローク（ＴＰi,j）がどのように分布す
るかを、展開したときの枝に存在する学習用ストローク
（ＴＰi,j）の数Ｎi,bで表す。Ｎi,bのｉはカテゴリー
番号を示し、ｂは枝（branch）の番号を示す。

【００９５】この時、それぞれの枝の情報が得られたと
きのエントロピーは、上の議論と同じく、

【００９６】

【数１１】 （式７）

【００９７】この式で、

【００９８】

【数１２】

【００９９】は枝に存在する学習用ストローク（ＴＰi,
j）の総数を表す。それぞれの枝にいく確率は、

【０１００】

【数１３】

【０１０１】ここで、Ｎは（式６）のＮと同じなので、
結局、枝を展開したときの平均エントロピーは

【０１０２】

【数１４】 （式８）

【０１０３】となる。結局、エントロピーの平均減少値
は、

【０１０４】

【数１５】 （式９）

【０１０５】となる。そして、この値を枝の数の対数で
割った値

【０１０６】

【数１６】 （式１０）

【０１０７】が、枝を展開したときの分類効率を表すこ
とになる。この値が最高となるベクトルを選び、枝を展
開していく。

【０１０８】なお、１つのベクトルのみを展開するので
はなく、複数のベクトルのグループに関して枝を展開し
てもよい。この場合、（式１０）のＢｒａｎｃｈＮｕｍ
ｂｅｒは、 （選択されたベクトルの数）×８ となる。

【０１０９】また、本実施の形態においては、（式１
０）で表される値を枝を展開したときの分類効率を表す
値として採用したが、例えば、文献「Classfication an
dRegression Trees」に記載されている“Gini criterio
n”等の枝の展開効率を表す関数ならば、（式１０）に
限らず何でもよい。以上、展開するベクトル、またはベ
クトルの組みが決定されれば、それに従って、枝を展開
し、葉及びノードを作成していく。

【０１１０】そして、最後、全部、葉になったところ
で、分類木作成を完了する。以上、本実施の形態では、
学習ストロークが１本という前提で、本実施の形態に係
わるオンライン手書き文字認識用の辞書作成方法を述べ
てきたが、実際には複数本のストロークが入力文字とし
て切り出されるシステムであっても、それぞれのストロ
ークを本実施の形態と同様に処理することによって対応
できることはいうまでもない。

【０１１１】（４）Ｎ−ｇｒａｍテーブル作成フェーズ この処理は、実施の形態１と同様に、（３）分類木作成
フェーズまでの説明で得られた分類木を元にＮ−ｇｒａ
ｍテーブルを作成する。以上説明したＮ−ｇｒａｍの各
要素の単位は“１文字の語”としたが、これは単語等の
文節でもよいことは言うまでもないなお、本発明は、複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。

【０１１２】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【０１１３】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。プログラムコードを供給
するための記憶媒体としては、例えば、フロッピディス
ク，ハードディスク，光ディスク，光磁気ディスク，Ｃ
Ｄ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリ
カード，ＲＯＭなどを用いることができる。

【０１１４】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１１５】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１１６】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図１６のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。すなわち、少なくと
も、ステップＳ１０２、ステップＳ１００４「階層化前
処理モジュール」、ステップＳ１０４、ステップＳ１０
０６での処理に対応する「分類木作成モジュール」、ス
テップＳ１０５、ステップＳ１００７での処理に対応す
る「展開変数判別モジュール」、ステップＳ１０８、ス
テップＳ１０１０での処理に対応する「Ｎ−ｇｒａｍテ
ーブル作成モジュール」、ステップＳ１００２での処理
に対応する「ストローク分割処理モジュール」、ステッ
プＳ１００３での処理に対応する「ベクトル化処理モジ
ュール」の各モジュールのプログラムコードを記憶媒体
に格納すればよい。

【０１１７】以上説明したように、本発明によれば、文
章を構成するパターンの所属するカテゴリーを大分類し
たグループに関してＮ−ｇｒａｍテーブルを作成できる
ことによって、少ない量の文章データベースでも信頼性
の高いＮ−ｇｒａｍテーブルが作成できるという効果が
ある。また、パターンの形状の似かより方をうまく反映
させたカテゴリーのグループかを行っているので、高い
文章認識率が実現できるという効果がある。

【０１１８】

【発明の効果】以上説明したように本発明によれば、文
字パターンから効率よく階層化文字パターンを生成する
ことができる。また、生成された階層化文字パターンに
基づいて、上の階層でカテゴリーの競合が最も激しく、
かつ、すぐ下の階層でカテゴリーが良く分離される構造
の分類木を生成することができる。

【０１１９】また、生成された分類木からメモリ効率の
よいＮ−ｇｒａｍテーブルを生成することができる。さ
らに、生成されたＮ−ｇｒａｍテーブルを検索して、高
認識率かつ高速な認識が可能となる。

【図面の簡単な説明】

【図１】本実施の形態の情報処理装置の構成を示すブロ
ック図である。

【図２】本発明の情報処理手順の概念を示す図である。

【図３】実施の形態１の情報処理方法における処理手順
の一部を示すピラミッド型ニューラルネットの構造図で
ある。

【図４】実施の形態１の情報処理の流れを示すフローチ
ャートである。

【図５】実施の形態１の学習用パターンの例を示す図で
ある。

【図６】実施の形態１の階層化された学習用パターンの
例を示す図である。

【図７】実施の形態の情報処理方法における分類木作成
過程を示す図である。

【図８】実施の形態１の情報処理方法で生成された分類
木の様子を示す図である。

【図９】実施の形態１の情報処理方法における大分類カ
テゴリーグループ分けの例を示す図である。

【図１０】実施の形態２の情報処理手順の概念を示す図
である。

【図１１】実施の形態２の情報処理の流れを示すフロー
チャートである。

【図１２】実施の形態２のストローク生成フェーズの処
理を説明するための図である。

【図１３】実施の形態２の階層化されたベクトル系列を
示す図である。

【図１４】実施の形態２でのベクトル平均化処理を説明
するための図である。

【図１５】実施の形態２の分類木の様子を示す図であ
る。

【図１６】本実施の形態のプログラムモジュールのメモ
リレイアウト例を示す図である。

【符号の説明】

２０１ パターン入力装置 ２０２ 表示装置 ２０３ 中央処理装置 ２０４ メモリ

Claims (35)

【特許請求の範囲】
1. 【請求項１】 階層化文字パターンを生成する情報処理
   方法であって、 複数の領域に分割された文字パターンにおいて、前記複
   数の領域の互いに近傍の部分領域の文字データの論理和
   を計算して、縮退された文字パターンを生成する縮退パ
   ターン生成工程と、 前記生成された縮退された文字パターンの複数の領域の
   互いに近傍の部分領域のデータの論理和を計算して、第
   ２の縮退された文字パターンを生成する第２縮退パター
   ン生成工程と、 前記第２縮退パターン生成工程で生成された縮退された
   文字パターンに基づいて、前記第２縮退パターン生成工
   程の処理を所定のｎ回繰り返すことによって、ｎ−１層
   の階層化文字パターンを生成する繰り返し工程とを備え
   ることを特徴する情報処理方法。
2. 【請求項２】 前記複数の領域に分割された文字パター
   ンは、文字認識辞書のための学習用文字パターンである
   ことを特徴する請求項１に記載の情報処理方法。
3. 【請求項３】 前記複数の領域は、等サイズの矩形であ
   ることを特徴する請求項１に記載の情報処理方法。
4. 【請求項４】 前記近傍の部分領域の範囲は、連接する
   ２ｘ２の４個の部分領域であることを特徴する請求項１
   に記載の情報処理方法。
5. 【請求項５】 前記繰り返し工程で生成された複数の階
   層化文字パターンのに基づいて、分類木を生成する分類
   木生成工程をさらに備え、前記分類木生成工程は、 前記階層化文字パターンの各層で、縮退された文字部分
   パターンを含む部分領域から、より下位の層での対応す
   る文字部分パターンを含む部分領域にリンクを生成する
   リンク生成工程と、 前記リンク生成工程での処理を、より下位の層に対応す
   る文字部分パターンを含む部分領域がなくなるまで繰り
   返して、分類木を生成する繰り返し工程とを備えること
   を特徴とする請求項１に記載の情報処理方法。
6. 【請求項６】 前記リンク生成工程は、前記階層化文字
   パターンの各層で、縮退された文字部分パターンを含む
   部分領域から所定のエントロピー関数が最大となる部分
   領域を選択して、選択された部分領域に対応するより下
   位層での文字部分パターンを含む部分領域にリンクを生
   成することを特徴とする請求項１に記載の情報処理方
   法。
7. 【請求項７】 前記エントロピー関数は、前記階層化文
   字パターンの各層で、縮退された文字部分パターンを含
   む部分領域うちの１つの部分領域に対応する下位層の部
   分領域の情報が得られた時のエントロピーの減少値を出
   力する関数であることを特徴とする請求項６に記載の情
   報処理方法。
8. 【請求項８】 所定の階層化された文字パターンを、前
   記分類木生成工程で生成された分類木に適用してＮ−ｇ
   ｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成工
   程をさらに備えることを特徴とする請求項１に記載の情
   報処理方法。
9. 【請求項９】 前記Ｎ−ｇｒａｍテーブル生成工程は、 所定の階層化された文字パターンを、前記分類木生成工
   程で生成された分類木に適用して、前記分類木の各ノー
   ドの発生確率を生成する発生確率生成工程と、 同じカテゴリに所属する複数の文字パターンが別のリン
   クに所属している場合、最も発生確率の高い文字パター
   ンが所属するリンクを選択して、前記リンク以外に所属
   する同じカテゴリに所属する文字パターンを棄却してＮ
   −ｇｒａｍテーブルを生成する工程とを備えることを特
   徴とする請求項８に記載の情報処理方法。
10. 【請求項１０】 前記Ｎ−ｇｒａｍテーブル生成工程で
    生成されたＮ−ｇｒａｍテーブルを検索して、入力した
    文字パターンに対応するカテゴリを認識することを特徴
    とする請求項８に記載の情報処理方法。
11. 【請求項１１】 文字認識のための認識辞書である分類
    木を生成する方法であって、 所定の学習用ストロークを、複数の区間に分割する分割
    工程と、 前記分割工程で分割された各区間のストロークをベクト
    ル量子化するベクトル量子化工程と、 前記ベクトル量子化工程で量子化された各区間のストロ
    ークの近傍ストロークの組を合成して、より上位のスト
    ロークベクトルを生成してゆき、階層化ストロークベク
    トル系列を生成する階層化ストロークベクトル生成工程
    と、 前記階層化ストロークベクトル生成工程で生成された階
    層化ストロークベクトル系列のより上位のストロークベ
    クトルから所定のエントロピー関数が最大となるストロ
    ークベクトルを選択して、より下位のストロークベクト
    ルの組に展開して分類木を生成してゆく分類木生成工程
    と、 前記分類木生成工程で生成された分類木に、所定の階層
    化された文字ストロークを適用して、Ｎ−ｇｒａｍテー
    ブルを生成するＮ−ｇｒａｍテーブル生成工程とを備え
    ることを特徴とする情報処理方法。
12. 【請求項１２】 前記ベクトル量子化工程は、前記分割
    工程で分割された各区間のストロークを、近傍ベクトル
    の交差角が互いに等しい８つの方向ベクトルに量子化す
    ることを特徴とする請求項１１に記載の情報処理方法。
13. 【請求項１３】 前記ベクトル量子化工程は、前記分割
    工程で分割された各区間のストロークを、近傍ベクトル
    の交差角が互いに等しい１６の方向ベクトルに量子化す
    ることを特徴とする請求項１１に記載の情報処理方法。
14. 【請求項１４】 前記エントロピー関数は、前記階層化
    ストロークベクトル生成工程で生成された階層化ストロ
    ークベクトル系列のより上位のストロークベクトルのう
    ちの１つのストロークベクトルの下位のベクトル組の情
    報が得られた時のエントロピーの減少値を出力する関数
    であることを特徴とする請求項１１に記載の情報処理方
    法。
15. 【請求項１５】 分類木生成工程はさらに、前記より下
    位のストロークベクトルの組に対応する学習用ストロー
    クが存在しなければ、前記分類木から前記より下位のス
    トロークベクトルの組を無効とすることを特徴とする請
    求項１１に記載の情報処理方法。
16. 【請求項１６】 分類木生成工程はさらに、前記より下
    位のストロークベクトルの組に対応する単一カテゴリー
    の学習用ストロークが存在すれば、前記より下位のスト
    ロークベクトルの組に前記カテゴリーの番号を添付する
    ことを特徴とする請求項１５に記載の情報処理方法。
17. 【請求項１７】 分類木生成工程はさらに、前記より下
    位のストロークベクトルの組に対応する複数カテゴリー
    の学習用ストロークが存在すれば、前記より下位のスト
    ロークベクトルの組の上位のストロークベクトルから所
    定のエントロピー関数が最大となるストロークベクトル
    を選択して、より下位のストロークベクトルの組に展開
    して分類木を生成することを特徴とする請求項１６に記
    載の情報処理方法。
18. 【請求項１８】 前記Ｎ−ｇｒａｍテーブル生成工程
    は、 所定の階層化された文字ストロークを、前記分類木生成
    工程で生成された分類木に適用して、前記分類木の各ノ
    ードの発生確率を生成する発生確率生成工程と、 同じカテゴリに所属する複数の文字ストロークが別のリ
    ンクに所属している場合、最も発生確率の高い文字スト
    ロークが所属するリンクを選択して、前記リンク以外に
    所属する同じカテゴリに所属する文字ストロークを棄却
    してＮ−ｇｒａｍテーブルを生成する工程とを備えるこ
    とを特徴とする請求項１１に記載の情報処理方法。
19. 【請求項１９】 前記Ｎ−ｇｒａｍテーブル生成工程で
    生成されたＮ−ｇｒａｍテーブルを検索して、入力した
    文字ストロークに対応するカテゴリを認識することを特
    徴とする請求項１１に記載の情報処理方法。
20. 【請求項２０】 階層化文字パターンを生成する情報処
    理装置であって、 複数の領域に分割された文字パターンにおいて、前記複
    数の領域の互いに近傍の部分領域の文字データの論理和
    を計算して、縮退された文字パターンを生成する縮退パ
    ターン生成手段と、 前記生成された縮退された文字パターンの複数の領域の
    互いに近傍の部分領域のデータの論理和を計算して、第
    ２の縮退された文字パターンを生成する第２縮退パター
    ン生成手段と、 前記第２縮退パターン生成手段で生成された縮退された
    文字パターンに基づいて、前記第２縮退パターン生成手
    段の処理を所定のｎ回繰り返すことによって、ｎ−１層
    の階層化文字パターンを生成する繰り返し手段とを備え
    ることを特徴する情報処理装置。
21. 【請求項２１】 前記繰り返し手段で生成された複数の
    階層化文字パターンのに基づいて、分類木を生成する分
    類木生成手段をさらに備え、前記分類木生成手段は、 前記階層化文字パターンの各層で、縮退された文字部分
    パターンを含む部分領域から、より下位の層での対応す
    る文字部分パターンを含む部分領域にリンクを生成する
    リンク生成手段と、 前記リンク生成手段での処理を、より下位の層に対応す
    る文字部分パターンを含む部分領域がなくなるまで繰り
    返して、分類木を生成する繰り返し手段とを備えること
    を特徴とする請求項２０に記載の情報処理装置。
22. 【請求項２２】 前記リンク生成手段は、前記階層化文
    字パターンの各層で、縮退された文字部分パターンを含
    む部分領域から所定のエントロピー関数が最大となる部
    分領域を選択して、選択された部分領域に対応するより
    下位層での文字部分パターンを含む部分領域にリンクを
    生成することを特徴とする請求項２０に記載の情報処理
    装置。
23. 【請求項２３】 前記エントロピー関数は、前記階層化
    文字パターンの各層で、縮退された文字部分パターンを
    含む部分領域うちの１つの部分領域に対応する下位層の
    部分領域の情報が得られた時のエントロピーの減少値を
    出力する関数であることを特徴とする請求項２０に記載
    の情報処理装置。
24. 【請求項２４】 所定の階層化された文字パターンを、
    前記分類木生成手段で生成された分類木に適用してＮ−
    ｇｒａｍテーブルを生成するＮ−ｇｒａｍテーブル生成
    手段をさらに備えることを特徴とする請求項２０に記載
    の情報処理装置。
25. 【請求項２５】 前記Ｎ−ｇｒａｍテーブル生成手段
    は、 所定の階層化された文字パターンを、前記分類木生成手
    段で生成された分類木に適用して、前記分類木の各ノー
    ドの発生確率を生成する発生確率生成手段と、 同じカテゴリに所属する複数の文字パターンが別のリン
    クに所属している場合、最も発生確率の高い文字パター
    ンが所属するリンクを選択して、前記リンク以外に所属
    する同じカテゴリに所属する文字パターンを棄却してＮ
    −ｇｒａｍテーブルを生成する手段とを備えることを特
    徴とする請求項２４に記載の情報処理装置。
26. 【請求項２６】 前記Ｎ−ｇｒａｍテーブル生成手段で
    生成されたＮ−ｇｒａｍテーブルを検索して、入力した
    文字パターンに対応するカテゴリを認識することを特徴
    とする請求項２４に記載の情報処理装置。
27. 【請求項２７】 文字認識のための認識辞書である分類
    木を生成する装置であって、 所定の学習用ストロークを、複数の区間に分割する分割
    手段と、 前記分割手段で分割された各区間のストロークをベクト
    ル量子化するベクトル量子化手段と、 前記ベクトル量子化手段で量子化された各区間のストロ
    ークの近傍ストロークの組を合成して、より上位のスト
    ロークベクトルを生成してゆき、階層化ストロークベク
    トル系列を生成する階層化ストロークベクトル生成手段
    と、 前記階層化ストロークベクトル生成手段で生成された階
    層化ストロークベクトル系列のより上位のストロークベ
    クトルから所定のエントロピー関数が最大となるストロ
    ークベクトルを選択して、より下位のストロークベクト
    ルの組に展開して分類木を生成してゆく分類木生成手段
    と、 前記分類木生成手段で生成された分類木に、所定の階層
    化された文字ストロークを適用して、Ｎ−ｇｒａｍテー
    ブルを生成するＮ−ｇｒａｍテーブル生成手段とを備え
    ることを特徴とする情報処理装置。
28. 【請求項２８】 前記エントロピー関数は、前記階層化
    ストロークベクトル生成手段で生成された階層化ストロ
    ークベクトル系列のより上位のストロークベクトルのう
    ちの１つのストロークベクトルの下位のベクトル組の情
    報が得られた時のエントロピーの減少値を出力する関数
    であることを特徴とする請求項２７に記載の情報処理装
    置。
29. 【請求項２９】 分類木生成手段はさらに、前記より下
    位のストロークベクトルの組に対応する学習用ストロー
    クが存在しなければ、前記分類木から前記より下位のス
    トロークベクトルの組を無効とすることを特徴とする請
    求項２７に記載の情報処理装置。
30. 【請求項３０】 分類木生成手段はさらに、前記より下
    位のストロークベクトルの組に対応する単一カテゴリー
    の学習用ストロークが存在すれば、前記より下位のスト
    ロークベクトルの組に前記カテゴリーの番号を添付する
    ことを特徴とする請求項２９に記載の情報処理装置。
31. 【請求項３１】 分類木生成手段はさらに、前記より下
    位のストロークベクトルの組に対応する複数カテゴリー
    の学習用ストロークが存在すれば、前記より下位のスト
    ロークベクトルの組の上位のストロークベクトルから所
    定のエントロピー関数が最大となるストロークベクトル
    を選択して、より下位のストロークベクトルの組に展開
    して分類木を生成することを特徴とする請求項３０に記
    載の情報処理装置。
32. 【請求項３２】 前記Ｎ−ｇｒａｍテーブル生成手段
    は、 所定の階層化された文字ストロークを、前記分類木生成
    手段で生成された分類木に適用して、前記分類木の各ノ
    ードの発生確率を生成する発生確率生成手段と、 同じカテゴリに所属する複数の文字ストロークが別のリ
    ンクに所属している場合、最も発生確率の高い文字スト
    ロークが所属するリンクを選択して、前記リンク以外に
    所属する同じカテゴリに所属する文字ストロークを棄却
    してＮ−ｇｒａｍテーブルを生成する手段とを備えるこ
    とを特徴とする請求項２７に記載の情報処理装置。
33. 【請求項３３】 前記Ｎ−ｇｒａｍテーブル生成手段で
    生成されたＮ−ｇｒａｍテーブルを検索して、入力した
    文字ストロークに対応するカテゴリを認識することを特
    徴とする請求項２７に記載の情報処理装置。
34. 【請求項３４】 コンピュータプログラム製品であっ
    て、 階層化文字パターンを生成する、コンピュータ読み取り
    可能なプログラムコード手段を有するコンピュータ使用
    可能な媒体を備え、前記コンピュータプログラム製品
    は、 複数の領域に分割された文字パターンにおいて、前記複
    数の領域の互いに近傍の部分領域の文字データの論理和
    を計算して、縮退された文字パターンを生成する、コン
    ピュータ読み取り可能な第１プログラムコード手段と、 前記生成された縮退された文字パターンの複数の領域の
    互いに近傍の部分領域のデータの論理和を計算して、第
    ２の縮退された文字パターンを生成する、コンピュータ
    読み取り可能な第２プログラムコード手段と、 前記生成された縮退された文字パターンに基づいて、前
    記第２プログラムコード手段の処理を所定のｎ回繰り返
    すことによって、ｎ−１層の階層化文字パターンを生成
    する、コンピュータ読み取り可能なプログラムコード手
    段とを備えることを特徴する。
35. 【請求項３５】 コンピュータプログラム製品であっ
    て、 文字認識のための認識辞書である分類木を生成する、コ
    ンピュータ読み取り可能なプログラムコード手段を有す
    るコンピュータ使用可能な媒体を備え、前記コンピュー
    タプログラム製品は、 所定の学習用ストロークを、複数の区間に分割する、コ
    ンピュータ読み取り可能なプログラムコード手段と、 前記分割された各区間のストロークをベクトル量子化す
    る、コンピュータ読み取り可能なプログラムコード手段
    と、 前記量子化された各区間のストロークの近傍ストローク
    の組を合成して、より上位のストロークベクトルを生成
    してゆき、階層化ストロークベクトル系列を生成する、
    コンピュータ読み取り可能なプログラムコード手段と、 前記生成された階層化ストロークベクトル系列のより上
    位のストロークベクトルから所定のエントロピー関数が
    最大となるストロークベクトルを選択して、より下位の
    ストロークベクトルの組に展開して分類木を生成してゆ
    く、コンピュータ読み取り可能なプログラムコード手段
    と、 前記生成された分類木に、所定の階層化された文字スト
    ロークを適用して、Ｎ−ｇｒａｍテーブルを生成する、
    コンピュータ読み取り可能なプログラムコード手段とを
    備えることを特徴とする。