JPH08123913A - 情報処理方法 - Google Patents
情報処理方法Info
- Publication number
- JPH08123913A JPH08123913A JP6265054A JP26505494A JPH08123913A JP H08123913 A JPH08123913 A JP H08123913A JP 6265054 A JP6265054 A JP 6265054A JP 26505494 A JP26505494 A JP 26505494A JP H08123913 A JPH08123913 A JP H08123913A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- classification tree
- information processing
- learning
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 画像、音声等のパターン認識において、高次
元の特徴変数を持つ生のパターンデータを、前処理等の
余分な処理を必要とせず、直接認識を行えるような分類
木を作成する。 【構成】 額収容パターンを予め階層的に処理する階層
化前処理ステップと、前記階層化前処理ステップにおい
て処理された学習用パターンに基づいて分類木を作成す
る分類木作成ステップとを備える。
元の特徴変数を持つ生のパターンデータを、前処理等の
余分な処理を必要とせず、直接認識を行えるような分類
木を作成する。 【構成】 額収容パターンを予め階層的に処理する階層
化前処理ステップと、前記階層化前処理ステップにおい
て処理された学習用パターンに基づいて分類木を作成す
る分類木作成ステップとを備える。
Description
【０００１】
【産業上の利用分野】本発明は画像、音声、文字等のパ
ターンをカテゴリーに分類する情報処理方法に関するも
のである。
ターンをカテゴリーに分類する情報処理方法に関するも
のである。
【０００２】
【従来の技術】従来、パターン認識を行う１方法とし
て、ニューラルネットを用いた認識方法が存在した。ニ
ューラルネットの大きな特徴としては、誤差逆伝播アル
ゴリズムに代表される強力な学習アルゴリズムが存在す
ることが挙げられる。この特徴のため、これまで広い分
野のパターン認識においてニューラルネットが適用され
てきた。
て、ニューラルネットを用いた認識方法が存在した。ニ
ューラルネットの大きな特徴としては、誤差逆伝播アル
ゴリズムに代表される強力な学習アルゴリズムが存在す
ることが挙げられる。この特徴のため、これまで広い分
野のパターン認識においてニューラルネットが適用され
てきた。
【０００３】また、パターン認識を行うもう１つの方法
として、分類木を用いて段階的にパターンをカテゴリー
に選別していく方法がある。例えば、特公平６−５２５
３７号公報に記載されているパターン認識方式は、特徴
軸に順番を付けて、その順番に従ってカテゴリー分けを
行っている。
として、分類木を用いて段階的にパターンをカテゴリー
に選別していく方法がある。例えば、特公平６−５２５
３７号公報に記載されているパターン認識方式は、特徴
軸に順番を付けて、その順番に従ってカテゴリー分けを
行っている。
【０００４】また、特徴変数の１次結合を元に、カテゴ
リー分けを行う方法があった。なお、一般に特徴軸を１
つ１つ用いるより特徴変数の１次結合を用いた方が良い
結果が得られている。
リー分けを行う方法があった。なお、一般に特徴軸を１
つ１つ用いるより特徴変数の１次結合を用いた方が良い
結果が得られている。
【０００５】
【発明が解決しようとしている課題】しかしながら、上
記従来の技術では以下の様な欠点があった。
記従来の技術では以下の様な欠点があった。
【０００６】１．ニューラルネットが適用できる特徴変
数の範囲は、１０のオーダーであり、それ以上の高次元
の特徴を入力変数とする場合には、何等かの事前カテゴ
リー分離、または、特徴抽出が必要である。しかも、事
前カテゴリー分離、または、特徴抽出等の前処理を行う
と、前処理で誤識誤差が生じる可能性があって、ニュー
ラルネットをいくら精度よく作成できたとしても、最終
的な認識率が良くならないという現象が起こる（図９参
照）。
数の範囲は、１０のオーダーであり、それ以上の高次元
の特徴を入力変数とする場合には、何等かの事前カテゴ
リー分離、または、特徴抽出が必要である。しかも、事
前カテゴリー分離、または、特徴抽出等の前処理を行う
と、前処理で誤識誤差が生じる可能性があって、ニュー
ラルネットをいくら精度よく作成できたとしても、最終
的な認識率が良くならないという現象が起こる（図９参
照）。
【０００７】２．分類木が適用できる特徴変数の範囲
も、１０のオーダーであり、それ以上多くの特徴変数を
扱おうとすると、分類木の作成が事実上不可能となる。
も、１０のオーダーであり、それ以上多くの特徴変数を
扱おうとすると、分類木の作成が事実上不可能となる。
【０００８】３．実際のパターン認識において、生デー
タの特徴変数の次元は１００から１０００のオーダーに
なるので、１０のオーダーしかとれない既存のニューラ
ルネット、分類木をそのままの形で実際のパターン認識
に使用することは不可能である。
タの特徴変数の次元は１００から１０００のオーダーに
なるので、１０のオーダーしかとれない既存のニューラ
ルネット、分類木をそのままの形で実際のパターン認識
に使用することは不可能である。
【０００９】
【課題を解決する為の手段】上記の課題を解決する為
に、本発明は、入力した学習用パターンを予め階層的に
処理する階層化前処理ステップと、前記階層化前処理ス
テップにおいて処理された学習用パターンに基づいて分
類木を作成する分類木作成ステップとを備える。
に、本発明は、入力した学習用パターンを予め階層的に
処理する階層化前処理ステップと、前記階層化前処理ス
テップにおいて処理された学習用パターンに基づいて分
類木を作成する分類木作成ステップとを備える。
【００１０】上記課題を解決する為に、本発明は、好ま
しくは前記階層化前処理ステップにおいて、学習用パタ
ーンの特徴変数を段階的に縮退する。
しくは前記階層化前処理ステップにおいて、学習用パタ
ーンの特徴変数を段階的に縮退する。
【００１１】上記課題を解決する為に、本発明は、好ま
しくは前記分類木作成ステップにおいて、上の階層と下
の階層との関係に基づき変数を選ぶ展開変数判別ステッ
プを備え、前記展開変数判別ステップの結果に基づき縮
退された変数を下の階層に向かって展開する。
しくは前記分類木作成ステップにおいて、上の階層と下
の階層との関係に基づき変数を選ぶ展開変数判別ステッ
プを備え、前記展開変数判別ステップの結果に基づき縮
退された変数を下の階層に向かって展開する。
【００１２】上記課題を解決する為に、本発明は、好ま
しくは前記作成された分類木を用いて入力パターンを認
識する。
しくは前記作成された分類木を用いて入力パターンを認
識する。
【００１３】上記課題を解決する為に、本発明は、好ま
しくは前記作成された分類木を基に認識用のテンプレー
トを作成し、該テンプレートを用いて入力パターンを認
識する。
しくは前記作成された分類木を基に認識用のテンプレー
トを作成し、該テンプレートを用いて入力パターンを認
識する。
【００１４】上記課題を解決する為に、本発明は、好ま
しくは前記入力パターンは手書き文字パターンとする。
しくは前記入力パターンは手書き文字パターンとする。
【００１５】上記課題を解決する為に、本発明は、好ま
しくは前記入力パターンは光学的に読み取った文字パタ
ーンとする。
しくは前記入力パターンは光学的に読み取った文字パタ
ーンとする。
【００１６】上記課題を解決する為に、本発明は、好ま
しくは前記入力パターンは音声パターンとする。
しくは前記入力パターンは音声パターンとする。
【００１７】
【実施例】以下、図面に基づいて本発明の好適な実施例
を説明する。
を説明する。
【００１８】〈実施例１〉図２は本発明のパターン認識
方法が適用される情報処理装置の構成の一例を示すブロ
ック図である。
方法が適用される情報処理装置の構成の一例を示すブロ
ック図である。
【００１９】パターン認識装置は、パターン入力装置２
０１、表示装置２０２、中央処理装置（ＣＰＵ）２０
３、メモリ２０４から構成される。
０１、表示装置２０２、中央処理装置（ＣＰＵ）２０
３、メモリ２０４から構成される。
【００２０】パターン入力装置２０１は、例えばオンラ
イン文字認識ならば、デジタイザとペンを有し、デジタ
イザの上にペンによって入力された文字や図形の座標デ
ータをＣＰＵ２０３に渡す。このパターン入力装置は、
デジタイザとペンに限らずこれから認識しようとするパ
ターンが入力できるものならば、スキャナー（２値のパ
ターンデータを入力）でもマイク（音声パターンを入
力）でも何でもよい。表示装置２０２はパターン入力手
段２０１より入力した生のパターンデータやＣＰＵ２０
３が認識した結果を表示する。ＣＰＵ２０３は入力され
たパターンの認識を行ったり、後述するフローチャート
に示す処理等をメモリ２０４に格納されている制御プロ
グラムに従って実行し、すべての装置の制御を行う。メ
モリ２０４はＣＰＵ２０３が使用する認識プログラムや
辞書を記憶したり、入力されたパターンデータ、認識プ
ログラムの使用する変数パラメータや認識処理中に生ず
るデータ等を記憶する。
イン文字認識ならば、デジタイザとペンを有し、デジタ
イザの上にペンによって入力された文字や図形の座標デ
ータをＣＰＵ２０３に渡す。このパターン入力装置は、
デジタイザとペンに限らずこれから認識しようとするパ
ターンが入力できるものならば、スキャナー（２値のパ
ターンデータを入力）でもマイク（音声パターンを入
力）でも何でもよい。表示装置２０２はパターン入力手
段２０１より入力した生のパターンデータやＣＰＵ２０
３が認識した結果を表示する。ＣＰＵ２０３は入力され
たパターンの認識を行ったり、後述するフローチャート
に示す処理等をメモリ２０４に格納されている制御プロ
グラムに従って実行し、すべての装置の制御を行う。メ
モリ２０４はＣＰＵ２０３が使用する認識プログラムや
辞書を記憶したり、入力されたパターンデータ、認識プ
ログラムの使用する変数パラメータや認識処理中に生ず
るデータ等を記憶する。
【００２１】図１は、本実施例のパターン認識用の辞書
作成方法、及びパターン認識方法をよく表す図画であ
り、１０１は「生の学習用パターン」、１０２は「生の
学習用パターン」をニューラルネットに通す「階層化前
処理ステップ」、１０３はニューラルネットで処理され
た後の「階層化された学習用パターン」、１０４は「階
層化された学習用パターン」を元に分類木を作成する
「分類木作成ステップ」、１０５は「分類木作成ステッ
プ」が分類木を作成する過程で使用する「展開変数判別
ステップ」、１０６は最終的な「分類木」である。
作成方法、及びパターン認識方法をよく表す図画であ
り、１０１は「生の学習用パターン」、１０２は「生の
学習用パターン」をニューラルネットに通す「階層化前
処理ステップ」、１０３はニューラルネットで処理され
た後の「階層化された学習用パターン」、１０４は「階
層化された学習用パターン」を元に分類木を作成する
「分類木作成ステップ」、１０５は「分類木作成ステッ
プ」が分類木を作成する過程で使用する「展開変数判別
ステップ」、１０６は最終的な「分類木」である。
【００２２】本実施例におけるインプットは「生の学習
用パターン」であり、アウトプットは「分類木」であ
る。
用パターン」であり、アウトプットは「分類木」であ
る。
【００２３】以下、図３から図７に基づいて、本発明の
動きを詳細に述べる。
動きを詳細に述べる。
【００２４】まず、入力パターンの種類（カテゴリー）
としては、１６×１６のメッシュ上に書かれた「０」か
ら「９」までの１０種の数字を想定する。「０」の１入
力パターンを図５に示す。辞書作成用に入力する学習パ
ターンは「０」から「９」まで各カテゴリーそれぞれ１
００個存在すると仮定する。つまり、１つのカテゴリー
に１００個のテンプレートが作成できることになる。こ
れらの学習パターンから作成するテンプレートを、ＬＴ
ｉ，ｊ（＝Ｌｅａｒｎｉｎｇ Ｔｅｍｐｌａｔｅ ｉ，
ｊ）（ｉはカテゴリーを表すサフィックスで、０＜＝ｉ
＜＝９の範囲の値をとる。ｊはテンプレートナンバーを
示すサフィックスで、１＜＝ｊ＜＝１００の範囲の値を
とる。）と名付ける。
としては、１６×１６のメッシュ上に書かれた「０」か
ら「９」までの１０種の数字を想定する。「０」の１入
力パターンを図５に示す。辞書作成用に入力する学習パ
ターンは「０」から「９」まで各カテゴリーそれぞれ１
００個存在すると仮定する。つまり、１つのカテゴリー
に１００個のテンプレートが作成できることになる。こ
れらの学習パターンから作成するテンプレートを、ＬＴ
ｉ，ｊ（＝Ｌｅａｒｎｉｎｇ Ｔｅｍｐｌａｔｅ ｉ，
ｊ）（ｉはカテゴリーを表すサフィックスで、０＜＝ｉ
＜＝９の範囲の値をとる。ｊはテンプレートナンバーを
示すサフィックスで、１＜＝ｊ＜＝１００の範囲の値を
とる。）と名付ける。
【００２５】以上の仮定の元に、図３に示すような４階
層のニューラルネットワークが構成されることになる。
図３の４階層はそれぞれ上から２×２、４×４、８×
８、１６×１６個のニューロン群からできている。
層のニューラルネットワークが構成されることになる。
図３の４階層はそれぞれ上から２×２、４×４、８×
８、１６×１６個のニューロン群からできている。
【００２６】本件に係わるパターン認識用辞書作成処理
は図４のフローチャトに示すように、ニューラルネット
展開フェーズ、分類木作成のフェーズの２段階のステッ
プを経て実行される。以下、各フェーズを順に説明す
る。
は図４のフローチャトに示すように、ニューラルネット
展開フェーズ、分類木作成のフェーズの２段階のステッ
プを経て実行される。以下、各フェーズを順に説明す
る。
【００２７】（１）ニューラルネット展開フェーズ まず、学習用テンプレートは図３の最下層の１６×１６
個のニューロンとして入力される。この時、入力パター
ン（ＬＴｉ，ｊ）の白の部分はニューロンがＯＦＦで、
黒の部分はニューロンがＯＮになると仮定する（以下の
説明において、「黒」と「ニューロンのＯＮ」／「白」
と「ニューロンのＯＦＦ」を同一視する）。
個のニューロンとして入力される。この時、入力パター
ン（ＬＴｉ，ｊ）の白の部分はニューロンがＯＦＦで、
黒の部分はニューロンがＯＮになると仮定する（以下の
説明において、「黒」と「ニューロンのＯＮ」／「白」
と「ニューロンのＯＦＦ」を同一視する）。
【００２８】ニューラルネットの構造は極めて単純であ
る。つまり、下の層のある２×２のニューロンの中で、
ＯＮとなっているものが１つでもあれば、真上の層の対
応する１つのニューロンはＯＮとなる。というルールで
入力パターンを上の階層に向かって処理していく。図５
に示すある一つの学習用テンプレートをニューラルネッ
ト展開処理し、第１層から第４層からなるニューラルネ
ットを作成した結果を図６に示す。
る。つまり、下の層のある２×２のニューロンの中で、
ＯＮとなっているものが１つでもあれば、真上の層の対
応する１つのニューロンはＯＮとなる。というルールで
入力パターンを上の階層に向かって処理していく。図５
に示すある一つの学習用テンプレートをニューラルネッ
ト展開処理し、第１層から第４層からなるニューラルネ
ットを作成した結果を図６に示す。
【００２９】結局、入力パターンの特徴空間は２５６次
元の超立方格子（２256 ）をなしている。これが、第３
層では２64、第２層では２16、第１層では２4 に縮退す
るわけである。
元の超立方格子（２256 ）をなしている。これが、第３
層では２64、第２層では２16、第１層では２4 に縮退す
るわけである。
【００３０】なお、このニューラルネットの構造＝ルー
ルはこれに限ったものではない。
ルはこれに限ったものではない。
【００３１】（２）分類木作成フェーズ （１）のニューラルネット展開フェーズによって、学習
用テンプレート（ＬＴｉ，ｊ）の全て（１０カテゴリ、
各１００パターン）が、図３に示すようなニューラルネ
ットに展開される。分類木の作成にはこのニューラルネ
ットの展開とは逆に、上（第１層）から下（第４層）へ
行われる。
用テンプレート（ＬＴｉ，ｊ）の全て（１０カテゴリ、
各１００パターン）が、図３に示すようなニューラルネ
ットに展開される。分類木の作成にはこのニューラルネ
ットの展開とは逆に、上（第１層）から下（第４層）へ
行われる。
【００３２】ルートのノードは、図３の最上位の層（第
１層、２×２）のさらに上に仮想的に存在するニューロ
ンから始まる。
１層、２×２）のさらに上に仮想的に存在するニューロ
ンから始まる。
【００３３】学習用テンプレート（ＬＴｉ，ｊ）を展開
した結果、図３の最上位の層（２×２）のどれかはＯＮ
となっている（真っ白い学習用テンプレートが存在しな
い限り最上位の層（２×２）は全てＯＦＦにはならな
い）。よって、全ての学習用テンプレート（ＬＴｉ，
ｊ）に対して、仮想的に存在する最上位ニューロンの活
動はＯＮとなっている。
した結果、図３の最上位の層（２×２）のどれかはＯＮ
となっている（真っ白い学習用テンプレートが存在しな
い限り最上位の層（２×２）は全てＯＦＦにはならな
い）。よって、全ての学習用テンプレート（ＬＴｉ，
ｊ）に対して、仮想的に存在する最上位ニューロンの活
動はＯＮとなっている。
【００３４】最上位の層（２×２）の状態は２の４乗＝
１６個存在するので（正確には、上記説明のように、全
てＯＦＦの状態はないので、１５個）、ルートノードか
ら１６本の枝が伸びることとなる（図７参照）。
１６個存在するので（正確には、上記説明のように、全
てＯＦＦの状態はないので、１５個）、ルートノードか
ら１６本の枝が伸びることとなる（図７参照）。
【００３５】この時、各枝に存在する学習用テンプレー
ト（ＬＴｉ，ｊ）の数を数える。この結果によって、以
後の処理が３つにわかれる。 学習用テンプレート（ＬＴｉ，ｊ）が１つも存在しな
い場合 この場合は、その枝を削除する。 学習用テンプレート（ＬＴｉ，ｊ）の中で、あるカテ
ゴリー（例えば「１」）のテンプレートのみ存在する場
合 この場合は、この枝が判断される場合はカテゴリーが唯
一に定まるとして、この枝を葉とし、カテゴリーの番号
（例えば「１」）を割り振る。 上記１、２以外の場合＝複数カテゴリーのテンプレー
トが混合して存在する場合
ト（ＬＴｉ，ｊ）の数を数える。この結果によって、以
後の処理が３つにわかれる。 学習用テンプレート（ＬＴｉ，ｊ）が１つも存在しな
い場合 この場合は、その枝を削除する。 学習用テンプレート（ＬＴｉ，ｊ）の中で、あるカテ
ゴリー（例えば「１」）のテンプレートのみ存在する場
合 この場合は、この枝が判断される場合はカテゴリーが唯
一に定まるとして、この枝を葉とし、カテゴリーの番号
（例えば「１」）を割り振る。 上記１、２以外の場合＝複数カテゴリーのテンプレー
トが混合して存在する場合
【００３６】この場合、この枝をノードとして、更に分
類木作成を続ける。
類木作成を続ける。
【００３７】図７にこの処理の結果を示す。枝の状態
は、図３の最上位の層＝第１層のニューロンの発火状況
を図示することによって示してある（黒はＯＮで、白は
ＯＦＦを表す）。
は、図３の最上位の層＝第１層のニューロンの発火状況
を図示することによって示してある（黒はＯＮで、白は
ＯＦＦを表す）。
【００３８】存在するカテゴリーの種類の欄が「×」と
なっている枝は、上記学習用テンプレート（ＬＴｉ，
ｊ）が１つも存在しない場合に相当し、削除される（な
お、厳密には、全白のパターンは存在しないことが初め
からわかっているので、一番左の枝はルートからは出て
いない）。
なっている枝は、上記学習用テンプレート（ＬＴｉ，
ｊ）が１つも存在しない場合に相当し、削除される（な
お、厳密には、全白のパターンは存在しないことが初め
からわかっているので、一番左の枝はルートからは出て
いない）。
【００３９】左から８番目の枝は「１」のカテゴリーの
学習用テンプレートしか存在しない。これは、上記学
習用テンプレート（ＬＴｉ，ｊ）の中で、あるカテゴリ
ー（例えば「１」）のテンプレートのみ存在する場合に
相当し、葉となる。
学習用テンプレートしか存在しない。これは、上記学
習用テンプレート（ＬＴｉ，ｊ）の中で、あるカテゴリ
ー（例えば「１」）のテンプレートのみ存在する場合に
相当し、葉となる。
【００４０】例えば、左から１２番目の枝には「２」
「４」「５」「６」のカテゴリーの学習用テンプレート
が存在し、上記上記１、２以外の場合＝複数カテゴリ
ーのテンプレートが混在して存在する場合に相当し、ノ
ードとなる。
「４」「５」「６」のカテゴリーの学習用テンプレート
が存在し、上記上記１、２以外の場合＝複数カテゴリ
ーのテンプレートが混在して存在する場合に相当し、ノ
ードとなる。
【００４１】次に、このノードから枝を作成する方法に
ついて述べる。
ついて述べる。
【００４２】ノードから枝を作成する際に、最も効率の
良い枝の作成を行いたい。最も効率が良いとは、結局、
枝を展開したときに、最も多くカテゴリーに関する情報
が得られるということである。
良い枝の作成を行いたい。最も効率が良いとは、結局、
枝を展開したときに、最も多くカテゴリーに関する情報
が得られるということである。
【００４３】仮にこのノードから展開する枝を、このノ
ードにおいて、ＯＮとなっているニューロンを下の層に
展開した枝に限ってみる。例えば、図７の左かに１２番
目の枝の場合、図３の第１層における左上、右下の３つ
のニューロンの中から１つ選び、そのニューロンの下、
つまり図３の第２層の下４つのニューロンの状態に関す
る枝の展開を行う。
ードにおいて、ＯＮとなっているニューロンを下の層に
展開した枝に限ってみる。例えば、図７の左かに１２番
目の枝の場合、図３の第１層における左上、右下の３つ
のニューロンの中から１つ選び、そのニューロンの下、
つまり図３の第２層の下４つのニューロンの状態に関す
る枝の展開を行う。
【００４４】こうすることによって、枝の展開に要する
計算時間を大幅に削減できるし、このような制限をして
も、本質的に分類木の分類性能に大きなダメージは与え
ない。
計算時間を大幅に削減できるし、このような制限をして
も、本質的に分類木の分類性能に大きなダメージは与え
ない。
【００４５】では次に、このノードにおいて、ＯＮとな
っているニューロンの内で、展開したときに最も効率の
良くなるニューロンを選ぶ方法を説明する。
っているニューロンの内で、展開したときに最も効率の
良くなるニューロンを選ぶ方法を説明する。
【００４６】あるノードに存在する学習用テンプレート
（ＬＴｉ，ｊ）の中で、カテゴリー番号がｉである学習
用テンプレートの数をＮｉで表し、このノードに存在す
る学習用テンプレートの総数をＮとすると、このノード
におけるそれぞれのカテゴリーの存在確率ｐｉはｐｉ＝
Ｎｉ／Ｎで表される。なお
（ＬＴｉ，ｊ）の中で、カテゴリー番号がｉである学習
用テンプレートの数をＮｉで表し、このノードに存在す
る学習用テンプレートの総数をＮとすると、このノード
におけるそれぞれのカテゴリーの存在確率ｐｉはｐｉ＝
Ｎｉ／Ｎで表される。なお
【００４７】
【外１】 よって、このノードの情報が得られたときのエントロピ
ーは、以下の式で表される。
ーは、以下の式で表される。
【００４８】
【外２】
【００４９】次に、このノードにおいて、ＯＮとなって
いるニューロンの１つを選択して、そこから枝を展開し
たときのエントロピーの減少量を計算する。
いるニューロンの１つを選択して、そこから枝を展開し
たときのエントロピーの減少量を計算する。
【００５０】上述の通り、１つのニューロンを下の層に
向かって展開したときの枝の数は１６本である。この１
６本の枝に学習用テンプレート（ＬＴｉ，ｊ）がどのよ
うに分布するかを、展開したときの枝に存在する学習用
テンプレート（ＬＴｉ，ｊ）の数＝Ｎｉ，ｂで表す。Ｎ
ｉ，ｂのｉはカテゴリー番号を示し、ｂは枝（ｂｒａｎ
ｃｈ）の番号を示す。この時、それぞれの枝の情報が得
られたときのエントロピーは、上の議論と同じく、
向かって展開したときの枝の数は１６本である。この１
６本の枝に学習用テンプレート（ＬＴｉ，ｊ）がどのよ
うに分布するかを、展開したときの枝に存在する学習用
テンプレート（ＬＴｉ，ｊ）の数＝Ｎｉ，ｂで表す。Ｎ
ｉ，ｂのｉはカテゴリー番号を示し、ｂは枝（ｂｒａｎ
ｃｈ）の番号を示す。この時、それぞれの枝の情報が得
られたときのエントロピーは、上の議論と同じく、
【００５１】
【外３】 この式で、
【００５２】
【外４】 は枝に存在する学習用テンプレート（ＬＴｉ，ｊ）の総
数を表す。
数を表す。
【００５３】それぞれの枝にいく確率は、
【００５４】
【外５】 （Ｎは（１）式のＮと同じ）なので、結局、枝を展開し
たときの平均エントロピーは、
たときの平均エントロピーは、
【００５５】
【外６】 となる。
【００５６】結局、エントロピーの平均減少数値は、
【００５７】
【外７】 となる。
【００５８】そして、この値を枝の数で割った値
【００５９】
【外８】 が、枝を展開したときの分類効率を表すことになる。
【００６０】この値が最高となるニューロンを選び、枝
を展開していく。
を展開していく。
【００６１】なお、１つのニューロンのみを展開するの
ではなく、複数のニューロンのグループに関して枝を展
開してもよい。
ではなく、複数のニューロンのグループに関して枝を展
開してもよい。
【００６２】この場合、（５）式のＢｒａｎｃｈＮｕｍ
ｂｅｒは、ニューロンの数×１６となる（厳密には展開
する下の層のニューロンが全てＯＦＦということは有り
得ないので、ＢｒａｎｃｈＮｕｍｂｅｒは、ニューロン
の数×１５が正しい）。
ｂｅｒは、ニューロンの数×１６となる（厳密には展開
する下の層のニューロンが全てＯＦＦということは有り
得ないので、ＢｒａｎｃｈＮｕｍｂｅｒは、ニューロン
の数×１５が正しい）。
【００６３】また、本実施例においては、（５）式で表
される値を枝を展開したときの分類効率を表す値として
採用したが、例えば文献「Ｃｌａｓｓｆｉｃａｔｉｏｎ
ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載
されている“Ｇｉｎｉ ｃｒｉｔｅｒｉｏｎ”等の枝の
展開効率を表す関数ならば（５）式に限らず何でもよ
い。
される値を枝を展開したときの分類効率を表す値として
採用したが、例えば文献「Ｃｌａｓｓｆｉｃａｔｉｏｎ
ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」に記載
されている“Ｇｉｎｉ ｃｒｉｔｅｒｉｏｎ”等の枝の
展開効率を表す関数ならば（５）式に限らず何でもよ
い。
【００６４】以上、展開するニューロン、またはニュー
ロンの組みが決定されれば、それに従って、枝を展開
し、葉及びノードを作成していく。そして、最後、全
部、葉になったところで、分類木作成を完了する。
ロンの組みが決定されれば、それに従って、枝を展開
し、葉及びノードを作成していく。そして、最後、全
部、葉になったところで、分類木作成を完了する。
【００６５】図８に実際作成された分類木の内容を示
す。
す。
【００６６】図８は図７を詳しくしたもので、削除され
た枝は省いてある。図８の○で囲ってある枝は葉である
ことを示す。
た枝は省いてある。図８の○で囲ってある枝は葉である
ことを示す。
【００６７】葉以外の全ての枝はノードとなるので、更
に深く枝の展開が行われるわけであるが、図８において
は右から３番目のノードのみ、更なる枝の展開結果を図
示した。右から３番目のノードは、「１」「７」「９」
の３種類のカテゴリーが共存しており、枝の展開が必要
となっている。ここで、この右から３番目のノードにお
いて、第１層のどのニューロンを展開すべきかについ
て、「展開変数判別ステップ」が第１層の右上のニュー
ロンという答を出したとする。すると、右上のニューロ
ンの状態に関して、図７と同様に２4 ＝１６本の枝が展
開され、上述の〜の条件に基づいてある枝は削除さ
れ、ある枝は葉となり、ある枝はノードとなる。
に深く枝の展開が行われるわけであるが、図８において
は右から３番目のノードのみ、更なる枝の展開結果を図
示した。右から３番目のノードは、「１」「７」「９」
の３種類のカテゴリーが共存しており、枝の展開が必要
となっている。ここで、この右から３番目のノードにお
いて、第１層のどのニューロンを展開すべきかについ
て、「展開変数判別ステップ」が第１層の右上のニュー
ロンという答を出したとする。すると、右上のニューロ
ンの状態に関して、図７と同様に２4 ＝１６本の枝が展
開され、上述の〜の条件に基づいてある枝は削除さ
れ、ある枝は葉となり、ある枝はノードとなる。
【００６８】ノードとなった枝は更に枝を展開しなけれ
ばならなく、最終的に全ての枝の末端は葉となる。
ばならなく、最終的に全ての枝の末端は葉となる。
【００６９】図８では、右から３番目のノードの展開結
果を、簡単のため、第１層と第２層を重ね書きすること
によって示して有る。実際は、図３に示したニューラル
ネットの第１層の４つのニューロンと第２層の右上４つ
のニューロンに、これらの状態が表現されている。
果を、簡単のため、第１層と第２層を重ね書きすること
によって示して有る。実際は、図３に示したニューラル
ネットの第１層の４つのニューロンと第２層の右上４つ
のニューロンに、これらの状態が表現されている。
【００７０】実際の認識処理は、以上の通り作成された
分類木にそって、行ってもよいし、分類木で作成された
葉をテンプレートの形にして行ってもよい。
分類木にそって、行ってもよいし、分類木で作成された
葉をテンプレートの形にして行ってもよい。
【００７１】〈実施例２〉実施例１の（１）のニューラ
ルネット展開フェーズにおいて、ニューラルネットの構
造＝ルールを以下のように設定する。
ルネット展開フェーズにおいて、ニューラルネットの構
造＝ルールを以下のように設定する。
【００７２】「下の層の２×２のニューロンの中で、２
個以上のニューロンがＯＮとなっていれば、真上の層の
１つのニューロンはＯＮで、それ以外はＯＦＦ」。
個以上のニューロンがＯＮとなっていれば、真上の層の
１つのニューロンはＯＮで、それ以外はＯＦＦ」。
【００７３】この場合、必ずしも実施例１のようにＯＮ
となっているニューロンのみが、情報が退化しているわ
けではない。よって、（２）分類木作成フェーズにおい
て、ＯＦＦになっているニューロンも含めて、展開する
ターゲットとなるニューロンまたは、ニューロン群を選
択しなくてはいけない。しかし、その方法は実施例１と
全く同様に実施できる。
となっているニューロンのみが、情報が退化しているわ
けではない。よって、（２）分類木作成フェーズにおい
て、ＯＦＦになっているニューロンも含めて、展開する
ターゲットとなるニューロンまたは、ニューロン群を選
択しなくてはいけない。しかし、その方法は実施例１と
全く同様に実施できる。
【００７４】このように、ニューラルネット構造＝ルー
ルに対する制限はほとんどなく、ある程度の連続性が保
証されていればよい。
ルに対する制限はほとんどなく、ある程度の連続性が保
証されていればよい。
【００７５】例えば、図７の枝の状態で説明すると、実
施例１では下の４つのニューロンの状態が一番左の１つ
の場合ＯＦＦ、それ以外ＯＮとなるルールであり、本実
施例では、左から５つ目までがＯＦＦ、それ以外ＯＮと
なるルールである。
施例１では下の４つのニューロンの状態が一番左の１つ
の場合ＯＦＦ、それ以外ＯＮとなるルールであり、本実
施例では、左から５つ目までがＯＦＦ、それ以外ＯＮと
なるルールである。
【００７６】例えばここで、ＯＦＦとＯＮの境目を図７
の状態並びの中で任意に設定しても、ルール＝写像の連
続性は保証されているので、よいわけである。
の状態並びの中で任意に設定しても、ルール＝写像の連
続性は保証されているので、よいわけである。
【００７７】
【発明の効果】以上説明したように、本発明によれば、
高次元の特徴空間の中に分布するパターンを効率的にカ
テゴリー化し、分類木を作成できる。
高次元の特徴空間の中に分布するパターンを効率的にカ
テゴリー化し、分類木を作成できる。
【００７８】以上説明したように、本発明によれば、実
スケールのパターン分類問題が特別な特徴抽出、また
は、カテゴリー分離等の前処理をすることなく、容易に
解けるようになるという効果がある。
スケールのパターン分類問題が特別な特徴抽出、また
は、カテゴリー分離等の前処理をすることなく、容易に
解けるようになるという効果がある。
【図１】本実施例のパターン認識用の辞書作成法を表す
図。
図。
【図２】本実施例の情報処理装置の構成を示すブロック
図。
図。
【図３】本実施例で使用するニューラルネットの構造
図。
図。
【図４】本実施例のパターン認識用辞書作成処理の流れ
を示すフローチャート。
を示すフローチャート。
【図５】学習用パターンの例示図。
【図６】階層化された学習用パターンの例示図。
【図７】本実施例の分類木作成過程を示す図。
【図８】本実施例の分類木の様子を示す図。
【図９】従来のニューラルネットの適用例を示す図。
Claims (11)
- 【請求項１】 入力した学習用パターンを予め階層的に
処理する階層化前処理ステップと、 前記階層化前処理ステップにおいて処理された学習用パ
ターンに基づいて分類木を作成する分類木作成ステップ
とを備えることを特徴とする情報処理方法。 - 【請求項２】 前記階層化前処理ステップにおいて、学
習用パターンの特徴変数を段階的に縮退することを特徴
とする請求項１に記載の情報処理方法。 - 【請求項３】 前記分類木作成ステップにおいて、上の
階層と下の階層との関係に基づき変数を選ぶ展開変数判
別ステップを備え、 前記展開変数判別ステップの結果に基づき縮退された変
数を下の階層に向かって展開することを特徴とする請求
項２に記載の情報処理方法。 - 【請求項４】 前記作成された分類木を用いて入力パタ
ーンを認識することを特徴とする請求項１に記載の情報
処理方法。 - 【請求項５】 前記作成された分類木を基に認識用のテ
ンプレートを作成し、該テンプレートを用いて入力パタ
ーンを認識することを特徴とする請求項１に記載の情報
処理方法。 - 【請求項６】 前記入力パターンは手書き文字パターン
とすることを特徴とする請求項４に記載の情報処理方
法。 - 【請求項７】 前記入力パターンは手書き文字パターン
とすることを特徴とする請求項５に記載の情報処理方
法。 - 【請求項８】 前記入力パターンは光学的に読み取った
文字パターンとすることを特徴とする請求項４に記載の
情報処理方法。 - 【請求項９】 前記入力パターンは光学的に読み取った
文字パターンとすることを特徴とする請求項５に記載の
情報処理方法。 - 【請求項１０】 前記入力パターンは音声パターンとす
ることを特徴とする請求項４に記載の情報処理方法。 - 【請求項１１】 前記入力パターンは音声パターンとす
ることを特徴とする請求項５に記載の情報処理方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26505494A JP3630734B2 (ja) | 1994-10-28 | 1994-10-28 | 情報処理方法 |
| US08/547,443 US6233352B1 (en) | 1994-10-28 | 1995-10-24 | Information processing method and apparatus |
| DE69521868T DE69521868T2 (de) | 1994-10-28 | 1995-10-25 | Verfahren zur Gestaltung von Klassifikationsbäumen |
| EP95307601A EP0709800B1 (en) | 1994-10-28 | 1995-10-25 | Method for designing classification trees |
| KR1019950037500A KR0172197B1 (ko) | 1994-10-28 | 1995-10-27 | 정보 처리 방법 및 장치 |
| CN95102599A CN1097240C (zh) | 1994-10-28 | 1995-10-27 | 信息处理方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26505494A JP3630734B2 (ja) | 1994-10-28 | 1994-10-28 | 情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08123913A true JPH08123913A (ja) | 1996-05-17 |
| JP3630734B2 JP3630734B2 (ja) | 2005-03-23 |
Family
ID=17411945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26505494A Expired - Fee Related JP3630734B2 (ja) | 1994-10-28 | 1994-10-28 | 情報処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6233352B1 (ja) |
| EP (1) | EP0709800B1 (ja) |
| JP (1) | JP3630734B2 (ja) |
| KR (1) | KR0172197B1 (ja) |
| CN (1) | CN1097240C (ja) |
| DE (1) | DE69521868T2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6061472A (en) * | 1997-06-06 | 2000-05-09 | Microsoft Corporation | Method and mechanism to reduce handwriting recognizer errors using multiple decision trees |
| JP3634574B2 (ja) * | 1997-07-11 | 2005-03-30 | キヤノン株式会社 | 情報処理方法及び装置 |
| US6185745B1 (en) * | 1998-04-28 | 2001-02-13 | Fred Alger | Clothing combination comprising a self-releasing bonding fastening means |
| DE19831413C2 (de) * | 1998-07-14 | 2002-03-07 | Daimler Chrysler Ag | Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr |
| US20020174088A1 (en) * | 2001-05-07 | 2002-11-21 | Tongwei Liu | Segmenting information records with missing values using multiple partition trees |
| CN101312409B (zh) * | 2007-05-23 | 2010-08-04 | 上海络杰软件有限公司 | 一种信息分层处理系统 |
| US7608744B1 (en) | 2008-07-31 | 2009-10-27 | Celanese International Corporation | Ethanol production from acetic acid utilizing a cobalt catalyst |
| JP5538967B2 (ja) | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US8768944B2 (en) | 2010-08-18 | 2014-07-01 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| JP5675214B2 (ja) | 2010-08-18 | 2015-02-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP5719145B2 (ja) | 2010-11-02 | 2015-05-13 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
| CN108496185B (zh) * | 2016-01-18 | 2022-09-16 | 北京市商汤科技开发有限公司 | 用于对象检测的系统和方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0634236B2 (ja) * | 1985-11-02 | 1994-05-02 | 日本放送協会 | 階層型情報処理方法 |
| JPH0652537B2 (ja) | 1986-08-26 | 1994-07-06 | 日本電気株式会社 | パタ−ン認識方法 |
| US4805225A (en) * | 1986-11-06 | 1989-02-14 | The Research Foundation Of The State University Of New York | Pattern recognition method and apparatus |
| US4975975A (en) * | 1988-05-26 | 1990-12-04 | Gtx Corporation | Hierarchical parametric apparatus and method for recognizing drawn characters |
| JPH0782544B2 (ja) * | 1989-03-24 | 1995-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | マルチテンプレートを用いるｄｐマツチング方法及び装置 |
| US5029223A (en) * | 1990-02-02 | 1991-07-02 | International Business Machines Corporation | Constraint driven-on line recognition of handwritten characters and symbols |
| FR2658337A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise. |
| US5022091A (en) * | 1990-02-28 | 1991-06-04 | Hughes Aircraft Company | Image processing technique |
| JPH03288285A (ja) * | 1990-04-04 | 1991-12-18 | Takayama:Kk | データ処理装置の学習方法 |
| JP3118725B2 (ja) * | 1991-09-11 | 2000-12-18 | 株式会社日立製作所 | 自動分類方法 |
| JPH05324726A (ja) * | 1992-05-25 | 1993-12-07 | Fujitsu Ltd | 文書データ分類装置及び文書分類機能構築装置 |
| JP3248700B2 (ja) | 1992-06-04 | 2002-01-21 | 松下電器産業株式会社 | 磁気記録媒体 |
| DE69329218T2 (de) * | 1992-06-19 | 2001-04-05 | United Parcel Service Inc | Verfahren und Vorrichtung zur Eingabeklassifizierung mit einem neuronalen Netzwerk |
| US5533148A (en) * | 1993-09-30 | 1996-07-02 | International Business Machines Corporation | Method for restructuring physical design images into hierarchical data models |
| US5444796A (en) * | 1993-10-18 | 1995-08-22 | Bayer Corporation | Method for unsupervised neural network classification with back propagation |
| US5479523A (en) * | 1994-03-16 | 1995-12-26 | Eastman Kodak Company | Constructing classification weights matrices for pattern recognition systems using reduced element feature subsets |
-
1994
- 1994-10-28 JP JP26505494A patent/JP3630734B2/ja not_active Expired - Fee Related
-
1995
- 1995-10-24 US US08/547,443 patent/US6233352B1/en not_active Expired - Lifetime
- 1995-10-25 EP EP95307601A patent/EP0709800B1/en not_active Expired - Lifetime
- 1995-10-25 DE DE69521868T patent/DE69521868T2/de not_active Expired - Lifetime
- 1995-10-27 CN CN95102599A patent/CN1097240C/zh not_active Expired - Fee Related
- 1995-10-27 KR KR1019950037500A patent/KR0172197B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1122928A (zh) | 1996-05-22 |
| EP0709800A2 (en) | 1996-05-01 |
| DE69521868D1 (de) | 2001-08-30 |
| JP3630734B2 (ja) | 2005-03-23 |
| EP0709800B1 (en) | 2001-07-25 |
| DE69521868T2 (de) | 2001-12-20 |
| CN1097240C (zh) | 2002-12-25 |
| KR0172197B1 (ko) | 1999-03-30 |
| KR960015281A (ko) | 1996-05-22 |
| US6233352B1 (en) | 2001-05-15 |
| EP0709800A3 (en) | 1996-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2726568B2 (ja) | 文字認識方法及び装置 | |
| US5687286A (en) | Neural networks with subdivision | |
| CN108509484B (zh) | 分类器构建及智能问答方法、装置、终端及可读存储介质 | |
| US5982933A (en) | Information processing method, information processing apparatus, and storage medium | |
| JP3630734B2 (ja) | 情報処理方法 | |
| US20180082179A1 (en) | Systems and methods for deep learning with small training sets | |
| CN114882884B (zh) | 一种基于深度学习模型的多任务实现方法、装置 | |
| Merkl | Text data mining | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
| Duin et al. | A note on core research issues for statistical pattern recognition | |
| US11526757B2 (en) | Systems and methods for deep learning with small training sets | |
| KR20230122872A (ko) | 심층 신경망을 위한 전이 학습 시스템 및 방법 | |
| LOPEZ | Big Data and Deep Learning. Examples with Matlab | |
| Chi et al. | Handwritten digit recognition using combined ID3-derived fuzzy rules and Markov chains | |
| Sauvain et al. | A teachable pattern describing and recognizing program | |
| JP3647127B2 (ja) | 情報処理方法及び装置 | |
| JP3630837B2 (ja) | 情報処理方法及び装置 | |
| Bottoni et al. | A system for form-feature-based interpretation of technical drawings | |
| CN111046934A (zh) | 一种swift报文软条款识别方法及装置 | |
| Watkins | The use of fuzzy graph grammars for recognising noisy two-dimensional images | |
| JPH06168267A (ja) | 構造化文書作成方法及び構造化文書作成支援装置 | |
| Muco | Connecting symbols to primitive percepts using expectation as feedback | |
| Jaravine | Syntactic neural network for character recognition | |
| Huang | Interpretations of Deep Learning by Forests and Haar Wavelets | |
| Prakash et al. | A Comparative Study of Handwritten Digit Recognition Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |