JPH06124349A

JPH06124349A - パターン学習方法及びパターン学習装置

Info

Publication number: JPH06124349A
Application number: JP4272717A
Authority: JP
Inventors: Hiroaki Harada; 裕明原田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-10-12
Filing date: 1992-10-12
Publication date: 1994-05-06

Abstract

(57)【要約】【目的】パターン学習方法及びパターン学習装置に係
り、特に文字や図形、音声などのメディアをパターン認
識して自動的にコンピュータ等の内部データに変換する
ときに、パターン認識する対象の辞書を自動的に作成す
るためのものである。【構成】文字や図形、音声などのメディアをパターン
認識して自動的にコンピュータ等の内部データに変換
し、パターン認識対象の学習辞書を自動作成し、認識対
象が１つのカテゴリーのみで未知の入力パターンがその
カテゴリーに含まれるか否かを判定する認識装置の学習
方法において、学習時にそのカテゴリーに含まれる正サ
ンプルと、そのカテゴリーに含まれないパターンである
負サンプルとをそれぞれ入力したとき、特徴空間を正サ
ンプルのみを含む領域と、負サンプルのみを含む領域と
に自動的に分離して学習辞書として記憶する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン学習方法及びパ
ターン学習装置に係り、特に文字や図形、音声などのメ
ディアをパターン認識して自動的にコンピュータ等の内
部データに変換する技術分野において、特にパターン認
識する対象の認識辞書を自動作成するための学習方法及
びパターン学習装置に関するものである。

【０００２】

【従来の技術】コンピュータを使用して、未知の文字や
図形、音声などのパターン認識技術の中でも最も重要な
課題は、パターンの学習をいかに効率的に行うかという
テーマである。手書き文字認識（ＯＣＲ）や音声認識の
分野では、一つの認識装置を構成するためにできるだけ
多くの学習サンプルを収集し、それらから膨大な特徴デ
ータを抽出して辞書を作成する。

【０００３】しかし現実には必ずしも統計的に十分な数
のサンプルを収集することができない場合や、未知のパ
ターンについて会話的に少数サンプルの学習を行わなけ
ればならない場合もある。

【０００４】例えば図形認識の場合では、ＯＣＲのよう
に一般に使用される文字パターンだけではなく、ユーザ
が独自に決めたマークや図形も学習、認識しなければな
らない。この場合には多くのサンプルデータを収集する
ことは不可能である。したがって少数のサンプルから認
識辞書を作成する手法が要求されている。またサンプル
の入替えや、追加などが頻繁に行われることを考慮する
と、学習方法が簡単で学習に要する時間が短いことが望
ましい。

【０００５】現在、装置化されている認識方式の多く
は、図１４に示す如く、比較判定部Ｃと、学習辞書Ｄを
設け、学習辞書Ｄにカテゴリー毎の特徴を格納してお
く。そして入力されたパターンから対象に応じた特徴量
Ｘ１、Ｘ２・・・を抽出し、それと学習辞書Ｄの特徴θ
１１、θ２１・・・との比較により判別を行う。

【０００６】比較方法としては、複数の特徴量Ｘ１、Ｘ
２・・・が、それぞれにあらかじめ決められた閾値内に
入っているか否かで判別する。例えば図１２の場合ｉが
１〜４までのとき、 θ１１＜Ｘ１＜θ２１ θ１２＜Ｘ２＜θ２２ θ１３＜Ｘ３＜θ２３ θ１４＜Ｘ４＜θ２４のいずれも成立するとき、認識が成立する。これは工業
用の簡単な形状認識装置などに多く使用されている。

【０００７】例えば図１５に示す如く、正方形と円形の
２種類の形状を識別する場合、図形の周囲長と面積の２
つの特徴量を選び、閾値範囲を設けて認識を行う。この
判別方法は線形であり、認識対象に応じた認識論理が作
りやすいこと、誤判別の原因が見つけやすいことが利点
である反面、閾値の学習が複雑になる欠点がある。

【０００８】

【発明が解決しようとする課題】従来の代表的な学習方
法として、線形分離法、非線形分離法（バックプロパゲ
ーション法）の２つを取り上げ説明する。

【０００９】線形分離法は特徴空間を超平面で分割し、
その平面で囲まれた領域を一つの認識カテゴリーに割り
当てる方法である。特徴量をｎ次元ベクトルＸで表現す
ると、（ｎ＋１）次元の荷重ベクトルＷとの内積値が判
別関数ｆになる。ここで内積計算ではＸはダミー１を追
加して（ｎ＋１）次元としている。

【００１０】ｆ（ｘ）＝ＷＸこの手法における学習は、最適な分離ができる荷重Ｗを
探すことに相当する。Ｗは特徴空間での１つの超平面を
示す。たいていのパターン認識では特徴量が多く、次元
数ｎが大きくなるため、線形分離を仮定してもよいが、
少数サンプルの場合には、特徴の次元数が線形分離に十
分か否かを判断することが難しく、いい加減に決めた次
元数では、非線形な分布になる可能性が高い。そのよう
な場合、線形学習はうまく進まないという欠点がある。
さらに学習は漸近計算の反復であるので、学習時間も相
当かかるものと予想される。

【００１１】第二の非線形分離法（バックプロパゲーシ
ョン法）は非線形な分離面を自動的に生成する。サンプ
ルを順番にネットワークに提示するだけで、ネットワー
クの荷重が自動更新されて、収束していく。サンプルの
収集以外は人間が学習に関与しなくても済むなど、いく
つかの長所がある反面、学習が収束する保証がない、学
習パラメータ（特に隠れユニット数）の決定が難しいな
ど欠点も多い。

【００１２】このように、従来技術に共通した問題点
は、学習の収束条件のあいまいさ、及び学習時間が長い
ことであり、これを解決するパターン学習方法が必要で
ある。

【００１３】

【課題を解決するための手段】本発明では、閾値による
認識を次のように定式化する。すなわち、カテゴリーＣ
と認識するための条件としてｎ次元の特徴量Ｘ１、Ｘ２
・・・Ｘｎについて、下式が全部成立することを必要と
する。

【００１４】

【数１】

【００１５】すなわち、ｎ次元の特徴量について、それ
ぞれ上限／下限閾値を設け、すべての次元の区間内に対
象が入るかどうかを判定する。特徴量によっては上限あ
るいは上限が存在しない場合もあるが、そのときは仮想
的に大きな数Ｍ、−Ｍを用いて同じ形式で記述するもの
とする。

【００１６】考え得る最大の大きさの区間を以下では臨
界と呼ぶことにする。またここでは扱う特徴量および次
元数はすべてあらかじめ決められており、学習するのは
カテゴリーごとの上限／下限閾値の値である。

【００１７】

【作用】本発明では、認識条件をすべての次元の区間内
に対象とする特徴量が入るか否かというきわめて簡単な
判断で行うことができるので、特別な学習を必要とする
ことなく、簡単に判定できる。

【００１８】

【実施例】本発明の一実施例を説明するに先立ち、図２
により本発明の基本的な考え方について説明する。図２
（Ａ）に示すように、カテゴリーＡの特徴領域ＲＰ（○
印で示す特徴点を有する領域）と、カテゴリーＢの特徴
点領域ＲＮ（×印で示す特徴点を有する領域）が存在す
る場合、両者の混在領域ＲＣに対しては、図２（Ｂ）に
示す如く、カテゴリーＡの特徴のみが存在する特徴領域
Ａ２と、カテゴリーＢの特徴のみが存在する特徴領域Ｂ
２、Ｂ３に矩形状に分割する。また特徴点が混在してい
ない特徴領域に対しても、矩形状の領域である特徴領域
Ａ０、Ａ１及びＢ０、Ｂ１にそれぞれ分割する。これに
より識別のときに、この矩形状の領域内に存在している
か否かを判定すればよく、判定がきわめて容易なものと
なる。

【００１９】本発明の一実施例を図１にもとづき説明す
る。図１において、１は特徴抽出部、２は閾値学習部、
３は学習辞書、４は閾値比較部である。この図における
閾値学習部２に、本発明の最も特徴的なものがある。

【００２０】図１において学習フェイズでは、入力され
た既知のサンプルパターンから複数の特徴量を特徴抽出
部１で、例えば数値として抽出し、後述詳記するよう
に、閾値学習部２において最適な閾値を求める。そして
これにより得られた複数組の閾値データを学習辞書３に
格納する。

【００２１】また認識フェイズでは、未知の入力パター
ンから特徴抽出部１が、同様の特徴量を抽出し、それら
の値を学習辞書３内の閾値データと閾値比較部４で比較
する。その結果、すべての閾値条件を満たすパターンを
該当カテゴリーとして認識する。そしてこの認識カテゴ
リーに含まれる場合は眞（カテゴリー）、そうでない場
合は偽を出力する。

【００２２】今、最も単純な場合として、認識カテゴリ
ーが１つしかなく、そのカテゴリーに含まれるもの（以
下正サンプルという）の集合と、含まないもの（以下負
サンプル）の集合が与えられているとする。すなわち全
特徴空間を認識カテゴリーの領域と、そうでない領域の
２つに分類する。以下、本発明は、認識カテゴリーが１
つで、このカテゴリーに含まれるか否かを学習する方法
について説明する。

【００２３】このように問題を設定したのは、現実のパ
ターン認識装置では、あらかじめ特徴抽出の方法や認識
方法は確定しているが、認識対象に応じて上式の閾値θ
１１、θ１２・・・を最適設定しなければならない状況
が多いためである。

【００２４】上式による問題の定式化により、正サンプ
ル（認識カテゴリーに含めるサンプル）と負サンプル
（認識対象ではないサンプル）が与えられ、この２つの
領域をうまく分離する超直方体を探索すればよい。なお
この超直方体とは境界面がすべて特徴空間の軸に平行な
ものである。ただし、複数の島状となって一つの超直方
体ではカバーできない場合もあるため、このような場合
には複数の超直方体を作成する。すなわち上式の条件判
定を一組の閾値で実行するだけではなく、複数の組につ
いても同様の判定を行って得られた結果を重ねて目的を
達成するようにする。

【００２５】従って認識条件を、次のように変形する。〔カテゴリーＣと認識するための条件〕

【００２６】

【数２】

【００２７】ここでＫは一つのカテゴリーを覆っている
超直方体の総数である。すなわち複数の超直方体のいず
れかの領域に含まれれば、そのカテゴリーと判断する。
なお前式において、「直方体１の領域」として示してあ
るのが従来のものであり、残りの領域は本発明により追
加されたものである。

【００２８】図３により、前式の判別の手法を説明す
る。図３（Ａ）は複数の閾値の組に対応したＫ個の比較
判定器４−１、４−２・・・４−Ｋとこれらの出力をＯ
Ｒする判別部５により図１における閾値比較部４を構成
する例を示す。入力された特徴量Ｘ１、Ｘ２・・・に対
して並列に判定を行うことができる。

【００２９】図３（Ｂ）の例では１組の比較判定器４′
により比較判定が実行された後、判定結果が真の場合に
は即座にバッファ６内の真値が出力される。しかし偽で
あるときは、偽判定部６が学習辞書３から次の閾値の組
を読み出して判定を繰り返す。学習辞書３が空になった
とき、偽判定部７が偽の信号を出力し、オア回路８がこ
れによりバッファ６内の偽値を最終的な判定値として出
力する。この図３（Ｂ）の構成は、組の数Ｋがあらかじ
めわからない場合や、機構の規模を小さくする場合に有
効である。

【００３０】このように用いられる複数の閾値の組を学
習すること、すなわち超直立体を求めるための基本的な
考え方を繰り返すと下記の如く要約される。すなわち、
正サンプルと負サンプルが混在していない領域は適当な
超平面で超立方体を作り、混在している領域はその中を
さらに適当な平面で分割し、正サンプルまたは負サンプ
ルのみからなる小領域に分割する。

【００３１】この方法では最悪の場合でも正サンプルあ
るいは負サンプル１個だけからなる超直方体を作った時
点で小領域の分割を停止する。当然、元のサンプルが有
限個なら、有限回数の再帰処理で実行できる。

【００３２】図４に、この小領域に分割する本発明の基
本フローを示す。なおこの処理は、図１における閾値学
習部２で行われるものである。すなわち、図４におい
て、初期に設定された特徴空間の超直方体を、正サンプ
ル領域と負サンプル領域を計算して分ける。もし交差し
た領域があれば、その内部を同様に正サンプル領域、負
サンプル領域に分割する。これを繰り返して、正サンプ
ル領域と負サンプル領域が互いに混在しない、素になる
まで領域分割を実行する。このようにして分割された複
数の超直方体領域により閾値の組が生成される。

【００３３】具体的には次のような手順で実行する。処
理対象とする特徴空間をｎ次元、正サンプル集合をＰ、
負サンプル集合をＮ、各要素をそれぞれｐｉ、ｎｉとす
る。各ｐｉ、ｎｉはｎ次元空間内の１点に相当する。

【００３４】

【数３】

【００３５】ｎｉについても同様である。そしてこれら
の点を囲む初期の超直方体を、例えば図５（Ａ）に示す
如く、ＲＯとする。

【００３６】まず、図５（Ａ）に示す如く、正サンプル
と負サンプルの分布状況から、それらが混ざり合ってい
る箇所ＲＣと、そうでない箇所ＲＰ、ＲＮを下記の如く
分離する。これはそれぞれのサンプルを囲む最小直方体
が重なりを持つか否かにより簡単に判断できる。

【００３７】先ず次の領域を求める。ＲＰ＝ＲＥＣＴ（Ｐ）ＲＮ＝ＲＥＣＴ（Ｎ）ここでＲＥＣＴは、与えられた点集合をカバーする最小
超直方体を示す。ＲＰ、ＲＮは２つの点で表現された超
直方体である。すなわち、任意の点ｐ１、ｐ２・・・ｐ
ｍ（ここで各ｐｉは正サンプル、負サンプルのいずれで
もよい）の集合Ｘ＝（ｐ１、ｐ２・・・ｐｍ）を考える
と、Ｘに対するＲＥＣＴは次のように定義される。

【００３８】ＲＥＣＴ（Ｘ）≡（ＭＩＮ（Ｘ），ＭＡＸ
（Ｘ））ＭＩＮ（Ｘ）≡（ｍｉｎ（ｘｉｌ），ｍｉｎ（ｘｉ２）
・・・，ｍｉｎ（ｘｉｎ））ＭＡＸ（Ｘ）≡（ｍａｘ（ｘｉｌ），ｍａｘ（ｘｉ２）
・・・，ｍａｘ（ｘｉｎ））ただし、Ｘ＝｛ｐ１，ｐ２・・・，ｐｍ｝ｐｉ＝（ｘｉ１，ｘｉ２・・・ｘｉｎ）ところで正サンプルと負サンプルが混在している部分つ
まりＲＰとＲＮの重なり部分ＲＣはそれぞれの超直方体
の２点の座標を比較すればよい。

【００３９】ＲＣ＝ＲＰ∩ＲＮ重なりを持たなければつまりＲＣ＝０ならば、例えば図
５（Ｂ）に示す如く、正サンプルと負サンプルは離れた
分布を持つため、正サンプル領域、負サンプル領域それ
ぞれについて適当な大きさの超直方体を作る。実際には
隙間を作らないために、ＲＲ、ＲＮを互いに交らない程
度に領域を膨張させ、例えば互いにその中間が境界にな
る程度に膨張させて、閾値区間に余裕を持たせる。

【００４０】重なりが存在する場合、つまりＲＣが零で
なければ、重なっている領域とそうでない領域とに分離
する。さらに次のような領域ＲＣＰ、ＲＣＮ、ＲＣＰ
Ｔ、ＲＣＮＴを求める。

【００４１】

【数４】

【００４２】このＲＣＰＲ、ＲＣＮＴを使用してＲＰ、
ＲＮの領域を最大限まで膨張させる。すなわち次のよう
なＲＰ′、ＲＮ′、ＲＣ′を求める。

【００４３】

【数５】

【００４４】ここでＲＰ′はＲＣＰを含む超直方体で、
ＲＣ内の負サンプル点を含まない最大の大きさを持つも
のを示す。ＲＮ′も同様である。次の性質があることは
自明である。

【００４５】

【数６】

【００４６】重なっていない領域（ＲＰ′−ＲＣ′及び
ＲＮ′−ＲＣ′）を複数の超直方体に分割する。重なっ
ている領域ＲＣ′はその中に存在する正サンプルと負サ
ンプルについて同様の重なり判定を行って分離を行う。
そして最後に正サンプル、負サンプルのいずれかのみの
超直方体領域となった時点で処理を終了する。

【００４７】また、図６（Ｃ）に示す如く、重なり領域
ＲＣ′が元の超直方体と同じ大きさになる場合（ＲＣ′
＝ＲＯ）は、適当な箇所で分離平面を作り、強制的に分
割を行う。

【００４８】次に前記の各処理を行う、図１における閾
値学習部２の動作を図７にもとづき説明する。（Ｌ０）初めに特徴量の各次元がとりうる最大値／最小
値を臨界Ｂとして設定する。また学習すべき正サンプ
ル、負サンプルを入力し、領域ＲＯとしてスタックＳに
プッシュ（ｐｕｓｈ）する。

【００４９】（Ｌ１）スタックＳから前記プッシュした
領域ＲＯをポップアップ（ｐｕｐｕｐ）する。もしスタ
ックＳが空ならば出力テーブルを出力して停止する。空
でなければＲＯの大きさを臨界Ｂに設定する。

【００５０】（Ｌ２）次に領域ＲＯ内の正サンプルＰ点
の領域ＲＰと、負サンプルＮ点の領域ＰＮを求める。領
域ＲＰのみが存在する場合には、領域ＰＲを出力テーブ
ルに登録する（Ｌ２１）。また領域ＲＮのみが存在する
場合には、領域ＲＮを出力テーブルに登録する（Ｌ２
２）。ＲＰもＲＮも共に存在しなければ前記（Ｌ１）に
戻る。

【００５１】（Ｌ３）ＲＰとＲＮの共通領域ＲＣを求め
る。共通領域ＲＣが存在しなければ、ＲＰとＰＮが互い
に分離状態であり、ＲＰとＲＮを互いに膨張させる（Ｌ
３１）。膨張したそれぞれをＲＰ′、ＲＮ′として出力
テーブルに出力する。

【００５２】（Ｌ４）正サンプルと負サンプルの混在す
る領域ＲＣ内のＰ領域ＲＣＰと、Ｎ領域ＲＣＮを求め
る。（Ｌ５）ＲＰ−ＲＣＰ（＝ＲＣＰ′）と、ＰＮ−ＲＣＮ
（＝ＲＣＮ′）を求める。

【００５３】（Ｌ６）ＲＰをＲＣＮ′に対して膨張させ
る膨張処理を行う。このとき最大でも臨界Ｂを超えない
ようにする。同様にＲＮをＲＰＮ′に対して膨張させ
る。このようにして膨張処理したものをＲＰ′、ＲＮ′
とする。

【００５４】（Ｌ７）ＲＰ′とＲＮ′の共通領域Ｒ
Ｃ′、及び分割領域ＲＰ１、ＲＮ１、・・・を求める分
割処理を行う。分割領域は出力テーブルに登録する。（Ｌ８）もしＲＣ′＝ＲＯなら、つまり前記領域ＲＯが
正サンプルと負サンプルの混在した共通領域ＲＣ′であ
れば、強制分割処理を行う（Ｌ８１）。このためＲＣ′
を適当な面で２つに分割して強制分割処理を行う（＝Ｒ
Ｃ１、ＲＣ２）。これらＲＣ１とＲＣ２を共にスタック
Ｓにプッシュする。さもなければＲＣ′をスタックＳに
プッシュする。そして前記（Ｌ１）に戻る。

【００５５】前記処理に必要な、交差判定、膨張処理、
分割処理、強制分割処理等を図８〜図１０にもとづき説
明する。図８により交差判定処理を説明する。

【００５６】（Ｌ１）いま交差判定の対象となる二つの
超直方体をＡ＝（ａ１、ａ２）、Ｂ＝（ｂ１、ｂ２）と
する。ここでａ１、ａ２、ｂ１、ｂ２はそれぞれ超直方
体の最小点、最大点を示している。ｉ＝１とおく。ここ
でａ１＝（ａ１１、ａ１２・・・ａ１ｎ）である。以下
ａ２、ｂ１、ｂ２に対しても同様である。

【００５７】（Ｌ２）第ｉ次元の座標ａ１ｉ、ａ２ｉ、
ｂ１ｉ、ｂ２ｉについて次式の判定を行う。

【００５８】

【数７】

【００５９】（Ｌ３）もしも前記（Ｌ２）の判定が不成
立（ｆａｌｓｅ）なら交差なしと判定して終了する。さ
もなければ、すなわち成立（ｔｒｕｅ）すれば、ｉ＝ｉ
＋１として（Ｌ２）を反復し、１〜ｎ次元ですべて成立
すれば交差ありとして終了する。

【００６０】図９により膨張処理を説明する。（Ｌ１）膨張させる領域をＡ、膨張を抑制する領域をＢ
とする。そしてｉ＝１とおく。

【００６１】（Ｌ２）第ｉ次元のａ１ｉを臨界と同じ値
にする。すなわち第ｉ軸の最小値を与える。（Ｌ３）このように拡張した領域内にＢに属する点が含
まれているか否かをチエックし、含まれていればａ１ｉ
の値をＢに属する点を含まない位置にずらす（Ｌ３
１）。含まれていなければａ１ｉの値をＢに属する点と
Ａに属する点の中点に設定する（Ｌ３２）。

【００６２】（Ｌ４）次に前記（Ｌ２）と同様にａ２ｉ
を臨界と同じ値にする。すなわち第ｉ軸の最大値を与え
る。（Ｌ５）この領域内にＢに属する点が含まれているか否
かをチエックし、含まれていなければａ２ｉの値をＢに
属する点を含まない位置にずらす（Ｌ５１）。含まれて
いなければａ２ｉの値をＢに属する点とＡに属する点の
中点に設定する（Ｌ５２）。

【００６３】（Ｌ６）ｉ＝ｉ＋１として前記Ｌ２〜Ｌ５
を反復する。図１０（Ａ）により分割処理を説明する。（Ｌ１）元の超直方体をＡ、その重複領域をＢとする。
ｉ＝１とおく。第ｉ次元の軸について以下の処理を反復
する。

【００６４】（Ｌ２）Ｂの第ｉ軸区間がＡの第ｉ軸区間
に含まれている場合、すなわち、ａ１ｉ＜ｂ１ｉかつｂ
２ｉ＜ａ２ｉのとき、ｂ１ｉとｂ２ｉを分割平面として
３つの区間〔ａ１ｉ、ｂ１ｉ〕、〔ｂ１ｉ、ｂ２ｉ〕、
〔ｂ２ｉ、ａ２ｉ〕に分割する。

【００６５】（Ｌ３）ＡとＢが交差しているとき、交差
点をＣとすると、２つの区間〔ａ１ｉ、Ｃ〕、〔Ｃ、ａ
２ｉ〕に分割する。（Ｌ４）分割平面を境界としてＬ２あるいはＬ３で求め
た３ないし２つの超直方体を作る。このうち重複領域を
含む超直方体をＡ、ｉ＝ｉ＋１として前記（Ｌ２）に戻
る。

【００６６】（Ｌ５）ｉ＝ｎ＋１となった時点でＡとな
っているのが重複のある超直方体である。その他、途中
で生成された超直方体はすべて正あるいは負サンプルの
み含む領域である。

【００６７】図１０（Ｂ）により強制分割処理を説明す
る。（Ｌ１）強制分割する対象をＡとする。Ａの各軸の中で
最大の幅を持つ軸ｊを探す。

【００６８】このため次式を演算する。

【００６９】

【数８】

【００７０】（Ｌ２）軸ｊに沿ったサンプル点の重心ｇ
を求める。すなわち次式を演算する。

【００７１】

【数９】ただしＮ（Ａ）はＡ内のサンプル点の数であ
る。（Ｌ３）ｘｉｊ＝ｇなるサンプル点が存在しなければｇ
においてＡを分割する。存在する場合は、ｇはδｇだけ
移動させ、同じ判定を繰り返す。なおこのδはあらかじ
め外部から適当に指定される係数とする。

【００７２】以上の説明では、認識対象がカテゴリーＡ
（正サンプルの領域）とカテゴリーＢ（負サンプルの領
域）のみから成る場合について述べたが、これを一般に
Ｎ個のカテゴリーを識別する装置についても、全く同様
の説明ができる。

【００７３】すなわち本発明の基本となる交差判定処
理、分割処理、強制分割処理、膨張処理のいずれの処理
においても、Ｎ個のカテゴリーを対象にするように拡張
ができることは自明である。

【００７４】前記の如く処理した処理例を図１１、図１
２、図１３に示す。図１１（Ａ）は学習しようとする正
サンプル、負サンプルの座標位置を示している。ここで
の例では特徴量はｘ１、ｘ２の２次元として、サンプル
は図１２（Ａ）のように計８個とする。図１２（Ａ）に
おいて、Ｎｏ．１〜４は正サンプルであり、Ｎｏ．５〜
８は負サンプルである。今特徴空間の臨界（最大の大き
さ）は、原点０から（１００、１００）までとする。図
１３は学習辞書内のデータの配置例を示す。

【００７５】図７の主処理フローに概略を沿って説明す
る。先ず最初にスタックＳに初期領域ＲＯを入れる。Ｒ
ＯはＮｏ．１〜８の全サンプルを囲む長方形であり、図
１２（Ｂ）に示す座標を持つ。

【００７６】次に正サンプルの領域ＲＰと負サンプルの
領域ＲＮを求める、この例の場合、前記交差判定によ
り、ＲＰとＲＮの交差部ＲＣが存在することがわかる。
ＲＰ、ＲＮ、ＲＣ共に空ではないので、ＲＣＰとＲＣＮ
を求める。ＲＣＰとＲＣＮはそれぞれＲＣ内の正サンプ
ル領域と負サンプル領域である。次にＲＰとＲＣＰとの
差領域ＲＣＰ′、ＲＮとＲＣＮとの差領域ＲＣＮ′を求
める。

【００７７】ＲＰ領域をＲＣＮ′に対して膨張させると
ＲＰ′となる。これはＲＰ領域をＲＮ領域の中からＲＣ
に含まれる負サンプルを除いたものを対象に膨張させる
ことと同じである。このＲＰ′の最小座標（０、０）は
臨界座標であり、（３２、２７）は点６、７、８に対し
て最も膨張させた位置である。同様にＲＮ′を作成す
る。

【００７８】次にあらためてＲＰ′とＲＮ′の交差部Ｒ
Ｃ′を求める。さらにＲＰ′、ＲＮ′をより小さな長方
形領域に分割する。そうするとＲＰ１、ＲＰ２、ＲＮ
１、ＲＮ２ができる。これらを出力テーブルに記録す
る。ＲＣ′をスタックＳに入れて、処理の最初に戻る。

【００７９】再度スタックＳを確認すると空ではないの
で、ＲＣ′を次の処理対象としてポップ（ｐｏｐ）す
る。そしてこれまでの処理と同様に点３と５について交
差部の判定や正負サンプル領域の膨張を行う。求めたＲ
Ｃ′はすでに互いに素になるので、これ以上の処理は進
まず、図１１（Ｂ）に示す如く、計６つの長方形領域が
最終結果として出力される。

【００８０】この最終結果は、図１２（Ｂ）のＲＣ１〜
ＲＣ６として示される。これらの長方形領域内には、正
サンプルあるいは負サンプルのみを含み、かつ境界を接
している。この境界線は正負サンプルの丁度中間位置に
存在している。従ってパターン認識時には、ＲＣ１、Ｒ
Ｃ３、ＲＣ５の領域に特徴量が含まれるパターンは認識
対象として識別し、ＲＣ２、ＲＣ４、ＲＣ６に含まれる
パターンは認識対象ではないと判定できる。

【００８１】

【発明の効果】以上説明したように、本発明には下記の
効果がある。学習は再帰的な処理を基本としており、互
いに素になるまで反復する。従って反復回数は有限であ
り、どのような学習サンプルを与えても必ず学習処理が
停止する。このようなことは従来の線形分離法やバック
プロパゲーション法が保証していないことであり、学習
上の利点である。

【００８２】学習は特徴空間での大小比較判定のみを使
用しているので、高速である。このことは従来の学習方
法に比べて大きな利点がある。また学習処理自体が高速
であるため、そのやり直しも簡単である。したがってパ
ターン認識にはつきものである学習サンプリングの追加
や入替え、再学習も極めて容易である。これにより従来
技術が持つ大きな課題を克服できる。

【図面の簡単な説明】

【図１】本発明の一実施例である。

【図２】本発明の基本的説明図である。

【図３】本発明の閾値比較部構成図である。

【図４】本発明の動作手順説明図である。

【図５】本発明における基本概念及び膨張処理概念図で
ある。

【図６】本発明における分割処理及び強制分割処理説明
図である。

【図７】本発明における主処理フローである。

【図８】本発明における交差判定フローである。

【図９】本発明における膨張処理フローである。

【図１０】本発明における分割処理フロー及び強制分割
処理フローである。

【図１１】本発明におけるデータ処理説明図である。

【図１２】本発明における正負サンプルのデータ及びそ
の処理過程説明図である。

【図１３】学習辞書の構成例である。

【図１４】従来技術における閾値判定方法である。

【図１５】特徴量と閾値判定の関係説明図である。

【符号の説明】

１特徴抽出部２閾値学習部３学習辞書４閾値比較部

Claims

【特許請求の範囲】

【請求項１】文字や図形、音声などのメディアをパタ
ーン認識して自動的にコンピュータ等の内部データに変
換し、パターン認識対象の学習辞書を自動作成し、認識
対象が１つのカテゴリーのみで未知の入力パターンがそ
のカテゴリーに含まれるか否かを判定する認識装置の学
習方法において、学習時にそのカテゴリーに含まれる正サンプルと、その
カテゴリーに含まれないパターンである負サンプルとを
それぞれ入力したとき、特徴空間を正サンプルのみを含む領域と、負サンプルの
みを含む領域とに自動的に分離して学習辞書として記憶
するようにしたことを特徴とするパターン学習方法。
【請求項２】認識対象パターンからあらかじめ決めた
特徴を数値として抽出する特徴抽出部と、この複数の特徴から自動的に学習辞書を作成する学習部
と学習辞書データを格納する学習辞書部と、学習辞書データを用いて未知パターンの特徴と比較する
ことにより認識対象か否かを判定する認識部を具備した
ことを特徴とするパターン学習装置。
【請求項３】パターンの認識判定をすべて特徴がある
決められた閾値の範囲内にあるか否かで判定する閾値比
較部を認識部として持ち、その閾値を与えられたサンプ
ルから自動的に学習する閾値学習部を持ち、その学習し
た閾値データを学習辞書として記憶する学習辞書部を持
つことを特徴とする請求項２記載のパターン学習装置。
【請求項４】１つの認識対象を表す学習辞書が複数組
の閾値データからなる場合、その閾値データの組の数だ
けの比較判定部を並列接続し、それぞれの比較判定部に
学習辞書から異なる組の閾値データを設定し、未知パタ
ーンの特徴を並列にそれぞれの比較判定部に入力し、そ
れぞれの比較判定部が異なる閾値判定を実行し、その結
果を論理和したものを最終判定結果して出力する学習辞
書部及び認識部を具備することを特徴とする請求項３記
載のパターン学習装置。
【請求項５】１つの認識対象を表す学習辞書が複数組
の閾値データからなる場合、１つの比較判定部を持ち、
学習辞書から最初の組の閾値データを比較判定部に設定
し、未知パターンに対する判定結果が真の場合にはその
結果を最終結果としてそのまま出力し、判定結果が偽の
場合には学習辞書内の次の組の閾値データを取り出し、
比較判定部に設定する動作を反復し、真の判定結果が得
られるかまたは辞書内の未使用データがもはや存在しな
いときに、その時点の判定結果を最終結果として出力す
る学習辞書部と認識部を持つことを特徴とする請求項３
記載のパターン学習装置。
【請求項６】特徴の数だけの次元を持つ特徴空間内に
おいて、正サンプルの特徴座標の集合と負サンプルの特
徴座標の集合とを囲む超直方体領域を初期領域として設
定し、その初期領域内の正サンプル点のみを囲むような
超直方体領域と、負サンプル点のみを囲む領域とを求
め、その２つの領域が交差しているか否か判定し、交差
していなければその２領域を学習辞書として登録し、交
差しているならばその交差部とそれ以外の領域とに分割
し、交差部を初期領域とみなして互いに素になるまで判
定を繰り返し、それ以外の領域は学習辞書として登録す
る閾値学習部を有することを特徴とする請求項３記載の
パターン学習装置。
【請求項７】１つの認識対象について１つ以上の辞書
データを持ち、１つの辞書データが特徴の数だけの組か
らなる閾値データを持ち、各閾値データが１つの特徴に
ついて最小値と最大値閾値のペアからなり、全体として
特徴空間内で１つ以上の超直方体領域を認識対象領域と
して記憶するような学習辞書を有することを特徴とする
請求項３記載のパターン学習装置。
【請求項８】特徴空間において、正サンプル点と負サ
ンプル点をそれぞれ囲む領域を求め、その交差部が空の
場合には正サンプル領域と負サンプル領域を互いに交差
しないように領域を膨張させ、それを辞書として記憶
し、交差部が空でない場合には交差部内の正負サンプル
を元の正サンプル領域と負サンプル領域から除いて作成
した領域を互いに交差しないように膨張させ、交差部と
それ以外の小領域に分割し、交差部は初期領域として反
復処理の対象とし、それ以外の小領域を辞書として記憶
するような閾値学習部を有することを特徴とする請求項
６記載のパターン学習装置。
【請求項９】得られた交差部が初期領域と同じ大きさ
の領域であるときは、その交差部をある基準に基づいて
適当な位置で分割して複数の領域を作成し、それぞれ次
の初期領域として登録するような閾値学習部を有するこ
とを特徴とする請求項８記載のパターン学習装置。
【請求項１０】認識対象が複数のカテゴリーであり、
未知の入力パターンがそのうちどれに含まれるかを判定
する認識装置の学習機構において、学習時に各カテゴリーに含まれるサンプルを入力された
とき、特徴空間を各カテゴリーのサンプルのみからなる部分領
域に自動的に分離して学習辞書として記憶することを特
徴とする請求項２又は３又は４又は５又は６又は７又は
８又は９に記載のパターン学習装置。