JPH0410088A - 識別装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

この発明は、文字認識あるいは音声認識等に用いられる
識別装置に関する。

【従来の技術】

従来、文字画像情報あるいは音声情報等のパターンを表
すパターン情報が入力されて、この人力されたパターン
情報が属するカテゴリを識別して入カバターンを複数の
カテゴリに分類する識別装置において、入力されたパタ
ーン情報が属するカテゴリを識別する際には類似度法等
の統計的手法を用いることが多い。このような統計的手
法は次のように実施される手法である。すなわち、まず
学習サンプルのパターン（学習パターン）情報から１種
類または数種類の特徴量を抽出し、この抽出した特徴量
に対して統計演算を行う。こうして、各カテゴリ毎に１
乃至数種類のパターンマツチング用の辞書パターンを作
成する。次に、入力されたパターン情報から上記学習サ
ンプルの場合と同数の特徴量を抽出し、この入カバター
ン情報の特徴量と辞書パターンとを比較して最も類似度
の高い辞書パターンのカテゴリ名を識別結果として出力
するのである。 その際に、上記類似度算出に用いられる学習パターン情
報あるいは入カバターン情報から抽出される特徴量は、
識別装置を構築する人によって予め推測された識別対象
パターンのカテゴリを分類する際に必要な基準情報を表
せるように抽出されるのである。つまり、上述のような
既知の特徴抽出法によって抽出される特徴量は解析的な
特徴量であると言える。

【発明か解決しようとする課題】

上述のように、上記識別装置における統計的手法によっ
て抽出される解析的な特徴量は、予め推測されたカテゴ
リ識別の基準情報を表すように抽出されるので、識別装
置を構築する人が推測した識別基準に基づく識別には大
いに効果を発揮するのである。ところが、統計的手法に
よって学習パターン情報あるいは入カバターン情報から
特徴量を抽出する段階において、予め推測された基準情
報以外の情報は欠落してしまうのである。その場合には
、往々にしてその欠落した情報の中にカテゴリ識別基準
として必要な情報が含まれる場合がある。その結果とし
て、上記統計的手法にはパターン情報が有する上記推測
の範囲を越えた広範囲な識別情報を抽出するという能力
に欠けるという問題かある。 そこで、上述のような必要情報の欠落を回避するために
、抽出する特徴量の次元数を増加する方法が考えられる
。ところが、その場合には同じ内容を表す情報かオーバ
ーラツプして抽出されたり、計算量か飛躍的に増加して
現在の計算機ノステムては対処できないのである。 また、あるパターン情報から比較的広範囲な識別情報を
自動的に抽出する手法として、自己組織化ニューラルネ
ットワークを用いる手法がある。 しかしながら、このようなニューラルネットワークによ
る特徴量の抽出は、抽出処理が終了するまではいかなる
特徴量が抽出されるかは全く不明であるという不便さが
ある。 そこで、この発明の目的は、既知の特徴抽出法によって
抽出される解析的な特徴量と非解析的な特徴量とに基づ
いて入カバターン情報が属するカテゴリの分類等を実施
して、より高精度の識別を可能にする識別装置を提供す
ることにある。

【課題を解決するための手段】 上記目的を達成するため、この発明は、入力された文字
または音節等を表すパターン情報の特徴量に基づいて上
記パターン情報が属するカテゴリを識別する識別装置に
おいて、上記入力されたパターン情報の特徴量を既知の
特徴抽出手法によって抽出する第１特徴抽出手段と、上
記入力されｆ二パターン情報の特徴量を自己組織化ニュ
ーラルネットワークを用いた特徴抽出手法によって抽出
する第２特徴抽出手段と、上記第１特徴抽出手段によっ
て抽出された特徴量と上記第２特徴抽出手段によって抽
出された特徴量とに基づいて、上記パターン情報が属す
るカテゴリを識別するカテゴリ識別手段を備えたことを
特徴としている。 また、この発明は、上記識別装置において、上記第１特
徴抽出手段をニューラルネットワークによって構成した
ことを特徴としている。 また、この発明は、上記各識別装置において、上記カテ
ゴリ識別手段をニューラルネットワークによって構成し
たことを特徴としている。 また、この発明は、上記第１特徴抽出手段およびカテゴ
リ識別手段のうち少なくとも一方をニューラルネットワ
ークによって構成した識別装置において、上記第１特徴
抽出手段、第２特徴抽出手段およびカテゴリ識別手段の
うち少なくとも２以上の手段を構成する２以上のニュー
ラルネットワークを同じハードウェアで成すと共に、上
記各ニューラルネットワークにおける出力値算出の際の
積和演算を１つの演算手段によって実行することを特徴
としている。 ま１こ、この発明は、上記識別装置におけるカテゴリ識
別手段を、上記第１特徴抽出手段および第２特徴抽出手
段によって抽出されｆコ特微量と辞書パターンとの積和
演算結果に基づいて上記パターン情報が属するカテゴリ
を識別する類似度法を用いるように成し、上記第２特徴
抽出手段で用いられる自己組織化ニューラルネットワー
クと上記類似度法を用いるカテゴリ識別手段とを同じハ
ードウェアで成すと共に、上記自己組織化ニューラルネ
ットワークにおける積和演算と上記類似度法における積
和演算とを１つの演算手段によって実行することを特徴
としている。

【作用】

文字または音節等を表すパターン情報が第１特徴抽出手
段に入力される。そして、入力されたパターン情報の特
徴量が既知の特徴抽出手法によって抽出される。同様に
、上記パターン情報が第２特徴抽出手段に入力される。 そして、入力されたパターン情報の特徴量が自己組織化
ニューラルネットワークを用いた特徴抽出手法によって
抽出される。そうすると、上記第１特徴抽出手段によっ
て抽出された特ｆｆｉ！ｊｉと上記第２特徴抽出手段に
よって抽出された特徴量とに基づいて、上記パターン情
報か属するカテゴリがカテゴリ識別手段によって識別さ
れる。したがって、上記既知の特徴抽出手法によって抽
出された解析的な特徴量の欠点が自己組織化ニューラル
ネットワークによって抽出された特徴量によって補完さ
れる。 また、上記第１特徴抽出手段およびカテゴリ識別手段の
うち少なくとも一方をニューラルネットワークによって
構成した識別装置においては、同しハードウェアで成し
た上記第１特徴抽出手段第２特徴抽出手段およびカテゴ
リ識別手段のうち少なくとも２以上の手段を構成する２
以上のニューラルネットワークにおける積和演算が、１
つの演算手段によって実行される。し１こがって、簡単
なハードウェアで効率的に演算処理が実行される。 また、上記カテゴリ識別手段を類似度法を用いて上記パ
ターン情報が属するカテゴリを識別するように成した識
別装置においては、同じハードウェアで成した上記第２
特徴抽出手段で用いられる自己組織化ニューラルネット
ワークと上記カテゴリ識別手段とにおける積和演算が、
１つの演算手段によって実行される。したかって、簡単
なハードウェアで効率的に演算処理が実行される。

【実施例】

以下、この発明を図示の実施例により詳細に説明する。 この発明は、特徴量として解析的な特徴量と非解析的な
特徴量との２種類の特徴量を用いることによって、入カ
バターンか属するカテゴリ分類を高精度に実施するもの
である。 すなわち、第１図に示すように、識別装置１における特
徴抽出部２を既知の特徴抽出法に基づく第１特徴抽出部
３と自己組織化ニューラルネットワークによる特徴抽出
法に基つく第２特徴抽出部４とによって構成する。こう
することによって、第１特徴抽出部３として既知の特徴
抽出法の中で特に解析的な特徴抽出法を用いた場合には
、第１特徴抽出部３によって解析的な特徴量が抽出され
る。一方、第２特徴抽出部４においては自己組織化ニュ
ーラルネットワークによる特徴抽出法を用いているので
、非解析的な特徴量が抽出されるのである。 カテゴリ識別部５では、上記第１特徴抽出部３によって
抽出された解析的な特徴量と第２特徴抽出部４によって
抽出されｆ二非解析的な特徴量とを用いて、入カバター
ン情報が属するカテゴリを識別して出力するのである。 一般に、既知の特徴抽出法によって抽出された特徴量を
用いたカテゴリ識別は、比較的容易にある程度の識別レ
ベルまで達することができる。ところが、−旦ある程度
の識別レベルに達した後はあまり識別能力が向上しない
。つまり、既知の特徴抽出法によって抽出され１こ解析
的な特徴量を用いた識別においては、解析能力（計算能
力とのバランスによって設定される）によって識別レベ
ルかある程度決定されてしまうのである。そこで、上述
のように、既知の特徴抽出法による解析的な特徴量の欠
点を補完する特徴量として自己組織化ニューラルネット
ワークによる非解析的な特徴量を用いることにより、既
知の特徴抽出法を複数組み合わせた場合に比較して効果
的に識別能力を向上させることができるのである。 以下、上述のような識別装置を、文字認識や音声認識に
用いｆコ場合を例にして、より具体的に説明する。 見上火胤烈 第１実施例は上述のような識別装置を文字認識に用いた
場合の例である。 第２図は本実施例におけるブロック図である。 第２図にお０て、スキャナ入力部１１に文字画像が入力
されて得られた文字画像情報か前処理部１２に入力され
る。この前処理部１２においては、スキャナ入力部１１
によって読み取られた文字画像情報の外枠か一定の大き
さになるように正規化されノイズ除去等か実施されると
共に、入力された文字画像情報が既知の方法によって１
文字領域に切り出される。そうすると、特徴抽出部１３
では、上記前処理部１２によって切り出された１文字領
域を小額域に分割し、この分割された小領域の画像情報
毎に特徴量を抽出する。 その際に、上記特徴抽出部１３は既知の特徴抽出法に基
づく第１特徴抽出部１４と自己組織化ニューラルネット
ワークに基づく第２特徴抽出部１５とから構成されてい
る。本実施例では、上記第１特徴抽出部Ｉ４における上
記既知の特徴抽出法としては濃淡メツシュ法を用いる。 この濃淡メツツユ法による特徴量は、上記スキャナ入力
部１１によって読み取られた画像情報を８×８の小領域
に分割する。そして、小領域の中における平均濃度が閾
値以上の値を示す小領域の特徴量には“１”を与える一
方、そうでない小領域の特徴量には“０”を与えるもの
である。 一方、上記第２特徴抽出部１５において用いられる自己
組織化ニューラルネットワークは自己組織化学習によっ
て学習され１こコホーネン型二二一うルネットワークを
９セツト用いる。このコホーネン型ニューラルネットワ
ークは、入力ノードから成る入力層と１０個の自己組織
化ノードを有する出力層とから成る２層構造を成し、入
力ノートと各自己組織化ノードとの結合にはウェイトベ
クトルが付加されている。そして、予め学習パターン情
報に基つく学習ベクトルを用いた自己組織化学習によっ
て、この学習ベクトルの内容を写像するように学習ベク
トルに対応した特定のウェイトベクトルの内容が予め設
定されている。 上記９セツトの自己組織化ニューラルネットワークの夫
々の入力ノードには次のような入力ベクトルが入力され
る。すなわち、１文字領域の文字画像情報を３×３の小
領域に分割し、この分割した９個の小領域のうちの異な
る一つの小領域における画像情報から得られた入力ベク
トルが入力されるのである。 こうして、各自己組織化ニューラルネットワークの入力
ノートに入力ベクトルが入力されると、入力ベクトルと
各自己組織化ノートに対応するつエイトヘクトルの内容
との内積が算出される（０〜１の数）。そして、その算
出値が上記自己組織化ノードから出力される。こうして
、総ての（１０個の）自己組織化ノートに係る出力値が
算出されて入力ベクトルの特徴を表す１０個の出力値か
ら成る１０次元のベクトルが得られるのである。 その結果、上記９セツトの自己組織化ニューラルネット
ワークからの出力値から成るベクトルは、入力された文
字画像情報の特徴を９箇所の小領域毎に表すことになる
のである。 そこで、このように９セツトの自己組織化ニューラルネ
ットワークから出力される１文字画像情報の特徴を表す
９小領域×１０次元（−９０次元）のベクトルの内容を
、その文字画像情報の特徴量とするのである。 １文字識別部１６は、上記第１特徴抽出部１４における
灘淡メッンユ法によって抽出された６４次元の特徴量を
表すベクトル（以下、特徴ベクトルと言う）と、上記第
２特徴抽出部１５における自己組織化ニューラルネット
ワークによって抽出され？＝９０次元の特徴ベクトルと
を用いて、入力された１文字画像情報が属するカテゴリ
を類似度法によって識別する。 その際に用いられる辞書パターンは次のようにして予め
生成されて辞書メモリ１７に格納される。 すなわち、辞書用文字に基づく文字画像情報をスキャナ
入力部１１に読み取らせ、前処理部１２で１文字領域に
切り出し、特徴抽出部１３における第１特徴抽出部】４
によって８×８の小領域毎に抽出されｔ：　６４次元の
特徴ベクトルと、第２特徴抽出部１５によって３×３の
小領域毎に抽出された９０次元の特徴ベクトルとから成
る合計１５４次元の特徴ベクトルを、辞書パターンとし
て上記辞書メモリ１７に格納するのである。 こうして、種々の辞書用文字の文字画像に基づいて作成
された辞書パターンと、識別対象文字の文字画像に基づ
いて第１特徴抽出部１４によって抽出された６４次元の
特徴ベクトルと第２特徴抽出部Ｉ５によって抽出された
９０次元の特徴ベクトルとから成る合計１５４次元の特
徴ベクトルとのマツチングが１文字識別部１６によって
行われる。そして、最も高い類似度を示す辞書パターン
に付加されたカテゴリ名が識別カテゴリ（すなわち、入
力された文字画像の文字コード）として出力され、後処
理部１８で言語処理等の処理が実施された後に識別結果
出力部１９から外部機器に出力される。 ＣＰＵ（中央処理装置）２０は、上記スキャナ入力部１
１．前処理部１２．第１特徴抽出部１４．第２特徴抽出
部Ｉ５，１文字識別部１６．後処理部１８および識別結
果出力部１９を制御して文字認識処理を実行する。 第３図は、第２図における特徴抽出部１３と１文字識別
部１６との動作手順を示すフローチャートである。以下
、第３図に従って特徴抽出部１３において実施される特
徴抽出処理動作と１文字識別部１６において実施される
１文字識別処理動作とについて説明する ステップＳ１で、前処理部１２によって切り出された１
文字領域の文字画像情報か８×８の小領域単位で特徴抽
出部１３の第１特徴抽出部１４に入力される。一方、前
処理部１２によって切り出された１文字領域の文字画像
情報が３×３の小領域単位で第２特徴抽出部１５７こお
ける自己組織化ニューラルネットワークに入力される。 ステップＳ２で、入力された８Ｘ８の小領域単位の画像
情報に基づいて、第１特徴抽出部１４における濃淡メツ
シュ法による特徴量が各小領域毎に抽出されて、６４次
元の特徴ベクトルが得られる。 ステップＳ３で、入力された３×３の各小領域毎の画像
情報に基づく９個の入力ベクトルが、夫々第２特徴抽出
部１５における９セツトの自己組織化ニューラルネット
ワークの対応する入力ノードに入力されて、各自己組織
化ニューラルネッ）・ワーク内の１０個の自己組織化ノ
ードにおいて出力値が算出される。その結果、９箇所の
小領域の特徴量を表す９個の１０次元のベクトルが得ら
れ、この９０次元のベクトルか特徴ベクトルとして抽出
される。 ステップＳ４で、上記ステップＳ２において抽出された
６４次元の特徴ベクトルと、上記ステップＳ３において
抽出された９０次元の特徴ベクトルとの正規化が行われ
る。 この正規化は、濃淡メツシュ法による特徴ベクトルと自
己組織化ニューラルネットワークによる特徴ベクトルと
の値の大きさのバランスを取って、両持微量の重みを同
程度にするために実施されるのである。 ここで、上記ステップＳ１において辞書用文字の文字画
像情報が入力された場合には、上記ステップＳ２におい
て抽出された６４次元の特徴ベクトルと上記ステップＳ
３において抽出された９０次元の特徴ベクトルとから成
る１５４次元の特徴ベクトルが上記ステップＳ４におい
て正規化されて、辞書パターンとして上記辞書メモリ１
７に格納されるのである。 ステップＳ５で、上記ステップＳ２．ステップＳ３およ
びステップＳ４によって得られた識別対象文字に係る上
記１５４次元の特徴ベクトルと、上記辞書メモリ１７か
ら順次読み出された１５４次元の辞書パターンとのマツ
チングが取られる。 ステップＳ６で、上記ステップＳ５におけるマツチング
結果に基づいて、識別対象文字に係る特徴ベクトルと最
も類似度の高い辞書パターンに付加されたカテゴリ名（
すなわち、その辞書パターンを得るに際して入力された
文字画像の文字コード）が、入力された識別対象文字の
識別結果として出力される。 このように、本実施例においては、特徴抽出部１３を既
知の特徴抽出法に基づく第１特徴抽出部１４および自己
組織化ニューラルネットワークに基づく第２特徴抽出部
１５で構成する。そして、第１特徴抽出部１４における
濃淡メツツユ法によって解析的な特徴量を抽出する一方
、第２特徴抽出部１５である自己組織化ニューラルネッ
トワークによって非解析的な特徴量を抽出する。こうし
て抽出された上記２種類の特徴量を組み合わせｆコ１５
４次元の特徴ベクトルに基づＬｌて識別対象の文字画像
情報と辞書パターンとの類似度を１文字識別部１６で算
出し、その類似度算出結果に基づいて１文字識別を行う
のである。したがって、濃淡メツシュ法によって抽出さ
れた解析的な特徴量に基づく文字認識の欠点（例えば、
濁点と半濁点との識別限度等）が自己組織化ニューラル
ネッ・トワークによる非解析的な特徴量によって補完さ
れて、正しく文字識別ができるのである。 上記実施例において、第１特徴抽出部１４による特徴抽
出は濃淡メツツユ法に限定されるものではない。例えば
、ニューラルネットワークに用いた特徴抽出法を用いて
もよい。 第２実施例 第２実施例は、上述の第１実施例における１文字識別処
理を識別ニューラルネットワークを用いて実施するもの
である。 第４図は本実施例におけるブロック図であり、第２図に
示した第１実施例におけるブロック図とほぼ同じである
。但し、本実施例における１文字識別部２６は上述のよ
うに識別ニューラルネットワークによって構成されてい
る。 そして、本実施例においては、第２特徴抽出部２５を構
成する自己組織化ニューラルネットワークと１文字識別
部２６を構成する識別ニューラルネットワークとを同一
のハードウェアで構成することによって、ハードウェア
の効率的な利用と大幅なハードウェアの削減を図るよう
にしている。 また、上記自己組織化ニューラルネットワークにおける
出力値（入力ベクトルとウェイトベクトルとの内積）演
算と上記識別ニューラルネットワークにおける出力値演
算との際に、専用の並列演算部３０で並列処理を実施す
ることによって各演算の高速化を図るようにしている。 本実施例は、以上の２点において第１実施例とは異なる
のである。 第４図において、スキャナ入力部２１で得られた文字画
像情報が前処理部２２て１文字領域に切り出される。こ
うして、切り出された１文字領域の画像情報が８×８の
小領域に分割され、各小領域毎に画像情報が第１特徴抽
出部２４に入力されて第１実施例の場合と同様に濃淡メ
ツシュ法によって６４次元の特徴ベクトルか生成される
。同様に、切り出された１文字領域の画像情報が３×３
の小領域に分割され、各小領域毎に画像情報が第２特徴
抽出部２５に入力されて自己組織化ニューラルネットワ
ークによる９０次元の特徴ベクトルが生成される。こう
して生成された、６４次元の特徴ベクトルと９０次元の
特徴ベクトルとに基づいて１文字識別部２６によって１
文字識別が実施される。 ここで、上記１文字識別部２６を構成する識別ニューラ
ルネットワークは誤差逆伝播学習によって学習されるパ
ーセプトロン型ニューラルネットワークを用いるのであ
る。このパーセブトロン型ニューラルネットワークは、
例えば入力層、中間層、出力層から成る３層構造を成し
、各層を構成するノート間の結合には結合の重みを表す
ウェイトベクトルか付加されている。そして、予め属す
るカテゴリが既知である学習パターン情報に基づく学習
ベクトルを用い１こ誤差逆伝播学習によって、入力ベク
トルか属するカテゴリを識別できるように上記各ウェイ
トベクトルの内容が予め設定されている。 上記入力層は１５４個のノードを有し、この１５４個の
ノードには第１特徴抽出部２４からの６４次元の特徴ベ
クトルと第２特徴抽出部２５からの９０次元の特徴ベク
トルとから成る１５４次元の特徴ベクトルの各要素値が
入力される。そうすると、中間層および出力層の各ノー
ドは下層のノードから入力された入力値と上記下層のノ
ードとの結合に付加されたウェイトベクトルの内容との
内積を算出し、結合されている上層のノードに出力する
。その結果、出力層の各ノードからの出力値に基づいて
、最大値を出力している出力層のノードが割り付けられ
ているカテゴリが入力された特徴量ベクトルが属してい
るカテゴリであると識別されるのである。 その際に、上述のように、上記第２特徴抽出部２５にお
ける演算あるいは１文字識別部２６におする演算は、後
に詳述するように並列演算部３０によって並列処理され
るのである。 こうして、上記１文字識別部２６における識別対象文字
の文字画像情報に係る１文字識別が終了して識別カテゴ
リが出力されると、以下第１実施例の場合と同様にして
、後処理部２７によって言語処理等が実施されて、識別
結果が識別結果出力部２９から外部機器に出力される。 次に、上記並列演算部３０によって実行される第２特徴
抽出部２５における特徴抽出処理および１文字識別部２
６における１文字識別処理について詳細に説明する。 第５図は上記並列演算部３０、第２特徴抽出部２５を構
成する自己組織化ニューラルネットワークおよび１文字
識別部２６を構成する識別ニューラルネットワーク（パ
ーセプトロン型ニューラルネットワーク）の詳細なブロ
ック図である。 本実施例においては、上記自己組織化ニューラルネット
ワークおよび識別ニューラルネットワークを同じハード
ウェアによって構成する。すなわち第５図において、第
１乗算器３５．第１加算器３６および第１内部メモリ３
７から成る第１演算モジュール３８．・、第Ｘ乗算器３
９．第Ｘ加算器４０および第Ｘ内部メモリ４１から成る
第Ｘ演算モジュール４２によって構成される演算部４３
、入力バッファ４４および出力バッファ４５で自己組織
化ニューラルネットワークあるいは識別ニューラルネッ
トワークを形成するのである。つまり、上記入力バッフ
ァ４４によって自己組織化ニューラルネットワークある
いは識別ニューラルネットワークの入力ノードを形成し
、上記各乗算器３５．・、３９および加算器３６．・・
・、４０によって自己組織化ニューラルネットワークあ
るいは識別ニューラルネットワークにおける各ノートを
形成し、各内部メモリ３７．・・・、４１によって自己
組織化ニューラルネットワークあるいは識別ニューラル
ネットワークのウェイトベクトルを形成するのである。 一方、並列演算部３０は、自己組織化ニューラルネット
ワークのウェイトベクトルの内容を格納しておく自己組
織化ニューラルネットワーク用メモリ３２と識別ニュー
ラルネットワークのウェイトベクトルの内容を格納して
おく識別ニューラルネットワーク用メモリ３３とから成
るメモリ３１と、制御部３４とから構成される。上記制
御部３４は、上記メモリ３１．各乗算器３５〜３９．加
算器３６〜４０および内部メモリ３７〜４１等を制御し
て、自己組織化ニューラルネットワークによる特徴抽出
処理および識別ニューラルネットワークによる１文字識
別処理を実行する。 上記並列演算部３０による上記特徴抽出処理および１文
字識別処理は、次のように実行される。 すなわち、ＣＰＵ２９の制御に従う制御部３４の制御に
基づいて、入カバソファ４４．演算部４３および出力バ
ッファ４５が夫々９個のブロックに縦割り区分される。 つまり、９セツトの自己組織化ニューラルネットワーク
が形成されるのである。 そして、１文字領域か分割された９個の小領域の画像情
報に基づく９個の入力ベクトルが、上記前処理部２２か
ら入力バッファ４４の対応する領域（すなわち、第２特
徴抽出部２５を構成する９セツトの自己組織化ニューラ
ルネットワークの各入力ノート）に取り込まれる。次に
、メモリ３１の自己組織化ニューラルネットワーク用メ
モリ３２から、学習済みの各ウェイトベクトルの内容か
読み出されて、９セントの自己組織化ニューラルネット
ワークの該当する内部メモリにロードされる。 そうした後、各乗算器３５〜３９および各加算器３６〜
４０が制御されて、以下のように出力値演算処理が実行
される。例えば、１セント目の自己組織化ニューラルネ
ットワークにおける第１乗算器３５および第１加算器３
６によって、第１内部メモリ３７にロードされた第１の
自己組織化ノードに係るウェイトベクトルの要素値と入
カバソファ４４における１セツト目の自己組織化ニュー
ラルネットワークの領域に格納された一つの小領域に係
る人力ベクトルの要素値との積和が算出される。そして
、算出された積和の値が出力バッファ４５における１セ
ツト目の自己組織化ニューラルネットワークの領域に格
納される。以下、同様にして、１セツト目の自己組織化
ニューラルネットワークにおける他の各自己組織化ノー
ドに係るウェイトベクトルと入力ベクトルとの内積が算
出されて出カバソファ４５における１セツト目の自己組
織化ニューラルネットワークの領域に格納される。 こうして、１セツト目の自己組織化ニューラルネットワ
ークに係る出力値演算処理が終了すると、１セツト目の
自己組織化ニューラルネットワークにおける１０個の自
己組織化ノードから出力される出力値から成る１０次元
ベクトルは対応する小領域の画像情報の特徴を表してい
るのである。 上述の１セツト目の自己組織化ニューラルネットワーク
係る出力値演算処理に平行して、他の８セツトの自己Ｍ
縦比ニューラルネットワークに係る出力値演算処理か制
御部３４の制御の下に実行される。その結果、得られた
各セットの自己組織化ニューラルネットワークにおける
各自己組織化ノードからの出力値から成るベクトルは、
各小領域の画像情報の特徴を表すのである。このように
、各自己組織化ニューラルネットワークによって求めら
れ１こ各小領域の画像情報の特徴を表すベクトルは、出
力バッファ４５における各自己組織化ニューラルネット
ワークの領域に格納される。 この際に、９セツトの自己組織化ニューラルネットワー
クにおける積和演算は並列処理されるため、第２特徴抽
出部２５における特徴抽出処理は高速に行われるのであ
る。 こうして、第２特徴抽出部２５を構成する自己組織化ニ
ューラルネットワークにおける出力値演算処理か実施さ
れて非解析的な特徴抽出が終了すると、次に、ＣＰＵ２
９の制御に従う制御部３４の制御に基づいて、１文字認
識部２６を構成する識別ニューラルネットワークによる
１文字識別処理が次のように実行される。 すなわち、まず、入力バッファ４４．演算部４３および
出力バッファ４５の夫々に対する区分か解除され、一つ
の３層バーセプトロン型ニューラルネットワークか形成
される。つまり、演算部４３を構成する複数の演算モジ
ュール３８〜４２が、３層バーセプトロン型ニューラル
ネットワークにおける中間層および出力層における各ノ
ードとウェイトベクトルとに割り当てられるのである。 こうした後、上記第１特徴抽出部２４における濃淡メツ
シュ法によって抽出された６４次元の特徴ベクトルと、
上記第２特徴抽出部２５を構成する自己組織化ニューラ
ルネットワークによって算出されて出力バッファ４５に
格納されている９０次元のウェイトベクトルとから成る
１５４次元の特徴ベクトルが、大カバソファ４４（すな
わち、１文字識別部２６を構成する識別ニューラルネッ
トワークの入力ノード）に取り込まれる。次に、メモリ
３１における識別ニューラルネットワーク用メモリ３３
から学習済みの各ウェイトベクトルの内容が読み出され
て、識別ニューラルネットワークである３層バーセプト
ロン型ニューラルネットワークの中間層および出力層の
対応したノードを構成する演算モジュールの内部メモリ
にロードされる。 そうした後、各乗算器３５〜３９および各加算器３６〜
４０が制御されて、以下のように出力値算出処理が実行
される。例えば、中間層の第１ノードを構成する第１乗
算器３５および第１加算器３６は、第１内部メモリ３７
にロードされた第１ノートに係るウェイトベクトルの要
素値と入カバソファ４４に格納された１５４次元の特徴
ベクトルの要素値との積和を算出する。そして、算出さ
れた積和の値が出力バッファ４５の所定の領域に格納さ
れる。それと平行して、中間層の他のノートに係るウェ
イトベクトルと入力ベクトルとの内積が同様にして算出
されて出力バッファ４５の所定の領域に格納される。 こうして、中間層における総てのノードに係る内積演算
処理が終了すると、上記出力バッファ４５の上記所定の
領域に格納された中間層における各ノードに係る内積値
を読み出して、この複数の内積値から成るベクトルが入
力バッファ４４の出力層のノードに対応する領域に取り
込まれる。そして、上述と同様にして、上記中間層の各
ノートからの出力値から成るベクトルと出力層の各ノー
トに係るウェイトベクトルとの内積が並列処理によって
算出される。そして、出力層における総てのノードに係
る内積値か算出されて、識別ニューラルネットワークの
出力値として出力バッファ４５の所定の領域に格納され
る。 その後、ＣＰＵ２９は、出力バッファ４５の上記所定の
領域に格納された出力層の各ノードにおける出力値に基
づいて、入力された１５４次元の特徴ベクトルが属する
カテゴリを識別するのである。 その際に、中間層内あるいは出力層内における各ノード
に係る内積演算処理は並列処理されるため、１文字識別
部２６における１文字識別処理は高速に行われるのであ
る。 このように、第２特徴抽出部２５を構成する自己組織化
ニューラルネットワークと１文字識別部２６を構成する
３層パーセブトロン型ニューラルネットワークとを、入
力バッファ４４．演算部４３および出力バッファ４５か
ら成る同じバードウェアで構成することによって、識別
装置におけるハードウェアの簡素化および有効利用を図
ることができるのである。ま１こ、自己組織化ニューラ
ルネットワークおよび識別二、−ラルネットワークにお
ける出力値算出の際に、各層内における各ノードの出力
値演算を上記並列演算部３０の制御に基づいて並列処理
することによって、非解析的な特徴抽出および１文字識
別を高速に実行できるのである。 その際における制御部３４の処理動作は非常に単純なの
で、制御部３４として高価なＣＰＵ等を用いる必要がな
くゲートアレイ等で構成できる。 第６図は、第４図における特徴抽出部２３と１文字識別
部２６との動作手順を示すフローチャートである。この
フローチャートは基本的には第３図におけるフローチャ
ートと同様である。但し、本実施例におけるフローチャ
ートにおいては、ステップＳ１４での１文字識別は上述
のように３層パーセプトロン型ニューラルネットワーク
によって実施されるのである。この場合、バーセプトロ
ン型ニューラルネットワークには入力ベクトルの正規化
を内部的に行う能力があるために、第１特徴抽出部２４
からの特徴ベクトルと第２特徴抽出部２５からの特徴ベ
クトルとを正規化する必要がないのである。まに、ステ
ップＳＩ３での第２特徴抽山部２５による非解析的な特
徴抽出（すなわち、自己組織化ニューラルネットワーク
の出力値演算処理）、あるいは、ステップＳ１４での１
文字識別部２６による１文字識別処理（すなわち、識別
ニューラルネットワークによる識別処理）は、並列演算
部３０の制御の下に並列処理されるのである。 このように、本実施例においては、特徴抽出部２３を、
濃淡メッツユ法に基づく第１特徴抽出部２４と自己組織
化ニューラルネットワークに基づく第２特徴抽出部２５
とによって構成したので、第１実施例の場合と同じ効果
を有する。 まｌ二、上述のように、上記第２特徴抽出部２５および
Ｉ文字識別部２６を自己組織化ニューラルネットワーク
および識別ニューラルネットワークなるニューラルネッ
トワークで構成したので、両ニューラルネットワークを
同じノ＼−ドウエアによって構成することができ、大幅
なハードウェアの削減を図ることができる。さらに、上
記自己組織化ニューラルネットワークおよび識別ニュー
ラルネ・ソトワークにおける各層内ノートにおける出力
値算出処理を、並列演算部３０の制御に基づいて並列処
理するようにしにので、自己組織化ニューラルネットワ
ークにおける特徴抽出処理および識別用ニューラルネッ
トワークによるＩ文字識別を高速に実施できる。 本実施例における上述のような手法は、必すしもニュー
ラルネットワークを用いた処理の場合に限らず実施でき
る。例えば、第４図における１文字識別部２６において
、類似度法等のような互いに独立した積和演算を用いる
場合には、上述のような並列演算部３０による並列処理
を実行することか可能である。この場合も、１文字識別
に要する時間の短縮とハードウェアの効率的な利用か可
能となるのである。 第３実施例 第３実施例はこの発明に係る識別装置を音声認識に用い
た場合の例である。 第７図は本実施例におけるブロック図である。 第７図において、音声入力部５１に音声か入力されて、
得られｆ二音南情報か前処理部５２に入力される。この
前処理部５２においては、入力された音声情報が音節区
間の抽出に必要な情報（パワーおよび零交叉数等）に基
づいて音節に切り出される。そうすると、特徴抽出部５
３では、上記前処理部５２によって切り出されたｌ音節
の特徴量が抽出される。 その際に、上記特徴抽出部５３は既知の特徴抽出法に基
づく第１特徴抽出部５４と自己組織化ニューラルネット
ワークによる特徴抽出法に基づく第２特徴抽出部５５と
から構成されている。 本実施例では、上記第１特徴抽出部５４における既知の
特徴抽出法は帯域ろ波器（以下、ＢＰＦと言う）による
方法を用いる。 このＢＰＦによる特徴抽出法は、入力されｒこ１音節の
音声波形を時間軸方向に１６分割し、この１６分割され
た１音節の音節波形を周波数軸に１６分割するＢＰＦ群
に入力した際における出力値（例えば、パワー）を用い
る。つまり、１音節の音声波形から２５６次元の特徴量
を抽出するのであ一方、上記第２特徴抽出部５５におい
て用いられる自己組織化ニューラルネットワークとして
は、出力層に６４個の自己組織化ノートを有するコホー
ネン型ニューラルネットワークを１セツト用いる。そし
て、上記音声人力部５Ｉに人力されて前処理部５２によ
って切り出された１音節の音声波形を時間方向に正規化
した波形の時間軸に沿った所定数の波高値等から得られ
た入力ベクトルが入力される。こうして、自己組織化ニ
ューラルネットワークの入力ノードに入力ベクトルが入
力されて出力値演算処理が開始される。その結果、自己
組織化ニューラルネットワークからの出力値から成るベ
クトルは、入力されたｌ音節の音声波形の特徴を表すこ
とになるのである。 そこで、このように自己組織化ニューラルネットワーク
から出力されるｌ音節の音声波形の特徴を表す６４次元
ヘクトルの内容を、その音声波形の非解析的な特徴量と
するのである。 ｌ音節識別部５６は、上記第１特徴抽出部５４であるＢ
ＰＦ群からの出力に基づいて抽出された２５６次元の特
徴ベクトルと、上記第２特徴抽出部５５である自己組織
化ニューラルネットワークによって抽出され１こ６４次
元の特徴ベクトルとを用いて、入力された１音節音声波
形が属するカテゴリ（すなわち、音節コード）を類似度
法によって識別する。 その際に用いられる辞書パターンは、次のようにして予
め生成されて辞書メモリ５７に格納される。すなわち、
標準音声の音声情報に基づいて、上記第１特徴抽出部５
４によって抽出された２５６次元の特徴ベクトルと上記
第２特徴抽出部５５によって抽出された６４次元の特徴
ベクトルとを得、この得られた両特徴ベクトルから成る
３２０次元の特徴ベクトルを辞書パターンとして上記辞
書メモリ５７に格納するのである。 こうして、種々の標準音声の音声情報に基づいて作成さ
れた辞書パターンと、識別対象音声の音声情報に基づく
３２０次元の特徴ベクトルとのマツチングが１音節識別
部５６によって行われる。そして、最も高い類似度を示
す辞書パターンに付加され１♀力テゴリ名が識別カテゴ
リとして出力され、後処理部５８て言語処理か実施され
ｆコ後に識別結果出力部５９から外部機器に出力される
。 ＣＰＵ６０は、上記音声入力部５１．前処理部５２第１
特徴抽出部５４．第２特徴抽出部５５１音節識別部５６
．後処理部５８および識別結果出力部５９を制御して音
声認識処理を実施する。 第８図は、第７図における特徴抽出部５３と１音節識別
部５６との動作手順を示すフローチャートである。第８
図のフローチャートは基本的には第３図のフローチャー
トと同じであるから、ここでは概略を説明するに止どめ
る。 第８図において、入力されたｌ音節の音声波形に基づい
て、第１特徴抽出部を構成するＢＰＦ群によって２５６
次元の特徴ベクトルが抽出される一方、第２特徴抽出部
５５を構成する自己組織化ニューラルネットワークによ
って６４次元の特徴ベクトルが抽出される（ステップ９
２１〜ステツプ５２３）。さらに、上記ＢＰＦ群で抽出
されｆこ２５６次元の特徴ベクトルと自己組織化ニュー
ラルネットワークで抽出された６４次元の特徴ベクトル
との重みのバランスを取るための正規化が行われる（ス
テップ５２４）。 ここで、上記ステップＳ２１において標準音声の音声情
報が入力された場合に上記ステップＳ２２およびステッ
プＳ２３において抽出された特徴ベクトルから成る３２
０次元の特徴ベクトルは、正規化されて辞書パターンと
して上記辞書メモリ５７に格納されるのである。 次に、識別対象音節の音声情報に係る両特徴ベクトルか
ら成る３２０次元の特徴ベクトルと上記辞書パターンと
のマツチングが取られる（ステップ５２５）。そして、
マツチング結果に基づいて、識別対象音節に係る特徴ベ
クトルと最も類似度の高い辞書パターンに付加されたカ
テゴリ名が、入力された識別対象音節の音声情報が属す
るカテゴリの識別結果として出力されるのである（ステ
ップ８２６）。 このように、本実施例においては、特徴抽出部５３を、
ＢＰＦ群から成る第１特徴抽出部５４および自己組織化
ニューラルネットワークから成る第２特徴抽出部５５で
構成する。そして、ＢＰＰ群からの出力値に基づく２５
６次元の特徴ベクトルと自己組織化ニューラルネットワ
ークに基づく６４次元の特徴ベクトルとを組み合わせた
３２０次元の特徴ベクトルに基づいて識別対象音節の音
声情報と辞書パターンとの類似度を算出し、その類似度
算出結果に基づいてｌ音節識別を行うのである。したが
って、ＢＰＦ群からの出力値から抽出されｆコ解析的な
特徴量に基づく音声識別の欠点が自己組織化ニューラル
ネットワークによる非解析的な特徴量によって補完され
て、正しく音声を識別できるのである。 上記実施例において、第１特徴抽出部５４によって実施
される特徴抽出法はＢＰＦ群からの出力値に基つく方法
に限定されるのではない。 上記実施例において、１音節識別部５６によって実施さ
れる１音節識別処理は、辞書パターンとの類似度算出結
果に基づいて実施するようにしている。しなしながら、
この発明においてはこれに限定されるものではなく、第
２実施例の場合と同様に識別ニューラルネットワークに
よって実施するようにしてもよい。 この発明における小領域数、自己組織化ニューラルネッ
トワークにおける自己組織化ノード数。 識別ニューラルネットワークにおける出力層を形成する
ノード数等は、上記各実施例に限定されるものではない
。 上記各実施例においては、この発明に係る識別装置を文
字認識あるいは音声認識に用いているが、それらに限定
されるのではない。

【発明の効果】

以上より明らかなように、この発明の識別装置は、第１
特徴抽出手段において既知の特徴抽出法によって抽出さ
れた特徴量と第２特徴抽出手段において自己組織化ニュ
ーラルネットワークによって抽出された特徴量とに基づ
いて、カテゴリ識別手段によって、入力されたパターン
情報か属するカテゴリを識別するようにしたので、上記
既知の特徴抽出法によって抽出される解析的な特徴量に
基つくカテゴリ識別の欠点か上記自己組織化ニューラル
ネットワークによって抽出される非解析的な特徴量によ
って補完され、より高精度な識別が可能になる。 ま１こ、上述のように、上記自己組織化ニューラルネッ
トワークによる特徴抽出法と既知の特徴抽出法とを併用
しているので、抽出処理か終了するまでいかなる特徴量
が抽出されるか全く不明であるということはない。 また、上記第１特徴抽出手段およびカテゴリ識別手段の
うち少なくとも一方をニューラルネットワークによって
構成しｆ二識別装置は、上記第１特徴抽出手段または第
２特徴抽出手段またはカテゴリ識別手段を構成する２以
上のニューラルネットワークを同じハードウェアで成す
と共に、上記各ニューラルネッ）・ワークにおける積和
演算を１つの演算手段によって実行するようにしｆ二の
で、ハードウェアの大幅な削減を図ることかできる。 また、上記カテゴリ識別手段を類似度を用いて上記パタ
ーン情報か属するカテゴリを識別するように成した識別
装置は、上記第２特徴抽出手段で用いられる自己組織化
ニューラルネットワークと上記類似度法を用いるカテゴ
リ識別手段とを同じハードウェアで成すと共に、上記自
己組織化ニューラルネットワークにおける積和演算と上
記類似度法における積和演算とを１つの演算手段によっ
て実行するようにしたので、ハードウェアの大幅な削減
を図ることができる。

【図面の簡単な説明】

第１図はこの発明の識別装置における概念図、第２図は
第１図の識別装置を文字認識に用いた場合における一実
施例のブロック図、第３図は第２図における特徴抽出部
および１文字識別部による処理動作のブロック図、第４
図は第２図とは異なる実施例におけるブロック図、第５
図は第４図における第２特徴抽出部および１文字識別部
と並列演算部３０との詳細ブロック図、第６図は第４図
における特徴抽出部および１文字識別部による処理動作
のブロック図、第７図は第１図の識別装置を音声認識に
用いた場合における一実施例のブロック図、第８図は第
７図における特徴抽出部および１音節識別部による処理
動作のブロック図である。 １・・・識別装置、 ２１３．２３．５３・特徴抽出部、 ３．１４，２４．５４・第１特徴抽出部、４．１５．２
５，５．５・・第２特徴抽出部、５　・カテゴリ識別部
、 １１．２１　・・スキャナ入力部、 ＋　２．２２．５２・・・前処理部、 １６．２６・・１文字識別部、 １７．５７・辞書メモリ、 １８．２７．５８・後処理部、 １９．２８．５９・・識別結果出力部 ２０．２９，６０・・・ＣＰＬ’、 ３０・・並列演算部、 ３２・・・自己組織化ニューラルネットワーク用メモリ
、３３・識別ニューラルネットワーク用メモリ、３４　
制御部、 ３５．３９・・乗算器、　　３６．４０・・・加算器、
内部メモリ、 ４４・・入カバ、ファ、 出力バノファ、 ５１・ 音声入力部、 ５６・・ １音節識別部。 特 許 出 願 人 ヤ ーブ株式会 社 代 理 人

Claims (5)

【特許請求の範囲】
1. （１）入力された文字または音節等を表すパターン情報
   の特徴量に基づいて上記パターン情報が属するカテゴリ
   を識別する識別装置において、上記入力されたパターン
   情報の特徴量を既知の特徴抽出手法によって抽出する第
   １特徴抽出手段と、 上記入力されたパターン情報の特徴量を自己組織化ニュ
   ーラルネットワークを用いた特徴抽出手法によって抽出
   する第２特徴抽出手段と、 上記第１特徴抽出手段によって抽出された特徴量と上記
   第２特徴抽出手段によって抽出された特徴量とに基づい
   て、上記パターン情報が属するカテゴリを識別するカテ
   ゴリ識別手段を備えたことを特徴とする識別装置。
2. （２）請求項１に記載の識別装置において、上記第１特
   徴抽出手段をニューラルネットワークによって構成した
   ことを特徴とする識別装置。
3. （３）請求項１または請求項２に記載の識別装置におい
   て、 上記カテゴリ識別手段をニューラルネットワークによっ
   て構成したことを特徴とする識別装置。
4. （４）請求項２または請求項３に記載の識別装置におい
   て、 上記第１特徴抽出手段、第２特徴抽出手段およびカテゴ
   リ識別手段のうち少なくとも２以上の手段を構成する２
   以上のニューラルネットワークを同じハードウェアで成
   すと共に、上記各ニューラルネットワークにおける出力
   値算出の際の積和演算を１つの演算手段によって実行す
   ることを特徴とする識別装置。
5. （５）請求項１または請求項２または請求項４のいずれ
   かに記載の識別装置において、 上記カテゴリ識別手段を、上記第１特徴抽出手段および
   第２特徴抽出手段によって抽出された特徴量と辞書パタ
   ーンとの積和演算結果に基づいて上記パターン情報が属
   するカテゴリを識別する類似度法を用いるように成し、 上記第２特徴抽出手段で用いられる自己組織化ニューラ
   ルネットワークと上記類似度法を用いるカテゴリ識別手
   段とを同じハードウェアで成すと共に、上記自己組織化
   ニューラルネットワークにおける積和演算と上記類似度
   法における積和演算とを１つの演算手段によって実行す
   ることを特徴とする識別装置。