JPH02165388A - パターン認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は音声・文字・図形等の入力パターンを高精度に
認識することのできるパターン認識方式に関する。

（従来の技術） 近時、音声や文字・図形等に対するパターン認識処理に
関する研究が種々進められ、自然性に優れたマン台マシ
ンΦインターフェースを実現する上での重要な技術とし
て注目されている。

この種のパターン認識処理を実行するパターン認識装置
は、基本的には第４図に示すように、■特徴抽出部１に
て入力パターンを分析してその特徴パターンを求め、■
予め認識対象とするパターンのカテゴリ毎に求められた
標準パターンを辞書として格納した標準パターン記憶部
２を参照して、例えば各標準パターン辞書と上記特徴パ
ターンとの類似度や距離をパターン・マツチング部３に
て計算し、■その照合結果（類似度値や距離値）を判定
部４にて判定して入力パターンに対する認識結果を得る
如く構成される。尚、判定部４は一般的には入力パター
ンとの間で最も高い類似度値（最も小さい距離値）を得
た標準パターンのカテゴリ名を、前記入力パターンに対
する認識結果、或いは認識候補として求めるように構成
される。

ここで入力が音声波形である場合には前記特徴抽出部１
は、例えば人力音声をＢＰＦ　（バンドパス・フィルタ
）分析やＬＰＧ　（線形予測）分析した後、音声区間を
検出して該音声区間の音響分析データを入力パターンと
して求めるように構成される。またその入力が文字画像
である場合には、例えば前記特徴抽出部１は入力文字画
像を量子化した後、文字部分の検出切出しを行って文字
パターンの特徴データを入力パターンとして求めるよう
に構成される。

ところでこの種のパターン認識処理における優れた手法
の１つに部分空間法がある。この部分空間法は各カテゴ
リの標準パターン辞書として、予めカテゴリ毎にＫＬ展
開等によって直交化した辞書（φ　　　；にはカテゴリ
名、ｍは直交軸の番号；（Ｋ、ｍ） ｍ＝１．２．・・・、Ｍ）を直交化辞書セットとして構
築しておき、入力パターン（Ｘ）との間で次式に従って
その類似度Ｓ　　を計算してパターン・マツチン（Ｋ） グ処理を行なうようにしたものである。

但し、上式において（）は内積を示し、また１１１１は
ノルムを示している。

この部分空間法によるパターン・マツチングの手法は、
比較的簡単に精度の高い認識結果を得ることができるも
のとしてパターン認識に広（用いられている。

ところが部分空間法を用いた従来のパターン認識処理手
続きでは、上述した演算式に示されるように入力パター
ン（Ｘ）と直交化辞書セットの各直交軸（φ（Ｋ、ｎ）
　）との内積値を単に累積し、この累積値をもって入力
パターンの全体的な特徴を評価しているに過ぎない。換
言すれば、入力パターンと各直交軸との間で求められる
内積値を個々に利用することなく、その累積値と云う全
体的な観点に立脚してパターン認識処理を行なっている
に過ぎない。この為、例えばノイズ等に起因して成る直
交軸に対する内積値が本来の正しいパターンでは取り得
ない大きな値を取ったような場合、その内積値の累積結
果が正しいパターンに対する内積値の累積結果より大き
な値となることがある。

これ故、この種の部分空間法を用いてパターン・マツチ
ング処理を行なう場合には、認識対象外のカテゴリや種
々のノイズに起因する誤判定（誤認識）が生じ易いと云
う問題があった。

これに対して最近では、多層のニューラル・ネットワー
ク（以下、ＮＮと略記する）を用いてパターン・マツチ
ング処理を行なうことが注目されている。このニューラ
ル・ネットワークは、情報を担うニューロンを順次伝達
するネットワークにより非線形分離関数を実現して入力
パターンの特徴抽出等を行なうものである。しかしてこ
の種のニューロ・ネットワークにあっては、下位層から
の出力をどのようにして統合していくかを規定する係数
を如何にして設定するかと云う課題がある。

この係数を求める為のアルゴリズムとして、例えば ｒＮＡＴＬＩＲＥ　　Ｖｏｌ、３２３　９．ＰＰ、５５
３−５３６　　（１９８８，Ｏｃｔ）Ｌｅａｒｎｉｎｇ
　　ｒｅｐｒｅｓｅｎｔａｔｌｏｎｓ　　ｂｙｂａｃｋ
−ｐｒｏｐａｇａｔｔｏｎ　　ｅｒｒｏｒｓ　　　Ｊな
る文献に紹介されるパックプロパゲーション・アルゴリ
ズム（以下ＢＰアルゴリズムと称す）があり、これを適
用することでパターン・マツチング処理を高精度に実行
することが種々報告されている。

然し乍ら、ニューラル・ネットワークを用いる場合、多
層構造をなす各層での係数をそれぞれ算出する為の膨大
な演算を行なう必要があり、その演算処理負担が非常に
大きいと云う不具合があった。これ故、ニューラル・ネ
ットワークを簡易に用いてパターン認識処理を進めるこ
とができないと云う不具合があった。

（発明が解決しようとする課題） このように部分空間法やニューラル・ネットワークを用
いた従来のパターン認識方式にあってはそれぞれ一長一
短があり、種々のノイズ等に左右されることなく、簡易
に、且つ高精度に入力パターンを認識するには問題があ
った。

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、パターン認識の正解率を高める
と共に、認コ対象外のカテゴリや種々のノイズに対する
リジェクト率を高めることの可能なパターン認識方式を
提供することにある。

［発明の構成］ （問題点を解決するための手段） 本発明に係るパターン認識方式は上述した従来の問題点
を解決するべく、 ■　カテゴリが未知なる大刀パターンと、予め求められ
ているカテゴリが既知なる複数の標準パターンの各直交
化辞書セットとの内積をそれぞれ計算し、 ■　各カテゴリ毎に上記計算により求められる各直交軸
との内積値を正負対称型の非線形関数によりそれぞれ非
線形変換した後、 ■　これらの非線形変換された値に対して予めカテゴリ
毎に設定された係数に基づき、例えばニューラル・ネッ
トワークや統計的識別関数を用いて所定の演算を施し、 ■　この予め設定された係数を用いて各カテゴリ毎に計
算される値を相互に比較することによって前記入力パタ
ーンが属するカテゴリを識別するようにしたことを特徴
とするものである。

（作　用） このようなパターン認識方式によれば、入力パターンと
直交化辞書セットとの内積値を正負対称型の非線形関数
により非線形変換した上で、各カテゴリ毎に予め定めら
れている係数を用いて所定の演算処理を施すので、簡単
な演算処理により入力パターンの変動を効果的に吸収し
て該入力パターンを高精度に認識することが可能となる
。

例えば音声パターンの固有ベクトルは第５図に示すよう
に求められる。この第５図に示す第１軸から第４軸まで
の固有ベクトルΦＩ、Φ２．Φ３．Φ４は、３００人の
話者が発声した単音節音声「ちょ」の発声パターンから
ＫＬ展開により第１０軸まで求めた直交化辞書パターン
（固有ベクトル）の内の第１軸から第４軸を示すもので
あり、・にて正のベクトル値、また０にて負のベクトル
値をそれぞれ表わしている。

しかして第１軸の固有ベクトルΦｊは平均的な入力パタ
ーンの特徴（ベクトル）を表しているが、「ちょ」の破
裂部分がポカされている為、この第１軸の固有ベクトル
Φ１だけでは「しよ」と区別して入力パターンを認識す
ることはできない。また第２軸の固有ベクトルΦ２は主
に周波数方向の変位を表しており、第３軸の固有ベクト
ルΦ３は破擦音「ちょ」の破裂部分を捕らえたものとな
っている。従ってこの第３軸の固有ベクトルΦ３を参照
すれば、前述した「しょ」と区別して入力パターンを認
識することが可能になる。更に第４軸の固有ベクトルΦ
４は主に時間方向の変位を表したものとなっている。

尚、ここでは第５軸以降の固有ベクトルについては特に
図示していないが、第１軸〜第４軸の固有ベクトルよう
に各ベクトルが担う情報はそれほど明確なものとはなっ
ていない。

このようにＫＬ展開により求められる直交化辞書を構成
する各固有ベクトルΦ１．Φ２．Φ３．Φ４（直交化パ
ターン）は、音声（または文字、図形）パターンの変動
を良く表現したものとなっている。

またこれは丁度、多層のニューラル・ネットワークにお
ける下位層での特徴抽出と非常によく似たものとなって
いる。

そこで本発明ではこのような観点に立脚して入力パター
ンと直交ベクトルとの内積をとる過程をＮＮにおける下
位の第１層として捕え、この第１層の出力を受けるＮＮ
を構成してパターン・マツチング処理を実行することで
、膨大な多層ＮＮの係数を求める計算、具体的にはパッ
クプロパゲーション・アルゴリズムがら下位第１層の部
分を切り離し、上位層部分だけを独立に計算するように
している。

この結果、ＮＮのうちＢＰアルゴリズムにより係数を求
める部分を１層、若しくは２層程度とすることが可能と
なり、その計算量を大幅に削減してパターン・マツチン
グ処理を実行することが可能となる。

ところでＮＮの層間には非線形変換により下位層からの
出力を統合する過程が設けられる。そしてこの非線形変
換を実行する関数としては、一般的には第６図に示すよ
うな ｆ　　　−１／（１＋ｅ） （Ｘ） で示されるシグモイド関数がよく用いられる。但し、Ｘ
は入力の総和である。

ところが上述した入力パターンと直交ベクトル（固有ベ
クトルΦｌ、Φ２．Φ３．Φ４．・・・）との内積は正
負の値をとり、その内積の絶対値の大きさが、その軸に
対する寄与の度合いを表している。従って従来から使用
されている上述したシグモイド関数等の非線形関数をそ
のまま適用することができないという問題が新たに生ず
る。

そこで本発明では第２図に示すような正負対称型の非線
形関数を導入して、上述した内積の値に対する非線形変
換を施すようにしている。尚、第２図において関数Ａは
ｌｘｌ≦１の範囲でシグモイド関数と類似した特性を有
する正負対称な関数であり、例えば なる関数として与えられる。また第２図に示す関数Ｂは Ｂ　；　ｆ　（１）−ｘ２ で示される二乗関数であり、更に関数Ｃは正負各々の領
域では線形な特性をなす Ｃ；ｆ　　　　　−１ｘ （ｘ） で示される関数である。このような正負に対称な非線形
関数Ａ、Ｂ、Ｃを用いて入力パターンと直交ベクトルと
の内積に非線形変換を施すことでＮＮの上位層に渡す平
文てが得られる。つまり部分空間法およびニューラル・
ネットワークが持つ欠点をそれぞれ補い、これらの結合
による高性能なパターン認識処理が可能となる。

尚、上述した非線形変換を実際に行なうに際しては、入
力パターンと直交ベクトルとの内積の絶対値を求め、こ
れに対して第２図に示す梁側の非線形変換を施すように
しても良い。

ところで各直交軸との内積の値を対称型の非線形関数に
より非線形変換した後、これらの値Ｘ−（ｘｌ、ｘ２．
・・・、ｘＭ　）を前述したニューラル・ネ・ソトワー
クの代わりに統計的識別関数に入力してノくターン認識
処理する手法も考えられる。この場合には、例えば次式
に示すベイズ判定法を利用する等して入力パターンに対
する識別判定を実行するようにすれば良い。

ここで上式におけるμ　、ＲＫは、それぞれ予に め学習データから求められる入カッくターンＸの平均ベ
クトルと共分散行列である。またＴは転置を示し、Ｒ，
ＩＲＫｌは各々共分散行列町の逆に 行列と行列式の値であることを示している。

ベイズ判定ではこの第０式で示される値をカテゴリ毎に
求め、その最大値を与えるカテゴリを正解（認識結果）
としてその識別判定が行なわれる。

またこのベイズ判定を簡略化した方式と考えられるマハ
ラノビス距離を用いる場合には次式に従ってパターン認
識処理を行なうようにすれば良い。

しかしてこのマハラノビス距離を用いた場合には、その
距離値が最小となるカテゴリを正解（認工結果）として
求めるようにすれば良い。

このような統計的識別関数を前述したニューラル・ネッ
トワークに代えて用いる場合であっても、同様な作用・
効果が奏せられる。

（実施例） 以下、図面を参照して本発明の一実施例に係るパターン
認識方式について説明する。

第１図は本発明方式を音声認識に適用し、ニューラル・
ネットワークを用いて入力パターンを認識処理するよう
にした本発明の第１の実施例装置を示す概略構成図であ
る。特徴抽出部１１は入力音声を１２ＫＨｚでサンプリ
ングして１２ｂｉｔのディジタル・データにＡ／Ｄ変換
し、そのパワーとＬＰＧ分析パラメータを計算する。こ
の計算処理は、例えば窓長を２４ａＳｅｅ、フレーム周
期を８ｍ５ｅｃ、分析次数を１６次、ＬＰＧメルケブス
トラムの項数を１６項として行なわれる。その後、特徴
抽出部１１では人力音声区間を検出して、この区間にお
けるパワーとＬＰＧ分析パラメータを音声特徴（入力パ
ターン）として抽出する。

しかして内積計算部１２は、上述した如く求められる入
力パターンと、予め認識対象とするカテゴリ毎に用意さ
れて直交化辞書部１３に格納されている直交化辞書セッ
トとの間で、逐次内積演算を実行する。この内積計算部
１２で求められた上記入力パターンと直交化辞書セット
との間での内積値が以下に示す対象形非線形変換部１４
および部分空間法による類似度計算部１５にそれぞれ与
えられる。

対称型非線形変換部１４は前述した第２図に示すような
正負対称型の非線形関数により上記内積値を非線形変換
するものであり、この非線形変換した値をニューラル・
ネットワーク（ＮＮ）部１７へ転送する。また類似度計
算部５は上記内積値に対して第０式に示す部分空間法に
よる類似度計算処理を実行している。この類似度計算部
１５により求められた類似度計算結果が前判定部１６に
与えられ、認識候補を絞り込むべく上位のカテゴリ番号
が認識候補として求められる。そしてこの前判定部１６
にて求められたカテゴリ番号がニューラル・ネットワー
ク部１７へ転送される。このカテゴリ番号に従ってニュ
ーラルφネットワークにおける係数（図中のに印）の設
定が行なわれる。

しかしてニューラル・ネットワークは、直交化辞書セッ
トと同じくカテゴリ毎に図中の係数がそれぞれ与えられ
ている。尚、これらの係数は前述したＢＰアルゴリズム
を用いて予め学習データから認識対象カテゴリ毎に求め
られたものである。

ニューラル・ネットワーク部１７では前述した如く非線
形変換した値Ｘ　［＝　（ｘＬｘ２．−　、ｘＭ　）；
　Ｍは直交軸の数］を入力として、上記係数との積和を
第１図に示す結線に従って計算し、ノード毎に統合した
後、シグモイド関数による非線形変換を経て信号ｙｌ、
ｙ２．・・・ｙＬを得る。次ぎに同様の手続きで、これ
らの信号と係数との積和を計算し、同様にして非線形変
換した後、これを統合してそのカテゴリに関する出力を
得るものとなっている。このようにして求められる全て
のカテゴリについてのＮＮ出力の中で、最も大きな出力
を与えるカテゴリを認識結果とすることで、前記入力パ
ターンが認識される。

尚、入力に対して全てのカテゴリに対するＮＮの計算を
行っても良いが、実際の適用に当たっては前記前判定部
１６の出力を利用して認識候補を絞り込み、上位の候補
に対してのみニューラル・ネットワーク部１７による計
算を行う方が効率的である。またＮＮの層数等について
は、本発明の範囲内で種々変形して設定すれば良いこと
は云うまでもない。

このようにして入力パターンと直交化辞書セットとの間
で内積演算し、その内積値を非線形変換してニューラル
・ネット部１７に与えてパターン認識処理を実行する本
方式によれば、上述した内積演算と非線形変換とによっ
てニューラル・ネットに於ける初段の複雑な係数演算を
行なうことなしに高精度な認識処理を実現することがで
きる。この結果、部分空間法が持つ種々のノイズに対す
る不具合を効果的に解消した上で、係数演算の簡易化を
図ったニューラル・ネットワークを用いて簡易に、且つ
効果的に入力パターンを精度良く認識することが可能と
なる。

一方、第３図はニューラル・ネットワークに代えて前述
した統計的歳別関数を用いてパターン認工処理を実行す
るようにした本発明の第２の実施例装置を示す概略構成
図である。この実施例装置でも前述した実施例と同様に
入力音声を特徴抽出部１１にて分析してそのパワーとＬ
ＰＧ分析パラメータを求め、更に音声区間を検出して音
声特徴（入力パターン）を抽出する。そして内積計算部
１２にて上記入力パターンと、直交化辞書部１３に格納
されているカテゴリ毎に用意した直交化辞書との間で内
積の計算を行い、対称型非線形変換部４にてその内積値
を非線形変換する。その後、この非線形変換された値を
用いて、統計的識別関数演鼻部１８にて所定の係数演算
を施すようにじたものである。

統計的識別関数演算部１８は、前述した直交化辞書セッ
トと同じく、予めカテゴリ毎にその学習データから求め
られた平均ベクトルと共分散行列を格納した係数登録部
１９を参照して係数演算処理を実行するものである。

具体的には統計的識別関数演算部１８では、非線形変換
した値Ｘ　［＝　（Ｘｌ、Ｉ２．−、ＸＭ　）；　Ｍは
直交軸の数］を入力として、上記係数登録部１９から与
えられる係数との間で前述した第０式または第０式に従
って係数演算処理を実行し、その評価値を求める。この
ようにして計算される評価値（出力）の中で、全てのカ
テゴリの中で最も大きな出力（ベイズ判定の場合、マハ
ラノビス距離では最小値）を与えるものを入力パターン
に対する認識結果とすることで、そのパターン認識処理
が行なわれる。

この場合においても、全てのカテゴリに対する統計的識
別関数の計算を行うことなく、先の実施例と同様にして
前判定部の出力を利用して候補を絞り、上位の候補に対
してのみ識別関数の計算を行うようにすることが効率的
である。

尚、本発明は上述した実施例に限定されるものではない
。例えば内積演算に用いる直交化辞書の軸数や、認識対
象とするカテゴリの数、更にはニューラル・ネットワー
クを構成する総数等はパターン認識に対する仕様に応じ
て定めれば良いものである。また内積値を非線形変換す
る為の非線形関数も上述した例に限定されるものではな
く、要はその要旨を逸脱しない範囲で種々変形して実施
することができる。

［発明の効果］ 以上説明したように本発明によれば、音声・文字・図形
などのパターン認識における誤判定を少なくできるほか
、ノイズや不用意な発声、認識対象外の単語に対するる
リジェクト能力を高めることができ、その認識正解率を
高めて高性能なパターン認識を実現することができる等
の実用上多大なる効果が奏せられる。

【図面の簡単な説明】

第１図は本発明に係るパターン認識方式を適用して構成
される第１の実施例を示す認識装置の概略構成図、第２
図は実施例で導入される正負対象な非線形関数の例を示
す図、第３図は本発明に係る第２の実施例装置を示す概
略構成図、第４図は従来一般的なパターン認識装置の構
成図、第５図はＫＬ展開によって求められる直交ベクト
ルを模式的に示すパターン図、第６図はニューラル・ネ
ットワークで一般的に用いられる非線形関数の例を示す
図である。 １１・・・特徴抽出部、１２・・・内積計算部、１３・
・・直交化辞書部、Ｉ４・・・対称形非線形変換部、１
５・・・類似度計算部、１Ｂ・・・前判定部、１７・・
・ニューラル・ネットワーク部、１８・・・統計的識別
関数演算部、１９・・・係数登録部。 第　１　図 出願人代理人　弁理士　鈴江武彦 等２図 ＆ｌ−一←−一一一

Claims (2)

【特許請求の範囲】
1. （１）カテゴリが未知なる入力パターンと、予め求めら
   れているカテゴリが既知なる複数の標準パターンの各直
   交化辞書セットとの内積をそれぞれ計算し、この計算に
   より求められる内積値を正負対称型の非線形関数により
   非線形変換した後、この非線形変換された値と予めカテ
   ゴリ毎に設定された係数とに基づいて計算される値を相
   互に比較して、前記入力パターンが属するカテゴリを識
   別することを特徴とするパターン認識方式。
2. （２）非線形変換した値と予めカテゴリ毎に設定された
   係数とに基づく計算は、ニューラル・ネットワークを用
   いて、または統計的識別関数を用いて行なわれることを
   特徴とする請求項第（１）項に記載のパターン認識方式
   。