JPH03171199A - 音声認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声を認識する方法に関する。

〔従来の技術〕

従来、音声認識の手法として、音声を音素に分割し、各
音素を周波数解析する方法がある。この方法における音
素への分割に際し、まず音声パワーのレベルを検出し、
このレベルが所定値まで低下した点を音素の境界として
音声を分割することが試みられている。

［発明が解決しようとする課題］ しかし、音声のパワーレベルは必ずしも各音素間におい
て所定値まで低下するとは限らず、音声パワーが全体的
に低下することもあり、パワーレベルの低下だけでは音
声の分割は困難である。

本発明の目的は、音声を確実に音素に分割して、音声を
正確に認識することを可能ならしめる音声認識方法を提
供することにある。

〔課題を解決するための手段〕

本発明は、音声分割ステップと周波数解析ステップとを
行う音声認識方法であって、上記分割ステップにおいて
、連続音声パワー信号の輪郭の凹部の深さを求めて、所
定値よりも大きい深さを有する凹部が音素境界であると
見做し、上記周波数解析ステップが、上記連続音声パワ
ー信号を２値化するステップと、この２値化された連続
パワー信号の積算値を計算するステップと、上記積算値
の微分値を求めるステップとを備えることを特徴として
いる。

〔実施例〕

以下図示実施例により本発明を説明する。

本発明の一実施例における音声認識においては、分割ス
テップおよび周波数解析ステップが行われ、これらの分
割ステップおよび周波数解析ステップの内容を列挙する
と次のようになる。

（１）分割ステップ 分割ステップでは、次の■〜■の処理が行われる。

■連続対数パワーのメモリへの格納 これは、音声のデシベル値をとるために行われる。

■連続パワーに対するスムージング ■において得られた音声のデータは、雑音によるパワー
の低下を減少させるとともに後の工程を簡単化するため
、スムージングが施され、音声信号の細かい凹凸が除去
される。

■連続パワーにおける凹部の検出 ある形状における輪郭は、方向コードにより表され、凸
閉包（包絡図形）は、包路線の頂点の候補から境界画素
へ向かう傾斜を検討することにより検出される。凹部は
、包絡線上の隣接する２つの点を接続する理論線から境
界画素までの距離を検討することにより、検出される。

その距離は、方向コードから演算により求められる。連
続パワーは既にスムージングされているので、所定の深
さよりも深い凹部は、通常、連続する音素の境界である
。

■各凹部の弦の中点の検出 音素の境界を明瞭に定めるため、各凹部の弦の中点が検
出される。この中点は、以後、ｒ境界Ｊと定義される。

■連続パワーの各中点における分割 上記■により、連続パワーが音素に分割される。

この分割は、例えば元データの指標点を登録することに
より、実行される。

（２）周波数解析ステップ 周波数解析ステップでは、次の■〜■の処理が行われる
。

■連続対数パワーのヒストグラムの算出音声信号は通常
、音素と雑音から成り、周波数解析のため、音素の音声
信号が抽出されなければならない。雑音は音素よりも低
いパワーレベルを有しているので、音素信号は閾値処理
を行うことにより抽出される。この闇値処理は最適闇値
により行われ、闇値の最適化は、ｒモード法』あるいは
ｒ判別分析法』のような画像処理における方法と同様に
して実施される。

本実施例において、ヒストグラムはｒモード法』と同様
な闇値の最適化のために算出される。

■連続パワーの最適闇値の計算 ここでは、最適闇値は『モード法１により求めるものと
する。この方法において、画像処理の場合、最初、濃度
が画素数の順に並べ変えられる。

音声解析においては、パワーレベルの数が、そのレベル
が発生する頻度に従って、並べ変えられる。

並べ変えられたテーブルにおいて、最適闇値は次の式の
値が最大になるようなＮｂとして求められる。

（Ｎａ−Ｎｂ）Ｘ　（Ｎｃ−Ｎｂ） なお、ここでＮａ，Ｎｃはパワーの頻度の極大値、Ｎｂ
はパワーの頻度の極小値を示す。

■連続パワーの２値化 連続パワーは、上記■において計算された最適闇値を用
いて２｛＋！化される。

■２値化された連続パワーの積算 ２値化された連続パワーは、時間とともに積算され、す
なわち時間ＴＩにおける積算値は、初めから時間ＴＩま
での２値化されたパワーの積算値に等しい。

■積算された連続パワーの微分 メモリに格納された積算値が微分され、これにより各時
間における周波数が計算される。

■各音素毎の微分値列の出力 上記（１）■の分割により得られた各音素毎に、微分値
列が出力される。この連続パワーの微分値は、その音素
の周波数を意味する。

さて、このようにして得られた音素の周波数およびパワ
ーのデータは、例えばＤＰマッチングにより予め定めら
れたパターンと比較され、これにより音声認識を行うこ
とが可能である。しかし、このような方法ではパターン
の数が多いために、マノチングのルールの適用が複雑で
あり、迅速かつ確実に音声認識をすることは困難である
。そこで本実施例では、次に述べる回路を用いて、より
高速かつ確実に音声認識を行っている。

第１図は音声認識システムの概略の構戒を示し、この音
声認識システムは、入力音韻に対応したデジタルデータ
パターンを生成する人力部ｌと、特徴処理部２と、認識
部３とを備え、これらはバスＢを通して相互に接続され
るとともに、ＭＰＵ４に接続されている。人力部ｌには
マイクロフォン等の入力機器とＩ／Ｏとを含み、Ｉ／Ｏ
には適宜、データ圧縮手段、データ保持のためのメモリ
等が含まれる。特徴処理部２は特徴抽出を行う処理部５
と、人力部で生威されたデジタルデータパタンを保持す
るメモリ６とを備え、所望により内部に人力部１が設け
られる。認識部３は、認識すべき音韻の特徴を抽出した
データが入力される入力部７と、人力パターンを経たデ
ータに基づいて連想を行う連想部８と、連想部８の出力
に基づいて、記憶事項が登録されたメモリ９のアドレス
を指定する変換部ＩＯとを備えている。

第２図は特徴処理部２における処理部５を示すものであ
り、処理部５は、メモリ６からマルチプレクサｌ１を介
して選択的に取り込んだデータを１：’　　；ｈルハス
ＬＢｌｔ！してシリアル／パラレル変換部ｌ２に転送し
ている。変換部１２は所定バイト単位（例えば数１０バ
イト）でデータを保持し、これらのデータを並列に演算
部ｌ３に人力する。

演算部１３は数値演算部１４および状態演算部１５を有
し、シリアル／パラレル変換部１２の出力は数値演算部
１４に入力される。

数値演算部１４は、乗算部１６、セレクタ１７、統合部
１８を順次接続してなり、微分その他のオペレータ処理
や画像間演算を行う。数値演算としては、例えばサンプ
リング周波数に乗数を乗した後にこれを数値的に統合す
る処理が行われるが、同一のデータには異なる絶対値の
乗数が掛けられることはないという発明者の知見に基づ
き最前段に乗算部１６が配置されている。これによって
乗算部のカーネル数（乗算を行うための回路の組の数）
は、同時に処理するデータ数に等しい数すなわち最小値
とすることができ、これにともなって後段のセレクタお
よび統合部のゲート数も減少する。従って数値演算部は
小規模回路で最大限の機能をもつことができ、処理速度
も高速化される。

数値演算部ｌ４内のデータは状態演算部１５に導かれ、
状態演算部１５は所定時間内のデータに対し次のような
判断または演算を行う。

ａ）パワーの急激な変化等セグメント（分割）に有効な
特徴。

ｂ）周波数、パワーの極大値等音ａ員の中心フレーム検
出に有効な特徴。

Ｃ）その他。

このように数値演算とともに状態演算を並列的にしかも
別回路で行うことにより、各回路の効率化および高速化
を図ることができる。また状態演算部ｌ５の出力は、そ
れ自体が有効な特徴量であり、あるいは特１ｖｌ．量抽
出のための有効なデータである。

状態演算部１５の出力は変換部１９に人力され、さらに
特徴抽出や、積算、比較などの処理により特徴量が求め
られる。

変換部ｌ９はスタティックＲＡＭなどの高速メモリの出
力の分岐にフルアダーなどの軽演算部を接続し、この軽
演算部の出力を高速メモリのデータ人力にフィードバッ
クしてなるものである。このような構戒により、同一デ
ータに同一演算を繰り返し施したり、データの積算、デ
ータの逐次比較等の複雑な演算を小規模の回路において
高速で行うことができる。

演算部１３、変換部１９の出力は出力側のローカルバス
ＬＢを通して前記メモリ６のいずれかに戻されている。

出力側のローカルバスＬＢにはさらに逐次処理部２０が
接続され、フィードバック的な逐次処理はこの逐次処理
部で行われる。逐次処理部２０はラインメモリとラッチ
と論理部を備え、現在処理対象となっているデータより
一定時間前に処理されたデータを参照しつつ、逐次処理
を行う。

このような処理部においては、極めて多様な特ｆｔｌｕ
ｊｔを高速で求めることができ、認識部３に貴重な特徴
量を供給し得る。なおメモリ６としてデュアルポートメ
モリを採用すれば、データの読出し、書き込みを極めて
高速で行い得る。

認識部３における連想部８としては、たとえば第３図に
示す回路が採用され、いわゆる記憶マトリックスに対す
る以下のようなマトリックス演算が行われる。

Ｚ一φ。　（Ｍｙｌ Ｍ＝ｘｘ Ｘ　：記憶事項（縦ヘクトル） ｘ’：ｘの転置行列 Ｍ ：記憶行列 ｙ　：入力（縦ベクトル）の転置行列 φ。：量子化関数（行列の各要素を正のとき１、Ｏのと
きＯ、負のとき−１に 変換する。） Ｚ　：連想（縦ベクトル） 認識部３はデュアルポートメモリ２１を備え、デュアル
ポートメモリ２１のシリアルＩ／Ｏ（図中ＳＩＯで示す
）には連想部あるいは行列演算部２２が接続されている
。行列演算部２２の出力は量子化部２３に接続されてい
る。

デュアルボートメモリ２ｌには、記憶事項を示すヘクト
ル（ｎ行とする）とその転置行列との積よりなるｎＸｎ
のマトリクスがその行列の配列に応して登録され、シリ
アルＩ／Ｏ　（Ｓ　Ｉ○）にはこのマトリクスが１行単
位で読み出される。Ｓ■０に読み出されたデータは１ク
ロツク毎に１要素ずつ出力され、その読み出しは高速で
ある。

行列演算部２２はｎ行のベクトルよりなる入力パターン
全体を保持する連想用入力部２４を備え、この連想用入
力部２４は例えばシフトレジスタで構威されている。入
力部２４で保持された入力パターンとＳｆＯから出力さ
れるデータは乗算部２５で要素毎に乗算され、乗算結果
は加算部２６においてそれまでの乗算結果の累積と加算
される。

それまでの乗算結果の累積は保持部２７に格納される。

入力パターンの積の累積値すなわち ＭＸｙ が求められたときには、その値は量子化部２３に入力さ
れる。

量子化部２３では ＭＸｙ の各要素を、正ならば１に、０ならばＯに、負ならば−
１に変換し、その結果を第２のデュアルポートメモリ２
８に格納する。

量子化部３は例えば第４図のように構威され、要素Ｅの
絶対値を閾値Ｈと比較し、そのサインフラグＳ２を出力
する。また要素ＥのサインフラグＳ１とサインフラグｓ
２から、次の論理により量子化した値の絶対値Ｖとその
サインフラグｓ：ｌをを出力する。

Ｓ：ｌ　　＝Ｓ＋　　ｘ丁２ 入力パターンとしては前述の特徴処理部２で得られた特
徴量が人力される。ここで入カパターンの大きさをＩＫ
ハイトとすると、全体で１０００行の縦ヘクトルとなり
、記憶行列は１０００　Ｘ　１０００、要素数１００万
の行列となる。

デュアルポートメモリにおける続出しサイクルを４０ｎ
ｓｅｃとすると、記憶行列の読出しは、４０Ｘ１０−９
ＸＩ，０００，ＯＯＯ＝４０ｍｓｅｃ程度の時間で行う
ことができる。

なお各プロソク間をパイプライン処理とすれば、全体の
処理をより高速化でき、また第２のデュアルボートメモ
リ２日を省略して、第１のデュアルポートメモリ２ｌに
処理結果を格納してもよい。

行列演算部２２にはさらに学習のための構戒要素が含ま
れており、学習のための構成要素と連想のための構或要
素はマルチプレクサ等で選択される。

乗算部２５には、ＳＩＯと学習用の人力パターンとを選
択するマルチプレクサ２９が接続され、加算部２６には
、保持部２７の出力とＳＩＯの出力とを選択するマルチ
プレクサ３０が接続されている。

学習用の入力パターンは、人力パターンとその転置行列
との積であり、シフトレジスタ２４に保持されたヘクト
ルの全要素の１つを乗じたものを加算する。この１つの
要素の保持のために保持部３１が設けられている。

このように構威された人力パターンはｌ行毎に加算部２
６において記憶行列Ｍに加算される。

前記量子化部２３は最大値を固定する機能に切換わるこ
とが可能であり、人力パターンと記憶行列との和におい
て所定の最大値を越えるものがあるときにはそれを所定
の最大値に変更する。例えば記憶行列の各要素を８ビッ
トとすると、人力パターンとの加算により要素が２５５
を越え０に戻るおそれがあるが、最大値を２５５に規制
しておけばそのような問題は生じない。

このようなニューラルネットワーク型の認識部３は、連
想結果に対して教師信号を与えていくことにより、記憶
行列の各要素が変化し、最適な連想を生しるように教育
し得る。従って、人為的に連想パターンを決定する必要
はなく、容量の許す範囲内で任意の音韻の認識に適用で
き、音声認識においては、ユーザの音韻群の特性を学習
してそのユーザの音声を高い確率で認識し得るようにな
る。

第１図において、メモリ９には種々の記憶行列の各値お
よび最終的に連想すべき文字などのデータが登録されて
おり、一定の連想を行うときには記憶行列の各要素を連
想部８のデュアルポートメモリ２１（第３図）に転送す
る。連想部８の出力は連想すべき音韻のコード番号等と
し、コード番号でメモリ９のアドレスを直接指定し、あ
るいは、連想部８の出力を変換部１０でコード番号に変
換してメモリ９のアドレスを指定してもよい。

なお連想部８の構成は以上の実施例に限定されるもので
はなくマカロツク・ビンツモデルに基づいたコネクショ
ンマシーン等をも使用し得る。ただし現在の半導体技術
では大容量、小型のコネクションマシーンをハードウエ
アで構成することは困難であるので、記憶行列を用いた
構戒が好ましい さらに特徴処理部２は前記実施例に限定されるものでは
なく、多くの特徴量を抽出し得る処理システムであれば
任意の構成を採用し得る。

さて、上述した（１）および（２）を再び参照し、分割
ステップおよび周波数解析ステップにおける各処理がど
の回路において行われるかについて説明する。

（１）分割ステップ ■連続対数パワーの登録 リアルタイムの音声信号が入力部１に人力され、アナロ
グ回路によって連続対数パワーに変換される。そして連
続対数パワーは、特徴処理部２のメモリ６に入力される
。

■連続パワーのスムージング スムージングされたデータは、元のデータを保持するた
め、元のデータが格納されたのとは別のメモリ６に格納
される。このスムージングのステップは、特徴処理部２
の処理部５において行われる。乗算部ｌ６は、所定時間
の間、音声データに「１」を乗じる。統合部１８は、加
算および減算の機能によって、乗算されたデータの平均
値を計算する。

■連続パワーの凹部の検出 ＭＰＵ４により実行される。

■各凹部の弦の中点の検出 ＭＰＵ４により実行される。

■連続パワーの各中点における分割 （２）周波数解析ステップ ■連続対数パワーのヒストグラムの算出ヒストグラムは
処理部５の変換部１９の高速メモリ内に格納される。

■連続パワーの最適闇値の計算 最低閾値はＭＰＵ４により求められる。

■連続パワーの２値化 ２値化は、変換テーブルとしての変換部ｌ９を用いて、
この変換部１９によって行われる。

■２値化された連続パワーの積算 ２値化された連続パワーは連続的に積算される。

この積算は、アダーとしての光演算部を定義するととも
に、処理部５の変換部ｌ９において実行される。高速メ
モリ内に格納されている値は、新しい２値化されたパワ
ーに加算され、そして再び高速メモリ内に格納される。

各時間における積算値は同時にメモリ６内にも格納され
る。

■積算された連続パワーの微分 微分演算は、シリアル／パラレル変換部１２および数値
演算部ｌ４によって実行される。所定時間内のパワーの
データは、いったん変換部ｌ２に格納される。乗算部１
６は、微分のために、各時間毎に所定の乗数をデータに
乗じる。統合部１日は、微分値を得るために主６こ引算
を行う。微分値は各時間における周波数であり、これは
元のデータが格納されていたのとは異なるメモリ６内に
格納される。

■各音素の微分値列の出力 微分値列が上記（１）、■の分割により得られた各音素
ムこ連想部８に出力される。微分された連続パワーは、
ローカルバスＬＢを介してメモリから処理部３へ出力さ
れる。

なお連想部８の構或は以上の実施例に限定されるもので
はなくマカロツタ・ピソッモデルに基づいたコネクショ
ンマシーン等をも使用し得る。ただし現在の半導体技術
では大容量、小型のコネクションマシーンをハードウエ
アで構戒することは困難であるので、記憶行列を用いた
構戚が好ましい。

さらに特徴処理部２は前記実施例に限定されるものでは
なく、多くの特ｆｆｉｌを抽出し得る処理システムであ
れば任意の構成を採用し得る。

〔発明の効果〕

以上のように本発明によれば、音声が確実に音素に分割
され、音声が正確に認識されることが可能になるという
効果が得られる。

【図面の簡単な説明】

第Ｌ図はこの発明に係る音声認識システムの一実施例を
示すブロック図、 第２図は同実施例における特徴処理部を示すブロック図
、 第３図は同実施例における連想部を示すブロノク図、 第４図は連想部における量子化部を示すブロック図ある
。 第 １ 図

Claims (1)

【特許請求の範囲】
1. （１）音声分割ステップと周波数解析ステップとを行う
   音声認識方法であって、 上記分割ステップにおいて、連続音声パワー信号の輪郭
   の凹部の深さを求めて、所定値よりも大きい深さを有す
   る凹部が音素境界であると見做し、上記周波数解析ステ
   ップが、上記連続音声パワー信号を２値化するステップ
   と、この２値化された連続パワー信号の積算値を計算す
   るステップと、上記積算値の微分値を求めるステップと
   を備えることを特徴とする音声認識方法。