JPH07306691A

JPH07306691A - 不特定話者音声認識装置およびその方法

Info

Publication number: JPH07306691A
Application number: JP6159062A
Authority: JP
Inventors: Yoshihiro Matsuura; 嘉宏松浦; Toby Skinner; スキナートビー
Original assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd; Adaptive Solutions Inc
Current assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd; Adaptive Solutions Inc
Priority date: 1993-07-12
Filing date: 1994-07-12
Publication date: 1995-11-21
Also published as: US5528728A

Abstract

(57)【要約】【目的】単語の発声を正確に認識できるようにした。【構成】不特定話者の発声がマイクロフォン１を通じ
て電気信号に変換される。その電気信号はアンプ２で増
幅され、Ａ／Ｄ変換器３でデジタル信号変換される。そ
の信号は窓関数機能発生器４、ＦＴアナライザ５、パワ
ースペクトル６を介して音素認識部７に入力される。音
素認識部７では入力された信号を時系列の多次元離散特
徴ベクトルに変換する。その特徴ベクトルは複数の候補
に変換され、これによりその複数の音素が複数の候補と
して時系列において複数の音素列を構成する。複数の音
素候補は、辞書８に記憶された各単語に対する各標準音
素列の標準パターンと単語認識部９で比較判断される。
この判断の結果として各単語から少なくとも１個の候補
を音声認識の結果として認識単語出力部１１から出力す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、高度の音声認識の可
能な（ＮＮ）（神経回路網、Neural Network）および／
またはＤＰマッチング（動的計画法、Dynamic Programm
ing）（或いは、ＤＴＷ（時間正規化、Dynamic Time Wa
rping）技術を使用して、不特定話者により発声された
分離音声も認識できる不特定話者音声認識装置およびそ
の方法に関する。

【０００２】

【従来の技術】日本においては、１９８３年８月発行の
「情報処理」（Information Processing）２４巻８号
（Volume ２４、No.８）に、ナカツリョウヘイ（横須
賀電気通信研究所、Yokosuka Electric Communication
Laboratory）の日本語の論文として、さきに提出された
音声認識技術の実施が報告されている。

【０００３】米国（合衆国）特許第４、６３７、０４５
号は、上記音声認識システムが応用された制御装置の一
つを例示している。

【０００４】

【発明が解決しようとする課題】前述した論文におい
て、不特定話者単語音声認識装置とは、不特定多数の話
者の音声を対象とする音声認識であると定義されてい
る。不特定話者音声認識を用いれば、電話機を入出力端
末機として多くの人にデータ通信サービスを提供できる
ため、期待は大きい。この音声認識の一つにセグメント
表現音素認識をベースにした単語認識方式がある。この
単語認識方式の問題点の一つとして、フレーム表現から
セグメント表現へ変換する際の精度の問題がある。認識
結果から傾向を得て、その知識を利用した例外的な処理
を講じる場合もあるが、基本的には（１）連続した音素
中に含まれる少数しか連続していない誤認識された音素
を取り除く、（２）連続した音素をかため、一つの音素
で表現する、という処理によって変換が行われる。しか
し、この場合、子音のいくつかは継続時間長が極端に短
いものがあり、それと誤認識されたものとを見極めるこ
とは連続するフレーム数だけからでは難しく、言語的な
情報などが必要となる。また、音素認識からの出力が第
１位の候補のみに限られてしまうため、認識が曖昧にな
り易い音素間の境界での誤認識の影響が大きくなってし
まうという問題がある。

【０００５】この発明の目的は、ＮＮおよびＤＴＷのよ
うな特殊な技術を使用して単語の発声をさらに正確に認
識することのできるように改良された、不特定話者音声
認識装置およびその方法を提供するにある。

【０００６】

【課題を解決するための手段】この発明は、上記の目的
を達成するために、（ａ）不特定話者による発声を電気
信号に入力するための音声入力部と、（ｂ）上記音声入
力部から上記電気信号を受信し、上記電気信号を時系列
の多次元離散特徴ベクトルに変換するための特徴抽出部
と、（ｃ）上記時系列の多次元離散特徴ベクトルを受け
取り、上記各ベクトルを第１位から第ｎ位（ｎは任意の
数を示す）に至る複数の音素の候補に変換する音素認識
部と、（ｄ）上記音素認識部から時系列の音素候補を受
け取り、予め辞書に収められた認識させたい全ての単語
に対する各標準音素列と比較し、上記音素認識部より得
られた音素候補列に最も類似している単語を選ぶ単語認
識部と、（ｅ）上記単語認識部により、上記辞書に記憶
された各単語の標準音素列と音素認識部で得られた音素
候補列との類似度を求めることによって実行された単語
認識の結果として少なくとも１個の単語候補を出力する
ための認識単語出力部とを具備するものである。

【０００７】上記の目的を達成するために、さらに、こ
の発明は、（ａ）不特定話者による発声を電気信号に入
力し、（ｂ）上記電気信号を受信し、上記電気信号を時
系列の多次元離散特徴ベクトルに変換し、（ｃ）上記時
系列の多次元離散特徴ベクトルを受信し、上記各ベクト
ルを第１位から第ｎ位（ｎは任意の数を示す）に至る複
数の音素候補に変換し、（ｄ）上記時系列の音素候補を
受け取り、予め辞書に収められた認識させたい全ての単
語に対する各標準音素列と比較し、上記音素候補列に最
も類似している単語を単語認識部によって選び、（ｅ）
上記辞書に記憶された各単語の標準音素列と音素候補列
との類似度を求めることによって実行された単語認識の
結果として少なくとも１個の単語候補を出力するように
したものである。

【０００８】

【実施例】以下この発明に対する理解を容易にするため
に図面に基づいて説明する。

【０００９】第１実施例、図１はこの発明にかかる音声認識装置の第１実施態様を
示すものである。図１に示すように、マイクロフォン１
は不特定話者の発声を拾って電気信号に変換するために
用いられる。アンプ２は、変換された電気信号を正常な
可聴レベルに増幅するために用いられる。この発明にか
かる第１実施態様において、マイクロフォン１とアンプ
２は電話機から構成される。

【００１０】Ａ／Ｄ変換器３は、アナログ増幅信号をサ
ンプリングして、対応するデジタル信号に変換するため
に用いられる。窓関数機能発生器４は、デジタルフィル
タの一種であるハニング（Hanning）フィルタのような
窓関数を使用して時系列内の各フレーム信号（フレーム
幅は例えば１６ｍｓ、フレームシフト幅は例えば１２ｍ
ｓである）に、Ａ／Ｄ変換器３からのデジタル信号を分
割し、セグメント化するために用いられる。

【００１１】ハニング窓は、Paul A. LynnおよびWolfga
ng Fuerst、による英文発行の「コンピュータを使用し
たデジタル信号処理の基本（Introductory Digital Sig
nalProcessing with Computer Aplications）という題
名、再版は１９９２年１月、１４９頁から１５３頁に実
施状況が示されている。

【００１２】次に、窓関数機能発生器４からのデジタル
信号に示されたフレームは、フーリエ変換（ＦＴ）アナ
ザイラ５に転送される。

【００１３】ＦＴアナライザ５の機能と構造は、Paul
A. LynnおよびWolfgang Fuerst、による英文発行で題名
「コンピュータを使用したデジタル信号処理の基本（In
troductory Digital Signal Processing with Computer
Aplications）、再版は１９９２年１月、第８章ＦＦＴ
に記載されている。

【００１４】すなわち、ＦＴアナライザ５においては、
信号で示されたフレームは、その周波数についてパワー
スペクトル６を現し、かつ不特定話者の発声を構成する
一連の音素の特性を現すことができる各セグメントに変
換される。ここで「フレーム」とは、例えば、８から２
０ミリセカンド（ｍｓ）という著しく短い時間間隔に亘
る各チャンネルを計算し分析する、例えば、ＦＴアナラ
イザ５から引き出された一連の特性ベクトル中の一つを
意味するものである。

【００１５】音素認識部７は、発生データ、例えば、パ
ワースペクトル抽出部（以下パワースペクトルと称す）
６から得られる離散型パワースペクトル信号列なるデー
タを順次受け取り、それを「zzzeeeerroooo」のような
音素候補列として認識する。ここで注目すべきことは、す
でに提案した音声認識技術において、音素認識部７で認
識された各音素候補列を使用して、音素認識部７に認識
された各音素候補列と、認識するべき各単語の各音素候
補列を前以て記憶する辞書（データベース）８内に記憶
され、かつ各単語を構成する各音素候補列との間の比較
が、単語認識部９において行われる、その後、比較結果
が最も高い類似度を示すとき、その各音素候補列に対応
する単語は、コード化されたフォーム中で最も高い類似
度を示す。

【００１６】詳しくは、音素認識部７は、入力データ
が、非常に短い期間の時間内において、マイクロフォン
１からパワースペクトル６に引き出された入力音声デー
タの特性によって、どの音素に対応するかを、認識す
る。そして、この入力音声データは、窓関数機能発生器
４により決まるそれぞれ短い時間間隔においてマイクロ
フォン１の入力音声信号から切り出される。その結果、
音素認識部７は、その音素が、それぞれの短い時間間隔
の入力音声データ（zzzeeerrooooのようなフレーム表
示）に対応するかを認識することができる。

【００１７】次に、図示しない圧縮部は、音素認識部７
の処理の後に設けられ、最終的に「zzzeeeerroooo」→z
eroのような単語のセグメント表示ができるように１回
の各音素候補列を正規の１個の各音素候補列に圧縮する
ものである。ここで注目すべきこととして、バックプロ
パゲーション方式として第２実施例において述べる神経
回路網または対判定時間遅延ＮＮ（ＰＤ−ＴＤＮＮ）の
ような技術が音素認識部７に応用可能である。

【００１８】ここで、先に提案した上記音声認識装置に
戻って、単語認識部９の次の段階は音素認識部７から引
き出された各音素候補列を受け取り、それを辞書８に記
憶された各単語に対する各音素列と比較し、コード化し
た形の単語認識部９の回答として引き出された、各音素
候補列に最も類似な音素列を有する単語を出力する。

【００１９】このとき、音素認識部７における認識率が
一般的に、１００％には満たない。これを考慮しても、
たとえ音素認識部７からは一般に誤りを含んだ音素列が
出力されるが、それでもマッチング技術を採用する。次
に、このマッチング技術を説明する。

【００２０】先に提案した音声認識装置の単語認識部９
において実行した基本アルゴリズムとして、例えば、単
語認識部９が図２に示す２個のアルファベット列Ａおよ
びＢを比較するとき、各アルファベット列ＡおよびＢの
うち等しいアルファベットはともに枝によって連結され
る。いま、次の要求を満足する最大数の岐があるとする
と、（１）２個の枝は互いに関係がない。（２）１個の
枝のみが１個のアルファベットから引くことができ、そ
れをＮとし、各アルファベット列ＡおよびＢの長さをＬ
ＡおよびＬＢとする、各アルファベット列ＡおよびＢと
の間の類似度は、Ｎ／ＬＡ＋Ｎ／ＬＢにて与えられる。

【００２１】上述の基本アルゴリズムに基づく実際のア
ルゴリズムにおいて、２個のアルファベット列A[i]:i=
1，ＩおよびB[j]:j=1，Ｊを図３に示すように、Ｊは２
次元座標行列S[i][j]の両座標軸に配列される。その
後、S[i][j]を次式に基づいて全て求めれば、S[I][J]の
値が求める枝の数Ｎとなる。

【００２２】ｉｆＡ［ｉ］＝Ｂ［ｊ］Ｓ［ｉ］［ｊ］＝Ｓ
［ｉ−１］［ｊ−１］＋１ｅｌｓｅＳ［ｉ］［ｊ］＝ｍａ
ｘ（Ｓ［ｉ−１］［ｊ］，Ｓ［ｉ］［ｊ−１］）ここで、ｍａｘ（ａ，ｂ）は、ａとｂの大きい方の値を
表す。

【００２３】この技術により、音素の省略、音素の誤っ
た挿入、および／または誤変換が含まれるそれぞれ２個
の音素列間の比較をすることができる。さらに、上述の
技術による比較結果により、単語認識部９は入力音声デ
ータについて、辞書８から得られる音素列と、音素認識
部７から得られる音素候補列とを比較し最も高い類似度
のある単語を認識結果として出力する。

【００２４】しかし、すでに述べた技術には問題があ
る、すなわち、図示しない圧縮部はフレーム表現された
音素候補列をセグメント表現された音素候補列に変換す
るためのものであるが、それによって認識率は低下す
る。基本的には、すなわち、図示しない圧縮部は（１）
音素候補列から少数しか連続していない音素を、誤って
認識された音素として除外し、（２）連続する音素候補
列をセグメント化し（圧縮し）セグメント表現の音素列
を得る。しかし、この場合、子音のあるものは、極めて
短い長さの連続する持続時間を有する。フレームの連続
する数だけにより、誤って認識された音素から子音を見
分けることは困難であり、従って、言語情報（例えば、
文章）などを記憶し検索することの必要性は避けられな
いことである。

【００２５】さらに、音素（音素の）認識部７の出力は
第１位の候補のみに限定されるので、認識を誤ると、音
素の認識が曖昧になり易い傾向にある各音素間の境界で
大きな影響が生じる。

【００２６】図１に示した音声認識装置の第１実施態様
に戻るが、圧縮部は図に示さないが、音素認識部７は、
複数の認識された各音素候補列、すなわち、第１位zzze
eeerroooo、第２位─ssalaoadaauu、第３位…等のよう
なパワースペクトル６で現された時系列離散型フレーム
からの音素認識の結果として音素候補列の第１位から第
ｎ位に亘る複数の音素候補を出力する。

【００２７】単語認識部９は、音素認識部７から、第１
位から第ｎ位（ｎは任意の数）の音素の各候補を同時に
受け取り、上記と同じ技術を使用して辞書８からの各単
語を構成する複数の標準音素列を検索し比較する。

【００２８】詳細には、単語認識部９は、音素認識部７
から入力した第１位の候補音素を、第１記憶領域に記憶
され、No.1として登録された標準音素列の音素中の各音
素と比較し、図２および図３に示したマッチング技術に
より岐の数を計算し、カウントされた岐の数はその中に
記憶される。

【００２９】例えば、もし比較された各標準音素列の第
１音素が、音素認識部７から引き出された第１位の各標
準音素列の第１音素列と一致するならば、岐の数は図２
から明かのように”１”とカウントされる。

【００３０】ここで、もし比較された各標準音素列の第
３音素が比較された各標準音素列の第３音素と一致しな
いが、比較された各標準音素列の第４音素と一致する
と、音素の現在の順位が音素認識部７から引き出された
各標準音素列中の対応する順位の音素と比較されるとき
の岐Ａの数は、図３から明かのように、Ａ＝Ｂ＋１とし
てカウントされる。ここでＢは、各標準音素列の隣接す
る先行の音素が音素認識部７から入力された各標準音素
列の対応する隣接の先行音素と一致するに至るまで、岐
の数を示している。このようにして、各標準音素列の順
位は各標準音素列の対応する順位と比較されて１個の岐
の作成を決定する。

【００３１】一方、音素認識部７から引き出された各標
準音素列の順位のいづれかが、図３に示すように各音素
の対応する順位とも、かつまた、各標準音素列の各隣接
順位とのいづれとも一致しないならば、各岐Ｃの数はＣ
＝max（Ｄ，Ｃ）として引き出される。ここで、Ｄおよ
びＥは、頂点Ｃに最も近接する各矩形の頂点を示し、こ
の頂点Ｃにより矩形は対応する順位の各音素の両頂点を
もって形成されている。

【００３２】岐の数に関する技術に戻るが、岐の数は通
常は上述のようにして算出される。

【００３３】 if A[i] = B[j]、 S[i][j] = S[i-1][j-1] + 1 else S[i][j] = MAX(S[i-1][j],S[i][j-1]) ここで、MAX(D,E)は、ＤおよびＥの値から選択されたさ
らに大きな値ＤまたはＥを現し、A[i]:=1からＩは、各
標準音素列を現し、B[j]:=1からＪは、各候補の中から
いづれかの順位、すなわち、音素認識部７から入力され
た各標準音素列の内の１個を示す。

【００３４】このようにして、枝S[I][J]の全カウント
数が単語認識部９のレジスタに一時記憶される。その
後、上述の各音素列についての類似度はすでに述べたよ
うにして計算される。すなわち、N/LA + N/LBであり、
ここでＮはS[I][J]を示し。LAは音素列A[i]:=1からＩの
長さを示し、LBはB[j]:=1からＪの長さを示している。
この類似度はいつでも得られるものであり、類似度の値
は単語認識部９のレジスタに一時的に記憶される。

【００３５】これにより、単語認識部９は、音素列の第
１候補が辞書８の第１記憶領域に記憶された標準音素列
を比較され、かつ各音素列の音素候補のうち第ｎ順位が
辞書８の第ｎ番目の記憶領域に記憶された標準音素列を
比較されるに至るまで、各類似度の比較と微分を繰り返
す。

【００３６】単語認識部９は、音素認識部７から引き出
された各音素列のうちのいづれか１個に対して最も高い
類似度を有する各標準音素列を備えた辞書８の記憶領域
番号のいづれかに格納された各単語のうち少なくとも１
個の候補を、単語認識の結果として出力ブロック１０を
経て認識単語出力部１１に出力する。なお、音素認識部
７、辞書８および単語認識部９は、先に提案し技術とは
異なるものであることに注目されたい。

【００３７】言い換えると、（１）辞書８に記憶された
各標準音素列は、フレーム形状、すなわち、A[i]:i=1か
らＩ（図３に示すaaaabbbc)により示されるような各標
準音素列で現される。各音素の連続長さは実際に、特定
話者から発せられた対応する単語の音声データを平均す
ることにより得られ、各単語に対して作成され記憶され
た各音素列は、前以て引き出されたそれぞれの音素に対
する平均の連続長さを基本とし、および／または、各音
素の一般的平均長さを現す表を基本として決定される。

【００３８】（２）記述の技術において、単語認識部９
は第１位の候補として音素認識部７から引き出された単
一音素列のみ、すなわち、辞書８に記憶された各標準音
素列を有する単一の候補のみを比較するが、単語認識部
９はマッチングの達成の判断、詳しくは、音素認識部７
から引き出された第１位から第ｎ位に亘る各音素列の１
個が辞書８に記憶されたものと同じであるならば、最高
の類似度が得られるという判断をすることができる。各
音素列がどの順位に至るまで音素認識部７における候補
として使用され得るかは、音素認識における認識および
最終単語の認識がそれぞれ考慮に取り入れられる割合に
よって実験的に判断される。

【００３９】この発明にかかる第１実施態様における音
声認識装置に使用される技術では、音素認識部７の出力
として、複数の音素列を第ｎ位の候補まで使用可能であ
る。従って、単語認識部９は、言語情報（好ましい実施
態様において、単一の単語内の音素連結情報）を考慮に
入れた音素認識部７の出力を検索する。その結果、不特
定話者による発声単語のさらに正確な認識ができる。さ
らに、音素認識部７が音素列で現したフレームを音素列
で現したセグメントに変換する必要がなくなるので、圧
縮部において音素列で現わされたセグメントへの変換が
実行されるときに、言語情報の欠陥は発生しなくなる。

【００４０】第２実施例、次に先に示したＤＰまたはＤＴＷマッチング方法を、こ
の発明の第２実施態様の音声認識装置の説明の前に図４
に基づいて説明する。ＤＴＷ法は音声認識法の音素認識
に応用できる時間合わせ法の１種であり、かつ、不特定
話者の個々の個性による発声の長さの違いを処理するシ
ステムである。

【００４１】ＤＴＷ技術による音声認識おいては、ＦＴ
アナライザ５により抽出された一連の特徴ベクトルと、
各時間において認識される各単語の対応する特徴ベクト
ル（いわゆるテンプレート）との間の距離が図４の２次
元行列から得られ、出発から終点に至る経路が最低の蓄
積距離となるように制限された経路から選択され、最低
蓄積距離を与える単語が単語認識として出力される。

【００４２】図４に示す実線は A(A=min(B,C,D)+dA に
より得られる経路を現し、ここで、dAは経路自体の点A
の距離を示している。時間伸縮関数（warping functio
n）を現しており、図４に示した既述のＤＴＷ技術は、
１９９３年４月２６日付け、日本電子情報通信会発行
１１７頁から１１９頁、タイトル「パターン認識」に記
載されている。

【００４３】すなわち、標準パターンの時系列（図４の
縦軸）と時系列（図４の横軸）入力パターンとの間の比
較を実行すると、各フレームの交差点（格子点）を通
り、かつ全体として交差点に最も近い点を接続するルー
トが検索される。そのルートを探すためには、全フレー
ム間の蓄積距離値が最小となる必要がある。そこで、全
距離の最小蓄積値を与える単語が選択されて人により発
声された入力語を判定する。

【００４４】ここで、重要なことは、標準パターンの長
さ（すなわち、フレーム数）が各単語により異なるの
で、フレーム間の距離は既述のような長さに依存しなけ
ればならない。

【００４５】そこで、フレーム間距離d(i,j),(=d(x_i,
a_j))はユークリッド距離などを利用して得られる特定単
語の標準パターンは a(={a₁,a₂……a_i………a_j})により
示され入力パターンはX(={x₁,x₂………x_i………x_j})に
より示される。

【００４６】

【数１】

【００４７】パターン全体の一致は次のようにして計算
される。

【００４８】

【数２】

【００４９】上記式において、ＦはＦ={c(1),c(2),……
c(k)}で現したルートの点行列を示し、ここで、c(k)=
(i,j)である。このとき、もし、上記式Σω(k)の分母が
Ｆに依存することなく、Ｎ＝Σω(k)とする。

【００５０】

【数３】

【００５１】従って、上記式の一部が加法的となり、Ｄ
ＴＷ技術が適用される。なお、式において、ｍｉｎは、
格子点（１、１）から最終格子点（Ｉ，Ｊ）に至る各種
のルートの一致について最小値を得る操作を示し、Σω
(k)はルートの種類による重量の設定を示す。

【００５２】これらのルートとは独立に条件Ｎを作る方
法として、次の制限が設定される。

【００５３】（ａ）傾斜制限の例、対称の形式： Σω(k)=(i(k)-i(k-1)+(j(k)-j(k-1)), N=I+J （ｂ）傾斜制限の他の例、非対称の形式： Σω(k)=│i(k)-i(k-1)│, 0≦│i(k)-i(k-1)│≦2, N=
I. 上述のような制限は傾斜制限と呼ばれる。図４は非対称
形の傾斜制限の例を示す。傾斜制限は対称形の中で行わ
れ、入力パターンと標準パターンとは共に交換される
が、距離中の対象が満足され得なくても、実質的に問題
が起きる事なく、D(X,A)≠D(A,X)のような場合が発生し
てくる。対称形の傾斜制限に関する詳細な計算方法は次のとおり
である。 g(c(k)=min{g(c(k-1)+d(c(k))・Σω(k)} すなわち、対称形の場合は次式のようになる。

【００５４】

【数４】

【００５５】上記方程式は漸化式を現し、初期値g(1,1)
=2d(1,1)の条件のもとで計算される。

【００５６】さらに、下記の整合窓は極度の一致を避け
るために設定が必要である。すなわち、│i(k)-l(k)│
≦ｒ。時間合わせ距離は、最小距離を与える単語が選択
され、認識の結果から得られるように、D(X<A)=g(I,J)/
(I+J)として引き出すことができる。しかし、ＤＴＷに
ついての上述の方法には下記のような欠点がある：（１）毎回それぞれの多次元特徴ベクトルの距離を計算
するためには多くの時間を要する。

【００５７】（２）実際の音声データは、テンプレート
を作成するとき、および、いくらかの語彙を修正すると
きに必要となる。このことは音声データの再収集にも必
要である。

【００５８】（３）もし前述のＤＴＷ技術が、先に提案
した音声認識装置、すなわち、不特定話者音声認識装置
に適用されると、時間的変化を補足し特徴ベクトルを変
化を吸収するために、単語毎に複数のテンプレートを備
えることが必要となり、大きなテンプレートが必要とな
る。

【００５９】第２実施態様の構成は図１に示した第１実
施態様の構成と同じである。すなわち、図１において、
パワースペクトル６は、各時点に対する特徴ベクトル
（各音素についてのパワースペクトル列）を音声認識部
７へ転送する。

【００６０】音素認識部７は神経回路網により構成さ
れ、１回毎に１フレームづつずらしながら、５個のフレ
ーム特徴ベクトルの集合パッケージを入力する。それか
ら、音素認識部７は、各フレームの中心がどの種類に対
応するかを出力する。その出力については、第１位およ
び第２位の音素認識結果が、図５に示したように単語認
識部９に出力する。

【００６１】単語認識部９は、テンプレートと音素認識
の結果の間でＤＴＷ技術による計算を実行する。各単語
に対するテンプレートは、特徴ベクトルいは現されてい
ないが、単語を構成する音素が、各音素列の形状と同様
に表示される状態で現されている。各音素の長さは、
（ａ）実際の単語データを平均するか、または、（ｂ）
第１実施例において述べたように各音素の一般的平均長
さを現す表を基にして判断される。各単語の最終表現
は、例えば、単語「ゼロ（０）」に対しては、単一テン
プレートの表現は「zzzeeeeerroooo」となる。

【００６２】正常な（または、先に提案した）ＤＴＷ技
術においては、テンプレートと入力音素との間の比較
は、最小に成されたそれぞれの特徴ベクトルの距離の蓄
積が進められ、かつ音素認識の結果が最終的蓄積距離を
最短とする下降順位の状態となるように実行される。

【００６３】第２実施態様においては、入力パターンと
標準パターンとの間の各時点における距離は次の条件で
判定される。

【００６４】（１）もし第１位の音素認識候補が対応す
るテンプレートの音素と一致するならば、距離は「０」
と見做される。

【００６５】（２）第１位の音素認識候補は一致しない
が、第２位の候補が対応する音素テンプレートと一致す
るならば、その距離は「１」と見做される。

【００６６】（３）上記以外では、距離は「２」と見做
される。

【００６７】その他の計算は、先のＤＴＷ技術と同様に
実行される。従って、蓄積された距離はテンプレート内
の全ての単語から引き出され、その後、単語認識部９は
蓄積距離が単語認識の結果として最小となる単語を出力
する。

【００６８】次の表１はＤＴＷマッチング技術を示して
おり、上記（１）、（２）および（３）の各項の条件を
満足する第２実施例において実行されたものであり、実
線の系統で示された経路で作成されたものである。表１
において、横軸は一時系列の標準音素列を示し、縦軸は
音素認識部７から得られた複数の音素候補を示す。

【００６９】

【表１】

【００７０】本発明者は、不特定話者単語音声認識装置
を開発した。音素認識部７は１種の神経回路網により構
成され、単語認識部９はＤＴＷによる時間合わせ整合技
術を利用した。従って、著しく高い類似性のある単語か
ら成る６３の単語語彙に対する認識の割合は、１５人の
特定話者の場合には９７．９５％を示し、１５人の特定
話者を除く不特定話者５人の場合には９７．９７％を示
した。

【００７１】単語認識が行われる語彙としては、６３の
単語が設定され、それらの単語はパワープラントの監視
の目的に使用されるものである。さらに、単語発声入力
として電話回路網が、その一般的利用について充分考慮
された上に使用される。

【００７２】上述のように、６３の数の単語が音声認識
のパワープラントの監視への応用を考慮し設定された。
これらの単語は、グループ１（グループ１は２８語）、
すなわち、音声認識装置の技術の間の実験的単語と、グ
ループ２（グループ２は３５語）、すなわち、実際の語
彙から選択された実際的な単語とに分割される。次の表
２と表３は語彙６３語のリストである。

【００７３】

【表２】

【００７４】

【表３】

【００７５】表２と表３において、左の欄の１から６３
までは、各単語それぞれの番号、言い換えると、辞書８
内の記憶領域の番号を示す。中間の欄は単語を示し、右
の欄は中間の欄に書かれた単語に対する各音素を示す。
表２、表３において、単語番号１から単語番号２８に至
る語はグループ１に属し、番号２９から番号６３に至る
語はグループ２に属する。

【００７６】デジタル音声データは２７メルスペクトル
に変換された。音素認識部７は変換されたパワースペク
トルを１フレームづつずらしながら５フレーム入力し、
それに対応する２１種類の音素に属する１個及び２個の
音素を第１候補及び第２候補として出力する。

【００７７】単語認識部９は、音素認識部７からの第１
候補及び第２候補をＤＴＷ技術により辞書８からの先の
用意された単語と比較し、一番目の最大類似度の単語、
二番目の最大類似度の単語、三番目の最大類似度の単語
認識の結果として出力ブロック１０に出力した。

【００７８】詳しくは、マイクロフォン１およびアンプ
２により信号を電気的に変換した人の音声は、２７メル
スペクトルに変換される。すなわち、マイクロフォン１
およびアンプ２により検索された人の音声は、Ａ／Ｄ変
換器３により８ｋＨｚのサンプリングレートによりサン
プリングされ、１６ビットのデジタル信号となる。サン
プリングされたデータは、窓シフトの幅１２ｍｓのハニ
ング窓関数機能発生器４とＦＴアナライザ５を介してパ
ワースペクトル６に入力された後、２７メルスペクトル
に変換され、音素認識部７に入力される。

【００７９】音素認識部７は図５に示すバックプロパゲ
ーション型神経回路網により構成され、そのユニットの
出力機能は通常のシグモイド機能ではなくて y=tanh(2/
3*ｘ)で現したように双曲線正接（tanh）を使用した。

【００８０】図５に示したように、神経回路網の入力層
は２７メルスペクトルを「−１」から「１」に至る値に
正規化し、その後、連続５フレームを同時に入力する。
一方、出力層は、２１音素の中から５入力フレームの中
央フレームがどの音素であるかを対応する音素に割り当
てられたユニットの「−１」から「１」に至る値によっ
て出力する。候補の判定は、音素認識の結果として、全
出力層の最大値ものから順に第１および第２候補として
音素コードの形で出力される。図５に示すユニットの数
は、入力層に対する２７＊５＝１３５であり、出力層に
対して２１であり、中間層に対して１２０である。

【００８１】次に示す表４は、上述の学習データ（８
９，３４５ベクトル）が与えられ、１００回の学習が行
われた場合の学習の結果を示す。この学習の時間は約１
時間１０分であった。認識率は、各音素に対し認識率を
計算し、上述のようにして計算した各認識率を平均化す
ることにより得られた。その試験データは、学習のため
に採用された特定話者１５人を除く特定話者５人による
６３個の単語を２回発声して得た全てのデータから得た
ものである。

【００８２】

【表４】

【００８３】次に、単語認識部９は、前述の（１）から
（３）の条件のもとで上記ＤＴＷ技術を使用し、上記音
素認識部７から引き出された音素列と標準音素列との間
の蓄積距離値を計算した。単語認識部９は、詳しくは。
上記音素認識部７から引き出された入力パターン時系列
の時間ｉまで、および時間ｉにおける１個の入力ベクト
ルと時間ｊにおける１個の標準ベクトルとの間のベクト
ル間距離ｄ（ｉ，ｊ）を反復的に使用する標準パターン
時系列の時間ｊまでの蓄積距離ｇ（ｉ，ｊ）を計算し
た。なお、蓄積距離の計算は図４に示したものと同様で
ある。この場合、g(i,j)=min{g(i-1,j),g(i-1,j-2),g(i
-1,j-2)} + d(i,j) となる。

【００８４】単語認識部９において、距離の判定条件
（１）から（３）で、ＤＴＷ技術が採用された。辞書８
に記憶された標準パターンは、２０人の特定話者による
６３個の単語の２回の発声に基づく音素ラベルのデータ
から引き出された各単語の音素に対し時間の連続長さを
平均することにより実験的に判定した。

【００８５】次の表５、６は単語認識部９により実際に
実行された単語認識の結果である。

【００８６】

【表５】

【００８７】

【表６】

【００８８】表５および表６の語彙２８において、認識
されるべき候補は表２のグループ１のみから選択され、
表５および表６の語彙３５においては、認識されるべき
候補は表２のグループ２のみから選択された。さらに、
表５および表６で発声した学習特定話者は１５人で音素
認識部７の神経回路網について訓練をするのに採用さ
れ、テスト特定話者は上記の神経回路網を訓練するのに
採用された１５人の特定話者を除く５人の不特定話者で
あった。学習発声データは、神経回路網の訓練に使用さ
れた２回の発声データを示していた。同じ得点は、認識
率を計算するにあたって正しい答えであると判断され
た。

【００８９】

【発明の効果】図１に示した認識単語出力部１１は、例
えば、図１に示した音声認識装置により認識された単語
に基づいて動作変数を制御するパワープラントの制御装
置により構成されている。しかしながら、この発明にか
かる音声認識装置は、音声認識装置から引き出された音
声データに基づいて動作する各制御装置に適用すること
ができる。米国特許第４、６３７、０４５号は音声認識
装置を自動車に応用実施するものである。

【００９０】既に述べたように、この発明にかかる音声
認識装置においては、音素列の入力パターンを音素認識
部からの複数の候補に備えることができ、かつ、音素列
で表現した標準パターンと直接比較することができ、全
ての音声データに対する単語認識率は増加し、計算スピ
ードはより速くすることが可能である。

【００９１】上述の説明は好ましい実施態様に対して成
されたものであるが、特許請求の範囲に定められるべ
き、この発明の範囲を逸脱することなく各種の変更およ
び修正が可能であることは当業者により充分理解される
ものである。

【図面の簡単な説明】

【図１】この発明にかかる第１実施態様における音声認
識装置のブロック図。

【図２】先に提案した単語認識部または図１に示した単
語認識部のいづれかにおいて実行される音素認識を説明
するための実例を示す図。

【図３】図１に示した単語認識部において実行される整
合法を説明する各音素列間の比較の実例を示す図。

【図４】不特定話者音声認識装置における単語認識を説
明するためのＤＴＷ計算の実例を示す図。

【図５】５フレームの多次元特徴ベクトルに対する音素
候補を説明するための音声認識装置の第２実施態様に使
用されたバックプロパゲーション型神経回路網の実例を
示す図。

【符号の説明】

１…マイクロフォン２…アンプ３…Ａ／Ｄ変換器４…窓関数機能発生器５…ＦＴアナライザ６…パワースペクトル抽出部７…音素認識部８…辞書９…単語認識部１０…出力ブロック１１…認識単語出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者松浦嘉宏東京都品川区大崎２丁目１番17号株式会社明電舎内 (72)発明者トビースキナーアメリカ合衆国，オレゴン，ビーヴァ−トン，エス．ダブリュー．キャリジウエイ 9560

Claims

【特許請求の範囲】

【請求項１】（ａ）不特定話者による発声を電気信号
に入力するための音声入力部と、（ｂ）上記音声入力部から上記電気信号を受信し、上記
電気信号を時系列の多次元離散特徴ベクトルに変換する
ための特徴抽出部と、（ｃ）上記時系列の多次元離散特徴ベクトルを受け取
り、上記各ベクトルを第１位から第ｎ位（ｎは任意の数
を示す）に至る複数の音素の候補に変換する音素認識部
と、（ｄ）上記音素認識部から時系列の音素候補列を受け取
り、予め辞書に収められた認識させたい全ての単語に対
する各標準音素列と比較し、上記音素認識部より得られ
た音素候補列に最も類似している単語を選ぶ単語認識部
と、（ｅ）上記単語認識部により、上記辞書に記憶された各
単語の標準音素列と音素認識部で得られた音素候補列と
の類似度を求めることによって実行された単語認識の結
果として少なくとも１個の単語候補を出力するための認
識単語出力部とを具備する不特定話者音声認識装置。
【請求項２】上記音素認識部から得られた時系列の音
素候補列と、辞書の単語の標準音素列とが全体的に類似
しているかを、音素候補列と標準音素列の２次元行列上
における音素候補列中の一つの組の音素候補と標準音素
列中の音素との距離に依存して決定する単語認識部から
認識結果として、複数の認識単語候補を受け取り、その
単語候補の中で最も類似度の高い単語を少なくとも一つ
出力する認識単語出力部を持つ請求項１記載の不特定話
者音声認識装置。
【請求項３】上記単語認識部において、音素認識部よ
り得られた音素候補のうち、ひとつでも各単語に対する
標準の音素列中の音素と同じであった場合に枝を引いた
ときに、その枝が（１）２本の枝は互いに交差しない、
（２）一時点からは１本の枝しかでない、という条件で
最も多くの枝が引けるようにした場合の枝の数を求め、
手法としては、音素認識部からの音素候補列をA[i]:i=
1,I，辞書の標準音素列をB[j]:1,Jとした場合、 if A[i]=B[j] （複数の音素候補Ａ[i]中で一つでも音素B[j]と等しい
場合に等号が成立） S[i][j]=S[i-1][j-1]+1 else S[i][j]=MAX(S[i-1][j]、S[i][j-1])として全S[i]
[j]を求めた場合、求める枝の数Nは、S[I][J]となり、
最終的に両者の類似度が、音素候補列の長さをＬＡ，標
準音素列の長さをＬＢとして場合に、Ｎ／ＬＡ＋Ｎ／Ｌ
Ｂとして求められる請求項１記載の不特定話者音声認識
装置。
【請求項４】上記単語認識部は、音素候補列中の時間
ｉでの音素候補と標準音素列中の時間ｊでの音素とまで
の蓄積距離g(i,j)が、音素候補列中の時間ｉでの音素候
補と標準音素列中の時間ｊでの音素との距離d(i,j)によ
って再帰的に、すなわち、g(i,j)=min{g(i-1,j),g(i-1,
j-1),g(i-1,j-2)}+d(i,j)，として求められるＤＴＷ技
術を応用した手法であり、ここで、音素候補列の音素候
補と標準音素列の音素との距離d(i,j)は、（１）もし、音素候補のうち第１位の候補が音素と等し
い場合、d(i,j)=0 （２）もし、音素候補の第１位が音素と一致せず、第２
位が一致した場合、d(i,j)=1 （３）音素候補の第１位も第２位も一致しない場合、d
(i,j)=2 として求められ、これによって、各単語の標準音素列と
音素候補列との蓄積距離が求められ、それらのうちで最
も蓄積距離が小さいものを単語認識の結果として出力す
る請求項１記載の不特定話者音声認識装置。
【請求項５】上記音素認識部は、バックプロパゲーシ
ョン型神経回路網により構成される請求項１記載の不特
定話者音声認識装置。
【請求項６】上記神経回路網は、上記特徴抽出部から
得られる上記時系列の特徴ベクトルを、１時刻１フレー
ムずつずらしながら５フレームを入力層に受け取り、出
力層より、上記入力５フレームの中心フレームに対応す
る少なくとも１個の音素候補を出力する請求項５記載の
不特定話者音声認識装置。
【請求項７】上記神経回路網は、入力層に１３５ユニ
ット、出力層に２１ユニット、隠れ層（中間層）に１２
０ユニットを有する請求項６記載の不特定話者音声認識
装置。
【請求項８】上記単語出力部は、上記単語のコード化
したデータの形状で単語認識の結果を出力する請求項７
記載の不特定話者音声認識装置。
【請求項９】上記単語出力部からのコード化したデー
タの形状で単語認識の結果がパワープラントを制御する
ために使用される請求項８記載の不特定話者音声認識装
置。
【請求項１０】（ａ）不特定話者による発声を電気信
号に入力し、（ｂ）上記電気信号を受信し、上記電気信号を時系列の
多次元離散特徴ベクトルに変換し、（ｃ）上記時系列の多次元離散特徴ベクトルを受信し、
上記各ベクトルを第１位から第ｎ位（ｎは任意の数を示
す）に至る複数の音素候補に変換し、（ｄ）上記時系列の音素候補を受け取り、予め辞書に収
められた認識させたい全ての単語に対する各標準音素列
と比較し、上記音素候補列に最も類似している単語を単
語認識部よって選び、（ｅ）上記辞書に記憶された各単語の標準音素列と音素
候補列との類似度を求めることによって実行された単語
認識の結果として少なくとも１個の単語候補を出力する
ようにした不特定話者音声認識方法。