JP2882792B2

JP2882792B2 - 標準パターン作成方式

Info

Publication number: JP2882792B2
Application number: JP62238510A
Authority: JP
Inventors: 潤一郎藤本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1986-10-03
Filing date: 1987-09-22
Publication date: 1999-04-12
Anticipated expiration: 2014-04-12
Also published as: JPS63226691A

Description

【発明の詳細な説明】技術分野本発明は、標準パターン作成方式、より詳細には、パ
ターン認識における標準パターンの作成方式に関する。従来技術パターン認識方式の中で最も一般的なものはパターン
マッチングを利用する方式である。この方式は、あらか
じめ標準パターンを登録しておき、新たに入力された未
知のパターンが登録されたパターンのうちのどのパター
ンに最も類似しているかを求めて認識するものである。
この場合、あらかじめ登録されている標準パターンの質
が性能を左右することは言うまでもなく、いかに質の高
い標準パターンを形成するかが重要なポイントとなる。
ここで音声認識におけるパターンマッチングを例にとる
と、音声認識には特定話者方式と不特定話者方式があ
り、不特定話者方式は標準パターンをあらかじめメーカ
ー側で作成してすでに搭載しており、誰の声でも認識で
きるもので、この場合は、標準パターン作成のためのデ
ータが正常であるか否かを確認して使用できる。一方、
特定話者方式の場合、使用者があらかじめ使用する言葉
を登録し、認識装置のトレーニングをしてから使用す
る。このため、登録する音声のパターンが正常であるか
どうかの確認ができず標準パターンの質が悪くなる可能
性がある。登録の際に質を劣化するパターンの原因は音
声区間だけが正確に抽出されていない場合が圧倒的に多
く、発声する際の口の開閉音、周囲の突発的雑音が発声
直前、直後に生じた場合、音声のパターンとこれらの雑
音が区別できず一緒に音声としてとり込んでしまう。
又、音声の一部がとり込めず欠落してしまうこともあ
り、これらによって標準パターンの質の低下を招くこと
になる。また、１つの標準パターンを作成するのに同じ
言葉について何回か発声したパターンを平均化する方法
がある。而して、この方法によると、発声の変動の統計
的情報も含めることができるが、１つのパターン作成に
複数回の発声が必要となるため、そのうちの１回の発声
にでも音声区間検出不良があると標準パターンの質が悪
くなってしまう。第11図は、上述のごとき音声区間不良が発生する例を
説明するための図で、同図は、音声の冒頭に雑音が添付
された例を示す図で、（ａ）は雑音のついたパターン、
（ｂ）は正常なパターンで、Ａは雑音,Bは音声である。
正常なパターン（ｂ）と雑音がついたパターン（ａ）の
平均をとる際に通常は音声の始端同士、終端同士を対応
づけて平均化するため、音声パターンＢの冒頭に雑音パ
ターンＡが加算されてしまい、その結果、平均化された
パターンが不良となってしまう欠点がある。特に、特定話者方式の場合、パターンの登録が正常に
行われたかどうかによって認識能力が左右される。そこ
で、音声の中で弱い音が冒頭や末尾につく単語音声等で
はそれが欠落しやすいので、あらかじめ登録の際に、正
常なパターンから欠落しやすい部分を強制的に欠落させ
たパターンを登録しておくものが提案された。これなら
ば、誤って単語の検出をしてしまい、パターンの一部が
欠落したとしてもあらかじめ欠落させておいたパターン
との類似性が高くなり、正しい認識が行なえる。しか
し、例えば、英単語のhisとisのように弱い/h/の音を落
としてしまうと同じ音となり、むしろ誤り易いことがあ
る。また、特定話者方式は装置の使用者があらかじめ音声
を登録するが、この登録の仕方には１回だけ発声するも
の、複数回発声してその平均をとるものなどがある。第12図は、複数回発声してその平均をとるパターンマ
ッチング法の１つである２値TSP（Binary Time Spectru
m Pattern＝BTSP）法の一例を説明するための構成図
で、図中、51はマイク等の集音装置、52はフィルタバン
ク、53は最小２乗による補正部、54は２値化部、55はBT
SPの作成部、56は線形伸縮によるｎ回発声パターンの加
算部、57は辞書部、58はピークパターン作成部、59は線
形伸縮によるパターン長合わせ部、60は類似度算出部、
61は結果表示部で、マイクから入力された音声は、バン
ドパス・フィルター群等を利用して周波数分析され、周
波数とその時間変化をパターン（TSP）として表され
る。更にこれを周波数上のピークを中心として「１」、
他を「０」として２値化して２値のTSP（BTSP）に変換
し、複数回発声して得られたBTSPを重ねて標準パターン
として登録しておく。未知の音声が入力された際、この
音声も標準パターン作成時と同様な過程でBTSPをつく
り、あらかじめ登録してある標準パターンと照合して各
標準パターンとの類似度を求める。類似度は未知音声の
BTSPと標準パターンとを重ねた時の「１」のエレメント
の重なり具合からもとめる。通常、誰の声でも認識でき
る不特定話者音声認識装置のためには、一つの登録すべ
き音声について複数個の標準パターンを作成するなど演
算量を増やす手段を用いるが、この方法では標準パター
ンをうまく作れば、たいした演算量の増加もなく不特定
話者用の音声認識装置の実現が容易であるというメリッ
トを有している。このような方法で、標準パターンを作成する場合、平
均をとる全てのパターンは完全であると考えている。し
かし、実際には必ずしもそうではなく、例えばfiveの語
尾の/v/の音やfullの語頭の/f/のような音はエネルギー
が非常に小さいため、これを正確に検出することが難し
い。従って、正常なパターンが得にくく、ひいては標準
パターンの質を劣化させるという欠点があった。目的本発明は、上述のごとき実情に鑑みてなされたもの
で、特に、パターン認識における標準パターンの質の劣
化を防ぐこと、欠落しやすい音声の一部が欠落しても比
較的正しい認識ができるようなパターンマッチング用テ
ンプレートを登録できるようにすること、更には、高品
質な標準パターンを作成する方法を提供すること等を目
的としてなされたものである。構成本発明は、上記目的を達成するために、複数の音声パ
ターンを平均化することで行う標準パターン作成方法に
おいて、複数の音声パターン中に存在する音声生成上の
不安定成分を持つパターンと持たないパターンについ
て、不安定成分を持たないパターンに不安定成分を持つ
パターンの不安定成分を付加した後、両者の平均化を行
うこと、或いは、複数の音声パターンを平均化すること
で行う標準パターン作成方法において、複数の音声パタ
ーン中に存在する音声生成上の不安定成分を持つパター
ンについて、不安定成分の一部を残し、残部を削除した
パターンを平均化すること、を特徴としたものである。
以下、本発明の実施例に基いて説明する。第１図は、本発明の一実施例を説明するための構成図
で、この実施例は、登録すべき一種の項目に対して複数
のパターンを作成し、それらを平均化又は独立に登録し
て作成する標準パターン作成方式において、前記複数の
パターンの始端又は終端から一定長内にエネルギーの極
小が存在するか否かを調べ、存在しないパターンがある
場合、極小を持つパターンの始端又は終端から極小まで
の部分を、極小を持たないパターンの定められた位置に
添加して標準パターンとすることを特徴としたものであ
る。第１図において、１は音声入力部、２はパワー測定
部、３は特徴量変換部、４は無音位置計測部、５は無音
位置（冒頭）判定部、６はマーク付加部、７はパターン
格納部、８はマーク判定部、９は冒頭パターン添加部、
10は重ね合せ平均処理部で、まず、マイクロフォン等に
より音声を入力して電気信号に変換した後、音声パワー
を測定し、又、特徴量に変換する。特徴量としてはパワ
ースペクトル,LPC係数，ケプストラム等が広く使われて
いるが、ここではこれらに限定するものではない。測定
したパワーから無音区間が存在するか否かを判定し、そ
れが存在する場合は、その位置を計測する。その無音区
間の位置が冒頭から一定位置以内に存在するかどうかを
調べ、それによって特徴変換して作られたパターンにマ
ークを添加する。ここでは一定値の例として冒頭から10
0ms以内に無音があるかどうかによって、例えば、あれ
ば−1,なければ＋１のごときマークを付加してパターン
を格納しておく。次に、発声された同じ音声をこの格納
されたパターンに重ね合わせて平均化する。この際、先
のパターンと同様にマークを付加し、格納されたパター
ンと同じマークであるか否かを調べ、マークが同じ場合
には通常通りの方法であらかじめ格納されたパターンと
入力されたパターンの平均処理をしてパターンを再度格
納する。一方、マークが異なる場合は、一方のパターン
には無音区間があり他方にはそれがないことから口唇の
開閉によるノイズ等がついていると考えられる。そこで
無音区間がない方のパターン（第２図（ｂ））の先頭に
無音区間を有するパターンの先頭から無音区間までを添
加し、パターン（ｃ）のようにしてからあらかじめ格納
されているパターン（ａ）と対応づけて平均をとる。こ
のようにして必要回数だけ重ね合わせた後にこれを標準
パターンとして保持するようにする。このため、従来、
音声信号の部分と、雑音が重ね合わされて平均化されて
いたものが、雑音部と信号部が分離して平均化できるよ
うになり、信号部の質的劣化が防げるようになった。な
お、以上に説明した実施例は、音声の冒頭に発生するノ
イズによる質劣化の対策であるが、この方法は音声冒頭
のノイズの対策だけでなく音声終端信号の欠落対策をも
可能にする。例えば、ストップのごとき音声終端近くに
促音を持つ単語の場合、促音以後が音声区間検出部で検
出できず欠落してしまう場合が少なくない。これも欠落
するものと完全に検出できるものとが混在する場合、冒
頭のノイズと同様の結果になってしまう。つまり、第３
図に示すごとく/p/音を完備したパターン（ａ）と/p/が
欠落したパターン（ｂ）を平均化すると、パターン
（ａ）の/p/音はパターン（ｂ）の/o/と平均化されてし
まうことになる。第４図は、上述のごとき質の劣化を防止するようにし
たパターン比較方式の一実施例を説明するための図で、
図中、11は無音位置（末尾）判定部、12は末尾パターン
添加部で、その他、第１図に示した実施例と同様の作用
をする部分には、第１図の場合と同一の参照番号が付し
てある。而して、この実施例においては、無音区間の位
置が音声末尾100ms以内かどうかを計測し、その結果に
従って前記実施例と同様のマークを付加すれば良い。一
方、同じパターンを平均化する際には、２つのパターン
が同じマークの時は、どちらも第３図（ａ）の状態であ
るため、そのまま音声の始端，終端を対応づけて平均化
すれば良く、又、マークが異なる場合は、第３図におけ
るパターン（ａ）と（ｂ）の関係にあることがわかる。
パターン（ｂ）には/p/のパターンが失われているた
め、無音区間から末尾までのパターン（ａ）をそのまま
パターン（ｂ）に添加した後、両パターンの平均化を行
なうことになる。こうして、平均化されたパターンの質
の劣化を防ぐことができる。なお、本実施例において、
音声入力部はマイクを用いて実現でき、パワー測定部は
音声帯域通過フィルターの出力を測定することで実現で
きる。又、無音位置計測部は音声が入力されない状態で
環境ノイズを測定しておき、音声が入力された時に先に
計測したレベルより小なるパワーの時ここを無音区間と
設定すれば良い。通常、音声は10ms程度の間隔でサンプ
リングされるため10サンプル以内に無音が発生するか、
或いは、無音が発生して10サンプル以内に音声終端があ
るかどうかの確認によってマークの決定をすれば良い。
なお、以上には音声パターンを例にして本発明を説明し
たが、本発明は音声認識に限定するものではない。ま
た、冒頭のノイズ処理，末尾のノイズ処理は独立に使用
しても良く、両方を同時に使用しても良いことは言うま
でもない。更に、音声の冒頭，末尾の定義は必ずしも10
0msにする必要はないことは容易に理解できよう。以上の説明から明らかなように、この実施例による
と、突発性のノイズの直後に発声された音声や、音声の
末尾が欠落したパターンから正常な音声信号のみを平均
化して標準パターンを作成することができる。第５図は、本発明の他の実施例を説明するための構成
図で、この実施例は、音声を特徴パラメータに変換して
登録するパターン登録方式において、入力信号を周波数
分析し、低域周波数成分と高域周波数成分の大きさを比
較する手段、及び、音声の区間を検出する手段を有し、
音声の始端又は終端において高域成分が低域成分に比し
て大なる時、この状態の継続長を測定し、該高域成分が
強い部分を本来の長さより短かくしたパターンを登録す
るようにしたことを特徴としたものである。第５図において、21はマイクロフォン、22は音声区間
検出回路、23はフィルタバンクで、23aは低域領域フィ
ルタ、23bは高域領域フィルタ、24は乗算部、25は比較
部、26はレジスタ、27はタイムカウント、28は乗算部、
29は始端移動部で、例えば、“his"のような単語を登録
することを考える。まず、マイクからhisの音声を入力
すると音声区間検出部で単語音声に係るものだけをとり
出し、フィルタバンクへ転送する。ここでは便宜上音声
区間検出部の次にフィルタバンクがあるが、これは逆配
置であっても差し支えない。音声区間の検出方法は音声
が入力される前のマイクから信号を測定しておき、それ
より大きなエネルギーが検出された部分を音声区間とす
るようなものが知られているが、その他どのような方法
であっても問題ない。ただし、音声検出の閾値をあまり
低く設定するとわずかな雑音でも音声と判断してしま
う。しかし、これをあまり高く設定すると、語頭、語尾
の小さい音を落してしまうこととなる。又、ここでは周
波数分析の方法としてフィルタバンクを用いているが、
FFT等の方法によっても良いことは言うまでもない。こ
のフィルタバンクの高域の出力と低域の出力を比較する
が、通常の音声分析に必要な帯域とされている200〜600
0Hz中の2000〜6000Hzあたりを高域、それ以下を低域と
している。しかも特に高域が強い音を検出するため、低
域の２倍より高域のパワーの方が大なる部分が音声区間
の始端又は終端にある時、その部分の長さを計測する。
この場合、音声始端から高域の強い部分の長さを計測す
るのは容易であるが、終端での長さを計測するのは始端
程容易ではない。第６図（ａ）の信号は第５図の比較器
25の出力信号を示し、高域領域フィルタ23bの出力が低
域領域フィルタ23aの出力より大きい時に出力される信
号である。一方、第６図（ｂ）の信号は第５図の音声区
間検出回路22から出力される信号で音声区間と認められ
た時に１、他は０を出力する。そこで、第６図に示すよ
うに、高域大を示す第６図（ａ）の信号の立ち上がり
（T₁）と共に第５図のカウンタ27をスタートし、高域信
号の立ち下がり（T₂）と共に同カウンタ27を止めて保有
値をクリアする。これを繰り返し、音声終了信号時
（T₃）に第５図のタイムカウンタに得られている値を終
端高域継続長であるとする。ここではそれらの継続長を
1/3にしたパターンを新たに作り、これを登録するよう
にした。この関係を第７図に示す。而して、従来は強制
的に/h/の部分を捨てて登録していたが、これではisと
区分がつかない。hisとisの両方のisの部分の違いは、h
isの場合のｉの前のｈの音の影響がｉの先頭部にも現れ
ることであり、特に、この部分のことを「わたり」と呼
び、長さを1/3保存することによってわたりが保存され
る。そこでｈとｉのわたりの部分も含めて登録しておく
ことにより、テンプレートの段階でhisとisの区分がで
きるようにした。区間検出部で切り落とす場合にはエネ
ルギーの小さな/h/の部分は落しやすいが、エネルギー
の大きな母音部/i/を落とすことはない。このため/h/か
ら/i/へのわたりの部分を落とすことはまれである。つ
まりテンプレートのパターン長が/h/を欠落した時とほ
ぼ同じ長さにし、/h/の情報をわずかながら残しておく
ことで認識精度が向上することになる。従って、この実施例によると、音声パターンの一部が
欠落しても正しい認識ができるようなテンプレートが登
録できる。第８図は、本発明の他の実施例を説明するためのフロ
ーチャート、第９図は、第８図に示した実施例の実施に
使用して好適な電気回路の一例を示すブロック図で、こ
の実施例は、音声を集音する機能と、それを特徴量に分
析する手段を有し、登録すべき一つの音声について複数
回発声して得られた各特徴量（特徴パターン）を処理し
て作成するパターン作成方式において、特徴パターンの
先頭又は末尾に周波数の高い成分を有するパターンと該
高周波数成分を有さないものが存在する時、該高周波数
成分の部分をとり除いたパターンを処理し、処理した結
果に高周波数成分の部分を添附して作成するようにした
ことを特徴とするものである。第９図において、31はマイクロフォン、32は音声区間
検出部、33aは高域フィルタ、33bは低域フィルタ、34は
比較部、35a、35bはレジスタ、36a、36bは平均化部、37
は加算部、38はパターンレジスタで、以下、第８図に示
したフローチャートを参照しながら説明する。まず、パ
ターンを作成すべき音声を入力し、その音声の語頭か語
尾に高い周波数成分が含まれているかどうかを調べる。
あればその部分だけを別に分け、１つの言葉について何
回か発声した音声を各々分けた部分について平均化し、
最終的に両者を結合してパターンを作成する。つまり、
この何回かの発声中にこの高周波成分を含む部分が欠落
しても両者を別々に平均化して最後に結合するため、欠
落が補える。今、第９図において、マイクから入力され
た音声は高域と低域の帯域フィルタを通り両者の比較に
よって高周波成分を持つか否かが決定される。マイクか
ら入力された信号の中から音声区間だけを検出し、その
区間の冒頭か末尾に高域成分があるかどうかを見る。あ
る場合はスイッチＳがレジスタ35b側へ倒され、ない場
合はレジスタ35aと接触している。つまり冒頭、末尾の
高周波数成分がレジスタ35bへ、その他がレジスタ35aに
格納されることになる。例えば１つの言葉を３回発声す
るとするなら、３回分がレジスタ内に貯えられたところ
で各々のレジスタ内のパターンを平均化し、つなぎ合わ
せる。この場合、レジスタ35bの内容が音声区間の冒頭
につくものならば平均化されたレジスタ35aの先頭にレ
ジスタ35bの内容をつけ、末尾のデータがレジスタ35bに
入っている時には末尾につける。この時音声区間の検出
はいくつかの方法が知られているが、入力の信号のエネ
ルギーの変化を見て、エネルギーの大きい部分を音声区
間とする方法が一般的であるが、これはどのような方法
に従っても良い。又、平均化の方法は特にそれ以後のパ
ターンの使用目的によっても異なるが、ここでは例とし
て次のような方法を示しておく。三つのパターンの平均
をとる際に、一番短かいパターンにパターン長を合わせ
て均等にデータを取って加え合わせる。このようにして
出来たパターンは欠落しやすい部分を完備した質の良い
標準パターンとなっている。第10図は、本発明の他の実施例を説明するための電気
的ブロック図で、この実施例は、特徴パターンの先頭又
は末尾に周波数の高い成分を有するパターンと該高周波
数成分を有さないものが存在する時、該高周波成分を有
さないパターンに有するものの該当する部分を添付して
から処理するようにしたものである。第10図において、41はマイクロフォン、42は音声区間
検出部、43aは高域フィルタ、43bは低域フィルタ、44は
比較部、45はレジスタ、46はフラグチェック部、47はパ
ターンつなぎ部、48は加算部、49はパターンレジスタ
で、マイクからの信号に高域があるかどうかのチェック
をするまでは、第８図及び第９図に示した実施例と同様
であるので、それ以後について説明をする。まず、冒
頭、末尾に高周波数成分があるかないかでフラグを立て
てフラグと共にレジスタに格納する。全ての発声が終っ
たところでそれらの発声の中でフラグが他と異なるもの
が存在するかどうかのチェックをする。この時、全発声
にフラグがあるか全てにない時、そのまま平均を求め、
そうでないときはフラグがないパターンの先頭、又は末
尾にフラグがあるパターンの高域成分の部分をつけ加え
た後、平均してパターンレジスタへ登録する。このよう
にして得られたパターンは欠落部が補われて質の高いも
のとなっている。従って、この実施例によると、パター
ンの欠落があっても正常な質の高い標準パターンが作成
できる。効果以上の説明から明らかなように、本発明によると、突
発性のノイズの直後に発声された音声や、音声の末尾が
欠落したパターンから正常な音声信号のみを平均化して
標準パターンを作成することができる。又、音声パター
ンの一部が欠落しても正しい認識ができるようなテンプ
レートが登録できる。更には、パターンの欠落があって
も、正常な質の高い標準パターンが作成できる等の利点
がある。

【図面の簡単な説明】第１図は、本発明の一実施例を説明するためのブロック
線図、第２図は、第１図に示した実施例を説明するため
のパターン図、第３図は、本発明の他の実施例を説明す
るためのパターン図、第４図は、第３図に示した実施例
を実施するためのブロック線図、第５図は、本発明の他
の実施例を説明するためのブロック線図、第６図及び第
７図は、第５図に示した実施例の動作説明をするための
図、第８図は、本発明の他の実施例を説明するためのフ
ローチャート、第９図は、第８図に示した実施例の実施
に使用する電気回路の一例を示すブロック図、第10図
は、本発明の他の実施例を説明するためのブロック図、
第11図乃至第13図は、本発明の技術背景を説明するため
の図で、第11図は、音声パターン図、第12図は、BTSP説
明図、第13図は、パターン図である。１……音声入力部、２……パワー測定部、３……特徴量
変換部、４……無音位置計測部、５……音声位置（冒
頭）判定部、６……マーク付加部、７……パターン格納
部、８……マーク判定部、９……冒頭パターン添加部、
10……重ね合わせ平均処理部、11……無音位置（末尾）
判定部、12……末尾パターン添加部、21……マイクロフ
ォン、22……音声区間検出回路、23……フィルタバン
ク、23a……低域領域フィルタ、23b……高域領域フィル
タ、24……乗算部、25……比較部、26……レジスタ、27
……タイムカウント、28……乗算部、29……始終端移動
部、31……マイクロォン、32……音声区間検出部、33a
……高域フィルタ、33b……低域フィルタ、34……比較
部、35a,35b……レジスタ、36a,36b……平均化部、37…
…加算部、38……パターンレジスタ、41……マイクロフ
ォン、42……音声区間検出部、43a……高域フィルタ、4
3b……低域フィルタ、44……比較部、45……レジスタ、
46……フラグチェック部、47……パターンつなぎ部、48
……加算部、49……パターンレジスタ。

Claims

(57)【特許請求の範囲】１．複数の音声パターンを平均化することで行う標準パ
ターン作成方法において、複数の音声パターン中に存在
する音声生成上の不安定成分を持つパターンと持たない
パターンについて、不安定成分を持たないパターンに不
安定成分を持つパターンの不安定成分を付加した後、両
者の平均化を行うことを特徴とする標準パターン作成方
式。２．複数の音声パターンを平均化することで行う標準パ
ターン作成方法において、複数の音声パターン中に存在
する音声生成上の不安定成分を持つパターンについて、
不安定成分の一部を残し、残部を削除したパターンを平
均化することを特徴とする標準パターン作成方式。