JPH07160285A - 音声認識方法 - Google Patents

Abstract

(57)【要約】 【目的】 実環境音声信号に近い模擬音声信号を作る。 【構成】 発声環境３１の室内雑音３７を表すホスノイ
ズを高品質音声信号に対し付加し、その雑音付加された
信号に送話器３４と電話回線３５との綜合周波数特性の
代表的なものと、３００Hz〜３．４kHz の帯域制限を与
え、その後、回線雑音３９を模擬するホワイトノイズを
付与して模擬音声信号を得、これを用いてＨＭＭ法によ
り音声モデルを学習し、そのモデルを用いて未知の電話
音声の認識を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音声信号の入力手段
や伝送手段における周波数帯域制限や周波数特性、発声
環境の背景雑音や音声信号伝送路の雑音などの、音声品
質を低下させる様々な要因の影響を受けた音声信号に対
する音声認識方法に関する。

【０００２】

【従来の技術】音声認識方式技術の分野では、これま
で、周波数帯域幅が広く、Ｓ／Ｎ比の高い、すなわち、
何の外的な信号の変形の影響を受けていないと見なせる
高品質の音声信号に対する認識方式の研究・開発が中心
に進められてきた。現在最もよく用いられているのは、
音声信号を確率・統計理論に基づいてモデル化する、隠
れマルコフモデル法（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍ
ｏｄｅｌ，以後ＨＭＭ法と呼ぶ）であり、その詳細は、
例えば、社団法人電子情報通信学会編、中川聖一著『確
率モデルによる音声認識』に開示されている。

【０００３】ＨＭＭ法による音声認識処理の手順を図３
に示す。ＨＭＭ法の処理には、大別して、２つのフェー
ズがある、１つは“学習”であり、もう１つは“探索”
である。“学習”のフェーズでは、図３中のスイッチ１
０，１１は、それぞれ、Ａ側を選択する。そして、色々
な音韻／音素／音節／単語などに対する音声信号が蓄積
された音声データベース１２のデータを用いて、各音韻
／音素／音節／単語などの音響的な性質を表現するモデ
ルを、ＨＭＭ法の学習アルゴリズムに基づいて求める。
このモデルを求める過程において用いられる信号は、分
析処理部１３の分析処理によって音声信号から抽出され
た特徴パラメータの時系列である。音声データベース１
２から分析処理部１３へ音声信号データを入力し、音声
信号データを分析処理し、その出力結果、すなわち音声
データベース１２の音声信号データの特徴パラメータデ
ータを学習処理部１４へ入力する。学習によって最終的
に得られるすべてのモデルを蓄積するＨＭＭセット１５
から学習処理部１４への矢印は、学習すべきＨＭＭのモ
デル構造（状態数、状態間の遷移形式など）とモデルパ
ラメータ（状態遷移確率、シンボル出力確率、初期状態
確率）の初期値を、学習処理の実行時に設定することを
示している。分析処理部１３における信号処理として、
よく用いられるのは、線形予測分析（Ｌｉｎｅａｒ Ｐ
ｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ，ＬＰＣと呼ばれ
る）であり、特徴パラメータとしては、ＬＰＣケプスト
ラム、メルケプストラム、対数パワーなどがある。この
ような学習処理によって求められた各音韻／音素／音節
などのモデルはＨＭＭセット１５の要素として蓄積さ
れ、このＨＭＭセット１５が音声データベース１２で現
れるすべての音響現象を表現する。

【０００４】“探索”のフェーズでは、スイッチ１０，
１１は、それぞれ、Ｂ側を選択する。そして、入力され
る未知の音声信号は、分析処理部１３によって特徴パラ
メータの時系列に変換され、その特徴パラメータデータ
の時系列がＨＭＭセット１５のどのモデル（モデルが音
韻／音素／音節の場合はそれらの組合せ）に最も類似し
ているかを探索処理部１６でＨＭＭ法の探索処理のアル
ゴリズムに基づいて求め、その結果を認識結果とする。

【０００５】従って、ＨＭＭ法を用いた音声認識では、
認識対象とする音声信号に対する情報として、モデルの
学習用の音声データを収集する必要がある。これまでに
も、色々な音声データベースが存在するが、そのほとん
どが高品質音声のデータベースである。電話による情報
案内や予約サービス、自動券売機などの代表的なサービ
スへの音声認識の応用を想定すると、実環境下での音声
の使用が自然であることから、実使用環境で発声された
音声の認識技術が切に望まれている。例えば、上記の例
では、電話を用いたサービスでは電話網での音声、自動
券売機であれば駅構内の雑踏の騒音を伴った音声に対す
る認識技術が必要になる。この例からわかるように、実
環境下では、音声信号は、様々な雑音、様々な周波数帯
域制限、様々な伝送損失特性並びに周波数特性をもった
音声信号伝送路（例えば、電話網）の影響を受けて変形
されるだけでなく、音声以外の音響信号（伝送路の雑
音、背景雑音など）が重畳されて、その音声品質が著し
く劣化するため、音声認識率が著しく低下するという問
題がある。また、先に説明したように、認識の基本的ア
ルゴリズムの前提により、学習用として必要となる音声
データが高品質のものがほとんどである現状から、実環
境下での認識を実現するためには、対象とする使用環境
下での音声信号を収集し、データベース化しなければな
らない。しかし、複雑かつ多種の音声品質を劣化させる
要因をすべて含んだような音声データを収集し、編集し
てデータベース化することは、多大の時間と労力を必要
とし、現実的には困難である。

【０００６】このため、従来、整備されつつあり、か
つ、これまでの音声認識技術の発展に重要な役割を果た
してきている高品質な音声データベース−代表的なデー
タベースとしては、（株）国際電気通信基礎技術研究所
（ＡＴＲ）の音声データベース、日本音響学会研究用連
続音声データベース、（社）日本電子工業振興協会（電
子協）日本語共通音声データベースなどがある−を活用
し、様々な音声品質劣化要因の混在した実環境下の音声
信号に対する音声認識を実現しようとする方法が、特願
平５−２３９４９４“音声認識方法”で提案されてい
る。また、実環境を電話とし、劣化要因として電話伝送
系の周波数特性に対してこの従来方法を用いた例が、高
橋、他：“サブワード音声認識における電話伝送系の影
響”、日本音響学会平成５年度秋季研究発表会講演論文
集２−４−１０で報告されている。この方法は、高品質
音声信号と様々な品質劣化要因の混在した実環境下の音
声信号（以後、実環境音声信号と呼ぶ）との品質差を生
じさせる各劣化要因（音声信号の入力系や伝送系の周波
数特性、雑音など）を分析して定量的にテンプレート化
し、これらのテンプレートが表す特性を、音声信号処理
により高品質音声信号に作用させて実環境音声信号を模
擬し、その模擬によって得られた音声信号から音響的な
モデルを学習し、これを用いて実環境音声信号を認識し
ようとするものである。しかし、この従来方法では、周
波数特性に関する模擬方法は具体的に示されているが、
雑音に関しては模擬時のＳ／Ｎ比の目安が示されている
だけで、これと周波数特性の模擬方法との関係について
は明示されていないという問題がある。

【０００７】

【発明が解決しようとする課題】そこで、この発明は、
様々な音声品質劣化要因が混在した実環境音声信号を、
定量的にテンプレート化された諸要因の特性を高品質音
声データに作用させて作成した模擬的な実環境音声信号
から学習したモデルによって音声認識しようとする方法
において、周波数特性の模擬を考慮した雑音特性の模擬
方法を明らかにすることにより、実環境音声信号に対す
る実用的な模擬方法を提供し、音声品質劣化問題を克服
できる音声認識方法を実現することを目的とする。

【０００８】この発明の方法の説明をわかりやすくする
ために、先ず、実環境音声信号の模擬という観点から、
雑音に対する基本的な考え方を説明する。単語発声の音
声を例に説明する。図４Ａ，Ｂに、それぞれ、札幌
（『さっぽろ』）、横手（『よこて』）と発声した場合
の時間軸上での音声波形を示す。音声の構成要素を表す
音素記号での記述例としては、それぞれ、Ｐ ｓ ａ
Ｑ ｐ ｏ ｒ ｏ Ｐ，Ｐ ｙ ｏ ｑ ｋ ｏ ｑ
ｔ ｅ Ｐがある。ここで、アンダースコア 音素記号
の区切りを表す記号であり、Ｐ，Ｑ，ｑ以外（例えば
ｓ，ｙ，ｏなど）の音素記号は母音または子音に属する
音素に対する音素記号である。Ｐは音声を発声していな
い発声休止区間を表し、Ｑは上記のひらがな表記の
『っ』の発声にかかわる促音の無音区間を表し、ｑは子
音ｋ，ｔなど破裂性の子音の発声に伴う短い無音区間を
表す音素記号である。ここで、無音とは音声発声のない
部分という意味である。図４Ａ，Ｂにおいては、それぞ
れの音素と音声波形との対応が示されている。これらの
音声は、発声内容の点から見れば、共に、『札幌』や
『横手』であるが、音声信号という点からみれば、これ
らは無音＋『札幌』＋無音や無音＋『横手』＋無音であ
り、無音区間の存在が意味をもつ。このような音声信号
を認識しようとする場合、音声信号から音声の発声区間
だけを判別して認識する方法が考えられる。認識対象と
する音声信号が高品質音声であれば、Ｓ／Ｎ比が非常に
高く、発声区間と無音区間との境界は例えば信号のパワ
ー値の大小で判別できるので、このような方法も有効で
ある可能性が大きいが、この発明で対象としているよう
な雑音が重畳した音声信号の場合は、Ｓ／Ｎ比が低い可
能性が高く、発声区間と無音区間との区別は難しいと考
えられる。従って、発声区間の判別に基づいて音声信号
を認識するのは困難であり、無音区間も含んだ音声信号
を認識することが重要となる。このような理由から、以
下の説明では、認識対象とする音声信号は無音区間を含
む、すなわち、無音＋発声した音声＋無音の形式の音声
信号を対象とする。

【０００９】発声した音声と実環境の特性（雑音、周波
数特性）とは、対象としているシステムにおいて、その
発生の所在が異なるため、周波数特性や雑音の模擬を行
なう場合には注意を要する。例えば、対象としているシ
ステムにおいて、音声信号は入力系・伝送系を介して実
環境音声信号になると想定し、入力系と伝送系には固有
の周波数特性を有し、雑音は伝送系から発声するものと
する。この場合、この実環境音声信号における実環境特
性の影響のあらわれ方は、次のように見なすことができ
る。 ・発声した音声の前後の無音区間は、伝送系からの雑音
そのものである。 ・発声した音声の区間（ただし、音声区間内の無音区間
は除く）は、入力された音声信号に対して入力系と伝送
系の周波数特性が付与され、それに伝送系から発生する
雑音が重畳している区間である。 ・発生した音声の区間内に、先に説明したような無音区
間が存在する場合は、その無音区間は、伝送系からの雑
音そのものである。

【００１０】従って、このような実環境音声信号を高品
質音声信号から模擬する場合には、発声した音声の前後
の区間、及び、発声した音声区間内の無音区間は、雑音
の重畳のみの処理を行ない、発声した音声の区間（この
区間内の無音区間は除く）には周波数特性を付与し、そ
れに雑音を重畳するといった処理を行なわなければなら
ない。また、高品質音声信号の無音区間の信号は、発声
した音声の区間の信号と比較してほとんど影響がないと
見なせるのであり、重畳する雑音とのＳ／Ｎ比の観点か
ら見た場合にはそのＳ／Ｎ比の値によってその無音区間
の信号の影響の有無を判断する必要がある。すなわち、
高品質音声信号の無音区間の信号が、重畳する雑音に対
して影響を与えるほどのものであれば、上述のように単
に無音区間に雑音を重畳するのではなく、高品質音声の
無音区間の信号を差し引いた上で雑音を重畳するような
処理を行なう必要がある。

【００１１】

【課題を解決するための手段】この発明の方法は、上記
のような考え方に基づいた、高品質音声信号からの実環
境音声信号の模擬における高品質音声への周波数特性の
付与と雑音の重畳方法を備えることを特徴とした音声認
識方法であって、この発明によれば、被認識音声の発声
から認識装置に至るまでのシステムにおける、音声信号
伝送路や音声信号入力装置の周波数帯域制限や周波数特
性並びに発声環境における背景雑音や反響音などに代表
される音声品質を劣化させる１つまたは複数の要因を抽
出して、その各要因の特性のひな形となるテンプレート
を作成し、前記システムにおける前記各要因の発生所在
に応じてその要因の前記テンプレートを高品質音声信号
データに順次作用させて、各要因間の前記システムにお
ける相互の影響状況を模擬した模擬音声信号データを作
成し、その模擬音声信号データを用いて音声信号のモデ
ルを学習して求める。

【００１２】

【実施例】この発明の方法の要部である模擬音声信号作
成の処理手順の例を図１に示す。この処理は、４種類の
手続きから構成され、２重の枠で囲まれた部分は処理の
内容を、１重の枠で囲まれた部分は処理対象となる信号
または処理結果として得られる信号を表している。第１
の手続き（２０）は、高品質音声信号、つまり周波数成
分に対する制限がなされず、かつＳ／Ｎが非常に高いも
ので、例えば帯域１００Hz〜７（又は８）kHz で、周波
数特性が平坦で歪みがなく、Ｓ／Ｎが３０〜４０dB以上
の音声信号における雑音レベルに対する処理である。先
にも説明したように、高品質音声信号では、雑音レベル
は音声信号レベルに対して無視できる程小さいが、この
高品質音声信号に新たに雑音を付与することを考慮する
と、高品質音声信号に元から含まれている雑音と、付与
する雑音との信号レベルの比が問題となってくる。も
し、元から含まれる雑音が付与する雑音に対して影響を
及ぼすほどの信号であるとすると、元から含まれる雑音
の除去が必要である。また、逆に影響がないのであれば
元から含まれる雑音の除去は行なわなくてもよい。この
第１の手続き（２０）では、このような条件判断を、双
方の雑音のレベルの比（元から含まれる雑音のレベルに
対する付与する雑音のレベル）で判定している。条件判
断のしきい値をαとし、レベル比がα以上であれば元か
ら含まれる雑音の影響はないものとし、次の手続き（２
１）に進む。一方、比がα未満であれば、レベル比がα
以上になるように信号処理により雑音を除去する（２
２）。ここで、しきい値αの値は、実験により求められ
るものである。

【００１３】次に、第２の手続き（２１）について説明
する。第２の手続き（２１）は、第４の手続き（２４）
と同様に実環境音声信号を模擬するための雑音の付与の
処理である。ただし、この第２の手続きでは、第３の手
続き（２３）で付与する実環境音声信号を模擬するため
の周波数特性の影響を受ける雑音（雑音ＮＡ）の付与で
ある。この処理は、第１の手続き（２０）を経た高品質
音声信号に対して信号処理を用いて行なう。第３の手続
き（２３）では、模擬すべき周波数特性を信号処理を用
いて付与する過程である。この手続きでは、第２の手続
き（２１）を経た音声信号に対して、所望の周波数特性
が付与されるので、高品質音声信号及び第２の手続き
（２１）で付与した雑音ＮＡの両方に周波数特性が付与
されたことになる。第４の手続き（２４）では、模擬し
たい実環境音声信号のうち、第３の手続き（２３）で用
いたような模擬すべき周波数特性の影響を受けていない
雑音ＮＢの付与を行なう。以上のような処理過程を経て
模擬の音声信号を得ることができる。

【００１４】このようにして、作成した模擬の音声信号
を用いて、その音響的な特徴を表すモデルを学習し、そ
れにより得られたモデルのセットを用いて、模擬の対象
としてきた実環境における発話内容が未知の音声信号を
認識することができる。つまり、この発明の方法は、対
象とするシステム（または系）の実環境を表す雑音の特
性、周波数特性を高品質音声信号に付与して、その模擬
の音声信号を作成する場合に、付与する雑音の特性の対
象とするシステム（または系）における発生の所在か
ら、付与する雑音の特性に付与する周波数特性の影響の
有無を切り分け、その影響の有無の判定に基づいて高品
質音声信号データへの雑音の付与の処理と周波数特性の
付与の処理の順序を制御することによって、所望の雑音
の特性、周波数特性を高品質音声信号データに付与し、
対象とする実環境音声信号に対する模擬の音声信号を作
成する。

【００１５】現在音声認識のアルゴリズムとして最もよ
く用いられているＨＭＭ法を用いた、電話音声の認識に
対するこの発明の方法の適用例を説明する。図２に、こ
の実施例で対象とする音声認識系の構成を示す。この系
では、室内雑音のある環境３１で話者３２が発声した音
声は、電話機３３の送話器３４及び電話回線３５を介し
て伝送され、その伝送路の出力端に設置された音声認識
装置３６により認識される。送話器３４には、話者３２
の発声環境３１の雑音を表す室内雑音３７と話者の発声
した音声３８とが同時に入力される。入力された音声信
号３８は、電話回線３５を介して音声認識装置３６に伝
送される間に、電話回線３５で発生する回線雑音３９及
び電話網の周波数特性４１が付与される。ここで、電話
網の周波数特性４１は、電話機３３の送話器３４と電話
回線３５とを合わせて１つの系と見なした場合の周波数
特性である。この例では、話者３２が電話機３３の送話
器３４に対し発声する環境３１に起因する室内雑音３７
は、ホスノイズでモデル化されるようなオフィスなどの
定常的な室内騒音であり、伝送路から発生する回線雑音
３９は、伝送路間のクロストークや電磁誘導に起因する
ホワイトノイズやピンクノイズでモデル化される定常的
雑音であるとする。

【００１６】このような系における実環境音声信号（音
声認識装置３６に入力される音声信号）を、図１に示し
たこの発明の方法を用いて模擬する過程を説明する。こ
の系の実環境音声信号に対する実環境を構成する要素
は、周波数特性の影響としては電話網の周波数特性４１
であり、雑音としては２種類存在し、それぞれ話者の発
声環境３１の室内雑音３７と回線雑音３９とである。従
って、高品質音声信号データを用いてこの系の実環境音
声信号を模擬する場合は、上記の周波数特性及び２種類
の雑音が模擬の対象となる。室内雑音３７及び回線雑音
３９の信号レベルが、高品質音声信号データの雑音レベ
ルに比べて２０〜３０dBのＳ／Ｎ比をもつ（すなわちα
が２０〜３０dB）と仮定すると、模擬音声信号作成過程
の第１の手続き（２０）では、高品質音声信号データに
対して、これに元から含まれる雑音除去といった前処理
を行なう必要はない。模擬対象となる室内雑音３７は、
送話器３４と電話回線３５を介して音声認識装置３６に
入力される要素であるので、この雑音は電話網の周波数
特性４１の影響を受ける。一方、回線雑音３９は、電話
回線３５から発生される雑音であり、入力系の周波数特
性である、電話機送話系の音響−電気変換にかかわる感
度周波数特性の影響を受けない。すなわち、室内雑音３
７は、図１に示した模擬音声信号作成の処理過程におけ
る雑音ＮＡに相当する雑音であり、回線雑音３９は雑音
ＮＢに相当する雑音である。

【００１７】従って、第２の手続き（２１）では、室内
雑音３７を表すホスノイズを第１の手続き（２０）で得
られた高品質音声信号に信号処理を用いて付与する。第
３の手続き（２３）では、電話網の周波数特性４１を、
室内雑音を模擬する雑音が付与された高品質音声信号に
信号処理を用いて付与する。電話網に対する周波数特性
としては、電話回線における周波数帯域制限３００Hz〜
３．４kHz や特願平５−２３９４９４に開示されている
ような複数の代表的周波数特性の１つを選択して用い
る。これにより、高品質音声信号及び室内雑音共に電話
網の周波数特性を付与することになる。第４の手続き
（２４）では、第３の手続きにより処理された音声信号
に、回線雑音３９を模擬するホワイトノイズまたはピン
クノイズを付与する。

【００１８】このような一連の手続きを経て得られた模
擬音声信号は、発声環境の室内雑音が重畳した話者の発
声音声が電話網の周波数特性の影響を受け、さらに回線
雑音が重畳した音声信号を表していることになる。この
ようにして得られた模擬音声信号を用いて、その音響的
な特徴を表す音素モデルを先に説明した音声認識アルゴ
リズムであるＨＭＭ法を用いて学習し、その音素モデル
セットをこの電話伝送系のモデルセットとして用いるこ
とで、この系の未知の電話音声の認識が実現できる。

【００１９】

【発明の効果】以上説明したように、この発明の方法を
用いて、音声品質を劣化させる周波数特性や雑音の特性
を高品質音声データに作用させて実環境での音声信号を
忠実に模擬することにより、次のような効果がある。 ・対象とするシステムにおける周波数特性や雑音の発生
の所在に応じた模擬音声信号の作成処理が実現できるの
で、対象としているシステムにおいて出現する実環境音
声信号をより忠実に模擬できるので、この実環境音声信
号に対する音響モデルを学習するために必要とされる大
量の実環境音声データを収集・編集する多大の時間と労
力を節約できる。

【図面の簡単な説明】

【図１】この発明の方法における模擬音声信号を作成す
る手順を示す流れ図。

【図２】電話音声信号の生成過程に着目した電話伝送系
の構成とこの系において音声信号に影響を与える諸要因
の所在を説明する図。

【図３】ＨＭＭ法に基づく音声認識処理の流れを示すブ
ロック図。

【図４】時間軸上での音声信号の波形と音素記号との対
応を説明する図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 管村 昇 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 あらかじめ蓄積された音声信号データを
   用いて認識対象とする音声信号のモデルを学習して求
   め、前記学習によって求められた音声信号のモデルに対
   する類似度を比較することによって未知の音声信号を認
   識する方法において、 被認識音声の発声から認識装置へ達するまでのシステム
   における音声信号の品質を劣化させる各々の要因を抽出
   してその各要因の特性のひな形となるテンプレートを作
   成し、 前記システムにおける前記各要因の発生所在に応じてそ
   の要因の前記テンプレートを高品質音声信号データに順
   次作用させて、 前記各要因間の前記システムにおける相互の影響状況を
   模擬した模擬音声信号データを作成し、 得られた前記模擬音声信号データにより前記モデルを学
   習し、前記学習によって得られたすべてのモデルを用い
   て未知の音声信号を認識することを特徴とする音声認識
   方法。