JP3523579B2 - 音声認識システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識システム
に関し、例えば、デジタル方式の携帯電話で利用可能
な、音声認識を利用したサービスを提供するのに適した
音声認識システムに関するものである。

【０００２】

【従来の技術】従来、デジタル方式の携帯電話網のサー
バの一部として、不特定話者の音声を認識する音声認識
装置を設置し、デジタル方式の携帯電話で圧縮され、無
線インタフェースを介して伝送された圧縮音声をサーバ
内で伸張した後、音声認識装置で認識し、その結果に基
づいて、しかるべき音声情報を携帯電話に返送するとい
うサービスが考案されている。

【０００３】一般に、音声認識は、話者が発声した音声
サンプルをある特徴パラメータの系列に変換する音響分
析部と、音響分析部で得られた特徴パラメータの系列を
予めメモリーやハードディスクなどの記憶装置に蓄積し
た語彙単語の特徴パラメータに関する情報と照合して、
最も類似度の高い音声を認識結果とする音声照合部の２
つの部分から構成される。音声サンプルをある特徴パラ
メータの系列に変換する音響分析方法としては、ケプス
トラム分析や線形予測分析などが知られており、「音声
・音情報のディジタル信号処理」（鹿野清宏、中村哲、
伊勢史郎共著、（株）昭晃堂）にも詳述されている。音
声認識の中で、不特定話者の音声を認識する技術を一般
に不特定話者音声認識と呼ぶ。不特定話者音声認識にお
いては、語彙単語の特徴パラメータに関する情報が予め
記憶装置に蓄積されているため、特定話者音声認識のよ
うにユーザーが音声認識させたい単語を登録するという
作業は発生しない。また、語彙単語の特徴パラメータに
関する情報の作成およびその情報と入力された音声から
変換された特徴パラメータの系列との音声照合方法とし
ては、隠れマルコフモデル(Hidden Markov Model, HMM)
による方法が一般に用いられている。ＨＭＭによる不特
定話者音声認識についても、上記「音声・音情報のディ
ジタル信号処理」に詳しく述べられている。例えば、日
本語の場合、音声単位を上記「音声・音情報のディジタ
ル信号処理」の第２章に記載されている音韻のセットと
し、各音韻がＨＭＭによりモデル化されているとする。
表１（図９）に音韻のセットのラベルの一覧を示す。こ
の時、例えば「コンピュータ」という単語は図２のよう
な話者に共通の音韻ラベルのネットワーク（固定語ラベ
ル系列と呼ぶ）でモデル化することができる。ＨＭＭに
よる音韻モデルのデータと固定語ラベル系列を用意すれ
ば、上記「音声・音情報のディジタル信号処理」の第４
章に記載されているＶｉｔｅｒｂｉアルゴリズムによ
り、当業者は不特定話者音声認識装置を容易に構成する
ことができる。

【０００４】デジタル方式の携帯電話で利用可能な、音
声認識を利用した従来サービスにおいては、音響分析部
と音声照合部は、デジタル方式の携帯電話網のサーバの
一部として設置された、不特定話者音声認識装置内の１
つまたは２つ以上のＣＰＵで処理されることが一般的で
あった。

【０００５】

【発明が解決しようとする課題】デジタル方式の携帯電
話で利用可能な、音声認識を利用した従来サービスの課
題として２つある。

【０００６】日本のデジタル方式の携帯電話において
は、音声の圧縮レートは、ＰＤＣ規格のフルレート６．
７ｋｂｐｓ、ハーフレート３．４５ｋｂｐｓ、ｃｄｍａ
Ｏｎｅ規格では８．５５ｋｂｐｓである。これらの規格
で利用される音声圧縮は、サンプリング周波数が８ｋＨ
ｚであることに加えて、上記規格で用いられている音声
圧縮は、圧縮の際に音声情報のロスがあること、圧縮さ
れた音声を無線インタフェースで伝送する際に伝送エラ
ーが発生する場合があることなどの理由から、音声認識
性能の低下が避けられないという技術的な課題がある。

【０００７】もう１つの課題は、音声認識処理の音響分
析部と音声照合部の全てをデジタル方式の携帯電話網の
サーバの一部として設置された、不特定話者音声認識装
置内のＣＰＵで処理するため、サービスを利用する要求
のトラフィックが増大した場合に、サーバ内の不特定話
者音声認識装置で対応しきれないという課題がある。

【０００８】

【課題を解決するための手段】請求項１の発明は、クラ
イアントにおいて、音声情報に対して音声認識処理の一
部の処理を実行した後、前記音声情報を圧縮し、前記圧
縮された音声情報を通信手段を介してサーバに送信し、
前記サーバにおいて、受信した前記圧縮された音声情報
に対して前記音声認識処理の残りの処理を実行する音声
認識方法であって、前記音声認識処理の一部の処理は、
音声情報から第１音響パラメータを抽出する処理を含
み、前記音声情報を圧縮する処理は、所定の類似度以上
の類似度を持つ音声単位モデルが得られた第１音響パラ
メータを選択し、選択された第１音響パラメータに関し
てのみ音声単位モデルを表す選択第１ラベル情報に変換
し、残りの第１音響パラメータは、ラベル情報に変換し
ない処理を含み、前記音声認識処理の残りの処理は、前
記選択第１ラベル情報から選択第２音響パラメータを合
成し、合成された選択第２音響パラメータと前記残りの
第１音響パラメータから類似度が最も高い語彙単語を音
声認識結果として選出する処理を含むことを特徴とす
る。

【０００９】請求項２の発明は、音声情報に対して音声
認識処理の一部の処理を実行する第１音声認識処理手段
と、前記第１音声認識処理手段によって音声認識処理の
一部の処理が実行された音声情報を圧縮する圧縮手段
と、前記圧縮手段から出力された音声情報を送信する送
信手段とを具えたクライアントであって、前記第１音声
認識処理手段は、音声信号から一定のフレーム周期で周
波数分析を行い、第１音響パラメータを抽出する抽出手
段を有し、前記圧縮手段は、音声認識用の音声単位モデ
ルセットを格納する音声単位モデルセット格納手段と、
前記抽出された第１音響パラメータを前記音声単位モデ
ルセット格納手段に格納された音声単位モデルを表す第
１ラベル情報に変換する変換手段とを有し、前記音声単
位モデルセット格納手段は、前記音声単位モデルセット
の識別番号をさらに格納し、前記送信手段は、前記音声
単位モデルセット格納手段に格納された音声単位モデル
セットの識別番号をさらに送信することを特徴とする。

【００１０】請求項３の発明は、請求項２において、前
記圧縮手段は、所定の類似度以上の類似度を持つ音声単
位モデルが得られた第１音響パラメータを選択し、選択
された第１音響パラメータに関してのみ音声単位モデル
を表す選択第１ラベル情報に変換し、残りの第１音響パ
ラメータは、ラベル情報に変換しない処理を実行するこ
とを特徴とする。

【００１１】請求項４の発明は、請求項２のクライアン
トから送信された前記圧縮された音声情報を通信手段を
介して受信する受信手段と、前記受信手段によって受信
された前記圧縮された音声情報に対して前記音声認識処
理の残りの処理を実行する第２音声認識処理手段とを具
えたサーバであって、前記受信手段は、請求項２のクラ
イアントから送信された前記第１ラベル情報を通信手段
を介して受信し、前記第２音声認識処理手段は、前記受
信手段によって受信された前記第１ラベル情報から第２
音響パラメータを合成する合成手段と、前記合成手段に
よって合成された第２音響パラメータから類似度が最も
高い語彙単語を音声認識結果として選出する選出手段
と、音声認識用の音声単位モデルセットを格納する認識
用モデルセット格納手段と、話者の語彙のスペルから所
定のルールに従い予め抽出された音声単位のラベル系列
を記憶するラベル系列記憶手段と、互いに異なる２つの
音声単位モデルセットの音声単位モデル相互間の対応表
を１個以上保持する対応表保持手段と、前記受信された
音声単位モデルセットの識別番号に基づいて、前記クラ
イアントの前記音声単位モデルセット格納手段に格納さ
れた音声単位モデルを一意に特定し、前記対応表保持手
段における、前記特定した音声単位モデルセットと前記
認識用モデルセット格納手段に格納された音声単位モデ
ルセットとの対応表を用いて、前記受信された音声単位
の第１ラベル情報を前記認識用モデルセット格納手段に
格納された音声単位モデルセットからなる第２ラベル情
報に変換するラベル情報変換手段とを有し、前記合成手
段は、前記ラベル情報変換手段により変換された第２ラ
ベル情報と前記認識用モデルセット格納手段に格納され
た音声単位モデルセットとから第２音響パラメータ系列
を合成し、前記選出手段は、前記認識用モデルセット格
納手段に格納された認識用モデルセットに基づき、前記
ラベル系列記憶手段に記憶された語彙単語に対する音声
単位のラベル系列と前記合成手段で合成された第２音響
パラメータ系列との類似度を計算して照合を行い、最も
類似度の高い語彙単語を認識結果として選出する照合手
段を有することを特徴とする。

【００１２】請求項５の発明は、請求項４において、前
記第２音声認識処理手段は、前記受信手段によって受信
された前記第１音響パラメータを、前記第２音響パラメ
ータの代りに、そのまま、前記選出手段に供給すること
を特徴とする。

【００１３】請求項６の発明は、請求項２または３のク
ライアントと、請求項４または５のサーバとを具えたこ
とを特徴とする。

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【発明の実施の形態】本発明は、クライアントにおい
て、音声情報に対して音声認識処理の一部の処理を実行
した後、前記音声情報を圧縮することを特徴とし、さら
に、前記圧縮された音声情報を通信手段を介してサーバ
に送信し、前記サーバにおいて、受信した前記圧縮され
た音声情報に対して前記音声認識処理の残りの処理を実
行することを特徴とする。

【００２３】音声がＡＤコンバータによりサンプリング
周波数８ｋＨｚでデジタル化され、１サンプルが１６ビ
ットで表現されるとすると、１秒間の音声の情報量は１
２８ｋｂｐｓ（＝１６ビット＊８０００Ｈｚ）になる。

【００２４】携帯電話のマイクから入力された音声を音
声単位モデルの系列で表現することを考える。この時、
音声単位モデルは１状態から成るＨＭＭで表現されてい
ると仮定する。音声単位モデルが、複数状態から成る場
合でも、それを１状態から成るＨＭＭに分解し、それぞ
れに固有番号を付することは当業者であれば容易である
ことから、上記仮定は一般性を損なわない。音声を音声
単位モデルの系列で表現する方法としては、一定周期の
フレーム毎に抽出された音響パラメータ毎に最も近い音
声単位モデルを算出し、音響パラメータをその音声単位
モデルの固有番号に変換すればよい。例えば、ＨＭＭで
表現された音声単位モデルの総数が１０２４個の場合、
音声単位モデルの固有番号は１０ビットで表現できる。
もし、音響分析が１０ｍｓ周期のフレームで行われると
すると、１フレームの音響パラメータが１０ビットの固
有番号にまで圧縮されることになる。従って、１２８ｋ
ｂｐｓの情報量を持つ１秒間の音声は、１ｋビット（＝
１０ビット＊１００フレーム）にまで圧縮でき、日本の
デジタル方式の携帯電話の音声圧縮率よりもさらに高い
圧縮率で音声情報を無線インタフェースで伝送できる可
能性がある。加えて、音声の連続性を考慮すると、連続
した複数のフレームの音響パラメータが同一の音声単位
モデルの固有番号に変換される場合も多いことが予想さ
れ、さらに、情報量を圧縮できることになる。平均して
連続する３フレームが同一の音声単位モデルの固有番号
に変換されるとすると、音声単位モデルの固有番号１０
ビットと連続するフレーム数６ビットのペアの系列で表
現すれば、１秒間の音声は、さらに三分の一にまで圧縮
できることになる。

【００２５】音響パラメータを音声単位モデルの固有番
号に変換する方法としては、例えば、音響パラメータの
系列に対し、ＨＭＭで表現された音声単位モデルの任意
の接続が可能なネットワークを用いて、公知のＶｉｔｅ
ｒｂｉアルゴリズムを適用する方法を用いればよい。こ
の方法によれば、音響パラメータ系列に対して、最も類
似した音声単位モデルの系列を抽出することができるの
で、フレーム毎の音響パラメータを音声単位モデルの固
有番号に変換することは、当業者であれば容易である。
或いは、フレーム毎の音響パラメータに対して、ＨＭＭ
で表現された音声単位モデル毎の類似度を算出し、最も
高い類似度を与える音声単位モデルを決定してもよい。

【００２６】現在、携帯電話に装着されているＡＤコン
バータのサンプリング周波数は一般に８ｋＨｚであり、
音声認識に利用可能な帯域は４ｋＨｚである。より高い
音声認識率を得るためには、ＰＣなどのマルチメディア
機器で普及している１１．０２５ｋＨｚや次世代携帯電
話での採用が検討されている１６ｋＨｚのサンプリング
周波数が好ましい。将来、音声認識を利用したサービス
を利用する場合に限って、携帯電話に装着されているＡ
Ｄコンバータのサンプリング周波数を１１．０２５ｋＨ
ｚや１６ｋＨｚに設定して使用すれば、帯域が４ｋＨｚ
から５．５１２５ｋＨｚや８ｋＨｚに広がるため、より
高い音声認識率が期待できるが、本発明では、音声情報
を音声単位モデルの固有番号の系列の形態で無線インタ
フェースで伝送するため、１１．０２５ｋＨｚや１６ｋ
Ｈｚのサンプリング周波数であっても、伝送される情報
量は８ｋＨｚのサンプリング周波数の場合と比べて不変
であるというメリットがある。

【００２７】また、携帯電話で音声圧縮されることな
く、音響パラメータが計算されるため、音声圧縮の際に
生じる音声情報のロスは発生しないとのメリットもあ
る。

【００２８】さらに、音声単位モデルの固有番号の系列
を無線インタフェースで伝送する際に発生する伝送エラ
ーは本発明を用いた場合でも不可避であるが、１秒当た
りの情報量を少なくできるため、伝送エラーが発生する
頻度も相応的に少ないと期待され、この点でもメリット
が大きい。

【００２９】次に、無線インタフェースで伝送された音
声単位モデルの固有番号の情報を用いて、音声照合をデ
ジタル方式の携帯電話網のサーバの一部として設置され
た、不特定話者音声認識装置内のＣＰＵで処理すること
を考える。従来のサービスに比べて、音響分析処理が個
々の携帯電話で行われるため、サービスを利用する要求
のトラフィックが増大した場合に、サーバ内の不特定話
者音声認識装置の処理が緩和されるというメリットがあ
る。

【００３０】音声照合に当たっては、公知のＶｉｔｅｒ
ｂｉアルゴリズムを用いればよいが、Ｖｉｔｅｒｂｉア
ルゴリズムにおいては、一般に、入力は音響パラメータ
の系列である。本発明においては、音響パラメータの系
列が音声単位モデルの固有番号の情報に圧縮されている
ため、音声単位モデルの固有番号の情報を音響パラメー
タの系列に復元する必要がある。そこで、その方法につ
いて説明する。先に、音声単位モデルは、１個の状態か
ら成るＨＭＭで表現されると仮定したが、一般に状態に
は、１個以上の正規分布が属している。この正規分布の
平均を音響パラメータとして代用すればよい。より詳細
な方法については、実施例で説明する。

【００３１】これまでの説明では、携帯電話に格納され
た音声単位モデルと携帯電話網のサーバの一部として設
置された不特定話者音声認識装置に格納された音声単位
モデルは同一であるとの前提に基づいていたが、同一で
なくても２つの音声単位モデル間の対応表をサーバの不
特定話者音声認識装置に具えておけば良い。これについ
ても、より詳細な方法については、実施例で説明する。

【００３２】本発明では、クライアントからサーバに伝
送される情報は、音声単位モデルの固有番号の系列の情
報であることから、クライアントで行われる音響分析と
サーバに格納される音声単位モデルが生成された際に行
われた音響分析は必ずしも一致している必要がない。す
なわち、２つの音声単位モデル間の対応表をサーバの不
特定話者音声認識装置に具えておくことによって、例え
ば、クライアントのメーカーとサーバのメーカーの異な
る組み合わせであっても、本発明が適用可能になる。

【００３３】（実施例１）図１は実施例１のブロック図
である。

【００３４】アナログ音声信号００はＡＤコンバータか
らなる入力手段ａによりデジタル音声信号１１に変換さ
れる。デジタル音声信号１１は抽出手段ｂにより一定の
フレーム周期でケプストラムなどの音響パラメータ２２
に変換される。ケプストラムの抽出方法は、上記「音声
・音情報のディジタル信号処理」にも記述されている。
音声単位モデルセット格納手段ｃには、ＨＭＭで表現さ
れた音声単位モデルのセットとその識別番号４３が格納
されている。

【００３５】しばしば、表１に示される音韻は、図２に
示すような３つの状態から成るＨＭＭで表現されるが、
図３に示すように、１つの状態から成る、３つのＨＭＭ
に分解することは当業者であれば容易である。ここで、
例えば、３つの状態から成る音韻aのＨＭＭを分解した
場合、音韻ａの第１状態、第２状態、第３状態からなる
ＨＭＭをそれぞれａ．１、ａ．２、ａ．３とラベル付け
する。

【００３６】音韻だけではなく、音節、半音節、音響イ
ベントなどにおいても同様に、１つの状態から成るＨＭ
Ｍに分解することは当業者であれば容易である。

【００３７】さらに、一般には、各音声単位モデルに
は、１つ以上の正規分布が属するが、１つの正規分布を
持つ１つの状態からなるＨＭＭに分解することは当業者
であれば容易である。

【００３８】以下では、音声単位モデルセット格納手段
ｃには、表１に示された音韻から分解されて生成され
た、１つの状態から成り、かつ１つの正規分布から成る
ＨＭＭで表現される音声単位モデルのセットが格納され
ているとする。この音声単位モデルのセットの識別番号
を１とする。

【００３９】変換手段ｄで音響パラメータ２２を最も高
い精度で近似する音声単位モデルの系列に変換する方法
としては、フレーム毎の音響パラメータ２２に対して、
ＨＭＭで表現された音声単位モデル毎の類似度を算出
し、最も高い類似度を与える音声単位モデルを決定すれ
ばよい。図５を用いて、変換手段ｄでの変換方法を説明
する。

【００４０】フレーム毎の音響パラメータ２２として、
１０次元のケプストラムが用いられるとする。この時、
それぞれのケプストラムは１６ビットで表現されるとす
る。従って、フレームあたりの情報量は１６０ビットで
ある。

【００４１】この音響パラメータに対する、音声単位モ
デル（図５では、音声単位モデル１、音声単位モデル
２、音声単位モデル３の３種類）の類似度を計算する
と、音声単位モデル２の類似度が最も大きな値を持つ。
この場合に、音響パラメータ２２は、「２」という情報
に変換される。この変換により得られた情報をラベル情
報４４と呼ぶこととし、ラベル情報４４を１６ビットで
表現するとすると、フレーム当たりの情報量がケプスト
ラムという音響パラメータ２２で表現した場合に比べ
て、１／１０に削減される。

【００４２】また、音声単位モデルが図４のような制約
の下で任意に接続可能なネットワークを用いれば、公知
のＶｉｔｅｒｂｉアルゴリズムにより、変換手段ｄで音
響パラメータ２２を最も高い精度で近似する音声単位モ
デルの系列に変換することもできる。

【００４３】表２（図１０）にラベル情報４４のフォー
マットを示す。表２に示す通り、ラベル情報４４は音声
単位モデルの固有番号とその音声単位モデルが連続する
フレーム数から構成される。同一の音声単位モデルが連
続する頻度が５０％未満であれば、表３（図１１）に示
す通り、ラベル情報４４を音声単位モデルの固有番号の
系列で表せばよい。

【００４４】ラベル情報送信手段ｅは、携帯電話網のプ
ロトコルに従って、携帯電話網の中に設けられたサーバ
Ｓに、音声単位モデルセット格納手段ｃに格納された音
声単位モデルのセットの識別番号４３とラベル情報４４
を送信し、サーバＳに対して、音声照合処理の要求を出
す。

【００４５】上記の入力手段ａ、抽出手段ｂ、変換手段
ｄ、ラベル情報送信手段ｅ、認識結果受信手段ｆはクラ
イアントＣである携帯電話内のＣＰＵが同携帯電話内の
メモリに格納されている制御プログラムを実行すること
によって実現される。出力手段ｇは携帯電話に備えられ
たディスプレイおよび／またはスピーカによって構成で
きる。音声単位モデルセット格納手段ｃは、携帯電話内
のメモリに格納することができる。

【００４６】携帯電話網のサイトとして設置されたサー
バＳでは、ラベル情報受信手段ｈにより、携帯電話網の
クライアントである携帯電話から送信された、音声単位
モデルｃセット格納手段ｃに格納された音声単位モデル
セットの識別番号４３とラベル情報４４を受信する。

【００４７】サーバＳには、対応表保存手段ｋが具えら
れ、２つの音声単位モデルセットの音声単位モデル相互
の対応表５５が１個以上保持されている。対応表５５
は、クライアントの携帯電話の音声単位モデルセット格
納手段ｃに格納された音声単位モデルとサーバの音声認
識装置の認識用モデルセット格納手段ｉ（後述）に格納
された音声単位モデルの対応関係を表すデータである。
この対応表５５により、音声単位モデルセット格納手段
ｃに格納された音声単位モデルと認識用モデルセット格
納手段ｉに格納された音声単位モデルとの間の互換性を
保証することができる。

【００４８】認識用モデルセット格納手段ｉに格納され
た音声単位モデルが表４（図１２）に示された音韻から
同様に図２、図３で示した方法により分解されて生成さ
れた１状態のＨＭＭであるとする。この音声単位モデル
のセットの識別番号を２とする。表４には、表１に拗音
の音韻が別途加えられている。

【００４９】表１の場合、「きゃ」という音節は、k-y-
aという音韻系列で表現される。従って、音声単位モデ
ルセット格納手段ｃに格納された音声単位モデルを用い
ると、「きゃ」という音節は、k.1-k.2-k.3-y.1-y.2-y.
3-a.1-a.2-a.3という系列で表現される。一方、表４の
場合、「きゃ」という音節は、ky-aという音韻系列で表
現される。従って、認識用モデルセット格納手段ｉに格
納された音声単位モデルを用いると、「きゃ」という音
節は、ky.1-ky.2-ky.3-a.1-a.2-a.3という系列で表現さ
れる。

【００５０】この時、対応表保存手段ｋに表５（図１
３）のような、識別番号１の音声単位モデルと識別番号
２の音声単位モデルの対応表が用意されていれば、表１
の場合の「きゃ」と表４の場合の「きゃ」が対応づけら
れる。

【００５１】或いは、認識用モデルセット格納手段ｉに
格納された音声単位モデルが表６（図１４）に示された
音韻から同様に図２、図３で示した方法により分解され
て生成された１状態のＨＭＭであるとする。この音声単
位モデルのセットの識別番号を３とする。

【００５２】表１（図９）では、「だ」、「でぃ」、
「づ」、「で」、「ど」がそれぞれ、d-a、dh-i、dz-
u、d-e、d-oという音韻系列で表現されるのに対し、表
６（図１４）では、d-a、d-i、d-u、d-e、d-oという音
韻系列で表現される。

【００５３】この時、対応表保存手段ｋに表７（図１
５）のような、識別番号１の音声単位モデルと識別番号
３の音声単位モデルの対応表が用意されていれば、表１
（図９）の場合の「だ」行と表４（図１２）の場合の
「だ」行が対応づけられる。

【００５４】表５（図１３）や表７（図１５）と同様な
対応表を対応表５５として、対応表保持手段ｋに具えれ
ばよい。そうすれば、ラベル情報変換手段ｌは、対応表
保持手段ｋに格納された対応表５５を参照することによ
り、表８（図１６）に示されたフォーマットのラベル情
報４４を表９（図１７）に示されたフォーマットの変換
ラベル情報６６に変換することが可能である。

【００５５】合成手段ｍは、ラベル情報変換手段ｌで生
成された変換ラベル情報６６から、合成音響パラメータ
７７を合成する。この際、認識用モデルセット格納手段
ｉに格納された、認識用モデルセット８８を参照する。
認識用モデルセット８８は、ＨＭＭで表現された音韻か
ら図２、図３で示した方法により分解されて生成された
１状態のＨＭＭからなる音声単位モデルであるとする。

【００５６】ここで、図６を用いて、合成手段ｍでの合
成処理を説明する。

【００５７】変換ラベル情報６６の中の音声単位モデル
の固有番号の値が例えば「２」であるとすると、音声単
位モデル（この図では、音声単位モデル１、音声単位モ
デル２、音声単位モデル３の３種類）の中から、音声単
位モデル２の正規分布の平均ベクトル（この場合、１０
次元のケプストラム）を抽出し、これを合成音響パラメ
ータ７７と呼ぶことにする。これにより、１６ビットの
変換ラベル情報６６から、１６０ビットの合成音響パラ
メータ７７が合成できる。

【００５８】例えば、変換ラベル情報６６が表９の場
合、音声単位モデルky.1の連続するフレーム数は、ラベ
ル情報４４の中に含まれていた、k.1の連続するフレー
ム数とk.2の連続するフレーム数の合計である。一方、
認識用モデルセット８８の中から、音声単位モデルky.1
を探し、そのＨＭＭの１つの状態に属している正規分布
の中から音響パラメータの平均ベクトルを抽出する。そ
こで、この平均ベクトルをky.1の連続するフレーム数、
すなわち、k.1の連続するフレーム数とk.2の連続するフ
レーム数の合計分だけ、連続して並べる。変換ラベル情
報６６のky.2、ky.3に関しても同様に合成音響パラメー
タ７７が合成される。

【００５９】また、音声単位モデルa.1の連続するフレ
ーム数は、ラベル情報４４の中に含まれていた、a.1の
連続するフレーム数と同一である。一方、認識用モデル
セット８８の中から、音声単位モデルa.1を探し、その
ＨＭＭの状態に属している正規分布の中から音響パラメ
ータの平均ベクトルを抽出する。そこで、この平均ベク
トルをa.1の連続するフレーム数分だけ、連続して並べ
ることにより、合成音響パラメータ７７を合成できる。
変換ラベル情報６６のa.2、a.3に関しても同様に合成音
響パラメータ７７が合成できる。

【００６０】加えて、ある音声単位モデルの平均ベクト
ルの系列と別の音声単位モデルの平均ベクトルの系列を
接続する場合は、お互いの平均ベクトルを連続的に線形
補間することにより、２つの平均ベクトル系列を滑らか
に接続する方法も有効であると考えられる。

【００６１】照合手段ｎに送られた合成音響パラメータ
７７から、認識用モデルセット格納手段ｉに格納され
た、認識用モデルセット８８および不特定話者に語彙の
スペルからあるルールに従い予め抽出された音声単位の
ラベル系列を記憶するラベル系列記憶手段ｊに記憶され
た、語彙の音声単位のモデルのネットワークデータ９９
に基づいて、公知のＶｉｔｅｒｂｉアルゴリズムによ
り、類似度が高い語彙単語を認識結果１００として求め
ることができる。

【００６２】サーバの認識結果送信手段ｏは、携帯電話
網のプロトコルに従って、携帯電話網の中に存在するク
ライアントの携帯電話に対して認識結果１００を送信す
る。

【００６３】上記のラベル情報受信手段ｈ、ラベル情報
変換手段ｌ、合成手段ｍ、照合手段ｎ、認識結果送信手
段ｏは携帯電話網のサーバに設置された音声認識装置の
ＣＰＵが同装置内のメモリに格納されている制御プログ
ラムを実行することによって実現される。対応表保持手
段ｋ、認識用モデルセット格納手段ｉ、ラベル系列記憶
手段ｊは、音声認識装置内のメモリに格納することがで
きる。

【００６４】クライアントの携帯電話は、認識結果受信
手段ｆにより、サーバから送信された認識結果１００を
受信し、それを出力手段ｐに出力する。

【００６５】（実施例２）これまでは、クライアントで
全てのフレームについて、音響パラメータ２２をラベル
情報４４に変換する場合について説明してきた。しかし
ながら、フレームによっては、クライアントの変換手段
ｍで音響パラメータ２２をラベル情報４４に変換し、サ
ーバの合成手段ｍで、変換ラベル情報６６から合成音響
パラメータ７７を合成した際の、合成音響パラメータ７
７の音響パラメータ２２に対する近似精度が十分に高く
ないことにより、照合手段ｎで得られる認識結果１００
の認識率が十分に高くないケースが予想される。

【００６６】そこで、クライアントの変換手段ｄは、音
響パラメータ２２をラベル情報４４に変換する際に、各
フレームで音響パラメータ２２に対して最も高い類似度
を持つ音声単位モデルの類似度を所定のしきい値と比較
し、類似度がしきい値以上のフレームでは、ラベル情報
４４に変換し、類似度がしきい値未満のフレームでは、
ラベル情報４４の代わりに、音響パラメータ２２をその
ままラベル情報送信手段ｅに渡す。

【００６７】ラベル情報送信手段ｅは、音声単位モデル
セット格納手段ｃに格納された音声単位モデルセット３
３の識別番号４３と変換手段で変換されたラベル情報４
４及び音響パラメータ２２の系列を携帯電話網を介して
サーバに送信する。

【００６８】サーバのラベル情報受信手段ｈは、携帯電
話網を介してクライアントから音声単位モデルセットの
識別番号４３とラベル情報４４及び音響パラメータ２２
の系列を受信する。

【００６９】ラベル情報変換手段ｌは、ラベル情報４４
に変換されたフレームについてのみ、ラベル情報受信手
段ｈで受信された音声単位モデルセットの識別番号４３
により、クライアントの音声単位モデルセット格納手段
ｃに格納された音声単位モデルを一意に特定し、その音
声単位モデルセット３３と認識用モデルセット格納手段
ｉに格納された認識用モデルセット８８との対応表５５
を対応表保持手段ｋから取り出し、それを用いて、ラベ
ル情報受信手段ｈで受信された音声単位のラベル情報４
４を認識用モデルセット格納手段ｉに格納された認識用
モデルセット８８に対応した変換ラベル情報６６に変換
して合成手段ｍに送り、音響パラメータのフレームはそ
のまま音響パラメータを合成手段ｍに送る。

【００７０】合成手段ｍは、ラベル情報のフレームの
み、ラベル情報変換手段ｌにより変換された変換ラベル
情報６６と認識用モデルセット格納手段ｉに格納された
認識用モデルセット８８から合成音響パラメータ８８を
合成して、合成音響パラメータ８８とラベル情報変換手
段ｌから送られた音響パラメータが混在した音響パラメ
ータの系列を照合手段ｎに送る。

【００７１】これにより、合成音響パラメータ７７の音
響パラメータ２２に対する近似精度が十分に高くないフ
レームでは、クライアントの抽出手段ｃで抽出された音
響パラメータ２２を、合成音響パラメータ７７の音響パ
ラメータ２２に対する近似精度が十分に高いフレームで
は、サーバの合成手段ｍで合成された合成音響パラメー
タ７７を照合手段ｎで照合に用いるため、クライアント
からサーバへ通信される情報量を削減し、通信料を節約
することと、かつ、サーバで高い認識結果を得ることを
両立させることができる。

【００７２】（実施例３）図７は、実施例３のブロック
図であって、図１に示した実施例１と比較すると、この
実施例３では、音声単位モデルセット格納手段ｃに格納
された音声単位モデルと認識用モデルセット格納手段ｉ
に格納された音声単位モデルが同一の場合の例を示して
おり、実施例１では必須であった、対応表保持手段ｋ、
ラベル情報変換手段ｌは不要であり、音声単位モデルの
セットを示す識別番号は不要であって、変換ラベル情報
６６の代りにラベル情報４４のみを合成手段ｍに供給す
ればよい。

【００７３】合成手段ｍでは、認識用モデルセット格納
手段ｉに格納された、音声単位モデルセット格納手段ｃ
に格納されたのと同じ音声単位モデルセット３３を参照
してラベル情報４４から合成音響パラメータ７７を合成
する。その処理内容は実施例１のそれと同様である。ま
た、照合手段ｎでの処理も実施例１のそれと同様であ
る。

【００７４】以下では、クライアントからサーバへ通信
される情報量とサーバでの認識率の関係を調べるために
行った評価実験の結果を例示する。

【００７５】認識語彙は、不特定話者５２０単語であ
る。クライアントの音声単位モデルセット格納手段ｃに
格納された音声単位モデルセット３３とサーバの認識用
モデルセット格納手段ｉに格納された認識用モデルセッ
ト８８は同一とし、７００個の音響イベントを１つの正
規分布を持ち、１つの状態から成るＨＭＭでモデル化し
たものを用いた。

【００７６】図８に、ラベル情報に変換するかどうかの
判断をするためのしきい値を変動させた時の女性１名の
５２０単語の音声データ（自動車雑音がＳＮＲ８ｄＢで
重畳されている）の認識率、ラベル情報に変換されたフ
レームの割合とクライアントからサーバへ通信される情
報量の関係を示す。

【００７７】横軸は、ラベル情報に変換するかどうかの
判断をするためのしきい値を示す。縦軸は、認識率（単
位％）、ラベル情報に変換されたフレームの割合（ラベ
ル情報変換率）（単位％）とクライアントからサーバへ
通信される情報量（単位ｋｂｐｓ＊５倍）を示す。

【００７８】情報量の計算においては、ラベル情報は１
０ビット、音響パラメータは１６０ビット（１６ビット
＊１０次元）として計算した。従って、ラベル情報に変
換されるフレームでは１０ビットのラベル情報が、ラベ
ル情報に変換されずに音響パラメータのままのフレーム
は１６０ビットの音響パラメータが、クライアントから
サーバに通信されることになる。

【００７９】図８のグラフは、●が認識率、■がラベル
情報変換率、▲が情報量である。

【００８０】横軸のしきい値は、音響パラメータに対し
て、最大の類似度を持つ音響イベントの類似度に対する
しきい値である。ここで、類似度は、音響パラメータに
対する音響イベントのＨＭＭの確率値の対数値である。

【００８１】図８において、しきい値−４０以上の場
合、ラベル情報変換率が０％であるので、全てのフレー
ムにおいて、音響パラメータをラベル情報に変換しない
ことを意味しており、クライアントからサーバへ通信さ
れるのは音響パラメータのみという場合に当たる。この
場合に、認識率は９２％であり、情報量は１６ｋｂｐｓ
である。

【００８２】一方、しきい値−７５以下では、ラベル情
報変換率が９９％であるので、ほとんど全てのフレーム
において、音響パラメータがラベル情報に変換されるこ
とを意味しており、クライアントからサーバへ通信され
るのはほとんどがラベル情報という場合に当たる。この
場合に、認識率は７８％であり、情報量は１．１ｋｂｐ
ｓである。

【００８３】上記の予想通り、全てのフレームの音響パ
ラメータをラベル情報に変換して、クライアントからサ
ーバに送信する場合は、音響パラメータを送信する場合
に比べて、１４％の認識率低下が起こるものの、クライ
アントからサーバへの通信に伴う情報量は、約７％に圧
縮される。

【００８４】このケースにおいては、しきい値−５５、
ラベル情報変換率４９％、認識率８９％、情報量８．６
ｋｂｐｓという設定が好ましいと判断されるが、実際に
は、認識率の低下分と情報量の削減に伴う通信料の節約
効果を勘案して、適切なしきい値を適宜選択すれば良
い。

【００８５】最後に、上記では、クライアントを携帯電
話、サーバを携帯電話網の中のサーバに設置された音声
認識装置として説明したが、クライアントをＰＣ、サー
バをインターネット網の中のサーバに設置された音声認
識装置であってもよい。また、クライアントが携帯電話
で、サーバが携帯電話網と接続されたインターネット網
の中のサーバに設置された音声認識装置の組み合わせで
もよいし、クライアントがＰＣで、サーバがインターネ
ット網と接続された携帯電話網の中のサーバに設置され
た音声認識装置の組み合わせでも良いことは言うまでも
ない。

【００８６】

【発明の効果】以上説明したように、本発明によれば、
通信手段を介して伝送される音声情報に対して高い音声
認識性能を得ることができる。また、通信手段内の伝送
量を少なくすることができるので、通信手段内のトラフ
ィックの増大にも対応することができる。

【図面の簡単な説明】

【図１】本発明の実施例のブロック図である。

【図２】３つの状態から成る音韻のＨＭＭの構造を説明
する図である。

【図３】音韻のＨＭＭから分解された１つの状態から成
るＨＭＭの構造を説明する図である。

【図４】１つの状態から成る音声単位の接続を制約する
ネットワークの構造を説明する図である。

【図５】変換手段ｄの説明図である。

【図６】合成手段ｍの説明図である。

【図７】本発明の他の実施例のブロック図である。

【図８】本発明の効果を示す実験結果の説明図である。

【図９】音韻の分類１（音声単位モデルの識別番号１）
を表す表１を示す図である。

【図１０】ラベル情報のフォーマット１を表す表２を示
す図である。

【図１１】ラベル情報のフォーマット２を表す表３を示
す図である。

【図１２】音韻の分類２（音声単位モデルの識別番号
２）を表す表４を示す図である。

【図１３】「きゃ」に関する対応表を表す表５を示す図
である。

【図１４】音韻の分類３（音声単位モデルの識別番号
３）を表す表６を示す図である。

【図１５】「だ」行に関する対応表を表す表７を示す図
である。

【図１６】「きゃ」に関するラベル情報４４のフォーマ
ットを表す表８を示す図である。

【図１７】「きゃ」に関する変換ラベル情報６６のフォ
ーマットを表す表９を示す図である。

【符号の説明】

Ｃ クライアント Ｓ サーバ ａ 入力手段 ｂ 抽出手段 ｃ 音声単位モデルセット格納手段 ｄ 変換手段 ｅ ラベル情報送信手段 ｆ 認識結果受信手段 ｇ 出力手段 ｈ ラベル情報受信手段 ｉ 認識用モデルセット格納手段 ｊ ラベル系列記憶手段 ｋ 対応表保持手段 ｌ ラベル情報変換手段 ｍ 合成手段 ｎ 照合手段 ｏ 認識結果送信手段 ００ アナログ音声信号 １１ デジタル音声信号 ２２ 音響パラメータ ３３ 音声単位モデルセット ４３ 識別番号 ４４ ラベル情報 ５５ 対応データ ６６ 変換ラベル情報 ７７ 合成音響パラメータ ８８ 認識用モデルセット ９９ ネットワークデータ １００ 認識結果 １１０ 出力結果

フロントページの続き (56)参考文献 特開 平３−132797（ＪＰ，Ａ) 特開 平10−260692（ＪＰ，Ａ) 特開 昭62−178999（ＪＰ，Ａ) 特開2001−142487（ＪＰ，Ａ) 特開2001−195087（ＪＰ，Ａ) 特開 平10−285275（ＪＰ，Ａ) 特開 昭57−88500（ＪＰ，Ａ) 特開2000−284799（ＪＰ，Ａ) 国際公開97／007498（ＷＯ，Ａ１) 小坂、植山、櫛田、山田、小森，スカ ラ量子化を利用したクライアント・サー バ型音声認識の実現とサーバ部の高速化 の検討，電子情報通信学会技術研究報告 ［音声］，日本，1999年12月21日，ＮＬ Ｃ99−52 ＳＰ99−120，Ｐａｇｅｓ 31−36 Ｖ． Ｄｉｇａｌａｋｉｓ， Ｌ． Ｎｅｕｍｅｙｅｒ ａｎｄ Ｍ． Ｐｅ ｒａｋａｋｉｓ，Ｑｕａｎｔｉｚａｔｉ ｏｎ ｏｆ ｃｅｐｓｔｒａｌ ｐａｒ ａｍｅｔｅｒｓ ｆｏｒ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｏｖｅｒ ｔｈｅ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅ ｂ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔ ｈｅ 1998 ＩＥＥＥ Ｉｎｔｅｒｎａ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅ ｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃ ｅｓｓｉｎｇ，米国，1998年 ５月12 日，Ｖｏｌ．２，Ｐａｇｅｓ 989−992 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/00 - 19/14 ＪＩＣＳＴファイル（ＪＯＩＳ) ＩＥＥＥ Ｘｐｌｏｒｅ

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 クライアントにおいて、音声情報に対し
   て音声認識処理の一部の処理を実行した後、前記音声情
   報を圧縮し、前記圧縮された音声情報を通信手段を介し
   てサーバに送信し、前記サーバにおいて、受信した前記
   圧縮された音声情報に対して前記音声認識処理の残りの
   処理を実行する音声認識方法であって、 前記音声認識処理の一部の処理は、音声情報から第１音
   響パラメータを抽出する処理を含み、 前記音声情報を圧縮する処理は、所定の類似度以上の類
   似度を持つ音声単位モデルが得られた第１音響パラメー
   タを選択し、選択された第１音響パラメータに関しての
   み音声単位モデルを表す選択第１ラベル情報に変換し、
   残りの第１音響パラメータは、ラベル情報に変換しない
   処理を含み、 前記音声認識処理の残りの処理は、前記選択第１ラベル
   情報から選択第２音響パラメータを合成し、合成された
   選択第２音響パラメータと前記残りの第１音響パラメー
   タから類似度が最も高い語彙単語を音声認識結果として
   選出する処理を含むことを特徴とする音声認識方法。
2. 【請求項２】 音声情報に対して音声認識処理の一部の
   処理を実行する第１音声認識処理手段と、前記第１音声
   認識処理手段によって音声認識処理の一部の処理が実行
   された音声情報を圧縮する圧縮手段と、前記圧縮手段か
   ら出力された音声情報を送信する送信手段とを具えたク
   ライアントであって、 前記第１音声認識処理手段は、音声信号から一定のフレ
   ーム周期で周波数分析を行い、第１音響パラメータを抽
   出する抽出手段を有し、 前記圧縮手段は、音声認識用の音声単位モデルセットを
   格納する音声単位モデルセット格納手段と、前記抽出さ
   れた第１音響パラメータを前記音声単位モデルセット格
   納手段に格納された音声単位モデルを表す第１ラベル情
   報に変換する変換手段とを有し、 前記音声単位モデルセット格納手段は、前記音声単位モ
   デルセットの識別番号をさらに格納し、 前記送信手段は、前記音声単位モデルセット格納手段に
   格納された音声単位モデルセットの識別番号をさらに送
   信することを特徴とするクライアント。
3. 【請求項３】 請求項２において、 前記圧縮手段は、所定の類似度以上の類似度を持つ音声
   単位モデルが得られた第１音響パラメータを選択し、選
   択された第１音響パラメータに関してのみ音声単位モデ
   ルを表す選択第１ラベル情報に変換し、残りの第１音響
   パラメータは、ラベル情報に変換しない処理を実行する
   ことを特徴とするクライアント。
4. 【請求項４】 請求項２のクライアントから送信された
   前記圧縮された音声情報を通信手段を介して受信する受
   信手段と、前記受信手段によって受信された前記圧縮さ
   れた音声情報に対して前記音声認識処理の残りの処理を
   実行する第２音声認識処理手段とを具えたサーバであっ
   て、 前記受信手段は、請求項２のクライアントから送信され
   た前記第１ラベル情報を通信手段を介して受信し、 前記第２音声認識処理手段は、前記受信手段によって受
   信された前記第１ラベル情報から第２音響パラメータを
   合成する合成手段と、前記合成手段によって合成された
   第２音響パラメータから類似度が最も高い語彙単語を音
   声認識結果として選出する選出手段と、音声認識用の音
   声単位モデルセットを格納する認識用モデルセット格納
   手段と、話者の語彙のスペルから所定のルールに従い予
   め抽出された音声単位のラベル系列を記憶するラベル系
   列記憶手段と、互いに異なる２つの音声単位モデルセッ
   トの音声単位モデル相互間の対応表を１個以上保持する
   対応表保持手段と、前記受信された音声単位モデルセッ
   トの識別番号に基づいて、前記クライアントの前記音声
   単位モデルセット格納手段に格納された音声単位モデル
   を一意に特定し、前記対応表保持手段における、前記特
   定した音声単位モデルセットと前記認識用モデルセット
   格納手段に格納された音声単位モデルセットとの対応表
   を用いて、前記受信された音声単位の第１ラベル情報を
   前記認識用モデルセット格納手段に格納された音声単位
   モデルセットからなる第２ラベル情報に変換するラベル
   情報変換手段とを有し、 前記合成手段は、前記ラベル情報変換手段により変換さ
   れた第２ラベル情報と前記認識用モデルセット格納手段
   に格納された音声単位モデルセットとから第２音響パラ
   メータ系列を合成し、 前記選出手段は、前記認識用モデルセット格納手段に格
   納された認識用モデルセットに基づき、前記ラベル系列
   記憶手段に記憶された語彙単語に対する音声単位のラベ
   ル系列と前記合成手段で合成された第２音響パラメータ
   系列との類似度を計算して照合を行い、最も類似度の高
   い語彙単語を認識結果として選出する照合手段を有する
   ことを特徴とするサーバ。
5. 【請求項５】 請求項４において、 前記第２音声認識処理手段は、前記受信手段によって受
   信された前記第１音響パラメータを、前記第２音響パラ
   メータの代りに、そのまま、前記選出手段に供給するこ
   とを特徴とするサーバ。
6. 【請求項６】 請求項２または３のクライアントと、請
   求項４または５のサーバとを具えたことを特徴とする音
   声認識システム。