JP4270943B2

JP4270943B2 - 音声認識装置

Info

Publication number: JP4270943B2
Application number: JP2003153121A
Authority: JP
Inventors: 裕三丸田; 知弘岩▲さき▼
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2009-06-03
Anticipated expiration: 2023-05-29
Also published as: JP2004354760A

Description

【０００１】
【発明の属する技術分野】
この発明は話者間で対話を行う場合に各話者の発話をそれぞれの言語モデルを使用して音声認識を行う音声認識装置に関するものである。
【０００２】
【従来の技術】
従来の音声認識装置において、使用者の発話しようとする内容（話題）や相手に応じて、データ選択部において音声認識に用いる言語モデルまたはコーパス（Ｃｏｒｐｕｓ：テキストファイルされた大規模な言語の資料で、言語の記述や分析の便宜に供されるもの）をデータ記憶部から選択してデータ変換部において音声認識で利用するフォーマットに変換した後、音声認識部で発話内容や相手に適した言語モデルを使用して音声認識を行うことにより、音声認識精度を向上させるようにしたものがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１３４２８５号公報（第１図）
【０００４】
【発明が解決しようとする課題】
従来の音声認識装置は、以上のような構成からなるので、次のような問題があった。例えば顧客とオペレータからなるコールセンター業務において、双方の会話を記録するために、各話者に対応して音声認識手段と言語モデルを構成する装置が各々１台ずつ設置される場合を想定すると、このようなケースでは、ある話者で話題が変化した際に、その話者の音声認識装置では言語モデルを切り替えることが可能となるが、他の話者はそれを知ることができず、言語モデルの迅速な切り替えに対応できない。また、ある話者で新しい単語を登録しても、他の話者の言語モデルにはそれが自動的に反映されないので他の話者側でもその単語を新規に登録する必要がある。さらに、コーパスから言語モデルを作成する場合、話者による特定の傾向を反映できるような言語モデルを作成できない。
【０００５】
この発明は上記のような問題を解決するためになされたもので、複数話者にそれぞれの言語モデルを設けた場合に、ある話者の発話の音声認識に対して、他の話者の音声認識がそれに迅速に追従できるように、使用する各話者の言語モデルを共通化する音声認識装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る音声認識装置は、少なくとも一対の話者間で対話を行う場合に話者の発話を言語モデルを使用して音声認識処理する音声認識装置において、話者ごとに設けられ、用途に応じて分けられた複数の言語モデルと、話者による発話をその話者側の複数の言語モデルからそれぞれ認識し、それぞれの認識結果を比較して最も尤もらしい認識結果を与える言語モデルを当該発話に対して最適な言語モデルであると判定して最終的な認識結果として出力する音声認識手段と、話者ごとに設けられ、判定された最適な言語モデルを選定し、通知手段を介して選定した言語モデルを示す選定情報を他の話者側に通知し、他の話者側からの選定情報の通知を受けたときには当該選定情報で示される他の話者側で選定された言語モデルの用途に対応させて自話者側の言語モデルを設定する言語モデル選定手段を備えたものである。
【０００７】
【発明の実施の形態】
以下、この発明の各実施の形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による音声認識装置の構成を示すブロック図で、顧客とオペレータがそれぞれ音声認識処理を行って、苦情などの応対をテキスト化して記録するような場合を想定した例について示している。図において、左が顧客側、右がオペレータ側を示す。顧客側は、音声認識手段１０１、言語モデル選定手段１０２および顧客言語モデル１０３，１０４，１０５で構成され、オペレータ側は、音声認識手段１１１、言語モデル選定手段１１２およびオペレータ言語モデル１１３，１１４，１１５で構成されている。顧客側の言語モデル選定手段１０２とオペレータ側の言語モデル選定手段１１２の間には電話回線やインターネットなどによる選定言語モデル通知手段（通知手段）１２０が設けられている。ここで、顧客側の言語モデル１０３〜１０５は用途に応じて分けられており、例えばテレビに関する言語モデル、コンピュータに関する言語モデル、エアコンに関する言語モデルとし、他方のオペレータ側の言語モデル１１３〜１１５は、顧客側の言語モデル１０３〜１０５に対応して、それぞれテレビに関する言語モデル、コンピュータに関する言語モデル、エアコンに関する言語モデルとする。顧客の言い回しとオペレータの言い回しは異なるので、顧客言語モデル１０３とオペレータ言語モデル１１３は必ずしも同一ではない。
【０００８】
次に動作について説明する。図２は実施の形態１に係る動作を説明するフローチャートである。
顧客がオペレータに対して発話すると、その音声は顧客側の音声認識手段１０１に入力される（ステップＳＴ１０１）。顧客側の音声認識手段１０１は、予め用意されている複数の言語モデル１０３〜１０５をそれぞれ使って音声認識処理を行い（ステップＳＴ１０２）、各言語モデルに対応した認識結果を出力する（ステップＳＴ１０３）。言語モデルが与えられた下で音声認識処理を行うことは、例えば特開２００２−９１４７７号公報に記載された技術などを用いればよい。
【０００９】
次に、各言語モデルに対応した認識結果を比較し、最も尤もらしい認識結果を与える言語モデル（すなわち、認識結果に付随する認識尤度が最も高い値を与える言語モデル）を、この発話に対して最適な言語モデルであると判定し、最終的な認識結果として出力する（ステップＳＴ１０４）。判定された言語モデルがどれであるかが決まると、言語モデル選定手段１０２は、その言語モデルを自音声認識装置の言語モデルとして選定し、また、その選定情報を選定言語モデル通知手段１２０がオペレータ側の音声認識装置の言語モデル選定手段１１２に通知する（ステップＳＴ１０５）。以降に行われる顧客の発話に対応するためステップＳＴ１０１に戻る。
【００１０】
一方、オペレータ側では、言語モデル選定手段１１２は、最初に使用する言語モデルを初期設定している。初期設定する言語モデルとしては、苦情で最も多い製品の言語モデルでも、すべての言語モデルを統合したものでもよい（ステップＳＴ１１１）。次にオペレータの発声があった時（ステップＳＴ１１２）、選定言語モデル通知手段１２０から通知があった場合には、言語モデル設定手段１１２は通知された言語モデルに対応した言語モデルを設定する（ステップＳＴ１１４）。次に音声認識手段１１１はその言語モデルを用いて、オペレータ発声を認識し、その認識結果を出力する（ステップＳＴ１１５）。以降は次のオペレータ発声に対応するためステップＳＴ１１２に戻る。
【００１１】
具体的な発話例をあげて説明する。
まず、顧客が「テレビの画面が暗いのですが」と発声したとする。各言語モデルで認識した後、顧客言語モデル（テレビ関連）１０３で認識した結果はテレビ関連の語彙が用意されているので、認識結果は正しく「テレビの画面が暗いのですが」と認識され、その尤度も高いことが予想される。一方、顧客言語モデル（コンピュータ関連）１０４では、テレビ関連の語彙が十分でないので、例えば「ケーブルの画面が暗いのですが」などと誤認識する。この場合、一般に尤度は顧客言語モデル１０３で認識した正解の場合より低くなる。同様に顧客言語モデル（エアコン関連）１０５では、例えば「リモコンの断面がフラップなのですが」というように誤認識し、その尤度は顧客言語モデル１０３で認識した正解の場合より低くなる。次に顧客側の音声認識手段１０１は、それらの認識結果を比較し、もっとも高い尤度を与える顧客言語モデル１０３を選択言語モデルとする。
【００１２】
次に、選定言語モデル通知手段１２０は、選択された「顧客言語モデル１」をオペレータ側の言語モデル選定手段１１２に通知する。その後、オペレータが発声した際にオペレータ側の言語モデル選定手段１１２は、通知された顧客言語モデルに対応したオペレータ言語モデル１１３を設定する。オペレータが「液晶テレビでしょうか」というようなテレビ関連に特有な語彙を含むような発声をした場合に高い認識精度で認識することが可能になる。また、次に話題が替わって「エアコンのフィルタも目詰まりしているのですが」と顧客が発声した場合、同様な手続きによって、顧客言語モデル（エアコン関連）１０５が選択され、オペレータ発声の認識もオペレータ側の言語モデル（エアコン関連）１１５に変更される。そのため、話題がエアコンに話題が替わった後のオペレータの応答も高精度で認識することが可能となる。なお、上記説明では、通知される言語モデルの情報が顧客側からオペレータ側への通行のみについて説明したが、双方向に言語モデルの情報を通知する構成としてもよい。
【００１３】
以上のようにこの実施の形態１によれば、用途に応じて分けられた複数の言語モデルを話者ごとに設け、音声認識手段が、話者による発話をその話者側の複数の言語モデルからそれぞれ認識し、それぞれの認識結果を比較して最も尤もらしい認識結果を与える言語モデルを当該発話に対して最適な言語モデルであると判定して最終的な認識結果として出力し、言語モデル選定手段を話者ごとに設け、判定された最適な言語モデルを選定し、通知手段を介して選定した言語モデルの選定情報を他の話者側の言語モデル選定手段に通知し、他の話者側の言語モデル選定手段からの選定情報の通知を受けたときには他の話者側で選定され言語モデルに対応する自話者側の言語モデルを自話者の音声認識処理用に設定するようにしている。したがって、一方の話者の話題の変更などにより最適な言語モデルが変更になった場合、他方の話者の言語モデルも迅速にその話題に追随できるように設定可能となり、使用する各話者の言語モデルを自動的に共通化して全体の認識性能を向上させる効果が得られる。
【００１４】
実施の形態２．
図３はこの発明の実施の形態２による音声認識装置の構成を示すブロック図である。この実施の形態２も顧客とオペレータがそれぞれ音声認識処理を行って、苦情などの応対をテキスト化して記録するような場合を想定した例である。図において、オペレータ側は、音声認識手段２０１、音声認識手段２０１が認識の際に用いる言語モデル２０２、言語モデルに対して新語を登録する単語登録手段２０３の構成を備え、一方の顧客側も同様に音声認識手段２１１、言語モデル２１２、単語登録手段２１３を備えている。そして、両単語登録手段２０３，２１３間には電話回線やインターネットなどを用いた登録単語通知手段（通知手段）２０４を備える。
【００１５】
次に動作について説明する。図４は実施の形態２に係る動作を説明するフローチャートである。
オペレータ側は、新製品を発売した場合などに、その製品名を新語または文を単語登録手段２０３により登録する（ステップＳＴ２０１）。単語登録の具体的な方法については、例えば特開２００２−９１４７７号公報に開示されているような技術を用いて行う。単語登録手段２０３は、言語モデル２０２に対して単語または文の登録を行って言語モデルを更新した（ステップＳＴ２０２）後、単語登録通知手段２０４に、登録された単語情報（単語表記、単語読みなど）または文などの更新情報を、単語登録通知手段２０４を介して通知する（ステップＳＴ２０３）。
【００１６】
単語登録通知手段２０４はこの更新情報を顧客側の単語登録手段に通知する（ステップＳＴ２０４）。通知を受けた顧客側の単語登録手段２１３は更新情報を用いて言語モデル２１２に対して単語または文の登録を行う（ステップＳＴ２０５）。
【００１７】
以上のように、この実施の形態２によれば、各話者側に単語登録手段を設け、各話者の言語モデルに単語または文を登録し、通知手段を介して他の話者側に登録の更新情報を通知し、前記他の話者側からの更新情報の通知を受けたときには自話者側の言語モデルに前記他の話者側の言語モデルに登録されたと同じ単語または文を登録するようにしている。したがって、一方の話者の言語モデルに登録された単語または文が他の話者側でも速やかに反映され、使用する各話者の言語モデルを自動的に共通化するため、それぞれの話者が個別に言語モデルに個別に登録する手間がなくなり、利便性が向上する効果が得られる。
なお、実施の形態２は、実施の形態１の各言語モデルに対しても適用できるものである。
【００１８】
実施の形態３．
図５はこの発明の実施の形態３による音声認識装置の構成を示すブロック図である。この実施の形態３も顧客とオペレータがそれぞれ音声認識処理を行って、苦情などの応対をテキスト化して記録するような場合を想定した例である。図において、オペレータ側は音声認識手段３０１、音声認識手段３０１が認識の際に用いる言語モデル３０２を備え、一方の顧客側も音声認識手段３１１、言語モデル３１２を同様に備えている。オペレータ側と顧客側の言語モデル３０２，３１２間には話者対応文作成装置３００が各話者側と共用できるように設置され、それぞれの話者に適した文を作成し出力するようになっている。この話者対応文作成装置３００において、言語モデル作成手段３０３が言語モデル３０２，３１２に接続され、これにオペレータ用会話調コーパス３０４と顧客用会話調コーパス３１４が接続されている。これら会話調コーパス３０４，３１４には会話調変換手段３０６が接続され、会話調変換手段３０６にはオペレータ用変換情報記憶手段３０５、顧客用変換情報記憶手段３１５、会話調変換手段３０６、形態素解析手段３０７が接続されている。また、形態素解析手段３０７にはコーパス３０８が接続されている。
【００１９】
次に動作を説明する。図６は実施の形態３に係る動作を説明するフローチャート、図７は動作に使用する会話調文を例示する説明図である。
まず形態素解析手段３０７はコーパス３０８内の文を読み込み、形態素に分割して出力する（ステップＳＴ３０１）。次に、会話調変換手段３０６は、分割された形態素と各話者に適した変換情報を参照して、会話調コーパスを作成する。例えば、「モニタは緑色か」という文がコーパスにあった場合、形態素解析手段３０７の出力結果は、「モニタ（名詞）」、「は（格助詞）」、「緑色（名詞）」、「か（終助詞）」となる。次に会話調変換手段３０６は、オペレータ用変換情報記憶手段３０５に記憶されているオペレータ用の会話調の変換情報を参照して、終助詞の「か」を「でございますか」と変換して、各形態素をつなぎ合わせて文を再構成し、「モニタは緑色でございますか」をいう文を作成し、オペレータ用会話調コーパス３０４に蓄積する。同様に、顧客用変換情報記憶手段３１５に記憶されている顧客用の変換情報を参照して、「モニタは緑色ですか」という文を作成し、顧客用会話調コーパス３１４に蓄積する（ステップＳＴ３０２）。
【００２０】
次に言語モデル作成手段３０３は、各話者に対応する会話調コーパス３０４，３１４からそれぞれの言語モデル３０２，３１２を作成する（ステップＳＴ３０３）。コーパスから言語モデルを作成することについては、例えば特開２００２−２２９５８８号公報に開示されている技術によって行うことができる。このように、話者ごとの特徴ある会話調コーパスから作成した言語モデル３０２，３１２を使って、音声認識手段３０１，３１１は、話者の発話を認識するようにしている。
【００２１】
以上のように、この実施の形態３によれば、各話者が共用できるように設置され、それぞれの話者に適した文を作成し出力する話者対応文作成装置を備え、この話者対応文作成装置において、形態素解析手段がコーパス内の文を読み込み、当該文を形態素に分割し、会話調変換手段が、分割された形態素に対して各話者ごとに設けられた変換情報記憶手段から各話者に適した会話調の変換情報を適用して各形態素をつなぎ合わせて各話者用の文を再構成し、再構成された各話者用の文を話者ごとの会話調コーパスに蓄積し、言語モデル作成手段により、これら会話調コーパスから再構成された話者用の文をそれぞれ抽出し、それぞれの話者の言語モデルに登録するようにしている。したがって、同じコーパスから、話者ごとの特定の傾向を反映した文を作成して各言語モデルを共通化し、全体として認識性能を向上させる効果が得られる。
【００２２】
以上述べてきた各実施の形態においては、音声認識手段は、顧客とオペレータで別々に備えていたが、これを１つの音声認識手段で共通化させても同様な効果が得られる。また、各実施の形態では、話者が２名の例で示してきたが、話者が多数であっても同様に構成し、同様な効果を奏することができる。また、各手段はハードウエア、ソフトウエアのいずれでも構成できることはいうまでもない。また、ソフトウエアによって構成する場合には、そのソフトウエアプログラムを記録した記録媒体が必要となる。また、このプログラムが通信媒体を介してダウンロードされるようにしてもよい。
【００２３】
【発明の効果】
以上のように、この発明によれば、少なくとも一対の話者間で対話を行う場合に話者の発話を言語モデルを使用して音声認識処理する音声認識装置において、話者ごとに設けられ、用途に応じて分けられた複数の言語モデルと、話者による発話をその話者側の複数の言語モデルからそれぞれ認識し、それぞれの認識結果を比較して最も尤もらしい認識結果を与える言語モデルを当該発話に対して最適な言語モデルであると判定して最終的な認識結果として出力する音声認識手段と、話者ごとに設けられ、判定された最適な言語モデルを選定し、通知手段を介して選定した言語モデルの選定情報を他の話者側に通知し、他の話者側からの選定情報の通知を受けたときには他の話者側で選定され言語モデルに対応させて自話者側の言語モデルを設定する言語モデル選定手段を備えるように構成したので、一方の話者の話題の変更などにより最適な言語モデルが変更になった場合、他方の話者の言語モデルも迅速にその話題に追随できるように設定可能となり、使用する各話者の言語モデルを共通化して全体の認識性能を向上させる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による音声認識装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る動作を説明するフローチャートである。
【図３】この発明の実施の形態２による音声認識装置の構成を示すブロック図である。
【図４】この発明の実施の形態２に係る動作を説明するフローチャートである。
【図５】この発明の実施の形態３による音声認識装置の構成を示すブロック図である。
【図６】この発明の実施の形態３に係る動作を説明するフローチャートである。
【図７】この発明の実施の形態３に係る動作に使用する会話調文を例示する説明図である。
【符号の説明】
１０１，１１１，２０１，２１１，３０１，３１１音声認識手段、１０２，１１２言語モデル選定手段、１０３，１０４，１０５顧客言語モデル、１１３，１１４，１１５オペレータ言語モデル、１２０選定言語モデル通知手段（通知手段）、２０２，２１２，３０２，３１２言語モデル、２０３，２１３単語登録手段、２０４登録単語通知手段（通知手段）、３００話者対応文作成装置、３０３言語モデル作成手段、３０４オペレータ用会話調コーパス、３０５オペレータ用変換情報記憶手段、３０６会話調変換手段、３０７形態素解析手段、３０８コーパス、３１４顧客用会話調コーパス、３１５顧客用変換情報記憶手段。

Claims

少なくとも一対の話者間で対話を行う場合に話者の発話を言語モデルを使用して音声認識処理する音声認識装置において、
話者ごとに設けられ、用途に応じて分けられた複数の言語モデルと、
話者による発話をその話者側の複数の言語モデルからそれぞれ認識し、それぞれの認識結果を比較して最も尤もらしい認識結果を与える言語モデルを当該発話に対して最適な言語モデルであると判定して最終的な認識結果として出力する音声認識手段と、
話者ごとに設けられ、判定された前記最適な言語モデルを選定し、通知手段を介して選定した言語モデルを示す選定情報を他の話者側に通知し、前記他の話者側からの選定情報の通知を受けたときには当該選定情報で示される前記他の話者側で選定された言語モデルの用途に対応させて自話者側の言語モデルを設定する言語モデル選定手段を備えたことを特徴とする音声認識装置。
少なくとも一対の話者間で対話を行う場合に話者の発話を言語モデルを使用して音声認識処理する音声認識装置において、
話者ごとに設けられた言語モデルと、
話者による発話をその話者側の言語モデルを用いて認識し、認識結果を出力する音声認識手段と、
前記言語モデルに単語または文を登録し、通知手段を介して他の話者側に登録の更新情報を通知し、前記他の話者側からの更新情報の通知を受けたときには自話者側の言語モデルに前記他の話者側の言語モデルに登録されたと同じ単語または文を登録する単語登録手段を備えたことを特徴とする音声認識装置。
言語モデルに対して単語または文を登録し、この登録の更新情報を他の話者側に通知手段を介して通知し、前記他の話者側からの更新情報の通知を受けたときには自話者側の言語モデルに前記他の話者側の言語モデルに登録されたと同じ単語または文を登録する単語登録手段を備えたことを特徴とする請求項１記載の音声認識装置。