JP5105943B2

JP5105943B2 - 発話評価装置及び発話評価プログラム

Info

Publication number: JP5105943B2
Application number: JP2007106245A
Authority: JP
Inventors: 亨今井; 真一本間; 和穂尾上
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2007-04-13
Filing date: 2007-04-13
Publication date: 2012-12-26
Anticipated expiration: 2027-04-13
Also published as: JP2008262120A

Description

本発明は、発話の善し悪しの評価、特に、発話の善し悪しの評価を利用したアナウンサーなどの発話訓練、及び発話の善し悪しをゲームとして楽しむエンターテイメントを実現する発話評価装置及び発話評価プログラムに関する。

従来、人間の発話の善し悪しを評価する発話評価装置及び発話訓練装置は、発話評価装置によって順次提示される特定の単語列を利用者に発話させ、その発話の発音、抑揚（イントネーション）、発話速度などを評価するものであった（例えば、特許文献１、特許文献２及び特許文献３参照）。しかし、これらの装置は、発話の手本となるアナウンサーなどの音声や抑揚（イントネーション）などの情報をあらかじめ保存しておき、これら装置が発話内容を利用者に指定することで、手本となる発話と利用者の発話を比較するものであった。したがって、これらの装置によれば、利用者が発話したいと望む任意の単語列に対して、その発話の善し悪しを評価することは不可能であった。

例えば、株価を明瞭かつ高速に読み上げるアナウンス訓練のために、その目的のために設計されていない発話評価装置を利用して、利用者自らが発話内容を変更して評価させることはできなかった。また、これらの装置は、不特定多数の利用者が想定される使用環境において、子供、若者、年配、高齢者、発話に関して専門性を有するアナウンサーなど、様々な利用者ルベルにあわせた発話内容を装置自身が容易に指定することは困難であり、発話の善し悪しをゲームとして楽しむエンターテイメント装置への応用が困難であった。

発話の善し悪しをゲームとして楽しむ従来のエンターテイメント装置は、各クイズに対して予め定めておいた数個の解答候補の発話のみを音声認識で受け付けるようになっており、利用者が発話したいと望む任意の単語列を受け付けるものではなかった（例えば、特許文献４参照）。

任意の発話内容を評価する従来の装置としては、発話速度のみを評価する装置はあるが、発音の善し悪しを評価するものではない（例えば、特許文献５、特許文献６及び特許文献７参照）。また、これらは、局所的な音響特徴量のみに基づいて発話速度を推定しており、言語的な情報をまったく利用していないため、発話速度の測定誤差は大きく、特にエンターテイメント装置として早口言葉の善し悪しを評価するような用途には向かない。

特開平１１−１４３３４６号公報特開２００３−１８６３７９号公報特開２００６−３３７６６７号公報特開２００２−１５９７４１号公報特開平５−２８９６９１号公報特開平７−２９５５８８号公報特開２００５−３３１５８９号公報

本発明の目的は、利用者が発話したいと望む任意の単語列について、直接又は間接的に取得した音声データについて音声認識した単語列（即ち、後述する発話単語列）が、予め定められた評価単語列と類似している場合には、より高精度、且つより多くの評価内容を示すとともに、その発話の善し悪しを評価する発話評価装置及び発話評価プログラムを提供することにある。

本発明による発話評価装置は、音声データを分析して評価する発話評価装置であって、音声データを評価するための所定の評価単語列を１つ以上含む評価単語列リスト、並びに言語モデル、発音辞書及び音響モデルを格納する記憶手段と、前記言語モデル、前記発音辞書及び前記音響モデルに基づいて、音声データを音声認識して発話単語列に変換するとともに、前記発音辞書及び前記音響モデルに基づいて、前記発話単語列の音質の分析結果を生成する大語彙連続音声認識手段と、前記分析結果を表示する表示手段と、前記発話単語列に対して、単語毎に比較して一致する単語数の最も多い評価単語列を、最高の単語類似率を有する評価単語列として前記評価単語列リストから検出する最類似評価単語列検出手段と、前記発話単語列について、少なくとも前記最高の単語類似率、発話速度、及び発音明瞭度を含む評価結果を生成する発話評価手段と、前記最高の単語類似率が第１の閾値を超えた場合には、前記評価単語列リストの中のいずれかの単語列を発声したものとみなして、前記最高の単語類似率を有する評価単語列及び前記評価結果を前記表示手段に表示し、前記最高の単語類似率が第１の閾値以下である場合には、任意の単語列を発声したものとして、前記評価結果のみを前記表示手段に表示する表示制御手段と、を備え、前記発話評価手段は、所定の音響スコアを算出して、前記最高の単語類似率及び前記音響スコアの重み付き線形和によって前記発音明瞭度を導出する手段を有することを特徴とする。

これにより、利用者が発話したいと望む任意の単語列の発話の善し悪しを、音声認識結果の単語列や、昔声波形や声紋(スペクトル)、抑揚(イントネーション)といった各種分析結果から確認することができ、発話内容が予め定めておいた評価単語列と類似しているか否かを判定した上で、単語類似率や発話速度などの評価結果を表示部に表示するため、より高精度、且つより多くの評価結果を提供することが可能となる。また、これにより、利用者は自己の発音の明瞭度を数値で確認することができるようになる。

また、本発明による発話評価装置は、前記評価単語列リストに含まれる評価単語列を用いて、前記言語モデルを学習させる言語モデル重み付け手段を更に備え、前記大語彙連続音声認識手段は、学習した言語モデルに基づいて音声データを発話単語列に変換することを特徴とする。

これにより、評価単語列リストを利用者が望む発話内容について容易に変更可能となり、子供から発話について専門性を有するアナウンサーまで様々なレベルの利用者が、発話評価装置を発話訓練装置として利用することが可能となる。

また、本発明による発話評価装置は、音声データの発話毎の前記発話単語列と一致する正解単語列を前記記憶手段に格納するデータ管理手段を更に備え、前記言語モデル重み付け手段は、前記正解単語列を前記評価単語列リストに加えるとともに、前記正解単語列を用いて前記言語モデルを学習させることを特徴とする。

これにより、利用者が発話したいと望む任意の単語列の一部が、予め作成された言語モデルあるいは前記評価単語列のリストに含まれていない場合であっても、発話ごとの正解単語列（後述する発音記号列を含む）を利用して、前記任意の単語列の発話の善し悪しを、音声認識結果の単語列や、音響スコアといった各種分析結果から確認することができる。

また、本発明による発話評価装置は、前記発話評価手段は、前記評価結果を履歴として前記記憶手段に格納する手段を更に有し、前記最高の単語類似率が第２の閾値を超えたか否かを判定する閾値判定手段、第２の閾値を超える単語類似率と判定した場合に、前記発話単語列についての評価結果のいずれかが前記履歴に対して最高値を示すか否かを判定する最高値判定手段、及び、最高値を示すと判定した場合に、新記録の達成の旨を音声又は映像で通知する手段から構成される新記録達成判定・通知手段を更に備えることを特徴とする。

これにより、早口言葉を早く正確に発話できるかどうかなど、発話の善し悪しをゲームとして楽しめるエンターテイメント装置を実現できる。

更に、本発明の発話評価プログラムは、記憶部及び表示部を備えるコンピュータに、音声データを評価するための所定の評価単語列を１つ以上含む評価単語列リスト、並びに言語モデル、発音辞書及び音響モデルを前記記憶部に格納するステップと、前記言語モデル、前記発音辞書及び前記音響モデルに基づいて、音声データを音声認識して発話単語列に変換するとともに、前記発音辞書及び前記音響モデルに基づいて、前記発話単語列の音質の分析結果を生成する大語彙連続音声認識するステップと、前記分析結果を前記表示部に表示するステップと、前記発話単語列に対して、単語毎に比較して一致する単語数の最も多い評価単語列を、最高の単語類似率を有する評価単語列として前記評価単語列リストから検出する最類似評価単語列検出するステップと、前記発話単語列について、少なくとも前記最高の単語類似率、発話速度、及び発音明瞭度を含む評価結果を生成するステップと、前記最高の単語類似率が第１の閾値を超えた場合にのみ、前記最高の単語類似率を有する評価単語列及び前記評価結果を前記表示部に表示するステップと、を実行させ、前記評価結果を生成するステップは、所定の音響スコアを算出して、前記最高の単語類似率及び前記音響スコアの重み付き線形和によって前記発音明瞭度を導出するステップを含む、発話評価プログラムとして特徴付けられる。

本発明によれば、利用者が発話したいと望む任意の単語列について、直接又は間接的に取得した音声データの発話単語列について、予め定められた評価単語列と類似しているか否かを判定した上で評価内容を表示部に表示するため、利用者は、より高精度、且つより多くの評価内容について、その発話の善し悪しを評価することが可能となる。また、本発明によれば、発話内容を利用者自身が柔軟に変更可能な発話訓練用、或いは又、子供から発話に関して専門的なアナウンサーまで、様々な発話レベルの利用者が発話の善し悪しをゲームとして楽しむことができるエンターテイメント用の装置又はプログラムとしても機能する発話評価装置又は発話評価プログラムを提供できるようになる。

以下、本発明による実施例の発話評価装置について詳細に説明する。

本発明による実施例の発話評価装置についての理解を助けるために、「文字」とは、１文字単位で表されるものを云い、「単語」は、文字の組み合わせからなる１つの用語を意味するもの云い、「単語列」は、単語の組み合わせからなる一区切りで表すことができるものを云う。尚、「単語」及び「単語列」は、音声認識において処理可能なレベルのものであって、説明の便宜において区別しているにすぎず、格段の厳密性が要求されるものではない。例えば、単語列「生麦生米生卵」というときは、（生麦）、（生米）、及び（生卵）が「単語」であり、（生）、（麦）、（米）、及び（卵）が、「文字」である。更に、「評価単語列」は、予め定められた単語列であり、音声認識した単語列（後述する発話単語列）との比較に用いるものを云う。また、「発話単語列」は、後述する大語彙連続音声認識手段８によって、音声データを音声認識した結果の単語列を云う。また、「正解単語列」は、後述する大語彙連続音声認識手段８によって音声認識した発話単語列と一致する内容の単語列を云う。

また、「利用者」とは、本発話評価装置を利用する者を云う。「利用者音声データ」は、利用者の発話した任意の発話区間のディジタル音声データを云う。「基準音声データ」は、利用者の発話したディジタル音声データに対して比較し評価するのに用いる、基準となる任意の発話区間のディジタル音声データを云い、より具体的には、発話に関して専門的な能力を有するアナウンサーによって発話された任意の発話区間のディジタル音声データを云う。

以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は、本発明による実施例の発話評価装置の機能構成を示す図である。発話評価装置１は、データ入力部２、記憶部３、音声入力部４、制御部１６、及び表示部１５を備える。

また、記憶部３は、利用者音声データ又は基準音声データからなる音声データ３ａ、言語モデル、発音辞書、及び音響モデルのデータ（総括して音声認識用モデルデータ３ｂとも称することとする）、１つ以上の評価単語列を含む評価単語列リスト３ｃ、任意の単語列からなる正解単語列データ３ｄ、及び発話評価結果の履歴データ３ｅを格納している。

制御部１６は、データ管理手段５、発話検出手段６、言語モデル重み付け処理手段７、大語彙連続音声認識手段８、分析結果表示制御手段９、認識結果単語列表示制御手段１０、最類似評価単語列検出手段１１、発話評価手段１２、新記録達成判定・通知手段１３、基準音声比較手段１４、及び表示制御手段１７を有している。ここで、最類似評価単語列検出手段１１、新記録達成判定・通知手段１３、基準音声比較手段１４及び表示制御手段１７の各々は、後述するように、各手段での処理結果を表示部１５に送出する機能を有している。

表示部１５には、分析結果表示制御手段９、認識結果単語列表示制御手段１０、最類似評価単語列検出手段１１、新記録達成判定・通知手段１３、基準音声比較手段１４及び表示制御手段１７の各々の処理結果、即ち、各種分析結果１５ａ、認識結果単語列１５ｂ、最類似評価単語列１５ｃ、新記録達成通知１５ｅ、基準音声比較結果１５ｆ及び各種発話評価結果１５ｄが表示される。

ここで、発話評価装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、データ管理手段５、発話検出手段６、言語モデル重み付け処理手段７、大語彙連続音声認識手段８、分析結果表示制御手段９、認識結果単語列表示制御手段１０、最類似評価単語列検出手段１１、発話評価手段１２、新記録達成判定・通知手段１３、基準音声比較手段１４、及び表示制御手段１７を機能させるための制御部を中央演算処理装置（ＣＰＵ）で実現でき（図示せず）、且つ、記憶部３を少なくとも１つのメモリで構成させることができる（図示せず）。また、表示部１５は、ＣＲＴ又は液晶ディスプレイなどの表示装置とできる。

更に、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、データ管理手段５、発話検出手段６、言語モデル重み付け処理手段７、大語彙連続音声認識手段８、分析結果表示制御手段９、認識結果単語列表示制御手段１０、最類似評価単語列検出手段１１、発話評価手段１２、新記録達成判定・通知手段１３、基準音声比較手段１４、及び表示制御手段１７の有する機能（後述する機能）を実現させることができる。更に、データ管理手段５、発話検出手段６、言語モデル重み付け処理手段７、大語彙連続音声認識手段８、分析結果表示制御手段９、認識結果単語列表示制御手段１０、最類似評価単語列検出手段１１、発話評価手段１２、新記録達成判定・通知手段１３、基準音声比較手段１４、及び表示制御手段１７の有する機能を実現させるためのプログラムを、前述の記憶部３（メモリ）の所定の領域に格納することができる。そのような記憶部３は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、発話評価装置１としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。

さらに、発話評価装置１として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

データ管理手段５は、利用者の要求に応じてデータ入力部２から入力された各データ（音声データ３ａ、音声認識用モデルデータ３ｂ、評価単語列リスト３ｃ、及び正解単語列データ３ｄ）を記憶部３に格納することができ、利用者の要求に応じて、各データを更新、変更、又は学習させることができる。尚、データ入力部２は、発話評価装置１として機能させるコンピュータにおいて、キーボード、記録媒体、マイクロホンなど如何なる態様のものでもよい。

発話検出手段６は、利用者の要求に応じて音声入力部４から入力された音声について発話始端を検出し、発話終端が検出されるまでの発話部分（発話区間とも称する）の音声データ３ａ（利用者音声データ又は基準音声データ）を、大語彙連続音声認識部８に出力する。尚、発話検出手段６は、記憶部３に予め格納されている音声データ３ａ（利用者音声データ又は基準音声データ）について発話区間を検出し、大語彙連続音声認識部８に出力してもよい。また、音声入力部４は、発話評価装置１として機能させるコンピュータにおいて、音声記録媒体又はマイクロホンなど如何なる態様のものでもよい。更に、利用者音声データ及び基準音声データの各々は、同時に入力する必要は無く、特に基準音声データについては、利用者の要求に応じて、逐次、記憶部３に格納することができる。この基準音声データは、後述するように、声紋（スペクトラム）又は抑揚（イントネーション）など音質に係る比較を必要とする場合に用いられるものであり、本発明において、必ず必要とされるものではない。また、利用者音声データ又は基準音声データは、予め定めておいた評価単語列リスト３ｃに含まれる単語列に対する音声データでよく、或いは又、それとは別の任意の単語列に対する音声データでもよい。

大語彙連続音声認識手段８は、予め相当数の様々なジャンルのテキストで学習された言語モデル３ｂ_１と、言語モデル３ｂ_１に含まれる数万単語から数十万単語の発音辞書３ｂ_２と、発話について専門的なアナウンサーなどを含む不特定多数の話者により相当数の音声で学習された音響モデル３ｂ_３を用いて、発話検出手段６から得られる利用者音声データ又は基準音声データの連続音声の認識（即ち文字変換）をほぼリアルタイムで処理する。言語モデル３ｂ_１、発音辞書３ｂ_２及び音響モデル３ｂ_３については、当業者に知られており、詳細な説明は後述する。また、大語彙連続音声認識手段８は、検出した発話単語列について、例えば音声データの波形、声紋（スペクトル）、抑揚（イントネーション）などの音質に係る各種分析結果を生成する。更に、大語彙連続音声認識手段８は、検出した発話単語列の発話速度を算出する。

言語モデル重み付け処理手段７は、評価単語列リスト３ｃに含まれる評価単語列を利用して、言語モデル３ｂ_１を学習させる機能を有する。ここで、言語モデルの学習による重み付け処理ついては後述で詳細に説明するが、単語間又は文字間の接続の高さ、即ち確率値を学習により定め、その学習結果に基づいて接続文字又は接続単語であることを判断する処理である。言語モデルを学習させる際に、評価単語列リスト３ｃ内の評価単語列の単語において、発音辞書３ｂ_２に該当する単語がない場合、利用者に知らせるようにその旨を表示部１５に表示できる（図示せず。）。利用者は、適宜、データ入力部２を経て、発音辞書３ｂ_２に単語の発音に関するデータを追加することができる。言語モデル重み付け処理手段７の学習機能により、大語彙連続音声認識手段８は、評価単語列リスト３ｃに含まれる単語列の音声データを認識する場合に、特に高い認識率で動作することができる。

ここで、利用者の要求に応じて、データ管理手段５は、各発話に対応する正解単語列３ｄを記憶部３に格納することができる。この場合、言語モデル重み付け処理手段７は、正解単語列３ｄを評価単語列リスト３ｃに加えるとともに、後述するように、評価単語列リスト３ｃの如何なる単語列よりも大きな確率値が割り当てられるように重み付け処理を行うことができる。これにより、大語彙連続音声認識手段８は、利用者が発話したいと望む任意の単語列の一部が、予め作成された言語モデル３ｂ_１、或いは評価単語列リスト３ｃに含まれていない場合であっても、評価単語列リスト３ｃに加えられた発話毎の正解単語列３ｄを用いて、特に高い認識率で動作させることができる。

分析結果表示制御手段９は、大語彙連続音声認識手段８によって検出及び分析した発話単語列についての分析結果、例えば音声データの波形、声紋（スペクトル）、抑揚（イントネーション）などの各種分析結果１５ａをほぼリアルタイムで表示部１５に表示する。利用者音声データの分析結果である場合には、利用者の発話の分析結果が表示されることになり、基準音声データの分析結果である場合には、手本となる音声の分析結果が表示されることになるため、利用者は視覚的に双方の音声の違いを観察することができるようになる。また、後述するが、音声比較手段１４により、利用者音声データ及び基準音声データの双方の分析結果又は評価結果を対照して表示部１５に表示させることもできる。

認識結果単語列表示制御手段１０は、大語彙連続音声認識手段８によって検出した発話単語列、即ち認識結果単語列１５ｂをほぼリアルタイムで表示部１５に表示する。利用者音声データの発話単語列である場合には、利用者の発話単語列が表示されることになる。これにより、利用者は、評価単語列リスト３ｃ内の評価単語列との違いを観察することができるようになる。

好適には、データ管理手段５により、音響モデル３ｂ_３を基準音声データで予め学習させておく。これにより、大語彙連続音声認識手段８の認識結果である単語列の信頼性は高くなり、利用者は、認識結果単語列１５ｂを表示部１５で観察して、自分の発声が良好でうまく認識できたのか、又は自分の発声が悪くてうまく認識できなかったのかを確認することができるようになる。

尚、大語彙連続音声認識手段８で認識可能な単語は有限であるため、登録されていない単語を発生した場合には認識誤りが生じるが、上述したように、各発話に対応する正解単語列３ｄを用いて言語モデル３ｂ_１の重み付け処理を行なうことで認識結果の単語列の信頼性を高めることができる。

最類似評価単語列検出手段１１は、大語彙連続音声認識手段８が認識した結果である発話単語列（即ち、認識結果単語列１５ｂ）を受け取り、この認識結果単語列１５ｂを評価単語列リスト３ｃ内の各評価単語列に対し、それぞれの単語列を単語毎あるいは文字毎に比較して、一致する単語数あるいは文字数の最も多い単語列を最高の単語類似率（以下、最高単語類似率とも称する）を有する評価単語列として判別する。更に、最類似評価単語列検出手段１１は、この最高の単語類似率が所定の閾値αより高い場合、その最高の単語類似率となる評価単語列（以下、最類似評価単語列とも称する）が発声されたと判断し、この最類似評価単語列１５ｃを表示部１５に出力する。ただし、音声データ３ａが評価単語列リスト３ｃに含まれている評価単語列であるとは限らないため、その最高の単語類似率が所定の閾値αよりも低い場合には、最類似評価単語列１５ｃを出力しない。

発話評価手段１２は、発話単語列の単語類似率（即ち、前述の最高単語類似率）の値を最類似評価単語列検出手段１１から受け取るとともに、大語彙連続音声認識手段８から対応する発話単語列の発話速度を受け取る。更に、発話評価手段１２は、後述する音響スコア及び発音明瞭度を算出し、単語類似率、発話速度、音響スコア及び発音明瞭度のうち少なくとも１つ以上を評価結果として生成し、その評価結果を表示制御手段１７に送出する。

尚、音響スコアは、例えば次式により求められる。

ここで、ｘ_ｔは入力音声のｔフレーム目の音響特徴量、μ_ｔは事前に学習しておいた音響モデル３ｂ_３のｔフレーム目の平均値、σ_ｔは分散を表す標準偏差である。ｘ_ｔがμ_ｔと一致する場合に音響スコアは１００となり、ｘ_ｔとμ_ｔの差が広がるにつれ、音響スコアは０に近づく。例えば、ｔ＝１０ｍｓであれば１０ｍｓ単位のフレーム毎の音響スコアを算出し、例えば１秒間の発話に対して１００個の音響スコアを得ることができる。また、発音明瞭度としては、例えば次式により求める。

発音明瞭度＝ｋ×単語類似率＋（１−ｋ）×１フレームあたりの平均音響スコア／全フレームのうち最良の音響スコア

ここで、ｋの値は、０以上１以下の重み付け係数であり、事前に実験的に定めておく。最良の音響スコアとは、複数個の音響スコアのうち、最も１００に近いものを云う。

表示制御手段１７は、発話速度、音響スコア、発音明瞭度などの各種発話評価結果を表示部１５に出力する。

新記録達成判定・通知手段１３は、最高単語類似率が第２の閾値を超えたか否かを判定する閾値判定手段、閾値判定手段によって第２の閾値を超える単語類似率と判定した場合に、発話単語列についての評価結果のいずれかが履歴３ｅに対して最高値を示すか否かを判定する最高値判定手段、及び、最高値を示すと判定した場合に、新記録の達成の旨を音声又は映像で通知する手段から構成される。つまり、新記録達成判定・通知手段１３は、最類似評価単語列検出手段１１から（即ち、発話評価手段１２の評価結果から）、最高単語類似率の値を受け取り、その最高単語類似率が所定の閾値β（β＞α）より高いと判定した場合に、発話単語列の評価結果（例えば、発話速度、単語類似率、発音明瞭度など）のいずれかが履歴３ｅに対して最高値を示すか否かを比較し、最高値を示す場合には、例えばファンファーレなどの音声や、くす玉が割れる映像を表示部１５に表示するなどで新記録達成通知を行うとともに、記憶部３（例えば、履歴３ｅ）にその新記録に係る評価結果を記録又は更新する。

次に、発話評価装置の詳細な処理手順について説明する。

図2は、本発明による実施例の発話評価装置における処理手順を示す図である。以下、具体例を用いて処理の流れを説明する。

ステップＳ１にて、発話検出手段６は、音声データの入力待ち状態である。尚、記憶部３には、利用者音声データ又は基準音声データからなる音声データ３ａ、音声認識用モデルデータ３ｂ（言語モデル、発音辞書、及び音響モデル）、１つ以上の評価単語列を含む評価単語列リスト３ｃ、及び任意の単語列からなる正解単語列データ３ｄを記憶部３にデータ管理手段５により格納しておく。記憶部３には、前述したように、発話分析結果及び発話評価結果の履歴３ｅが格納されており、履歴３ｅは、分析結果表示手段９及び発話評価手段１２の機能として更新され、データ管理手段５により変更可能である。

ステップＳ２にて、発話検出手段６により、音声入力部４より入力された音声を、利用者音声データ又は基準音声データの発話始端及び発話終端を検出して発話部分（即ち、発話区間）を特定し、その発話部分を大語彙連続音声認識手段８に送出する。発話検出は、人間の声の音響的特徴とそれ以外の音声の音響的特徴との間の違いに基づき、入力音声のうち、人間の声の部分だけを発話部分として抽出する。

ステップＳ３にて、大語彙連続音声認識手段８により、発話部分の音声データを大語彙連続音声認識する。即ち、大語彙連続音声認識手段８は、予め相当数の様々なジャンルのテキストで学習された言語モデル３ｂ_１と、言語モデル３ｂ_１に含まれる数万単語から数十万単語の発音辞書３ｂ_２と、発話について専門的なアナウンサーなどを含む不特定多数の話者における相当数の音声で予め学習された音響モデル３ｂ_３を用いて、連続音声の認識をリアルタイムで処理する。ここで、大語彙連続音声認識手段８は、音声データが発音辞書３ｂ_２のうち、どの単語の発音記号に類似しているのか調べるため、各発音記号に対応する音響モデル３ｂ_３で音響スコアを求めるとともに、単語同士の接続のしやすさ表す言語スコアを言語モデルで求め、音響スコアと言語スコアの総和が最大となる単語列を認識結果（認識結果単語列１５ｂ）として出力する。

ここで、大語彙連続音声認識手段８及び言語モデル重み付け処理手段７に関して、更に詳しく説明する。評価単語列のリスト３ｃは、図３Ａ、図３Ｂ及び図３Ｃの処理サンプルに示すように、例えば早口言葉の発話を評価する目的で本装置を利用する場合、「生麦生米生卵」などの早口言葉や、アナウンサーでも発話しにくい単語列「バスガス爆発」などを含む複数の単語列のリストである。

言語モデル重み付け処理手段７は、例えば単語「生麦」の次に単語「生米」が接続する確率値を一定の倍率で高め、大語彙連続音声認識手段８で用いる言語モデル３ｂ_１の重み付け処理を行うとともに、例えば単語「生麦」が発音辞書３ｂ_２に登録されていなかった場合、発音辞書３ｂ_２に発音記号列／ｎａｍａｍｕｇｉ／を加える。これにより、音声データ３ａの発話内容が、評価単語列リスト３ｃの単語列と一致又は類似（例えば、文字が所定の割合以上一致）する場合には、特に高い認識率で動作する。

仮に、音声データ３ａの発話内容が、言語モデル３ｂ_１で十分に学習されていない場合や、評価単語列リスト３ｃに含まれていない場合、そのままでは認識率が低下してしまう。そこで、各発話に対応する正解単語列３ｄが、データ入力手段２により与えられた場合には、データ管理手段５により正解単語列３ｄを記憶部３の所定の領域に一旦格納する。言語モデル重み付け処理手段７は、記憶部３において、その正解単語列３ｄを評価単語列リスト３ｃに加える。更に、言語モデル重み付け処理手段７は、評価単語列リスト３ｃのうち、どの単語列よりも大きな確率値が割り当てられるよう、大語彙連続音声認識手段８で用いる言語モデル３ｂ_１の重み付け処理を行う。これにより、大語彙連続音声認識手段８は、利用者が発話したいと望む任意の単語列の一部が、予め作成された言語モデル３ｂ_１或いは評価単語列リスト３ｃに含まれていない場合であっても、発話毎の正解単語列３ｄとこれらの発音記号列を利用して、特に高い認識率で動作する。

例えば、利用者音声データの発話内容が「だるまさんが転んだ」であり、これを正解単語列３ｄとして言語モデル重み付け処理手段７により、評価単語列リスト３ｃに加える。言語モデル重み付け処理手段７は、例えば単語「だるま」の後に単語「さん」が接続する確率値が大きくなるよう、単語「だるま」の後に単語「さん」が接続する頻度値を定数倍するか、定数を加えることによって、言語モデル３ｂ_１の重み付け処理を行う。また、言語モデル重み付け処理手段７は、単語「だるま」が発音辞書３ｂ_２に含まれていなかった場合には、発音記号列／ｄａｒｕｍａ／を加えた後、大語彙連続音声認識手段８の機能を実行する。

ステップＳ４にて、分析結果表示制御手段９により、各種分析結果１５ａ、例えば音声認識の過程で得られる入力音声の波形、声紋(スペクトル)、抑揚(イントネーション)などをほぼリアルタイムで表示部１５に表示する。図４に、表示部１５のモニタ画面の表示例を示す。音声データが利用者音声データの場合には、利用者の発話の分析結果を表示し、基準音声データ（例えば、事前収録された発話について専門的な者による音声データ）の場合には、手本となる音声の分析結果を表示することができ、これにより、利用者は視覚的に双方の音声の違いを観察することができるようになる。

ステップＳ５にて、さらに、認識結果単語列表示制御手段１０により、大語彙連続音声認識手段８の認識結果である発話単語列（即ち、認識結果単語列１５ｂ）を表示部１５に表示する。これにより、利用者は、利用者音声データ又は基準音声データがどのように音声認識されたのかを観察することができるようになる。

ステップＳ６にて、最類似評価単語列検出手段１１により、認識結果単語列１５ｃと評価単語列リスト３ｃの各単語列を比較して、最も高い単語類似率となる評価単語列を検出する。大語彙連続音声認識手段８において、例えば入力音声の発話「生麦生米生卵」が、正しく「生麦生米生卵」と認識できた場合（図３Ａ）、または誤りを含む「生麦生ゴミ生卵」と認識した場合（図３Ｂ）、或いは「生無理生ゴミ七田孫」などと認識された場合（図３Ｃ）、最類似評価単語列検出手段１１は、各々の場合において認識結果単語列１５ｃを評価単語列リスト３ｃに含まれる「生麦生米生卵」、「貴社の記者が汽車で帰杜した」、「赤巻紙青巻紙黄巻紙」などと逐次比較して、それぞれの単語類似率を算出する。２つの単語列同士の類似率は、一般的に用いられる動的計画法によって効率よく算出することができる。例えば、大語彙連続音声認識手段８の認識結果として、図３Ａに示すように全ての文字が正しい場合、単語類似率は１００％となり、図３Ｂに示すように６文字中５文字が正しい場合には、単語類似率は８３．３％となり、図３Ｃに示すように６文字中の２文字が正しいものの余計な１文字が挿入されている場合には、単語類似率は１６．７％となる。

ステップＳ７にて、最類似評価単語列検出手段１１により、検出した最高の単語類似率が予め定めた閾値αよりも大きいと判断した場合には（ステップＳ７の図示Ｙ）、ステップＳ８にて評価単語列リスト３ｃの中のいずれかの単語列を発声したものとみなして、その最類似評価単語列１５ｃを表示部１５に表示する。そうでなければ（ステップＳ７の図示Ｎ）、音声データ３ａ（即ち、認識結果単語列１５ｂ）は、評価単語列リスト３ｃに含まれない（又は正解単語列３ｄでもない）、任意の発声内容であるとして、最類似評価単語列１５ｃを表示しない。より具体的には、例えば所定の閾値αを３０％と設定した場合、最高の単語類似率が３０％未満となるときは、あまりにも評価単語列リスト３ｃ又は正解単語列３ｄと異なると判断し、即ち任意の単語列を発声したものとして、最類似評価単語列が評価単語列リスト３ｃに存在しないとみなす。例えば所定の閾値αが３０％の時、図３Ａ及び図３Ｂにそれぞれ示す処理サンプルの例１及び例２は、最類似評価単語列１５ｃが表示されるが、図３Ｃに示す処理サンプルの例３では、最類似評価単語列１５ｃは表示されない。

ステップＳ９にて、さらに、発話評価手段１２により、認識結果単語列１５ｂの単語類似率、発話速度、音響スコアなどの発話評価結果を表示部１５に表示する。発話速度は、最類似評価単語列１５ｃの音素数を発話時間で除することで得られる。例えば、図３Ａの処理サンプルの例１に示すように、音声データ３ａの発話「生麦生米生卵」に対する認識結果が「生麦生米生卵」の時、単語類似率１００％、発話時間１．５秒、音響スコア９７点などと表示される。

同様に、図３Ｂの処理サンプルの例２に示すように、認識結果が「生麦生ゴミ生卵」の場合、単語類似率８３．３％、発話時間１．７秒、音響スコア８９点などと表示される。音響スコアは、大語彙連続音声認識手段８における音声データ３ａ（利用者音声データ又は基準音声データ）と、音響モデル３ｂ_３との類似性から算出できる。発音明瞭度は、式（１）に従えば、例えば重み付け係数ｋ＝０．６の時、単語類似率８３．３％、音響スコア８９点から、８５．６点と算出することができる。

ステップＳ１０にて、基準音声比較手段１４により、利用者音声データと基準音声データとの間で、分析結果表示制御手段９による分析結果及び／又は発話評価手段１２による結果について、対照比較した基準音声比較結果１５ｆを表示部１５に表示する。これにより、利用者は視覚的に双方の分析結果及び／又は評価結果の違いを対照的に観察することができるようになる。

ステップＳ１１にて、新記録達成判定・通知手段１３により、ステップ７にて前述した最高単語類似率が所定の閾値β（β＞α）以上であり、且つ対応する評価単語列の評価結果（例えば、発話速度、単語類似率、発音明瞭度など）のいずれかが記憶部３に格納されている記録データ（例えば、履歴３ｅ）に対して最高値を示すか否かを判定する。

ステップＳ１２にて、評価結果（例えば、発話速度、単語類似率、発音明瞭度など）のいずれかが履歴３ｅに対して最高値を示す場合（ステップＳ１１の図示Ｙ）、新記録の達成の旨を音声又は映像で通知する。尚、新記録達成判定・通知手段１３により、予め記録達成の対象となる評価結果を定めておき、記憶部３の所定の領域に記録達成履歴としてのリストを改めて格納し、更新するようにしても良い。新記録達成通知は、例えば、閾値βを１００％と設定しているとき、音声データの発話「生麦生米生卵」に対する認識結果が「生麦生米生卵」で単語類似率１００％が得られ、且つ評価単語列のリスト３ｃにおける「生麦生米生卵」のこれまでの最短発話時間の記録よりも短い時間で発話できた場合には、難しい言葉を早く正確に発話できたとして新記録達成を映像又は音声で通知するとともに、その記録を記憶部３の所定の領域に記録達成履歴リストのデータ（又は履歴３ｅ）を更新する。

ステップＳ１２の処理が終了した場合、又は、ステップＳ１１の処理にて評価結果（例えば、発話速度、単語類似率、発音明瞭度など）のいずれも履歴３ｅに対して最高値を示すものではない場合（ステップＳ１１の図示Ｎ）、処理をステップＳ１の音声データ入力待ちの処理に返し、前述した各ステップを同様に繰り返す。尚、利用者が発話評価を終了させたい場合、処理を終了させるように、発話検出手段６に処理中止機能を設けてもよい。

これにより、本実施例によれば、利用者が発話したいと望む任意の単語列について、直接又は間接的に取得した音声データの発話単語列が予め定められた評価単語列と類似している場合には、より高精度、且つより多くの評価内容を示すとともに、その発話の善し悪しを評価することが可能となる。また、発話内容を利用者自身が柔軟に変更可能な発話訓練装置、或いは又、子供から専門的なアナウンサーまで、様々な発話レベルの利用者が発話の善し悪しをゲームとして楽しむことができるエンターテイメント装置として機能する発話評価装置を実現できる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述の各ステップは用途に応じて実行せずともよく、或いは又、異なるステップの順序でも実現可能である。更に、データ入力部にマイクロホンを用いれば、実施例のように音声入力に対しほぼリアルタイムで音声データを発話評価できるが、予め音声記録媒体に記録した音声データに対して発話評価することもできる。また、上述の発話評価装置は、発話内容を利用者自身が柔軟に変更可能な発話訓練装置や、子供から専門的なアナウンサーまで、様々な発話レベルの利用者が発話の善し悪しをゲームとして楽しむことができるエンターテイメント装置としても機能することができるものである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明による発話評価装置は、発話試験、発話訓練、又は発話を楽しむエンターテイメントにおいて有用である。

本発明による実施例の発話評価装置の機能構成を示す図である。本発明による実施例の発話評価装置における処理手順を示すフローチャートである。本発明による実施例の発話評価装置における処理サンプル例を示す図である。本発明による実施例の発話評価装置における処理サンプル例を示す図である。本発明による実施例の発話評価装置における処理サンプル例を示す図である。本発明による実施例の発話評価装置における表示部のモニタ画面の表示例を示す図である。

符号の説明

１発話評価装置
２データ入力部
３記憶部
４音声入力部
５データ管理手段
６発話検出手段
７言語モデル重み付け処理手段
８大語彙連続音声認識手段
９分析結果表示制御手段
１０認識結果単語列表示制御手段
１１最類似評価単語列検出手段
１２発話評価手段
１３新記録達成判定・通知手段
１４基準音声比較手段
１５表示部
１６制御部
１７表示制御手段

Claims

音声データを分析して評価する発話評価装置であって、
音声データを評価するための所定の評価単語列を１つ以上含む評価単語列リスト、並びに言語モデル、発音辞書及び音響モデルを格納する記憶手段と、
前記言語モデル、前記発音辞書及び前記音響モデルに基づいて、音声データを音声認識して発話単語列に変換するとともに、前記発音辞書及び前記音響モデルに基づいて、前記発話単語列の音質の分析結果を生成する大語彙連続音声認識手段と、
前記分析結果を表示する表示手段と、
前記発話単語列に対して、単語毎に比較して一致する単語数の最も多い評価単語列を、最高の単語類似率を有する評価単語列として前記評価単語列リストから検出する最類似評価単語列検出手段と、
前記発話単語列について、少なくとも前記最高の単語類似率、発話速度、及び発音明瞭度を含む評価結果を生成する発話評価手段と、
前記最高の単語類似率が第１の閾値を超えた場合には、前記評価単語列リストの中のいずれかの単語列を発声したものとみなして、前記最高の単語類似率を有する評価単語列及び前記評価結果を前記表示手段に表示し、前記最高の単語類似率が第１の閾値以下である場合には、任意の単語列を発声したものとして、前記評価結果のみを前記表示手段に表示する表示制御手段と、
を備え、
前記発話評価手段は、所定の音響スコアを算出して、前記最高の単語類似率及び前記音響スコアの重み付き線形和によって前記発音明瞭度を導出する手段を有することを特徴とする発話評価装置。
前記評価単語列リストに含まれる評価単語列を用いて、前記言語モデルを学習させる言語モデル重み付け手段を更に備え、
前記大語彙連続音声認識手段は、学習した言語モデルに基づいて音声データを発話単語列に変換することを特徴とする、請求項１に記載の発話評価装置。
音声データの発話毎の前記発話単語列と一致する正解単語列を前記記憶手段に格納するデータ管理手段を更に備え、
前記言語モデル重み付け手段は、前記正解単語列を前記評価単語列リストに加えるとともに、前記正解単語列を用いて前記言語モデルを学習させることを特徴とする、請求項２に記載の発話評価装置。
前記発話評価手段は、前記評価結果を履歴として前記記憶手段に格納する手段を更に有し、
前記最高の単語類似率が第２の閾値を超えたか否かを判定する閾値判定手段、第２の閾値を超える単語類似率と判定した場合に、前記発話単語列についての評価結果のいずれかが前記履歴に対して最高値を示すか否かを判定する最高値判定手段、及び、最高値を示すと判定した場合に、新記録の達成の旨を音声又は映像で通知する手段から構成される新記録達成判定・通知手段を更に備えることを特徴とする、請求項１〜３のいずれかに発話評価装置。
記憶部及び表示部を備えるコンピュータに、
音声データを評価するための所定の評価単語列を１つ以上含む評価単語列リスト、並びに言語モデル、発音辞書及び音響モデルを前記記憶部に格納するステップと、
前記言語モデル、前記発音辞書及び前記音響モデルに基づいて、音声データを音声認識して発話単語列に変換するとともに、前記発音辞書及び前記音響モデルに基づいて、前記発話単語列の音質の分析結果を生成する大語彙連続音声認識するステップと、
前記分析結果を前記表示部に表示するステップと、
前記発話単語列に対して、単語毎に比較して一致する単語数の最も多い評価単語列を、最高の単語類似率を有する評価単語列として前記評価単語列リストから検出する最類似評価単語列検出するステップと、
前記発話単語列について、少なくとも前記最高の単語類似率、発話速度、及び発音明瞭度を含む評価結果を生成するステップと、
前記最高の単語類似率が第１の閾値を超えた場合には、前記評価単語列リストの中のいずれかの単語列を発声したものとみなして、前記最高の単語類似率を有する評価単語列及び前記評価結果を前記表示部に表示し、前記最高の単語類似率が第１の閾値以下である場合には、任意の単語列を発声したものとして、前記評価結果のみを前記表示手段に表示するステップと、
を実行させ、
前記評価結果を生成するステップは、所定の音響スコアを算出して、前記最高の単語類似率及び前記音響スコアの重み付き線形和によって前記発音明瞭度を導出するステップを含む、発話評価プログラム。