JP6517417B1 - 評価システム、音声認識装置、評価プログラム、及び音声認識プログラム - Google Patents

Abstract

【課題】 ある言語（例えば、英語）で音声入力すべき語句や文章を他の言語（例えば、日本語）に存在する音で発音して音声入力した場合にも、発音の精度を厳密に要求することなく、音声入力された語句や文章を評価することができる評価システムを提供する。【解決手段】 音声で入力される語句又は文章を評価する評価システム１は、第１言語（例えば、英語）の音声を入力する音声入力部１０と、第１言語の音声が表す語句又は文章を認識する音声認識装置３０と、認識された語句又は文章を評価する評価部４０とを備える。音声認識装置３０は、第１言語の音声が第１言語とは異なる第２言語（例えば、日本語）に存在する音で発音されたものとして語句又は文章を認識する。【選択図】 図１

Description

本発明は、入力された音声を評価する評価システム及び入力された音声を認識する音声認識装置に関する。

人間の音声を聞き取ってテキスト化する音声認識の技術が知られている。この音声認識は、例えば、スマートスピーカ等における音声対話や電子機器の音声操作に利用されている。また、外国語学習の分野では、学習者が音声入力した外国語の発音の評価を行う評価システムにも音声認識の技術が用いられる。この評価システムでは、例えば、正解の発音と入力された音声の発音とのマッチングを行って、そのマッチングスコア（即ち、一致度）に従って入力された音声の発音を評価する（例えば、特許文献１及び２）。

国際公開第２０１８／０３３９７９号 特開２０１４−３８２６４号公報

しかしながら、音声認識技術を利用した従来の評価システムでは、発音の精度の評価をするものである。したがって、かかる評価システムは、発音の精度を重視せずに外国語のスピーキングの能力を測るシステムとしては適さない。

例えば、所定のテーマについて、あるいは、所定の正解語句について、外国語を用いて口頭で回答するテストをする場合において、発音の精度を厳密に評価してしまうと、当該所定のテーマに沿った内容を伝える文章を生成できているか、あるいは、正解の語句が判っているか、といった能力を測ることはできない。

例えば、日本語を母国語とする日本人についていえば、英語の「ｒ」と「ｌ」とを区別して発音することが難しいと言われている。このため、被評価者の音声を従来の音声認識技術を用いて認識して、正解語句である「ｌａｍｐ」が音声入力されたか否かを評価する場合において、被評価者の発音が正確でないために「ｒａｍｐ」と認識されたときは、当該被評価者の回答は不正解となってしまう。

そこで、本発明は、ある言語（例えば、英語）で音声入力すべき語句や文章を他の言語（例えば、日本語）に存在する音で発音して音声入力した場合にも、発音の精度を厳密に要求することなく、音声入力された語句や文章を評価することができる評価システムを提供することを目的とする。

本発明の一態様の評価システムは、音声で入力される語句又は文章のテキストを評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章のテキストを認識する音声認識装置と、前記認識された語句又は文章のテキストを評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する。

この構成により、音声認識装置は、第１言語（例えば、英語）の音声が第２言語（例えば、日本語）に存在する音で発音されたものとして語句又は文章のテキストを認識するので、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できる。よって、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章のテキストを評価することができる。

上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章のテキストを認識する認識部とを備えていてよい。

この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなる。

上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備えていてよく、前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章のテキストを認識してよい。

この構成により、第１言語の音声の発音が正しい場合にも、その音声の内容を正しく認識できる可能性が高くなる。

本発明の一態様の音声認識装置は、第１言語の音声を認識する音声認識装置であって、入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。

この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなり、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を認識することができる。

本発明の一態様の評価システムは、音声で入力される語句又は文章を評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章を認識する音声認識装置と、前記認識された語句又は文章を評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。

本発明の一態様の評価プログラムは、音声で入力される語句又は文章のテキストを評価する評価プログラムであって、コンピュータを、音声を入力する音声入力部、入力された音声が表す語句又は文章のテキストを認識する音声認識装置、及び前記認識された語句又は文章のテキストを評価する評価部として機能させ、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する。

本発明の一態様の評価システムは、音声で入力される語句又は文章を評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章を認識する音声認識装置と、前記認識された語句又は文章を評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。

本発明の一態様の音声認識プログラムは、第１の言語の音声を認識する音声認識プログラムであって、コンピュータを、入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部、及び前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部として機能させる。

本発明によれば、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができる。

図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。 図２は、本発明の実施の形態の音声入力部を示すブロック図である。 図３は、本発明の実施の形態の音声処理部を示すブロック図である。 図４は、本発明の実施の形態の音素認識部を示すブロック図である。 図５は、日本語の音素を示すである。 図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。 図７は、本発明の実施の形態の認識部を示すブロック図である。 図８は、本発明の実施の形態の評価部を示すブロック図である。 図９は、本発明の実施の形態の評価出力部を示すブロック図である。 図１０は、本は発明の実施の形態の変形例の評価システムの構成を示すブロック図である。

以下、本発明の実施の形態の評価システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。図１に示すように、評価システム１は、音声入力部１０と、音声処理部２０と、音声認識装置３０と、評価部４０と、評価出力部５０とを備えている。この評価システム１の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の評価プログラムを実行することで実現される。

本実施の形態では、評価システム１は、日本語を母国語とする被評価者が外国語である英語の文章を音声入力し、音声入力された英語の文章を評価する。なお、本発明の評価システム１は、文章を評価するシステムに限らず、語句（即ち、単語又はフレーズ）を評価するものであってもよい。また、評価システム１は、英語を評価するものに限らず、他の言語を評価するものであってもよい。更に、評価システム１は、日本語を母国語とする被評価者のためのものに限らず、第１言語の音声を第１言語以外の第２言語を母国語とする被評価者が入力して、第１言語の語句や文章を認識して評価するものであればよい。

本実施の形態では、被評価者には、所定のテーマないし問題が与えられ、被評価者はこれに答える英語の文章を音声で発する。評価システム１は、この評価者の音声を入力して、当該音声をテーマないし問題に則して評価して評価結果を出力する。この評価システム１を用いることで、例えば、被評価者に対して、説明文を与えるとともに、その説明文に関する問題を与えて口頭で答えさせるというテストを行うことができる。

図２は、本発明の実施の形態の音声入力部を示すブロック図である。音声入力部１０は、評価者の音声の音波を変換して得られる音声信号を取得する。音声入力部１０は、マイク等の音声入力装置を用いて被評価者の音声の音波を電気信号に変換することで音声信号（振幅音声信号）を生成する。具体的には、音声入力部１０は、音波、即ち、空気の振動を、時刻を横軸とし、振幅を縦軸とするグラフで表される時系列の振幅音声信号に変換する。なお、音声入力部１０は、録音機等によって録音された音声データを読み出すことで振幅音声信号を取得してもよい。

本実施の形態の評価システム１は、日本語を母国語とする被評価者が音声入力した英語の文章を評価するものであるので、音声入力部１０には、日本語を母国語とする被評価者が発声した英語の文章が入力される。

図３は、本発明の実施の形態の音声処理部を示すブロック図である。音声処理部２０は、音声入力部１０で生成された振幅音声信号に対して、音声認識のための種々の処理を行う。例えば、音声処理部２０は、音声信号からノイズを除去する処理を行。また、音声処理部２０は、音声信号をフーリエ変換することで、横軸を周波数とし、縦軸をパワー（強度）とするグラフで表される電気信号（周波数音声信号）に変換する。

音声処理部２０は、更に、周波数音声信号を用いて音声認識の特徴量として、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients：ＭＦＣＣ）を算出する。音声認識装置３０における音声認識では、このＭＦＣＣが入力された音声の特徴量として用いられる。

図１に示すように、音声認識装置３０は、音節取得部３１と、言語変換部３２と、認識部３３と、言語変換辞書３４とを備えている。本実施の形態の音声認識装置３０は、英語の音声の特徴量を英語のテキストに変換する。この際に、音声認識装置３０は、英語の音声が日本語に存在する音で発音されたものとして語句又は文章を認識する。音声認識装置３０の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが上記の評価プログラムを実行することで実現される評価システムの一部として実現されてもよいし、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の音声認識プログラムを実行することで、音声認識装置３０単体として実現されてもよい。

図４は、本発明の実施の形態の音節取得部を示すブロック図である。音節取得部３１は、音声処理部２０で生成された特徴量が表す日本語の音素を認識する。図５は、日本語の音素を示す図である。日本語には、５種類の母音、１６種類の子音、及び３種類の特殊音素の合計２４種類の音素が存在し、これらを組み合わせることで単位音として「ア」（ａ）、「コ」（ｋｏ）「ジャ」（ｊａ）等の音節が作られる。ここで、音節とは、言語を使用する際に認識される音の最小単位をいう。

図４に示すように、音節取得部３１は、音声の特徴量から日本語の音素を認識して、それらの音素に基づいて日本語の音節を取得する。即ち、本実施の形態の音節取得部３１は、入力されている言語が英語であるにもかかわらず、英語の音素を認識するのではなく、被評価者の母国語の言語の音素を認識して、日本語の音節を取得する。図４の例では、母国語を日本語とする被評価者が「He ran through the hallway.」と発音した音声から、「ヒー ラ ン ス ルー ザ ホー ル ウェ イ」という音節列を取得する。

図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。言語変換部３２は、音節取得部３１で取得された日本語の音節を言語変換辞書３４を参照して、英語の音節に変換する。このために、言語変換辞書には、日本語の音節に対応する英語の音節が記憶されている。

１つの日本語の音節には少なくとも１つの英語の音節が対応しており、複数の英語の音節が対応していることがある。また、１つの英語の音節が複数の日本語の音節に対応していることもある。したがって、言語変換部３２において日本語の音節を英語の音節に変換することで、複数の組み合わせの音節列が生成されることになるが、言語変換部３２は、すべての組み合わせの英語の音節列を生成する。

図７は、本発明の実施の形態の認識部のブロック図である。認識部３３は、言語変換部３２で得られた英語の音節列から、単語ないし文章を認識する。一般的には、言語変換部３２によって、複数の音節列が取得されているので、認識部３３は、これらの複数の音節列を入力として、それらの音節列に対応する複数の文章、即ち英語の単語列（１単語の場合もある）のテキストを出力する。

このために、認識部３３は、隠れマルコフモデル（ＨＭＭ）、及び／又は深層ニューラルネットモデル（例えば、ＬＳＴＭ（Long Short-Term Memory）等のＲＮＮ（Recurrent Neural Network））を用いて単語列の前後関係まで考慮して音節列に対応する文章を推定する。認識部３３による文章認識によって、複数の文章がそのスコア（確率）とともに得られる。認識部３３は、スコアが所定の閾値を超えている文章を認識結果として出力する。この結果、認識部３３が複数の文章を出力することもある。図７の例では、「He ran through the hallway.」という文章と「He run slue the whole way.」という文章とが出力されている。

なお、認識部３３は、語句、即ち単語又はフレーズのみを認識するものであってもよい。また、認識部３３は、音節と単語との対応関係を記憶したテーブルを参照することで、単語ないし文章を認識してもよい。

図８は、本発明の実施の形態の評価部を示すブロック図である。評価部４０には、音声認識装置３０（の認識部３３）から複数の英語の文章が入力される。評価部４０は、認識部３３から入力された複数の文章を評価する。本実施の形態では、評価部４０は、認識部３３から入力された複数の文章の各々について、良否の評価を行い、複数の文章の各々に「ＧＯＯＤ」又は「ＢＡＤ」の評価結果を与える。この評価にも、英語の文章（テキスト列）を入力として、評価結果を出力とするニューラルネットワークモデルを用いてもよいし、ルールベースのモデルを用いてもよい。

図９は、本発明の実施の形態の評価出力部５０を示すブロック図である。評価出力部５０は、評価部４０から評価結果を受けて、最終的な評価を出力する。評価出力部５０は、複数の文章に対する複数の評価結果が入力された場合には、そのうちのもっともよい評価を出力する。即ち、本実施の形態では、評価出力部５０は、評価結果の中に少なくとも１つの「ＧＯＯＤ」があれば、「ＧＯＯＤ」の評価を出力する。

以上の構成により、評価システム１は、日本語に存在する音で発声された英語の文章を認識することで、可能性のある複数の英語の文章が得た評価のうちの最も良い評価を最終的な評価として出力する。これにより、英語の発音の精度が多少低い場合にも、そのような発音精度の低さを無視して、正当な評価を与えることができる。

以上のように、本発明の実施の形態の音声認識装置３０によれば、第２言語を母国語とする者が発声した第１言語の音声を、第２言語の音節列（第２言語音節列）として認識した上で、第２音節列を第１言語の音節列（第１言語音節列）に変換して、第１言語音節列に対応する第１言語の語句又は文章を推定するので、入力された音声の第１言語としての発音の精度が低い場合にも、入力された音声を正しく認識することができる。

また、音声認識装置３０で認識結果として複数とおりの語句ないし文章が得られた場合に、評価部４０は、それらのすべての語句ないし文章を評価し、評価出力部５０は、複数の語句ないし文章に対する評価のうちの最も良い評価を最終的な評価結果として出力するので、語句ないし文章の内容が良くても発音が悪いために評価が下がってしまうという状況が生じる可能性を低減できる。

上記から明らかなように、本実施の形態の評価システム１では、入力される評価対象の言語（第１言語）と、当該言語を発生する被評価者の母国語の言語（第２言語）とをあらかじめ設定する必要がある。ただし、上記の実施の形態のように、第１言語は英語に限られず、第２言語が日本語は日本語に限られない。また、評価システムが多言語に対応していてもよく、その場合には、入力される言語（第１言語）と被評価者の母国語の言語（第２言語）とを複数の言語の中から選択してモードを設定した上で評価システム１を運用するようにしてよい。この場合には、音声認識装置３０は、モードとして選択可能な複数の第１言語と第２言語との組み合わせに対応できるように構成されている。

図１０は、本発明の実施の形態の変形例の評価システムを示すブロック図である。変形例の評価システム１´では、上記の実施の形態の評価システム１と比較すると、音声認識装置３０´において、音節取得部３１の代わりに、第２言語音節取得部３１１と第１言語音節取得部３１２が設けられている。

第２言語音節取得部３１１は、音節取得部３１と同じ構成であり、入力された音声から第２言語の音節を取得する。第１言語音節取得部３１２は、入力された音声（第１言語）から、当該音声の言語と同じ言語（第１言語）の音節を取得する。日本語を母国語とする被評価者が入力した英語の音声を評価する場合には、第２言語音節取得部３１１は、上記の音節取得部３１の例と同様に、英語の音声から日本語の音節を取得し、第１言語音節取得部３１２は、英語の音声から英語の音節を取得する。即ち、第１言語音節取得部３１２は、従来の音声認識における処理と同様の処理を行う。

第２言語音節取得部３１１で取得された音節列は、言語変換部３２において第１言語に変換されて認識部３３に入力される。第１言語音節取得部３１２で取得された音節列は、そのまま認識部３３に入力される。認識部３３は、言語変換部３２から入力された音節列と、第１言語音節取得部３１２から入力された音節列のすべてについて、上記の実施の形態と同様の認識処理を行うことで、複数の語句又は文章を推定する。

変形例の認識処理部３０´によれば、入力された音声の発音の精度が高い場合に、その精度の高さによって逆に認識精度が低下してしまう可能性を低減でき、評価システム１´は、入力音声として、精度の高い発音の音声が入力された場合にも精度の低い発音の音声が入力された場合にも、いずれも正しく評価をすることできる。よって、変形例の評価システム１´は、被評価者の発音の精度が不明である場合に好適に用いられる。

本発明は、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができ、音声で入力される語句又は文章を評価する評価システム等として有用である。

１ 評価システム
１０ 音声入力部
２０ 音声処理部
３０ 音声認識装置
３１ 音節取得部
３２ 言語変換部
３３ 認識部
４０ 評価部
５０ 評価出力部

Claims (8)

1. 音声で入力される語句又は文章のテキストを評価する評価システムであって、
   音声を入力する音声入力部と、
   入力された音声が表す語句又は文章のテキストを認識する音声認識装置と、
   前記認識された語句又は文章のテキストを評価する評価部と、
   を備え、
   前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する、評価システム。
2. 前記音声認識装置は、
   入力された音声から前記第２言語の音節列を取得する音節取得部と、
   前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
   前記第１言語の音節列から前記第１言語の語句又は文章のテキストを認識する認識部と、
   を備えた、請求項１に記載の評価システム。
3. 前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備え、
   前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章のテキストを認識する、請求項２に記載の評価システム。
4. 第１言語の音声を認識する音声認識装置であって、
   入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、
   前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
   前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
   を備えた、音声認識装置。
5. 音声で入力される語句又は文章を評価する評価システムであって、
   音声を入力する音声入力部と、
   入力された音声が表す語句又は文章を認識する音声認識装置と、
   前記認識された語句又は文章を評価する評価部と、
   を備え、
   前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、
   前記音声認識装置は、
   入力された音声から前記第２言語の音節列を取得する音節取得部と、
   前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
   前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
   を備えた、評価システム。
6. 音声で入力される語句又は文章のテキストを評価する評価プログラムであって、
   コンピュータを、
   音声を入力する音声入力部、
   入力された音声が表す語句又は文章のテキストを認識する音声認識装置、及び
   前記認識された語句又は文章のテキストを評価する評価部、
   として機能させ、
   前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する、評価プログラム。
7. 音声で入力される語句又は文章を評価する評価システムであって、
   音声を入力する音声入力部と、
   入力された音声が表す語句又は文章を認識する音声認識装置と、
   前記認識された語句又は文章を評価する評価部と、
   を備え、
   前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、
   前記音声認識装置は、
   入力された音声から前記第２言語の音節列を取得する音節取得部と、
   前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
   前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
   を備えた、評価システム。
8. 第１の言語の音声を認識する音声認識プログラムであって、
   コンピュータを、
   入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部、
   前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部、及び
   前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部、
   として機能させる、音声認識プログラム。

Images