WO2018043139A1

WO2018043139A1 - 情報処理装置および情報処理方法、並びにプログラム

Info

Publication number: WO2018043139A1
Application number: PCT/JP2017/029493
Authority: WO
Inventors: 真一河野; 祐平滝
Original assignee: ソニー株式会社
Priority date: 2016-08-31
Filing date: 2017-08-17
Publication date: 2018-03-08
Also published as: EP3509060A1; EP3509060A4; JPWO2018043139A1; CN109643547A; US20190180751A1

Abstract

本開示は、より高精度に音声認識を行うことができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。音声情報に対する音声認識を行うことにより発話内容を表す単語列が音声認識結果として取得され、その音声情報に対する音声認識が行われる際に、音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度が取得される。そして、信頼度の低い単語を含む文節単位が決定されて、音声認識結果とともに文節単位を認識させる音声認識結果情報が出力される。本技術は、例えば、ネットワークを介して音声認識処理を提供する音声認識システムに適用できる。

Description

情報処理装置および情報処理方法、並びにプログラム

　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より高精度に音声認識を行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。

　近年、音声入力を利用したユーザインタフェースの活用が広まっており、より良好な音声入力を可能とするために、音声認識処理による音声認識結果の精度を高めることが重要となっている。

　また、音声認識結果が間違っていた場合には、例えば、再発話を促して音声認識結果を修正することで、より正確な音声認識結果を得ることができる。このとき、音声認識結果を修正するための再発話を文節単位で行わせることによって、音声認識精度を高める技術や、音の情報に基づいて文節単位で区切ることによって、再発話における音声認識結果の修正を容易に行う技術などが提案されている。

　例えば、特許文献１に開示されているように、文章表現を変更または追加する際に、語句に対する助詞や述語なども含めた文節単位で文章を作成することによって、ユーザの負担を軽減することができる。

特開２０１２－５３６３４号公報

　ところで、上述したように、音声認識精度を高めることが重要であることより、従来よりも高精度に音声認識処理を行うことができる技術が求められている。

　本開示は、このような状況に鑑みてなされたものであり、より高精度に音声認識を行うことができるようにするものである。

　本開示の一側面の情報処理装置は、ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得する音声認識部と、前記音声認識部により前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得する信頼度取得部と、前記信頼度取得部により取得された前記信頼度の低い単語を含む文節単位を決定する文節単位決定部と、前記音声認識結果とともに、前記文節単位決定部により決定された前記文節単位を認識させる音声認識結果情報を出力する出力処理部とを備える。

　本開示の一側面の情報処理方法またはプログラムは、ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得し、前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得し、前記信頼度の低い単語を含む文節単位を決定し、前記音声認識結果とともに、前記文節単位を認識させる音声認識結果情報を出力するステップを含む。

　本開示の一側面においては、ユーザの発話により得られる音声情報を取得して、その音声情報に対する音声認識を行うことにより発話内容を表す単語列が音声認識結果として取得され、音声情報に対する音声認識が行われる際に、音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度が取得される。そして、信頼度の低い単語を含む文節単位が決定され、音声認識結果とともに、文節単位を認識させる音声認識結果情報が出力される。

　本開示の一側面によれば、より高精度に音声認識を行うことができる。

本技術を適用した音声認識システムの一実施の形態の構成例を示すブロック図である。音声認識サーバの第１の構成例を示すブロック図である。文節単位決定処理の一例について説明する図である。発音情報テーブルを示す図である。音声認識結果出力処理の一例を説明する図である。音声認識処理を説明するフローチャートである。文節単位決定処理を説明するフローチャートである。始端単語特定処理を説明するフローチャートである。終端単語特定処理を説明するフローチャートである。音声認識サーバの第２の構成例を示すブロック図である。文節単位決定処理の変形例について説明する図である。音声認識のユーザインタフェースの変形例について図である。音声認識結果出力処理の変形例について図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

　＜音声認識システムの構成例＞

　図１は、本技術を適用した音声認識システムの一実施の形態の構成例を示すブロック図である。

　図１に示すように、音声認識システム１１は、インターネットなどのネットワーク１２を介して、複数台（図１の例ではＮ台）のクライアント端末１３－１乃至１３－Ｎおよび音声認識サーバ１４が接続されて構成される。なお、クライアント端末１３－１乃至１３－Ｎは、それぞれ同様に構成されており、互いに区別する必要がない場合、以下適宜、クライアント端末１３と称する。

　クライアント端末１３は、ユーザにより発話された音声を入力し、音声情報を取得するためのマイクロホンなどの音声情報取得装置を備えており、音声情報取得装置が取得した音声情報を、ネットワーク１２を介して音声認識サーバ１４に送信する。また、クライアント端末１３は、音声認識サーバ１４から送信されてくる音声認識結果を受信して、ユーザに提示する。例えば、クライアント端末１３は、音声認識結果を表す映像（画像）を映像出力装置に表示したり、音声認識結果を表す合成音声を音声出力装置から出力したりする。

　音声認識サーバ１４は、ネットワーク１２を介してクライアント端末１３から送信されてくる音声情報に対する音声認識処理を行う。そして、音声認識サーバ１４は、音声情報から認識された単語列などを音声認識結果として、ネットワーク１２を介してクライアント端末１３に送信する。このとき、音声認識サーバ１４は、音声情報を送信してきたクライアント端末１３だけでなく、例えば、そのクライアント端末１３のユーザがコミュニケーションを行っている他のユーザのクライアント端末１３にも、音声認識結果を送信することができる。

　このように音声認識システム１１は構成されており、クライアント端末１３のユーザの発話により取得される音声情報が音声認識サーバ１４に送信され、音声認識サーバ１４において音声認識処理が行われ、クライアント端末１３に音声認識結果が送信される。従って、音声認識システム１１は、例えば、より高性能で最新の音声認識処理を音声認識サーバ１４に実装することで、個々のクライアント端末１３の処理能力が低くても、より高精度な音声認識処理を提供することができる。

　＜音声認識サーバの第１の構成例＞

　図２は、音声認識サーバ１４の第１の構成例を示すブロック図である。

　図２に示すように、音声認識サーバ１４は、通信部２１、入力音処理部２２、音声認識部２３、信頼度取得部２４、発音記号変換部２５、文節単位決定処理部２６、および音声認識結果出力処理部２７を備えて構成される。

　通信部２１は、図１のネットワーク１２を介して、クライアント端末１３と各種の通信を行う。例えば、通信部２１は、クライアント端末１３から送信されてくる音声情報を受信して、入力音処理部２２に供給する。また、通信部２１は、音声認識結果出力処理部２７から供給される音声認識結果情報を、クライアント端末１３に送信する。

　入力音処理部２２は、通信部２１から供給される音声情報に対して、音声認識部２３において音声認識を行う前に必要な各種の前処理を行う。例えば、入力音処理部２２は、音声情報において無音となっている区間や雑音だけの区間を排除し、発話された音声が含まれている発話区間を音声情報から検出するＶＡＤ（Voice Activity Detection）処理を行って、発話区間の音声情報を音声認識部２３に供給する。

　音声認識部２３は、入力音処理部２２から供給される音声情報に対する音声認識を行い、音声情報に含まれている発話内容を単語ごとに認識して、発話内容を表す単語列を発音記号変換部２５および文節単位決定処理部２６に供給する。

　信頼度取得部２４は、音声認識部２３において音声情報に対する音声認識が行われる際に、音声認識部２３が単語を認識したときの音声認識結果を信頼できる程度を表す指標となる信頼度（confidence level）を単語ごとに取得して、文節単位決定処理部２６に供給する。例えば、信頼度取得部２４は、音声認識部２３による音声認識の過程で生成される単語グラフに基づいて、信頼度を取得することができる。

　発音記号変換部２５は、例えば、単語および発音記号が対応付けられている辞書を参照し、音声認識部２３から供給される単語列を、それぞれの単語に対応付けられている発音記号に変換して、文節単位決定処理部２６に供給する。

　文節単位決定処理部２６は、音声認識部２３から供給される単語列を、信頼度取得部２４から供給される信頼度、および、発音記号変換部２５から供給される発音記号に基づいて、図３を参照して後述するように、文節単位を決定する文節単位決定処理を行う。ここで、文節単位は、音声認識部２３により認識された単語列を、例えば、ユーザに再発話を促すときに纏めて発話させたい部分ごとに区切った１以上の単語により構成される。例えば、文節単位決定処理部２６は、音声認識結果の信頼度をある単位（英語なら「冠詞＋単語」の単位、日本語なら「形態素＋助詞または助動詞」の単位）で取得し、信頼度の低い単語があった場合、その単語の周辺の単語から文節単位を決定する。

　また、文節単位決定処理部２６は、発音記号変換部２５により変換された発音記号に基づいて、図４に示すような有声音および無声音と発音記号とが対応付けられている発音情報テーブルを参照し、文節単位を決定することができる。即ち、文節単位決定処理部２６は、信頼度の低い単語の前方に配置されている単語を、信頼度の低い単語の１つ前から順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、文節単位の始端となる単語を特定する。同様に、文節単位決定処理部２６は、信頼度の低い単語の後方に配置されている単語を、信頼度の低い単語の１つ後ろから順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、文節単位の終端となる単語を特定する。

　音声認識結果出力処理部２７は、文節単位決定処理部２６により決定された文節単位をユーザに認識させるようなユーザインタフェースで、音声認識結果とともに文節単位をクライアント端末１３のユーザに認識させる音声認識結果情報を生成して出力する音声認識結果出力処理を行う。例えば、音声認識結果出力処理部２７は、音声認識結果を表す文字が文節単位で区切られていることが明示されるユーザインタフェース（図５参照）を表示するための表示情報を生成して出力したり、音声認識結果を表す合成音声を文節単位で区切って出力するための合成音声情報を生成して出力する。

　このように音声認識サーバ１４は構成されており、クライアント端末１３から送信されてきた音声情報に対する音声認識を行い、認識された単語列を区切る文節単位を決定して、文節単位で単語列が区切られた音声認識結果を、クライアント端末１３に送信することができる。これにより、クライアント端末１３においてユーザに提示される音声認識結果に間違った単語が含まれている場合、その間違って認識された単語を含む文節単位でユーザに再発話を促すことができる。

　従って、音声認識サーバ１４は、例えば、単語単位で音声認識を行う場合と比較して、文節単位で音声認識を行う結果、正しい単語を含むように音声認識結果を修正して出力することができる。このように音声認識結果を修正することができるので、音声認識サーバ１４は、結果的に、より高精度に音声認識を行うことができる。

　＜文節単位決定処理および音声認識結果出力処理＞

　図３乃至図５を参照して、文節単位決定処理部２６による文節単位決定処理の一例について説明する。

　図３に示すように、例えば、ユーザが発話した「I see a person with a red shirt」という音声情報に基づいて、音声認識部２３により「I sue a person with a red shoot」という音声認識結果が得られたとする。このとき、信頼度取得部２４は、この音声認識結果における単語「I」に対して信頼度「0.99」を取得し、単語「sue」に対して信頼度「0.23」を取得し、単語「person」に対して信頼度「0.98」を取得する。同様に、信頼度取得部２４は、単語「with」に対して信頼度「0.99」を取得し、単語「red」に対して信頼度「0.98」を取得し、単語「shoot」に対して信頼度「0.12」を取得する。また、発音記号変換部２５は、音声認識結果の各単語を、図示するような発音記号に変換する。

　そして、文節単位決定処理部２６は、発音記号変換部２５が変換した発音記号に基づいて、図４の発音情報テーブルを参照し、信頼度の低い単語の前方および後方の両方に、有声音で始まっている単語が配置されるように文節単位を決定する。または、文節単位決定処理部２６は、信頼度の低い単語の前方および後方の少なくとも一方に、有声音で始まっている単語が配置されるように文節単位を決定してもよい。

　例えば、文節単位決定処理部２６は、信頼度の低い単語「sue」に対し、その前方に有声音で始まっている単語「I」が配置されるとともに、その後方に有声音で始まっている単語「person」が配置される「I sue a person」を文節単位として決定する。また、文節単位決定処理部２６は、信頼度の低い単語「shoot」が最後に配置されていることより、単語「shoot」に対して前方に有声音で始まっている単語「red」が配置される「a red shoot」を文節単位として決定する。

　なお、例えば、文節単位決定処理部２６は、信頼度に基づいて、信頼度の高い単語を、信頼度の低い単語を含む文節単位の始端単語および終端単語として特定してもよい。または、文節単位決定処理部２６は、信頼度および発音記号の両方に基づいて、信頼度の低い単語を含む文節単位の始端単語および終端単語を特定してもよい。

　図５には、音声認識結果出力処理部２７による音声認識結果出力処理の一例として、クライアント端末１３の映像出力装置に表示されるユーザインタフェースが示されている。

　例えば、音声認識部２３による「I sue a person with a red shoot」という音声認識結果に対し、図３を参照して上述したように、文節単位決定処理部２６により文節単位が決定されたとする。この場合、音声認識結果出力処理部２７は、文節単位「I sue a person」および文節単位「a red shoot」で区切られていることが明示されるユーザインタフェースで音声認識結果を表示させる表示情報を出力する音声認識結果出力処理を行う。これにより、クライアント端末１３の映像出力装置には、図５に示すように、例えば、文節単位「I sue a person」および文節単位「a red shoot」が、それぞれ異なる枠で囲われたユーザインタフェースが表示される。

　このように、文節単位で明確に区分けされたユーザインタフェースにより、音声認識結果が間違っている単語に対する音声認識をやり直すためにユーザに対して再発話を促す際に、ユーザは、容易に文節単位で再発話を行うことができる。

　従って、音声認識部２３は、間違った単語を含む文節単位で再発話された音声情報に対する音声認識を行うことによって、例えば、間違った単語だけが発話される場合と比較して、より正確な音声認識結果を得ることができる。

　＜音声認識処理＞

　図６は、音声認識サーバ１４において実行される音声認識処理について説明するフローチャートである。

　例えば、クライアント端末１３からネットワーク１２を介して送信されてくる音声情報を通信部２１が受信して入力音処理部２２に供給すると処理が開始される。ステップＳ１１において、入力音処理部２２は、通信部２１から供給される音声情報から、クライアント端末１３のユーザが発話した音声が含まれている発話区間を検出する処理を行う。

　ステップＳ１２において、入力音処理部２２は、ステップＳ１１での処理における発話区間の検出結果に従って、クライアント端末１３のユーザによる発話が始まったか否かを判定する。ステップＳ１２において、入力音処理部２２が、発話が始まっていないと判定した場合、処理はステップＳ１１に戻り、発話が始まったと判定されるまで、処理は待機される。一方、ステップＳ１２において、入力音処理部２２が、クライアント端末１３のユーザの発話が始まったと判定した場合、処理はステップＳ１３に進む。

　ステップＳ１３において、入力音処理部２２は、発話区間の音声情報を音声認識部２３に供給し、音声認識部２３は、その音声情報に対する音声認識を行う。

　ステップＳ１４において、入力音処理部２２は、クライアント端末１３のユーザによる発話が終わったか否かを判定する。ステップＳ１４において、入力音処理部２２が、発話が終わっていないと判定した場合、処理はステップＳ１３に戻り、音声認識部２３による音声認識が継続して行われる。一方、ステップＳ１４において、入力音処理部２２が、クライアント端末１３のユーザによる発話が終わったと判定した場合、処理はステップＳ１５に進む。

　ステップＳ１５において、音声認識部２３は、発話が始まってから終わるまでの音声情報に基づいたステップＳ１３における音声認識に基づいた音声認識結果として、音声情報に含まれている発話内容を表す単語列を取得する。そして、音声認識部２３は、音声認識結果を発音記号変換部２５および文節単位決定処理部２６に供給する。

　ステップＳ１６において、発音記号変換部２５は、ステップＳ１５で音声認識部２３から供給される単語列を、単語ごとに発音記号に変換し、文節単位決定処理部２６に供給する。

　ステップＳ１７において、信頼度取得部２４は、ステップＳ１３で音声認識部２３が音声認識を行う際の単語ごとの信頼度を取得して、文節単位決定処理部２６に供給する。

　ステップＳ１８において、文節単位決定処理部２６は、ステップＳ１５で音声認識部２３から供給される単語列に対し、ステップＳ１６で発音記号変換部２５から供給される発音記号、および、ステップＳ１７で信頼度取得部２４から供給される信頼度に基づき、文節単位決定処理（後述する図７のフローチャート）を行う。そして、文節単位決定処理部２６は、文節単位決定処理において決定した文節単位を、単語列とともに音声認識結果出力処理部２７に供給する。

　ステップＳ１９において、音声認識結果出力処理部２７は、音声認識部２３により認識された単語列が、文節単位決定処理部２６により決定された文節単位で区切られていることが明示されるユーザインタフェースを表示させるための音声認識結果情報を出力する。そして、通信部２１が、音声認識結果出力処理部２７から出力される音声認識結果情報を、ネットワーク１２を介してクライアント端末１３に送信した後、音声認識処理は終了される。

　図７は、図６の音声認識処理におけるステップＳ１８の文節単位決定処理について説明するフローチャートである。

　文節単位決定処理は、例えば、音声認識部２３により認識された単語列の文頭の単語から順番に処理が行われ、ステップＳ２１において、文節単位決定処理部２６は、まず、文頭の単語を処理対象とする。

　ステップＳ２２において、文節単位決定処理部２６は、処理対象の単語に対して取得された信頼度が、所定の閾値以下であるか否かを判定する。

　ステップＳ２２において、文節単位決定処理部２６が、信頼度が所定の閾値以下であると判定した場合、処理はステップＳ２３に進む。

　ステップＳ２３において、文節単位決定処理部２６は、処理対象の単語が含まれる文節単位の始端となる始端単語を特定する始端単語特定処理（後述する図８のフローチャート）を行う。

　ステップＳ２４において、文節単位決定処理部２６は、処理対象の単語が含まれる文節単位の終端となる終端単語を特定する終端単語特定処理（後述する図９のフローチャート）を行う。

　ステップＳ２４の処理後、または、ステップＳ２２において文節単位決定処理部２６が、信頼度が所定の閾値以下でない（即ち、信頼度が所定の閾値より大きい）と判定した場合、処理はステップＳ２５に進む。

　ステップＳ２５において、文節単位決定処理部２６は、音声認識部２３により認識された単語列に含まれる全ての単語を処理対象としたか否かを判定する。

　ステップＳ２５において、文節単位決定処理部２６が、全ての単語を処理対象としていないと判定した場合、即ち、まだ処理対象となっていない単語がある場合、処理はステップＳ２６に進む。

　ステップＳ２６において、文節単位決定処理部２６は、現在処理対象となっている単語の次の単語を、新たに処理対象とする。そして、処理はステップＳ２２に戻り、新たに処理対象となった単語に対して、以下、同様の処理が繰り返される。

　一方、ステップＳ２５において、文節単位決定処理部２６が、全ての単語を処理対象としたと判定した場合、文節単位決定処理は終了される。

　図８は、図７の文節単位決定処理におけるステップＳ２３の始端単語特定処理について説明するフローチャートである。

　ステップＳ３１において、文節単位決定処理部２６は、処理対象の単語の前方にある全ての単語を、始端単語を特定するための対象として選択したか否かを判定する。

　ステップＳ３１において、文節単位決定処理部２６が、処理対象の単語の前方にある全ての単語を、始端単語を特定するための対象として選択していないと判定した場合、処理はステップＳ３２に進む。即ち、この場合、始端単語を特定するための対象として選択されていない単語が、処理対象の単語の前方にあることになる。

　ステップＳ３２において、文節単位決定処理部２６は、１つ前の単語を、始端単語を特定するための対象として選択する。例えば、文節単位決定処理部２６は、始端単語特定処理が１回目であるとき、図７のステップＳ２１またはＳ２６で処理対象とした単語の１つ前の単語を、始端単語を特定するための対象として選択する。また、文節単位決定処理部２６は、始端単語特定処理が２回目以降であるとき、選択中の単語の１つ前の単語を、始端単語を特定するための対象として選択する。

　ステップＳ３３において、文節単位決定処理部２６は、直前のステップＳ３２で選択されている単語の信頼度が、所定の閾値以下であるか否かを判定する。

　ステップＳ３３において、文節単位決定処理部２６が、選択されている単語の信頼度が、所定の閾値以下でない（即ち、信頼度が所定の閾値より大きい）と判定した場合、処理はステップＳ３４に進む。

　ステップＳ３４において、文節単位決定処理部２６は、発音記号変換部２５から供給される発音記号に従って、選択されている単語の発音記号が有声音から始まっているか否かを判定する。

　ステップＳ３４において、文節単位決定処理部２６が、選択されている単語の発音記号が有声音から始まっていると判定した場合、処理はステップＳ３５に進む。ステップＳ３５において、文節単位決定処理部２６は、その選択している単語を始端単語として特定する。

　一方、ステップＳ３４において、文節単位決定処理部２６が、選択されている単語の発音記号が有声音から始まっていないと判定した場合、即ち、選択されている単語の発音記号が無声音から始まっている場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。

　また、ステップＳ３３において、文節単位決定処理部２６が、選択されている単語の信頼度が、所定の閾値以下であると判定した場合、処理はステップＳ３６に進む。

　ステップＳ３６において、文節単位決定処理部２６は、この時点で、始端単語を特定するための対象として選択されている単語の１つ後ろの単語を始端単語として特定する。なお、例えば、始端単語特定処理が１回目であるとき、処理対象の単語の１つ前の単語が、始端単語を特定するための対象として選択されており、その１つ後ろにある処理対象の単語が始端単語として特定される。

　一方、ステップＳ３１において、文節単位決定処理部２６が、処理対象の単語の前方にある全ての単語を、始端単語を特定するための対象として選択したと判定した場合、処理はステップＳ３７に進む。

　ステップＳ３７において、文節単位決定処理部２６は、音声認識部２３により認識された単語列の文頭の単語を、始端単語として特定する。

　ステップＳ３５、ステップＳ３６、またはステップＳ３７の処理後、始端単語特定処理は終了される。

　図９は、図７の文節単位決定処理におけるステップＳ２４の終端単語特定処理について説明するフローチャートである。

　ステップＳ４１において、文節単位決定処理部２６は、処理対象の単語の後方にある全ての単語を、終端単語を特定するための対象として選択したか否かを判定する。

　ステップＳ４１において、文節単位決定処理部２６が、処理対象の単語の後方にある全ての単語を、終端単語を特定するための対象として選択していないと判定した場合、処理はステップＳ４２に進む。即ち、この場合、終端単語を特定するための対象として選択されていない単語が、処理対象の単語の後方にあることになる。

　ステップＳ４２において、文節単位決定処理部２６は、１つ後ろの単語を、終端単語を特定するための対象として選択する。例えば、文節単位決定処理部２６は、終端単語特定処理が１回目であるとき、図７のステップＳ２１またはＳ２６で処理対象とした単語の１つ後ろの単語を、終端単語を特定するための対象として選択する。また、文節単位決定処理部２６は、終端単語特定処理が２回目以降であるとき、選択中の単語の１つ後ろの単語を、終端単語を特定するための対象として選択する。

　ステップＳ４３において、文節単位決定処理部２６は、直前のステップＳ４２で選択されている単語の信頼度が、所定の閾値以下であるか否かを判定する。

　ステップＳ４３において、文節単位決定処理部２６が、選択されている単語の信頼度が、所定の閾値以下でない（即ち、信頼度が所定の閾値より大きい）と判定した場合、処理はステップＳ４４に進む。

　ステップＳ４４において、文節単位決定処理部２６は、発音記号変換部２５から供給される発音記号に従って、選択されている単語の発音記号が有声音から始まっているか否かを判定する。

　ステップＳ４４において、文節単位決定処理部２６が、選択されている単語の発音記号が有声音から始まっていると判定した場合、処理はステップＳ４５に進む。ステップＳ４５において、文節単位決定処理部２６は、その選択している単語を終端単語として特定する。

　一方、ステップＳ４４において、文節単位決定処理部２６が、選択されている単語の発音記号が有声音から始まっていないと判定した場合、即ち、選択されている単語の発音記号が無声音から始まっている場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。

　また、ステップＳ４３において、文節単位決定処理部２６が、選択されている単語の信頼度が、所定の閾値以下であると判定した場合、処理はステップＳ４６に進む。

　ステップＳ４６において、文節単位決定処理部２６は、この時点で、終端単語を特定するための対象として選択されている単語の１つ前の単語を終端単語として特定する。なお、例えば、終端単語特定処理が１回目であるとき、処理対象の単語の１つ後ろの単語が、終端単語を特定するための対象として選択されており、その１つ前にある処理対象の単語が終端単語として特定される。

　一方、ステップＳ４１において、文節単位決定処理部２６が、処理対象の単語の後方にある全ての単語を、終端単語を特定するための対象として選択したと判定した場合、処理はステップＳ４７に進む。

　ステップＳ４７において、文節単位決定処理部２６は、音声認識部２３により認識された単語列の文末の単語を、終端単語として特定する。

　ステップＳ４５、ステップＳ４６、またはステップＳ４７の処理後、終端単語特定処理は終了される。

　以上のように、音声認識サーバ１４は、クライアント端末１３から送信されてくる音声情報に対する音声認識を行う際に、文節単位決定処理で文節単位を決定することで、音声認識結果とともに文節単位を認識させるユーザインタフェースを提示することができる。これにより、ユーザに対して文節単位で再発話を行わせることができ、より正確な音声認識結果を得ることができる。

　＜音声認識サーバの第２の構成例＞

　図１０は、音声認識サーバ１４の第２の構成例を示すブロック図である。なお、図１０に示す音声認識サーバ１４Ａにおいて、図２の音声認識サーバ１４と共通する構成については、同一の符号を付し、その詳細な説明は省略する。

　図１０に示すように、音声認識サーバ１４Ａは、通信部２１、入力音処理部２２、音声認識部２３、信頼度取得部２４、発音記号変換部２５、文節単位決定処理部２６、および音声認識結果出力処理部２７を備える点で、図２の音声認識サーバ１４と共通の構成となっている。さらに、音声認識サーバ１４Ａは、１文字音声認識部２８および自然言語解析部２９を備えて構成される。

　１文字音声認識部２８は、入力音処理部２２から供給される音声情報に対して１文字単位で音声認識を行うことができる。例えば、１文字音声認識部２８は、音声認識部２３よりも１文字単位での音声認識に特化した音声認識エンジンを備えている。

　例えば、音声認識サーバ１４Ａでは、信頼度の低い単語を含む文節単位を決定する際に、上述したような有声音から始まる単語を特定することができなかった場合、文節単位決定処理部２６により、その信頼度の低い単語のみからなる文節単位が決定される。即ち、この場合、信頼度の低い単語のみの再発話が促される。その後、再発話の音声情報を入力音処理部２２が取得すると、入力音処理部２２は、信頼度が低かった単語の音声情報を１文字音声認識部２８に供給し、１文字音声認識部２８に音声認識を行わせる。

　これにより、信頼度の低い単語を含む文節単位を決定する際に、その単語のみからなる文節単位が決定されても、その再発話を音声認識部２３により音声認識させる場合よりも、音声認識の精度を向上させることができる。

　自然言語解析部２９には、音声認識部２３が音声情報に対する音声認識を行って得られる音声認識結果が供給される。そして、自然言語解析部２９は、音声認識結果に対する自然言語解析を行って、音声認識結果に含まれる単語の文要素（文の成分）を解析結果として取得する。

　図３を参照して上述したように、音声認識部２３により「I sue a person with a red shoot」という音声認識結果が得られた場合、自然言語解析部２９は、その音声認識結果に含まれる単語ごとの文要素を取得する。例えば、自然言語解析部２９は、単語「I」が名詞（主語）であり、単語「sue」が動詞であり、単語「a」が冠詞であり、単語「person」が名詞（目的語）であり、単語「with」が前置詞であり、単語「a」が冠詞であり、単語「red」が形容詞であり、単語「shoot」が名詞であるという解析結果を取得する。

　そして、文節単位決定処理部２６は、このような文要素に従った言語構造に基づいて、文節単位を決定することができる。例えば、文節単位決定処理部２６は、主語、動詞、および目的語という繋がりの強い言語構造に基づいて、「I sue a person」を文節単位として決定する。また、文節単位決定処理部２６は、例えば、冠詞、形容詞、および名詞という繋がりの強い言語構造に基づいて、「a red shoot」を文節単位として決定する。

　このように、言語構造に基づいて文節単位を決定する場合、主語、動詞、および目的語という繋がりの強い言語構造であれば、文節単位決定処理部２６は、無声音から始まっている単語を始端単語または終端単語として選択してもよい。

　例えば、ユーザが発話した「She plays with her hair」という音声情報に基づいて、音声認識部２３により「She prays with her hair」という音声認識結果が得られた例について説明する。

　この場合、自然言語解析部２９は、例えば、単語「She」が名詞（主語）であり、単語「prays」が動詞であり、単語「with」が前置詞であり、単語「her」が名詞（目的語）であり、単語「hair」が名詞（目的語）であるという解析結果を取得する。このとき、単語「prays」の信頼度が低く、文節単位決定処理部２６は、単語「prays」を含む文節単位を決定する処理を行う。

　そして、文節単位決定処理部２６は、信頼度が低い単語「prays」の前にある単語「She」が有声音から始まっていなくても、主語および動詞という繋がりの強い言語構造であって、音の結びつきが強いと判断することができる。従って、文節単位決定処理部２６は、有声音から始まっていない単語「She」を始端単語として選択して、「She plays with」を文節単位として決定することができる。

　＜変形例について＞

　図１１を参照して、文節単位決定処理の変形例について説明する。

　上述したように、文節単位決定処理部２６は、文節単位を決定する際に、有声音から始まっている単語であるか否かに基づいて処理を行っている。これは、有声音から始まっている単語の方が、無声音から始まっている単語よりも高精度に音声認識を行うことができるからである。この他、例えば、無声音から始まっている単語であっても、有声音が相対的に多く（例えば、全単語の半分以上）含まれている場合、高精度に音声認識を行うことができると考えられる。

　従って、文節単位決定処理部２６は、無声音から始まっている単語であって、かつ、有声音が相対的に多く含まれている単語を、始端単語または終端単語として特定して、文節単位を決定することができる。

　例えば、図１１に示すように、ユーザが発話した「Statistics shows that people are having fewer children」という音声情報に基づいて、音声認識部２３により「Statistics shoes that people are having fewer children」という音声認識結果が得られたとする。このとき、単語「Statistics」は、有声音から始まっていないが、有声音の含有率が高いと判定できることより、文節単位決定処理部２６は、単語「Statistics」を始端単語として、「Statistics shows that」を文節単位として決定することができる。

　図１２を参照して、音声認識のユーザインタフェースの変形例について説明する。

　図１２には、発話する内容をユーザに選択させて音声入力させるシステムにおけるユーザインタフェースの一例が示されている。図１２の上側に示すように、質問文「Which do you like better?」に対して、選択肢「Seashell」および選択肢「glass ball」のいずれかを、ユーザに発話させるようなシステムに、音声認識システム１１を適用することができる。しかしながら、選択肢「Seashell」は、無声音が多く含まれており、音声認識の精度が低下することが想定される。

　このように、音声認識の精度が低下することが想定される場合、音声認識システム１１は、選択肢「Seashell」に類似する意味を備えた単語であって、有声音が多く含まれる単語に、選択肢を変更することができる。即ち、図１２の下側に示すように、音声認識システム１１は、選択肢「Seashell」を選択肢「Shellfish」に変更することができる。これにより、選択肢「Seashell」よりも有声音が多く含まれている選択肢「Shellfish」を発話させることによって、より高精度に音声認識を行うことができる。

　図１３を参照して、音声認識結果出力処理の変形例について説明する。

　図１３には、音声認識結果出力処理部２７により出力されるユーザインタフェースの変形例が示されている。

　例えば、図５を参照して説明したように、文節単位「I sue a person」および文節単位「a red shoot」で区切られていることが明示されるユーザインタフェースをユーザに提示して、文節単位「a red shoot」の再発話を促すことができる。しかしながら、この場合、終端単語が無声音で始まっていることより、再発話に対する音声認識精度が大きく向上することは難しいと考えられる。

　そこで、音声認識結果出力処理部２７は、図１３に示すように、無声音で始まっている単語が終端単語となっている文節単位「a red shoot」の後ろに、注意文「speech with "please"」を付加するようなユーザインタフェースを出力することができる。即ち、文節単位の終端単語が、無声音で始まっている単語であるときに、文章に影響しない単語であって、かつ、有声音から始まる単語を、その終端単語の後ろに付け加えるような発話を促すユーザインタフェースを提示する。これにより、ユーザが、「I see a person with a red shirt please」と再発話すると、終端単語が有声音から始まっていることより、その再発話に対する音声認識精度が大きく向上することになる。

　なお、文節単位の始端単語が、無声音で始まっている場合も同様に、文章に影響しない単語であってかつ、有声音から始まる単語を、その始端単語の前に付け加えるような再発話を促すユーザインタフェースを提示してもよい。

　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPU（Central Processing Unit）により処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

　また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　ここで、図１４に示すコンピュータ１０１は、例えば、図１のクライアント端末１３に対応しており、ネットワーク１２を介して処理を行うことなく、クライアント端末１３単体で音声認識処理を行うことができる構成例が示されている。

　コンピュータ１０１は、音声情報取得装置１０２、映像出力装置１０３、音声出力装置１０４、CPU１０５、メモリ１０６、記憶装置１０７、ネットワーク入出力装置１０８を備えて構成される。さらに、コンピュータ１０１は、図２に示した音声認識サーバ１４と同様に、入力音処理部２２、音声認識部２３、信頼度取得部２４、発音記号変換部２５、文節単位決定処理部２６、および音声認識結果出力処理部２７を備えて構成される。さらに、コンピュータ１０１は、図１０に示した音声認識サーバ１４Ａと同様に、１文字音声認識部２８および自然言語解析部２９を備えて構成される。

　例えば、音声情報取得装置１０２はマイクロホンにより構成され、映像出力装置１０３はディスプレイにより構成され、音声出力装置１０４はスピーカにより構成される。また、ネットワーク入出力装置１０８は、図２の通信部２１に対応し、例えば、ＬＡＮ（Local Area Network）の規格に従った通信を行うことができる。

　そして、コンピュータ１０１では、CPU１０５が、記憶装置１０７に記憶されているプログラムをメモリ１０６に読み出して実行することにより、上述した一連の処理が行われる。

　なお、CPU１０５が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアに記録して提供したり、ネットワーク入出力装置１０８を利用して、有線または無線の伝送媒体を介して提供することができる。

　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得する音声認識部と、
　前記音声認識部により前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得する信頼度取得部と、
　前記信頼度取得部により取得された前記信頼度の低い単語を含む文節単位を決定する文節単位決定部と、
　前記音声認識結果とともに、前記文節単位決定部により決定された前記文節単位を認識させる音声認識結果情報を出力する出力処理部と
　を備える情報処理装置。
（２）
　前記音声認識結果として認識された単語列を、それぞれの単語の発音記号に変換する発音記号変換部
　をさらに備え、
　前記文節単位決定部は、前記発音記号変換部により変換された発音記号に基づいて、前記文節単位を決定する
　上記（１）に記載の情報処理装置。
（３）
　前記文節単位決定部は、前記発音記号変換部により変換された発音記号を参照し、有声音で始まっている単語を、前記文節単位の始端および終端となる単語として特定する
　上記（２）に記載の情報処理装置。
（４）
　前記文節単位決定部は、前記信頼度の低い単語の前方に配置されている単語を、前記信頼度の低い単語の１つ前から順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、前記文節単位の始端となる単語を特定する
　上記（３）に記載の情報処理装置。
（５）
　前記文節単位決定部は、前記信頼度の低い単語の後方に配置されている単語を、前記信頼度の低い単語の１つ後ろから順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、前記文節単位の終端となる単語を特定する
　上記（３）または（４）に記載の情報処理装置。
（６）
　前記音声認識結果として認識された単語列からなる文章に対して自然言語解析を行う自然言語解析部をさらに備え、
　前記文節単位決定部は、前記自然言語解析部による解析結果を参照し、繋がりの強い言語構造に基づいて、前記文節単位を決定する
　上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
　前記音声情報に対して１文字単位で音声認識を行う１文字音声認識部をさらに備え、
　前記文節単位決定部により前記信頼度の低い単語のみからなる文節単位が決定された後、前記信頼度の低い単語について再発話された音声情報に対して、前記１文字音声認識部により音声認識が行われる
　上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
　前記出力処理部は、前記文節単位の始端または終端となる単語が有声音で始まっていない場合、文章に影響しない単語であってかつ、有声音から始まる単語を、前記文節単位の前方または後方に付け加えて再発話を促すユーザインタフェースを提示させる
　上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
　ネットワークを介して他の装置と通信を行う通信部と、
　前記音声情報に音声が含まれている発話区間を検出する処理を行う入力音処理部と
　をさらに備え、
　前記通信部は、
　　前記ネットワークを介して前記他の装置から送信されてくる前記音声情報を取得して前記入力音処理部に供給し、
　　前記出力処理部から出力される前記音声認識結果情報を、前記ネットワークを介して前記他の装置に送信する
　上記（１）から（８）までのいずれかに記載の情報処理装置。
（１０）
　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得し、
　前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得し、
　前記信頼度の低い単語を含む文節単位を決定し、
　前記音声認識結果とともに、前記文節単位を認識させる音声認識結果情報を出力する
　ステップを含む情報処理方法。
（１１）
　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得し、
　前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得し、
　前記信頼度の低い単語を含む文節単位を決定し、
　前記音声認識結果とともに、前記文節単位を認識させる音声認識結果情報を出力する
　ステップを含む情報処理をコンピュータに実行させるプログラム。

　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　１１　音声認識システム，　１２　ネットワーク，　１３　クライアント端末，　１４　音声認識サーバ，　２１　通信部，　２２　入力音処理部，　２３　音声認識部，　２４　信頼度取得部，　２５　発音記号変換部，　２６　文節単位決定処理部，　２７　音声認識結果出力処理部，　２８　１文字音声認識部，　２９　自然言語解析部，　１０１　コンピュータ，　１０２　音声情報取得装置，　１０３　映像出力装置，　１０４　音声出力装置，　１０５　CPU，　１０６　メモリ，　１０７　記憶装置，　１０８　ネットワーク入出力装置

Claims

　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得する音声認識部と、
　前記音声認識部により前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得する信頼度取得部と、
　前記信頼度取得部により取得された前記信頼度の低い単語を含む文節単位を決定する文節単位決定部と、
　前記音声認識結果とともに、前記文節単位決定部により決定された前記文節単位を認識させる音声認識結果情報を出力する出力処理部と
　を備える情報処理装置。
　前記音声認識結果として認識された単語列を、それぞれの単語の発音記号に変換する発音記号変換部
　をさらに備え、
　前記文節単位決定部は、前記発音記号変換部により変換された発音記号に基づいて、前記文節単位を決定する
　請求項１に記載の情報処理装置。
　前記文節単位決定部は、前記発音記号変換部により変換された発音記号を参照し、有声音で始まっている単語を、前記文節単位の始端および終端となる単語として特定する
　請求項２に記載の情報処理装置。
　前記文節単位決定部は、前記信頼度の低い単語の前方に配置されている単語を、前記信頼度の低い単語の１つ前から順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、前記文節単位の始端となる単語を特定する
　請求項２に記載の情報処理装置。
　前記文節単位決定部は、前記信頼度の低い単語の後方に配置されている単語を、前記信頼度の低い単語の１つ後ろから順に選択して、その選択された単語が有声音で始まっているか否かに基づいて、前記文節単位の終端となる単語を特定する
　請求項２に記載の情報処理装置。
　前記音声認識結果として認識された単語列からなる文章に対して自然言語解析を行う自然言語解析部をさらに備え、
　前記文節単位決定部は、前記自然言語解析部による解析結果を参照し、繋がりの強い言語構造に基づいて、前記文節単位を決定する
　請求項１に記載の情報処理装置。
　前記音声情報に対して１文字単位で音声認識を行う１文字音声認識部をさらに備え、
　前記文節単位決定部により前記信頼度の低い単語のみからなる文節単位が決定された後、前記信頼度の低い単語について再発話された音声情報に対して、前記１文字音声認識部により音声認識が行われる
　請求項１に記載の情報処理装置。
　前記出力処理部は、前記文節単位の始端または終端となる単語が有声音で始まっていない場合、文章に影響しない単語であってかつ、有声音から始まる単語を、前記文節単位の前方または後方に付け加えて再発話を促すユーザインタフェースを提示させる
　請求項１に記載の情報処理装置。
　ネットワークを介して他の装置と通信を行う通信部と、
　前記音声情報に音声が含まれている発話区間を検出する処理を行う入力音処理部と
　をさらに備え、
　前記通信部は、
　　前記ネットワークを介して前記他の装置から送信されてくる前記音声情報を取得して前記入力音処理部に供給し、
　　前記出力処理部から出力される前記音声認識結果情報を、前記ネットワークを介して前記他の装置に送信する
　請求項１に記載の情報処理装置。
　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得し、
　前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得し、
　前記信頼度の低い単語を含む文節単位を決定し、
　前記音声認識結果とともに、前記文節単位を認識させる音声認識結果情報を出力する
　ステップを含む情報処理方法。
　ユーザの発話により得られる音声情報を取得して、前記音声情報に対する音声認識を行うことにより発話内容を表す単語列を音声認識結果として取得し、
　前記音声情報に対する音声認識が行われる際に、前記音声認識結果として認識された単語ごとに、それぞれを音声認識結果として信頼できる程度を表す指標となる信頼度を取得し、
　前記信頼度の低い単語を含む文節単位を決定し、
　前記音声認識結果とともに、前記文節単位を認識させる音声認識結果情報を出力する
　ステップを含む情報処理をコンピュータに実行させるプログラム。