JP4666648B2

JP4666648B2 - 音声応答システム、音声応答プログラム

Info

Publication number: JP4666648B2
Application number: JP2006237980A
Authority: JP
Inventors: 昌史里村
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-09-01
Filing date: 2006-09-01
Publication date: 2011-04-06
Anticipated expiration: 2026-09-01
Also published as: JP2008058813A

Description

本発明は使用者から発せられた音声を認識してこれに応答するシステム等に関する。

使用者から発せられた音声認識の便宜を図るため、入力音声に基づいて複数の音声候補を認識し、当該複数の音声候補の中から使用者により選択された１つの音声候補を当該使用者から発せられた音声として認識する手法が提案されている（たとえば、特許文献１参照）。
特開昭６３−０２７８９８号公報

しかし、入力音声と、複数のカテゴリに区分された複数の辞書のそれぞれに登録されている音声との音響的な近さに基づいて音声候補が認識される場合、使用者の発話から乖離したカテゴリに属する音声候補が偏重的に認識されてしまう可能性があった。このため、使用者の発話に合致する音声候補が認識されず、当該使用者の発話の正しい認識が困難となる場合があった。また、多数の音声候補が提示されるとその中から使用者が先の発話に合致した音声候補を探すのは煩わしさを伴う可能性が高くなる。

そこで、本発明は、使用者の発話に合致する蓋然性の高い音声候補を特定のカテゴリに偏重することなく認識し、使用者による当該音声候補の選択結果に応答するシステム、および当該応答機能をコンピュータに付与するプログラムを提供することを解決課題とする。

前記課題を解決するための第１発明の音声応答システムは、音声入力手段に入力された音声に基づき、１次ドメイン群に含まれる第１ドメインに属する音声候補を第１音声候補として認識する第１音声認識部と、該音声入力手段に入力された該音声に基づき、該第１ドメインを含まない２次ドメイン群に含まれる第２ドメインに属する音声候補を第２音声候補として認識する第２音声認識部と、該第１音声認識部により認識された第１音声候補と、該第２音声認識部により認識された第２音声候補とを出力する出力部と、該出力部により出力された該第１音声候補および該第２音声候補のうち使用者により選択された音声候補を認識する確認部とを備えていることを特徴とする。

第１発明の音声応答システムによれば、音声入力手段への入力音声に基づき、異なるドメインに属する複数の音声候補が認識され、かつ、出力される。「ドメイン」とは音声候補のカテゴリに応じた分類を意味する。これにより、当該使用者の発話から乖離したカテゴリに属する複数の音声候補が偏重的に出力される事態が回避されうる。また、出力される複数の音声候補に使用者の発話に該当する音声候補を高い確率で含ませることができる。そして、当該複数の音声候補の中から使用者により選択された、当該使用者の発話に合致した１つの音声候補が高い確率で認識され、使用者の意図に沿った形での応答が可能となる。すなわち、使用者の発話に合致する蓋然性の高い音声候補が特定のカテゴリに偏重することなく認識され、使用者による当該音声候補の選択結果に応答することが可能となる。

また、第２発明の音声応答システムは、第１発明の音声応答システムにおいて、前記第２音声認識部が前記第２音声候補のスコアを評価し、前記出力部が、該第２音声認識部により評価されたスコアが所定のスコア以上であることを要件として該第２音声候補を出力することを特徴とする。
第２発明の音声応答システムによれば、第２音声候補のスコア（尤度）が所定のスコア以上であることを要件として当該第２音声候補が出力される。音声候補の「スコア」とは、当該音声候補が音響的観点や言語的観点等のさまざまな観点から入力音声に該当するもっともらしさ（尤度、確信度）を表す指数を意味する。これにより、入力音声に該当する可能性が著しく低い音声候補までもが出力される事態が回避される。

さらに、第３発明の音声応答システムは、第１発明の音声応答システムにおいて、前記確認部により認識された音声候補に基づき、機器の動作を制御する機器制御部とをさらに備えていることを特徴とする。

第３発明の音声応答システムによれば、ユーザの発話に合致する音声候補に基づいて、当該ユーザの意思や希望に沿った形で機器が制御されうる。

また、第４発明の音声応答システムは、第３発明の音声応答システムにおいて、前記第２音声認識部が前記第２音声候補のスコアを評価し、前記機器制御部が該第２音声認識部により評価されたスコアが所定のスコア未満である場合、前記第１音声候補に基づいて前記機器の動作を制御することを特徴とする。

第４発明の音声応答システムによれば、ユーザの発話に該当する可能性が極めて低い音声候補にしたがって機器が制御される事態が確実に回避されうる。

前記課題を解決するための第５発明の音声応答プログラムは、音声入力手段に入力された音声に基づき１次ドメイン群に含まれる第１ドメインに属する音声候補を第１音声候補として認識する第１音声認識機能と、該音声入力手段に入力された該音声に基づき該第１ドメインを含まない２次ドメイン群に含まれる第２ドメインに属する音声候補を第２音声候補として認識する第２音声認識機能と、該第１音声認識機能により認識された第１音声候補と、該第２音声認識機能により認識された第２音声候補とを該使用者に知らせる出力機能と、該出力機能により出力された該第１音声候補および該第２音声候補のうち使用者により選択された音声候補を認識する確認機能とをコンピュータに付与することを特徴とする。

第５発明の音声応答プログラムによれば、使用者の発話に合致する蓋然性の高い音声候補を特定のカテゴリに偏重することなく認識し、使用者による当該音声候補の選択結果に応答する機能が任意のコンピュータに付与されうる。

本発明の音声応答システム等の実施形態について図面を用いて説明する。

まず、本発明の音声応答システムの構成について図１〜図２を用いて説明する。
音声応答システム１０はＡ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等により構成されている。）等を含む電子回路により構成され、マイク２の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、音声応答システム１０は、入力されたデータに基づいて、運転者から入力された発話を認識する処理や、その認識結果に基づいて、スピーカ４やディスプレイ５を介して運転者との対話や運転者への情報提示を行う処理や、機器６１〜６３を制御する処理等を実行する。これらの処理は、音声応答システム１０のメモリに予め実装されたプログラムを音声応答システム１０により実行することにより実現される。なお、当該ソフトウェアはＣＤ−ＲＯＭ等の記録媒体を介してメモリに格納されてもよく、外部のサーバからネットワークや人工衛星を介して配信または放送され、車両１に搭載された通信機器により受信された上でメモリに格納されてもよい。

音声応答システム１０にはマイク（音声入力手段）２と、車両状態検出部３と、スピーカ４と、ディスプレイ５と、複数の機器としてのオーディオ機器６１、ナビゲーションシステム６２、およびエアコンディショナ６３とが接続されている。

マイク２は車内の所定箇所に設置され、車両１の運転者等の使用者の音声が入力される。マイク２は、たとえばトークスイッチにより音声の入力開始が指令されると、入力される音声を運転者の発話として取得する。トークスイッチは使用者により操作されるＯＮ・ＯＦＦスイッチであり、押下してＯＮ操作されることによって音声の入力開始が指令される。

車両状態検出部３は車両１の状態を検出するセンサ等である。車両１の状態とは、たとえば車両１の速度や加減速等の走行状態、車両１の位置や走行道路等の走行環境情報、車両１に装備された機器（ワイパー、ウィンカー、オーディオ機器６１、ナビゲーションシステム６２等）の動作状態、車両１の内部温度等の状態を意味する。車両１の走行状態を検出するセンサとしては、車両１の走行速度（車速）を検出する車速センサ、車両１のヨーレートを検出するヨーレートセンサ、車両１のブレーキ操作（ブレーキペダルが操作されているか否か）を検出するブレーキセンサ等が挙げられる。さらに、車両１の状態として車両１の運転者の状態（運転者の手掌部の発汗、運転負荷等）が検出されてもよい。

スピーカ４は使用者への応答（音声ガイド）を出力する。なお、スピーカ４としてオーディオ機器６１が有するスピーカが用いられてもよい。

ディスプレイ５にはフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）、車速等の走行状態を表示するメータに一体的に設けられたディスプレイ、およびナビゲーションシステム６２が有するディスプレイ等が含まれる。なお、ナビゲーションシステム６２のディスプレイは、タッチスイッチが組み込まれたタッチパネルとなっている。

複数の機器６１〜６３のそれぞれについて、制御可能な構成要素（デバイス，コンテンツ等）、機能、動作等があらかじめ定められている。

オーディオ機器６１のデバイスには「ＣＤ」「ＭＰ３」「ラジオ」「スピーカ」等が含まれている。また、オーディオ機器６１の機能には「音量」等の調節が含まれている。さらに、オーディオ機器６１の動作には「変更」「オン」「オフ」等が含まれている。また「ＣＤ」「ＭＰ３」の動作には「再生」「停止」等が含まれている。さらに「ラジオ」の機能には「選局」等が含まれている。また「音量」の動作として「上げる」「下げる」等が含まれている。

ナビゲーションシステム６２のコンテンツには「画面表示」「経路誘導」「ＰＯＩ（ＰｏｉｎｔｏｆＩｎｔｅｒｅｓｔ）検索」等が含まれている。さらに「画面表示」の動作には「変更」「拡大」「縮小」等が含まれている。なお「経路誘導」は音声ガイド等により目的地へ誘導する機能であり、「ＰＯＩ検索」はたとえばレストラン、ホテル等の目的地を検索する機能である。

エアコンディショナ６３の機能には「風量」「設定温度」等の調節が含まれている。また、エアコンディショナ６３の動作には「オン」「オフ」等が含まれている。さらに「風量」「設定温度」の動作には「変更」「上げる」「下げる」等が含まれている。

当該機器６１〜６３は、制御対象となる機能等が特定されることにより制御されうる。制御対象となる各機器６１〜６３のデバイス、コンテンツ、機能は複数のドメインに分類されている。

音声応答システム１０は音声認識部１１と、構文解析部１２と、シナリオ制御部１３と、音声合成部１４とを備えている。音声認識部１１、構文解析部１２およびシナリオ制御部１３が本発明の「第１音声認識部」および「第２音声認識部」を構成する。シナリオ制御部１３および音声合成部１４が本発明の「出力部」を構成する。また、シナリオ制御部１３が本発明の「確認部」および「機器制御部」のそれぞれを構成する。

第１音声認識部はマイク２に入力された音声に基づき、１次ドメイン群に含まれる第１ドメインに属する音声候補を「第１音声候補」として認識する。

第２音声認識部はマイク２に入力された音声に基づき、第１ドメインを含まない２次ドメイン群に含まれる第２ドメインに属する音声候補を「第２音声候補」として認識する。

出力部は第１音声認識部により認識された第１音声候補と、第２音声認識部により認識された第２音声候補とをディスプレイ５に表示等する。

確認部は出力部により出力された第１音声候補および第２音声候補のうち使用者により選択された音声候補を認識する。

機器制御部は確認部により認識された当該選択音声候補等に基づき、機器６１〜６３の動作を制御する。

音声認識部１１はマイク２への入力音声に応じた波形データを周波数分析して特徴ベクトルを抽出し、当該特徴ベクトルに基づいて入力音声を認識し、単語列で表現されたテキストとして出力する「音声認識処理」を実行する。また、音声認識部１１は言語モデル１１２および固有名詞辞書１１４のうち、シナリオ制御部１３により特定されたドメインに応じたドメイン群のそれぞれに分類されたデータのみを用いて音声認識処理を実行する。音声認識処理は、次に説明するような確率統計的な手法を用いて入力音声の音響的特徴および言語的特徴を総合的に判断することにより実行される。

すなわち、音声認識部１１は音響モデル１１１を用いて、抽出された特徴ベクトルに応じた発音データの尤度（以下、適宜「音響スコア」という。）を評価し、当該音響スコアに基づいて発音データを特定する。また、音声認識部１１は言語モデル１１２および固有名詞辞書１１４を用いて当該発音データに応じた単語列で表現されたテキストの尤度（以下、適宜「言語スコア」という。）を評価し、当該言語スコアに基づいてテキストを特定する。さらに、音声認識部１１は特定されたすべてのテキストについて、音響スコアと言語スコアとの重み付き和として音声認識の確信度（以下、適宜「音声認識スコア」という。）を評価し、音声認識スコアが所定の条件を満たすテキストを、認識されたテキスト（ＲｅｃｏｇｎｉｚｅｄＴｅｘｔ）として出力する。

構文解析部１２は音声認識部１１により認識されたテキストから構文モデル１２２および固有名詞辞書１２４を用いて、入力音声の意味を理解する「構文解析処理」を実行する。構文解析処理は次に説明するような確率統計的な手法を用いて、音声認識部１１により認識されたテキストにおける単語間の関係または構文を解析することにより実行される。

すなわち、構文解析部１２は当該認識されたテキストの尤度（以下、適宜「構文解析スコア」という。）を評価し、かつ、意味に対応するクラスに分類されたテキストを特定する。また、構文解析部１２は、構文解析スコアが所定の条件を満たすようなクラスに分類されたテキスト（ＣａｔｅｇｏｒｉｚｅｄＴｅｘｔ）を、入力音声の認識結果として構文解析スコアとともに出力する。テキストの先頭部分は、制御対象である機能の分類を表すドメインに相当する。たとえば、認識されたテキストが「地図回転」である場合、クラス分類されたテキストは｛ｎａｖｉｇａｔｉｏｎ＿ｍａｐｃｏｎｔｒｏｌ＿ｒｏｔａｔｉｏｎ｝となり、制御対象はｎａｖｉｇａｔｉｏｎとなる。なお、クラス分類されたテキストの先頭部分がドメインとして定義されるほか、これとは異なる形で当該テキストの一部または全部がドメインとして定義されていてもよい。たとえば、クラス分類されたテキスト｛ｎａｖｉｇａｔｉｏｎ＿ｍａｐｃｏｎｔｒｏｌ＿ｒｏｔａｔｉｏｎ｝のうち「ｎａｖｉｇａｔｉｏｎ＿ｍａｐｃｏｎｔｒｏｌ」がドメインとされてもよい。

シナリオ制御部１３は構文解析部１２から出力される認識結果と、車両状態検出部３から取得される車両１の状態とに基づき、シナリオデータベース１３２に保存されているデータを用いて、使用者に対する応答出力や機器制御のシナリオを特定する。シナリオデータベース１３２には、応答出力や機器の動作制御のための複数のシナリオが、音声認識結果や車両状態の条件（ルール）とともにあらかじめ保存されている。そして、シナリオ制御部１３は特定されたシナリオにしたがって、音声や画像表示による応答を制御する処理や、機器を制御する処理を実行する。シナリオ制御部１３は、たとえば音声による応答では、出力する応答の内容（運転者の次の発話を促すための応答文や、操作の完了等を使用者に報知するための応答文）や、応答を出力する際の速度や音量を特定する。シナリオ制御部１３は構文解析部１２により認識された発話の意味に基づき、制御対象となる機器や、当該機器に実行させる情報処理のカテゴリを特定するドメインを特定する。

音声合成部１４はシナリオ制御部１３で特定された応答文に応じて、音素モデル１４２を用いてＴＴＳ（ＴｅｘｔｔｏＳｐｅｅｃｈ）等の処理によって音声を合成し、音声を示す波形データとして出力する。音声合成部１４は、たとえばシナリオ制御部１３で特定された応答文のテキストを音声出力に適した表現に正規化し、当該正規化テキストの各単語を発音データに変換する。そして、音声合成部１４は、音素モデル１４２を用いて発音記号から特徴ベクトルを特定し、この特徴ベクトルにフィルタ処理を施して波形データに変換する。この波形データは、スピーカ４から音声として出力される。

音響モデル１１１、言語モデル１１２、固有名詞辞書１１４、構文モデル１２２、固有名詞辞書１２４、シナリオデータベース１３２および音素モデル１４２のそれぞれは、データが格納または記録されているＣＤ−ＲＯＭ、ＤＶＤ、ＨＤＤ等の記録媒体（データベース）である。

音響モデル（ＡｃｏｕｓｔｉｃＭｏｄｅｌ）１１１には、認識単位（音素、形態素、単語等）毎に用意された複数のＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ（隠れマルコフモデル））等、特徴ベクトルと発音データとの確率的な対応を示すデータが格納されている。ＨＭＭは音声が定常信号源（状態）の連結により表現され、時系列が状態から状態への遷移確率によって表現される統計的信号源モデルである。ＨＭＭにより、時系列で変動する音声の音響的な特徴が簡易な確率モデルによって表現される。ＨＭＭの遷移確率等のパラメータは、対応する学習用の音声データを与えて学習させることによりあらかじめ特定されている。また、音素モデル１４２にも、発音データから特徴ベクトルを特定するための、音響モデル１１１と同様のＨＭＭが格納されている。

言語モデル（ＬａｎｇｕａｇｅＭｏｄｅｌ）１１２には、認識対象である単語の出現確率や接続確率を示すデータが、この単語の発音データおよびテキストとともに格納されている。認識対象である単語とは、対象を制御するための発話で使用される可能性のある単語として予め定められるものである。単語の出現確率や接続確率等のデータは、大量の学習テキストコーパスを解析することにより統計的に作成される。また、単語の出現確率は、たとえば、学習テキストコーパスにおけるその単語の出現頻度等に基づいて算出する。

言語モデル１１２としては１つの単語の出現確率によって表現されるユニグラム（Ｕｎｉ−ｇｒａｍ，Ｎ＝１）、および２つの単語の列の生起確率（先行する１単語についての条件付き出現確率）によって表現されるバイグラム（Ｂｉ−ｇｒａｍ，Ｎ＝２）等、特定のＮ個の単語が連続して出現する確率により表現されるＮ−ｇｒａｍの言語モデルが用いられている。

構文モデル（ＰａｒｓｅｒＭｏｄｅｌ）１２２には、認識対象である単語の出現確率や接続確率を示すデータが、この単語のテキストおよびクラスとともに格納されている。構文モデル１２２としてはユニグラム、バイグラム、および３つの単語の列の生起確率（先行する２単語についての条件付き出現確率）によって表現されるトリグラム（Ｔｒｉ−ｇｒａｍ，Ｎ＝３）等、構文モデル１２２としては言語モデル１１２と同様にＮ−ｇｒａｍの言語モデルが用いられている。

固有名詞辞書１１４、１２４には、人名、地名、ラジオの放送局の周波数等の、認識対象となる単語のうちの固有名詞の発音データおよびテキストが登録されている。当該データは、図２に示されように＜ｒａｄｉｏｓｔａｔｉｏｎ＞＜ＡＭ＞といったタグが付されて記録されている。このタグの内容が固有名詞辞書１１４、１２４に登録された各固有名詞のクラスを示す。

言語モデル１１２および構文モデル１２２のそれぞれは、たとえば図２に示されている複数のドメイン、すなわちＤ１＝｛ａｕｄｉｏ｝、Ｄ２＝｛ｃｌｉｍａｔｅ｝、Ｄ３＝｛ｐａｓｓｅｎｇｅｒ｝、Ｄ４＝｛ＰＯＩ｝、Ｄ５＝｛ａｍｂｉｇｕｏｕｓ｝、Ｄ６＝｛ｎａｖｉｇａｔｉｏｎ｝、Ｄ７＝｛ｃｌｏｃｋ｝およびＤ８＝｛ｈｅｌｐ｝に分類されて作成されている。Ｄ１は制御対象がオーディオ機器６１であることを示している。Ｄ２は制御対象がエアコンディショナ６３であることを示している。Ｄ３は制御対象が助手席のエアコンディショナ６３であることを示している。Ｄ４は制御対象がナビゲーションシステム６２のＰＯＩ検索機能であることを示している。Ｄ５は制御対象が不明であることを示している。Ｄ６は制御対象がナビゲーションシステム６２の経路探索や地図操作等の機能であることを示している。Ｄ７は制御対象が時計機能であることを示している。Ｄ８は機器６１〜６３や音声応答システムの操作方法を知るためのヘルプ機能であることを示している。

続いて、前記構成の音声応答システム１０の機能について図３〜図７を用いて説明する。

車両１の運転者等の使用者により、トークスイッチがＯＮ操作されて発話の入力開始が指示された上で、マイク２に当該使用者の「地図回転」等の音声が入力される（図３／Ｓ００２）。

また、第１音声認識部によって１次ドメイン群が有効化され、当該１次ドメイン群に第１ドメイン｛ｎａｖｉｇａｔｉｏｎ｝に属する第１音声候補Ｌ₁が認識される（図３／Ｓ００４）。これにより、図４（ａ）に示されているドメイン群Ｄ１〜Ｄ８または図４（ｂ）に示されているドメイン群Ｄ４〜Ｄ８が１次ドメイン群として有効化される。そして、１次ドメイン群に含まれる第１ドメインＤ４＝｛ｎａｖｉｇａｔｉｏｎ｝に含まれる音声候補「地図回転」が第１音声候補Ｌ₁として認識される。第１音声候補Ｌ₁が属するドメインはシナリオ制御部１３により決定される。第１音声候補Ｌ₁の認識処理の詳細については後述する。

さらに、第１音声認識部により第１音声候補Ｌ₁のスコア（音声認識スコア、構文解析スコア等が含まれる。）ｓｃ（Ｌ₁）が第１閾値θ₁未満であるか否かが判定される（図３／Ｓ００６）。第１音声認識部による当該判定結果が肯定的である場合（図３／Ｓ００６‥ＹＥＳ）、第２音声認識部により、第１音声候補Ｌ₁が属するドメインとしてシナリオ制御部１３により決定された第１ドメインが含まれない、２次ドメイン群が有効化され、当該２次ドメイン群に含まれる第２ドメインに属する第２音声候補Ｌ₂が認識される（図３／Ｓ００８）。これにより、図４（ａ）（ｂ）に示されているドメイン群Ｄ１〜Ｄ３、Ｄ５〜Ｄ８が２次ドメイン群として有効化される。そして、２次ドメイン群に含まれる第２ドメインＤ５＝｛ＰＯＩ｝に含まれる音声候補「ラーメン食いたい」が第２音声候補Ｌ₂として認識される。第２音声候補Ｌ₂の認識処理の詳細については後述する。

さらに、第２音声認識部により第２音声候補Ｌ₂のスコア（音声認識スコア、構文解析スコア等が含まれる。）ｓｃ（Ｌ₂）が第２閾値θ₂以上であるか否かが判定される（図３／Ｓ０１０）。第２音声認識部による当該判定結果が肯定的である場合（図３／Ｓ０１０‥ＹＥＳ）、シナリオ制御部１３により第１音声候補Ｌ₁および第２音声候補Ｌ₂がディスプレイ５に表示され、かつ、第１音声候補Ｌ₁または第２音声候補Ｌ₂の当否確認を使用者に促す音声がスピーカ４から出力される（図３／Ｓ０１２）。これにより、第１音声候補Ｌ₁および第２音声候補Ｌ₂が同時または逐次的にディスプレイ５に表示される。たとえば図５（ａ）に示されているように第１音声候補Ｌ₁である「地図回転」および第２音声候補Ｌ₂である「ラーメン食いたい」が同時にディスプレイ５に表示される。また、図５（ｂ）に示されているようにまず第１音声候補Ｌ₁である「地図回転」がディスプレイ５に表示され、使用者による「次」という発話やディスプレイ５に表示された次ボタンのタッチ操作に応じて図５（ｃ）に示されているように第２音声候補Ｌ₂である「ラーメン食いたい」がディスプレイ５に表示される。

一方、第１音声認識部による判定結果が否定的な場合（図３／Ｓ００６‥ＮＯ）、または第２音声認識部による判定結果が否定的な場合（図３／Ｓ０１０‥ＮＯ）、シナリオ制御部１３によって第１音声候補Ｌ₁のみがディスプレイ５に表示され、かつ、第１音声候補Ｌ₁の当否確認を使用者に促す音声がスピーカ４から出力される（図３／Ｓ０１４）。これにより、たとえば図５（ｂ）に示されているように第１音声候補Ｌ₁である「地図回転」がディスプレイ５に表示される。

さらに、シナリオ制御部１３により、ディスプレイ５に表示された音声候補の選択操作の有無が判定される（図３／Ｓ０１６）。当該判定結果が肯定的な場合（図３／Ｓ０１６‥ＹＥＳ）、シナリオ制御部１３により、当該選択された音声候補に基づいて機器が制御される（図３／Ｓ０１８）。たとえば、図５（ａ）または図５（ｂ）において第１音声候補Ｌ₁である「地図回転」がタッチ操作されると、ディスプレイ５に表示されているマップが一定角度回転された状態で表示されるようにナビゲーションシステム６２の動作が制御される。また、図５（ａ）または図５（ｃ）において第２音声候補Ｌ₂である「ラーメン食いたい」がタッチ操作されると、ディスプレイ５に車両１の現在位置の周辺におけるラーメン店の所在位置がマップ上に表示され、あるいはラーメン店の所在地や電話番号のリスト等が表示されるようにナビゲーションシステム６２の動作が制御される。一方、当該判定結果が否定的な場合（図３／Ｓ０１６‥ＮＯ）、音声候補に基づく機器６１〜６３の動作制御が実行されることなく一連の処理が終了する。

なお、第１音声認識部による判定（図３／Ｓ００６）が省略されてもよい。また、第１音声認識部による判定結果が否定的な場合（図３／Ｓ００６‥ＮＯ）、または第２音声認識部による判定結果が否定的な場合（図３／Ｓ０１０‥ＮＯ）、第１音声候補Ｌ₁に基づいてただちに機器が制御されてもよい。

ここで、第１音声認識処理および第２音声認識処理の詳細について説明する。

言語モデル１１２および固有名詞辞書１１４のデータが有効化され、音声認識部１１により入力音声がテキストとして出力される「音声認識処理」が実行される。第１音声候補Ｌ₁の認識に際して、言語モデル１１２および固有名詞辞書１１４のデータのうち、１次ドメイン群に分類されるデータが有効化される。同様に、第２音声候補Ｌ₂の認識に際して、言語モデル１１２および固有名詞辞書１１４のデータのうち、２次ドメイン群に分類されるデータが有効化される。

まず、マイク２への入力音声がＡ／Ｄ変換されることで得られる波形データが周波数分析され、特徴ベクトルが抽出される。これにより、波形データは短時間スペクトル分析等の手法によってフィルタ処理され、特徴ベクトルの時系列に変換される。特徴ベクトルは、各時刻における音声スペクトルの特微量を抽出したもので、一般に１０次元〜１００次元（たとえば３９次元）であり、ＬＰＣ（ＬｉｎｅａｒＰｒｅｄｉｃｔｉｖｅＣｏｄｉｎｇ（線形予測分析））やメルケプストラム（ＭｅｌＣｅｐｓｔｒｕｍ）係数等が用いられる。

また、音響モデル１１１に格納された複数のＨＭＭのそれぞれについて、当該特徴ベクトルの尤度（音響スコア）が評価される。さらに、当該複数のＨＭＭのうち音響スコアが高いＨＭＭに対応する発音データが特定される。これにより、たとえば「地図回転（ｃｈｉｚｕｋａｉｔｅｎ）」という入力音声の波形データから、「ｃｈｉ−ｚｕ−ｋａｉ−ｔｅｎ」という発音データおよび音響スコアが得られる。

さらに、言語モデル１１２のうち先に有効化されたデータが用いられ、当該得られた発音データから単語列で表現されたテキストが当該テキストの言語スコアに基づいて特定される。具体的には、当該発音データと言語モデル１１２に格納されている発音データとが比較され、類似度が高い単語が抽出される。次に、抽出された単語の言語スコアが、ユニグラムで与えられる１単語の出現確率と、バイグラムで与えられる２単語の生起確率とに基づいて評価される。そして、発音データにおける各単語について、評価された言語スコアが所定値以上であること等の条件を満たすテキストが特定される。

言語モデル１１２を用いたテキスト特定方法について、図６に示されているように「ＳｅｔｔｈｅｓｔａｔｉｏｎｎｉｎｅｔｙｎｉｎｅｐｏｉｎｔｔｈｒｅｅＦＭ．」という入力音声があった場合を例として説明する。まず、ユニグラムによって「Ｓｅｔ」「ｔｈｅ」等、入力音声に含まれる単語のそれぞれの出現確率ａ１〜ａ８が与えられる。また、バイグラムによって「Ｓｅｔｔｈｅ」「ｔｈｅｓｔａｔｉｏｎ」等、入力音声に含まれる連続する２つの単語の列のそれぞれの生起確率ｂ１〜ｂ７が与えられる。そして、たとえば発音データ「ｎｉｎｅｔｙ」から特定されたテキスト「ｎｉｎｅｔｙ」の言語スコアが、単語「ｎｉｎｅｔｙ」のユニグラムによる出現確率ａ４と、単語列「ｓｔａｔｉｏｎｎｉｎｅｔｙ」のバイグラムによる生起確率ｂ３とに基づいて評価される。また、発音データ「ｎｉｎｅｔｙ」からテキスト「ｎｅａｒｌｙ」が特定された場合の言語スコアが、単語「ｎｅａｒｌｙ」のユニグラムによる出現確率ａ４’と、単語列「ｓｔａｔｉｏｎｎｅａｒｌｙ」のバイグラムによる生起確率ｂ３’とに基づいて評価される。そして、当該評価された言語スコアに基づき、発音データに含まれる各単語のテキストが特定される。

このように、単語毎の確率統計的な言語モデルを用いて入力音声をテキストとして書き起こす手法（ディクテーション）を用いることで、あらかじめ決められた言い回しの発話に限定されない、使用者の自然な発話の認識が可能となる。

次に、固有名詞辞書１１４のうち有効化されたデータが用いられ、発音データからテキストが特定される。具体的には、特定された発音データと、固有名詞辞書１１４に登録された固有名詞の発音データとの類似度が評価または算出される。また、登録された複数の固有名詞のうち、類似度が所定度数以上である等の条件を満たす固有名詞が特定される。さらに、当該評価された類似度に基づき、特定された固有名詞の尤度（言語スコア）が評価される。

このように固有名詞辞書１１４が用いられることにより、多様な言い回しがされ易い一般語に比べて、テキストコーパスにおける出現頻度が比較的低く、言い回しが限定されている固有名詞について、精度良くテキストが特定されうる。

また、言語モデル１１２および固有名詞辞書１１４が用いられて特定されたすべてのテキストについて、音響スコアおよび言語スコアの重み付き和である音声認識の確信度（音声認識スコア）が評価または算出される。重み係数としては実験的または経験的に設定された値が用いられうる。

さらに、音声認識スコアが所定値以上であること、音声認識スコアの順位が所定順位以上であること等、所定の条件を満たす単語列で表現されるテキストが、認識されたテキストとして特定され、かつ、出力される。

続いて、構文解析部１２により、前記の手順で音声認識部１１により認識されたテキストに基づいて発話の意味が理解される「構文解析処理」が実行される。

具体的には、認識されたテキストに基づき、構文モデル１２２が用いられて分類テキスト（ＣａｔｅｇｏｒｉｚｅｄＴｅｘｔ）が特定される。１単語、２単語列、３単語列のそれぞれについて、各ドメインに対する尤度が評価される。そして、１単語、２単語列、３単語列のそれぞれについて、当該評価された尤度に基づいてドメインが特定される。なお、入力音声に含まれる単語数が３未満である場合、１単語および２単語列のそれぞれについて尤度が評価され、当該尤度に基づいてドメインが特定されればよい。

また、１単語、２単語列、３単語列のそれぞれについて、構文モデル１２２のうち、特定されたドメインの種類に分類された部分のデータが用いられて、各クラスの組に対する尤度が評価される。そして、１単語、２単語列、３単語列のそれぞれについて、評価された尤度に基づいてクラスの組が特定される。なお、入力音声に含まれる単語数が３未満である場合、１単語および２単語列のそれぞれについて尤度が評価され、当該尤度に基づいてクラスの組が特定されればよい。

さらに、１単語、２単語列、３単語列で特定されたクラスの組とその尤度とに基づき、テキスト全体としての各クラスの組の尤度（構文解析スコア）が評価される。また、構文解析スコアに基づき、テキスト全体について、クラス分類されたテキストが特定される。

構文モデル１２２が用いられた、クラス分類されたテキストの特定方法について、図７に示されているように認識されたテキストが「ＡＣｏｎｔｈｅｆｌｏｏｒｔｏｄｅｆｏｒｅｓｔ」である場合を例として説明する。

このとき、構文モデル１２２のすべてのデータが用いられ、「ＡＣ」「ｏｎ」等の単語のそれぞれについて、ユ二グラムにより各ドメインに対する尤度が評価または算出される。そして、当該評価された尤度に基づき、複数のドメインの中からたとえば尤度が最高のドメインが特定される。たとえば、単語「ＡＣ」についてはドメイン｛ｃｌｉｍａｔｅ｝が特定される。

さらに、各単語について、構文モデル１２２のうち、特定されたドメインの種類に分類された部分のデータが用いられて、各クラスの組に対する尤度が評価される。たとえば、単語「ＡＣ」についてはドメイン｛ｃｌｉｍａｔｅ｝のデータを用いて尤度が評価され、｛ＡＣＯｎＯｆｆ＿Ｏｎ｝の組が特定される。このとき、「ＡＣ」のクラス分類されたテキストが｛ｃｌｉｍａｔｅ＿ＡＣＯｎＯｆｆ＿Ｏｎ｝とされた場合の尤度ｃ１が評価される。「ｏｎ」等のその他の単語についても同様にクラスの組とその尤度（１単語スコアリスト）ｃ２〜ｃ５が評価される。

また「ＡＣｏｎ」等の２つの単語の劣のそれぞれについて、バイグラムにより各ドメインに対する尤度がそれぞれ評価され、当該尤度に基づいてドメインが特定される。すなわち、クラスの組およびその尤度（２単語スコアリスト）ｄ１〜ｄ４が特定される。

さらに「ＡＣｏｎｆｌｏｏｒ」等の３つの単語の列のそれぞれについて、トリグラムにより各ドメインに対する尤度がそれぞれ評価され、当該尤度に基づいてドメインが特定される。すなわち、クラスの組およびその尤度（３単語スコアリスト）ｅ１〜ｅ３が特定される。

そして、１単語、２単語列、３単語列で特定されたクラスの組と、その尤度ｃ１〜ｃ５、ｄ１〜ｄ４、ｅ１〜ｅ３とに基づいて、テキスト全体としての各クラスの組の尤度（構文解析スコア）が評価される。また、構文解析スコアに基づき、テキスト全体について、分類テキストが特定される。これにより、認識されたテキストに基づき｛ｃｌｉｍａｔｅ＿Ｄｅｆｒｏｓｔ＿Ｆｒｏｎｔ｝、｛Ｃｌｉｍａｔｅ＿Ｆａｎ−Ｖｅｎｔ＿Ｆｌｏｏｒ｝等の分類テキストが特定される。

さらに、固有名詞辞書１２４が用いられて、認識されたテキストから分類テキストが特定される。具体的には、認識されたテキストに含まれる単語のそれぞれについて、単語のテキストと、固有名詞辞書１２４に登録された各固有名詞のテキストとの類似度が評価され、当該登録固有名詞のうち類似度が所定値以上である等の条件を満たす固有名詞がテキストに含まれている単語として特定される。また、固有名詞に付されたタグの内容に基づき、分類テキストが特定される。また、当該類似度に基づき、当該分類テキストの尤度（構文解析スコア）が評価される。

また、評価された構文解析スコアが所定値以上であること、構文解析スコアの順位が所定順位以上であること等の条件を満たすような分類テキストが、入力された発話の認識結果として特定され、その認識結果の確信度（構文解析スコア）とともに出力される。これにより、たとえば、上述のように入力音声「ＡＣｏｎｆｌｏｏｒｔｏｄｅｆｏｒｅｓｔ」の認識結果として、｛Ｃｌｉｍａｔｅ＿Ｄｅｆｒｏｓｔ＿Ｆｒｏｎｔ｝が、その認識結果の確信度（構文解析スコア）とともに出力される。

さらに、シナリオ制御部１３により、構文解析部１２による発話の認識結果と、車両状態検出部３により検出された車両１の状態（車両１の走行状態、車両１の搭載機器の作動状態、車両１の使用者の心身状態等）とに基づき、かつ、シナリオデータベース１３２が用いられ、使用者への応答や機器の制御を行うためのシナリオが特定される。

前記機能を発揮する音声応答システム１０によれば、マイク（音声入力手段）２への入力音声に基づき、異なる第１ドメインおよび第２ドメインのそれぞれに属する第１音声候補Ｌ₁および第２音声候補Ｌ₂が認識され、かつ、出力される（図３／Ｓ０１２、図５（ａ）〜（ｃ）参照）。これにより、当該使用者の発話から乖離したカテゴリに属する複数の音声候補が偏重的に出力される事態が回避されうる。また、出力される第１音声候補Ｌ₁および第２音声候補Ｌ₂に使用者の発話に該当する音声候補を高い確率で含ませることができる。そして、当該複数の音声候補の中から使用者により選択された、当該使用者の発話に合致した１つの音声候補が高い確率で認識され、使用者の意図に沿った形での応答が可能となる（図３／Ｓ０１８参照）。すなわち、使用者の発話に合致する蓋然性の高い音声候補が特定のカテゴリに偏重することなく認識され、使用者による当該音声候補の選択結果に応答することが可能となる。

また、第２音声候補Ｌ₂のスコア（尤度）ｓｃ（Ｌ₂）が第２閾値θ₂以上であることを要件として当該第２音声候補Ｌ₂が出力される（図３／Ｓ０１０，Ｓ０１２参照）。これにより、入力音声に該当する可能性が著しく低い音声候補までもが出力される事態が回避される。

また、第２音声候補Ｌ₂のスコア（尤度）ｓｃ（Ｌ₂）が第２閾値θ₂未満である場合、第１音声候補Ｌ₁にのみ基づいて機器６１〜６３が制御されうる（図３／Ｓ０１０，Ｓ０１４参照）。これにより、ユーザの発話に該当する可能性が極めて低い音声候補にしたがって機器６１〜６３が制御される事態が確実に回避されうる。

本発明の音声応答システムの構成説明図言語モデル、構文モデル、固有名詞辞書の構成説明図音声応答システムの機能説明図音声応答システムの機能説明図音声応答システムの機能説明図言語モデルを用いた音声認識処理に関する説明図構文モデルを用いた構文解析処理に関する説明図

符号の説明

１‥音声応答ユニット、２‥マイク、３‥車両状態検出部、４‥スピーカ、５‥ディスプレイ、６１〜６３‥機器、１０‥車両、１１‥音声認識部、１２‥構文解析部、１３‥シナリオ制御部、１４‥音声合成部、１１１‥音響モデル、１１２‥言語モデル、１１４‥固有名詞辞書、１２２‥構文モデル、１２４‥固有名詞辞書、１３２‥シナリオデータベース、１４２‥音素モデル

Claims

音声入力手段に入力された音声に基づき、１次ドメイン群に含まれる第１ドメインに属する音声候補を第１音声候補として認識する第１音声認識部と、
該音声入力手段に入力された該音声に基づき、該第１ドメインを含まない２次ドメイン群に含まれる第２ドメインに属する音声候補を第２音声候補として認識する第２音声認識部と、
該第１音声認識部により認識された第１音声候補と、該第２音声認識部により認識された第２音声候補とを出力する出力部と、
該出力部により出力された該第１音声候補および該第２音声候補のうち使用者により選択された音声候補を認識する確認部とを備えていることを特徴とする音声応答システム。
請求項１記載の音声応答システムにおいて、
前記第２音声認識部が前記第２音声候補のスコアを評価し、
前記出力部が、該第２音声認識部により評価されたスコアが所定のスコア以上であることを要件として該第２音声候補を出力することを特徴とする音声応答システム。
請求項１記載の音声応答システムにおいて、
前記確認部により認識された音声候補に基づき、機器の動作を制御する機器制御部とをさらに備えていることを特徴とする音声応答システム。
請求項３記載の音声応答システムにおいて、
前記第２音声認識部が前記第２音声候補のスコアを評価し、
前記機器制御部が、該第２音声認識部により評価されたスコアが所定のスコア未満である場合、前記第１音声候補に基づいて前記機器の動作を制御することを特徴とする音声応答システム。
音声入力手段に入力された音声に基づき、１次ドメイン群に含まれる第１ドメインに属する音声候補を第１音声候補として認識する第１音声認識機能と、
該音声入力手段に入力された該音声に基づき、該第１ドメインを含まない２次ドメイン群に含まれる第２ドメインに属する音声候補を第２音声候補として認識する第２音声認識機能と、
該第１音声認識機能により認識された第１音声候補と、該第２音声認識機能により認識された第２音声候補とを該使用者に知らせる出力機能と、
該出力機能により出力された該第１音声候補および該第２音声候補のうち使用者により選択された音声候補を認識する確認機能とをコンピュータに付与することを特徴とする音声応答プログラム。