JP6999230B2 - 情報処理システム及びコンピュータプログラム - Google Patents

Description

本発明は、情報処理システムにおける音声入力の技術に関するものである。

情報処理システムにおける音声入力の技術としては、自動車に搭載されるナビゲーション装置において、ユーザの会話調の発声を認識して、ユーザの話題と意図を算定し、話題のユーザの意図に応じた情報を検索して提供する処理を行う技術が知られている（たとえば、特許文献１）。

特開平８-０５０６９８号公報

ユーザの音声入力を受け付けて音声入力内容に応じた処理を、ユーザが発声した内容に含まれるワードを、処理の内容を定めるパラメータとして用い行う場合、ユーザが発声した内容に、処理のパラメータとして用いることができないワードが含まれているときには、当該発声内容の全てを反映した処理を行うことができず、ユーザが発声した内容を部分的に反映した処理が行われることとなる。

そして、このような場合には、ユーザが発声により示した意図に沿わない処理結果を出力してしまいシステムに対するユーザの不信感を増大させてしまったり、処理結果がユーザが発声した内容の全体を反映しているものと当該ユーザに誤認させてしまうことがある。

そこで、本発明は、ユーザの音声入力を受け付けて音声入力内容に応じた処理を行う情報処理システムにおいて、ユーザの発声内容の全てを反映した処理を行えない場合に、発声内容と処理との関係をユーザが把握可能とすることを課題とする。

前記課題達成のために、本発明は、ユーザの発声内容に応じた処理を行う情報処理システムに、ユーザの発声内容を音声認識し、当該音声認識した発声内容に含まれる語句のうちから、予め定めた複数の項目の値となる語句を抽出する抽出手段と、抽出手段が抽出した各項目の値となる語句に応じた処理を実行する処理実行手段と、ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力するメッセージ出力手段とを備えたものである。

ここで、このような情報処理システムは、前記複数の項目を、意図と、１または複数のパラメータ項目を含むものとし、前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句と前記各パラメータ項目の値となる語句とを抽出できた場合に、前記処理実行手段において、当該意図の項目の値として抽出した語句に予め対応づけられている種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、メッセージ出力手段において、前記ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するように構成してもよい。

また、この場合には、前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、前記処理実行手段において、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、前記メッセージ出力手段において、ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力するように当該情報処理システムを構成してもよい。

または、この場合には、前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、前記処理実行手段において、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、前記メッセージ出力手段において、前記処理実行手段で実行される処理が、ユーザの意図が反映された処理でない旨を表すメッセージをユーザに出力するように構成してもよい。

また、本発明は、併せて、以上のような情報処理システムをコンピュータ上に構築するコンピュータプログラムも提供する。
以上のような情報処理システムやコンピュータプログラムによれば、ユーザの発声内容を音声認識し、当該音声認識した発声内容に含まれる語句のうちから、予め定めた複数の項目の値となる語句を抽出し、抽出した各項目の値となる語句に応じた処理を実行する場合において、ユーザの発声内容に、前記項目の値とならない語句が含まれているために、ユーザの発声内容の全てを反映した処理を行えない場合には、ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージを出力する。

したがって、ユーザの発声内容の全てを反映した処理を行えない場合に、ユーザは、出力されたメッセージから、発声した内容と行われる処理との関係を把握できるようになる。

以上のように、本発明によれば、ユーザの音声入力を受け付けて音声入力内容に応じた処理を行う情報処理システムにおいて、ユーザの発声内容の全てを反映した処理を行えない場合に、発声内容と処理との関係をユーザが把握できるようにすることができる。

本発明の実施形態に係る情報処理システムの構成を示す図である。 本発明の実施形態に係るパターンＤＢの内容を示す図である。 本発明の実施形態に係る会話型音声入力処理を示すフローチャートである。 本発明の実施形態に係る会話型音声入力処理の処理例を示すシーケンス図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る情報処理システムの構成を示す。
図示するように情報処理システムは、マイクロフォン１、音声認識エンジン２、スピーカ３、音声生成部４、ディスプレイ５、入力装置６、ＵＩ制御部７、サービス提供部８、会話型音声入力制御部９、未考慮パラメータ抽出部１０、抽出語句ＤＢ１１、自然言語理解処理部１２、パターンＤＢ１３を備えている。

ここで、情報処理システムは、ＣＰＵやメモリを備えたコンピュータと、その周辺デバイスより構成されるものであってよい。また、この場合、ＵＩ制御部７、サービス提供部８、会話型音声入力制御部９、未考慮パラメータ抽出部１０、抽出語句ＤＢ１１、自然言語理解処理部１２、パターンＤＢ１３などは、ＣＰＵが所定のコンピュータプログラムを実行することによりコンピュータ上に実現されるものであってよい。

このような構成において、音声認識エンジン２は、マイクロフォン１でピックアップしたユーザの発声音声を音声認識して、発声音声を文字列化したテキストである認識テキストをＵＩ制御部７に出力する。

会話型音声入力制御部９は、音声認識エンジン２が出力した認識テキストをＵＩ制御部７を介して受け取り、認識テキストを解析して、認識テキストの内容に応じたサービスの提供を要求するサービス要求を生成して、サービス提供部８に発行すると共に、ＵＩ制御部７を介して音声生成部４にスピーカ３にユーザの発声に対する応答音声を出力させる会話型入力制御処理を行う。

そして、サービス提供部８は、会話型音声入力制御部９から発行されたサービス要求で要求されたサービスを提供する処理を行う。ここで、サービス提供部８は、たとえば、ナビゲーションアプリケーションであり、会話型音声入力制御部から発行されたサービス要求に応えて提供するサービスは、たとえば、サービス要求で指定されたパラメータを満たす施設を検索して、検索した施設の一覧をディスプレイ５に表示する検索サービスや、サービス要求のパラメータで指定された施設を目的地に設定すると共に、ＵＩ制御部７を介してディスプレイ５に表示した地図上において目的地までの経路の案内を行う経路案内処理を開始する目的地設定サービス等である。

以下、このような情報処理システムにおいて、上述のように会話型音声入力制御部９が行う会話型入力制御処理について説明する。
図２に、この会話型入力制御処理の手順を示す。
図示するように、会話型音声入力制御部９は会話型入力制御処理において、音声認識エンジン２からＵＩ制御部７を介して認識テキストが入力されるのを待ち（ステップ２０２）、認識テキストが入力されたならば自然言語理解処理部１２に自然言語理解処理を実行させる（ステップ２０４）。

ここで、自然言語理解処理部１２が行う自然言語理解処理について説明する。
自然言語理解処理部１２は自然言語理解処理を、パターンＤＢ１３と、抽出語句ＤＢ１１と用いて行う。
パターンＤＢ１３には、図３に示すように、”施設カテゴリ”や”地名”などといったパラメータのタイプと、”意図”との組み合わせのパターンが登録されている。
また、抽出語句ＤＢ１１には、パラメータのタイプ毎に、そのタイプのパラメータとして認識する語句が登録されている。また、抽出語句ＤＢ１１には、意図として認識する語句が登録されている。

すなわち、たとえば、パターンＤＢ１３には、パターンとして、”地名”や”施設カテゴリ”をパラメータのタイプとして、これらと”意図”を組み合わせた”施設カテゴリ＋意図”や”地名＋施設カテゴリ＋意図”などが登録されている。

また、たとえば、パターンＤＢ１３には、パラメータタイプが地名のパラメータとして認識する語句として各地の地名が登録され、パラメータタイプが施設カテゴリのパラメータと認識する語句として「レストラン」や「温泉」などの各種の施設種別の名称が登録され、意図として認識する語句として「行きたい」や「検索」や「調べて」などが登録されている。

そして、自然言語理解処理部１２は自然言語理解処理において、抽出語句ＤＢ１１に登録されている語句と、パターンＤＢ１３に登録されているパターンを用いて、認識テキストに含まれてるパターンを識別すると共に、認識テキストに含まれる、識別したパターン中の各パラメータタイプのパラメータと、意図とを、認識テキスト中の語句のうちから識別する。なお、パターンＤＢ１３に登録されているパターンのうちに、認識テキスト中に含まれているパターンが複数存在した場合には、パターンに含まれるパラメータのタイプが最も多いパターンを識別する。

すなわち、たとえば、認識テキストが「とうきょうのおしゃれなれすとらんにいきたい」であれば、地名「とうきょう」、施設カテゴリ「れすとらん」、意図「いきたい」が認識テキストに含まれているので、パターンＤＢ１３に登録されているパターンのうちの”地名＋施設カテゴリ＋意図”のパターンが認識テキストに含まれるパターンとして識別される。また、パラメータタイプが地名のパラメータとして「とうきょう」が、パラメータタイプが施設カテゴリのパラメータとして「れすとらん」が、意図として「いきたい」が識別される。

さて、図２に戻り、自然言語理解処理が終了したならば、自然言語理解処理によってパラメータパターンの認識に成功したかどうかを調べ（ステップ２０６）、失敗している場合には「ご希望を理解できませんでした。別の言い方で言い直してください」といったような、ユーザに音声の再入力を促す再入力案内音声を、ＵＩ制御部７を介して音声生成部４にスピーカ３に出力させ（ステップ２１８）、ステップ２０２からの処理に戻る。

一方、自然言語理解処理によってパターンの認識に成功した場合には（ステップ２０６）、未考慮パラメータ抽出部１０に、未考慮パラメータ抽出処理を実行させる（ステップ２０８）。

未考慮パラメータ抽出部１０は、未考慮パラメータ抽出処理において、音声認識エンジン２から入力した認識テキスト中の、自然言語理解処理において、意図、パラメータとして識別されてない、単語または語句または文節を、形態素解析などを行いながら、未考慮パラメータとして抽出する。

すなわち、たとえば、上述のように、認識テキストが「とうきょうのおしゃれなれすとらんにいきたい」であり、自然言語理解処理において、パラメータタイプが地名のパラメータとして「とうきょう」が、パラメータタイプが施設カテゴリのパラメータとして「れすとらん」が、意図として「いきたい」が識別されている場合には、認識テキスト中の意図、パラメータとして識別されてない単語「おしゃれ」または文節「おしゃれな」などを未考慮パラメータとして抽出する。

さて、このような未考慮パラメータ抽出処理が終了したならば、ステップ２０４で行った自然言語理解処理の処理結果に応じたサービス要求を生成する（ステップ２１０）。
ここで、ステップ２１０では、自然言語理解処理で認識した意図に対して予め定められているサービスをサービス提供部８に要求するサービス要求を生成する。また、自然言語理解処理で認識した各パラメータは、サービス要求のパラーメータとしてサービス要求に含める。

すなわち、たとえば、サービス提供部８が、ナビゲーションアプリケーションであり、自然言語理解処理において、パラメータタイプが地名のパラメータとして「とうきょう」が、パラメータタイプが施設カテゴリのパラメータとして「れすとらん」が、意図として「いきたい」が識別されており、意図「いきたい」に対して検索サービスが予め定められている場合には、「とうきょう」を地名カテゴリの検索ワードとするパラメータ、「れすとらん」を施設カテゴリの検索ワードとするパラメータとして含めた、検索サービスを要求するサービス要求を生成する。

次に、ステップ２０８で行った未考慮パラメータ抽出処理において未考慮パラメータが抽出されているかどうかを調べ（ステップ２１２）、抽出されていなければ、ステップ２１０で生成したサービス要求で要求するサービスの内容を、ユーザの発声音声から受け付けた音声入力の内容として表す入力受付案内音声を、ＵＩ制御部７を介して音声生成部４にスピーカ３に出力させる（ステップ２１４）。

すなわち、たとえば、ステップ２１０で生成したサービス要求が、「とうきょう」を地名カテゴリの検索ワードとするパラメータ、「れすとらん」を施設カテゴリの検索ワードとするパラメータとして含めた、検索サービスを要求するサービス要求であり、未考慮パラメータが抽出されていない場合には、”「とうきょう」にある「れすとらん」を案内します”といった入力受付案内音声を音声生成部４にスピーカ３に出力させる。
そして、ステップ２１０で生成したサービス要求をサービス提供部８に発行し（ステップ２１６）、ステップ２０２からの処理に戻る。

一方、未考慮パラメータが抽出されている場合には（ステップ２１２）、ステップ２１０で生成したサービス要求で要求するサービスの内容を、ユーザの発声音声から受け付けた音声入力の内容として表す入力受付案内音声と、未考慮パラメータを考慮されなかった語句として提示する音声とを、ＵＩ制御部７を介して音声生成部４にスピーカ３に出力させる（ステップ２２０）。

すなわち、たとえば、ステップ２１０で生成したサービス要求が、「とうきょう」を地名カテゴリの検索ワードとするパラメータ、「れすとらん」を施設カテゴリの検索ワードとするパラメータとして含めた、検索サービスを要求するサービス要求であり、未考慮パラメータとして「おしゃれ」が抽出されている場合には、”「とうきょう」にある「れすとらん」を案内します。「おしゃれ」はキーワードとして考慮されていません”といった音声を音声生成部４にスピーカ３に出力させる。

そして、ステップ２１０で生成したサービス要求をサービス提供部８に発行し（ステップ２１６）、ステップ２０２からの処理に戻る
以上、会話型音声入力制御部９が行う会話型入力制御処理について説明した。

ここで、以上のような会話型入力制御処理の処理例を図４に示す。
図示するように、ユーザの発声（４０１）に対して音声認識エンジン２が「とうきょうのおしゃれなれすとらんにいきたい」とのテキストを認識テキストして認識すると（４０２）、会話型音声入力制御部９は、抽出語句ＤＢ１１に登録されている語句と、パターンＤＢ１３に登録されているパターン”地名＋施設カテゴリ＋意図”に従って、パラメータタイプが地名のパラメータとして「とうきょう」を、パラメータタイプが施設カテゴリのパラメータとして「れすとらん」を、意図として「いきたい」を識別する。また、認識テキスト中の意図、パラメータとして識別されてない単語「おしゃれ」未考慮パラメータとして抽出する。

そして、ここでは、未考慮パラメータが抽出されたので、会話型音声入力制御部９は”「とうきょう」にある「れすとらん」を案内します。「おしゃれ」はキーワードとして考慮されていません”といった音声（４０３）を音声生成部４にスピーカ３に出力させる（４０４）。

また、会話型音声入力制御部９は、識別した意図「いきたい」に対応する検索サービスを要求するサービス要求であって、「とうきょう」を地名カテゴリの検索ワードとするパラメータ、「れすとらん」を施設カテゴリの検索ワードとするパラメータとして含めたサービス要求をサービス提供部８に発行する（４０５）。

サービス要求を受けたサービス提供部８は、サービス要求に従って、サービス要求に含まれる各パラメータを地名と施設カテゴリの検索ワードとして用いた検索を実行して、東京にあるレストランを検索し、検索結果（４０６）をディスプレイ５を用いてユーザに表示出力（４０７）する。

以上、本発明の実施形態について説明した。
本実施形態によれば、ユーザの発声内容を音声認識し、当該音声認識した発声内容に含まれる語句のうちから、意図を表す語句と、パラメータとなる語句とを抽出し、抽出した意図とパラメータに応じた処理を実行する場合において、ユーザの発声内容に、前記意図やパラメータの値とならない語句が含まれているために、ユーザの発声内容の全てを反映した処理を行えない場合には、ユーザの発声内容に含まれる語句であって、意図やパラメータの値とならなかった語句を未考慮パラメータとして抽出して、未考慮パラメータを考慮されなかった語句としてユーザに提示する。

したがって、ユーザの発声内容の全てを反映した処理を行えない場合に、ユーザは、提示される未考慮パラメータの考慮されなかった語句より、発声した内容と行われる処理との関係を把握できるようになる。

ところで、以上の実施形態の会話型入力制御処理は、ステップ２０６においてパターンの認識に失敗した場合には、パターンＤＢ１３に登録されているパターンのうちに、当該パターンのうちの意図を除く部分のパターンが、認識テキストに含まれているパターンが存在するかどうかを調べ、存在しない場合には、ステップ２１８に進み、存在した場合には、意図不明に対して予め定めたサービスを要求するサービス要求であって、認識テキスト中の語句のうちから識別した存在したパターン中の各パラメータタイプのパラメータを含めたサービス要求を生成し、ステップ２０８に進むようにしてもよい。なお、パターンＤＢ１３に登録されているパターンのうちに、当該パターンのうちの意図を除く部分のパターンが、認識テキストに含まれているパターンが複数存在する場合には、パターンに含まれるパラメータのタイプが最も多いパターンを識別する。

すなわち、この場合には、たとえば、意図不明に対して予め定めたサービスが検索サービスであり、認識テキストが「とうきょうのおしゃれなれすとらんのしゃしんをあっぷ」である場合には、パターンＤＢ１３に登録されているパターンは認識テキストに含まれていないが、パターンＤＢ１３に登録されているパターンの”地名＋施設カテゴリ＋意図”から、意図を除いたパターン”地名＋施設カテゴリ”が認識テキストに含まれているので、「とうきょう」を地名カテゴリの検索ワードとするパラメータ、「れすとらん」を施設カテゴリの検索ワードとするパラメータとして含めた、検索サービスを要求するサービス要求を生成し、ステップ２０８に進むようにする。

なお、この場合には、ステップ２０８で、未考慮パラメータとして「おしゃれ」「しゃしん」「あっぷ」が抽出され、ステップ２２０で、”「とうきょう」にある「れすとらん」を案内します。「おしゃれ」、「しゃしん」「あっぷ」はキーワードとして考慮されていません”といった音声を音声生成部４にスピーカ３に出力させることとなる。

なお、以上のように、意図不明に対して予め定めたサービスのサービス要求を生成した場合には、ステップ２２０では、たとえば、”「とうきょう」にある「れすとらん」を案内します。「おしゃれ」、「しゃしん」「あっぷ」はキーワードとして考慮されていません。意図と異なるときは、別の言い方で言い直してください」などの、音声入力のやり直しを促すメッセージを付加した音声を出力するようにしてもよいし、「意図を理解できませんでした。「とうきょう」にある「れすとらん」を案内します。」などの、ユーザの意図を理解できなかったことを示すメッセージを付加した音声を出力するようにしてもよい。

１…マイクロフォン、２…音声認識エンジン、３…スピーカ、４…音声生成部、５…ディスプレイ、６…入力装置、７…ＵＩ制御部、８…サービス提供部、９…会話型音声入力制御部、１０…未考慮パラメータ抽出部、１１…抽出語句ＤＢ、１２…自然言語理解処理部、１３…パターンＤＢ。

Claims (6)

1. ユーザの発声内容に応じた処理を行う情報処理システムであって、
   ユーザの発声内容を音声認識し、当該音声認識した発声内容に含まれる語句のうちから、予め定めた複数の項目の値となる語句を抽出する抽出手段と、
   抽出手段が抽出した各項目の値となる語句に応じた処理を実行する処理実行手段と、
   ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力するメッセージ出力手段とを有し、
   前記複数の項目は、意図と、１または複数のパラメータ項目を含み、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句と前記各パラメータ項目の値となる語句とを抽出できた場合に、
   前記処理実行手段は、当該意図の項目の値として抽出した語句に予め対応づけられている種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、前記ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示することを特徴とする情報処理システム。
2. 請求項１記載の情報処理システムであって、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、
   前記処理実行手段は、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力することを特徴とする情報処理システム。
3. 請求項１記載の情報処理システムであって、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、
   前記処理実行手段は、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、前記処理実行手段で実行される処理が、ユーザの意図が反映された処理でない旨を表すメッセージをユーザに出力することを特徴とする情報処理システム。
4. コンピュータによって読み取られるコンピュータプログラムであって、
   前記コンピュータを、
   ユーザの発声内容を音声認識し、当該音声認識した発声内容に含まれる語句のうちから、予め定めた複数の項目の値となる語句を抽出する抽出手段と、
   抽出手段が抽出した各項目の値となる語句に応じた処理を実行する処理実行手段と、
   ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力するメッセージ出力手段として機能させ、
   前記複数の項目は、意図と、１または複数のパラメータ項目を含み、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句と前記各パラメータ項目の値となる語句とを抽出できた場合に、
   前記処理実行手段は、当該意図の項目の値として抽出した語句に予め対応づけられている種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、前記ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示することを特徴とするコンピュータプログラム。
5. 請求項４記載のコンピュータプログラムであって、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、
   前記処理実行手段は、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、ユーザの発声内容に含まれる語句であって、前記抽出手段が前記項目の値として抽出しなかった語句を、前記処理に反映されなかった語句として提示するメッセージをユーザに出力することを特徴とするコンピュータプログラム。
6. 請求項４記載のコンピュータプログラムであって、
   前記抽出手段が、ユーザの発声内容から、前記意図の項目の値となる語句を抽出できず、前記パラメータ項目の値となる語句を抽出できた場合に、
   前記処理実行手段は、予め定めた種類の処理を、前記抽出手段が前記各パラメータ項目の値として抽出した語句をパラメータとして用いて行い、
   前記メッセージ出力手段は、前記処理実行手段で実行される処理が、ユーザの意図が反映された処理でない旨を表すメッセージをユーザに出力することを特徴とするコンピュータプログラム。

Images