JP5770233B2 - 制御装置、制御装置の制御方法、および、制御プログラム - Google Patents

Description

本発明は、ユーザから発せられた音声に基づいて、被制御装置を制御可能な制御装置等に関するものである。

ユーザの音声を認識した結果に基づいて、所定の装置を制御する技術が広く研究されている。例えば、下記の特許文献１には、ロボット型のペットが、受信したコマンドに対応して動作モードを切り替えるようにすることで、ユーザが、ロボット型のペットの動作モードを気にすることなく動作させることを可能にする情報処理装置が開示されている。また、下記の特許文献２には、デバイスをグループにペアリングするための方法が開示されている。

特開２００１−０９６４８１号公報（２００１年４月１０日公開） 特表２０１３−５１５９９９号公報（２０１３年５月０９日公表）

上記特許文献１または２に開示された従来の技術によれば、認識すべき音声フレーズやその出現頻度がそれぞれで異なる状況が複数想定される場合であっても、すべての音声フレーズが単一のフレーズセットに含まれる。フレーズセットに含まれる音声フレーズの数が増加するほど、互いに紛らわしい音声フレーズも増加するため、音声を認識する精度が低下するおそれがある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、音声を認識する精度を高く維持できる制御装置等を提供することである。

上記の課題を解決するために、本発明の一態様に係る制御装置は、ユーザが被制御装置に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定手段を備え、当該制御フレーズに対応付けられた制御情報にしたがって前記被制御装置を制御する制御装置であって、前記特定手段によって第１のフレーズセットに含まれる第１のフレーズが特定された場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセットに切り替える切替手段を備えている。

また、上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、ユーザが被制御装置に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定ステップを含み、当該制御フレーズに対応付けられた制御情報にしたがって前記被制御装置を制御する制御装置の制御方法であって、前記特定ステップにおいて第１のフレーズセットに含まれる第１のフレーズを特定した場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセットに切り替える切替ステップを含んでいる。

本発明の一態様によれば、制御装置および当該制御装置の制御方法は、音声を認識する精度を高く維持できるため、被制御装置に誤った制御を実行させるという不利益を回避できるという効果を奏する。

本発明の第１の実施の形態に係るサーバの要部構成を示すブロック図である。 制御システムの概要を示す概略図である。 フレーズセットの一例を示す表である。 ロボット掃除機がユーザと「動物しりとり」を行う場合に、当該ロボット掃除機が用いるフレーズセットの一例を示す表であり、（ａ）はしりとりの難易度が「難しい」に設定されている場合に用いられるフレーズセットを示し、（ｂ）は「普通」に設定されている場合に用いられるフレーズセットを示し、（ｃ）は「易しい」に設定されている場合に用いられるフレーズセットを示す。 上記ロボット掃除機がユーザと「動物しりとり」を行う場合に用いるフレーズセットの一例を示す表であり、（ａ）は「アフリカ」という未登録フレーズを登録する前のフレーズセットを示し、（ｂ）は「アフリカ」というフレーズを登録した後のフレーズセットを示す。 上記サーバが上記ロボット掃除機にしりとりを行うように制御する場合のタイミングチャートである。 上記サーバが上記ロボット掃除機にしりとりを行うように制御している最中に、優先度の高いジョブが介入した場合のタイミングチャートの一例である。 ユーザがしりとりを終了させる場合のタイミングチャートの一例である。 ユーザがしりとりを中断させる場合のタイミングチャートの一例である。 ユーザがしりとりを再開させる場合のタイミングチャートの一例である。 上記制御システムにおいて実行される処理の一例を示すフローチャートである。 本発明の第２の実施の形態に係るサーバが上記ロボット掃除機にしりとりを行うように制御している最中に、新たなフレーズをフレーズセットに登録する場合のタイミングチャートである。 上記サーバが上記ロボット掃除機にユーザと会話を行うように制御している最中に、新たなフレーズをフレーズセットに登録する場合のタイミングチャートである。 上記サーバが上記ロボット掃除機にしりとりを行うように制御している最中に、所定のフレーズのカテゴリを修正する場合のタイミングチャートである。 ユーザと上記ロボット掃除機とがしりとりを行っている場合、両者の間で交わされるコミュニケーションの一例を示す模式図である。 ユーザと上記ロボット掃除機とがしりとりを行っている場合、両者の間で交わされるコミュニケーションの他の一例を示す模式図である。 ユーザと上記ロボット掃除機とがしりとりを行っている場合、両者の間で交わされるコミュニケーションのさらに他の一例を示す模式図である。 ユーザと上記ロボット掃除機との間で交わされるコミュニケーションの一例を示す模式図である。

〔実施形態１〕
図１〜図１１に基づいて、本発明の第１の実施の形態（実施形態１）を説明する。

〔制御システム３０の概要〕
図２は、制御システム３０の概要を示す概略図である。図２に示されるように、本実施の形態に係る制御システム３０は、ロボット掃除機１０およびサーバ２０を含む。

ロボット掃除機（被制御装置）１０は、自走しながら塵埃を吸引することにより室内を掃除する装置である。上記ロボット掃除機１０は、ユーザから当該ロボット掃除機１０に対して発せられた音声による呼びかけ１を、音声情報２（ＷＡＶ形式などの所定の形式にしたがう音声データでよい）としてサーバ２０に送信する。当該音声情報２に含まれる呼びかけ１に応じて当該サーバ２０により決定された制御情報３にしたがって、上記ロボット掃除機１０は動作する。

サーバ（制御装置）２０は、ユーザが上記ロボット掃除機１０に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定するフレーズ判定部１３を備え、当該制御フレーズに対応付けられた制御情報３にしたがって上記ロボット掃除機１０を制御する制御装置である。

例えば、ユーザが上記ロボット掃除機１０に対して「きれいにして」と声で呼びかけた場合、当該ロボット掃除機１０は当該呼びかけ１を音声情報２として上記サーバ２０に送信する。上記サーバ２０は、当該音声情報２に含まれる音声が「きれいにして」を表すことを音声認識による認識結果５として得ると、フレーズセット４ａに含まれるそれぞれのフレーズと当該認識結果５とを一対一で照合する。上記認識結果５と一致するフレーズが存在する場合、上記サーバ２０は、一致したフレーズに応じた制御情報３（この場合は上記ロボット掃除機１０に掃除することを指示する情報を含むもの）を、上記ロボット掃除機１０に送信する。当該ロボット掃除機１０は、上記制御情報３を受信すると、「わかった！」と当該制御情報３による指示を理解できたことを示す応答をユーザに返し、当該制御情報３にしたがって掃除を開始する。

図３は、上記フレーズセット４ａの一例を示す表である。図３に示されるように、「きれいにして」（上記ロボット掃除機１０に掃除することを指示する呼びかけ）、「電車はどう」（電車の遅延情報を提供するよう指示する呼びかけ）、「しりとりしよう」（しりとりを開始するよう指示する呼びかけ。なお「しりとり」（Shiritori、a word-chain game）とは、前のプレイヤーによって提示された単語に含まれる末尾文字（最後のシラブル）から始まる単語を、次のプレイヤーが提示することによって、単語と単語とを繋いでいく言葉遊びをいう）など、ユーザからの一般的な呼びかけ１（上記ロボット掃除機１０に対して何かを指示するもの）を正確に認識するという目的に特化したフレーズを、上記フレーズセット４ａは主に含む。

図４は、上記ロボット掃除機１０がユーザと「動物しりとり」（動物の名前のみを用いて行うしりとりをいう）を行う場合に、当該ロボット掃除機１０が用いるフレーズセット４ｂの一例を示す表であり、（ａ）はしりとりの難易度が「難しい」に設定されている場合に用いられるフレーズセット４ｂを示し、（ｂ）は「普通」に設定されている場合に用いられるフレーズセット４ｂを示し、（ｃ）は「易しい」に設定されている場合に用いられるフレーズセット４ｂを示す。

なお、図４の（ａ）〜（ｃ）に含まれるそれぞれの単語（語彙）は日本語で表記されており、「先頭文字」（先頭のシラブル）および「末尾文字」（最後のシラブル）も、日本語で表記した場合において、それぞれ先頭または末尾に位置する文字（シラブル）である（後述する図５においても同様である）。ここでは、ユーザが「しりとりしよう」と上記ロボット掃除機１０に呼びかけたことによって、当該ユーザと当該ロボット掃除機１０とでしりとりが開始された例を考える。

従来の技術のように、認識すべきフレーズやその出現頻度がそれぞれで異なる状況が複数想定される場合であっても、すべてのフレーズが単一のフレーズセットに含まれると、音声を認識する精度が低下するおそれがある。フレーズセットに含まれるフレーズの数が増加するほど、互いに紛らわしいフレーズも増加するからである。仮に、上記の例において従来の技術を適用した場合、「通常モード」（上記ロボット掃除機１０が図３に例示された上記一般的な呼びかけ１を待機している状態をいう）と「しりとりモード」（上記ロボット掃除機１０が図４に例示されたしりとりの単語を待機している状態をいう）とでは、認識すべきフレーズ（図３および４参照）が大きく異なるため、これらが１つのフレーズセットに混在すると、ユーザから提示されたしりとりの単語を十分な精度で認識することが困難になる。

一方、上記サーバ２０（辞書切替部１４）は、上記フレーズ判定部１３によってフレーズセット４ａに含まれる第１のフレーズ（例えば「しりとりしよう」）に一致すると判定された場合、当該フレーズセット４ａ（図３参照）とは異なるフレーズセット４ｂ（図４参照）を用いて判定されるように、当該フレーズセット４ａから当該フレーズセット４ｂに切り替える。すなわち、例えば、上記「通常モード」や上記「しりとりモード」など、上記サーバ２０は上記ロボット掃除機１０に複数のモード（それぞれのモードには固有のフレーズセットが対応付けられている）を仮定し、一致すると判定されたフレーズに応じて当該モード（すなわち、フレーズセット）を切り替える。

これにより、上記サーバ２０は、上記一般的な呼びかけ１に対応するフレーズと他の呼びかけに対応するフレーズとを、１つのフレーズセットに混在させることがないため、音声を認識する精度を高く維持できる（音声を認識する精度が低下するという上記課題を解決できる）。したがって、上記サーバ２０は、ロボット掃除機１０に誤った制御を実行させるという不利益を回避できる。

上述したように、本実施の形態では、サーバ２０が上記ロボット掃除機１０に「通常モード」と「しりとりモード」とを仮定し、それぞれのモードに応じて、フレーズセット４ａ（通常用辞書）とフレーズセット４ｂ（しりとり用辞書）とを切り替える態様を説明する。しかし、本発明の実施の形態は、上記態様に限定されない。例えば、サーバ２０が上記ロボット掃除機１０に「通常モード」と「お話しモード」とを仮定し、それぞれのモードに応じて、フレーズセット４ａ（通常用辞書）とフレーズセット４ｂ（お話し用辞書）とを切り替える態様であってもよい。すなわち、ユーザと上記ロボット掃除機１０とが「しりとりを行う」ことは、単なる一例に過ぎないことに注意する。また、モードの数（フレーズセットの数）は２つに限定されないことにも注意する。

〔サーバ２０の構成〕
図１は、サーバ２０の要部構成を示すブロック図である。図１に基づいて、サーバ２０の構成を説明する。なお、記載の簡潔性を担保するため、本実施の形態に直接関係のない構成（当該サーバ２０に入力を与える構成など）は、説明およびブロック図から省略されている。ただし、実施の実情に則して、サーバ２０は、当該省略された構成を備えてよい。図１に示されるように、サーバ２０は、通信部４０（受信部４１、送信部４２）、制御部１７（情報取得部１１、音声認識部１２、フレーズ判定部１３、辞書切替部１４、フレーズ登録部１５、ロボット制御部１６）、および、記憶部５０を備えている。

通信部４０は、所定の通信方式にしたがう通信網を介して外部と通信する。外部の機器との通信を実現する本質的な機能が備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。通信部４０は、例えばイーサネット（登録商標）アダプタなどの機器で構成できる。また、通信部４０は、例えばIEEE802.11無線通信、Bluetooth（登録商標）などの通信方式や通信媒体を利用できる。通信部４０は、送信部４２と受信部４１とを含む。

なお、上記通信方式として、双方向の通信規格であるWebSocketを利用できる。通信部４０が通信規格として上記WebSocketを利用する場合、サーバ２０は、ロボット掃除機１０に対して制御情報３をプッシュで配信できるため、リアルタイムに（サーバ２０が所望する任意のタイミングで）上記制御情報３を送受信できる。一方、上記WebSocketを利用しない場合であっても、ロボット掃除機１０は制御情報３を取得するために、サーバ２０にポーリングすればよい。

受信部４１は、上記所定の通信方式にしたがう通信網を介して外部と通信することによって、音声情報２を受信する。受信部４１は、受信した音声情報２を情報取得部１１に出力する。また、送信部４２は、ロボット制御部１６から制御情報３が入力された場合、上記所定の通信方式にしたがう通信網を介して外部と通信することによって、ロボット掃除機１０に当該制御情報３を送信する。

制御部１７は、サーバ２０が有する各種の機能を統括的に制御するものである。制御部１７は、情報取得部１１、音声認識部１２、フレーズ判定部１３、辞書切替部１４、フレーズ登録部１５、および、ロボット制御部１６を含む。

情報取得部１１は、受信部４１を介してロボット掃除機１０から音声情報２を取得し、当該音声情報２を音声認識部１２に出力する。また、情報取得部１１は、フレーズ登録部１５によって登録される新たなフレーズを所定の基準に基づいて分類したカテゴリ８を取得する。具体的には、受信部４１からカテゴリ８が入力された場合、情報取得部１１は、当該カテゴリ８をフレーズ登録部１５に出力する。なお、上記カテゴリ８は、外部のコーパスサーバ２１から取得されてもよいし、ユーザから得られる返事に基づいて取得されてもよい（後述）。

音声認識部１２は、ユーザがロボット掃除機１０に対して発した音声を認識する。具体的には、情報取得部１１から音声情報２が入力された場合、音声認識部１２は、所定の音声認識のアルゴリズムにしたがって、当該音声情報２を認識した結果（認識結果５）を得る。ここで、当該認識結果５は、上記音声情報２から変換されたテキスト情報を少なくとも含む。なお、上記音声認識のアルゴリズムとしては、公知のものが適宜採用されてよい。音声認識部１２は、上記認識結果５をフレーズ判定部１３に出力する。

フレーズ判定部（特定手段）１３は、音声認識部１２によって認識された認識結果５が、フレーズセット４ａまたは４ｂ（通常用辞書またはしりとり用辞書）に含まれるフレーズに一致するか否かを判定する。具体的には、認識結果５が音声認識部１２から入力された場合、フレーズ判定部１３は、現在使用中に設定されているフレーズセット（フレーズセット４ａまたは４ｂ）を記憶部５０から読み出す。例えば、ロボット掃除機１０が「通常モード」にある場合、フレーズ判定部１３は、フレーズセット４ａ（通常用辞書、図３参照）を記憶部５０から読み出す。

次に、フレーズ判定部１３は、上記認識結果５に含まれるテキスト情報とフレーズセット（フレーズセット４ａまたは４ｂ）に含まれるフレーズ（図３に示される表の１列目に含まれる「認識フレーズ」）とを順次照合することによって、当該テキスト情報と一致するフレーズが当該フレーズセット４ａまたは４ｂに含まれるか否かを判定し、判定した結果を示す判定結果６を、辞書切替部１４、フレーズ登録部１５、および、ロボット制御部１６にそれぞれ出力する。また、フレーズ判定部１３は、上記認識結果５をフレーズ登録部１５に出力する。上記判定結果６は、一致するフレーズが含まれる場合、一致したフレーズの認識ＩＤ（図３に示される表の２列目に含まれる「認識ＩＤ」）を含み、一致するフレーズが含まれない場合、当該フレーズが含まれないことを示す所定のフラグを含む。

また、フレーズ判定部１３は、フレーズセット４ａまたは４ｂを用いて判定するように指示する切替情報７が辞書切替部１４から入力された場合、次回の判定（上記切替情報７が入力された後に、音声認識部１２から入力される認識結果５に対する判定）には指定されたフレーズセットを用いる。なお、フレーズ判定部１３が記憶部５０からフレーズセット４ｂを読み出す場合、所定の難易度およびカテゴリに対応するフレーズセット４ｂ（図４の（ａ）、（ｂ）、または、（ｃ））を読み込むことができる。

ここで、上記難易度およびカテゴリは、ユーザによって指定されてもよいし、ランダムに選択されてもよいし、徐々に難易度またはカテゴリが変化するように設定されてもよい。あるいは、ロボット掃除機１０の機嫌（外気温、室内温度、ダストボックスに溜まったゴミの量、電源を入れる頻度、充電量などに基づいて決定される所定のパラメータをいう）に応じて設定されてもよい。なお、上記難易度がユーザによって指定される場合、ロボット掃除機１０はしりとりの開始時に「難易度は？」または「何しりとりにする？」などの問いかけを、ユーザに行ってよい。

辞書切替部（切替手段）１４は、フレーズ判定部１３によってフレーズセット（第１のフレーズセット、通常用辞書）４ａに含まれる第１のフレーズに一致すると判定された場合、上記フレーズセット４ａとは異なるフレーズセット（第２のフレーズセット、しりとり用辞書）４ｂを用いて判定されるように、当該フレーズセット４ａから当該フレーズセット４ｂに切り替える。例えば、フレーズセット４ａが現在使用中に設定されている場合、「しりとりしよう」（第１のフレーズ、制御フレーズ）の認識ＩＤを含む判定結果６がフレーズ判定部１３から入力されたとき、辞書切替部１４は、フレーズセット４ｂを用いて判定するようフレーズ判定部１３に指示する切替情報７を、当該フレーズ判定部１３に出力する。

なお、上記した例の場合、辞書切替部１４は上記切替情報７をフレーズ判定部１３に出力すると同時に、サーバ２０のモードを「通常モード」から「しりとりモード」に切り替える。また、辞書切替部１４は、上記切替情報７をロボット制御部１６にも出力する。上記切替情報７が入力されると、ロボット制御部１６は、ロボット掃除機１０のモードを「通常モード」から「しりとりモード」に切り替えるように制御する情報を含む制御情報３を、送信部４２を介して当該ロボット掃除機１０に送信する。

上記のように、制御システム３０（ロボット掃除機１０およびサーバ２０）が特定の目的（例えば、ユーザとしりとりを行うなど）に特化したモードに移行し、当該モードにおいて、他のモードにおいて使用される制御が禁止されることによって、上記サーバ２０は、ロボット掃除機１０に誤った制御を実行させるという不利益を回避できる。

なお、上述したように、ユーザはロボット掃除機１０に対して所定のキーワードを含む呼びかけ１（例えば、「しりとりしよう」）を行うだけで、上記制御システム３０を所定のモードに移行させることができる。すなわち、サーバ２０は、ユーザに簡便なインターフェースを提供できる。また、サーバ２０はユーザの目の前に存在するロボット掃除機１０を制御することによって、しりとりを行うためのインターフェースとしてロボット掃除機１０を機能させる。したがって、実際には、サーバ２０がしりとりを行うための処理を実行しているが、上記ロボット掃除機１０がしりとりを行っているという感覚（ロボットとの対戦感）を、当該サーバ２０は当該ユーザに与えることができる。

フレーズ登録部（登録手段）１５は、認識結果５が上記フレーズセット４ｂ（しりとり用辞書）に含まれるいずれのフレーズにも一致しないと上記フレーズ判定部１３によって判定された場合、当該認識結果５を当該フレーズセット４ｂの新たなフレーズとして登録する。図５に基づいて、フレーズ登録部１５が実行する処理の一例を説明する。

図５は、ロボット掃除機１０がユーザと「動物しりとり」を行う場合に用いるフレーズセット４ｂの一例を示す表であり、（ａ）は「アフリカ」という未登録フレーズを登録する前のフレーズセット４ｂを示し、（ｂ）は「アフリカ」というフレーズを登録した後のフレーズセット４ｂを示す。

ユーザが「動物しりとり」において「アフリカ」と回答したことにより、認識結果５に含まれるテキスト情報が「アフリカ」であった場合を一例として考える。図５の（ａ）に示されるように、「アフリカ」は地域の名前であって動物の名前ではないため、「動物しりとり」用のフレーズセット４ｂに「アフリカ」のフレーズは含まれない。したがって、フレーズ判定部１３は、一致するフレーズは存在しないことを示す判定結果６と、上記認識結果５とをフレーズ登録部１５に出力する。

フレーズ登録部１５は、入力された上記認識結果５に含まれるテキスト情報を、上記フレーズセット４ｂに登録する。具体的には、図５の（ｂ）に示されるように、フレーズ（語彙）が「アフリカ」であり、先頭文字が「ア」、末尾文字が「カ」、認識ＩＤが「６０１」である新たな行を、上記フレーズセット４ｂに挿入する。なお、新しく登録されたフレーズには、新しい認識ＩＤ（他のフレーズの認識ＩＤと重複しないようにランダムに設定されてよい）が付与される。

ロボット制御部（制御手段）１６は、フレーズ判定部１３によって一致していると判定されたフレーズに応じて、上記ロボット掃除機１０を制御する。例えば、認識結果５に含まれるテキスト情報と、フレーズセット４ａに含まれる「きれいにして」というフレーズ（図３参照）とが一致したことを示す判定結果６が、フレーズ判定部１３から入力された場合、上記ロボット制御部１６は、ロボット掃除機１０が掃除するように制御する情報を含む制御情報３を、送信部４２に出力する。

ここで、上記制御情報３は、ロボット掃除機１０を任意に制御するために必要な情報を適宜含む情報である。例えば、ロボット掃除機１０に掃除を行わせる場合、制御情報３は、掃除する範囲を指定する情報を含んでよい。あるいは、ユーザからの呼びかけ１に対する応答（返事）を行わせる場合、制御情報３は、所定のサーバ（例えば、任意の音声サーバ）において合成した音声のデータ（ＷＡＶ形式などの所定の形式にしたがう音声データでよい）を含んでもよいし、当該音声データがロボット掃除機１０にキャッシュされている場合は当該音声データを一意に識別可能なＩＤを含んでもよい。

また、サーバ２０が「しりとりモード」であり、フレーズ判定部１３がフレーズセット４ｂを用いて判定している場合（すなわち、ユーザとロボット掃除機１０とがしりとりを行っている場合）に、所定のフレーズに一致したことを示す判定結果６が当該フレーズ判定部１３から入力されると、ロボット制御部１６は、当該判定結果６に含まれる認識ＩＤに対応する「末尾文字」を参照し、当該末尾文字に一致する「先頭文字」を有するフレーズ（語彙）を、上記フレーズセット４ｂにおいて検索する。そして、検索して得られたフレーズを音声として再生するように、ロボット掃除機１０を制御する情報を含む制御情報３を、ロボット制御部１６は送信部４２に出力する。

なお、ロボット制御部１６は、記憶部５０に格納されたしりとりの履歴を参照し、過去に提示した単語を再提示しないように次の単語を選択したり、ユーザから提示された単語が過去に提示されたものに該当するか否かをチェックしたりすることができる。

記憶部５０は、フレーズセット４ａ、フレーズセット４ｂ、しりとりの履歴などを格納可能な記憶機器である。記憶部５０は、例えばハードディスク、ＳＳＤ（silicon state drive）、半導体メモリ、ＤＶＤなどで構成できる。

〔サーバ２０が実行するしりとりの処理〕
図６は、サーバ２０がロボット掃除機１０にしりとりを行うように制御する場合のタイミングチャートの一例である。図６に例示される手順に沿って、上記サーバ２０は、上記ロボット掃除機１０にしりとりを行うように制御できる。

図７は、サーバ２０がロボット掃除機１０にしりとりを行うように制御している最中に、優先度の高いジョブ（例えば、緊急地震速報など）が介入した場合のタイミングチャートの一例である。図８は、ユーザがしりとりを終了させる場合のタイミングチャートの一例である。図９は、ユーザがしりとりを中断させる場合のタイミングチャートの一例である。図１０は、ユーザがしりとりを再開させる場合のタイミングチャートの一例である。

図７〜図１０に例示されるように、介入・終了・中断・再開などのイベントが発生した場合、辞書切替部１４は、上記イベントが発生した後の状態（モード）に応じて、フレーズセットを切り替える。

例えば、図８に示されるタイミングチャートによって例示されるように、サーバ２０が「しりとりモード」にある場合（フレーズセット４ｂが現在使用中に設定されている場合）、「負けました」（第２のフレーズ）の認識ＩＤを含む判定結果６がフレーズ判定部１３から入力されたとき（ユーザがロボット掃除機１０に「負けました」と呼びかけることによってしりとりを終了させたとき）、辞書切替部１４は、フレーズセット４ａを用いて判定するようフレーズ判定部１３に指示する切替情報７を、当該フレーズ判定部１３に出力する。

あるいは、図１０に示されるタイミングチャートによって例示されるように、サーバ２０が他のモードにある場合（他のフレーズセットが現在使用中に設定されている場合）、「しりとりまた始めよう」（第１のフレーズ）の認識ＩＤを含む判定結果６がフレーズ判定部１３から入力されたとき（ユーザがロボット掃除機１０に「しりとりまた始めよう」と呼びかけることによってしりとりを再開させるとき）、辞書切替部１４は、上記他のフレーズセットからフレーズセット４ｂに切り替える。

〔制御システム３０において実行される処理〕
図１１は、制御システム３０において実行される処理の一例を示すフローチャートである。図１１に基づいて、上記制御システム３０において実行される一連の処理の流れを、その順番に説明する。なお、以下の説明において、カッコ書きの「〜ステップ」は、制御装置の制御方法の各ステップを表す。

ロボット掃除機１０がユーザから呼びかけ１を取得すると（ステップ１においてＹＥＳ、以下「ステップ１」を「Ｓ１」のように略記する）、当該ロボット掃除機１０は当該呼びかけ１を音声情報２としてサーバ２０に送信する（Ｓ２）。受信部４１が当該音声情報２を受信し（Ｓ３）、情報取得部１１が当該音声情報２を取得すると（Ｓ４）、音声認識部１２が当該音声情報２を認識する（Ｓ５）。フレーズ判定部１３は、認識結果５に含まれるテキスト情報がフレーズセット４ａ（通常用辞書）に含まれているか否かを判定し（Ｓ６、特定ステップ）、含まれていると判定する場合（Ｓ６においてＹＥＳ）、当該テキスト情報が第１のフレーズ（例えば「しりとりしよう」）に一致するか否かをさらに判定する（Ｓ７）。

一致しないと判定される場合（Ｓ７においてＮＯ）、ロボット制御部１６は、Ｓ６において一致したと判定されたフレーズに応じた制御情報３を決定し（Ｓ１４）、送信部４２は当該制御情報３をロボット掃除機１０に送信する（Ｓ１１）。当該ロボット掃除機１０は上記制御情報３を受信すると（Ｓ１２）、当該制御情報３によって示される制御を実行する（Ｓ１３）。なお、前述したように、当該制御情報３は、ロボット掃除機１０のモードを「通常モード」から「しりとりモード」に切り替えるように制御する情報を含むため、ロボット掃除機１０は、Ｓ１３において「通常モード」から「しりとりモード」に切り替える。

一致すると判定される場合（Ｓ７においてＹＥＳ）、辞書切替部１４は、上記フレーズセット４ａに代えて、フレーズセット４ｂ（しりとり用辞書）に切り替え（Ｓ８、切替ステップ）、フレーズ判定部１３は、切り替えられたフレーズセット４ｂを読み込む（Ｓ９）。なお、前述したように、辞書切替部１４は、Ｓ８においてサーバ２０のモードを「通常モード」から「しりとりモード」に切り替える。ロボット制御部１６は、しりとりを開始するための制御情報３（「しりとりを始めるよ」などの音声を再生するようにロボット掃除機１０を制御する情報を含むもの）を決定し（Ｓ１０）、送信部４２は当該制御情報３をロボット掃除機１０に送信する（Ｓ１１）。

一方、Ｓ６において一致しないと判定される場合（Ｓ６においてＮＯ）、フレーズ登録部１５は、認識結果５に含まれるテキスト情報をフレーズセット４ｂの新たなフレーズとして登録する（Ｓ１５）。

〔実施形態２〕
図１２〜図１８に基づいて、本発明の第２の実施の形態（実施形態２）を説明する。図１２は、サーバ２０がロボット掃除機１０にしりとりを行うように制御している最中に、新たなフレーズをフレーズセット４ｂに登録する場合のタイミングチャートである。図１３は、サーバ２０がロボット掃除機１０にユーザと会話を行うように制御している最中に、新たなフレーズをフレーズセット４ａに登録する場合のタイミングチャートである。図１４は、サーバ２０がロボット掃除機１０にしりとりを行うように制御している最中に、所定のフレーズのカテゴリを修正する場合のタイミングチャートである。

図１２に示されるように、フレーズ登録部１５は、新たなフレーズ（例えば「アフリカ」）を登録する前に、登録の適否をロボット掃除機１０のユーザに確認できる。すなわち、判定結果６と認識結果５とがフレーズ判定部１３から入力された場合、フレーズ登録部１５は、上記認識結果５をロボット制御部１６に出力する。フレーズ登録部１５から当該認識結果５が入力されると、ロボット制御部１６は「アフリカ（上記認識結果５に含まれるテキスト情報）って何のこと？」という音声を再生するように、ロボット掃除機１０を制御する制御情報３を、送信部４２を介して当該ロボット掃除機１０に送信する。

情報取得部１１が「動物だよ」などのカテゴリ８（図５の（ａ）および（ｂ）においては示されていない）を特定する呼びかけ１をユーザから取得した場合、または、情報取得部１１が上記カテゴリ８を外部のコーパスサーバ２１から取得した場合、フレーズ登録部１５は、上記新たなフレーズと当該カテゴリ８とを対応付けて、当該新たなフレーズを上記フレーズセット４ｂに登録する。なお、ユーザによって特定された上記カテゴリ８が、上記フレーズセット４ｂにあらかじめ設定されたカテゴリ８と一致しない場合、または、上記カテゴリ８を取得できなかった場合（存在しない場合など）、フレーズ登録部１５は、上記新たなフレーズを当該フレーズセット４ｂに登録しなくともよい。この場合、サーバ２０は、ロボット掃除機１０に上記新たなフレーズは正しくないフレーズであることを、ユーザに提示させてもよい（例えば、「アフリカは動物じゃないよ、ブー」など）。

図１３に示されるように、サーバ２０が「通常モード」にある場合（フレーズセット４ａが現在使用中に設定されている場合）であっても、前述と同様に、フレーズ登録部１５は上記フレーズセット４ａに存在しない新たなフレーズを、当該フレーズセット４ａに登録できる。この場合も、前述と同様に、フレーズ登録部１５は、新たなフレーズ（例えば「りんご」）を新たなフレーズとして登録する前に、登録の適否をロボット掃除機１０のユーザに確認し、当該新たなフレーズのカテゴリ８と対応付けて、当該新たなフレーズを上記フレーズセット４ａに登録できる。または、フレーズ登録部１５は、新たなカテゴリ８を当該フレーズセット４ｂに新設し、上記新たなフレーズを当該新たなカテゴリ８と対応付けて登録してもよい。

図１４に示されるように、サーバ２０はフレーズに対応付けられたカテゴリ８を、ユーザからの呼びかけ１に基づいて修正できる。例えば、「アフリカ」が誤って「動物」のカテゴリ８に登録されている場合、「動物しりとり」の最中にロボット掃除機１０が「アフリカ」と答えることがある。

これに対して、ユーザが「アフリカは動物ではないよ」などと返答し、情報取得部１１によって取得された当該返答の音声情報２を、音声認識部１２が「『動物』のカテゴリ８は『アフリカ』に対するカテゴリとして不適切」であることを認識した場合（誤ったカテゴリのフレーズを選択したことを示す認識ＩＤを、音声認識部１２がフレーズ登録部１５に出力した場合）、フレーズ登録部１５が「アフリカ」に対応付けられた「動物」のカテゴリ８を削除する。このとき、ロボット制御部１６は、上記ロボット掃除機１０に「ごめん、間違ったよ、別のことばを考えるね」などの音声を再生するように、当該ロボット掃除機１０を制御してよい。また、フレーズ登録部１５は、前述した処理と同様の処理にしたがって「アフリカ」に対応付けるカテゴリ８を取得し、「アフリカ」を新たなフレーズとして登録し直してもよい。

図１５は、ユーザとロボット掃除機１０とがしりとりを行っている場合、両者の間で交わされるコミュニケーションの一例を示す模式図である。図１５の（ａ）はしりとりを開始する場合、（ｂ）はしりとりを開始する呼びかけをロボット掃除機１０が認識できなかった場合、（ｃ）は適切にしりとりが継続した場合、（ｄ）はしりとりにおいてユーザが「パス」（プレイヤーが自身の順番をスキップすることをいう）した場合、（ｅ）はロボット掃除機１０（サーバ２０）が誤ったフレーズを返した場合におけるコミュニケーションの一例を表す。

図１６は、ユーザとロボット掃除機１０とがしりとりを行っている場合、両者の間で交わされるコミュニケーションの他の一例を示す模式図である。図１６の（ａ）は、ユーザがロボット掃除機１０（サーバ２０）に対して、先のフレーズを再提示することを要求する場合、（ｂ）は、ロボット掃除機１０がユーザのフレーズを、聞き取れなかった（サーバ２０が当該フレーズの認識に失敗した）場合、（ｃ）は、ユーザ（またはサーバ２０）のフレーズが、以前に提示されたフレーズと同一であった場合、（ｄ）は、先に提示されたフレーズの語尾とユーザが提示したフレーズの語頭とが一致しない場合（しりとりが成立しない場合）、（ｅ）は、語尾が「ん」であるフレーズをユーザが提示した場合（日本語では、「ん」から始まるフレーズは存在しないため、当該フレーズを提示したプレイヤーは、しりとりの敗者となる）、（ｆ）は、ユーザが負けを認めることによって、しりとりを終了させる場合におけるコミュニケーションの一例を表す。なお、フレーズセット４ｂに次のフレーズ（しりとりを継続可能な新たなフレーズ）が存在しない場合、ロボット掃除機１０は、しりとりに負けたことを認めて、自発的にしりとりを終了させてよい。あるいは、ランダムなタイミングにおいて、または、ユーザが難しいフレーズを提示した場合などにおいても、しりとりを終了させてよい。

図１７は、ユーザとロボット掃除機１０とがしりとりを行っている場合、両者の間で交わされるコミュニケーションのさらに他の一例を示す模式図である。図１７の（ａ）はロボット掃除機１０がタイムアウトした場合、（ｂ）はしりとりを継続することをロボット掃除機１０は認識したが、音声データの再生エラーを起こした場合、（ｃ）はしりとりを終了させることをロボット掃除機１０は認識したが、音声データの再生エラーを起こした場合の動作を表す。

図１７の（ａ）に示されるように、サーバ２０が「しりとりモード」にある場合であって、ロボット掃除機１０から音声情報２が一定時間以上取得されない場合、ロボット掃除機１０およびサーバ２０は、自動的に「通常モード」へ遷移する（タイムアウトの処理を実行する）。すなわち、辞書切替部１４は、判定結果６がフレーズ判定部１３から一定時間以上入力されない場合、フレーズセット４ｂからフレーズセット４ａに切り替えるための切替情報７を、ロボット制御部１６およびフレーズ判定部１３に出力する。これにより、サーバ２０は、上記タイムアウトの処理を実行した後に取得された音声情報２に含まれる音声を、フレーズセット４ａを用いて認識する（しりとりの回答ではなく、通常の会話として扱う）。

図１７の（ｂ）に示されるように、サーバ２０はユーザの音声を認識できており、現在の状態（「しりとりモード」において、ユーザから提示されたフレーズに対してレスポンスを返すべき状態）も把握しているが、ロボット掃除機１０が音声を再生できなかった場合、サーバ２０は、以下の２つの対応を行うことができる。すなわち、サーバ２０は、ロボット掃除機１０が音声を再生していないことを検知した時点で、（１）サーバからの再回答であることを理解できる文言を用いて、再度呼びかけを行う（フレーズを再提示する）ようにユーザに要求する、または、（２）ロボット掃除機１０に音声を再度再生するように指示する。

図１７の（ｃ）に示されるように、サーバ２０はユーザの音声を認識できており、現在の状態（「しりとりモード」を終了させるべき状態）も把握しているが、ロボット掃除機１０が音声を再生できなかった場合、サーバ２０（辞書切替部１４）は、フレーズセット４ｂからフレーズセット４ａに切り替える。これにより、新たに音声情報２が取得された場合、サーバ２０は「通常モード」として当該音声情報２に含まれる音声を認識する。なお、ロボット掃除機１０は「しりとりモード」のままとなるが、サーバ２０からモードを切り替えるための制御情報３を受信することにより、ロボット掃除機１０は「通常モード」に遷移することができる。

図１８は、ユーザとロボット掃除機１０との間で交わされるコミュニケーションの一例を示す模式図である。図１８の（ａ）はユーザがしりとりを中断させる場合、（ｂ）はしりとりを再開させる場合、（ｃ）はロボット掃除機１０およびサーバ２０が「通常モード」にあるときに、当該サーバ２０がフレーズセット４ａに未登録であるフレーズを検出した場合、（ｄ）はロボット掃除機１０およびサーバ２０が「しりとりモード」にあるときに、当該サーバ２０がフレーズセット４ｂに未登録であるフレーズを検出した場合、（ｅ）はロボット掃除機１０およびサーバ２０が「しりとりモード」にあるときに、不適切なカテゴリ８に誤って登録されたフレーズを、フレーズセット４ｂから削除する場合におけるコミュニケーションの一例を表す。

図１５〜図１８に示されるように、サーバ２０が「通常モード」または「しりとりモード」にある場合（フレーズセット４ａまたは４ｂが現在使用中に設定されている場合）、いかなる状況においても、ユーザがロボット掃除機１０と円滑にコミュニケーションを取れるように、上記サーバ２０は上記ロボット掃除機１０を制御できる。

〔実施形態３〕
サーバ２０の制御ブロック（特に、制御部１７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、サーバ２０は、各機能を実現するソフトウェアであるプログラム（制御プログラム）の命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る制御装置は、ユーザが被制御装置（ロボット掃除機１０）に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定手段（フレーズ判定部１３）を備え、当該制御フレーズに対応付けられた制御情報（３）にしたがって前記被制御装置を制御する制御装置（サーバ２０）であって、前記特定手段によって第１のフレーズセット（フレーズセット４ａ）に含まれる第１のフレーズが特定された場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセット（フレーズセット４ｂ）に切り替える切替手段（辞書切替部１４）を備えている。

従来の技術のように、認識すべき音声フレーズやその出現頻度がそれぞれで異なる状況が複数想定される場合であっても、すべてのフレーズが単一のフレーズセットに含まれると、音声を認識する精度が低下するおそれがある。フレーズセットに含まれる音声フレーズの数が増加するほど、互いに紛らわしい音声フレーズも増加するからである。

一方、上記構成によれば、上記制御装置は、第１のフレーズセットに含まれる第１のフレーズに一致すると判定された場合、当該第１のフレーズセットとは異なる第２のフレーズセットを用いて判定されるように、当該第１のフレーズセットから当該第２のフレーズセットに切り替える。これにより、全てのフレーズを１つのフレーズセットに混在させることがないため、上記制御装置は、音声を認識する精度を高く維持できる。したがって、上記制御装置は、上記被制御装置に誤った制御を実行させるという不利益を回避できる。

また、本発明の態様２に係る制御装置は、上記態様１において、前記認識されたフレーズと一致するフレーズが、前記第２のフレーズセットにおいて特定されなかった場合、当該認識されたフレーズを制御フレーズとして当該第２のフレーズセットに登録する登録手段（フレーズ登録部１５）をさらに備えてよい。

上記構成によれば、ユーザと上記被制御装置との音声によるコミュニケーションにおいて、上記第２のフレーズセットに登録されていないフレーズが検出された場合、上記制御装置は、当該フレーズを当該第２のフレーズセットに新たに登録できる。したがって、上記制御装置は、上記被制御装置が動作する環境（例えば、当該被制御装置を利用するユーザ）に適応するように、上記第２のフレーズセットを更新することができる。

また、本発明の態様３に係る制御装置は、上記態様１または態様２において、前記第２のフレーズセットは、前記制御フレーズが複数のカテゴリ（８）のいずれかに対応付けられてよい。

上記構成によれば、ユーザから発せられた音声が属するカテゴリを事前に限定できる状況においては、上記制御装置は、当該音声の認識結果と当該カテゴリに属するフレーズとを照合するだけで足りる。したがって、上記制御装置は、音声を認識する精度を高く維持できるだけでなく、当該音声を認識する速度を向上させることができる。

また、本発明の態様４に係る制御装置は、上記態様１から態様３のいずれか１つの態様において、前記特定手段によって前記制御フレーズが前記第２のフレーズセットにおいて特定された場合、当該特定された制御フレーズに基づいて、新たな制御フレーズを当該第２のフレーズセットにおいて特定し、前記ユーザに対して当該新たな制御フレーズを音声によって出力するよう前記被制御装置を制御する制御手段（ロボット制御部１６）をさらに備えてよい。

上記構成によれば、上記制御装置は、制御フレーズが上記第２のフレーズセットにおいて特定された場合、当該特定された制御フレーズに応じた制御フレーズを、当該第２のフレーズセットにおいて新たに特定し、当該新たな制御フレーズを音声によって出力するよう上記被制御装置を制御できる。これにより、上記制御装置は、上記新たな制御フレーズをユーザに提示できる。

また、本発明の態様５に係る制御装置では、上記態様４において、前記制御手段は、前記特定された制御フレーズの末尾文字を先頭文字とする制御フレーズを、前記新たな制御フレーズとして前記第２のフレーズセットにおいて特定してよい。

上記構成によれば、上記制御装置は、特定された制御フレーズの末尾文字を先頭文字とする制御フレーズ（例えば、しりとりを継続可能なフレーズ）を、ユーザに提示できる。

また、本発明の態様６に係る制御装置の制御方法は、ユーザが被制御装置に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定ステップ（Ｓ６）を含み、当該制御フレーズに対応付けられた制御情報にしたがって前記被制御装置を制御する制御装置の制御方法であって、前記特定ステップにおいて第１のフレーズセットに含まれる第１のフレーズを特定した場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセットに切り替える切替ステップ（Ｓ８）を含んでいる。

したがって、上記制御装置の制御方法は、上記態様１に係る制御装置と同様に、音声を認識する精度を高く維持できるため、上記被制御装置に誤った制御を実行させるという不利益を回避できる。

本発明の各態様に係る制御装置は、コンピュータによって実現されてもよく、この場合、コンピュータを上記制御装置が備えた各手段として動作させることにより、上記制御装置をコンピュータにおいて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、本発明は上述したそれぞれの実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても、本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

本発明は、ユーザから発せられた音声に基づいて、被制御装置を制御可能な制御装置に広く適用することができる。

４ａ：フレーズセット（第１のフレーズセット）、４ｂ：フレーズセット（第２のフレーズセット）、５：認識結果、８：カテゴリ、１０：ロボット掃除機（被制御装置）、１３：フレーズ判定部（特定手段）、１４：辞書切替部（切替手段）、１５：フレーズ登録部（登録手段）、１６：ロボット制御部（制御手段）、２０：サーバ（制御装置）

Claims (7)

1. ユーザが被制御装置に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定手段を備え、当該制御フレーズに対応付けられた制御情報にしたがって前記被制御装置を制御する制御装置であって、
   前記特定手段によって第１のフレーズセットに含まれる第１のフレーズが特定された場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセットに切り替える切替手段を備え、
   前記切替手段は、前記特定手段によって前記第２のフレーズセットに含まれる第２のフレーズが特定された場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第２のフレーズセットから前記第１のフレーズセットに切り替える
   ことを特徴とする制御装置。
2. 前記認識されたフレーズと一致するフレーズが、前記第２のフレーズセットにおいて特定されなかった場合、当該認識されたフレーズを制御フレーズとして当該第２のフレーズセットに登録する登録手段をさらに備えたことを特徴とする請求項１に記載の制御装置。
3. 前記第２のフレーズセットは、前記制御フレーズが複数のカテゴリのいずれかに対応付けられていることを特徴とする請求項１または２に記載の制御装置。
4. 前記特定手段によって前記制御フレーズが前記第２のフレーズセットにおいて特定された場合、当該特定された制御フレーズに基づいて、新たな制御フレーズを当該第２のフレーズセットにおいて特定し、前記ユーザに対して当該新たな制御フレーズを音声によって出力するよう前記被制御装置を制御する制御手段をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の制御装置。
5. 前記制御手段は、前記特定された制御フレーズの末尾文字を先頭文字とする制御フレーズを、前記新たな制御フレーズとして前記第２のフレーズセットにおいて特定することを特徴とする請求項４に記載の制御装置。
6. ユーザが被制御装置に対して発した音声から認識されたフレーズと一致するフレーズであって、所定のフレーズセットに含まれるフレーズを、制御フレーズとして特定する特定ステップを含み、当該制御フレーズに対応付けられた制御情報にしたがって前記被制御装置を制御する制御装置の制御方法であって、
   前記特定ステップにおいて第１のフレーズセットに含まれる第１のフレーズを特定した場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第１のフレーズセットから前記第１のフレーズセットとは異なる第２のフレーズセットに切り替える切替ステップと、
   前記特定ステップにおいて前記第２のフレーズセットに含まれる第２のフレーズを特定した場合、前記制御フレーズの特定に使用される前記所定のフレーズセットを、前記第２のフレーズセットから前記第１のフレーズセットに切り替えるステップと、を含むことを特徴とする制御装置の制御方法。
7. 請求項１から５のいずれか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。

Images