JP6748678B2 - 情報処理装置、情報処理システム、制御プログラム、情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理システム、制御プログラム、情報処理方法に関する。

従来、人工知能を利用した機器の開発が目覚ましい。その中には、ユーザからの音声による指示に従って、指示された内容を実行する機器がある。
例えば、特許文献１には、ユーザからの音声による指示に従って、音楽を再生したり、アラームを実行したり、計算をしたり、他の機器（例えば、照明装置）の制御を行ったりする情報処理装置（スマートスピーカー）が開示されている。

特開２０１７−０６８２４３号公報

しかしながら従来の情報処理装置では、周辺で騒音が発生すると、情報処理装置からの発話をユーザが聞き取りにくくなるおそれがあった。

そこで、本発明は上記問題に鑑みてなされたものであり、周囲で騒音が発生しても、ユーザが情報処理装置からの発話を聞き取りにくくなるのを抑えることができる情報処理装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザと自然言語により対話可能な情報処理装置であって、ユーザからの発話音声および周囲の音を検出する音声検出部と、ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話部と、ユーザが発話を聞き取ることを阻害するような騒音を音声検出部が検出した場合に、騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、制御対象を制御する制御部と、を備えている。

また、発話部は、発話音声から変換されたユーザ発話データに基づいて、発話音声への返事に相当するように生成されたロボット発話データを発話してもよい。

また、特定部は、騒音となる音を自ら発生する家電機器を、制御対象のうちの一つとして特定し、制御部は、家電機器が発生する音の音量を小さくすることで、発話部からの発話へのユーザの聞き取りに対して、騒音が与える影響を小さくしてもよい。

また、騒音となる音を自ら発生する家電機器の音を、音源データとして予め記憶している記憶部を備え、特定部は、騒音と、音源データと、の比較を行い、騒音に相当する家電機器を特定することで、制御対象を特定してもよい。

特定部は、騒音が、ユーザに到達するのを遮る遮音部材を、制御対象のうちの一つとして特定し、制御部は、遮音部材を、ユーザと、騒音を発生する騒音発生源と、の間に移動させることで、発話部からの発話へのユーザの聞き取りに対して、騒音が与える影響を小さくしてもよい。

遮音部材は、ドア、窓、又はカーテン等の室内に配置された家具であってもよい。

音声検出部は、騒音が検出される方向を特定し、特定部は、音声検出部により特定された騒音の方向に基づいて、制御対象を特定してもよい。

制御部は、騒音の音量が第１閾値以下となるように、制御対象を制御してもよい。

制御部は、騒音の音量が第１閾値以下となった際に、制御対象を制御前の状態に復元してもよい。

特定部は、発話部を制御対象のうちの一つとして特定し、制御部は、発話部の音量を大きくすることで、発話部からの発話へのユーザの聞き取りに対して、騒音が与える影響を小さくしてもよい。

特定部は、発話部を制御対象のうちの一つとして特定し、制御部は、発話部による発話を一時的に中断することで、発話部からの発話へのユーザの聞き取りに対して、騒音が与える影響を小さくしてもよい。

制御部は、騒音の音量が第２閾値以上であるときに、発話部による発話を一時的に中断するとともに、他の制御対象を制御することで、騒音の音量が第２閾値よりも小さい第３閾値以下になった際に、発話部による発話を再開してもよい。

また、上記課題を解決するために、本発明の一態様に係る情報処理システムは、ユーザと自然言語により対話可能な情報処理装置とともに用いられる情報処理システムであって、ユーザからの発話音声データおよび周囲の音データを取得して処理する音声処理部と、ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して出力する音声データ出力部と、ユーザが発話を聞き取ることを阻害するような騒音を音声処理部が検出した場合に、騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、制御対象を制御する制御部と、を備えている。

また、上記課題を解決するために、本発明の一態様に係る制御プログラムは、ユーザと自然言語により対話可能な情報処理システムの制御プログラムであって、コンピュータに、ユーザからの発話音声および周囲の音を検出する音声検出機能と、ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話機能と、ユーザが発話を聞き取ることを阻害するような騒音を音声検出機能が検出した場合に、騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定機能と、を実現させる。

また、上記課題を解決するために、本発明の一態様に係る情報処理方法は、ユーザと自然言語により対話可能な情報処理方法であって、コンピュータが、ユーザからの発話音声および周囲の音を検出する音声検出ステップと、ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話ステップと、ユーザが発話を聞き取ることを阻害するような騒音を音声検出ステップにおいて検出した場合に、騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定ステップと、と、制御対象を制御する制御ステップと、を実行する。

本発明の情報処理装置では、音声検出部と、発話部と、特定部と、制御部と、を備えている。このため、音声検出部が騒音を検出した際に、特定部が制御対象を特定し、制御部が制御対象を制御する。これにより、発話部からの発話へのユーザの聞き取りに対して、騒音が与える影響を小さくすることができる。
このようにして、周囲で騒音が発生しても、ユーザが情報処理装置からの発話を聞き取りにくくなるのを抑えることができる。

通情報処理システムの構成例を示す図である。 スピーカーの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 騒音の音量の変化と、制御部の制御とを示す図である。 処理部における処理フローを示す図である。

＜実施形態＞
本発明の第１の実施形態について、図面を参照しながら説明する。

本発明に係る情報処理装置１００は、ユーザ１０の周囲の音声を取得して解析することで、ユーザ１０の状況を解析し、ユーザ１０からの音声による指示入力を、その状況に応じた解釈をして、指示入力の内容に対応する制御を実行する装置である。情報処理装置１００は、ユーザ１０と自然言語により対話可能となっている。

図１に、情報処理装置１００と、情報処理装置１００が接続されたネットワーク３００と、を有する情報処理システム１の概要を示す。情報処理システム１は、ユーザ１０の周囲の環境を特定可能な情報として、ユーザ１０の周囲の音声を利用する。
情報処理装置１００は、情報処理サーバ１５０と、スマートスピーカー２００と、を備えている。

情報処理装置１００は、音声データを受信し、受信した音声データからユーザ１０の指示を抽出するとともに、ユーザ１０の周囲の環境を推定し、推定した環境に応じた制御であって、ユーザ１０から指定された制御を行う。

また、情報処理システム１は、ユーザ１０の指示に基づく制御の対象となり得る各種の機器を含むこととしてよい。機器としては、各種の家電を用いることができ、例えば、照明装置、空調装置、スピーカー、テレビ、給湯装置、電動ブラインド、電動カーテン、…などがある。図１には、一例として、音楽プレーヤー３０、照明装置４０、テレビ５０、電動ドア６０、電動窓７０が示されている。

図１に示すように、情報処理サーバ１５０は、ネットワーク３００を介して、スマートスピーカー２００と接続されている。また、情報処理サーバ１５０は、各種の機器（家電）と接続されていてよく、情報処理サーバ１５０は、各機器を制御可能に構成されていてもよい。制御可能に構成されているとは、情報処理サーバ１５０が各機器を遠隔制御できるように各機器の制御権を有していることを意味する。

情報処理サーバ１５０は、スマートスピーカー２００が取得した音声データを、ネットワーク３００を介して受信する。情報処理サーバ１５０は、受信した音声データに基づいて、ユーザ１０の状況（環境）を推定するとともに、ユーザ１０からの音声による指示の内容を解釈する。そして、推定した状況（環境）に応じて、ユーザ１０の意図や状況に応じた制御を行う。ここで情報処理サーバ１５０が実行する制御とは、自装置の制御の他、他の機器を制御するための信号を出力することまで含んでよい。図１の例では、ユーザ１０が「明日の東京の天気は？」と指示した場合の例を示している。これに対して、天気予報サーバに確認をして回答をする例を示している。

ネットワーク３００は、情報処理装置１００と各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。具体的には、ネットワーク３００は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。

また、ネットワーク３００は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線、衛星通信網などであってもよく、どのようなネットワークであってもよい。ネットワーク３００は、ユーザ１０の住居に備えられる場合には、ホームネットワークと呼称されることもある。

また、ネットワーク３００、例えば、ＮＢ−ＩｏＴ（Ｎａｒｒｏｗ Ｂａｎｄ ＩｏＴ）や、ｅＭＴＣ（ｅｎｈａｎｃｅｄ Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。なお、ＮＢ−ＩｏＴやｅＭＴＣは、ＩｏＴ向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能なネットワークである。

また、ネットワーク３００は、これらの組み合わせであってもよい。また、ネットワーク３００は、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。例えば、ネットワーク３００は、ＬＴＥによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。

（スマートスピーカー２００の構成例）
図２は、スマートスピーカー２００の構成例を示すブロック図である。図２に示すように、スマートスピーカー２００は、受信部２１０と、記憶部２２０と、スピーカー２３０と、マイク２４０と、送信部２５０と、を備える。

受信部２１０は、情報処理サーバ１５０から制御信号（音声データ）を受信する通信インターフェースである。受信部２１０は、受信した制御信号（音声データ）をスピーカー２３０に伝達する。

記憶部２２０は、スマートスピーカー２００が動作する上で必要とする各種のプログラムやデータを記憶する機能を有する。記憶部２２０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。なお、スマートスピーカー２００は、プログラムを記憶部２２０に記憶し、当該プログラムを実行して、図示しない制御部が、スマートスピーカー２００として実現すべき機能を実現することとしてよい。記憶部２２０は、マイク２４０が集音した音声データを記憶する。また、記憶部２２０は、騒音となる音を自ら発生する家電機器の音を、音源データとして予め記憶している。

スピーカー２３０は、情報処理サーバ１５０から送信されて受信した制御信号（音声データ）を再生する発話部としての機能を有する。スピーカー２３０は、ユーザ１０に向けて発話するために生成されたロボット発話データを、音声データに変換して発話する。

マイク２４０は、ユーザ１０からの発話音声および周囲の音を検出する音声検出部としての機能を有する。すなわち、マイク２４０は、スマートスピーカー２００の周囲の音声を集音し、集音して得られる音声データを、情報処理サーバ１５０の発話データ生成部１３６に送信する。
マイク２４０は、１つのマイクロフォンで構成されてもよいし、複数のマイクロフォンで構成されていてもよい。また、マイクロフォンは、集音の方向が限定された指向性のものであってもよい。

マイク２４０は、音が検出される方向を特定することができる。このため、ユーザ１０の方向や、騒音が発生する騒音発生部の方向を特定することができる。マイク２４０は、集音した音声を示す音声データを、記憶部２２０に記憶する。ここで、騒音発生部としては、例えば部屋の話し声、宅外で行われている工事の音、宅外を通過する緊急車両のサイレン等、どのような態様のものであってもよい。

送信部２５０は、記憶部２２０に記憶されている音声データを、情報処理サーバ１５０に送信する機能を有する通信インターフェースである。送信部２５０は、記憶部２２０に記憶されている音声データを逐次、情報処理サーバ１５０に送信することとしてもよいし、ユーザ１０からの音声による指示入力があったと検出できた場合に、その前後の所定長分の音声データを送信することとしてもよい。

（情報処理サーバ１５０）
図３は、情報処理サーバ１５０の構成例を示すブロック図である。図３に示すように、情報処理サーバ１５０は、例えば、受信部１１０と、記憶部１２０と、処理部１３０と、送信部１４０と、を備える。

受信部１１０は、ネットワーク３００を介して、スマートスピーカー２００から音声データを受信する通信インターフェースである。受信部１１０は、ユーザ１０からの音声による指示入力を示す音声データや、ユーザ１０の周囲の環境を特定可能な情報としての音声データを受信する。受信部１１０は、音声データを受信すると、処理部１３０に伝達する。なお、受信部１１０は、スマートスピーカー２００以外の装置からユーザ１０の環境を特定可能な情報を受信できるように構成されてもよい。例えば、ユーザ１０のいる家屋の家電の稼働状況を示す情報や、各種のセンサによるセンシングデータを受信する。受信部１１０は、これらの情報を環境推定部１３２に伝達し、環境推定部１３２は、これらの情報をユーザ１０の状況を推定するために用いることとしてもよい。

記憶部１２０は、情報処理サーバ１５０が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部１２０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。
なお、情報処理サーバ１５０は、プログラムを記憶部１２０に記憶し、当該プログラムを実行して、処理部１３０が、処理部１３０に含まれる各機能部としての処理を実行してもよい。このプログラムは、情報処理サーバ１５０に、処理部１３０が実行する各機能を実現させる。
各機能とは、後述する音声検出機能、発話機能、特定機能、および制御機能を含んでいる。

記憶部１２０は、受信した音声データに基づいてユーザ１０からの指示内容を推定するための音声解析を行う音声解析プログラムや、音声データに基づいてユーザ１０の状況（環境）を推定する環境推定プログラムを記憶している。
また、記憶部１２０は、推定したユーザ１０の状況とユーザ１０からの音声による指示入力から、実行すべき制御を推定するために用いる制御モデル１２１を記憶している。また、記憶部１２０は、音の種別からユーザ１０の置かれている環境を推定するための環境推定モデルを記憶している。環境推定モデルは、各種の機器の音および位置関係のデータであり、音の方向や大きさから、音を発生している機器を特定するためのモデルである。

処理部１３０は、情報処理サーバ１５０の各部を制御するものであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、処理部１３０は、これらの例に限られず、どのようなものであってもよい。

処理部１３０は、音声処理部１３１と、環境推定部１３２と、指示推定部１３３と、制御推定部１３４と、実行部１３５と、発話データ生成部１３６と、を備えている。

音声処理部１３１は、受信部１１０から伝達された音声データを解析する機能を有する。音声処理部１３１は、伝達された音声データから、ユーザ１０の指示が含まれる音声データと、含まれない音声データとに分離する。また、音声処理部１３１は、検出した音の音量を計測する。

ここで、音声データは所定時間長の音声データであり、その中で人の声が含まれる部分と含まれない部分とに分けることとしてもよいし、複数の同じ状況の音を集音した音声データを複数受け付けていた場合には、それらの音声データの中でユーザ１０の声が含まれているものと含まれていないものとに分けることとしてもよい。そして、音声処理部１３１は、ユーザ１０の指示が含まれる音声データを指示推定部１３３に伝達し、ユーザ１０の指示が含まれていない音声データと音量値とを環境推定部１３２に伝達する。

環境推定部１３２は、伝達された音声データから、ユーザ１０の周囲の環境を推定する。環境推定部１３２は、記憶部１２０に記憶されている環境推定モデルを用いて、ユーザ１０の周囲の機器のうち、音を発生している機器を特定する。
環境推定部１３２は、推定したユーザ１０の環境を示す情報を制御推定部１３４に伝達する。

指示推定部１３３は、伝達された音声データから、ユーザ１０の指示を推定する。指示推定部１３３は、例えば、既存の音声認識技術を利用して、ユーザ１０の音声による指示をテキストデータに変換し、制御推定部１３４に伝達する。

制御推定部１３４は、指示推定部１３３から伝達されたユーザ１０の指示入力の内容と、環境推定部１３２から伝達されたユーザ１０の周囲の環境を示す情報とに基づいて、実行すべき制御内容を推定する。制御推定部１３４は、ユーザ１０の指示入力の内容と、ユーザ１０の周囲の環境を示す情報とを入力として、制御モデル１２１を用いて、実行すべき制御内容を推定する。制御推定部１３４は、推定した制御内容を、実行部１３５に伝達する。

実行部１３５は、制御推定部１３４から伝達された制御内容を実行する。即ち、伝達された制御内容に基づいて、制御対象の機器に対して、実行する処理内容を示す制御信号を生成し、送信部１４０に送信させる。図１の例では、実行部１３５は外部の天気予報サーバから翌日の東京における天気の情報を確認する。

発話データ生成部１３６は、ユーザ１０に向けて発話するロボット発話データを生成する。ロボット発話データは、発話音声から変換されたユーザ発話データに基づいて、発話音声への返事に相当するように生成される。

そして本実施形態では、情報処理サーバ１５０は、特定部１３７と制御部１３８とを備えている。
特定部１３７は、マイク（音声検出部）２４０が、ユーザ１０がスピーカー（発話部）２３０の発話を聞き取ることを阻害するような騒音を検出した場合に、制御対象を特定する。制御対象とは、騒音がユーザ１０に与える影響を小さくすることができる機器や器材を指す。
ここで、騒音が与える影響を小さくするとは、騒音の音量を小さくすること、騒音がユーザ１０に届きにくくすること、又はスピーカー２３０の音量を大きくすることにより、ユーザ１０がスピーカー２３０の発話を聞き取りやすくすることを意味している。

特定部１３７は、騒音となる音を自ら発生する家電機器を制御対象のうちの一つとして特定する。このような家電機器としては、例えば図１の例では、音楽プレーヤー３０やテレビ５０等があげられる。
また、騒音となる音を自ら発生する家電機器とは、機能として音を発生するものに限られず、稼働することで音を発生するような機器、例えば冷蔵庫や空調機器等でも良い。

特定部１３７は、騒音と、予め記憶部１２０が記憶している音源データと、の比較を行い、騒音に相当する家電機器を特定することで、制御対象を特定する。また、特定部１３７は、マイク２４０により検出された騒音の方向に基づいて、制御対象を特定する。

また、特定部１３７は、騒音が、ユーザ１０に到達するのを遮る遮音部材を、制御対象のうちの一つとして特定することができる。
このような遮音部材としては、図１に示すような電動ドア６０、電動窓７０、又は図示しない電動カーテン等の室内に配置された家具である。なお、電動カーテンに代えて、電動ブラインドや電動パーテーションを遮音部材としてもよい。
また、特定部１３７は、スピーカー２３０を制御対象のうちの一つとして特定することができる。すなわち、特定部１３７が特定する制御対象は一つであってもよいし、複数であってもよい。

制御部１３８は、制御対象を制御する。制御部１３８による制御の具体的態様について、図４を参照して以下に説明する。この説明では、図４における縦軸に示す騒音の音量とは、マイク２４０が感じる騒音の音量である場合について説明する。なお、図４における縦軸に示す騒音の音量は、騒音発生源４００が発生する騒音の音量であってもよい。
制御部１３８は、制御対象が騒音となる音を自ら発生する家電機器である場合には、騒音の音量が第１閾値Ｔ１以下となるように、制御対象を制御する。すなわち、テレビ５０や音楽プレーヤー３０の音量を下げたり、冷蔵庫や空調機器の出力を下げたりすることで、スピーカー２３０からの発話へのユーザ１０の聞き取りに対して、騒音が与える影響を小さくする。
そして制御部１３８は、騒音の音量が第１閾値Ｔ１以下となった際に、制御対象を制御前の状態に復元する。すなわち、テレビ５０や音楽プレーヤー３０の音量を元に戻したり、冷蔵庫や空調機器の出力を戻したりすることができる。

一方、制御対象が遮音部材である場合には、制御部１３８は、遮音部材を、ユーザ１０と、騒音を発生する騒音発生源４００と、の間に移動させて、騒音が、ユーザ１０に到達するのを遮る。すなわち、ドア、窓、又はカーテン等を閉めることで、騒音発生源４００からの騒音が、スピーカー２３０からの発話へのユーザ１０の聞き取りに対して、騒音が与える影響を小さくする。
そして制御部１３８は、騒音の音量が第１閾値Ｔ１以下となった際に、制御対象を制御前の状態に復元する。すなわち、ドア、窓、又はカーテン等を開けることで、元の状態に戻す。

さらに制御対象がスピーカー２３０である場合には、制御部１３８は、スピーカー２３０の音量を大きくする。これにより、スピーカー２３０からの発話へのユーザ１０の聞き取りに対して、騒音が与える影響を相対的に小さくする。
そして制御部１３８は、騒音の音量が第１閾値Ｔ１以下となった際に、制御対象を制御前の状態に復元する。すなわち、スピーカー２３０の音量の大きさは元の状態に戻す。

また、制御部１３８における制御の他の態様として、制御対象がスピーカー２３０である場合に、制御部１３８は、スピーカー２３０による発話を一時的に中断する。これにより、スピーカー２３０からの発話へのユーザ１０の聞き取りに対して、騒音が与える影響を小さくすることもできる。

この場合には、制御部１３８は、騒音の音量が第２閾値Ｔ２以上であるときに、スピーカー２３０による発話を一時的に中断する。そして、他の制御対象を制御することで、騒音の音量が第２閾値Ｔ２よりも小さい第３閾値Ｔ３以下になった際に、スピーカー２３０による発話を再開する。

すなわち、図１および図４に示すように、例えば特定部１３７が、制御対象として電動窓７０とスピーカー２３０とを特定し、屋外からの騒音が第１閾値Ｔ１よりも大きい場合に、制御部１３８が電動窓７０を閉める。
この際、騒音の音量が、スピーカー２３０からの発話をユーザ１０が聞きとることが困難な第２閾値Ｔ２以上である場合には、スピーカー２３０からの発話を中断する。そして、騒音の音量が、スピーカー２３０からの発話をユーザ１０が聞きとることが可能な第３閾値Ｔ３以下になった場合に、スピーカー２３０からの発話を再開する。そして、騒音発生源４００がなくなり、屋外からの騒音が第１閾値Ｔ１以下になった際に、窓を開けて元の状態に戻す。

なお、上述した制御部１３８による閾値の判定動作についてはあくまで一例であり、任意に設定することができる。
例えば、騒音の音量が第２閾値Ｔ２以上の時間が、一定以上続いた場合にはじめて、制御部１３８が制御を開始するようにしてもよい。また、騒音の音量の一定時間内における積分値が、所定の閾値以上となった場合に、制御部１３８が適切な制御を行うようにしてもよい。

また、制御部１３８が、制御対象を制御しても騒音の音量が第１閾値Ｔ１以下にならなかった場合に、制御がうまくいかない旨や、制御対象である音を自ら発生する家電機器の音量を下げることなく、継続して再生する旨をユーザ１０に通知してもよい。
ユーザ１０への通知方法としては、例えばスマートスピーカー２００のスピーカー２３０により、その旨を発話させてもよいし、例えばテレビ５０のディスプレイにその旨の文章を表示してもよい。

送信部（音声データ出力部）１４０は、処理部１３０（実行部１３５）からの指示に従って、各種の機器（スマートスピーカー２００や家電など）に制御信号を送信する機能を有する通信インターフェースである。

次に、情報処理サーバ１５０における処理部１３０の処理フローについて図５を用いて説明する。
図５に示すように、まず、マイク２４０が、周囲の音を検出する（Ｓ５０１）。次に、音声処理部１３１が、検出した音からユーザ１０の発話音声を解析する（Ｓ５０２）。また、音声処理部１３１は、検出した音から騒音を解析する。（Ｓ５０３）。なお、発話音声の解析の前に、騒音の解析を行ってもよいし、二つを同時に行ってもよい。

次に、制御推定部１３４は、ユーザ１０からの指示内容に基づいて、解析したユーザ１０の状況と、制御内容を推定する（Ｓ５０４）。そして、実行部１３５は、推定した制御内容を実行する（Ｓ５０５）。

次に、制御推定部１３４は、騒音の音量が第１閾値Ｔ１以上であるかどうかを判定する（Ｓ５０６）。そして、騒音の音量が第１閾値Ｔ１よりも小さい場合（Ｓ５０６のＮＯ）には、処理を終了する。一方、騒音の音量が第１閾値Ｔ１以上の場合（Ｓ５０６のＹＥＳ）には、特定部１３７が制御対象を特定する（Ｓ５０７）。そして、制御部１３８が制御対象を制御する（Ｓ５０８）。

次に、制御推定部１３４は、騒音の音量が第２閾値Ｔ２以上であるかどうかを判定する（Ｓ５０９）。ここで、図４に示すように、第２閾値Ｔ２は、第１閾値Ｔ１よりも大きくなっている。そして、騒音の音量が第２閾値Ｔ２以上の場合（Ｓ５０９のＹＥＳ）には、スピーカー２３０の発話を中断する。（Ｓ５１０）。一方、騒音の音量が第２閾値Ｔ２よりも小さい場合（Ｓ５０９のＮＯ）には、スピーカー２３０の発話が終了しているかどうかを判定する。（Ｓ５１３）

次に、Ｓ５１０として、スピーカー２３０の発話を中断したのちに、制御推定部１３４は、騒音の音量が第３閾値Ｔ３以下であるかどうかを判定する（Ｓ５１１）。ここで、図４に示すように、第３閾値Ｔ３は、第２閾値Ｔ２よりも小さくて、第１閾値Ｔ１よりも大きくなっている。そして、騒音の音量が第３閾値Ｔ３よりも大きい場合（Ｓ５１１のＮＯ）には、特定部１３７がさらに制御対象を特定する（Ｓ５０７）。一方、騒音の音量が第３閾値Ｔ３以下の場合（Ｓ５１１のＹＥＳ）には、制御部１３８がスピーカー２３０の発話を再開する（Ｓ５１２）。

その後、制御推定部１３４は、スピーカー２３０の発話が終了しているかどうかを判定する（Ｓ５１３）。Ｓ５１３において、スピーカー２３０の発話が終了していない場合（Ｓ５１３のＮＯ）には、再度、騒音の音量が第２閾値Ｔ２以上かどうかを判定する（Ｓ５０９）。一方、スピーカー２３０の発話が終了している場合（Ｓ５１３のＹＥＳ）には、制御は終了する。

以上説明したように、本実施形態に係る情報処理装置１００によれば、マイク（音声検出部）２４０と、スピーカー（発話部）２３０と、特定部１３７と、制御部１３８と、を備えている。このため、マイク２４０が騒音を検出した際に、特定部１３７が制御対象を特定し、制御部１３８が制御対象を制御する。これにより、スピーカー２３０からの発話へのユーザ１０の聞き取りに対して、騒音が与える影響を小さくすることができる。
このようにして、周囲で騒音が発生しても、ユーザ１０が情報処理装置１００からの発話を聞き取りにくくなるのを抑えることができる。

また、スピーカー２３０が、ユーザ１０からの発話音声から変換されたユーザ発話データに基づいて生成され、発話音声への返事に相当するロボット発話データを発話するので、ユーザ１０が自然言語により対話することで、情報処理装置１００の利便性を確保することができる。
また、特定部１３７が、騒音と、予め記憶している音源データと、の比較を行い、騒音の種類を判別するので、複数の家電機器から騒音となる音が発生しているときに、最も効果的に騒音を抑えることができる家電機器を、制御対象として的確に特定することができる。

また、制御部１３８が、家電機器が発生する音の音量を小さくすることができるので、家電機器が発生する音を直接的に小さくすることで、確実に騒音の音量を小さくすることができる。
また、制御部１３８が、遮音部材を、ユーザ１０と騒音発生源４００との間に移動させるので、例えば宅外からの騒音に対しても、効果的にその影響を抑えることができる。

また、マイク２４０は、騒音が検出される方向を特定し、特定部１３７が、マイク２４０により特定された騒音の方向に基づいて、制御対象を特定する。このため、マイク２４０に対して騒音が位置する方向を正確に把握することが可能になり、制御部１３８による制御対象の制御を精度よく行うことができる。

また、制御部１３８が、騒音の音量が第１閾値Ｔ１以下となるように制御対象を制御して、騒音の音量が第１閾値Ｔ１以下となった際に、制御対象を制御前の状態に復元する。このため、確実に騒音の影響を抑えることができるとともに、騒音の影響が小さくなった場合には、元の状態に復元することができる。

また、制御部１３８が、スピーカー２３０を制御対象として、スピーカー２３０の音量を大きくすることができるので、ユーザ１０がスピーカー２３０からの発話を聞き取りやすくすることができる。
また、制御部１３８が、スピーカー２３０によるスピーカー２３０を一時的に中断することができるので、例えば騒音の音量が著しく大きい場合等に、スピーカー２３０からの発話の内容を聞き漏らすことを抑えることができる。

また、制御部１３８が、騒音の音量が第２閾値Ｔ２以上であるときに、スピーカー２３０による発話を一時的に中断するとともに、騒音の音量が第２閾値Ｔ２よりも小さい第３閾値Ｔ３以下になった際に、スピーカー２３０による発話を再開する。このため、騒音の音量がある程度小さくなったときにスピーカー２３０からの発話を再開することができ、スピーカー２３０からの発話を滞りなく行うことができる。

上記実施形態に係る装置は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
情報処理装置１００は、どのような態様で実現されてもよい。すなわち、上述した実施形態のように、機能の一部がスマートスピーカー２００に内蔵されていてもよいし、機能の全部がスマートスピーカー２００に内蔵されていてもよい。

また、上記記実施形態においては、制御の内容を実行する情報処理サーバ１５０と、ユーザ１０の周囲の環境に係る情報を取得する機器としてのスマートスピーカー２００と、が別の装置である例を説明した。しかし、両装置は、１つの装置で実現されてもよい。
即ち、スマートスピーカー２００が、情報処理サーバ１５０が保持する機能も備えることとしてよい。この場合、スマートスピーカー２００と情報処理サーバ１５０との間で通信を行う必要がなくなり、通信遅延による発生し得る制御の遅延を抑制することができる。

また、情報処理サーバ１５０は、単なるコンピュータシステムやサーバ装置であったり、ロボットであったりしてもよい。即ち、情報処理サーバ１５０は、単体のコンピュータシステムとして成立してもよいし、スマートスピーカー２００やロボット等の機器に内蔵されてもよい。また、情報処理サーバ１５０は、スマートスピーカー２００やロボットを制御するための制御装置であってもよい。

また、スマートスピーカー２００は、情報処理サーバ１５０が有する機能の一部のみを実行できるように、情報処理サーバ１５０の一部の機能部を有することとしてもよい。例えば、スマートスピーカー２００は、音声処理部１３１の機能を保持してもよく、例えば、複数の指向性マイクで取得した音声データの中からユーザ１０の指示の声が含まれる音声を特定（フィルタリング）し、ユーザ１０の指示を含む音声データと、指示を含まない（ユーザ１０の周囲の環境音の）音声データと、が区別できるように、情報処理サーバ１５０に送信することとしてもよい。

また、上記実施形態において、スマートスピーカー２００は、音声データを逐次送信することとしているが、これはその限りではない。スマートスピーカー２００はユーザ１０からの指示入力があったタイミングにおいてのみ、その音声データと周囲の音を示す音声データとを送信することとしてよい。これを実現するために、スマートスピーカー２００自身は逐次音声を集音するが、その際に、ユーザ１０からの音声による指示入力があるか否かを検知する検知部を備えてもよい。例えば、人の音声の周波数領域に音があるか否かに基づいてユーザ１０からの指示入力があるか否かを検知し、あると判定した場合に、スマートスピーカー２００は、その前後の所定時間長の音声データを情報処理サーバ１５０に送信することとしてよい。

また、上記実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。記憶媒体は、ＨＤＤやＳＤＤなどの任意の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

なお、情報処理装置１００は、例えば、記憶媒体に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。また、当該プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して、情報処理装置１００に提供されてもよい。情報処理装置１００は、例えば、インターネット等を介してダウンロードしたプログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

なお、当該プログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ(登録商標)などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ―Ｃ、Ｊａｖａ(登録商標)などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装できる。

情報処理装置１００における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１００の各機能部は、上記実施形態に示した機能を実現する１または複数の回路によって実現されてもよく、１の回路により複数の機能部の機能が実現されることとしてもよい。

また、本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

１ 情報処理システム
１００ 情報処理装置
１３０ 処理部
１３７ 特定部
１３８ 制御部
２００ スマートスピーカー
２４０ マイク（音声検出部）
２３０ スピーカー（発話部）

Claims (11)

1. ユーザと自然言語により対話可能な情報処理装置であって、
   ユーザからの発話音声および周囲の音を検出する音声検出部と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話部と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出部が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、
   前記制御対象を制御する制御部と、
   前記騒音となる音を自ら発生する家電機器の音を、音源データとして予め記憶している記憶部と、を備え、
   前記特定部は、前記騒音と、前記音源データと、の比較を行い、前記騒音に相当する前記家電機器を特定することで、前記制御対象を特定する情報処理装置。
2. ユーザと自然言語により対話可能な情報処理装置であって、
   ユーザからの発話音声および周囲の音を検出する音声検出部と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話部と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出部が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、
   前記制御対象を制御する制御部と、を備え、
   前記特定部は、前記騒音が、ユーザに到達するのを遮る遮音部材を、前記制御対象のうちの一つとして特定し、
   前記制御部は、前記遮音部材を、ユーザと、前記騒音を発生する騒音発生源と、の間に移動させることで、前記発話部からの発話へのユーザの聞き取りに対して、前記騒音が与える影響を小さくする情報処理装置。
3. 前記遮音部材は、ドア、窓、又はカーテン等の室内に配置された家具であることを特徴とする請求項２に記載の情報処理装置。
4. 前記音声検出部は、前記騒音が検出される方向を特定し、
   前記特定部は、前記音声検出部により特定された前記騒音の方向に基づいて、前記制御対象を特定することを特徴とする請求項３に記載の情報処理装置。
5. ユーザと自然言語により対話可能な情報処理装置であって、
   ユーザからの発話音声および周囲の音を検出する音声検出部と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話部と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出部が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、
   前記制御対象を制御する制御部と、を備え、
   前記制御部は、前記騒音の音量が第１閾値以下となるように、前記制御対象を制御する情報処理装置。
6. ユーザと自然言語により対話可能な情報処理装置であって、
   ユーザからの発話音声および周囲の音を検出する音声検出部と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話部と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出部が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定部と、
   前記制御対象を制御する制御部と、を備えて、
   前記制御部は、前記騒音の音量が第１閾値以下となった際に、前記制御対象を制御前の状態に復元する情報処理装置。
7. ユーザと自然言語により対話可能な情報処理システムの制御プログラムであって、
   コンピュータに、
   ユーザからの発話音声および周囲の音を検出する音声検出機能と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話機能と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出機能が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定機能と、
   前記制御対象を制御する制御機能と、
   前記騒音となる音を自ら発生する家電機器の音を、音源データとして予め記憶している記憶機能と、を実現させ、
   前記特定機能では、前記騒音と、前記音源データと、の比較を行い、前記騒音に相当する前記家電機器を特定することで、前記制御対象を特定する情報処理システムの制御プログラム。
8. ユーザと自然言語により対話可能な情報処理システムの制御プログラムであって、
   コンピュータに、
   ユーザからの発話音声および周囲の音を検出する音声検出機能と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話機能と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出機能が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定機能と、
   前記制御対象を制御する制御機能と、を実現させ、
   前記特定機能では、前記騒音が、ユーザに到達するのを遮る遮音部材を、前記制御対象のうちの一つとして特定し、
   前記制御機能では、前記遮音部材を、ユーザと、前記騒音を発生する騒音発生源と、の間に移動させることで、前記発話機能による発話へのユーザの聞き取りに対して、前記騒音が与える影響を小さくする情報処理システムの制御プログラム。
9. ユーザと自然言語により対話可能な情報処理システムの制御プログラムであって、
   コンピュータに、
   ユーザからの発話音声および周囲の音を検出する音声検出機能と、
   ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話機能と、
   ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出機能が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定機能と、
   前記制御対象を制御する制御機能と、を実現させ、
   前記制御機能では、前記騒音の音量が第１閾値以下となるように、前記制御対象を制御する情報処理システムの制御プログラム。
10. ユーザと自然言語により対話可能な情報処理システムの制御プログラムであって、
    コンピュータに、
    ユーザからの発話音声および周囲の音を検出する音声検出機能と、
    ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話機能と、
    ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出機能が検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定機能と、
    前記制御対象を制御する制御機能と、を実現させ、
    前記制御機能では、前記騒音の音量が第１閾値以下となった際に、前記制御対象を制御前の状態に復元する情報処理システムの制御プログラム。
11. ユーザと自然言語により対話可能な情報処理システムにおける情報処理方法であって、
    コンピュータが、
    ユーザからの発話音声および周囲の音を検出する音声検出ステップと、
    ユーザに向けて発話するために生成されたロボット発話データを、音声データに変換して発話する発話ステップと、
    ユーザが前記発話を聞き取ることを阻害するような騒音を前記音声検出ステップにおいて検出した場合に、前記騒音がユーザに与える影響を小さくすることができる制御対象を特定する特定ステップと、
    前記制御対象を制御する制御ステップと、を実行し、
    前記ステップでは、前記騒音の音量が第１閾値以下となるように、前記制御対象を制御する情報処理システムにおける情報処理方法。
    

Images