JP6700338B2 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

Description

本発明は、ユーザからの音声指示に基づいて制御を行う情報処理装置、情報処理方法、及び、情報処理プログラムに関する。

従来、人工知能を利用した機器の開発が目覚ましい。その中には、ユーザからの音声による指示に従って、指示された内容を実行する機器がある。例えば、ユーザからの音声による指示に従って、音楽を再生したり、アラームを実行したり、計算をしたり、他の機器（例えば、照明装置）の制御を行ったりするスマートスピーカーが存在する。特許文献１には、ユーザが置かれている環境として、ユーザの現在位置及び現在時刻に基づいて、ユーザに音声入力を促す文を表示する端末装置が開示されている。

特許６１５４４８９号公報

ところで、ユーザからの音声による指示は、その時々の状況やユーザの心持ちによっては、別の指示を意図していることがある。しかしながら、上述の特許文献１に記載のような端末装置においては、ユーザからの指示に対して、画一的な処理しか行うことができず、フレキシビリティが低いという問題があった。

そこで、本発明は上記問題に鑑みて成されたものであり、ユーザによる音声入力の意図をくんだ処理を行う情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザからの音声による指示入力を受け付ける受付部と、ユーザの周囲の環境を特定可能な環境情報を取得する環境情報取得部と、環境情報に応じて、指示入力に対して実行すべき制御内容を推定する推定部と、推定部が推定した制御内容を実行する実行部と、を備える。

上記課題を解決するために、本発明の一態様に係る情報処理方法は、ユーザからの音声による指示入力を受け付ける受付ステップと、ユーザの周囲の環境を特定可能な環境情報を取得する環境情報取得ステップと、環境情報に応じて、指示入力に対して実行すべき制御内容を推定する推定ステップと、推定ステップにおいて推定した制御内容を実行する実行ステップと、をコンピュータが実行する。

上記課題を解決するために、本発明の一態様に係る情報処理プログラムは、コンピュータに、ユーザからの音声による指示入力を受け付ける受付機能と、ユーザの周囲の環境を特定可能な環境情報を取得する環境情報取得機能と、環境情報に応じて、指示入力に対して実行すべき制御内容を推定する推定機能と、推定機能が推定した制御内容を実行する実行機能と、を実現させる。

上記情報処理装置において、情報処理装置は、指示入力の内容を示す情報と、環境を示す情報とから、実行すべき制御内容を導出可能な制御モデルを記憶する記憶部を更に備え、推定部は、制御モデルを用いて、制御内容を推定することとしてもよい。

上記情報処理装置において、環境情報取得部は、ユーザの周囲の音声を収集するマイクが集音した音声を、環境情報として取得するものであり、推定部は、音声に基づいてユーザの周囲の環境を推定し、推定した環境に応じて、指示入力に対して実行すべき制御内容を推定することとしてもよい。

上記情報処理装置において、マイクは、集音する方向が定められた指向性マイクであり、指向性マイクは、所定の位置に周囲に向けて指向性が向くように複数配置されており、推定部は、指向性マイク各々が集音した音声に基づいて、各音声の音源の位置を推定し、ユーザの周囲の音声の音源の位置に基づいて、ユーザの周囲の環境を推定することとしてもよい。

上記情報処理装置において、受付部は、マイクを介して、ユーザからの音声による指示入力を受け付け、推定部は、ユーザの位置を推定し、推定したユーザの位置に応じて、指示入力に対して実行すべき制御内容を推定することとしてもよい。

上記情報処理装置において、推定部は、環境情報に応じて、指示入力に対して実行すべき制御内容が異なった制御内容を推定することとしてもよい。

上記情報処理装置において、情報処理装置は、スピーカーを備え、実行部は、スピーカーを制御するものであって、環境情報に応じて、推定した環境に応じた音声を出力することとしてもよい。

上記情報処理装置において、実行部は、環境情報に応じて、他の機器を制御するものであることとしてもよい。

本発明の一態様に係る情報処理装置は、ユーザの周辺の環境を特定可能な情報を取得し、その情報を用いて、ユーザの指示入力を解釈して、制御を行うので、ユーザの意図を組んだ処理を行うことができる。したがって、ユーザにとって、ユーザからの音声指示入力に対してフレキシビリティに富んだ処理を行うことができる情報処理装置を提供することができる。

通信システムの構成例を示す図である。 情報処理装置の構成例を示すブロック図である。 スピーカーの構成例を示すブロック図である。 制御モデルの構成例を示すデータ概念図である。 情報処理装置の機器制御時の動作を示すフローチャートである。

＜実施形態＞
本発明の第１の実施形態について、図面を参照しながら説明する。

本発明に係る情報処理装置１００は、ユーザ１０の周囲の音声を取得して解析することで、ユーザ１０の状況を解析し、ユーザ１０からの音声による指示入力を、その状況に応じた解釈をして、指示入力の内容に対応する制御を実行する装置である。

情報処理装置１００は、ユーザ１０の周囲の環境を特定可能な環境情報を取得し、取得するとともに、ユーザ１０からの音声による指示入力を受け付ける。情報処理装置１００は、指示された内容を解析し、環境情報に応じて指示入力に対して実行すべき制御内容を推定して実行する。これにより、情報処理装置１００は、ユーザ１０からの指示に対して、環境に応じた解釈を行ったうえでの制御を行うので、同じ命令であってもフレキシビリティに富んだ対応をとることができる。情報処理装置１００は、どのような態様で実現されてもよく、スマートスピーカーのようなスピーカーであったり、単なるコンピュータシステムやサーバ装置であったり、ロボットであったりしてもよい。即ち、情報処理装置１００は、単体のコンピュータシステムとして成立してもよいし、スマートスピーカーやロボット等の機器に内蔵されてもよい。また、情報処理装置１００は、スマートスピーカーやロボットを制御するための制御装置であってもよい。

以下、このような情報処理装置１００について説明する。

（システム構成）
図１に、情報処理装置１００を含む通信システム１の概要を示す。通信システム１は、ユーザ１０の周囲の環境を特定可能な情報として、ユーザ１０の周囲の音声を利用する。通信システム１は、ユーザ１０からの音声による指示及びユーザ１０の周囲の音声を収集する機器として、スピーカー装置２００を含む。スピーカー装置２００は、マイクを内蔵しており、周囲の音声を逐次集音し、集音して得られる音声データを情報処理装置１００に送信する。情報処理装置１００は、音声データを受信し、受信した音声データからユーザ１０の指示を抽出するとともに、ユーザ１０の周囲の環境を推定し、推定した環境に応じた制御であって、ユーザ１０から指定された制御を行う。

また、通信システム１は、ユーザ１０の指示に基づく制御の対象となり得る各種の機器を含むこととしてよい。機器としては、各種の家電を用いることができ、例えば、照明装置、空調装置、スピーカー、テレビ、給湯装置、電動ブラインド、電動カーテン、…などがある。図１には、一例として、ミニコンポ３０、照明装置４０が示されている。

図１に示すように、情報処理装置１００は、ネットワーク３００を介して、スピーカー装置２００と接続されている。また、情報処理装置１００は、各種の機器（家電）と接続されていてよく、情報処理装置１００は、各機器を制御可能に構成されていてもよい。制御可能に構成されているとは、情報処理装置１００が各機器を遠隔制御できるように各機器の制御権を有していることを意味する。

情報処理装置１００は、スピーカー装置２００が取得した音声データを、ネットワーク３００を介して受信する。情報処理装置１００は、受信した音声データに基づいて、ユーザ１０の状況（環境）を推定するとともに、ユーザからの音声による指示の内容を解釈する。そして、推定した状況（環境）に応じて、ユーザ１０の意図や状況に応じた制御を行う。ここで情報処理装置１００が実行する制御とは、自装置の制御の他、他の機器を制御するための信号を出力することまで含んでよい。図１の例では、ユーザ１０が「音楽かけて」と指示した場合の例を示している。従来であれば、このような指示を受けた場合、何らかの音楽を再生することになる。一方で、図１では、従来とは異なり、情報処理装置１００は、ミニコンポ３０から音楽が流れているという状況を推定し、スピーカー装置２００に、再生をする前に、「他に音楽かかっているようです。再生しますか？」と、再生をしてもよいか問い合わせを行うという処理を実行させた例を示している。

ネットワーク３００は、情報処理装置１００と各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。具体的には、ネットワーク３００は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。

また、ネットワーク３００は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線、衛星通信網などであってもよく、どのようなネットワークであってもよい。ネットワーク３００は、ユーザ１０の住居に備えられる場合には、ホームネットワークと呼称されることもある。

また、ネットワーク３００、例えば、ＮＢ−ＩｏＴ（Ｎａｒｒｏｗ Ｂａｎｄ ＩｏＴ）や、ｅＭＴＣ（ｅｎｈａｎｃｅｄ Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。なお、ＮＢ−ＩｏＴやｅＭＴＣは、ＩｏＴ向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能なネットワークである。

また、ネットワーク３００は、これらの組み合わせであってもよい。また、ネットワーク３００は、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。例えば、ネットワーク３００は、ＬＴＥによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。

（情報処理装置の構成例）
図２は、情報処理装置１００の構成例を示すブロック図である。図２に示すように、情報処理装置１００は、例えば、受信部１１０と、記憶部１２０と、制御部１３０と、送信部１４０と、を備える。

受信部１１０は、ネットワーク３００を介して、スピーカー装置２００から音声データを受信する通信インターフェースである。受信部１１０は、ユーザからの音声による指示入力を示す音声データや、ユーザの周囲の環境を特定可能な情報としての音声データを受信する。受信部１１０は、音声データを受信すると、制御部１３０に伝達する。なお、受信部１１０は、スピーカー装置２００以外の装置からユーザの環境を特定可能な情報を受信できるように構成されてもよい。例えば、ユーザのいる家屋の家電の稼働状況を示す情報や、各種のセンサによるセンシングデータを受信する。受信部１１０は、これらの情報を環境推定部１３２に伝達し、環境推定部１３２は、これらの情報をユーザの状況を推定するために用いることとしてもよい。

記憶部１２０は、情報処理装置１００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部１２０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。なお、情報処理装置１００は、プログラムを記憶部１２０に記憶し、当該プログラムを実行して、制御部１３０が、制御部１３０に含まれる各機能部としての処理を実行してもよい。このプログラムは、情報処理装置１００に、制御部１３０が実行する各機能を実現させる。記憶部１２０は、受信した受信した音声データに基づいてユーザからの指示内容を推定するための音声解析を行う音声解析プログラムや、音声データに基づいてユーザ１０の状況（環境）を推定する環境推定プログラムを記憶している。また、記憶部１２０は、推定したユーザ１０の状況とユーザからの音声による指示入力から、実行すべき制御を推定するために用いる制御モデル１２１を記憶している。制御モデル１２１の詳細については、後述する。また、記憶部１２０は、音の種別からユーザの置かれている環境を推定するための環境推定モデルを記憶している。環境推定モデルは、音声のサンプルと、その音声が示す状況とを対応付けた情報である。

制御部１３０は、情報処理装置１００の各部を制御するものであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、制御部１３０は、これらの例に限られず、どのようなものであってもよい。

制御部１３０は、音声処理部１３１と、環境推定部１３２と、指示推定部１３３と、制御推定部１３４と、実行部１３５と、を含む。

音声処理部１３１は、受信部１１０から伝達された音声データを解析する機能を有する。音声処理部１３１は、伝達された音声データから、ユーザの指示が含まれる音声データと、含まれない音声データとに分離する。ここで、音声データは所定時間長の音声データであり、その中で人の声が含まれる部分と含まれない部分とに分けることとしてもよいし、複数の同じ状況の音を集音した音声データを複数受け付けていた場合には、それらの音声データの中でユーザの声が含まれているものと含まれていないものとに分けることとしてもよい。そして、音声処理部１３１は、ユーザの指示が含まれる音声データを指示推定部１３３に伝達し、ユーザの指示が含まれていない音声データを環境推定部１３２に伝達する。

環境推定部１３２は、伝達された音声データから、ユーザの周囲の環境を推定する。環境推定部１３２は、記憶部１２０に記憶されている環境推定モデルを用いて、ユーザの周囲の環境を推定する。一例として、環境推定部１３２は、伝達された音声データが、環境推定モデルが保持する音声データと一定以上相関する音声データに対応付けられたユーザの環境を特定することで、ユーザの周囲の環境を推定する。環境推定部１３２は、推定したユーザの環境を示す情報を制御推定部１３４に伝達する。

指示推定部１３３は、伝達された音声データから、ユーザの指示を推定する。指示推定部１３３は、例えば、既存の音声認識技術を利用して、ユーザの音声による指示をテキストデータに変換し、制御推定部１３４に伝達する。

制御推定部１３４は、指示推定部１３３から伝達されたユーザの指示入力の内容と、環境推定部１３２から伝達されたユーザの周囲の環境を示す情報とに基づいて、実行すべき制御内容を推定する。制御推定部１３４は、ユーザの指示入力の内容と、ユーザの周囲の環境を示す情報とを入力として、制御モデル１２１を用いて、実行すべき制御内容を推定する。制御推定部１３４は、推定した制御内容を、実行部１３５に伝達する。

実行部１３５は、制御推定部１３４から伝達された制御内容を実行する。即ち、伝達された制御内容に基づいて、制御対象の機器に対して、実行する処理内容を示す制御信号を生成し、送信部１４０に送信させる。

送信部１４０は、制御部１３０（実行部１３５）からの指示に従って、各種の機器（スピーカー装置２００や家電など）に制御信号を送信する機能を有する通信インターフェースである。

以上が、情報処理装置１００の構成例である。

（スピーカーの構成例）
図３は、スピーカー装置２００の構成例を示すブロック図である。図３に示すように、スピーカー装置２００は、受信部２１０と、記憶部２２０と、スピーカー２３０と、マイク２４０と、送信部２５０と、を備える。

受信部２１０は、情報処理装置１００から制御信号（音声データ）を受信する通信インターフェースである。受信部２１０は、受信した制御信号（音声データ）をスピーカー２３０に伝達する。

記憶部２２０は、スピーカー装置２００が動作する上で必要とする各種のプログラムやデータを記憶する機能を有する。記憶部２２０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。なお、スピーカー装置２００は、プログラムを記憶部２２０に記憶し、当該プログラムを実行して、図示しない制御部が、スピーカー装置２００として実現すべき機能を実現することとしてよい。記憶部２２０は、マイク２４０が集音した音声データを記憶する。

スピーカー２３０は、情報処理装置１００から送信されて受信した制御信号（音声データ）を再生する機能を有する。

マイク２４０は、スピーカー装置２００の周囲の音声を集音する機能を有する。マイク２４０は、１つのマイクロフォンで構成されてもよいし、複数のマイクロフォンで構成されていてもよい。また、マイクロフォンは、集音の方向が限定された指向性のものであってもよい。マイク２４０は、集音した音声を示す音声データを、記憶部２２０に記憶する。

送信部２５０は、記憶部２２０に記憶されている音声データを、情報処理装置１００に送信する機能を有する通信インターフェースである。送信部２５０は、記憶部２２０に記憶されている音声データを逐次、情報処理装置１００に送信することとしてもよいし、ユーザからの音声による指示入力があったと検出できた場合に、その前後の所定長分の音声データを送信することとしてもよい。

以上が、スピーカー装置２００の構成例である。

（制御モデル１２１の構成例）
次に、制御モデル１２１の一例を、図４を用いて説明する。図４は、制御モデル１２１のデータ概念図である。図４に示すように、制御モデル１２１は、環境条件４０１と、制御機器４０２と、制御内容４０３とが対応付けられた情報である。

環境条件４０１は、ユーザ１０からの指示の内容と、その際のユーザの周囲の環境の内容とを示す情報であり、対応する制御内容を実行するための条件を示す情報である。

制御機器４０２は、対応する環境条件４０１が満たされた場合に、制御の対象となる機器を示す情報である。制御機器４０２には、制御の対象となる機器は複数含まれていてもよい。

制御内容４０３は、対応する環境条件４０１が満たされた場合に、対応する制御機器４０２において実行する制御の内容を示す情報である。制御内容４０３には、複数の制御内容が含まれていてもよい。また、対応する制御機器４０２に複数の機器が設定されている場合であって、制御内容４０３にも複数の制御内容が記載されている場合には、どの機器がどの制御内容を実行するかが規定される。

図４の例で言えば、例えば、指示推定部１３３が推定したユーザの指示内容が「音楽かけて」であって、環境推定部１３２が推定したユーザの環境が、「周囲は静か」であると推定された場合には、制御推定部１３４は、制御機器４０２として、「スピーカー装置２００」を選択し、「静かな音楽を流す」ことを実行すべき制御として推定することになる。また、あるいは、指示推定部１３３が推定したユーザの指示内容が「音楽かけて」であって、環境推定部１３２が推定したユーザの環境が、「音楽を検知している」状況であると推定された場合には、制御推定部１３４は、制御機器４０２として、「スピーカー装置２００」を選択し、「「他に音楽がかかっているようです。再生しますか？」と問い合わせをする音声を出力させる」ことを実行すべき制御として推定することになる。

なお、図４は、あくまで制御モデル１２１の一例に過ぎない。制御モデル１２１は、様々な環境条件（ユーザの指示入力内容と、ユーザの周囲の環境との組み合わせ）を入力として、制御の対象となる機器と、その機器における制御内容を導出できるデータであれば、どのようなデータであってもよく、その他の一例としては、機械学習（深層学習を含む）における推定モデルを用いることができる。また、図４に示す環境条件４０１、制御機器４０２、制御内容４０３もまた、一例に過ぎず、図４に示した内容以外の条件に基づいて、何らかの機器が、何らかの制御を行うこととしてよいことは言うまでもない。

（情報処理装置１００の動作例）
図５は、情報処理装置１００の動作であって、機器の制御を行う際の動作を示すフローチャートである。

図５に示すように、情報処理装置１００の受信部１１０は、スピーカー装置２００から音声データを受信する（ステップＳ５０１）。受信部１１０は、受信した音声データを、音声処理部１３１に伝達する。音声処理部１３１は、伝達された音声データから、ユーザの指示入力が含まれると推定される音声データと、ユーザの指示入力が含まれていないと推定される音声データとに分離する。そして、音声処理部１３１は、ユーザの指示入力が含まれると推定される音声データを指示推定部１３３に伝達し、ユーザの指示入力が含まれていないと推定される音声データを環境推定部１３２に伝達する。

指示推定部１３３は、伝達された音声データを解析し、ユーザの指示入力の内容を推定する（ステップＳ５０２）。指示推定部１３３は、推定したユーザの指示入力の内容を制御推定部１３４に伝達する。

また、環境推定部１３２は、伝達された音声データを解析し、ユーザの周囲の環境を推定する（ステップＳ５０３）。環境推定部１３２は、推定したユーザの環境を示す情報を制御推定部１３４に伝達する。なお、ステップＳ５０２とステップＳ５０３の制御の処理順序は、前後してもよいし、並列に実行されてもよい。

制御推定部１３４は、ユーザからの指示入力の内容を示す情報と、ユーザの環境を示す情報とを入力として、制御モデル１２１を用いて実行すべき制御内容を推定する（ステップＳ５０４）。即ち、制御推定部１３４は、伝達されたユーザからの指示入力の内容を示す情報と、ユーザの環境を示す情報とに一致する環境条件４０１が制御モデル１２１にあるか否かを探索する。そして、条件に合致する環境条件４０１があった場合に、対応する制御機器４０２と制御内容４０３とを実行すべき制御内容として推定する。制御推定部１３４は、推定した制御内容を示す情報を実行部１３５に伝達する。

実行部１３５は、制御推定部１３４から伝達された制御内容を示す情報に基づいて、制御対象の機器に対する制御内容を実行させるための制御信号を生成する。そして、実行部１３５は、生成した制御信号を、送信部１４０に送信させて（ステップＳ５０５）処理を終了する。

これにより、情報処理装置１００は、ユーザからの音声による指示入力があった場合に、ユーザの置かれている環境に応じて、指示の内容の解釈を異ならせた制御を行うことができるので、フレキシビリティに富んだ応答が可能な情報処理装置１００を提供することができる。言い換えれば、状況適応性の高い情報処理装置１００を提供することができる。

（制御具体例）
以下には、スピーカー装置２００が集音した音声データに基づいて、情報処理装置１００が実行する処理について具体的に説明する。

（例１）
まず、情報処理装置１００は、音声データを解析したことにより、以下の情報（ａ１）、（ａ２）を得たとする。
（ａ１）「音楽かけて」とのユーザからの指示入力あり。
（ａ２）ユーザの周囲の状況は静かである。

このような場合、情報処理装置１００は、制御モデル１２１の環境条件４０１を参照して、対応する制御機器４０２、制御内容４０３を特定する。これらの条件に対して、例えば、制御推定部１３４は、実行すべき制御内容として、静かな音楽をかける（再生する）という処理を実行する。即ち、情報処理装置１００は、静かな環境に対しては、静かな音楽を流すことが状況に適していると判断して実行することができる。したがって、情報処理装置１００は、ユーザが置かれている状況にふさわしく、ユーザからの指示に沿った制御を実現することができる。

（例２）
まず、情報処理装置１００は、音声データを解析したことにより、以下の情報（ｂ１）、（ｂ２）を得たとする。
（ｂ１）「音楽かけて」とのユーザからの指示入力あり。
（ｂ２）ユーザの周囲の状況として音楽が検知できる。

このような場合、情報処理装置１００は、制御モデル１２１の環境条件４０１を参照して、対応する制御機器４０２、制御内容４０３を特定する。これらの条件に対して、例えば、制御推定部１３４は、実行すべき制御内容として、音楽を再生してもよいか問い合わせをするという処理を実行する。即ち、情報処理装置１００は、音楽が既に再生されている状況下で別の音楽を再生するのは、耳障りになる（不協和音を生む可能性がある）ので、その確認をとることで、ユーザに不快感を与える可能性を低減することができる。

（例１）と（例２）とを比較すれば理解できるように、ユーザの「音楽かけて」という同じ内容の指示に対して、情報処理装置１００は、異なった対応をとることができる。即ち、情報処理装置１００は、ユーザの置かれている環境に即した形で、ユーザの指示にしたがった制御を実現することができる。よって、ユーザの指示に対してフレキシビリティに富んだ対応を実現することができる情報処理装置１００を提供することができる。

（例３）
まず、情報処理装置１００は、音声データを解析したことにより、以下の情報（ｃ１）、（ｃ２）、（ｃ３）を得たとする。
（ｃ１）「電気消して」とのユーザからの指示入力あり。
（ｃ２）ユーザが居る部屋の電気がついている。
（ｃ３）誰もいない部屋の電気がついている。

このような場合、情報処理装置１００は、制御モデル１２１の環境条件４０１を参照して、対応する制御機器４０２、制御内容４０３を特定する。これらの条件に対して、例えば、制御推定部１３４は、実行すべき制御内容として、ユーザがいない部屋の照明装置を消灯するという処理を行ってもよい。こうすることで、ユーザからの指示にしたがって、不要な電気を消灯することができるとともに、ユーザがいる空間では消灯しないようにすることができる。

（例４）
まず、情報処理装置１００は、音声データを解析したことにより、以下の情報（ｄ１）、（ｄ２）、（ｄ３）を得たとする。
（ｄ１）「テレビの音消して」とのユーザからの指示入力あり。
（ｄ２）電話の音が検知できている。
（ｄ３）テレビを視聴している他のユーザがいる（指示を出したユーザとは別のユーザの声が聞こえる）。

このような場合、情報処理装置１００は、制御モデル１２１の環境条件４０１を参照して、対応する制御機器４０２、制御内容４０３を特定する。これらの条件に対して、例えば、制御推定部１３４は、実行すべき制御内容として、テレビの音量を下げるという処理を行う。指示を出したユーザは、電話の邪魔になると判断してテレビの音を消すという指示を出したのに対し、情報処理装置１００は、テレビを視聴している他のユーザがいると判断した場合には、他のユーザがテレビの内容を把握できるように、かつ、指示を出したユーザの電話の邪魔にならないように、テレビの音を消すのではなくボリュームを下げるという処理を行って、双方のユーザにとって好ましい処理を実現することができる。

以上に説明したように、情報処理装置１００は、ユーザの指示に対して、ユーザの環境に応じた処理を実行することができる。即ち、情報処理装置１００は、同じ指示であっても、ユーザの環境が異なれば、別の制御を実行することができるようになるので、フレキシビリティに富んだ対応が可能な情報処理装置１００を提供することができる。

（補足）
上記実施形態に係る装置は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。

（１）上記実施形態においては、制御の内容を実行する情報処理装置１００と、ユーザ１０の周囲の環境に係る情報を取得する機器としてのスピーカー装置２００とが別の装置である例を説明した。しかし、両装置は、１つの装置で実現されてもよい。即ち、スピーカー装置２００が、情報処理装置１００が保持する機能も備えることとしてよい。この場合、スピーカー装置２００と情報処理装置１００との間で通信を行う必要がなくなり、通信遅延による発生し得る制御の遅延を抑制することができる。

また、スピーカー装置２００は、情報処理装置１００が有する機能の一部のみを実行できるように、情報処理装置１００の一部の機能部を有することとしてもよい。例えば、スピーカー装置２００は、音声処理部１３１の機能を保持してもよく、例えば、複数の指向性マイクで取得した音声データの中からユーザの指示の声が含まれる音声を特定（フィルタリング）し、ユーザの指示を含む音声データと、指示を含まない（ユーザの周囲の環境音の）音声データと、が区別できるように、情報処理装置１００に送信することとしてもよい。

（２）上記実施の形態において、スピーカー装置２００は、音声データを逐次送信することとしているが、これはその限りではない。スピーカー装置２００はユーザからの指示入力があったタイミングにおいてのみ、その音声データと周囲の音を示す音声データとを送信することとしてよい。これを実現するために、スピーカー装置２００自身は逐次音声を集音するが、その際に、ユーザからの音声による指示入力があるか否かを検知する検知部を備えてもよい。例えば、人の音声の周波数領域に音があるか否かに基づいてユーザからの指示入力があるか否かを検知し、あると判定した場合に、スピーカー装置２００は、その前後の所定時間長の音声データを情報処理装置１００に送信することとしてよい。

また、情報処理装置１００は、ユーザの指示入力に対してユーザの環境を特定する音声データとして、指示入力があった時間帯を含む所定期間長の音声データを用いることとしてもよいし、指示入力があった所定時間前までの所定時間長の音声データを用いることとしてもよいし、指示入力があった所定時間後の所定時間長の音声データを用いることとしてもよい。いずれの態様を採用するかは、情報処理装置１００及びスピーカー装置２００に予めユーザが設定しておくこととしてよい。指示入力があった時間帯を含む所定時間長の音声データを用いる場合には、ジャストタイムの制御を実現することができる。また、指示入力があった所定時間前までの所定時間長の音声データを用いる場合には、先にユーザの置かれている環境を特定することができるのでユーザの周囲の環境の特定に時間を要することなく、すぐにユーザの指示内容を実行できる。また、指示入力があった所定時間後の所定時間長の音声データを用いる場合には、ユーザの指示入力の解析やユーザの周囲の環境の推定に時間を要する場合や音声データの送信遅延がある場合に、その遅延を考慮した制御、即ち、実際の制御を行う際にユーザが置かれている状況に応じた制御を行うことができる。

（３）上記実施の形態においては、詳細は示していないが、情報処理装置１００は、ユーザの状況を推定するにあたって、音声データの各種の音源の位置を加味した制御を行うこととしてよい。この場合の位置とは、音声を集音するスピーカー装置２００が設置されている場所から見た音源の位置となる。そして、音声データの各種の音源の位置を加味した制御とは、ユーザの環境の推定を更に詳細に行うためのものであり、例えば、スピーカー装置２００から見てＸ度の方角から、ユーザの指示があった場合であって、Ｙ度の方角からテレビの音声があることが検知できたとする。このとき、環境推定部１３２は、Ｘ度とＹ度との間に所定閾値以上の開きがある場合には、指示を出したユーザは、テレビからは離れた位置にいて、テレビはついているもののユーザはテレビを見ていないという状況であると推定することができる。逆にＸ度とＹ度が所定閾値以内になっている場合には、ユーザはテレビの近くでテレビを視聴しているという状況を推定することもできる。

また、あるいは、ユーザの指示がＸ度の方角から来た場合に、Ｙ度の方角から水音が聞こえる、あるいは、Ｚ度の方角から掃除機の稼働音が聞こえるという情報を得た場合には、指示を出したユーザの他にもユーザが存在するという環境を推定することができる。このように、音の発生源の位置に基づいて、ユーザの環境を推定することができる。また、ユーザの指示があったときのユーザの位置を特定して、制御に活用することもできる。即ち、ユーザの方角を特定することで、家屋内でユーザがどこにいるのかを特定することができるとともに、その裏返しで、ユーザが存在しない場所を特定することもできる。

これにより、情報処理装置１００は、ユーザの状況の推定において、より細やかな情報を得たうえでの制御を実現できるので、制御により大きな多様性を持たせることができる。

（４）本開示の各実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。記憶媒体は、ＨＤＤやＳＤＤなどの任意の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

なお、情報処理装置１００は、例えば、記憶媒体に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。また、当該プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して、情報処理装置１００に提供されてもよい。情報処理装置１００は、例えば、インターネット等を介してダウンロードしたプログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

なお、当該プログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ(登録商標)などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ―Ｃ、Ｊａｖａ(登録商標)などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装できる。

情報処理装置１００における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１００の各機能部は、上記実施形態に示した機能を実現する１または複数の回路によって実現されてもよく、１の回路により複数の機能部の機能が実現されることとしてもよい。

（５）本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

１００ 情報処理装置
１１０ 受信部
１２０ 記憶部
１３０ 制御部
１３１ 音声処理部
１３２ 環境推定部
１３３ 指示推定部
１３４ 制御推定部
１３５ 実行部
１４０ 送信部

Claims (10)

1. ユーザからの音声による指示入力を受け付ける受付部と、
   ユーザの周囲の環境を特定可能な情報であって、ユーザの所在位置および周囲の機器の稼働状況を含む環境情報を取得する環境情報取得部と、
   前記環境情報に応じて、前記指示入力に対して実行すべき制御内容を推定する推定部と、
   前記推定部が推定した制御内容を実行する実行部と、を備え、
   前記推定部は、前記環境情報が第１の環境を示す場合に、前記指示入力で示される指示に従った前記制御内容を推定し、前記環境情報が前記第１の環境とは異なる第２の環境を示す場合に、前記指示入力で示される指示とは異なる制御内容を推定する情報処理装置。
2. 前記情報処理装置は、前記指示入力の内容を示す情報と、環境を示す情報とから、実行すべき制御内容を導出可能な制御モデルを記憶する記憶部を更に備え、
   前記推定部は、前記制御モデルを用いて、前記制御内容を推定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記環境情報取得部は、ユーザの周囲の音声を収集するマイクが集音した音声を、前記環境情報として取得するものであり、
   前記推定部は、前記音声に基づいて前記ユーザの周囲の環境を推定し、推定した環境に応じて、前記指示入力に対して実行すべき制御内容を推定する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記マイクは、集音する方向が定められた指向性マイクであり、
   前記指向性マイクは、所定の位置に周囲に向けて前記指向性が向くように複数配置されており、
   前記推定部は、前記指向性マイク各々が集音した音声に基づいて、各音声の音源の位置を推定し、前記ユーザの周囲の音声の音源の位置に基づいて、前記ユーザの周囲の環境を推定する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記受付部は、前記マイクを介して、前記ユーザからの音声による指示入力を受け付け、
   前記推定部は、前記ユーザの位置を推定し、推定したユーザの位置に応じて、前記指示入力に対して実行すべき制御内容を推定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記推定部は、前記環境情報に応じて、前記指示入力に対して実行すべき制御内容が異なった制御内容を推定する
   ことを特徴とする請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記情報処理装置は、スピーカーを備え、
   前記実行部は、前記スピーカーを制御するものであって、前記環境情報に応じて、推定した環境に応じた音声を出力する
   ことを特徴とする請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記実行部は、前記環境情報に応じて、他の機器を制御するものである
   ことを特徴とする請求項１〜６のいずれか一項に記載の情報処理装置。
9. コンピュータが、
   ユーザからの音声による指示入力を受け付ける受付ステップと、
   ユーザの周囲の環境を特定可能な情報であって、ユーザの所在位置および周囲の機器の稼働状況を含む環境情報を取得する環境情報取得ステップと、
   前記環境情報に応じて、前記指示入力に対して実行すべき制御内容を推定する推定ステップと、
   前記推定ステップにおいて推定した制御内容を実行する実行ステップと、を実行し、
   前記推定ステップは、前記環境情報が第１の環境を示す場合に、前記指示入力で示される指示に従った前記制御内容を推定し、前記環境情報が前記第１の環境とは異なる第２の環境を示す場合に、前記指示入力で示される指示とは異なる制御内容を推定する情報処理方法。
10. コンピュータに、
    ユーザからの音声による指示入力を受け付ける受付機能と、
    ユーザの周囲の環境を特定可能な情報であって、ユーザの所在位置および周囲の機器の稼働状況を含む環境情報を取得する環境情報取得機能と、
    前記環境情報に応じて、前記指示入力に対して実行すべき制御内容を推定する推定機能と、
    前記推定機能が推定した制御内容を実行する実行機能と、を実現させ、
    前記推定機能は、前記環境情報が第１の環境を示す場合に、前記指示入力で示される指示に従った前記制御内容を推定し、前記環境情報が前記第１の環境とは異なる第２の環境を示す場合に、前記指示入力で示される指示とは異なる制御内容を推定する情報処理プログラム。

Images