JPWO2020021861A1 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Abstract

カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する図１

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

現在、生活やビジネスにおいて各種情報処理装置が利用される機会が増加している。例えば、宅内においても複数台の各種情報処理装置が設置されるケースがある。このような情報処理装置としては、ユーザの発声を音声認識し、音声による応答を行うスマートスピーカ等が知られている。特許文献１には、音声認識を利用する機器において、同時に画像認識機能を付加した誤認識の少ない音声認識装置が開示されている。

特開２００５−１０７３８４号公報

このような分野では、各種情報処理装置とユーザとの間で適切にコミュニケーションを図ることが望まれている。

本開示は、情報処理装置とユーザとの間で円滑なコミュニケーションを実現する情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的の一つとする。

本開示は、例えば、
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
前記検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
情報処理装置である。

本開示は、例えば、
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
前記検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
情報処理システムである。

本開示は、例えば、
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出し、
検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断し、
判断されたユーザの状況に対応した音声応答を実行する
情報処理方法である。

本開示は、例えば、
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出処理と、
前記検出処理で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断処理と、
前記判断処理で判断されたユーザの状況に対応した音声応答を実行する応答制御処理と、を情報処理装置に実行させる
情報処理プログラムである。

本開示の少なくとも一つの実施形態によれば、ユーザの状況を検出し、検出された状況に応じた音声応答を行うこととしている。したがって、ユーザに対して適切な音声応答を行うことが可能となる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

図１は、第１の実施形態に係る情報処理システムの利用状況を説明するための図である。 図２は、第１の実施形態に係る情報処理装置の構成を示すブロック図である。 図３は、第１の実施形態に係る情報処理装置の制御構成を示すブロック図である。 図４は、第１の実施形態に係る情報処理装置の応答処理を示すフロー図である。 図５は、第２の実施形態に係る情報処理装置の構成を示すブロック図である。 図６は、第２の実施形態に係る情報処理装置について、制御対象の判断処理を示すフロー図である。 図７は、第３の実施形態に係る情報処理装置の構成を示すブロック図である。 図８は、第３の実施形態について、３Ｄカメラによる距離計測を説明するための図である。 図９は、第４実施形態に係る情報処理装置の構成を示すブロック図である。 図１０は、第４の実施形態に係る情報処理装置について、制御対象の判断処理を示すフロー図である。 図１１は、第５の実施形態に係る情報処理システムの利用状況を説明するための図である。 図１２は、第５の実施形態に係る情報処理装置の構成を示すブロック図である。 図１３は、第５の実施形態に係る情報処理装置について、制御対象の判断処理を示すフロー図である。 図１４は、第６の実施形態に係る情報処理システムの利用状況を説明するための図である。 図１５は、複数の情報処理装置間で実行される第１選択処理を示すフロー図である。 図１６は、複数の情報処理装置間で実行される第２選択処理を示すフロー図である。 図１７は、第７の実施形態に係る情報処理システムの利用状況を説明するための図である。 図１８は、第８の実施形態に係る情報処理装置について、制御対象の判断処理を示すフロー図である。

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．第３の実施形態＞
＜４．第４の実施形態＞
＜５．第５の実施形態＞
＜６．第６の実施形態＞
＜７．第７の実施形態＞
＜８．第８の実施形態＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態に限定されるものではない。

＜１．第１の実施形態＞
図１は、実施形態に係る情報処理システムの利用状況を説明するための図である。現在、ユーザの声かけ、あるいは、操作等に応じて、音声で応答することのできるスマートスピーカ、ＡＩ（Artificial Intelligence）スピーカ等の名称で呼ばれる情報処理装置１がある。本実施形態では、スマートスピーカ等の情報処理装置１が宅内（部屋Ａ内）に設置されるケースを想定している。なお、情報処理装置１としては、このようなスマートスピーカのみならず、テレビ、ロボット、パーソナルコンピュータ等、各種装置を対象とすることができる。また、情報処理装置１の配置の形態についても、テーブル面、床面等に載置する形態の他、壁面に埋め込まれた形態等、各種形態を採用することが可能である。

図１において、宅内には、インターネット等の通信網Ｃに接続可能な通信設備が設けられている。通信設備としては、通信網Ｃに接続されるルータ３、ルータ３に接続されるアクセスポイント４が設けられている。情報処理装置１としてのスマートスピーカは、アクセスポイント４と無線通信を行うことで、通信網Ｃに接続されている情報処理サーバ５等と通信を行うことが可能となっている。

図２は、実施形態に係る情報処理装置１の構成を示すブロック図である。本実施形態の情報処理装置１は、ユーザの応答、あるいは、操作に応じて音声で応答することのできる、いわゆるスマートスピーカとしての形態を採用している。本実施形態の情報処理装置１は、制御部１１、操作部１２、カメラ１３、通信部１４、タッチパネル表示部１５、スピーカ１６、マイクロホン１７を有して構成されている。

制御部１１は、各種プログラムを実行可能なＣＰＵ、各種プログラム、データを記憶するＲＯＭ、ＲＡＭ等を有して構成され、情報処理装置１を統括して制御する部位である。操作部１２は、電源ボタン、音量ボタン等、ユーザからの操作を受け付ける部位である。カメラ１３は、情報処理装置１の周囲を撮像可能に配置されている。なお、カメラ１３は１つ設けることとしても、複数設けることとしてもよい。１ないし複数のカメラ１３は、情報処理装置１が宅内のどこに配置されても宅内の状況を撮像できるように、情報処理装置１の周囲３６０度を撮像範囲に持つことが好ましい。

通信部１４は、外部の各種装置と通信を行う部位であって、本実施形態では、アクセスポイント４と通信を行うため、Wi-Fi規格を使用した形態としている。通信部１４には、この他、Bluetooth（登録商標）、赤外線通信等による近距離通信手段の他、アクセスポイント４ではなく、携帯通信網を介して通信網Ｃに接続可能な携帯通信手段を使用してもよい。

タッチパネル表示部１５は、液晶、有機ＥＬ（Electro Luminescence）、壁面やスクリーン等に映像を投影するプロジェクター等を使用した表示部と、感圧方式、静電容量方式等によるタッチパネルを重畳させたユーザインタフェイスであって、表示部に各種表示を行うことが可能である。また、表示部に表示される各種オブジェクトに対して、タッチ入力することで、ユーザからの各種入力を受け付けることが可能となっている。なお、情報処理装置１は、タッチパネル表示部１５を設けない構成、あるいは、表示部のみを設けた構成とすることも可能である。スピーカ１６は、ユーザに対して音による通知を行うことが可能である。マイクロホン１７は、情報処理装置１の周囲音を取り込むことが可能である。

図１、図２で説明したスマートスピーカ等の情報処理装置１は、ユーザの声かけ、ユーザの操作、あるいは、何らかの条件を満たしたことを条件として、音声による応答制御を行う応答処理を実行する。このような応答処理によって、ユーザは、音声により必要な情報を得ることが可能となる。このような情報処理装置１における応答処理は、ユーザの行動あるいは様子を含むユーザの状況、例えば、就寝中である状況、くつろいでいる状況、テレビを見ている状況、家族と会話している状況等を考慮して行われるものではなく、ユーザの状況にふさわしくない応答制御が行われることがあった。

例えば、ユーザが就寝中という状況において寝言をしゃべった場合、情報処理装置１がユーザのしゃべった寝言を、声かけ、すなわち、情報処理装置１に対する命令であると判断し、寝言に応答してしまうことが考えられる。このような場合、情報処理装置１の音声による応答制御で、ユーザの睡眠を阻害する可能性がある。また、ユーザがソファでくつろいでいる状況において、情報処理装置１で、他の状況の応答処理と同様に、一律に音声による応答制御を行った場合、くつろいでいる状況を阻害してしまうことが考えられる。本実施形態では、ユーザに対し音声で応答する情報処理装置１において、ユーザの状況を判断し、当該状況に応じた応答制御を行うことで、ユーザの状況にあった応答制御を行うことを１つの目的とするものである。

図３は、第１の実施形態に係る情報処理装置１の制御構成を示すブロック図である。図３は、図２における制御部１１内の制御構成を説明するための図である。制御部１１は、音声認識部１１１、検出部１１２、応答判断部１１３、音声応答部１１４を有して構成されている。なお、制御部１１中のこれら各部は、通常、ソフトウェアで構成されることになるが、その一部、あるいは全てをハードウェアで構成することとしてもよい。

マイクロホン１７で集音された音声は、音声認識部１１１で音声認識する。音声認識技術は公知の任意好適な手法を選択すればよい。例えば、入力音声を音の最小構成単位である音素に分解し、その音素と、予め収録した音素とを比較して音素を特定し、音素を組み合わせることで、収音された音声を認識できる。また、音声認識部１１１における音声認識は、情報処理装置１内で行うことのみならず、情報処理装置１と通信接続された情報処理サーバ５と連携して行われるものであってもよい。

カメラ１３で撮像された画像は、検出部１１２に送信される。なお、カメラ１３で撮像される画像は、静止画、動画のどちらであってもよい。検出部１１２では、撮像された画像に基づき、ユーザ（人物）の検出の他、家具、家電製品、部屋の構造といったオブジェクトの検出を行う。ユーザ及びオブジェクトといった物体の検出技術は、公知の任意好適な手法で実現することが可能である。近年、Deep Learningによる一般物体検出アルゴリズムの研究が進んでおり、例えば、２０１６年にＣＶＰＲ（Computer Vision and Pattern Recognition）で論文発表されたＹＯＬＯ（You Only Look One）等、物体を高精度に検出する手法が開発されている。検出部１１２には、このような各種手法を採用することが可能である。

ユーザ（人物）、オブジェクトを検出するための学習手法には、例えば、ニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層（隠れ層）、出力層の３種類の層から成る。また、ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。

また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ／ニューロモーフィック・チップが用いられ得る。

また、機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。例えば教師あり学習は、与えられたラベル付きの学習データ（教師データ）に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。

また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。

また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。

また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。

以上、説明したような機械学習によって、情報処理装置１は、カメラ１３で撮像された画像に基づき、ユーザ（人物）の検出、そして、各種オブジェクトの検出を行うことが可能である。更には、機械学習を使用して、後述するように、ユーザとオブジェクトの位置関係に基づいて、ユーザの状況（ユーザの行動、様子を含む）を判断することも可能である。

応答判断部１１３は、検出部１１２で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザがどのような状況にあるかを判断し、状況に応じた応答制御を音声応答部１１４に実行させる。なお、状況に応じた応答制御とは、例えば、応答の内容、応答する音声の音量、音声の速度、音声の音質、音声の種別（例えば、男声、女声等、音声を発する者の種別）を変化させることが考えられる。なお、状況に応じた応答制御には、音声応答の可否、すなわち、音声応答を行う、もしくは、音声応答を行わないことも含まれる。

音声応答部１１４は、応答判断部１１３の判断により、ユーザの状況に対応した音声生成データを生成する。音声生成データは、例えば、ＴＴＳ（Text To Speech）技術を使用し、テキストを音声合成し、波形データに変換することで生成される。なお、音声生成データは、マイクロホン１７から入力される音声に対応して生成される場合、あるいは、情報処理装置１の自発的判断により生成される場合がある。音声応答部１１４で生成された音声生成データは、スピーカ１６から外部に放音される。

図４は、第１実施形態に係る情報処理装置１で実行される応答処理を示すフロー図である。応答処理は、情報処理装置１が起動している期間、実行される処理であって、ユーザの発話に応答して、音声による応答制御を行う、あるいは、条件を満たしたことで、ユーザの発話が無くても自発的に音声による応答制御を行う処理である。

応答処理が開始されると、情報処理装置１は、ユーザの発話等の音信号を検知する（Ｓ１０１：Ｙｅｓ）、あるいは、自発的な応答が必要であるか（Ｓ１０４）を監視する。ここで、自発的な応答が必要であるとは、ユーザが発話をしていないときであっても、情報処理装置１による応答が必要な場合であって、例えば、ユーザの操作を検出した、所定時刻が到来した、周囲環境が所定条件を満たした等、ユーザの発話を検知する以外に、応答を行う条件を満たした場合をいう。

情報処理装置１において、ユーザの発話等、音信号が検知された場合（Ｓ１０１：Ｙｅｓ）、情報処理装置１は、検出した発話に基づいて、発話の制御対象を判断する（Ｓ１２０）。例えば、スマートスピーカでは、命令の前に、スマートスピーカに付与された名称を付けることで、発話の対象が規定される。発話の対象が自己を指定している、すなわち、情報処理装置１を指定している場合（Ｓ１０３：Ｙｅｓ）には、情報処理装置１は、音声による応答制御を行うための処理（Ｓ１０５〜Ｓ１０９）を実行する。一方、発話の対象が情報処理装置１でない場合（Ｓ１０３：Ｎｏ）は、応答処理を一旦抜けて、ユーザの発話の監視（Ｓ１０１）、自発的な応答が必要であるかの監視（Ｓ１０４）に戻る。

音声による応答制御を行うための処理（Ｓ１０５〜Ｓ１０９）において、情報処理装置１は、カメラ１３で取得した映像を検出部１１２で解析し、家具、家電製品、部屋の構造といったオブジェクトの検出を行う（Ｓ１０５）。そして、カメラ１３で取得した映像を検出部１１２で解析し、ユーザ（人物）の検出を行う（Ｓ１０６）。カメラ１３で取得した映像中、ユーザが検出されない場合（Ｓ１０７：Ｎｏ）には、音声による応答制御を実行する必要が無いため、応答処理を抜ける。一方、カメラ１３で取得した映像中、ユーザが検出された場合（Ｓ１０７：Ｙｅｓ）、Ｓ１０６で検出されたユーザと、Ｓ１０５で検出されたオブジェクトの位置関係に基づき、ユーザがどのような状況にあるのかが判断される。なお、本実施形態では、カメラ１３で取得した映像を使用して、ユーザの検出（Ｓ１０７）を行うこととしているが、ユーザの検出は、カメラ１３とは別に設けたセンサを使用することとしてもよい。その場合、センサを使用してユーザが検出されたこと（Ｓ１０７：Ｙｅｓ）を条件として、カメラ１３で取得した映像を使用し、ユーザの状況が判断される（Ｓ１０８）処理に進む。なお、その際、カメラ１３で取得した映像にユーザが映っていない場合には、映像にユーザが映り込むまで待つ等の処理が行われることが好ましい。

例えば、図１に示されるように、ユーザがベッドに横たわっている状況では、オブジェクトとして検出されたベッドと、ユーザの位置関係に基づき、ユーザはベッドに横たわっている、すなわち、ユーザは就寝していることが判断される。判断されるユーザの状況、それに対する応答制御としては、この他に以下の表１に示す各種形態が考えられる。表１は、位置関係、すなわち、ユーザとオブジェクトの位置関係、ユーザの状況、すなわち、位置関係を使用して判定されたユーザの行動や様子といったユーザの状況、及び、応答制御の内容、すなわち、ユーザの状況に基づいて実行される応答制御の内容が対応付けられている。

なお、ユーザの状況をより正確に判断するには、ユーザとオブジェクトの位置関係として、ユーザの体の部位とオブジェクトの位置関係を使用することが好ましい。例えば、ユーザの頭部近傍に電話機が位置している場合には、通話中と判断することが考えられる。また、ユーザの背中がベッドに接触している場合にはユーザは就寝中であると判断することや、ユーザの背中がベッドに接触していない場合にはユーザはリラックスしている状況にあると判断することが考えられる。

このように、Ｓ１０５で検出されたオブジェクトと、Ｓ１０６で検出されたユーザの位置関係に基づいて、ユーザの状況を判断することが可能である。なお、本実施形態では、音信号を検知する（Ｓ１０１：Ｙｅｓ）、あるいは、自発的な応答が必要である（Ｓ１０４：Ｙｅｓ）と判断された場合に、オブジェクト検出（Ｓ１０５）、ユーザ検出（Ｓ１０６）を実行しているが、これらの処理は、情報処理装置１において常時行うこととしてもよい。また、情報処理装置１は、所定の場所で使用されることが多いため、オブジェクト検出（Ｓ１０５）は、カメラ１３で取得した映像の全ての領域に対して行うのではなく、変化した部分（差分）に対してのみ行うこととしてもよい。

Ｓ１０８でユーザの状況が判断されると、応答判断部１１３は、ユーザの発話の内容、及び、判断されたユーザの状況に基づいて、応答制御を実行する（Ｓ１０９）。例えば、ユーザがソファでくつろいでいると判断された場合、女声、音量は低め、音声の速度は遅い音声生成データを生成する。このような音声生成データをスピーカ１６から放音することで、ソファでくつろいでいるユーザの雰囲気を阻害すること無く、必要な情報を音声で伝達することが可能となる。また、図１のように、ユーザが就寝中という状況では、情報処理装置１は、ユーザの寝言を命令と解釈していることが考えられる。このような場合、音声生成データを生成しない、すなわち、応答しないことで、ユーザの睡眠を阻害することが避けられる。このように、本実施形態では、オブジェクトとユーザの位置関係に応じてユーザの状況を判断し、ユーザの状況に応じた音声による応答制御を行うことが可能となる。

なお、ユーザの状況に応じた応答制御を実行する際、表示部としてのタッチパネル表示部１５に判定されたユーザの状況を表示することとしてもよい。例えば、ユーザが机に向かっている場合、ユーザは勉強中と判断して、応答を行わないことが考えられる。その場合、タッチパネル表示部１５に、応答を行わない理由、すなわち、勉強中であることを表示することで、何故、応答が行われなかったかを視覚的に通知することとしてもよい。このような表示部を使用した視覚的な通知は、応答を行わない場合のみに限らず、応答を行う場合においても実行することとしてもよい。また、表示部としてのタッチパネル表示部１５には、上述するような応答を行わない理由以外に、応答中であること、部屋の状況、ユーザの状況等、各種情報を表示することとしてもよい。

一方、情報処理装置１の自発的な応答が必要である場合（Ｓ１０４：Ｙｅｓ）も同様に、音声による応答制御を行うための処理（Ｓ１０５〜Ｓ１０９）が実行される。この場合、ユーザの意思で発せられた声かけでは無いため、ユーザの状況のみならず、応答内容も考慮して、音声による応答制御を行うこととしてもよい。例えば、図１に示されるように、ユーザが就寝中という状況が判断された場合、起床のための目覚まし音、あるいは、地震発生に伴うアラーム等、緊急性を伴う音声を発しなければならない場合には、通常の応答時よりも大きい音声で応答する等、就寝中のユーザを起こすことを目的とすることとしてもよい。

以上、第１の実施形態について、情報処理装置１の応答処理を説明したが、本実施形態によれば、オブジェクトとユーザの位置関係に応じてユーザの状況を判断し、ユーザの状況に応じた音声による応答制御を行うことが可能となる。

＜２．第２の実施形態＞
図５は、第２の実施形態に係る情報処理装置の構成を示すブロック図である。図５中、第１の実施形態（図３）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。

第１の実施形態では、マイクロホン１７を使用していたのに対し、第２の実施形態では、アレイマイクロホン１８を使用している点において異なっている。アレイマイクロホン１８は、複数のマイクロホンが適宜に配列して構成されている。したがって、ある点から発せられた音は、各マイクロホンに対し、異なる遅延時間を有して届くことになる。この遅延時間を使用して、発せられた音の方向を推定することが可能となる。方向推定部１１５は、アレイマイクロホン１８の複数のマイクロホンからの音を信号処理し、音が発生している方向を推定する。アレイマイクロホン１８を使った、方向推定や音源分離技術については公知の技術であるため、ここでの詳細な説明は割愛する。

応答判断部１１３は、検出部１１２と方向推定部１１５で得られた結果から、音声認識部１１１の認識結果に対して、応答するか否かの判断、あるいは、応答制御の内容を決定する。第２の実施形態では、アレイマイクロホン１８で音源の方向を推定することにより、ユーザにより発せられた音であるのか、ラジオ、テレビ等から発せられた音であるのかを判別することが可能となり、情報処理装置１に対してはノイズとなる音を有効に排除することが可能となっている。

図６は、第２の実施形態に係る情報処理装置１について、制御対象の判断処理を示すフロー図である。この処理は、図４の応答処理中の、制御対象の判断処理（Ｓ１２０）部分に相当している。制御対象の判断処理（Ｓ１２０）では、まず、方向推定部１１５において、アレイマイクロホン１８に入力された音の方向（音源方向）の推定を行う（Ｓ１２１）。そして、検出部１１２において、カメラ１３で撮像された画像から、ユーザあるいはオブジェクトの検出を行う（Ｓ１２２）。そして、推定された音源方向にオブジェクトが存在する場合（Ｓ１２３：Ｙｅｓ）、当該オブジェクトは音を出すオブジェクトであるか否かが判断される（Ｓ１２４）。応答判断部１１３には、オブジェクトの種類として、音を出すオブジェクトが登録されており、検出したオブジェクトが音を出すオブジェクトか否かを判断することが可能となっている。

音を出すオブジェクト、すなわち、ノイズ源となるオブジェクトとしては、例えば、テレビ、ラジオ、電話機、スピーカ、ゲーム機、インターホン、音声を出力する家電製品、玩具、乳幼児のように実際に音声（人の声）を発するものの他、楽器、玩具、ＰＣのキーボード、蛇口からの水流音、各種家電（食洗機、換気扇、エアコン、扇風機）の動作音のように、動作音を発生するもの等、あるいは、窓から入る屋外の騒音等が考えられる。

なお、予めカメラ１３とアレイマイクロホン１８の位置関係が分かっていれば、カメラ１３で撮像された画像上のどの領域のオブジェクトを検出すれば良いかがわかる。或いは、カメラ１３に、左右に振る機構を持てば、音源方向と同じ向きにカメラ１３を回転させることができる。

音源が音を出すオブジェクトである場合（Ｓ１２４：Ｙｅｓ）、制御対象の判断処理を終了し、図４の応答処理の先頭に戻る。したがって、情報処理装置１における応答制御は無効化されることになる。一方、音源が音を出すオブジェクトで無い場合（Ｓ１２４：Ｎｏ）、ユーザにより発せられた音声である可能性があるため、図４の応答処理のＳ１０３へと進み、音声による応答制御が実行されることになる。音源方向にオブジェクトが存在しない場合（Ｓ１２３：Ｎｏ）も同様に、ユーザにより発せられた音声である可能性があるため、図４の応答処理のＳ１０３へと進む。

以上、第２の実施形態によれば、アレイマイクロホン１８を使用して音源方向を推定し、音源が音を出すオブジェクトの場合、音声による応答制御を無効化することが可能となる。例えば、テレビ、ラジオ等からニュースが流れている場合、テレビ、ラジオ等の音声に対して応答してしまうことを抑止することが可能となる。また、テレビ、ラジオ等の音声のみならず、換気扇、ゲーム機、電話の着信音等に対しても、音声として誤認識し、それに対して応答してしまうことを防ぐことが可能となる。

＜３．第３の実施形態＞
図７は、第３の実施形態に係る情報処理装置の構成を示すブロック図である。図７中、第１の実施形態（図３）、第２の実施形態（図５）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。

第１、第２の実施形態では、カメラ１３を使用していたのに対し、第３の実施形態では、３Ｄカメラ１９を使用している点において異なっている。３Ｄカメラ１９は、２つのカメラを使用するステレオカメラ、あるいは、ＴｏＦ（Time of Flight）センサを搭載したカメラで等あって、撮影した物体までの距離を判別することが可能である。なお、３Ｄカメラ１９としては、距離を計測できる以外に、通常の画像を撮像できるものであってもよく、距離センサと通常画像撮影用のセンサが分かれた形態であっても構わない。距離センサとしては、レーダセンサ、レーザセンサ、超音波センサ等、各種形態を使用することが可能である。

図８は、第３の実施形態について、３Ｄカメラ１９による距離計測を説明するための図である。図８に示す状況、すなわち、３Ｄカメラ１９の撮像方向にユーザとパソコンが並んでいた場合、２次元像を撮像するカメラでは、ユーザとパソコンの位置関係を正確に把握することが困難となる。したがって、実線で示すようにユーザがパソコンに近接した状態で使用しているのか、あるいは、破線で示すようにユーザはパソコンから離れた状態であって、パソコンを使用していないという、ユーザの状況を正確に判断できない。

第３の実施形態では、３Ｄカメラ１９を使用することで、ユーザ、オブジェクト（パソコン）までの距離を計測し、ユーザとオブジェクトの位置関係をより正確に判定することとしている。このように、ユーザとオブジェクトの位置関係をより正確に判定することで、ユーザの状況をより正しく推定することが可能となる。

図８の例において、検出部１１２は、３Ｄカメラ１９の出力に基づいて、オブジェクトとしてのパソコンを検出するとともに、パソコンまでの距離Ｌを計測する。なお、検出部１１２における距離計測は、例えば、オブジェクト（あるいはユーザ）の重心或いは中心など、何らかの特徴点を基準として３次元距離を計算する。実線で示されるユーザの場合、検出部１１２は、３Ｄカメラ１９の出力に基づきユーザまでの距離Ｌ１を計測する。パソコンまでの距離Ｌとユーザ（実線）までの距離Ｌ１の差が所定の閾値内である場合、応答判断部１１３では、パソコンとユーザは近接関係にあると判断し、ユーザはパソコンを使用している状況と判定する。

一方、破線で示されるユーザの場合、検出部１１２は、３Ｄカメラ１９の出力に基づきユーザまでの距離Ｌ２を計測する。パソコンまでの距離Ｌとユーザ（破線）までの距離Ｌ２の差が所定の閾値を超えている場合、応答判断部１１３では、パソコンとユーザは離れていると判断し、ユーザはパソコンを使用していない状況と判定する。なお、本実施形態では、３Ｄカメラ１９からオブジェクト（パソコン）、ユーザまでの距離を計測しているが、オブジェクト（パソコン）とユーザ間の距離を計測することとしてもよい。その場合、物体の検出結果が０個、あるいは、１個だった場合は、距離として無限遠とすればよい。

このように、第３の実施形態では、３Ｄカメラ１９を使用することで、ユーザとオブジェクトの位置関係をより正確に判定し、ユーザの状況をより正しく推定することが可能となっている。したがって、ユーザの状況を正確に把握し、適切に応答を行うことが可能となる。図８では、パソコンとユーザの位置関係について説明したが、この例に限られるものではない。例えば、電話機とユーザ間の距離が十分近い場合は、ユーザは電話中と判断し、音声による応答を抑止することが考えられる。また。学習机とユーザ間の距離が十分近い場合は、ユーザは学習中と判断し、学習に関する項目にのみ応答する、あるいは、応答の音量を小さくする等、学習の妨げにならないように応答することが考えられる。

＜４．第４の実施形態＞
図９は、第４の実施形態に係る情報処理装置の構成を示すブロック図である。図９中、第１〜第３の実施形態（図３、図５、図７）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。

第４の実施形態では、アレイマイクロホン１８（マイクロホン１７を使用してもよい）で受けた音の音圧を判断する音圧判断部１１６が設けられている点において、第１〜第３の実施形態と相違している。第４の実施形態では、３Ｄカメラ１９で撮影したユーザまでの距離と、ユーザが発声した声の音圧に基づき、ユーザが、情報処理装置１に対して命令を行ったのか否かを判断することとしている。音圧判断部１１６には、アレイマイクロホン１８に入力された音、及び、検出部１１２で得られたユーザまでの距離が入力され、入力された音を音声認識部１１１に渡すか否かを判断する。

図１０は、第４の実施形態に係る情報処理装置１について、制御対象の判断処理を示すフロー図である。この処理は、図４の応答処理中の、制御対象の判断処理（Ｓ１２０）部分に相当している。制御対象の判断処理（Ｓ１２０）では、まず、３Ｄカメラ１９からの出力に基づいて、撮像された画像からユーザの検出を行う。ユーザが検出された場合（Ｓ１２５：Ｙｅｓ）、３Ｄカメラ１９からの出力に基づき、ユーザまでの距離を計測する（Ｓ１２６）。そして、計測した距離に対応する閾値を取得する（Ｓ１２７）。この閾値は、予め制御部１１に距離に対応付けて記憶されており、ユーザまでの距離を入力として取り出すことが可能である。

次に、音圧判断部１１６は、検出したユーザ方向の音圧を取得する（Ｓ１２８）。ここでは、方向推定部１１５で得られた方向推定結果を用いているが、アレイマイクロホン１８の指向性を自由に設定できる特徴を活かし、検出したユーザの方向に対して、アレイマイクロホン１８の指向性を向けて、その際の音圧を取得することとしてもよい。そして、音圧判断部１１６では、取得した音圧が閾値以上か否かを判断する（Ｓ１２９）。音圧が閾値以上の場合（Ｓ１２９：Ｙｅｓ）、図４の応答処理のＳ１０３へと進み、音声による応答制御が実行される。図９のブロック図では、入力された音を音声認識部１１１に渡すことになる。一方、音圧が閾値より小さい場合（Ｓ１２９：Ｎｏ）、制御対象の判断処理を終了し、図４の応答処理の先頭に戻る。図９のブロック図では、入力された音は音声認識部１１１に渡されず破棄され、以降の応答制御は中止される。

情報処理装置１とユーザが十分遠い状況で、ユーザが情報処理装置１を対象として発話（命令）する場合、大きな声で発話する特徴がある。第４の実施形態では、この特徴を活かし、ユーザまでの距離と収音したユーザの発話の音圧の関係に基づき、ユーザが情報処理装置１に対して発話しているのか、あるいは、発話していないのか（例えば、独り言や、他のユーザとの会話等）を、効果的に判別し、情報処理装置１に対して発話していない場合の応答を抑制することが可能となる。

なお、第４の実施形態中、ユーザが情報処理装置１に対して発話しているのか否かを判断する部分、すなわち、情報処理装置１からユーザまでの距離を計測し、アレイマイクロホン１８（あるいは、通常のマイクロホンでもよい）で収音した音信号の音圧が、所定条件を満たす場合、すなわち、ユーザまでの距離に応じた閾値以上である場合、ユーザは情報処理装置１に対して発話していると判断する部分のみを情報処理装置１に使用することとしてもよい。

＜５．第５の実施形態＞
図１１は、第５の実施形態に係る情報処理システムの利用状況を説明するための図である。また、図１２は、第５の実施形態に係る情報処理装置１の構成を示すブロック図である。図１１、図１２中、第１〜４の実施形態（図１、図３、図５、図７、図９等）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。

第５の実施形態では、第２の実施形態で使用したアレイマイクロホン１８を、複数設けている点において異なっている。図１１において、ユーザがテレビを視聴している場合、音源としては、テレビの音声、ユーザの音声が考えられる。このような状況において、１つのアレイマイクロホン１８ａを使用した場合、アレイマイクロホン１８ａに対しては、ユーザ、テレビが同じ方向（方向Ｄ）に位置しているため、テレビの音声であるのか、ユーザの音声であるのかを判別することが困難となる。また、両者が同時に発音した場合、両者の音声が混ざってしまって、ユーザの音声を正しく取得できないことが考えられる。

第５の実施形態では、複数のアレイマイクロホン１８ａ、１８ｂを設け、両者を異なる位置に配置することで、必要な方向の音声のみを抽出することとしている。なお、アレイマイクロホン１８ａ、１８ｂは、情報処理装置１の外部であって適宜位置に配置することが可能である。このような構成において、設定部１１７は、アレイマイクロホン１８ａ及びアレイマイクロホン１８ｂの選択、及び、その指向性の調整を行うことで、必要な方向の音声成分のみを抽出することが可能である。

図１３は、第５の実施形態に係る情報処理装置１について、制御対象の判断処理を示すフロー図である。この判断処理（Ｓ１２０）では、まず、物体検出、すなわち、ユーザ、及び、オブジェクトの検出を実行する（Ｓ１３１）。例えば、図１１の環境では、情報処理装置１に設けられている３Ｄカメラ１９で、テレビ、および、ユーザが検出される。そして、検出された物体中、ユーザが検出された場合（Ｓ１３２：Ｙｅｓ）には、ユーザの音声を検出するために適した１つのアレイマイクロホン１８ｂが選定される（Ｓ１３３）。前述したように、図１１の環境では、アレイマイクロホン１８ａは、ユーザ、テレビが同じ方向に位置しているため、ユーザの音声を取得するには不適切である。そのため、ユーザの方向（方向Ｅ）、テレビの方向（方向Ｆ）が異なるアレイマイクロホン１８ｂが選定される。なお、ユーザが検出されない場合（Ｓ１３２：Ｎｏ）には、音声の取得対象となるユーザはいないため、応答処理の先頭に戻る。

さらに、アレイマイクロホン１８ｂの指向性をユーザの方向（方向Ｅ）に調整することで、ユーザの音声を的確に取得することとしている（Ｓ１３４）。このように、複数のアレイマイクロホン１８ａ、１８ｂを設け、３Ｄカメラ１９で取得したユーザの状況に基づき、適切なアレイマイクロホン１８ｂの選択、並びに、その指向性を調整することで、ユーザの音声以外の雑音の影響を抑制しつつ、ユーザの音声を的確に取得することが可能となる。

このように、第５の実施形態によれば、家の中の様々な雑音源から、ユーザの音声をより的確に抽出することができ、ユーザに対して適切な応答が可能となる。また、アレイマイクロホン１８ａ、１８ｂの数を多くすることで、より広い範囲、様々な位置にある雑音源への対応が可能となる。なお、第５の実施形態では、複数のアレイマイクロホン１８ａ、１８ｂの選定、及び、選定されたアレイマイクロホン１８ａ、１８ｂの指向性調整を行うこととしているが、３Ｄカメラ１９で取得したユーザの状況に基づき、複数のアレイマイクロホン１８ａ、１８ｂの選定のみを行うこととしてもよい。あるいは、１つのアレイマイクロホン１８ａ、１８ｂを設置し、３Ｄカメラ１９で取得したユーザの状況に基づき、その指向性を調整することとしてもよい。また、３Ｄカメラ１９を使用することに代え、通常のカメラ１３を使用することも可能である。

＜６．第６の実施形態＞
図１４は、第６の実施形態に係る情報処理システムの利用状況を説明するための図である。図１４中、第１、第５の実施形態（図１、図１１）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。

第６の実施形態では、宅内に複数の情報処理装置１ａ〜１ｃを設置している。なお、図１４に記載する情報処理装置１ａ〜１ｃは、図面上、全てスマートスピーカの形態を取っているが、情報処理装置１ａ〜１ｃの何れかを、テレビ、ロボット、コンピュータ等、適宜他の形態とすることも可能である。情報処理装置１ａ〜１ｃは、図２で説明した情報処理装置１と同じ構成であって、アクセスポイント４と無線通信可能に接続されている。そして、情報処理装置１ａ〜１ｃは、同じＬＡＮネットワークに接続されており、互いに通信を行うことが可能となっている。なお、情報処理装置１ａ〜１ｃは、有線でＬＡＮネットワークに接続されてもよい。第６の実施形態では、複数の情報処理装置１ａ〜１ｃ間で通信を行いユーザの状況に応じてネゴシエートすることで、ユーザに適切な音声応答を行うことを可能としている。

図１４中、例えば、情報処理装置１ａはテレビの正面に設置されているため、ユーザがテレビを見ている状況が判断された場合、すなわち、テレビとユーザが情報処理装置１ａに対して同方向となっている場合には、情報処理装置１ａでの音声認識を抑制する、あるいは、その結果を使用しないこととする。一方、情報処理装置１ｂ、１ｃは、テレビから出力される音声の影響を受けにくい位置に配置されているため、第１〜第５の実施形態で説明した手法を使用して、ユーザに適切な応答を行う。その際、情報処理装置１ｂと情報処理装置１ｃの応答内容が一致している場合、情報処理装置１ｂ、１ｃ間でどちらが応答を行うのかを決定する。また、音声認識の結果に基づく応答については、例えば、ユーザとの距離が最も近い情報処理装置１ａ〜１ｃの何れかが応答を返す等の対応が可能である。

また、情報処理装置１ｂ、１ｃ間で応答内容が一致しなかった場合は、以下の優先順で応答を行う情報処理装置１ｂ、１ｃを決定することが好ましい。まず、音声認識結果について、その認識確信度が高い情報処理装置１ｂ、１ｃを優先する。音声認識結果の認識確信度が等しい場合、情報処理装置１ｂ、１ｃのマイクロホンの角度が、ユーザの正面に近い情報処理装置１ｂ、１ｃを優先する。更に、マイクロホン１ｂ、１ｃの角度が等しい場合には、ユーザに対して距離が近い情報処理装置１ｂ、１ｃを優先することが考えられる。このような形態により、より音声認識結果が適切と想定される情報処理装置１ｂ、１ｃを使用することが可能となる。

複数の情報処理装置１ａ〜１ｃを使用する場合において、物体（ユーザ、オブジェクト）検出、ユーザの状況を検出する何れか１つの情報処理装置１ａ〜１ｃを選択する処理（第１選択処理）、音声の認識結果が採用される何れか１つの情報処理装置１ａ〜１ｃを選択する処理（第２選択処理）について説明しておく。

図１５は、複数の情報処理装置１ａ〜１ｃ間で実行される第１選択処理を示すフロー図である。第１選択処理は、物体（ユーザ、オブジェクト）検出の結果が採用される何れか１つの情報処理装置１ａ〜１ｃを選択するための処理である。各情報処理装置１ａ〜１ｃでは、物体の検出が実行される（Ｓ２０１）。その際、物体の検出結果について、その検出確信度が合わせて算出される。検出確信度とは、物体の検出結果に対する確からしさを示す数値であって、例えば、数値が高いほど、結果が正確であることを示す。

各情報処理装置１ａ〜１ｃの検出結果が一致している場合（Ｓ２０２：Ｙｅｓ）、何れの情報処理装置１ａ〜１ｃの検出結果も同じであるため、一致した検出結果が採用される（Ｓ２０４）。一方、検出結果が異なる場合（Ｓ２０２：Ｎｏ）、検出確信度の高い検出結果が採用されることになる（Ｓ２０３）。図１４で説明したように、テレビとユーザと情報処理装置１ａが直線状に並んだ場合、正しく物体を検出できない、あるいは、ユーザの状況を正しく判定することができないことが考えられる。このような場合、情報処理装置１ａの検出結果の検出確信度は低く算出されることが考えられる。したがって、検出確信度が高く算出された情報処理装置１ｂ、あるいは、情報処理装置１ｃの検出結果を採用することで、ユーザの状況を正しく判定することが可能となる。

図１６は、複数の情報処理装置１ａ〜１ｃ間で実行される第２選択処理を示すフロー図である。第２選択処理は、音声の認識結果が採用される何れか１つの情報処理装置１ａ〜１ｃを選択するための処理である。各情報処理装置１ａ〜１ｃは、入力された音声に基づき音声認識処理を実行する（Ｓ２１１）。その際、音声認識結果に対する認識確信度が合わせて算出される。認識確信度とは、音声認識結果に対する確からしさを示す数値であって、例えば、数値が高いほど、結果が正確であることを示す。音声認識結果が一致している場合（Ｓ２１２：Ｙｅｓ）、何れの情報処理装置１ａ〜１ｃの音声認識結果も同じであるため、一致した音声認識結果が採用され、ユーザに近い情報処理装置が応答を実行する（Ｓ２１６）。

一方、音声認識結果が情報処理装置１ａ〜１ｃ間で異なる場合（Ｓ２１２：Ｎｏ）、音声認識結果について算出された認識確信度が参照される（Ｓ２１３）。認識確信度が一致している場合（Ｓ２１３：Ｙｅｓ）、すなわち、どの音声認識結果も同じ程度の確からしさである場合には、マイクロホンの方向上、ユーザの顔と近い位置関係にある情報処理装置１ａ〜１ｃの認識結果が採用される（Ｓ２１４）。そして、認識確信度が異なる場合（Ｓ２１３：Ｎｏ）、認識確信度の最も高い情報処理装置１ａ〜１ｃの認識結果が採用される（Ｓ２１５）。そして、認識結果に基づき、ユーザに近い位置関係にある情報処理装置１ａ〜１ｃが音声を使用して応答することになる（Ｓ２１６）。

このように、第６の実施形態では、複数の情報処理装置１ａ〜１ｃが連携することにより、ユーザに対して、より正確な応答制御を行うことが可能となる。また、複数台の情報処理装置１ａ〜１ｃが存在するため、ユーザが複数存在する場合でも、それぞれに応答を返すことができる。

なお、第６の実施形態のように複数の情報処理装置１ａ〜１ｃが配置される際には、どの情報処理装置１ａ〜１ｃがユーザに対して応答しているかを分かり易くするために、情報処理装置１ａ〜１ｃのタッチパネル表示部１５、あるいは、別途設けられたＬＥＤ（Light Emitting Diode）等の表示部を使用して、応答中であることを表示してもよい。その際、複数のユーザに対し、それぞれ別々の情報処理装置１ａ〜１ｃが応答する場合は、ＬＥＤの色を異ならせること等で区別することが好ましい。また、色による表示ではなく、タッチパネル表示部１５に、現在応答しているユーザの名前を表示する、あるいは、対話内容の文字列を表示する等してもよい。

＜７．第７の実施形態＞
図１７は、第７の実施形態に係る情報処理システムの利用状況を説明するための図である。図１７中、第１の実施形態（図１）で説明した同じ機能のものは、同じ符号を付けており、説明を割愛する。第７の実施形態では、図１７に示されるように、３つの部屋（部屋Ａ、Ｂ、Ｃ）にそれぞれに情報処理装置１ａ〜１ｃが設置されている。図１４の場合と同様、情報処理装置１ａ〜１ｃは、アクセスポイント４に無線接続され、互いに通信を行うことが可能である。また、各情報処理装置１ａ〜１ｃは、第１〜第６の実施形態で説明したように、カメラ１３あるいは３Ｄカメラ１９で撮像された画像に基づき、ユーザの状況を判断し、当該状況に応じた音声応答を行うことが可能となっている。

このように、宅内に複数の情報処理装置１ａ〜１ｃが設置されている場合、部屋Ａにいるユーザが大きな声で情報処理装置１ａに問い掛けた場合、その問い掛けが隣接する部屋Ｂ、Ｃに配置されている情報処理装置１ｂ、１ｃに届くことが考えられる。第７の実施形態では、各情報処理装置１ａ〜１ｃが、カメラ１３あるいは３Ｄカメラ１９で撮像された画像に基づきユーザの状況を判断できる特長を活かし、音声が入力された場合であっても、ユーザが確認できない状況では、応答を抑止することとしている。

また、情報処理装置１ａ〜１ｃに搭載されている検出部１１２に顔識別機能を追加するとともに、音声認識部１１１に発話者識別機能を追加することで、画像から発話したユーザが誰かを判断し、応答することで、部屋Ｂ、Ｃに別のユーザが居たとしても、情報処理装置１ａのみが応答することが可能となる。このように、別の部屋にある複数の情報処理装置１ａ〜１ｃが連携することで、適切な情報処理装置１ａ〜１ｃを選択してユーザに応答を行うことが可能となる。また、複数の情報処理装置１ａ〜１ｃが設置される場合、各情報処理装置１ａ〜１ｃのタッチパネル表示部１５には、他の情報処理装置１ａ〜１ｃで検出したユーザの状況を表示してもよい。例えば、図１７において、部屋Ｂの情報処理装置１ｂが、部屋Ｂに居るユーザの状況を「勉強中」と判定した場合、他の部屋、例えば、部屋Ａの情報処理装置１ａのタッチパネル表示部１５に部屋Ｂのユーザが「勉強中」であることを表示することが考えられる。このような構成により、ある部屋に居るユーザは、他の部屋に居るユーザの状況を、タッチパネル表示部１５等の表示部によって視覚的に知ることができ、他の部屋に居るユーザの状況に応じた行動を取ることが可能となる。例えば、情報処理装置１ａにおいて、部屋Ｂに居るユーザの状況が「勉強中」であることを表示した場合には、部屋Ａに居るユーザは、勉強を妨げないように、部屋Ｂに居るユーザに声掛けを控える等の行動を取ることが可能となる。

＜８．第８の実施形態＞
図１８は、第８の実施形態に係る情報処理装置について、制御対象の判断処理を示すフロー図である。情報処理装置１としては、第１〜第７の実施形態で説明した情報処理装置１を使用することが可能である。

図４の応答処理で音信号を検知した場合（Ｓ１０１：Ｙｅｓ）、入力された音信号に対して音声認識が実行される（Ｓ１４１）。そして、音声認識の認識結果に対し、制御部１１等に予め登録されている無効ワードの検索が実行される（Ｓ１４２）。検索の結果、無効ワードが検出された場合（Ｓ１４３：Ｙｅｓ）には、以降の処理を中止し、応答処理の先頭に戻る。一方、無効ワードが検出されなかった場合（Ｓ１４３：Ｎｏ）には、Ｓ１０３に進み、音声による応答制御が実行されることになる。

このような判断処理により、例えば、「ねぇねぇ、お母さん」のように、普段、ユーザが母親に問いかける言葉中、「ねぇねぇ」という言葉を無効ワードとして予め登録しておくことで、情報処理装置１とユーザが対話している時に、ユーザが「ねぇねぇ」と発話した際に、情報処理装置１の応答を無効にし、ユーザと母親との会話に対し、情報処理装置１が誤って応答することを防ぐことが可能となる。また、母親が情報処理装置１と対話中に、ユーザが「ねぇねぇ、お母さん」と呼びかけた際においても、情報処理装置１は、母親との対話を中断、あるいは、一時停止することで、ユーザが割り込んで母親と会話することを可能とし、ユーザと母親の会話を円滑に行わせることとしてもよい。

第８の実施形態によれば、ユーザやユーザの家族、友人などが普段お互いに呼び合っている言葉を無効ワードとして登録しておくことで、情報処理装置１が誤ってユーザ間の対話に割り込むことを防ぐことができる。なお、無効ワードは、情報処理装置１に対してユーザ自身が登録することとしてもよいし、情報処理装置１に入力されるユーザの会話に対する学習結果から自動登録することとしてもよい。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。

本開示は、以下の構成も採ることができる。
（１）
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
前記検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
情報処理装置。
（２）
前記検出部は、ユーザの部位とオブジェクトの位置関係を検出し、
前記判断部は、ユーザの部位とオブジェクトの位置関係に基づいて、ユーザの状況を判断する
（１）に記載の情報処理装置。
（３）
前記応答制御部は、ユーザの状況に対応して、音声応答の可否、応答の内容、音声の音量、音声の速度、音声の音質、音声の種別の少なくとも１つを制御する
（１）または（２）に記載の情報処理装置。
（４）
前記応答制御部は、マイクロホンで収音される音信号に基づいて、音声応答を実行する
（１）から（３）の何れか１つに記載の情報処理装置。
（５）
前記マイクロホンは、収音される音信号の方向を検出可能なアレイマイクロホンである
（４）に記載の情報処理装置。
（６）
前記応答制御部は、前記アレイマイクロホンで収音された音信号の方向に、音を出すオブジェクトが位置する場合、音声応答を実行しない
（５）に記載の情報処理装置。
（７）
前記検出部で検出されたユーザの方向に、前記アレイマイクロホンの指向性が調整される
（５）または（６）に記載の情報処理装置。
（８）
前記アレイマイクロホンを複数備え、
前記判断部で判断されたユーザの状況に基づいて、収音する前記アレイマイクロホンが選択される
（５）から（７）の何れか１つに記載の情報処理装置。
（９）
ユーザとオブジェクト間の距離を計測可能な計測部を備え、
前記判断部は、ユーザとオブジェクト間の距離を含んだユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する
（１）から（８）の何れか１つに記載の情報処理装置。
（１０）
ユーザまでの距離を計測する計測部を備え、
前記応答制御部は、前記計測部で計測したユーザまでの距離と、マイクロホンで収音した音信号の音圧が所定条件を満たす場合、音声応答を実行する
（１）から（９）の何れか１つに記載の情報処理装置。
（１１）
前記情報処理装置は、表示部をさらに含み、
前記表示部は、応答中であること、応答しない理由、部屋の状況の少なくともいずれかを表示する
（１）から（１０）の何れか１つに記載の情報処理装置。
（１２）
前記判定部は、無効ワードに基づいて、前記ユーザの状況を判定する
（１）から（１１）の何れか１つに記載の情報処理装置。
（１３）
前記ユーザの状況には、前記ユーザの様子、行動の少なくともいずれかを含む
（１）から（１２）の何れか１つに記載の情報処理装置。
（１４）
前記ユーザの状況には、就寝中である状況、くつろいでいる状況、テレビを見ている状況、家族と会話している状況の少なくともいずれかを含む
（１３）に記載の情報処理装置。
（１５）
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
前記検出部で判断されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
情報処理システム。
（１６）
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出し、
検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断し、
判断されたユーザの状況に対応した音声応答を実行する
情報処理方法。
（１７）
カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出処理と、
前記検出処理で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断処理と、
前記判断処理で判断されたユーザの状況に対応した音声応答を実行する応答制御処理と、を情報処理装置に実行させる
情報処理プログラム。

なお、上記する（１０）の情報処理装置については、以下の部分についてのみ取り出して、以下の構成として使用することも可能である。
（１８）
カメラで撮像された画像に基づいて、ユーザを検出する検出部と、
前記検出部で検出されたユーザまでの距離を計測する計測部と、
前記計測部で計測したユーザまでの距離と、前記マイクロホンで収音した音信号の音圧が所定条件を満たす場合、音声応答を実行する応答制御部と、を有する
情報処理装置。
また、（１８）の構成は、情報処理システム、情報処理方法、情報処理プログラム、何れの形態においても実現することが可能である。

１（１ａ〜１ｃ）：情報処理装置
３：ルータ
４：アクセスポイント
５：情報処理サーバ
１１：制御部
１２：操作部
１３：カメラ
１４：通信部
１５：タッチパネル表示部
１６：スピーカ
１７：マイクロホン
１８（１８ａ、１８ｂ）：アレイマイクロホン
１９：３Ｄカメラ
１１１：音声認識部
１１２：検出部
１１３：応答判断部
１１４：音声応答部
１１５：方向推定部
１１６：音圧判断部
１１７：設定部

Claims (17)

1. カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
   前記検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
   前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
   情報処理装置。
2. 前記検出部は、ユーザの部位とオブジェクトの位置関係を検出し、
   前記判断部は、ユーザの部位とオブジェクトの位置関係に基づいて、ユーザの状況を判断する
   請求項１に記載の情報処理装置。
3. 前記応答制御部は、ユーザの状況に対応して、音声応答の可否、応答の内容、音声の音量、音声の速度、音声の音質、音声の種別の少なくとも１つを制御する
   請求項１に記載の情報処理装置。
4. 前記応答制御部は、マイクロホンで収音される音信号に基づいて、音声応答を実行する
   請求項１に記載の情報処理装置。
5. 前記マイクロホンは、収音される音信号の方向を検出可能なアレイマイクロホンである
   請求項４に記載の情報処理装置。
6. 前記応答制御部は、前記アレイマイクロホンで収音された音信号の方向に、音を出すオブジェクトが位置する場合、音声応答を実行しない
   請求項５に記載の情報処理装置。
7. 前記検出部で検出されたユーザの方向に、前記アレイマイクロホンの指向性が調整される
   請求項５に記載の情報処理装置。
8. 前記アレイマイクロホンを複数備え、
   前記判断部で判断されたユーザの状況に基づいて、収音する前記アレイマイクロホンが選択される
   請求項５に記載の情報処理装置。
9. ユーザとオブジェクト間の距離を計測可能な計測部を備え、
   前記判断部は、ユーザとオブジェクト間の距離を含んだユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する
   請求項１に記載の情報処理装置。
10. ユーザまでの距離を計測する計測部を備え、
    前記応答制御部は、前記計測部で計測したユーザまでの距離と、マイクロホンで収音した音信号の音圧が所定条件を満たす場合、音声応答を実行する
    請求項１に記載の情報処理装置。
11. 前記情報処理装置は、表示部をさらに含み、
    前記表示部は、応答中であること、応答しない理由、部屋の状況の少なくともいずれかを表示する
    請求項１に記載の情報処理装置。
12. 前記判定部は、無効ワードに基づいて、前記ユーザの状況を判定する
    請求項１に記載の情報処理装置。
13. 前記ユーザの状況には、前記ユーザの様子、行動の少なくともいずれかを含む
    請求項１に記載の情報処理装置。
14. 前記ユーザの状況には、就寝中である状況、くつろいでいる状況、テレビを見ている状況、家族と会話している状況の少なくともいずれかを含む
    請求項１３に記載の情報処理装置。
15. カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出部と、
    前記検出部で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断部と、
    前記判断部で判断されたユーザの状況に対応した音声応答を実行する応答制御部と、を有する
    情報処理システム。
16. カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出し、
    検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断し、
    判断されたユーザの状況に対応した音声応答を実行する
    情報処理方法。
17. カメラで撮像された画像に基づいて、ユーザとオブジェクトの位置関係を検出する検出処理と、
    前記検出処理で検出されたユーザとオブジェクトの位置関係に基づいて、ユーザの状況を判断する判断処理と、
    前記判断処理で判断されたユーザの状況に対応した音声応答を実行する応答制御処理と、を情報処理装置に実行させる
    情報処理プログラム。

Images