JP7136656B2 - 情報処理システムおよびプログラム - Google Patents

Description

本発明は、情報処理システムおよびプログラムに関する。

特許文献１には、ネットワークを通じて送られてくるユーザの音声信号を、ロボットの発話として編集して、編集音声信号を生成する音声編集手段と、編集音声信号を出力する少なくとも一以上のスピーカとを有する構成が開示されている。

特開２０１７－１９１３９０号公報

各家庭にスピーカや表示装置を設置し、このスピーカや表示装置を通して、情報の提供を行うようにすると、各家庭に属する人は、特別な操作を行わないでも、情報を知ることができ、利便性が高まる。
ところで、家庭を構成する人の人数、年齢、性別等は、家族毎に異なっており、同じ情報を各家庭に一律に提供してしまうと、役に立たない情報が提供されたり、誰も人がいないときに情報の提供がなされたりする。
本発明の目的は、各家庭の状況を考慮せずに各家庭への情報提供を行う場合に比べ、各家庭への情報の提供をより適切に行えるようにすることにある。

本発明が適用される情報処理システムは、家庭内の人間の発する音声を取得する音声取得手段と、前記音声取得手段により取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する決定手段と、を備える情報処理システムである。
また、前記決定手段は、前記音声取得手段により取得された音声に基づき、前記家庭内における人間の在宅タイミングを把握し、把握した当該在宅タイミングに基づき、情報の提供タイミングを決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段により取得された音声に基づき、在宅している率が予め定められた閾値を超える曜日および時間を把握し、把握した当該曜日および当該時間を、情報の提供タイミングとして決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段により取得された音声に基づき、前記家庭内の家族の人数を把握し、当該人数に基づき、当該家庭に対して提供する情報の内容を決定することを特徴とすることができる。

また、前記決定手段は、前記音声取得手段により取得された音声に含まれる文言の出現頻度を把握し、把握した出現頻度に基づき、前記家庭に対して提供する情報の内容を決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段により音声が取得されてから予め定められた時間内に前記情報が提供されるように、当該情報の提供タイミングを決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段により取得された音声に基づき、前記家庭内の人間の属性を把握し、把握した当該属性に基づき、前記家庭に対して提供する情報の内容を決定することを特徴とすることができる。
また、前記家庭に対して提供される情報は、音声によって当該家庭に提供され、前記決定手段は、前記家庭内の人間が音声を発していないタイミングに、前記情報が当該家庭に提供されるように、当該情報の提供タイミングを決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段によって取得された音声の状態を把握し、当該状態に基づき、前記家庭に対して提供する情報の内容を決定することを特徴とすることができる。
また、前記決定手段は、前記音声取得手段により取得された音声のうちの特定の曜日及び／又は特定の時間に取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定することを特徴とすることができる。
また、前記家庭内に設置され音声を発する機器のオン／オフの状態を把握する把握手段を更に備え、前記決定手段は、前記音声取得手段により取得された音声のうちの前記機器がオフのときに取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定することを特徴とすることができる。

また、本発明をプログラムとして捉えた場合、本発明が適用されるプログラムは、家庭内の人間の発する音声を取得する音声取得機能と、前記音声取得機能により取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する決定機能と、をコンピュータに実現させるためのプログラムである。

本発明によれば、各家庭の状況を考慮せずに各家庭への情報提供を行う場合に比べ、各家庭への情報の提供をより適切に行えるようになる。

情報処理システムの全体構成を示した図である。 室内機器を説明する図である。 管理サーバのハードウエアの構成を示した図である。 管理サーバのＣＰＵ等により実現される機能部を示した図である。 情報処理システムにて実行される処理の流れの一例を示したフローチャートである。 （Ａ）、（Ｂ）は、処理の詳細の一例を示した図である。 決定部により行われる処理の他の一例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、情報処理システム１の全体構成を示した図である。
情報処理システム１には、情報処理装置の一例としての管理サーバ３００が設けられている。さらに、情報処理システム１には、各家庭（各家）の各々に設置された室内機器２００が設けられている。

図２（室内機器２００を説明する図）に示すように、本実施形態の室内機器２００は、いわゆるロボットを模した機器であり、符号２Ａで示すように、人の顔を模した部分を有する。
より具体的には、室内機器２００には、液晶ディスプレイなどにより構成された表示装置２０１が設けられており、本実施形態では、この表示装置２０１に、人の顔に相当する画像が表示されることで、人の顔を模した部分が表示される。
なお、この表示装置２０１を介して、各家庭への情報の提供が行われる際には、人の顔に相当するこの画像は、非表示となる。

さらに、本実施形態の室内機器２００は、表示装置２０１を下方から支持する胴体部分２０２、および、この胴体部分２０２に取り付けられた腕部分２０３を有する。
さらに、この腕部分２０３を動かすためのモータ（不図示）が、胴体部分２０２の内部に設けられている。また、胴体部分２０２には、互いに異なる色の光を出射する複数の光源２０４が設けられている。

さらに、室内機器２００には、室内機器２００が設置された居室内の状況を撮影する撮影手段の一例としてのカメラ２０５Ｃが設けられている。また、室内機器２００には、この居室内の音を取得する音取得手段の一例としてのマイク２０５Ｍが設けられている。
さらに、室内機器２００には、音を発生するスピーカ２５０Ｐが設けられている。また、室内機器２００には、室内機器２００の位置情報を取得するＧＰＳ（Global Positioning System）（不図示）が設けられている。
室内機器２００の各々は、インターネットなどの通信回線４００（図１参照）を通じて管理サーバ３００に接続される。

図３は、管理サーバ３００のハードウエアの構成を示した図である。
管理サーバ３００は、コンピュータ装置により構成され、管理サーバ３００には、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３が設けられている。また、ハードディスク装置などにより構成される記憶装置３０４が設けられている。さらに、管理サーバ３００には、外部との通信を行うための通信インタフェース（通信Ｉ／Ｆ）３０５が設けられている。

ＣＰＵ３０１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、管理サーバ３００へ提供しうる。
また、ＣＰＵ３０１によって実行されるプログラムは、インターネットなどの通信手段を用いて管理サーバ３００へダウンロードしてもよい。

図４は、管理サーバ３００のＣＰＵ３０１等により実現される機能部を示した図である。
図４に示すように、管理サーバ３００は、音声取得部３２１、決定部３２２、出力部３２３を備える。
ここで、音声取得部３２１、決定部３２２は、管理サーバ３００のＣＰＵ３０１が、記憶装置３０４等に格納されているプログラムを実行することで実現される。
また、出力部３２３は、通信インタフェース（通信Ｉ／Ｆ）３０５、および、記憶装置３０４等に格納されているプログラムを実行するＣＰＵ３０１により実現される。

音声取得手段の一例としての音声取得部３２１は、各家庭内の人間が発する音声を取得する。付言すると、音声取得部３２１は、図１にて示した複数の家の各々における音声を取得する。言い換えると、音声取得部３２１は、対象となる人間の自宅における音声を取得する。

より具体的には、音声取得部３２１は、室内機器２００のマイク２０５Ｍにより取得された音声を、室内機器２００の各々から取得し、各家庭にいる人間が発する音声を取得する。
付言すると、音声取得部３２１は、各家で生活を営む家族に属する人間が発する音声を取得する。

決定手段の一例としての決定部３２２は、音声取得部３２１により取得された音声に基づき、この音声が取得された家庭に対して提供する情報の内容および／またはこの家庭への情報の提供タイミングを決定する。
出力部３２３は、各家庭に提供する情報を、対応する室内機器２００に出力する（送信）する。より具体的には、出力部３２３は、決定部３２２により決定された情報の内容を含む情報を、室内機器２００へ出力（送信）し、および／または、出力部３２３は、決定部３２２により決定された提供タイミングのときに室内機器２００への情報の出力を行う。

図５は、本実施形態の情報処理システム１にて実行される処理の流れの一例を示したフローチャートである。なお、以下の説明では、複数存在する家のうちの一つの家における処理を一例に説明する。
本実施形態では、まず、音声取得部３２１が、家庭内の人間の発する音声を取得する（ステップＳ１０１）。付言すると、音声取得部３２１は、人間の音声であってこの人間の自宅における音声を取得する。

付言すると、本実施形態では、家の中における音が、室内機器２００により取得され、そして、この音についての情報が、管理サーバ３００に出力される。
そして、管理サーバ３００の音声取得部３２１が、公知の音声認識技術を利用して、家庭内の人間の発する音声（家の中（自宅内）にいる人間の音声）を取得する。

次いで、本実施形態では、決定部３２２によって、音声取得部３２１が取得した音声（音声情報）の解析が行われ、決定部３２２は、取得したこの音声に基づき、家庭に対して提供する情報の内容および／または家庭への情報の提供タイミングを決定する（ステップＳ１０２）。
その後、本実施形態では、出力部３２３が、決定部３２２により決定された内容および／または提供タイミングで、室内機器２００への情報の出力を行う（ステップＳ１０３）。

付言すると、出力部３２３は、提供する情報の内容のみを決定部３２２が決定した場合には、この内容の情報を、予め定められたタイミングに出力する。
また、出力部３２３は、情報の提供タイミングのみを決定部３２２が決定した場合には、予め定められた情報を、この提供タイミングのときに出力する。
さらに、出力部３２３は、提供する情報の内容および提供タイミングの両者が決定部３２２により決定された場合には、決定された内容の情報を、決定されたタイミングに出力する。
これにより、本実施形態では、家庭に適した情報が家庭に提供されたり、家庭に適したタイミングで情報がこの家庭に提供されたりする。

図６（Ａ）、（Ｂ）は、ステップＳ１０２にて行われる処理の詳細の一例を示した図である。
図６（Ａ）に示すように、本実施形態の決定部３２２は、例えば、音声取得部３２１により取得された音声に基づき、家庭内（家内）における人間の在宅タイミングを把握し（この人間の自宅における在宅タイミングを把握し）（ステップＳ２０１）、把握したこの在宅タイミングに基づき、情報の提供タイミングを決定する（ステップＳ２０２）。
より具体的には、決定部３２２は、音声取得部３２１により取得される、家内の音声を予め定められた期間に亘って蓄積し、この蓄積結果に基づき、この家に人が在宅している率が、予め定められた閾値を超える曜日および時間を把握する。

そして、決定部３２２は、把握したこの曜日および時間を、情報の提供タイミングとして決定する。そして、この場合、出力部３２３が、決定されたこの提供タイミングのときに、室内機器２００（図２参照）への情報の提供を行う。
なお、室内機器２００へ提供された情報は、この室内機器２００から出力されるが、この出力は、例えば、スピーカ２５０Ｐから音声として出力される。また、その他に、例えば、表示装置２０１に表示されて、表示装置２０１から出力される。また、その他には、室内機器２００へ提供された情報は、スピーカ２５０Ｐおよび表示装置２０１の両者から出力される。

ここで、各家庭に対するコマーシャルや、各家庭に対するサービスの提供を行うにあたり、家に人間がいない状態で、このコマーシャルやサービルの提供を行ったとしても、その効果は小さい。
これに対し、本実施形態のように、把握した在宅タイミングのときに、情報の提供が行われるようにすると（在宅している率が予め定められた閾値を超える曜日および時間のときに、情報の提供が行われるようにすると）、コマーシャルやサービスの提供をより効果的に行える。

図６（Ｂ）は、ステップＳ１０２にて行われる処理の他の一例を示した図である。
この処理では、決定部３２２は、音声取得部３２１により取得された音声に基づき、家庭内の人の数を把握する（家族を構成する人の数を把握する）（ステップＳ３０１）。そして、決定部３２２は、この人の数に基づき、この家庭に対して提供する情報の内容を決定する（ステップＳ３０２）。
ここで、家庭内の人の数の把握は、公知の音声認識技術により、発話を行った人間を識別するようにし、この識別により把握した人間の数を把握することで、家庭内の人の数を把握する。

ここで、例えば、家庭内の人の数（家族の人数）に応じて、家族の行動内容が異なることも多い。
具体的には、例えば、家族の構成人数が一人である場合と、複数人である場合とでは、家族の行動内容が異なることも多い。

このような場合に、家族を構成する人数に基づき、家庭に対して提供する情報の内容を決定するようにすると、各家族により適した情報の提供を行える。
ここで、この処理を行う場合、家族の構成人数が例えば一人である場合には、例えば、一人でも行きやすいお店についての情報（ラーメン店などについての情報）が提供される。
また、家族の構成人数が複数である場合には、ラーメン店についての情報に限らず、例えば、焼き肉店の情報やファミリーレストランの情報が提供される。

また、その他に、決定部３２２は、図７（決定部３２２により行われる処理の他の一例を示した図）に示すように、音声取得部３２１により取得された音声に含まれる文言の出現頻度を把握し（ステップＳ４０１）、把握したこの出現頻度に基づき、家庭に対して提供する情報の内容を決定してもよい（ステップＳ４０２）。
具体的には、この場合、決定部３２２は、音声取得部３２１により取得された音声に含まれる文言を順次蓄積し、さらに、各文言の登場回数を把握する。

そして、決定部３２２は、ある文言の登場回数が予め定められた閾値を超えた場合、この文言に関連した情報を、家庭に対して提供する情報の内容として決定する。
より具体的には、決定部３２２は、例えば、ある文言の登場回数が予め定められた閾値を超えた場合、この文言をキーワードとしてインターネット検索等を行って、この文言に関連した関連情報を取得する。そして、この関連情報を、家庭に対して提供する情報として決定する。

また、その他に、例えば、決定部３２２は、ある文言の登場回数が予め定められた閾値を超えた場合、予め定められた登録された登録情報の中から（記憶装置３０４（図３参照）に登録されている登録情報の中から）、この文言を含む登録情報を抽出する。そして、決定部３２２は、抽出したこの登録情報を、家庭に対して提供する情報として決定する。
この場合、この家庭が興味を抱いている事項に関連する情報が、この家庭に対して提供されるようになる。

具体的には、例えば、家庭内にて「釣り」に関する会話があり、さらに、この「釣り」という文言が数多く登場した場合には、この「釣り」に関連した情報が、家庭に対して提供されるようになる。
また、例えば、家庭内にて「花粉症」に関する会話があり、さらに、この「花粉症」という文言が数多く登場した場合には、この「花粉症」に関連した情報が、家庭に対して提供されるようになる。

なお、登場した文言に直接関連する情報に限らず、登場した文言の上位概念化を行い、この上位概念化により得られた概念に関連した情報を、家庭に対して提供してもよい。
例えば、家庭内にて「花粉症」に関する会話があり、さらに、この「花粉症」という文言が数多く登場した場合には、この「花粉症」よりも上位概念である「アレルギー」に関連した情報を、家庭に対して提供してもよい。

また、その他に、決定部３２２は、音声取得部３２１により音声が取得されてから予め定められた時間内に、家庭に対して情報が提供されるように、情報の提供タイミングを決定してもよい。
付言すると、決定部３２２は、音声取得部３２１により音声が取得されてから予め定められた時間内に、室内機器２００から情報が出力されるように、情報の提供タイミングを決定してもよい。
より具体的には、決定部３２２は、例えば、音声取得部３２１により音声が取得されてから３０秒以内に家庭に対して情報が提供されるように、情報の提供タイミングを決定してもよい。

ここで、家庭内の人間が、音声を発してから直ぐに他の部屋へ移動してしまうことも想定され、この場合に、情報の提供が遅いと、この人間への情報の提供ができなくなってしまう。
これに対し、上記のように、音声取得部３２１により音声が取得されてから予め定められた時間内に情報が提供されるようにすると、家庭内の人間へ情報が提供される可能性を高めることができる。

また、その他に、決定部３２２は、家庭内の人間が音声を発していないタイミングに、この家庭に情報が提供されるように、この情報の提供タイミングを決定してもよい。
具体的には、この場合、決定部３２２は、例えば、音声取得部３２１により音声が取得された後に、無音の状態（音声が検出されない状態）が予め定められた時間を超えて継続したら情報の提供が行われるように、情報の提供タイミングを決定する。

本実施形態では、家庭に対して提供される情報は、例えば、スピーカ２５０Ｐを通じ、音声によって提供される。この場合に、家庭内の人間が音声を発しているタイミングに、情報の提供を行ってしまうと、ユーザはこの情報を聞き取りにくくなったり、また、ユーザの会話を邪魔してしまったりする。
これに対して、家庭内の人間が音声を発していないタイミングに情報を提供するようにすると、このような不具合が生じにくくなる。

また、その他に、決定部３２２は、音声取得部３２１により取得された音声に基づき、家庭内の人間の属性を把握し、把握したこの属性に基づき、家庭に対して提供する情報の内容を決定してもよい。
具体的には、例えば、決定部３２２は、音声取得部３２１により取得された音声に基づき、家庭内の人間の性別、年齢などの属性を把握（推定）し、把握したこの属性に基づき、家庭に対して提供する情報の内容を決定してもよい。

また、その他に、決定部３２２は、音声取得部３２１によって取得された音声の状態を把握し、把握したこの状態に基づき、家庭に対して提供する情報の内容を決定してもよい。
例えば、人間が風邪をひくと、声が低音になる場合があり、決定部３２２は、音声取得部３２１によって取得された音声がいつもよりも低い場合には、例えば、風邪薬についての情報など、風邪に関する情報を提供することを決定する。

また、その他に、決定部３２２は、音声取得部３２１により取得された音声のうちの特定の曜日及び／又は特定の時間に取得された音声に基づき、家庭に対して提供する情報の内容および／または家庭への情報の提供タイミングを決定してもよい。
具体的には、例えば、決定部３２２は、音声取得部３２１により取得された音声のうちの平日に取得された音声や、早朝や深夜に取得された音声に基づき、家庭に対して提供する情報の内容および／または家庭への情報の提供タイミングを決定してもよい。

ここで、家庭に来客があることも想定され、音声取得部３２１により取得される音声には、この来客の音声が含まれることがある。この来客の音声を含んだ状態で、家庭に対して提供する情報の内容や、家庭への情報の提供タイミングを決定すると、家庭への適切な情報の提供を行いにくくなる。
その一方で、一般的に、平日や早朝、深夜などの特定のタイミングでは、家庭への来客は少なくなる。そこで、上記のように、特定の曜日及び／又は特定の時間に取得された音声に基づき、提供する情報の内容を決定したり、情報の提供タイミングを決定したりすると、家庭に対してより適切な情報の提供を行えるようになる。

また、その他に、家庭内に設置され音声を発する機器のオン／オフの状態を把握するようにし、決定部３２２は、音声取得部３２１により取得された音声のうちのこの機器がオフのときに取得された音声に基づき、家庭に対して提供する情報の内容および／または家庭への情報の提供タイミングを決定してもよい。
ここで、家庭内に設置されたテレビやＰＣなどの機器から音声が発せられる場合があり、この音声に基づき、家庭に対して提供する情報の内容や、家庭への情報の提供タイミングを決定してしまうと、家庭への適切な情報の提供がなされなくなるおそれがある。

これに対し、上記のように、機器がオフのときに取得された音声に基づき、家庭に対して提供する情報の内容を決定したり、家庭への情報の提供タイミングを決定したりすると、家庭にいる人間の音声に基づきこの決定が行われるようになり、より適切な情報の提供を行えるようになる。
なお、機器のオン／オフの状態の把握は、例えば、室内機器２００に設けられたカメラ２０５Ｃにより得られた映像（映像のうちテレビやＰＣが映っている部分）を解析することで、このオン／オフの状態の把握を行える。また、その他に、Bluetooth（登録商標）などの通信を利用して、機器からの情報を例えば室内機器２００が取得するようにして、この機器からの情報に基づき、機器のオン／オフの状態を把握してもよい。

１…情報処理システム、３２１…音声取得部、３２２…決定部

Claims (8)

1. 家庭内の人間の発する音声を取得する音声取得手段と、
   前記音声取得手段により取得された音声に基づき、前記家庭に対して提供する情報の提供タイミングを決定する決定手段と、
   を備え、
   前記決定手段は、前記音声取得手段により取得された音声に基づき、前記家庭内に人間が在宅している率が予め定められた閾値を超える曜日および時間を把握し、把握した当該曜日および当該時間を、情報の提供タイミングとして決定する情報処理システム。
2. 家庭内の人間の発する音声を取得する音声取得手段と、
   前記音声取得手段により取得された音声に基づき、前記家庭に対して提供する提供情報の内容を決定する決定手段と、
   を備え、
   前記決定手段は、前記音声取得手段により取得された音声に基づき、前記提供情報の提供の際に在宅している家族の人数を把握し、当該人数に基づき、当該在宅している家族に対して提供する当該提供情報の内容を決定する情報処理システム。
3. 家庭内の人間の発する音声を取得する音声取得手段と、
   前記音声取得手段により取得された音声に基づき、前記家庭に対して提供する情報の内容を決定する決定手段と、
   を備え、
   前記決定手段は、前記音声取得手段によって取得された音声の状態を把握し、当該状態に基づき、前記家庭に対して提供する情報の内容を決定する情報処理システム。
4. 家庭内の人間の発する音声を取得する音声取得手段と、
   前記音声取得手段により取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する決定手段と、
   前記家庭内に設置され音声を発する機器のオン／オフの状態を把握する把握手段と、
   を備え、
   前記決定手段は、前記音声取得手段により取得された音声のうちの前記機器がオフのときに取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する情報処理システム。
5. 家庭内の人間の発する音声を取得する音声取得機能と、
   前記音声取得機能により取得された音声に基づき、前記家庭に対して提供する情報の提供タイミングを決定する決定機能と、
   をコンピュータに実現させるためのプログラムであり、
   前記決定機能は、前記音声取得機能により取得された音声に基づき、前記家庭内に人間が在宅している率が予め定められた閾値を超える曜日および時間を把握し、把握した当該曜日および当該時間を、情報の提供タイミングとして決定する、
   プログラム。
6. 家庭内の人間の発する音声を取得する音声取得機能と、
   前記音声取得機能により取得された音声に基づき、前記家庭に対して提供する提供情報の内容を決定する決定機能と、
   をコンピュータに実現させるためのプログラムであり、
   前記決定機能は、前記音声取得機能により取得された音声に基づき、前記提供情報の提供の際に在宅している家族の人数を把握し、当該人数に基づき、当該在宅している家族に対して提供する当該提供情報の内容を決定する、
   プログラム。
7. 家庭内の人間の発する音声を取得する音声取得機能と、
   前記音声取得機能により取得された音声に基づき、前記家庭に対して提供する情報の内容を決定する決定機能と、
   をコンピュータに実現させるためのプログラムであり、
   前記決定機能は、前記音声取得機能によって取得された音声の状態を把握し、当該状態に基づき、前記家庭に対して提供する情報の内容を決定する、
   プログラム。
8. 家庭内の人間の発する音声を取得する音声取得機能と、
   前記音声取得機能により取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する決定機能と、
   前記家庭内に設置され音声を発する機器のオン／オフの状態を把握する把握機能と、
   をコンピュータに実現させるためのプログラムであり、
   前記決定機能は、前記音声取得機能により取得された音声のうちの前記機器がオフのときに取得された音声に基づき、前記家庭に対して提供する情報の内容および／または当該家庭への情報の提供タイミングを決定する、
   プログラム。

Images