JP6767322B2 - 出力制御装置、出力制御方法及び出力制御プログラム - Google Patents

Description

本発明は、出力制御装置、出力制御方法及び出力制御プログラムに関する。

近年、ネットワークを介して様々なサービスが提供されている。ユーザは、タブレット端末やスマートフォン等の情報処理端末を用いて、提供される様々なサービスを利用する。

ところで、サービス側が、ユーザの状況に適したコンテンツを提供したり、パーソナライズされたコンテンツを提供したりするためには、ユーザの感情を精度よく推定できることが望ましい。このような感情推定に関する技術として、生体情報を利用することで、情報処理端末で出力されるコンテンツに対するユーザの感情を精度よく推定する技術が知られている。

特開２０１４−２２２３９７号公報

しかしながら、上記の従来技術では、様々な状況におけるユーザの感情を推定するとともに、推定した感情を用いた情報処理を行うことは難しい。例えば、上記の従来技術では、ユーザがコンテンツを閲覧した際の感情を推定し、推定された感情情報とコンテンツとを対応付けて記憶するに過ぎない。このため、従来技術では、例えば、実生活での家族間の会話等から感情を推定することや、推定した感情を利用して様々な情報処理を行うこと等は困難であった。

本願は、上記に鑑みてなされたものであって、様々な状況におけるユーザの感情を推定するとともに、推定した感情を用いた情報処理を行うことができる出力制御装置、出力制御方法及び出力制御プログラムを提供することを目的とする。

本願に係る出力制御装置は、センサが検知した情報であって、ユーザが発声した音声に関する情報である音情報を取得する取得部と、前記取得部によって取得された音情報に基づいて、前記音声を発したユーザの感情を推定する推定部と、前記推定部によって推定されたユーザの感情に応じた通知を出力するよう制御する出力制御部と、を備えたことを特徴とする。

実施形態の一態様によれば、様々な状況におけるユーザの感情を推定するとともに、推定した感情を用いた情報処理を行うことができるという効果を奏する。

図１は、実施形態に係る出力制御処理の一例を示す図である。 図２は、実施形態に係る出力制御システムの構成例を示す図である。 図３は、実施形態に係る出力制御装置の構成例を示す図である。 図４は、実施形態に係るユーザ情報記憶部の一例を示す図である。 図５は、実施形態に係る音情報記憶部の一例を示す図である。 図６は、実施形態に係る推定情報記憶部の一例を示す図である。 図７は、実施形態に係る出力情報記憶部の一例を示す図である。 図８は、実施形態に係るスマートスピーカーの構成例を示す図である。 図９は、実施形態に係る処理手順を示すフローチャートである。 図１０は、出力制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る出力制御装置、出力制御方法及び出力制御プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る出力制御装置、出力制御方法及び出力制御プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．出力制御処理の一例〕
まず、図１を用いて、実施形態に係る出力制御処理の一例について説明する。図１は、実施形態に係る出力制御処理の一例を示す図である。図１では、本願に係る出力制御装置の一例である出力制御装置１００によって、実施形態に係る出力制御処理が行われる流れについて説明する。

図１に示す出力制御装置１００は、実施形態に係る出力制御処理を実行するサーバ装置である。具体的には、図１では、出力制御装置１００によって、ユーザが発声した音声に関する情報である音情報に基づいて、音声を発したユーザの感情を推定する処理と、推定されたユーザの感情に応じた通知を出力するよう制御する出力制御処理が行われる一例を示す。

図１に示すユーザ端末１０は、ユーザによって利用される情報処理端末である。図１では、ユーザ端末１０は、例えばスマートフォン（Smartphone）である。図１の例では、ユーザ端末１０は、ユーザの一例であるユーザＵ０１によって利用される。なお、実施形態では、個々のユーザを区別する必要のない場合は、「ユーザ」と総称する。また、以下では、ユーザをユーザ端末１０と読み替える場合がある。例えば、「ユーザＵ０１に情報を送信する」という記載は、実際には、「ユーザＵ０１が利用するユーザ端末１０に情報を送信する」という状況を示す場合がある。

図１に示すスマートスピーカー５０は、ユーザＵ０１やユーザＵ０２やユーザＵ０３が利用する装置であり、例えば、ユーザＵ０１やユーザＵ０２やユーザＵ０３が居住する自宅Ｈ０１内に配置される。スマートスピーカー５０は、いわゆるＩｏＴ（Internet of Things）機器であり、サーバである出力制御装置１００と連携して、種々の情報処理を行う。例えば、スマートスピーカー５０は、音声解析技術を用いて、ユーザＵ０１が発声した言葉の内容を特定し、特定した内容に応じて、コンテンツの提供や各種電子商店街への注文等を実現する。また、例えば、スマートスピーカー５０は、音声出力機能を有し、曲名や作曲者等といった曲を示唆する情報をユーザＵ０１が発声した場合には、かかる情報が示唆する曲をダウンロードして再生する等の情報処理を行う。

また、スマートスピーカー５０は、自宅Ｈ０１内で生じた音を検知したり、自宅Ｈ０１内の映像（空間情報）を検知したりするための各種センサを有する。実施形態に係るセンサとは、種々の情報を検知するための検知器であり、種々の態様によって実現される。一例として、センサは、音を検知するマイクロフォンや、映像を検知するカメラや、照度を検知する照度センサや、傾きを検知するジャイロセンサ等によって実現される。実施形態では、センサは、自宅Ｈ０１に設置されるスマートスピーカー５０に内蔵されるものとする。なお、実施形態に係るセンサは、ユーザ端末１０に内蔵されてもよい。また、実施形態では、センサによって検知され、出力制御装置１００による情報処理が可能な信号に変換される音に関する情報を「音情報」と総称する。

実施形態において、出力制御装置１００は、スマートスピーカー５０によって検知された音情報を取得し、取得した音情報に含まれる音声を発したユーザの感情を推定する。そして、出力制御装置１００は、推定したユーザの感情に応じた通知を所定の出力部から出力させる。例えば、出力制御装置１００は、出力部の一例である、スマートスピーカー５０が有するスピーカーから、所定の通知を出力させる。あるいは、出力制御装置１００は、出力部の一例である、ユーザ端末１０が有する画面やスピーカーから、所定の通知を出力させる。

通知は、例えば、ユーザの感情を可視化して示したレポートや、色を伴う光等である。出力制御装置１００は、例えば、所定の時刻において、自宅Ｈ０１内で、ユーザＵ０１の子供であるユーザＵ０２やユーザＵ０３が怒りの感情を有していたこと等を示すレポートをユーザＵ０１に送信する。これにより、ユーザＵ０１は、自身が自宅Ｈ０１に在宅していなくても、自宅Ｈ０１で起こった出来事を推測することができる。また、出力制御装置１００は、ユーザＵ０２やユーザＵ０３が怒りの感情を有していると推定した場合に、通知として、スマートスピーカー５０から寒色系（例えば、青色等）の光を出力させるよう制御する。これにより、出力制御装置１００は、ユーザＵ０２やユーザＵ０３に怒りの感情を鎮めさせたり、周りの人間に注意喚起したりすることができる。

このように、出力制御装置１００は、主として各ユーザの自宅等に設置されるスマートスピーカー５０が有するセンサによって検知された音情報からユーザの感情を推定するため、様々な状況におけるユーザの感情を推定することができる。また、出力制御装置１００は、推定したユーザの感情に基づいて通知を行うなど、推定したユーザの感情を活用した情報処理を行うことができる。

以下、図１を用いて、実施形態に係る出力制御処理を流れに沿って説明する。なお、出力制御装置１００は、音声認識技術や感情推定技術については、どのような技術を採用してもよい。例えば、音声情報に基づく感情推定技術としては、音声情報から抽出される音響的特徴情報をサポートベクタマシン（Support Vector Machine）等に学習させることによって、ユーザの感情を推定する技術が知られている。このような音声認識技術や、音声情報に基づく感情推定技術については、既知の様々な技術を用いることが可能であるため、詳細な説明を省略する。

図１の例において、ユーザＵ０１、ユーザＵ０２及びユーザＵ０３が居住する自宅Ｈ０１に設置されたスマートスピーカー５０は、内蔵したセンサを用いて、各種情報を検知し、センシング（sensing）情報を取得する。一例として、スマートスピーカー５０は、自宅Ｈ０１における音に関する情報を検知する。より具体的には、スマートスピーカー５０は、周囲の環境音やユーザの発した音声を検知する（ステップＳ０１）。

実施形態では、環境音とは、ユーザが何らかの意図をもってスマートスピーカー５０に入力した音声以外の音をいう。例えば、環境音の一例は、ユーザＵ０１の自宅Ｈ０１における暗騒音となりうる音や、自宅Ｈ０１において再生された音楽等の音である。具体的には、環境音は、自宅Ｈ０１におけるエアコンの稼働音や、テレビが出力する音である。

図１の例では、スマートスピーカー５０は、ユーザＵ０２やユーザＵ０３の音声を含む音情報を検知するものとする。例えば、スマートスピーカー５０は、ユーザＵ０２とユーザＵ０３が喧嘩して言い争っている音声を含む音情報を検知する。

スマートスピーカー５０は、検知した音情報を、ネットワークを介して、出力制御装置１００に送信する（ステップＳ０２）。出力制御装置１００は、送信された音情報を取得する（ステップＳ０３）。図１の例では、出力制御装置１００は、自宅Ｈ０１においてユーザＵ０２やユーザＵ０３が発した音声に対応する音情報を取得する。

出力制御装置１００は、取得した音情報に基づいて、音情報に含まれる音声を発したユーザの感情を推定する（ステップＳ０４）。例えば、出力制御装置１００は、ユーザＵ０２やユーザＵ０３が発した音声を認識し、認識した音声を解析する。そして、出力制御装置１００は、音声に基づく感情推定処理によって、ユーザＵ０２やユーザＵ０３の感情を推定する。

なお、出力制御装置１００は、推定した感情をどのような態様で示してもよい。例えば、出力制御装置１００は、「怒り」や「喜び」や「悲しみ」等の各々の感情を数値として算出し、算出した数値をユーザの感情として取り扱ってもよい。また、出力制御装置１００は、「怒り」や「喜び」や「悲しみ」等の各々の感情のうち、最も強く表出していると想定される一の感情（例えば、最も数値の高い感情）を、当該ユーザの感情であると推定してもよい。

そして、出力制御装置１００は、推定した感情に応じた通知を決定する（ステップＳ０５）。例えば、出力制御装置１００が、ユーザＵ０２やユーザＵ０３の現時点の感情が「怒り」であると推定したとする。この場合、出力制御装置１００は、推定した「怒り」という感情に応じた通知を決定する。

一例として、出力制御装置１００は、ユーザＵ０２やユーザＵ０３の周辺に設置されていると想定されるスマートスピーカー５０に出力する通知として、「怒り」という感情を有しているユーザＵ０２やユーザＵ０３を鎮めるための通知を決定する。具体的には、出力制御装置１００は、スマートスピーカー５０の出力部（例えば、発光素子を有する発光部など）の機能を利用して、通知として、寒色系の光を発するよう出力を制御する（ステップＳ０６）。

なお、出力制御装置１００は、スマートスピーカー５０に対して、音声による通知を出力するよう制御してもよい。例えば、出力制御装置１００は、「怒り」という感情に応じた通知として、「少し落ち着きましょう」といったメッセージを発する音声を決定し、かかる音声をスマートスピーカー５０に送信し、出力させてもよい。

また、出力制御装置１００は、ユーザ端末１０に通知を行ってもよい。この場合、ユーザＵ０１は、予めスマートスピーカー５０とユーザ端末１０とが連携した処理を行うことができるよう、スマートスピーカー５０にユーザ端末１０のデバイス情報を登録する等の処理を行っていてもよい。

例えば、出力制御装置１００は、ユーザＵ０２やユーザＵ０３が「怒り」の感情を有していると推定した場合には、通知として、かかる推定処理の結果を示したレポートをユーザ端末１０に送信する。そして、出力制御装置１００は、ユーザ端末１０の出力部（例えば、ユーザ端末１０の画面）が、送信したレポートを出力する（表示する）よう制御する（ステップＳ０７）。

なお、出力制御装置１００は、このような通知のタイミングについて、ユーザＵ０１から設定を受け付けていてもよい。例えば、出力制御装置１００は、所定時間ごと（例えば、３時間ごと等）に、自宅Ｈ０１において観測された感情に応じた通知をユーザ端末１０に送信してもよい。あるいは、出力制御装置１００は、「怒り」や「驚き」など、トラブルが想定される感情が推定されたことを契機として、感情に応じた通知をユーザ端末１０に送信してもよい。これにより、ユーザＵ０１は、自宅Ｈ０１に在宅していなくても、自宅Ｈ０１で発生した出来事を推測したり、早めに帰宅したりするなどの対応を行うことができる。

このように、実施形態に係る出力制御装置１００は、センサが検知した情報であって、ユーザが発声した音声に関する情報である音情報を取得する。そして、出力制御装置１００は、取得した音情報に基づいて、音声を発したユーザの感情を推定する。さらに、出力制御装置１００は、推定したユーザの感情に応じた通知を出力部から出力するよう制御する。

すなわち、出力制御装置１００は、主として自宅等の拠点に設置されるスマートスピーカー５０が検知する情報に基づいてユーザの感情を推定するとともに、推定した感情に応じた通知を出力するなどの情報処理を行う。例えば、出力制御装置１００は、自宅Ｈ０１における何気ない会話や、家族間の会話等に含まれる音声等に基づいて、ユーザの感情を推定することができる。このため、出力制御装置１００は、様々な状況におけるユーザの感情を推定することができる。

また、出力制御装置１００によれば、推定した感情に基づいて通知を行うことにより、個々のユーザの状況に合わせた通知を行うことができる。また、出力制御装置１００によれば、自宅Ｈ０１におけるユーザＵ０２やユーザＵ０３の感情等をユーザ端末１０にレポートすることもできるため、ユーザ端末１０を利用するユーザＵ０１に有用な情報を提供することができる。また、出力制御装置１００は、例えば、ユーザの感情に応じた通知として、広告やレコメンド等を出力する処理を行ってもよい。これにより、出力制御装置１００は、ユーザが喜んでいる状況や楽しんでいる状況が観測されたタイミングに合わせて広告やレコメンドを出力することができるため、出力する広告やレコメンドの訴求効果を向上させることが期待できる。

上述のように、出力制御装置１００は、センサを用いて検知された音情報に基づいて感情を推定し、推定した感情に用いた情報処理を行う等、種々の有用な処理を行うことができる。以下、上述した出力制御処理を実行する出力制御装置１００及び出力制御装置１００を含む出力制御システム１について詳細に説明する。

〔２．出力制御システムの構成〕
次に、図２を用いて、実施形態に係る出力制御装置１００が含まれる出力制御システム１の構成について説明する。図２は、実施形態に係る出力制御システム１の構成例を示す図である。図２に例示するように、実施形態に係る出力制御システム１には、ユーザ端末１０と、スマートスピーカー５０と、出力制御装置１００とが含まれる。これらの各種装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。また、出力制御システム１に含まれる各装置の数は、図示した数に限られない。例えば、出力制御システム１には、複数のユーザ端末１０や、複数のスマートスピーカー５０が含まれてもよい。

ユーザ端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、スマートフォンを含む携帯電話機、ＰＤＡ（Personal Digital Assistant）等の情報処理端末である。また、ユーザ端末１０には、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス（wearable device）も含まれる。さらに、ユーザ端末１０には、情報処理機能を有する種々のスマート機器が含まれてもよい。例えば、ユーザ端末１０には、ＴＶ（Television）や冷蔵庫、掃除機などのスマート家電や、自動車などのスマートビークル（Smart vehicle）や、ドローン（drone）、家庭用ロボットなどが含まれてもよい。

スマートスピーカー５０は、いわゆるＩｏＴ機器であり、通信機能と各種情報を検知するセンサとを有するスピーカーである。スマートスピーカー５０は、例えば、ユーザの自宅や会社等の拠点に設置される。スマートスピーカー５０は、例えば、マイクロフォンを用いてユーザからの音声入力を検知したり、カメラを用いて空間情報を検知したりする。なお、スマートスピーカー５０は、マイクロフォン等のセンサを内蔵するのではなく、センサと有線又は無線の通信で接続されたり、音情報をデータとして入力されたりすることによって、音情報や映像情報を検知（取得）してもよい。また、スマートスピーカー５０は、出力制御装置１００から送信される通知を音声や映像（光）の態様で出力する機能を有する。

また、スマートスピーカー５０は、ユーザから所定の情報の登録を受け付けてもよい。例えば、スマートスピーカー５０は、利用するユーザの属性情報（年齢や性別等）の登録を受け付けてもよい。また、スマートスピーカー５０は、音声認識技術や顔認識技術を用いてユーザの属性情報を推定し、推定した情報を登録してもよい。また、スマートスピーカー５０は、ユーザの自宅の位置情報（例えば住所等）の登録を受け付けてもよい。なお、スマートスピーカー５０は、ＧＰＳ（Global Positioning System）等の位置情報検知機能を用いて設置される位置を推定し、推定した情報を登録してもよい。

出力制御装置１００は、上述のように、センサが検知した情報である音情報を取得し、取得した音情報に基づいて音声を発したユーザの感情を推定し、推定したユーザの感情に応じた通知を出力部から出力するよう制御するサーバ装置である。例えば、出力制御装置１００は、クラウド上で利用されるクラウドサーバである。

〔３．出力制御装置の構成〕
次に、図３を用いて、実施形態に係る出力制御装置１００の構成について説明する。図３は、実施形態に係る出力制御装置１００の構成例を示す図である。図３に示すように、出力制御装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、出力制御装置１００は、出力制御装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。かかる通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、ユーザ端末１０やスマートスピーカー５０との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、ユーザ情報記憶部１２１と、音情報記憶部１２２と、推定情報記憶部１２３と、出力情報記憶部１２４とを有する。以下、記憶部１２０に含まれる各記憶部について順に説明する。

（ユーザ情報記憶部１２１について）
ユーザ情報記憶部１２１は、ユーザに関する情報を記憶する。例えば、ユーザ情報は、スマートスピーカー５０に対してユーザが登録した情報を、スマートスピーカー５０が出力制御装置１００に送信することにより、出力制御装置１００に取得される。ここで、図４に、実施形態に係るユーザ情報記憶部１２１の一例を示す。図４は、実施形態に係るユーザ情報記憶部１２１の一例を示す図である。図４に示した例では、ユーザ情報記憶部１２１は、「スマートスピーカーＩＤ」、「位置情報」、「出力態様」、「登録情報」といった項目を有する。また、「登録情報」は、「ユーザＩＤ」、「年齢」、「性別」、「続柄」、「居住地」、「端末ＩＤ」、「通知設定」といった小項目を有する。

「スマートスピーカーＩＤ」は、スマートスピーカー５０を識別する識別情報を示す。「位置情報」は、スマートスピーカー５０が所在する位置に関する情報を示す。なお、図４では、「位置情報」の項目に記憶される情報として、「Ｇ０１」といった概念的な情報を示しているが、実際には、位置情報の項目には、位置を示すための緯度や経度等の具体的な数値や、登録された住所等の情報が記憶される。

「出力態様」は、スマートスピーカー５０が所定の情報を出力することの可能な態様を示す。例えば、出力態様「音声」とは、スマートスピーカー５０が音声を出力する機能を有していることを示す。また、出力態様「光」とは、スマートスピーカー５０が光を出力する機能を有していることを示す。

「登録情報」は、ユーザがスマートスピーカー５０に登録したユーザに関する情報を示す。「ユーザＩＤ」は、ユーザを識別する識別情報を示す。「年齢」は、ユーザの年齢を示す。「性別」は、ユーザの性別を示す。「続柄」は、家族構成におけるユーザの続柄を示す。「居住地」は、ユーザの居住地を示す。居住地は、例えば、スマートスピーカー５０の位置情報と一致する。「端末ＩＤ」は、個々のユーザが利用するユーザ端末１０を識別する識別情報を示す。「通知設定」は、ユーザ端末１０に対して通知を送信するか否かの設定を示す。例えば、通知設定が「有り」と設定されたユーザ端末１０には、出力制御装置１００から通知が送信され、通知設定が「無し」と設定されたユーザ端末１０には、出力制御装置１００から通知が送信されない。

すなわち、図４では、ユーザ情報記憶部１２１が記憶する情報の一例として、スマートスピーカーＩＤ「Ｎ０１」で識別されるスマートスピーカー５０は、位置情報「Ｇ０１」に所在するものであり、出力態様は「音声、光」であることを示している。また、図４では、スマートスピーカーＩＤ「Ｎ０１」で識別されるスマートスピーカー５０を利用するユーザの情報として登録された情報は、例えば、ユーザＩＤが「Ｕ０１」で識別されるユーザＵ０１の年齢が「４０」歳であり、性別が「男性」であり、続柄が「登録ユーザ（本人）」であり、居住地が「Ｇ０１」であり、端末ＩＤ「Ｂ０１」で識別されるユーザ端末１０を使用しており、かかるユーザ端末１０の通知設定は「有り」であることを示している。

（音情報記憶部１２２について）
音情報記憶部１２２は、音に関する情報を記憶する。ここで、図５に、実施形態に係る音情報記憶部１２２の一例を示す。図５は、実施形態に係る音情報記憶部１２２の一例を示す図である。図５に示した例では、音情報記憶部１２２は、「音情報ＩＤ」、「取得日時」、「音情報」といった項目を有する。また、「音情報」は、「ユーザＩＤ」、「属性情報」、「取得データ」といった小項目を有する。

「音情報ＩＤ」は、音情報を識別する識別情報を示す。「取得日時」は、音情報が取得された日時を示す。「音情報」は、取得された音情報の具体的な内容を示す。「ユーザＩＤ」は、音情報の発信源（発声元）であるユーザを識別する識別情報を示し、図４に示した同一の項目と共通した情報を示す。なお、音情報の発信源の特定は、例えば、予めスマートスピーカー５０に登録されているユーザの声紋との照合によって行われてもよいし、音声の解析によって発声者を推定することにより行われてもよい。「属性情報」は、ユーザの属性を示す。属性情報は、例えば、取得された音声から推定されてもよいし、予め登録されたユーザ情報に基づいて推定されてもよい。「取得データ」は、スマートスピーカー５０によって検知された具体的なデータを示す。例えば、取得データの一例は、音声の周波数や波形や音圧等が信号として記憶されたものである。

なお、図５に示す例では、「取得日時」や「属性情報」や「取得データ」の項目に記憶される情報として、「時間＃１」や「属性＃１」や「音声データ＃１」といった概念的な情報を示しているが、実際には、各々の項目には、日時を示す具体的な情報（年月日、時刻等）や、属性を示す具体的な情報（年齢、性別、居住地等）や、音声信号の具体的なデータ等が記憶される。

すなわち、図５では、音情報記憶部１２２が記憶する情報の一例として、音情報ＩＤ「Ａ０１」で識別される音情報Ａ０１は、取得日時「時間＃１」に取得（検知）された音情報であり、その音声の発声元は「ユーザＵ０２」であり、ユーザＵ０２の属性情報は「属性＃１」であり、その取得データは「音声データ＃１」であることを示している。

なお、図５の例では、音情報が、ユーザが発した一つの音声の区切りごとに記憶される例を示したが、音情報は、一定の時間ごと（例えば１０秒ごと）に区切られて取得されてもよい。

（推定情報記憶部１２３について）
推定情報記憶部１２３は、実施形態に係る推定処理によって推定されたユーザの感情に関する情報を記憶する。ここで、図６に、実施形態に係る推定情報記憶部１２３の一例を示す。図６は、実施形態に係る推定情報記憶部１２３の一例を示す図である。図６に示した例では、推定情報記憶部１２３は、「音情報ＩＤ」、「取得日時」、「推定情報」といった項目を有する。また、「推定情報」の項目は、「ユーザＩＤ」、「感情」といった小項目を有する。

「音情報ＩＤ」、「取得日時」、「ユーザＩＤ」の各項目は、図５で示した同一の項目に対応する。「推定情報」は、実施形態に係る推定処理によって推定されたユーザの感情に関する情報を示す。「感情」は、ユーザの感情を示す。

なお、図６に示す例では、「感情」の項目に記憶される情報として、「感情＃１」といった概念的な情報を示しているが、実際には、感情の項目には、「怒り」や「悲しみ」といった感情を示す情報や、「怒り」や「悲しみ」といった複数の感情に対応する各々の指標値（数値）によって示される情報等が記憶される。

すなわち、図６では、推定情報記憶部１２３が記憶する情報の一例として、音情報ＩＤ「Ａ０１」で識別される音情報Ａ０１は、取得日時「時間＃１」に取得（検知）された音情報であり、その音声の発声元は「ユーザＵ０２」であり、ユーザＵ０２に対して推定される感情は「感情＃１」であることを示している。

なお、図６では、音情報ごとにユーザの感情が推定される例を示したが、ユーザの感情は、所定時間ごと（例えば、１０分ごと等）に推定されてもよい。この場合、出力制御装置１００は、所定時間に取得された音情報において推定されたユーザの感情を総合して、所定時間におけるユーザの感情を推定する。例えば、出力制御装置１００は、ユーザの感情を数値化した場合には、各々の音情報において推定された数値を合算することにより、所定時間におけるユーザの感情を推定してもよい。

（出力情報記憶部１２４について）
出力情報記憶部１２４は、出力する情報（通知）に関する情報を記憶する。ここで、図７に、実施形態に係る出力情報記憶部１２４の一例を示す。図７は、実施形態に係る出力情報記憶部１２４の一例を示す図である。図７に示した例では、出力情報記憶部１２４は、「感情」、「出力情報」といった項目を有する。また、「出力情報」は、「光」、「音声」といった小項目を有する。

「感情」は、図６に示した同一の項目に対応する。「出力情報」は、ユーザ端末１０やスマートスピーカー５０において出力される具体的な情報を示す。「光」は、出力される光に関する情報を示す。「音声」は、出力される音声に関する情報を示す。なお、図７に示す例では、「音声」の項目に記憶される情報として、「メッセージ＃１」といった概念的な情報を示しているが、実際には、音声の項目には、具体的に再生されるメッセージの音声情報（例えば音声ファイル）等が記憶される。

すなわち、図７では、出力情報記憶部１２４が記憶する情報の一例として、感情「感情＃１」が推定されたユーザに対して出力される情報（通知）は、光であれば「寒色系」であり、音声であれば「メッセージ＃１」であることを示している。

なお、図７での図示を省略したが、出力情報記憶部１２４は、例えば、属性別に異なる出力情報を記憶していてもよい。例えば、出力情報記憶部１２４は、同一の感情に対しても、子供に対して出力される内容と大人に対して出力される内容とで異なる内容の出力情報を記憶していてもよい。また、出力情報記憶部１２４には、感情をユーザにレポートするためのひな形となるフォーマットや、テキストデータ等を記憶していてもよい。

（制御部１３０について）
図３に戻って説明を続ける。制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、出力制御装置１００内部の記憶装置に記憶されている各種プログラム（例えば、出力制御プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部１３０は、取得部１３１と、推定部１３２と、決定部１３３と、出力制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。また、制御部１３０が有する各処理部は、本願に係る出力制御プログラムによって実行される各手順に対応する。例えば、取得部１３１が実行する処理は、出力制御プログラムが出力制御装置１００に実行させる取得手順に対応する。同様に、推定部１３２が実行する処理は、出力制御プログラムが出力制御装置１００に実行させる判定手順に対応し、決定部１３３が実行する処理は、出力制御プログラムが出力制御装置１００に実行させる選択手順に対応し、出力制御部１３４が実行する処理は、出力制御プログラムが出力制御装置１００に実行させる出力制御手順に対応する。

（取得部１３１について）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、センサが検知した情報であるセンシング情報を取得する。具体的には、取得部１３１は、スマートスピーカー５０が有するセンサによって検知されたセンシング情報を、ネットワークＮを介してスマートスピーカー５０から取得する。

例えば、取得部１３１は、センサが検知した情報であって、ユーザが発声した音声に関する情報である音情報を取得する。また、取得部１３１は、ユーザが発した音声に関する音情報とともに、当該ユーザの属性情報を取得してもよい。例えば、取得部１３１は、スマートスピーカー５０にユーザの属性情報が登録されており、音情報とともに、当該音情報を発声したユーザの属性情報がスマートスピーカー５０によって特定されている場合には、属性情報をスマートスピーカー５０から取得する。また、取得部１３１は、取得した音情報から属性情報が推定可能な場合には、所定の推定処理を実行し、音情報に対応する属性情報を取得してもよい。例えば、取得部１３１は、ユーザが発した音声から属性（性別や年齢）を推定するための既存の学習モデルを利用し、取得した音情報に対応する属性情報を推定してもよい。

なお、取得部１３１は、属性情報として、ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つを取得する。例えば、取得部１３１は、スマートスピーカー５０に登録された居住地や、スマートスピーカー５０が検知した位置情報に基づいて、ユーザの居住地を取得する。また、取得部１３１は、例えば、スマートスピーカー５０に登録された家族構成における続柄に基づいて、ユーザの家族構成における続柄を取得する。

また、取得部１３１は、音情報として、スマートスピーカー５０に対して音が発せられた方向、音源までの距離、音の波形、音の音量（音圧）等を取得してもよい。また、取得部１３１は、音情報として、音圧レベルや、周波数や、推定される音源の数（音情報を構成していると推定されるユーザや機器の数）等を取得してもよい。これらの音情報の取得について、取得部１３１は、適宜、既知の解析技術を利用して音情報を取得するようにしてもよい。

さらに、取得部１３１は、スマートスピーカー５０の周囲の温度、湿度情報、環境光の強さを示す光情報等を取得してもよい。また、取得部１３１は、スマートスピーカー５０が備えるカメラで撮影された写真や映像に基づいて、スマートスピーカー５０の周囲の環境情報を取得してもよい。例えば、取得部１３１は、カメラで撮影された画像情報や、画像情報に含まれる位置情報、撮影された日時等に基づいて、スマートスピーカー５０の周囲の環境情報を取得する。また、取得部１３１は、ユーザが発した音声に限らず、例えば、テレビやラジオ等から出力された音声に関する音情報を取得してもよい。

また、取得部１３１は、ユーザが利用する装置に関する情報を取得してもよい。例えば、取得部１３１は、ユーザが利用するユーザ端末１０やスマートスピーカー５０自体の情報を取得する。例えば、取得部１３１は、スマートスピーカー５０自体のデバイス情報として、スマートスピーカー５０のＣＰＵや、ＯＳ（Operating System）、メモリ等に関する情報、アンテナ等のネットワーク機能、インストールされたソフトウェア、スマートスピーカー５０が備える入力手段等の情報を取得してもよい。

また、取得部１３１は、スマートスピーカー５０の動作状況を取得してもよい。例えば、取得部１３１は、スマートスピーカー５０が起動状態にあるか否か、また、起動状態であれば、画面のＯＮ／ＯＦＦの状態や、スマートスピーカー５０が移動／静止している状態か等の情報を取得する。

また、取得部１３１は、スマートスピーカー５０と通信する外部装置に関する情報として、スマートスピーカー５０と相互の通信状態にある外部装置を識別する情報や、確立している通信の種類や周波数帯域等を取得してもよい。

また、取得部１３１は、ユーザの行動に関する情報を取得してもよい。例えば、取得部１３１は、ユーザがスマートスピーカー５０を利用して視聴した音楽（曲）の情報や、検索サービスに送信したクエリの情報等を取得してもよい。

また、取得部１３１は、音声を発したユーザとは異なるユーザである第２ユーザが利用するユーザ端末１０に関する情報を取得してもよい。例えば、取得部１３１によって取得された情報は、音声を発したユーザとは異なるユーザであって、音声を発したユーザの感情をレポート等によって知得することを所望するユーザへの通知に利用される。例えば、図１に示した例で説明すると、取得部１３１は、音声を発したユーザＵ０２やユーザＵ０３とは異なるユーザであるユーザＵ０１が利用するユーザ端末１０に関する情報を取得する。例えば、取得部１３１は、スマートスピーカー５０に登録されている情報を参照し、現時点で音声を発しているユーザがユーザＵ０２やユーザＵ０３であると判定する。この場合、取得部１３１は、第２ユーザとして、ユーザＵ０１が利用する端末として設定されているユーザ端末１０を特定し、特定したユーザ端末１０に関する情報を取得する。後述する出力制御部１３４は、特定されたユーザＵ０１のユーザ端末１０に通知を出力するよう制御する。

なお、取得部１３１は、スマートスピーカー５０から送信される各種情報を取得してもよいし、定期的にスマートスピーカー５０をクロール（crawl）することで、スマートスピーカー５０内に保持されている各種情報を取得してもよい。

取得部１３１は、取得した情報を記憶部１２０内の各記憶部に格納する。また、取得部１３１は、記憶部１２０内に既に格納されている情報を適宜取得してもよい。

（推定部１３２について）
推定部１３２は、取得部１３１によって取得された音情報に基づいて、音声を発したユーザの感情を推定する。例えば、推定部１３２は、取得部１３１によって取得された音情報から抽出される音響的特徴情報をサポートベクタマシン等に学習させることによって、ユーザの感情を推定する。

また、推定部１３２は、例えばユーザごとに、所定の学習モデルを生成してもよい。また、推定部１３２は、推定した感情に関するフィードバックをユーザから受け付け、受け付けた情報を正解データとして、さらに学習を繰り返してもよい。

また、推定部１３２は、属性情報を利用して感情を推定してもよい。例えば、推定部１３２は、年齢や性別の共通する複数のユーザから取得したサンプルを学習し、各属性情報に対応したモデルを生成してもよい。

（決定部１３３について）
決定部１３３は、推定部１３２によって推定された感情に基づいて、出力する通知を決定する。具体的には、決定部１３３は、推定部１３２によって推定された感情に基づいて、出力先となる装置を決定したり、通知の内容を決定したりする。

例えば、決定部１３３は、出力先の装置の出力態様に応じて、出力する通知を決定する。具体的には、決定部１３３は、出力先の装置が光を発する機能を有する場合には、光を発するような通知が出力可能であると判定し、通知の内容を光に決定する。

また、決定部１３３は、出力先の装置が音声を発する機能を有する場合には、音声を発するような通知が出力可能であると判定し、通知の内容を音声に決定する。なお、決定部１３３は、通知を光と音声をともに発するような内容に決定してもよい。

また、決定部１３３は、感情を推定したユーザではなく、当該ユーザとは異なる第２ユーザに通知を行う場合には、例えば、推定した感情の内容を示したレポートを出力させることを決定する。

なお、決定部１３３は、出力する通知として、広告やレコメンドを有している場合には、推定した感情と、広告やレコメンドに設定されているターゲティング情報等に基づいて、出力する通知を決定してもよい。この場合、決定部１３３は、例えば、インターネット広告におけるターゲティングの手法を応用して、ユーザに送信する広告やレコメンドを選択してもよい。具体的には、決定部１３３は、推定部１３２によって推定された感情やユーザの属性情報と、予め広告やレコメンドに設定されているターゲティング情報（例えば、陽気な感情を有する２０歳代男性ユーザに優先的に配信する、といった設定がなされた情報）とマッチングさせる。そして、決定部１３３は、ユーザへの通知として、マッチングスコアの高い広告やレコメンドを優先的に決定する。

（出力制御部１３４について）
出力制御部１３４は、推定部１３２によって推定されたユーザの感情に応じた通知を出力するよう制御する。具体的には、出力制御部１３４は、決定部１３３によって決定された通知の内容や態様に基づいて、ユーザ端末１０やスマートスピーカー５０から（より具体的には、ユーザ端末１０やスマートスピーカー５０が有するスピーカー等の出力部から）、ユーザの感情に応じた通知を出力するよう制御する。例えば、出力制御部１３４は、出力させる装置に対応した態様で通知を出力させるよう制御する。具体的には、出力制御部１３４は、スマートスピーカー５０に対しては、音声の態様で通知を出力する。また、出力制御部１３４は、ユーザ端末１０に対しては、画面表示や音声の態様で通知を出力する。

例えば、出力制御部１３４は、通知として、ユーザが利用する装置から、所定の色を伴う光を出力するよう制御する。例えば、出力制御部１３４は、ユーザの感情に応じて、寒色系の色や、あるいは暖色系の色を伴う光を出力するよう制御する。

また、出力制御部１３４は、通知として、ユーザが利用する装置から、推定部１３２によって推定されたユーザの感情に応じた文字情報もしくは音情報を出力するよう制御する。例えば、出力制御部１３４は、推定された感情に応じて予め生成されているメッセージ等をユーザ端末１０の画面に表示したり、音声ファイルをユーザ端末１０やスマートスピーカー５０に再生したりするよう制御する。

また、出力制御部１３４は、取得部１３１によって取得されたユーザの属性情報に応じた通知を出力するよう制御してもよい。具体的には、出力制御部１３４は、ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つの情報に応じた通知を出力するよう制御する。例えば、出力制御部１３４は、年齢や性別に応じて異なる内容のメッセージが含まれる通知を出力するよう制御する。

また、出力制御部１３４は、音声を発したユーザとは異なるユーザである第２ユーザが利用するユーザ端末１０に関する情報に基づいて、音声を発したユーザに対して推定された感情に応じた通知を、第２ユーザが利用する端末装置に出力するよう制御してもよい。例えば、図１で示した例では、出力制御部１３４は、自宅Ｈ０１に所在するユーザＵ０２やユーザＵ０３に対して推定された感情に関する通知（レポート）を、ユーザＵ０１が利用するユーザ端末１０に出力するよう制御する。

〔４．スマートスピーカーの構成〕
次に、図８を用いて、実施形態に係るスマートスピーカー５０の構成について説明する。図８は、実施形態に係るスマートスピーカー５０の構成例を示す図である。図８に示すように、スマートスピーカー５０は、通信部１１と、入力部１２と、出力部１３と、検知部１４と、記憶部１５と、制御部１６とを有する。

通信部１１は、ネットワークＮと有線又は無線で接続され、ユーザ端末１０や出力制御装置１００との間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ等によって実現される。

入力部１２は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部１２は、スマートスピーカー５０に備えられた操作キー等によって実現される。

出力部１３は、各種情報を表示するための表示装置である。例えば、出力部１３は、液晶ディスプレイ等によって実現される。なお、スマートスピーカー５０にタッチパネルが採用される場合には、入力部１２の一部と出力部１３とは一体化される。また、出力部１３は、音声出力を行う装置（例えばスピーカー）であってもよい。また、出力部１３は、様々な色を表示する発光機能を有するパネル等であってもよい。

なお、スマートスピーカー５０は、物理的な入力部１２や出力部１３を有しなくてもよい。例えば、入力部１２は、物理的な操作キーではなく、検知部１４によって検知される音声を入力として受け付けるものであってもよい。

検知部１４は、スマートスピーカー５０に関する各種情報を検知する。具体的には、検知部１４は、各種センサであり、ユーザが発する音声や、スマートスピーカー５０の周囲の環境音を検知する。例えば、検知部１４は、マイクロフォン等の集音手段であり、音が入力された場合に、その音を音情報として取得する。

また、検知部１４は、スマートスピーカー５０に対するユーザの操作や、スマートスピーカー５０の所在する位置情報や、スマートスピーカー５０と接続されている機器に関する情報や、スマートスピーカー５０における環境等を検知してもよい。

例えば、検知部１４は、入力部１２に入力された情報に基づいて、ユーザの操作を検知する。すなわち、検知部１４は、スマートスピーカー５０に触れるというユーザからの操作があったことや、音声の入力があったこと等を検知する。

また、検知部１４は、ネットワークＮを介して、ユーザ端末１０で動作するアプリであって、スマートスピーカー５０を動作させるためのアプリによる操作を検知してもよい。かかるアプリがスマートスピーカー５０内の撮像機能（例えばカメラ）を動作させるアプリである場合、検知部１４は、ユーザによって撮像機能が利用されていることを検知する。

また、検知部１４は、スマートスピーカー５０内に備えられた加速度センサやジャイロセンサ等で検知されたデータに基づき、スマートスピーカー５０自体が動かされているといった操作を検知してもよい。

また、検知部１４は、スマートスピーカー５０の現在位置を検知してもよい。具体的には、検知部１４は、ＧＰＳ衛星から送出される電波を受信し、受信した電波に基づいてスマートスピーカー５０の現在位置を示す位置情報（例えば、緯度及び経度）を取得する。また、位置情報は、スマートスピーカー５０が備える光学式センサや、赤外線センサや、磁気センサ等によって取得されてもよい。

また、検知部１４は、スマートスピーカー５０に接続される外部装置（ユーザ端末１０等）を検知してもよい。例えば、検知部１４は、外部装置との相互の通信パケットのやり取りなどに基づいて、外部装置を検知する。そして、検知部１４は、検知した外部装置をスマートスピーカー５０と接続される端末として認識する。また、検知部１４は、外部装置との接続の種類を検知してもよい。例えば、検知部１４は、外部装置と有線で接続されているか、無線通信で接続されているかを検知する。また、検知部１４は、無線通信で用いられている通信方式等を検知してもよい。また、検知部１４は、外部装置が発する電波を検知する電波センサや、電磁波を検知する電磁波センサ等によって取得される情報に基づいて、外部装置を検知してもよい。

なお、スマートスピーカー５０が外部機器と接続される場合、ユーザからの音声は、外部機器によって検知されてもよい。外部機器とは、例えば、音声アシスト機能を有する家電等であり、スマートスピーカー５０や出力制御装置１００と通信可能なスマート機器である。

また、検知部１４は、スマートスピーカー５０における周囲の環境を検知してもよい。検知部１４は、スマートスピーカー５０に備えられた各種センサや機能を利用し、環境に関する情報を検知する。例えば、検知部１４は、スマートスピーカー５０の周囲の照度を検知する照度センサや、スマートスピーカー５０の物理的な動きを検知する加速度センサ（又は、ジャイロセンサなど）や、スマートスピーカー５０の周囲の湿度を検知する湿度センサや、スマートスピーカー５０の所在位置における磁場を検知する地磁気センサ等を利用する。そして、検知部１４は、各種センサを用いて、種々の情報を検知する。例えば、検知部１４は、スマートスピーカー５０の周囲における騒音レベルや、スマートスピーカー５０の周囲が撮像に適する照度であるか等を検知する。さらに、検知部１４は、カメラで撮影された写真や映像に基づいて周囲の環境情報を検知してもよい。

記憶部１５は、各種情報を記憶する。記憶部１５は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部１５は、検知部１４によって検知された音情報を、各情報が検知された日時と対応付けて記憶する。

制御部１６は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、スマートスピーカー５０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１６は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図８に示すように、制御部１６は、取得部１６１と、送信部１６２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１６の内部構成は、図８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部１６１は、各種情報を取得する。例えば、取得部１６１は、検知部１４を制御することにより、検知部１４によって検知される各種情報を取得する。具体的には、取得部１６１は、ユーザが発した音声やスマートスピーカー５０の周囲の環境音等を含む音情報を取得する。

取得部１６１は、所定の時間毎に音情報を取得するようにしてもよい。例えば、取得部１６１は、上述した検知部１４を制御することにより、音情報を取得する。取得部１６１は、例えば、所定時間ごと（３秒ごとや、５秒ごとや、１０秒ごと等）の長さの音情報を取得する。あるいは、取得部１６１は、検知部１４によってユーザからの音声入力が継続して検知される場合には、ユーザが発した音声に対応した長さの音情報を取得する。なお、取得部１６１が取得する音情報の長さは、出力制御装置１００によって設定されてもよい。

送信部１６２は、各種情報を送信する。例えば、送信部１６２は、出力制御装置１００からの要求に応じて、取得部１６１によって取得された音情報を出力制御装置１００に送信する。

〔５．処理手順〕
次に、図９を用いて、実施形態に係る出力制御装置１００による処理の手順について説明する。図９は、実施形態に係る処理手順を示すフローチャートである。

図９に示すように、出力制御装置１００は、スマートスピーカー５０から音情報を取得する（ステップＳ１０１）。続けて、出力制御装置１００は、音情報から、音情報に含まれる音声を発したユーザの感情を推定する（ステップＳ１０２）。

その後、出力制御装置１００は、所定の通知がスマートスピーカー５０から出力可能であるか否かを判定する（ステップＳ１０３）。言い換えれば、出力制御装置１００は、スマートスピーカー５０から出力が可能である通知の種類（光や音声等の態様）を判定する。

所定の通知がスマートスピーカー５０から出力可能である場合（ステップＳ１０３；Ｙｅｓ）、出力制御装置１００は、スマートスピーカー５０へ出力する通知を決定する（ステップＳ１０４）。そして、出力制御装置１００は、通知を送信するとともに、スマートスピーカー５０への出力を制御する（ステップＳ１０５）。なお、所定の通知がスマートスピーカー５０から出力可能でない場合（ステップＳ１０３；Ｎｏ）、出力制御装置１００は、スマートスピーカー５０から通知を出力させなくてもよい。

また、出力制御装置１００は、音声を取得したスマートスピーカー５０について、ユーザ端末１０への通知設定の登録がなされているか否かを判定する（ステップＳ１０６）。

ユーザ端末１０への通知設定がなされている場合（ステップＳ１０６；Ｙｅｓ）、出力制御装置１００は、ユーザ端末１０へ出力する通知を決定する（ステップＳ１０７）。そして、出力制御装置１００は、通知を送信するとともに、ユーザ端末１０への出力を制御する（ステップＳ１０８）。なお、ユーザ端末１０への通知設定がなされていない場合（ステップＳ１０６；Ｎｏ）、出力制御装置１００は、ユーザ端末１０から通知を出力させなくてもよい。

〔６．変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてもよい。以下では、出力制御装置１００又は出力制御システム１の他の実施形態（変形例）について説明する。

〔６−１．複数のユーザに対する推定処理〕
上述した実施形態では、出力制御装置１００が、一の音情報に基づいて、一のユーザの感情を推定する処理を行う例を示した。ここで、出力制御装置１００は、複数の音情報に基づいて、複数のユーザが共通して有する感情を推定してもよい。

すなわち、出力制御装置１００は、複数のユーザの各々の音情報を取得し、複数のユーザの各々の音情報に基づいて、複数のユーザが共通して有する感情を推定する。そして、出力制御装置１００は、推定した複数のユーザが共通して有する感情に応じた通知を出力するよう制御する。

具体的には、出力制御装置１００は、取得した各々の音情報において推定されたユーザの感情を総合して、同時に取得された各々の音情報において発声している各ユーザの感情を推定する。例えば、出力制御装置１００は、ユーザの感情を数値化して推定処理を行っている場合には、各々の音情報において推定された数値を合算することにより、各々の音情報に対応する複数のユーザが共通して有する感情を推定する。

これにより、出力制御装置１００は、個々のユーザの感情のみならず、その場に居合わせた複数のユーザが共通して感じている感情を推定することができる。そして、出力制御装置１００は、推定した感情に応じた通知を行う。これにより、出力制御装置１００は、複数のユーザが居合わせた場であっても、その場の状況に応じた適切な通知を行うことができる。

〔６−２．動作に関する音情報〕
出力制御装置１００は、ユーザの音声に限らず、様々な音に関する情報を取得し、取得した情報に基づいて推定処理を行ってもよい。

例えば、出力制御装置１００は、ユーザの行動によって発生した音を含む音情報を取得し、取得した音情報に基づいてユーザの感情を推定してもよい。

具体的には、出力制御装置１００は、スマートスピーカー５０に登録されたユーザであって、日常の行動から発せられる音が継続的に取得されているユーザに関する行動によって発生する音情報を取得する。より具体的には、出力制御装置１００は、ユーザの足音や、ユーザが戸を閉める際に発生させる音や、物を片付ける際に発生させる音等の情報を取得する。そして、出力制御装置１００は、それらの音情報と、日常的に観測される音との比較に基づいて、ユーザの感情を推定する。例えば、出力制御装置１００は、日常よりも足音が大きかったり、戸を閉める際に発生させる音が大きかったりする場合には、音を発生させたユーザが怒り等の感情を有していると推定してもよい。また、かかる推定処理にも、例えば、足音からユーザを推定する既知の技術等が応用されてもよい。

このように、出力制御装置１００は、音声のみならず、ユーザの行動によって発生した音を含む音情報に基づいてユーザの感情を推定してもよい。これにより、出力制御装置１００は、感情の推定の精度を向上させることができる。

〔６−３．出力制御装置〕
上記実施形態では、出力制御装置１００は、スマートスピーカー５０と通信するサーバ装置である例を示した。しかし、出力制御装置１００が実行する出力制御処理を行う装置は、スマートスピーカー５０やユーザ端末１０であってもよい。この場合、スマートスピーカー５０やユーザ端末１０は、図３に示した各処理部を備える。また、出力制御処理を実行するスマートスピーカー５０やユーザ端末１０は、ネットワークＮを介して、他のスマートスピーカー５０が検知した音情報を取得してもよい。

すなわち、実施形態に係る出力制御処理を行う装置は出力制御装置１００に限られず、センサが検知した情報である音情報を取得し、音情報の統計に基づいてセンサを有する装置を利用するユーザの感情を推定することが可能な装置であれば、いずれの装置によって実現されてもよい。言い換えれば、実施形態に係る出力制御プログラムは、出力制御装置１００に限らず、ユーザ端末１０やスマートスピーカー５０内部で実行されてもよい。例えば、スマートスピーカー５０が実施形態に係る出力制御処理を行う場合、通知は、ユーザが利用するユーザ端末１０や、スマートスピーカー５０が有する出力部１３から出力される。

〔６−４．スマートスピーカーの構成〕
上記実施形態では、スマートスピーカー５０の構成例について図８を用いて説明した。しかし、スマートスピーカー５０は、図８で例示した全ての処理部を備えることを必ずしも要しない。また、スマートスピーカー５０は、２以上の機器に分離されて図８を示す構成が実現されてもよい。例えば、スマートスピーカー５０は、少なくとも検知部１４を有する音声検知装置と、少なくとも通信部１１を有する通信装置とに分離された構成を有する、２台以上の機器により実現されてもよい。なお、ユーザ端末１０も、図８で示したスマートスピーカー５０と同様の構成を備えていてもよい。

〔６−５．通知の効果測定〕
出力制御装置１００は、ユーザに送信した通知の効果を測定してもよい。例えば、出力制御装置１００は、ユーザの所定の行動が、通知を視聴したと推定される行動であるか否かに基づいて、ユーザに提供された通知の効果を測定する。具体的には、出力制御装置１００は、配信された通知に対して、ユーザが何らかの音声を発したという行動に基づいて、通知の効果を測定する。より具体的には、出力制御装置１００は、通知の出力後に、ユーザの感情が変化した等の状況が観測された場合に、当該通知が効果を発揮したと判定してもよい。

また、出力制御装置１００は、通知が広告やレコメンドである場合、通知の出力後に、通知に係る商品名や、商品をほめる言葉や、商品に関心を示す言葉等をユーザがつぶやいた場合に、当該通知がユーザに対して効果を発揮したと判定してもよい。

また、出力制御装置１００は、ユーザの所定の行動が、通知に関するコンバージョンと成り得るか否かに基づいて、ユーザに対して出力された通知の効果を測定してもよい。コンバージョンは、例えば、ユーザが通知で宣伝された商品を購入したり、申込みを行ったり、資料請求を行ったり、通知の提供主のウェブページにアクセスしたりした行動等が該当する。

そして、出力制御装置１００は、ユーザに対して出力された通知の数や、通知に対してツイートやつぶやきがあった割合（ツイート率）や、通知に対してコンバージョンがあった割合（ＣＶＲ）等を記憶部１２０に格納してもよい。なお、出力制御装置１００は、測定処理の際に、当該ユーザの性別や年齢等の属性に関する情報を取得してもよい。これにより、出力制御装置１００は、例えば、通知が特に効果を発揮する年代や性別等に関する情報についても合わせて測定することができる。

〔７．ハードウェア構成〕
上述してきた実施形態に係る出力制御装置１００や、ユーザ端末１０や、スマートスピーカー５０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、出力制御装置１００を例に挙げて説明する。図１０は、出力制御装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read only memory）１３００、ＨＤＤ（Hard disk drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を記憶する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（図２に示したネットワークＮに対応）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５００を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に記憶されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る出力制御装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラム（例えば、実施形態に係る出力制御プログラム）を実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図３に示した決定部１３３と、出力制御部１３４とは統合されてもよい。また、例えば、記憶部１２０に記憶される情報は、ネットワークＮを介して、外部に備えられた記憶装置に記憶されてもよい。

また、例えば、上記実施形態では、出力制御装置１００が、ユーザから音情報を取得する取得処理と、ユーザの感情を推定する推定処理と、通知の出力を制御する出力制御処理とを行う例を示した。しかし、上述した出力制御装置１００は、取得処理を行う取得装置と、推定処理を行う推定装置と、出力制御処理を行う出力制御装置とに分離されてもよい。この場合、例えば、実施形態に係る出力制御装置１００による処理は、取得装置と、推定装置と、出力制御装置といった各装置を有する出力制御システム１によって実現される。

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔９．効果〕
上述してきたように、実施形態に係る出力制御装置１００は、取得部１３１と、推定部１３２と、出力制御部１３４とを有する。取得部１３１は、センサが検知した情報であって、ユーザが発声した音声に関する情報である音情報を取得する。推定部１３２は、取得部１３１によって取得された音情報に基づいて、音声を発したユーザの感情を推定する。出力制御部１３４は、推定部１３２によって推定されたユーザの感情に応じた通知を出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、音情報に基づいてユーザの感情を推定するとともに、推定した感情に応じた通知を出力するなどの情報処理を行う。例えば、出力制御装置１００は、ユーザの自宅における何気ない会話や、家族間の会話等に含まれる音声等に基づいて、ユーザの感情を推定することができる。このため、出力制御装置１００は、様々な状況におけるユーザの感情を推定し、また、推定した情報に基づく情報処理を行うことができる。

また、出力制御部１３４は、通知として、推定部１３２によって推定されたユーザの感情に応じた所定の色を伴う光をユーザが利用する装置から出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、感情に応じた色を発する光を出力させる。これにより、出力制御装置１００は、ユーザの感情に応じた注意喚起等を適切に行うことができる。

また、出力制御部１３４は、通知として、推定部１３２によって推定されたユーザの感情に応じた文字情報もしくは音情報をユーザが利用する装置から出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、文字情報や音情報等のレポートをユーザ端末１０等に出力してもよい。これにより、ユーザは、例えば、自身の過去の発言がどのような感情の元で行われていたかを客観的に判断したり、自身の発言が他者にどのような印象を与えていたかなどの分析を行ったりすることができる。すなわち、出力制御装置１００は、ユーザに有用な情報を提供することができる。

また、取得部１３１は、ユーザが発した音声に関する音情報とともに、当該ユーザの属性情報を取得する。出力制御部１３４は、取得部１３１によって取得されたユーザの属性情報に応じた通知を出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、属性に応じた通知を出力してもよい。これにより、出力制御装置１００は、子供に対しては優しい注意喚起の通知を行い、大人に対しては厳しい注意喚起の通知を行うなど、柔軟な対応を行うことができる。

また、取得部１３１は、属性情報として、ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つを取得する。出力制御部１３４は、ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つの情報に応じた通知を出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、属性情報として種々の情報を取得する。これにより、出力制御装置１００は、各々のユーザに合わせた適切な通知を出力することができる。

また、取得部１３１は、音声を発したユーザとは異なるユーザである第２ユーザが利用する装置に関する情報を取得する。出力制御部１３４は、音声を発したユーザに対して推定された感情に応じた通知を、第２ユーザが利用する装置に出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、実際に音声を発したユーザ以外の第２ユーザに通知を行ってもよい。これにより、出力制御装置１００は、例えば、親が在宅していない間の子供の状況（感情）を親に通知することができるなど、有用な情報を提供することができる。

また、取得部１３１は、複数のユーザの各々の音情報を取得する。推定部１３２は、複数のユーザの各々の音情報に基づいて、複数のユーザが共通して有する感情を推定する。出力制御部１３４は、推定部１３２によって推定された複数のユーザが共通して有する感情に応じた通知を出力するよう制御する。

このように、実施形態に係る出力制御装置１００は、個々のユーザのみならず、複数の音情報から、その場に居合わせた複数のユーザの感情を推定してもよい。これにより、出力制御装置１００は、場に適した通知を行うことができる。

また、取得部１３１は、ユーザの行動によって発生した音を含む音情報を取得する。推定部１３２は、ユーザの行動によって発生した音を含む音情報に基づいて、当該ユーザの感情を推定する。

このように、実施形態に係る出力制御装置１００は、ユーザの発声による音声のみならず、行動によって発生した音に基づいた推定を行ってもよい。これにより、出力制御装置１００は、感情の推定処理の精度を向上させることができる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 出力制御システム
１０ ユーザ端末
５０ スマートスピーカー
１００ 出力制御装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ 音情報記憶部
１２３ 推定情報記憶部
１２４ 出力情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 決定部
１３４ 出力制御部

Claims (11)

1. 複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報、及び、ユーザの行動によって発生した音を含む音情報を取得する取得部と、
   前記取得部によって取得された前記ユーザの行動によって発生した音を含む音情報に基づいて、前記音声を発したユーザの感情を推定する推定部と、
   前記推定部によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御部と、
   を備え、
   前記取得部は、
   前記ユーザの日常の行動から発せられる音を継続的に取得し、
   前記推定部は、
   前記ユーザの日常の行動から発せられる音と、当該ユーザの行動によって発生した音を含む音情報との比較に基づいて、当該ユーザの感情を推定する、
   ことを特徴とする出力制御装置。
2. 複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報である音情報を取得する取得部と、
   前記取得部によって取得された音情報に基づいて、前記音声を発したユーザの感情を推定する推定部と、
   前記推定部によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御部と、
   を備え、
   前記取得部は、
   前記出力制御部によって通知が出力されたのちにユーザが発生した音声をさらに取得し、
   前記推定部は、
   前記出力制御部によって通知が出力される前にユーザが発生した音声に基づいて推定された感情と、前記出力制御部によって通知が出力されたのちにユーザが発生した音声に基づいて推定された感情との変化に基づいて、当該通知の効果を測定する、
   ことを特徴とする出力制御装置。
3. 前記出力制御部は、
   前記通知として、前記推定部によって推定されたユーザの感情に応じた所定の色を伴う光を前記ユーザが利用する装置から出力するよう制御する、
   ことを特徴とする請求項１又は２に記載の出力制御装置。
4. 前記出力制御部は、
   前記通知として、前記推定部によって推定されたユーザの感情に応じた文字情報もしくは音情報を前記ユーザが利用する装置から出力するよう制御する、
   ことを特徴とする請求項１〜３のいずれか一つに記載の出力制御装置。
5. 前記取得部は、
   前記ユーザが発した音声に関する音情報とともに、当該ユーザの属性情報を取得し、
   前記出力制御部は、
   前記取得部によって取得されたユーザの属性情報に応じた前記通知を出力するよう制御する、
   ことを特徴とする請求項１〜４のいずれか一つに記載の出力制御装置。
6. 前記取得部は、
   前記属性情報として、前記ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つを取得し、
   前記出力制御部は、
   前記ユーザの性別、年齢、居住地、又は、家族構成における続柄の少なくとも一つの情報に応じた前記通知を出力するよう制御する、
   ことを特徴とする請求項５に記載の出力制御装置。
7. 前記取得部は、
   複数のユーザの各々の音情報を取得し、
   前記推定部は、
   前記複数のユーザの各々の音情報に基づいて、前記複数のユーザが共通して有する感情を推定し、
   前記出力制御部は、
   前記推定部によって推定された前記複数のユーザが共通して有する感情に応じた通知を出力するよう制御する、
   ことを特徴とする請求項１〜６のいずれか一つに記載の出力制御装置。
8. コンピュータが実行する出力制御方法であって、
   複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報、及び、ユーザの行動によって発生した音を含む音情報を取得する取得工程と、
   前記取得工程によって取得された前記ユーザの行動によって発生した音を含む音情報に基づいて、前記音声を発したユーザの感情を推定する推定工程と、
   前記推定工程によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御工程と、
   を含み、
   前記取得工程は、
   前記ユーザの日常の行動から発せられる音を継続的に取得し、
   前記推定工程は、
   前記ユーザの日常の行動から発せられる音と、当該ユーザの行動によって発生した音を含む音情報との比較に基づいて、当該ユーザの感情を推定する、
   ことを特徴とする出力制御方法。
9. 複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報、及び、ユーザの行動によって発生した音を含む音情報を取得する取得手順と、
   前記取得手順によって取得された前記ユーザの行動によって発生した音を含む音情報に基づいて、前記音声を発したユーザの感情を推定する推定手順と、
   前記推定手順によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御手順と、
   をコンピュータに実行させ、
   前記取得手順は、
   前記ユーザの日常の行動から発せられる音を継続的に取得し、
   前記推定手順は、
   前記ユーザの日常の行動から発せられる音と、当該ユーザの行動によって発生した音を含む音情報との比較に基づいて、当該ユーザの感情を推定する、
   ことを特徴とする出力制御プログラム。
10. コンピュータが実行する出力制御方法であって、
    複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報である音情報を取得する取得工程と、
    前記取得工程によって取得された音情報に基づいて、前記音声を発したユーザの感情を推定する推定工程と、
    前記推定工程によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御工程と、
    を含み、
    前記取得工程は、
    前記出力制御工程によって通知が出力されたのちにユーザが発生した音声をさらに取得し、
    前記推定工程は、
    前記出力制御工程によって通知が出力される前にユーザが発生した音声に基づいて推定された感情と、前記出力制御工程によって通知が出力されたのちにユーザが発生した音声に基づいて推定された感情との変化に基づいて、当該通知の効果を測定する、
    ことを特徴とする出力制御方法。
11. 複数のユーザが居住する空間内に設置された装置が有するセンサが検知した当該空間内の情報であって、ユーザが発声した音声に関する情報である音情報を取得する取得手順と、
    前記取得手順によって取得された音情報に基づいて、前記音声を発したユーザの感情を推定する推定手順と、
    前記推定手順によって推定されたユーザの感情に応じた通知を、前記ユーザとは異なるユーザであって、前記空間に居住し、通知先として予め設定されたユーザが利用する装置に出力するよう制御する出力制御手順と、
    をコンピュータに実行させ、
    前記取得手順は、
    前記出力制御手順によって通知が出力されたのちにユーザが発生した音声をさらに取得し、
    前記推定手順は、
    前記出力制御手順によって通知が出力される前にユーザが発生した音声に基づいて推定された感情と、前記出力制御手順によって通知が出力されたのちにユーザが発生した音声に基づいて推定された感情との変化に基づいて、当該通知の効果を測定する、
    ことを特徴とする出力制御プログラム。

Images