JP7001627B2 - 感情特定装置、感情特定方法及びメッセージ出力システム - Google Patents

Description

本発明は、人の感情を特定する感情特定装置及び感情特定方法、並びに特定した感情に基づいて作成したメッセージを出力するメッセージ出力システムに関する。

従来、人の感情を特定する技術が知られている。非特許文献１には、送信した電波が人に当たって反射した反射波の波形に基づいて人の感情を特定する技術が開示されている。

Mingmin Zhao, Fadel Adib, Dina Katabi, "Emotion Recognition using Wireless Signals," MobiCom’16, October 03 - 07, 2016, New York City, NY, USA

従来の技術を用いることで、特定の人に電波を照射することにより、電波を照射した人の感情を特定することはできる。しかしながら、電波が届く範囲内に複数の人がいる場合、どの人がどのような感情を持っているかを特定することができないという問題が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、複数の人の感情を特定することができる感情特定装置、感情特定方法及びメッセージ出力システムを提供することを目的とする。

本発明の第１の態様の感情特定装置は、建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定する滞在エリア特定部と、前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得する反射波データ取得部と、前記反射波データ取得部が取得した前記反射波データに含まれる複数の信号成分を分離する分離部と、前記分離部が分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定する到来エリア特定部と、前記滞在エリア特定部が特定した前記複数の人それぞれがいるエリアと、前記到来エリア特定部が特定した前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定する信号特定部と、前記信号特定部が特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定する感情特定部と、を有する。

前記滞在エリア特定部は、前記建物内が撮影された複数の撮影画像に含まれる人の画像と、予め登録された前記複数の人の画像とを比較することにより、前記複数の人のいずれかが滞在しているエリアを特定してもよい。

前記滞在エリア特定部は、前記建物内の複数のエリアそれぞれで発せられた確認用音声に対する返答に含まれる音声と、予め登録された前記複数の人の音声とを比較した結果に基づいて、前記複数の人のいずれかが滞在しているエリアを特定してもよい。

前記滞在エリア特定部は、同一のエリアに滞在している複数の人の行動内容を、時刻に関連付けてさらに特定し、前記信号特定部は、前記滞在エリア特定部が特定した前記複数の人それぞれの前記行動内容に基づいて、前記同一のエリアから到来したと特定した信号成分に含まれる複数の反射波が前記複数の人のうちどの人に対応するかを特定してもよい。

前記感情特定部が特定した前記複数の人それぞれの感情に基づいて、前記複数の人それぞれに対して提供するメッセージの内容を決定するメッセージ決定部と、前記メッセージ決定部が決定した内容を示すデータを、前記複数の人にメッセージを提供するメッセージ出力装置に送信する送信部と、をさらに有してもよい。

前記送信部は、前記メッセージ決定部が決定した前記メッセージを含む音声データを、音声を発する前記メッセージ出力装置に送信してもよい。

前記到来エリア特定部は、入力された前記信号成分に対応するエリアを示すエリア情報を出力する機械学習モデルに前記反射波に含まれる前記複数の信号成分を入力することにより前記機械学習モデルから出力される前記エリア情報に基づいて、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定してもよい。

本発明の第２の態様の感情特定方法は、コンピュータが実行する、建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定するステップと、前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得するステップと、取得した前記反射波データに含まれる複数の信号成分を分離するステップと、分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定するステップと、前記複数の人それぞれがいるエリアと、前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定するステップと、特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定するステップと、を有する。

本発明の第３の態様のメッセージ出力システムは、建物内にいる複数の人に対するメッセージを出力するメッセージ出力装置と、前記複数の人の感情を特定する感情特定装置と、を備える。前記感情特定装置は、建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定する滞在エリア特定部と、前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得する反射波データ取得部と、前記反射波データ取得部が取得した前記反射波に含まれる複数の信号成分を分離する分離部と、前記分離部が分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定する到来エリア特定部と、前記滞在エリア特定部が特定した前記複数の人それぞれがいるエリアと、前記到来エリア特定部が特定した前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定する信号特定部と、前記信号特定部が特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定する感情特定部と、前記感情特定部が特定した感情を示す感情データを、前記複数の人それぞれの識別情報に関連付けて前記メッセージ出力装置に送信する送信部と、を有する。

前記メッセージ出力装置は、前記送信部から前記感情データと前記識別情報とを関連付けて受信する情報受信部と、前記情報受信部が受信した前記感情データが示す感情に基づいて、前記感情データが関連付けられた前記識別情報に対応するメッセージを出力する出力部と、を有する。

本発明によれば、複数の人の感情を特定することが可能になるという効果を奏する。

メッセージ出力システムＳの概要を示す図である。 反射波の特徴と人の感情との関係を模式的に示す図である。 感情特定装置の構成を示す図である。 メッセージ出力装置の構成を示す図である。 感情特定装置が実行する感情特定処理の流れを示すフローチャートである。 変形例に係る感情特定装置の構成を示す図である。

［メッセージ出力システムＳの概要］
図１は、メッセージ出力システムＳの概要を示す図である。メッセージ出力システムＳは、人の感情を特定し、特定した感情に基づいて作成されたメッセージを出力するためのシステムである。メッセージ出力システムＳは、感情特定装置１と、メッセージ出力装置２と、無線装置３と、カメラ４とを有する。メッセージ出力装置２、無線装置３及びカメラ４は、例えば複数の人がいる建物の中に設けられている。感情特定装置１は、メッセージ出力装置２、無線装置３及びカメラ４が設けられている建物内に設置されていてもよく、他の場所に設置されていてもよい。

感情特定装置１は、建物内の人の感情を特定する処理を実行するコンピュータである。感情特定装置１は、人を検出することができる装置が検出した結果に基づいて、どの部屋にどの人がいるかを特定する。感情特定装置１は、例えばカメラ４により撮影された画像、又はマイクロホン（不図示）により取得された音声に基づいて、どの部屋にどの人がいるかを特定する。

続いて、感情特定装置１は、複数の部屋それぞれで予め測定された反射波の特性に基づいて、無線装置３が電波を送信した後に受信した反射波のそれぞれが、どの部屋の人からの反射波であるかを特定する。無線装置３は、例えばＷｉ－Ｆｉ（登録商標）のアクセスポイントであるが、無線装置３は電波を発する機能と電波を受信する機能を有する他の装置であってもよい。

さらに、感情特定装置１は、反射波の特徴に基づいて、特定した部屋にいる人の身体がどのような動きをしているかを特定することにより、人の感情を特定する。その後、感情特定装置１は、特定した感情に基づいて作成されたメッセージをメッセージ出力装置２に出力させる。メッセージ出力装置２は、スピーカ、表示部、又は通信モジュール等のように、複数の人にメッセージを提供することができる任意の装置であり、例えば移動可能なロボットである。メッセージ出力装置２は、予め登録された人に対して、それぞれの人の感情に基づいて、音声を発したり、文字又は画像を表示したり、メッセージを送信したりする。

メッセージ出力装置２は、例えば悲しいという感情を抱いている人に対して、「元気を出してね」というように人を元気づけるようなメッセージを含む音声を発する。メッセージ出力装置２は、嬉しいという感情を抱いている人に対して、「○○さんが元気でよかったよ」というように共感していることを示すメッセージを含む音声を発する。

図２は、反射波の特徴と人の感情との関係を模式的に示す図である。反射波の波形は、人の身体の動き（例えば呼吸又は心拍に伴う胸の動き）によって変化する。例えば人の呼吸が速い場合には、呼吸に伴う反射波の波形の変化周期が短くなる。感情特定装置１は、例えば人が嬉しい時、悲しい時、普通の時のそれぞれの状態における反射波の波形を記憶しており、無線装置３から受信した反射波を記憶した波形と比較することにより、受信した反射波に対応する人の感情を特定する。
以下、感情特定装置１及びメッセージ出力装置２の構成を詳細に説明する。

［感情特定装置１の構成］
図３は、感情特定装置１の構成を示す図である。感情特定装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。制御部１３は、滞在エリア特定部１３１と、反射波データ取得部１３２と、分離部１３３と、到来エリア特定部１３４と、信号特定部１３５と、感情特定部１３６と、送信部１３７とを有する。

通信部１１は、メッセージ出力装置２、無線装置３、及びカメラ４と各種のデータを送受信するための通信インターフェースである。通信部１１は、例えばＬＡＮ（Local Area Network）コントローラ又は無線通信コントローラを含む。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、無線装置３から受信した反射波の波形データ、カメラ４から受信した画像データ、反射波の特徴と感情の種別とを関連付けた感情特定用テーブル等の各種の情報を記憶する。

感情特定用テーブルは、例えば図２に示すような反射波の特徴と人の感情とを関連付けたデータベースにより構成されている。感情特定用テーブルにおいて、反射波の特徴は、反射波に含まれている各周波数成分の大きさ及び時間経過に伴う変動パターン等を数値化した特徴ベクトルとして表される。

また、感情特定用テーブルにおいては、建物内の位置と反射波データの特徴ベクトルとが関連付けられている。特徴ベクトルは、反射波の特徴を示す数値であり、例えば反射波の振幅及び位相に基づいて算出される。

電波に含まれる各周波数成分の減衰量及び遅延量は、無線装置３の位置と、無線装置３が発した電波が反射する物体の位置との関係によって異なる。例えば、無線装置３から遠い部屋内の物品や人体において反射された反射波の振幅は、無線装置３に近い部屋内の物品や人体において反射された反射波の振幅よりも小さい。感情特定用テーブルにおいて、建物内の位置ごとに反射波データの特徴ベクトルが関連付けられていることにより、感情特定装置１は、このような反射波の性質を利用して、反射波がどの部屋から到来したかを特定することが可能になる。

続いて、制御部１３の各部の構成について詳細に説明する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、滞在エリア特定部１３１、反射波データ取得部１３２、分離部１３３、到来エリア特定部１３４、信号特定部１３５、感情特定部１３６、及び送信部１３７として機能する。制御部１３は例えばＣＰＵ（Central Processing Unit）を含むが、ＣＰＵ以外の回路により構成されていてもよい。

滞在エリア特定部１３１は、建物内にいる複数の人が、建物内の複数のエリアのうちどのエリアに滞在しているかを特定する。複数のエリアは、図１に示す例の場合、リビング、書斎、子供部屋及びキッチンである。滞在エリア特定部１３１は、例えば、それぞれのエリアに設置されたカメラ４により建物内が撮影された複数の撮影画像に含まれる人の画像と、予め登録された複数の人の画像とを比較することにより、予め登録された複数の人のいずれかが滞在しているエリアを特定する。

滞在エリア特定部１３１は、建物内の複数のエリアそれぞれで発せられた確認用音声に対する返答に含まれる音声と、予め登録された複数の人の音声とを比較した結果に基づいて、複数の人のいずれかが滞在しているエリアを特定してもよい。滞在エリア特定部１３１は、それぞれのエリアにどの人が滞在しているかを特定してもよい。滞在エリア特定部１３１は、複数の人のいずれかが滞在していることを特定したエリアを示す情報、又はそれぞれのエリアに滞在している人を特定するための情報（例えば名前や識別情報）を記憶部１２に記憶させる。

滞在エリア特定部１３１は、同一のエリアに滞在している複数の人の行動内容を、時刻に関連付けてさらに特定してもよい。滞在エリア特定部１３１は特定した行動内容を信号特定部１３５に通知する。行動内容は、例えば声を出す行動、又は運動している行動のように、身体の少なくとも一部の動きに影響が生じる行動の内容である。詳細については後述するが、滞在エリア特定部１３１が特定した行動内容は、同一のエリアに複数の人がいる場合に複数の人それぞれの感情を特定するために用いられる。

反射波データ取得部１３２は、建物内で送信された所定の電波が建物内で反射された反射波に基づく反射波データを取得する。反射波データ取得部１３２は、例えば無線装置３が送信した電波が建物内の物品や建物内の人で反射されて無線装置３に戻ってきた反射波の波形を示す反射波データを無線装置３から取得する。反射波データ取得部１３２は、リアルタイムで反射波データを取得してもよく、無線装置３において蓄積された反射波データを取得してもよい。

分離部１３３は、反射波データ取得部１３２が受信した反射波に含まれる複数の信号成分を分離する。分離部１３３は、まず、例えば公知の独立成分分析手法を用いて、互いに独立した信号成分を分離する。続いて、分離部１３３は、反射波に含まれる、建物内の物品により反射された物品信号成分と、人により反射された身体信号成分とを分離する。分離部１３３は、例えば、時間の経過とともに変動しない信号成分を物品信号成分として抽出し、時間の経過とともに変動する信号成分を身体信号成分として抽出する。

分離部１３３は、例えば、λを電波の波長、ｄ（ｔ）を伝送距離とした場合に、信号の位相φ（ｔ）＝２π（ｄ（ｔ）／λ）を算出し、φ（ｔ）の変動量が閾値以上である場合に、身体信号成分であると判定する。

分離部１３３は、さらに、身体信号成分を人の呼吸に基づく呼吸信号成分と人の心拍に基づく心拍信号成分とを分離する。分離部１３３は、相対的に長い周期（例えば５秒以上）で変動する信号成分を呼吸信号成分として抽出し、相対的に短い周期（例えば５秒未満）で変動する信号成分を心拍信号成分として抽出する。分離部１３３は、信号成分の大きさが変動する加速度が閾値未満である信号成分を呼吸信号成分として抽出し、当該加速度が閾値以上である信号成分を心拍信号成分として抽出してもよい。

続いて、分離部１３３は、呼吸信号成分及び心拍信号成分それぞれの変動の特徴を特定する。分離部１３３は、例えば呼吸信号成分及び心拍信号成分を周波数領域の信号に変換し、それぞれの信号に含まれている周波数成分の大きさと、各周波数成分の時間経過に伴う変動のパターンの変化とを示す特徴ベクトルを作成する。

到来エリア特定部１３４は、分離部１３３が分離した複数の信号成分を、複数のエリアに関連付けられた信号の特徴と比較することにより、複数の信号成分それぞれが、複数のエリアのうちどのエリアから到来したかを特定する。具体的には、到来エリア特定部１３４は、記憶部１２に記憶された感情特定用テーブルに含まれる各種の反射波信号の特徴ベクトル（以下、「基準特徴ベクトル」という）と、分離部１３３が作成した特徴ベクトル（以下、「測定特徴ベクトル」という）とを比較する。

到来エリア特定部１３４は、信号成分ごとに、測定特徴ベクトルとの類似度が高い基準特徴ベクトルを選択し、選択した基準特徴ベクトルに対応するエリアから信号成分が到来したと判定する。到来エリア特定部１３４は、信号成分に関連付けて、信号成分が到来したと判定したエリア（以下、「信号到来エリア」という）を示す情報を信号特定部１３５に通知する。

ここで、測定特徴ベクトルとの類似度が高い基準特徴ベクトルが複数ある場合が想定される。到来エリア特定部１３４は、このような場合に、類似度に基づく優先順位を示す情報とともに、複数の信号到来エリアを示す情報を信号特定部１３５に通知してもよい。

到来エリア特定部１３４は、入力された信号成分に対応するエリアを示すエリア情報を出力する機械学習モデルを用いて、複数の信号成分それぞれが、複数のエリアのうちどのエリアから到来したかを特定してもよい。具体的には、到来エリア特定部１３４は、反射波に含まれる複数の信号成分を入力した機械学習モデルから出力されるエリア情報に基づいて、複数の信号成分それぞれが、複数のエリアのうちどのエリアから到来したかを特定する。この機械学習モデルは、さまざまなエリアに向けて送信した指向性がある電波が当該エリアで反射された反射波に含まれる信号成分とエリアを示す情報とが関連付けられた教師データを用いて学習させることにより作成されたモデルである。

信号特定部１３５は、滞在エリア特定部１３１が特定した複数の人それぞれがいるエリアと、到来エリア特定部１３４が特定した複数の信号成分が到来したエリアとをマッチングさせることにより、複数の人それぞれで反射した反射波成分を特定する。信号特定部１３５は、到来エリア特定部１３４から通知された信号到来エリアにいることを滞在エリア特定部１３１が特定した人と、到来エリア特定部１３４から信号到来エリアに関連付けて通知された信号成分とを関連付け、関連付けた結果を感情特定部１３６に通知する。

信号特定部１３５は、到来エリア特定部１３４から通知された信号到来エリアに人がいないことを滞在エリア特定部１３１が示している場合、次の優先順位に対応する信号到来エリアにいることを滞在エリア特定部１３１が特定した人と、到来エリア特定部１３４から信号到来エリアに関連付けて通知された信号成分とを関連付けてもよい。

信号特定部１３５は、滞在エリア特定部１３１が特定した複数の人それぞれの行動内容に基づいて、同一のエリアから到来したと特定した信号成分に含まれる複数の反射波が複数の人のうちどの人に対応するかを特定してもよい。信号特定部１３５は、例えば同一のエリアから到来したと特定した信号成分が複数ある場合に、声を出している人の信号成分に特有の特徴を有する信号成分を、同一のエリアにいる複数の人のうち、滞在エリア特定部１３１において声を出していると判定された人で反射した信号の成分であると特定する。信号特定部１３５は、このように動作することで、同一のエリアに複数の人がいる場合においても、それぞれの人で反射した反射波の信号成分を特定することができる。

感情特定部１３６は、信号特定部１３５が特定した反射波成分に基づいて、複数の人それぞれの感情を特定する。具体的には、感情特定部１３６は、複数の人から選択した人が滞在しているエリアに対応する感情特定用テーブルを参照し、反射波成分に含まれる信号成分の特徴ベクトルに近い基準特徴ベクトルを選択する。そして、感情特定部１３６は、選択した基準特徴ベクトルに関連付けられている感情を、選択した人が抱いている感情であると特定する。感情特定部１３６は、特定した結果を送信部１３７に通知する。

送信部１３７は、感情特定部１３６が特定した感情を示す感情データを、通信部１１を介してメッセージ出力装置２に送信する。送信部１３７は、例えば、感情データに対応する人を識別するためのユーザ識別情報（以下、「ユーザＩＤ」という）に関連付けて感情データを送信する。感情特定装置１がディスプレイを有している場合、送信部１３７は、ユーザＩＤに関連付けて、感情特定部１３６が特定した感情データをディスプレイに表示させてもよい。

［メッセージ出力装置２の構成］
図４は、メッセージ出力装置２の構成を示す図である。メッセージ出力装置２は、通信部２１と、スピーカ２２と、ディスプレイ２３と、記憶部２４と、制御部２５とを有する。制御部２５は、情報受信部２５１と、メッセージ作成部２５２と、出力部２５３とを有する。

通信部２１は、感情特定装置１からメッセージを受信するための通信インターフェースである。通信部２１は、例えば感情特定装置１との間で無線通信を行うための無線通信コントローラを含む。

記憶部２４は、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶媒体を含む。記憶部２４は、制御部２５が実行するプログラムを記憶する。また、記憶部２４は、人の感情に関連付けられた複数のメッセージを記憶する。記憶部２４は、日時又は天候等のように、人の感情に影響すると考えられる要素、及び人から受信し得るメッセージの内容等に関連付けて複数のメッセージを記憶してもよい。

制御部２５は例えばＣＰＵを含み、記憶部２４に記憶されたプログラムを実行することにより、情報受信部２５１、メッセージ作成部２５２及び出力部２５３として機能する。

情報受信部２５１は、送信部１３７から感情データとユーザＩＤとを関連付けて受信する。情報受信部２５１は、受信した感情データとユーザＩＤとをメッセージ作成部２５２に通知する。

メッセージ作成部２５２は、情報受信部２５１が受信した感情データが示す感情に対応するメッセージを作成する。具体的には、メッセージ作成部２５２は、記憶部２４において感情に関連付けて記憶された複数のメッセージから、情報受信部２５１が受信した感情データが示す感情に関連付けられたメッセージを選択する。

メッセージ作成部２５２は、メッセージを作成する日時、又はメッセージを作成する時点における天候に関連付けられたメッセージを選択してもよい。また、メッセージ作成部２５２は、建物内の人からメッセージを受信した場合、受信したメッセージ内容への返信用メッセージの候補として記憶部２４に記憶された複数のメッセージから、情報受信部２５１が受信した感情データが示す感情に基づいて１つのメッセージを選択してもよい。

出力部２５３は、情報受信部２５１が受信した感情データが示す感情が特定された人のユーザＩＤに対応するメッセージを出力する。より具体的には、出力部２５３は、通信部２１を介して、当該ユーザＩＤに対応する人に宛ててメッセージ作成部２５２が作成したメッセージを送信したり、スピーカ２２からメッセージを含む音声を発したり、ディスプレイ２３にメッセージを表示させたりする。

［感情特定装置１が実行する感情特定処理の流れ］
図５は、感情特定装置１が実行する感情特定処理の流れを示すフローチャートである。図５に示すフローチャートは、滞在エリア特定部１３１が、建物内の情報を取得する動作から開始している（Ｓ１１）。具体的には、滞在エリア特定部１３１は、建物内に設置されたカメラ４において撮影された画像又は取得された音声を示す情報を取得する。滞在エリア特定部１３１は、取得した情報に基づいて、建物内に人が滞在しているエリアを特定する（Ｓ１２）。

続いて、反射波データ取得部１３２は、無線装置３が電波を発したことにより無線装置３が受信した反射波の波形を示す反射波データを取得する（Ｓ１３）。続いて、分離部１３３は、反射波データ取得部１３２が取得した反射波データに含まれる信号成分を分離する（Ｓ１４）。具体的には、分離部１３３は、反射波データに含まれる、物品において反射された信号の成分と人体において反射された信号の成分とを分離する。この際、分離部１３３は、複数の物品それぞれで反射された複数の信号の成分と、複数の人体それぞれで反射された複数の信号の成分とを分離してもよい。さらに、分離部１３３は、人体で反射された信号の成分を、呼吸信号成分と心拍信号成分とに分離してもよい。

続いて、到来エリア特定部１３４は、分離部１３３が分離した複数の信号成分のうち、人体で反射された信号の成分が、どのエリアから到来した反射波に含まれていたかを特定する（Ｓ１５）。信号特定部１３５は、Ｓ１２において滞在エリア特定部１３１が特定したエリアと、Ｓ１５において到来エリア特定部１３４が特定したエリアとを照合することにより、反射波データ取得部１３２が取得した反射波データに含まれるそれぞれの信号成分が、誰の身体で反射された信号成分であるかを特定する（Ｓ１６）。信号特定部１３５は、信号成分と、当該信号成分を反射した人のユーザＩＤとを関連付けて感情特定部１３６に通知する。

続いて、感情特定部１３６は、感情特定用テーブルを参照することにより、信号特定部１３５から通知された信号成分がどのような感情に対応するかを特定する（Ｓ１７）。感情特定部１３６は、送信部１３７を介して、特定した感情とユーザＩＤとを関連付けてメッセージ出力装置２に送信する。

［第１変形例］
図６は、変形例に係る感情特定装置１ａの構成を示す図である。図３に示した感情特定装置１は、感情特定部１３６が特定した複数の人それぞれの感情を示す情報をメッセージ出力装置２に送信した。そして、メッセージ出力装置２が、感情特定装置１から取得した感情を示す情報に基づくメッセージを作成した。これに対して、図６に示す感情特定装置１ａは、感情特定部１３６が特定した感情に基づいて、複数の人それぞれに対して提供するメッセージの内容を決定するメッセージ決定部１３８をさらに有するという点で、図３に示した感情特定装置１と異なり、他の点で同じである。メッセージ決定部１３８は、決定した内容を含むメッセージを作成してもよい。

メッセージ決定部１３８は、送信部１３７を介して、決定した内容を示すデータ（例えば各メッセージに付与されたメッセージ識別情報）をメッセージ出力装置２に送信する。メッセージ決定部１３８は、自身が作成したメッセージ自体をメッセージ出力装置２に送信してもよい。メッセージ決定部１３８は、送信部１３７を介して、決定したメッセージを含む音声データを、音声を発するメッセージ出力装置２に送信してもよい。

［第２変形例］
以上の説明においては、無線装置３が固定されていることが想定されていたが、無線装置３が移動できてもよい。この場合、記憶部１２が、無線装置３が設置された位置ごとに感情特定用テーブルを記憶しておく。制御部１３は、無線装置３が設置された位置を示す情報を無線装置３から取得し、取得した情報が示す位置に対応する感情特定用テーブルを参照することにより、複数の人それぞれの感情を特定してもよい。

［メッセージ出力システムＳによる効果］
以上説明したように、感情特定装置１は、建物内にいる複数の人が、建物内の複数のエリアのうちどのエリアに滞在しているかを特定する。また、感情特定装置１は、建物内で送信された所定の電波が建物内で反射された反射波に基づく反射波データに含まれる複数の信号成分を分離し、分離した複数の信号成分を、複数のエリアに関連付けられた信号の特徴と比較することにより、複数の信号成分それぞれが複数のエリアのうちどのエリアから到来したかを特定する。

そして、信号特定部１３５は、滞在エリア特定部１３１が特定した複数の人それぞれがいるエリアと、到来エリア特定部１３４が特定した複数の信号成分が到来したエリアとをマッチングさせることにより、複数の人それぞれで反射した反射波成分を特定する。感情特定部１３６は、信号特定部１３５が特定した反射波成分に基づいて、複数の人それぞれの感情を特定する。感情特定装置１がこのような構成を有することで、感情特定装置１は、建物内に複数の人がいる場合であっても、複数の人それぞれがどのような感情を有しているかを特定することができる。

また、メッセージ出力装置２は、感情特定装置１が特定した複数の人それぞれの感情に基づいて、複数の人に適したメッセージを出力する。メッセージ出力装置２がこのように動作することで、複数の人にとって好ましいメッセージをそれぞれの人に伝えることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 感情特定装置
２ メッセージ出力装置
３ 無線装置
４ カメラ
１１ 通信部
１２ 記憶部
１３ 制御部
２１ 通信部
２２ スピーカ
２３ ディスプレイ
２４ 記憶部
２５ 制御部
１３１ 滞在エリア特定部
１３２ 反射波データ取得部
１３３ 分離部
１３４ 到来エリア特定部
１３５ 信号特定部
１３６ 感情特定部
１３７ 送信部
１３８ メッセージ決定部
２５１ 情報受信部
２５２ メッセージ作成部
２５３ 出力部

Claims (9)

1. 建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定する滞在エリア特定部と、
   前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得する反射波データ取得部と、
   前記反射波データ取得部が取得した前記反射波データに含まれる複数の信号成分を分離する分離部と、
   前記分離部が分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定する到来エリア特定部と、
   前記滞在エリア特定部が特定した前記複数の人それぞれがいるエリアと、前記到来エリア特定部が特定した前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定する信号特定部と、
   前記信号特定部が特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定する感情特定部と、
   を有する感情特定装置。
2. 前記滞在エリア特定部は、前記建物内が撮影された複数の撮影画像に含まれる人の画像と、予め登録された前記複数の人の画像とを比較することにより、前記複数の人のいずれかが滞在しているエリアを特定する、
   請求項１に記載の感情特定装置。
3. 前記滞在エリア特定部は、前記建物内の複数のエリアそれぞれで発せられた確認用音声に対する返答に含まれる音声と、予め登録された前記複数の人の音声とを比較した結果に基づいて、前記複数の人のいずれかが滞在しているエリアを特定する、
   請求項１又は２に記載の感情特定装置。
4. 前記滞在エリア特定部は、同一のエリアに滞在している複数の人の行動内容を、時刻に関連付けてさらに特定し、
   前記信号特定部は、前記滞在エリア特定部が特定した前記複数の人それぞれの前記行動内容に基づいて、前記同一のエリアから到来したと特定した信号成分に含まれる複数の反射波が前記複数の人のうちどの人に対応するかを特定する、
   請求項１から３のいずれか一項に記載の感情特定装置。
5. 前記感情特定部が特定した前記複数の人それぞれの感情に基づいて、前記複数の人それぞれに対して提供するメッセージの内容を決定するメッセージ決定部と、
   前記メッセージ決定部が決定した内容を示すデータを、前記複数の人にメッセージを提供するメッセージ出力装置に送信する送信部と、
   をさらに有する、
   請求項１から４のいずれか一項に記載の感情特定装置。
6. 前記送信部は、前記メッセージ決定部が決定した前記メッセージを含む音声データを、音声を発する前記メッセージ出力装置に送信する、
   請求項５に記載の感情特定装置。
7. 前記到来エリア特定部は、入力された前記信号成分に対応するエリアを示すエリア情報を出力する機械学習モデルに前記反射波に含まれる前記複数の信号成分を入力することにより前記機械学習モデルから出力される前記エリア情報に基づいて、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定する、
   請求項１から６のいずれか一項に記載の感情特定装置。
8. コンピュータが実行する、
   建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定するステップと、
   前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得するステップと、
   取得した前記反射波データに含まれる複数の信号成分を分離するステップと、
   分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定するステップと、
   前記複数の人それぞれがいるエリアと、前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定するステップと、
   特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定するステップと、
   を有する感情特定方法。
9. 建物内にいる複数の人に対するメッセージを出力するメッセージ出力装置と、前記複数の人の感情を特定する感情特定装置と、を備え、
   前記感情特定装置は、
   建物内にいる複数の人が、前記建物内の複数のエリアのうちどのエリアに滞在しているかを特定する滞在エリア特定部と、
   前記建物内で送信された所定の電波が前記建物内で反射された反射波に基づく反射波データを取得する反射波データ取得部と、
   前記反射波データ取得部が取得した前記反射波に含まれる複数の信号成分を分離する分離部と、
   前記分離部が分離した前記複数の信号成分を、前記複数のエリアに関連付けられた信号の特徴と比較することにより、前記複数の信号成分それぞれが、前記複数のエリアのうちどのエリアから到来したかを特定する到来エリア特定部と、
   前記滞在エリア特定部が特定した前記複数の人それぞれがいるエリアと、前記到来エリア特定部が特定した前記複数の信号成分が到来したエリアとをマッチングさせることにより、前記複数の人それぞれで反射した反射波成分を特定する信号特定部と、
   前記信号特定部が特定した前記反射波成分に基づいて、前記複数の人それぞれの感情を特定する感情特定部と、
   前記感情特定部が特定した感情を示す感情データを、前記複数の人それぞれの識別情報に関連付けて前記メッセージ出力装置に送信する送信部と、
   を有し、
   前記メッセージ出力装置は、
   前記送信部から前記感情データと前記識別情報とを関連付けて受信する情報受信部と、
   前記情報受信部が受信した前記感情データが示す感情に基づいて、前記感情データが関連付けられた前記識別情報に対応するメッセージを出力する出力部と、
   を有するメッセージ出力システム。
   

Images