JPWO2018042781A1 - 制御システム、記憶媒体、および制御方法 - Google Patents

制御システム、記憶媒体、および制御方法 Download PDF

Info

Publication number
JPWO2018042781A1
JPWO2018042781A1 JP2018536941A JP2018536941A JPWO2018042781A1 JP WO2018042781 A1 JPWO2018042781 A1 JP WO2018042781A1 JP 2018536941 A JP2018536941 A JP 2018536941A JP 2018536941 A JP2018536941 A JP 2018536941A JP WO2018042781 A1 JPWO2018042781 A1 JP WO2018042781A1
Authority
JP
Japan
Prior art keywords
emotion
user
function
control
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018536941A
Other languages
English (en)
Other versions
JP6954290B2 (ja
Inventor
小野 秀行
秀行 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018042781A1 publication Critical patent/JPWO2018042781A1/ja
Priority to JP2021149589A priority Critical patent/JP2022008396A/ja
Priority to JP2021149588A priority patent/JP2022003546A/ja
Application granted granted Critical
Publication of JP6954290B2 publication Critical patent/JP6954290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00Cooking-vessels
    • A47J27/21Water-boiling vessels, e.g. kettles
    • A47J27/212Water-boiling vessels, e.g. kettles with signaling means, e.g. whistling kettles
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00Self-contained movable devices, e.g. domestic refrigerators
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/17Operational modes, e.g. switching from manual to automatic mode or prohibiting specific operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Thermal Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Cookers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Refrigerator Housings (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】ユーザ感情に応じてオブジェクト本来の機能を利用してユーザに対して特定の感情を表出することが可能な制御システム、記憶媒体、および制御方法を提供する。【解決手段】感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、を備える、制御システム。【選択図】図1

Description

本開示は、制御システム、記憶媒体、および制御方法に関する。
近年、人間の感情(喜び、悲しみ、驚き、恐怖、怒り、嫌悪)を検知して機器の制御を行う技術について提案されている。
例えば、下記特許文献1では、カメラにより撮影したユーザの表情が特定の表情であるとき、機器の使用を許可するカメラ付きの冷蔵庫が開示されている。
また、下記特許文献2では、光、音、しぐさにより、自分の感情を伝える脚式移動ロボットが開示されている。かかる脚式移動ロボットは、ユーザの触れ方(たたく、なでる)に応じて、ユーザの「誉める」「叱る」というしつけを認識している。
また、下記特許文献3では、ユーザからのメッセージの内容、音声の抑揚などに基づき、ポジティブ、ネガティブを判定し、ネガティブであれば会話を継続し、ポジティブであれば会話を終了させる家電について開示されている。
また、下記特許文献4では、ユーザによって叩かれたことを検出したり、気分や相手に対する感情に応じて、口調、使用フォント、背景色を変えて人とコミュニケーションする掃除ロボットが開示されている。
特開2012−169777号公報 特開2003−71763号公報 特開2016−36500号公報 特開2014−98962号公報
しかしながら、上記特許文献1〜4は、感情認識機能と認識結果に応じたユーザへの出力機能として、機器本来の機能に加えて、コストやスペースの掛かる様々な構成(カメラなど)が追加されている。また、特許文献2はロボットペットに関した技術であるが、特許文献3、4も、物をペットのように捉えて親密度を増していくような仕組みを有し、インタラクションを楽しむことが主眼に置かれている。
そこで、本開示では、ユーザ感情に応じてオブジェクト本来の機能を利用してユーザに対して特定の感情を表出することが可能な制御システム、記憶媒体、および制御方法を提案する。
本開示によれば、感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、を備える、制御システムを提案する。
本開示によれば、感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを受信する通信部と、前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御する制御部と、を備える制御システムを提案する。
本開示によれば、コンピュータを、感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
本開示によれば、プロセッサが、感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを通信部で受信することと、前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御することと、を含む、制御方法を提案する。
以上説明したように本開示によれば、ユーザ感情に応じてオブジェクト本来の機能を利用してユーザに対して特定の感情を表出することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 第1の実施形態によるやかんの外観構成の一例を示す図である。 第1の実施形態によるやかんの内部構成の一例を示すブロック図である。 第1の実施形態による笛調整部の簡易な模式図を示す図である。 第1の実施形態によるやかんの動作処理を示すフローチャートである。 第2の実施形態による冷蔵庫の外観構成の一例を示す図である。 第2の実施形態による冷蔵庫の内部構成の一例を示すブロック図である。 第2の実施形態による冷蔵庫の動作処理を示すフローチャートである。 第3の実施形態による照明装置の内部構成の一例を示すブロック図である。 第3の実施形態によるホームサーバの構成の一例を示す図である。 第3の実施形態による情報処理システムの制御処理を示すシーケンス図である。 第4の実施形態によるクラウドサーバの構成の一例を示す図である。 第4の実施形態による情報処理システムの登録処理を示すシーケンス図である。 第4の実施形態による情報処理システムの感情表出処理を示すシーケンス図である。 本開示の一実施形態によるトースターの簡易な模式図を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.各実施形態
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
2−4.第4の実施形態
3.補足
4.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示す冷蔵庫1Bは、ユーザが冷蔵庫1Bの扉を開けるという冷蔵庫本来の使用方法の中で、扉を開ける勢い等からユーザの感情を推定する。例えば図1左側に示す例では、ユーザが扉を開ける時の勢い(具体的には、例えば扉が開く速度)に基づいて、ユーザの怒り度合いを推定する。
そして、冷蔵庫1Bは、推定したユーザの感情(ここでは、例えば「怒り度合い」)に応じて、冷蔵庫1B本来の機能を利用してユーザに対し特定の感情を表出する。例えば、図1右側に示すように、冷蔵庫1Bの庫内の明かりを暖色に制御し、怒っているユーザの気持ちを落ち着かせる癒しの感情を表出することができる。また、本実施形態による情報処理システムは、周辺の照明装置1Cと連動させ、照明装置1Cの照明も暖色に制御し、怒っているユーザの気持ちを落ち着かせる癒しの感情を表出することができる。このような冷蔵庫1Bの庫内の明かりや照明装置1Cの明かりは、いずれも各機器が本来備えている機能である。
本実施形態では、例えば冷蔵庫1Bの扉が開く速度を検知するセンサといった、コストやスペースが掛からない軽微な機能の追加により、冷蔵庫本来の使用を妨げることなく、ユーザ感情に応じた快適な環境を構築することができる。例えば、ユーザが怒っている時は照明を暖色に制御して落ち着かせたり、また、ユーザが落ち込んでいる時は照明を明るくして励ましたり等、上記特許文献2〜4のようなユーザとの明確なインタラクションではなく、日常生活をさりげなく快適にさせることができる。
なお図1では、冷蔵庫1Bと照明装置1Cを用いて説明したが、本実施形態による情報処理システムはこれに限定されず、他にも日常生活で利用される様々な機器を用いて、ユーザの感情を検知し、検知した感情に応じて特定の感情の表出を行うことが可能である。以下、図2を参照して具体的に説明する。
図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。図2に示すように、例えば家3で日常的に利用される本実施形態によるやかん1A、冷蔵庫1B、照明装置1C、トースター1D、および炊飯器1E等は、それぞれ機器本来の使用法の中でユーザの感情を推定し、機器本来の機能を利用してユーザの感情に対して特定の感情を表出させることが可能である。
また、やかん1A、冷蔵庫1B、照明装置1C、トースター1D、および炊飯器1E等が、ホームサーバ2とBluetooth(登録商標)等により通信接続している場合、一の機器でユーザの感情を推定した際に、複数機器を連動してユーザの感情に対して特定の感情を表出させることも可能である。
また、ホームサーバ2がクラウド4上(WAN:Wide Area Network)のサーバ(クラウドサーバ5)と接続している場合、クラウドサーバ5において、冷蔵庫1B、照明装置1C、トースター1D、および炊飯器1E等の制御を行うことも可能である。
また、クラウドサーバ5は、各機器が発するBluetoothの微弱電波を互いに受信した結果に基づいて近接している機器を判断し、一の機器でユーザの感情を推定した際に、当該機器周辺の機器を連動させ、ユーザの感情に対して特定の感情を表出させるよう制御することも可能である。
また、ユーザ感情の推定は、各機器で行ってもよいし、ホームサーバ2またはクラウドサーバ5で行うようにしてもよい。
以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムについて、複数の実施形態を用いて具体的に説明する。
<<2.各実施形態>>
<2−1.第1の実施形態>
まず、第1の実施形態として、やかん1Aを用いた感情表出について図3〜図6を参照して説明する。
(2−1−1.構成)
図3は、本実施形態によるやかん1Aの外観構成の一例を示す図である。図3に示すように、やかん1Aには、ユーザの感情を取得するためのセンサとして例えば加速度センサ14aが取っ手部に設けられている。また、注ぎ口部には、蒸気により音を鳴らす笛調整部13aが設けられている。また、やかん1Aの取っ手部には、認識される感情を手動で切り替えることが可能な切替スイッチ12aが設けられている。
図4は、本実施形態によるやかん1A(やかん1A(オブジェクトの一例)を制御する制御装置)の内部構成の一例を示すブロック図である。図4に示すように、やかん1Aは、制御部10a、通信部11a、切替スイッチ12a、笛調整部13a、および加速度センサ14aを有する。制御部10a、通信部11a、切替スイッチ12a、および加速度センサ14aは、例えばやかん1Aの取っ手部に設けられる。
制御部10aは、演算処理装置および制御装置として機能し、各種プログラムに従ってやかん1A内の動作全般を制御する。制御部10aは、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10aは、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
本実施形態による制御部10aは、感情推定部101aとしても機能する。感情推定部101aは、ユーザがやかん1Aを利用している際に加速度センサ14aにより検知された加速度センサデータに基づいて、ユーザ感情を推定する。例えば、ユーザがやかん1Aを持って移動したりコンロに置いたりした際の動きが標準(所定値)よりも緩慢であった場合、感情推定部101aは、「落ち込み」の感情であると推定する。また、感情推定部101aは、検知した動きが標準(所定値)よりも粗暴であった場合、「怒り」の感情であると推定する。また、感情推定部101aは、動きの程度に応じて、感情の度合い(落ち込み度や怒り度)を算出することも可能である。
また、制御部10aは、感情推定部101aにより推定されたユーザ感情に応じて、蒸気の量を調節して音の強さを調整する笛調整部13aを制御し、やかん1Aの感情を表出する。蒸気圧により笛を鳴らすという機能は、感情を認識および表出するためだけの機能とは異なる、やかん1A本来の機能に相当する。
通信部11aは、外部装置と無線通信を行う機能を有する。具体的には、通信部11aは、例えばBluetooth通信によりホームサーバ2と接続したり、ビーコン情報を周辺に送出したりする。また、通信部11aは、周辺から発せられたビーコン情報を受信したり、周辺の機器1と感情情報や制御信号を送受信したりする。感情情報や制御信号の送信は、例えばBluetooth等の近接無線通信により、周辺にブロードキャストするようにしてもよい。また、通信部11aによる外部装置との通信は、Bluetoothに限定されず、例えばWi-Fi(登録商標)(Wireless Fidelity)や無線LAN(Local Area Network)等を利用した通信であってもよい。
切替スイッチ12aは、やかん1Aで推定する感情をユーザが手動で切り替えるためのスイッチである。例えば切替スイッチ12aにより「怒り」の感情の推定がONになっている場合は、感情推定部101aにより「怒り」の感情推定が行われ、「落ち込み」の感情の推定がONになっている場合は、「落ち込み」の感情推定が行われる。
笛調整部13aは、やかん1Aから排出される蒸気の量を調節し、笛の音を調整する機構である。一般的なやかんの注ぎ口に設けられている笛は、やかん内の湯が沸騰した時の蒸気圧で鳴る仕組みになっているが、本実施形態では、笛調整部13aにより、笛部に流入する蒸気を弁でコントロールすることで笛の音を調整する。ここで、図5に、笛調整部13aの機構の簡易な模式図を示す。
図5に示すように、例えば笛調整部13aには、笛の鳴らない排出路131と、笛の鳴る排出路132の幅を調整する可動式の弁133が設けられており、弁133が移動することで、排出路131、132の蒸気圧を調節し、笛の音の強さを制御することができる。
制御部10aは、例えば「落ち込み」の感情が推定された場合、笛の鳴る排出路132の蒸気圧を通常よりも上げるよう笛調整部13aにより調整し、強い音を鳴らしてユーザを励ます感情を表出する。また、制御部10aは、例えば「怒り」の感情が推定された場合、笛の鳴る排出路132の蒸気圧を通常よりも上げるよう笛調整部13aにより調整し、強い音を鳴らしてユーザを励ます感情を表出する。また、「落ち込み」の感情が推定された場合、笛の鳴る排出路132の蒸気圧を通常よりも下げるよう笛調整部13aにより調整し、弱い音を鳴らしてユーザを落ち着かせる感情を表出する。
なお図5に示す笛調整部13aの構造は一例であって、本実施形態はこれに限定されない。
加速度センサ14aは、やかん1Aの動きを検出し、加速度データを制御部10aに出力する。例えば加速度センサ14aは、ユーザがやかん1Aを移動させたり、コンロの上に置いたりといった通常の使用時のやかん1Aの動きを検出する。
(2−1−2.動作処理)
次に、本実施形態によるやかん1Aの動作処理について図6を参照して説明する。図6は、本実施形態によるやかん1Aの動作処理を示すフローチャートである。
図6に示すように、まず、やかん1Aは、使用されていない際は省電モードに制御する(ステップS103)。
次に、切替スイッチ12aが「落ち込み検出」ONになっている場合(ステップS106/Yes)、制御部10aは、省電モードを解除し、感情の検出モードを「落ち込み検出」に切り替える(ステップS109)。ユーザは、切替スイッチ12aを操作して予めどの感情の検出を行うかを任意に設定することが可能である。
次いで、制御部10aは、加速度センサ14aから加速度センサデータを取得し(ステップS112)、感情推定部101aにより、加速度センサデータを落ち込み感情値に変換する(ステップS115)。例えばユーザがやかん1Aを使用している際のやかん1Aの動きが、加速度センサ14aにより検出される。そして、感情推定部101aは、加速度センサデータに基づいて落ち込み度を算出する。
次に、制御部10aは、算出した落ち込み度に笛の音の勢いが比例するよう、笛調整部13aを制御し、笛部の蒸気圧を調整する(ステップS118)。具体的には、制御部10aは、落ち込み度に応じて笛の音の勢いが強くなるよう蒸気圧を上げるよう制御する。これにより、落ち込んでいるユーザに対して、勢い良く音を鳴らして、元気を出させたり励ましたりすることができる。
続いて、一定時間加速度が閾値を超えない状態となった場合(ステップS121/Yes)、制御部10aは、やかん1Aの動作モードを省電モードに切り替える(ステップS124)。一定時間加速度が閾値を超えない状態となった場合は、ユーザがやかん1Aを使い終わって置いた状態であると判断できるため、制御部10aは省電モード(スリープモード)に遷移させる。
一方、切替スイッチ12aが「怒り検出」ONになっている場合(ステップS127/Yes)、制御部10aは、省電モードを解除し、感情の検出モードを「怒り検出」に切り替える(ステップS130)。
次いで、制御部10aは、加速度センサ14aから加速度センサデータを取得し(ステップS133)、感情推定部101aにより、加速度センサデータを怒り感情値に変換する(ステップS136)。例えば感情推定部101aは、加速度センサデータに基づいて怒り度を算出する。
次に、制御部10aは、算出した怒り度に笛の音の勢いが反比例するよう、笛調整部13aを制御し、笛部の蒸気圧を調整する(ステップS139)。具体的には、制御部10aは、怒り度に応じて笛の音の勢いが弱くなるよう蒸気圧を下げるよう制御する。これにより、怒っているユーザに対して、弱い音を鳴らして気持ちを落ち着かせることができる。
以上、本実施形態の動作処理の一例について説明した。なお、検出する感情は、「落ち込み」と「怒り」のいずれか一方を選択する他、切替スイッチ12aにより両方を検出するモードに設定することも可能である。また、検出する感情の一例として「落ち込み」および「怒り」を用いたが、本実施形態はこれに限定されず、喜び等の他の感情を検出し、検出した感情値に応じて蒸気圧を制御することも可能である。また、ここでは蒸気圧の制御を感情表出の手段として用いたが、本実施形態はこれに限定されず、やかん1Aが有する他の機能を用いてやかん1Aの感情表出を行ってもよい。
<2−2.第2の実施形態>
次に、第2の実施形態として、冷蔵庫1Bを用いた感情表出について図7〜図9を参照して説明する。
(2−2−1.構成)
図7は、本実施形態による冷蔵庫1Bの外観構成の一例を示す図である。図7に示すように、冷蔵庫1Bの各扉には、ユーザの感情を取得するためのセンサとして例えば加速度センサ14b−1、14b−2、14b−3が設けられている。また、扉のヒンジ部には、扉の開閉を制御するヒンジ調整部12bが設けられている。
図8は、本実施形態による冷蔵庫1B(冷蔵庫1Bを制御する制御装置)の内部構成の一例を示すブロック図である。図8に示すように、冷蔵庫1Bは、制御部10b、通信部11b、ヒンジ調整部12b、庫内灯13b、および加速度センサ14bを有する。
制御部10bは、演算処理装置および制御装置として機能し、各種プログラムに従って冷蔵庫1B内の動作全般を制御する。制御部10bは、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10bは、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
本実施形態による制御部10bは、感情推定部101bとしても機能する。感情推定部101bは、ユーザが冷蔵庫1Bを利用している際に加速度センサ14aにより検知された加速度センサデータに基づいて、ユーザ感情を推定する。例えば、ユーザが冷蔵庫1Bの扉を開ける際の勢いが強い場合、感情推定部101aは、「怒り」の感情であると推定する。また、感情推定部101aは、検知した扉を開ける際の勢いが弱い場合、「落ち込み」の感情であると推定する。また、扉の取っ手部分に圧力センサを設けて、取っ手部分をユーザが握った際に検知した圧力センサデータも考慮して、より早いタイミングで感情推定することも可能である。
また、制御部10bは、感情推定部101bにより推定されたユーザ感情に応じて、扉の開閉の速度を調整するヒンジ調整部12bを制御し、冷蔵庫1Bの感情を表出する。例えば制御部10bは、感情推定部101bにより「落ち込み」の感情が推定された場合、扉の開閉が軽くなるようヒンジ調整部12bを調整し、また、庫内灯13bを明るくし、点滅させたりすることで、ユーザを励ます感情を表出する。また、制御部10bは、感情推定部101bにより「怒り」の感情が推定された場合、扉の開閉が重くなるようヒンジ調整部12bを調整し、また、庫内灯13bを暖色にすることで、ユーザを落ち着かせる感情を表出する。
通信部11bは、外部装置と無線通信を行う機能を有する。具体的には、通信部11bは、例えばBluetooth通信によりホームサーバ2と接続したり、ビーコン情報を周辺に送出したりする。また、通信部11bは、周辺から発せられたビーコン情報を受信する。また、通信部11bによる外部装置との通信は、Bluetoothに限定されず、例えばWi-Fi(登録商標)(Wireless Fidelity)や無線LAN(Local Area Network)等を利用した通信であってもよい。
ヒンジ調整部12bは、扉の開閉速度を調整するための機能である。ヒンジ調整部12bは、ヒンジの固さを調整することで、扉の開閉を軽くまたは重くし、開閉速度を調整する。また、扉の開閉速度の調整はヒンジの固さ調整に限定されず、例えばダンパーを強くまたは弱くすることで、開閉をゆっくりまたは速くすることが可能である。扉がゆっくり開くことで、ユーザの怒っている気持ちを落ち着かせることができる。扉開閉のダンパーを調整可能な治具として、例えばドアクローザを用いることができる。ドアクローザは、ドアの閉じる速度を調整する機能(速度調整機能)、ドアが急激に開くのを防ぐ機能(バックチェック機能)を有する。また、ドアクローザのトルクは、閉じる時はもちろん、開けるときの重さにも影響する。ドアクローザを用いた場合、閉じ速度は「速度調整機能」、開き速度は「速度調整機能およびバックチェック機能」により調整することが可能である。速度調整機能およびバックチェック機能は、共にドアクローザ本体の調整弁の回転で調整可能である。そこで、冷蔵庫1Bは、回転調整の位置をサーボモータでコントロールする調整部を有することで、扉の開閉の速度を制御することが可能となる。
なお冷蔵庫1Bは、冷蔵庫1Bの扉の開閉速度の調整の他、図7に示す加速度センサ14b−2、14b−3が設けられている引き出しの引き出し速度を調整する調整部を有していてもよい。ユーザ感情に応じて、ゆっくりまたは速く開くことで、ユーザを落ち着かせたり、元気を出るよう励ましたりする感情を表出することができる。
庫内灯13bは、冷蔵庫内の照明装置である。庫内灯13bは、制御部10bの制御に従って、照明の輝度、色等を変化させる。
加速度センサ14bは、冷蔵庫1Bの扉の動き(開く速度)を検出し、加速度データを制御部10bに出力する。例えば加速度センサ14bは、ユーザが庫内の物を取るために冷蔵庫1Bの扉を開けた際の扉の開く勢いを検出する。
(2−2−2.動作処理)
続いて、本実施形態による冷蔵庫1Bの動作処理について図9を参照して説明する。図9は、本実施形態による冷蔵庫1Bの動作処理を示すフローチャートである。
図9に示すように、まず、冷蔵庫1Bの制御部10bは、加速度センサ14bから加速度センサデータを取得する(ステップS203)。
次に、制御部10bは、感情推定部101bにより、加速度センサデータを落ち込み感情値に変換する(ステップS206)。例えばユーザが冷蔵庫1Bの扉を緩慢に開けている場合、感情推定部101bにより、落ち込み度が算出される。
また、制御部10bは、感情推定部101bにより、加速度センサデータを怒り感情値に変換する(ステップS209)。例えばユーザが冷蔵庫1Bの扉を粗暴に開けている場合、感情推定部101bにより、怒り度が算出される。
このように、本実施形態では複数の感情を検出対象としている。
次いで、制御部10bは、「落ち込み感情値」と、「怒り感情値」のうち、いずれか強い方の感情を選択する(ステップS212)。すなわち、制御部10bは、落ち込み度と怒り度のうち度合いが強い方を選択する。例えばユーザが怒っており、扉を粗暴に空けている場合、落ち込み度よりも怒り度の方が強いため、怒り度が選択される。
次に、制御部10bは、選択した感情とその大きさに応じて、ヒンジ調整部12bを制御し、冷蔵庫1Bのヒンジの固さを調整する(ステップS215)。具体的には、制御部10aは、例えば「怒り」の感情を選択した場合、怒り度の大きさに応じてヒンジを固くし、扉がゆっくり開くようにすることで、ユーザの気持ちを落ち着かせることが可能となる。また、制御部10aが「落ち込み」の感情を選択した場合、落ち込み度の大きさに応じてヒンジを緩くし、扉が軽やかに速く開くようにすることで、ユーザが元気な気持ちになるよう励ますことが可能となる。
次いで、制御部10bは、感情とその大きさに応じて、庫内灯13bを制御する(ステップS218)。例えば制御部10bは、ユーザが怒っている時は庫内灯13bによる照明を暖色にして気持ちを落ち着かせたり、落ち込んでいる時は照明を明るくして点滅させる等して元気が出るよう励ますことが可能となる。
そして、冷蔵庫1Bの扉が閉じられるまで、上記ステップS203〜S218が繰り返される(ステップS221)。
以上、本実施形態の動作処理の一例について説明した。
なお、上述した第1、第2の実施形態では、感情推定および感情表出の制御を各機器で行っているが、本実施形態はこれに限定されず、ホームサーバ2またはクラウドサーバ5で感情推定または感情表出の制御の少なくともいずれかを行うようにしてもよい。例えば冷蔵庫1Bは、検出した加速度センサデータをホームサーバ2に送信する。ホームサーバ2は、加速度センサデータに基づく感情の推定を行い、推定した感情に応じた感情表出制御(具体的には、冷蔵庫1Bの扉の開閉速度制御および照明制御)の制御信号を冷蔵庫1Bに送信する。
<2−3.第3の実施形態>
次に、第3の実施形態として、ホームネットワークで接続される複数の機器を連携させる例について図10〜図12を参照して説明する。ここでは、ホームネットワークに、例えば第1の実施形態で説明したやかん1A、第2の実施形態で説明した冷蔵庫1Bの他、例えば部屋の照明装置1Cが接続されている場合について説明する。
(2−3−1.構成)
図10は、照明装置1C(照明装置1Cを制御する制御装置)の内部構成の一例を示すブロック図である。図10に示すように、照明装置1Cは、制御部10c、通信部11c、および照明部12cを有する。
制御部10cは、演算処理装置および制御装置として機能し、各種プログラムに従って照明装置1C内の動作全般を制御する。制御部10cは、例えばCPU、マイクロプロセッサ等の電子回路によって実現される。また、制御部10cは、使用するプログラムや演算パラメータ等を記憶するROM、及び適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。
本実施形態による制御部10cは、ホームサーバ2からの制御に従って、照明部12cの照明の輝度や色等を変化させる。
通信部11cは、外部装置と無線通信を行う機能を有する。具体的には、通信部11cは、例えばBluetooth通信によりホームサーバ2と接続したり、ビーコン情報を周辺に送出したりする。また、通信部11cは、周辺から発せられたビーコン情報を受信する。また、通信部11cによる外部装置との通信は、Bluetoothに限定されず、例えばWi-Fi(登録商標)(Wireless Fidelity)や無線LAN(Local Area Network)等を利用した通信であってもよい。
図11は、本実施形態によるホームサーバ2の構成の一例を示す図である。図11に示すように、ホームサーバ2は、制御部20、ホームネットワーク通信部21、インターネット通信部22、および記憶部23を有する。
制御部20は、演算処理装置および制御装置として機能し、各種プログラムに従ってホームサーバ2内の動作全般を制御する。制御部20は、例えばCPU、マイクロプロセッサ等の電子回路によって実現される。また、制御部20は、使用するプログラムや演算パラメータ等を記憶するROM、及び適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。
また、本実施形態による制御部20は、ホームネットワーク通信部21により受信したホームネットワーク内の機器から送信されたユーザの感情情報(オブジェクトの状態に関連するデータに含まれるデータの一例)に基づいて、予め登録された全ての機器(外部装置)に対し、当該感情に応じた特定の表出を行うよう制御する。なお、制御部20は、ホームネットワーク内の機器から、加速度センサデータ(オブジェクトの状態に関連するデータの一例)を受信し、ユーザ感情を推定することも可能である。また、制御部20は、ユーザ感情に応じて特定の感情を表出するためのデータを生成し、予め登録された機器(外部装置)に送信するようにしてもよい。
ホームネットワーク通信部21は、ホームネットワーク内の機器と通信を行う。例えばホームネットワーク通信部21は、やかん1A、冷蔵庫1B、および照明装置1Cと、Bluetooth通信によりデータの送受信を行い得る。
インターネット通信部22は、クラウド4上のクラウドサーバ5と通信を行う。例えばインターネット通信部22は、クラウドサーバ5から感情表出制御を実行するためのプログラムやパラメータを受信してもよい。インターネット通信部22は、例えばWi-Fi(登録商標)(Wireless Fidelity)や無線LAN(Local Area Network)等を利用してクラウドサーバ5と通信する。
記憶部23は、制御部20が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部23は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。
また、本実施形態による記憶部23は、ホームネットワーク内の各機器の情報を記憶する。
(2−3−2.動作処理)
続いて、本実施形態による動作処理について図12を参照して説明する。図12は、本実施形態による情報処理システムの動作処理を示すシーケンス図である。ここでは一例としてホームネットワーク内の機器の内、やかん1Aでユーザ感情を検出した場合について説明する。
図12に示すように、まず、やかん1Aが、感情の推定および制御処理を行う(ステップS303)。やかん1Aのかかる処理は、第1の実施形態において図6を参照して説明した動作処理と同様であるため、ここでは詳細な説明は省略する。
次に、やかん1Aは、推定したユーザの感情情報を、通信部11aによりホームサーバ2へ送信する(ステップS306)。情報の送信は、例えばBluetooth等によりブロードキャストするようにしてもよい。
次いで、ホームサーバ2は、受信した感情情報を、ホームネットワーク内の全ての機器(外部装置)に送信するよう制御する(ステップS309)。ホームサーバ2には、予めホームネットワーク内の機器が登録されており、ホームサーバ2は、登録されている全ての機器に、やかん1Aから送信されたユーザの感情情報を送信する。
具体的には、ホームサーバ2は、例えば冷蔵庫1Bおよび照明装置1Cに、感情情報をそれぞれ送信する(ステップS312、ステップS315)。
次に、冷蔵庫1Bは、ホームサーバ2から受信した感情情報に応じて、開放時における扉のヒンジの固さや、庫内照明を制御する(ステップS318)。
また、照明装置1Cは、ホームサーバ2から受信した感情情報に応じて、照明の明るさおよび色合いを制御する(ステップS321)。例えば照明装置1Cは、ユーザの感情が「落ち込み」であった場合、照明の明るさを通常よりも明るくする。これによりユーザは、照明装置1C(家3)から、元気を出してと励まされているように知覚する。また、照明装置1Cは、ユーザの感情が「怒り」であった場合、照明の色を暖色にする。これによりユーザは、照明装置1C(家3)から、落ち着いてと言われているように知覚する。
以上説明したように、本実施形態では、一の機器でユーザの感情が検出された際に、ホームサーバ2により、ホームネットワーク内の全ての機器を連動させて当該感情に対する特定の感情表出を行うよう制御する。これにより、ユーザは、家全体から励まされたり、元気付けられたり、落ち着くよう言われたり等、特定の感情を知覚することができる。なお、上述した実施形態では、推定したユーザの感情に関する感情情報をホームサーバ2に送信し、ホームサーバ2からホームネットワーク内の全ての機器1に感情情報が送信されているが、本開示はこれに限定されない。具体的には、例えば冷蔵庫1Bは、推定したユーザ感情に対する特定の感情の表出のための制御信号を生成し、これをホームサーバ2に送信し、ホームサーバ2からホームネットワーク内の全ての機器1に制御信号が送信されるようにしてもよい。
<2−4.第4の実施形態>
次に、第4の実施形態として、感情を推定した機器周辺の機器を連動させて感情表出を行う例について図13〜図15を参照して説明する。本実施形態では、各機器が発信するビーコン情報をホームサーバ2経由でクラウドサーバ5に予め登録し、ある機器で感情を検出した際に、登録されたビーコン情報に基づいて周辺機器を判定し、周辺機器からも感情表出を行うことを可能とする。
(2−4−1.構成)
図13は、本実施形態によるクラウドサーバ5の構成の一例を示す図である。図13に示すように、クラウドサーバ5は、制御部50、インターネット通信部51、および記憶部52を有する。
制御部50は、演算処理装置および制御装置として機能し、各種プログラムに従ってクラウドサーバ5内の動作全般を制御する。制御部50は、例えばCPU、マイクロプロセッサ等の電子回路によって実現される。また、制御部50は、使用するプログラムや演算パラメータ等を記憶するROM、及び適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。
また、本実施形態による制御部50は、インターネット通信部51により、ホームサーバ2を介して受信した各機器のIDとビーコン情報を記憶部52に記憶するよう制御する。また、制御部50は、一の機器からの感情情報(オブジェクトの状態に関連するデータに含まれるデータの一例)が送信された際に、予め登録した機器のビーコン情報に基づいて周辺の機器を判定し、周辺の機器に感情情報を送信して当該感情に応じた特定の表出を行うよう制御する。また、制御部50は、ホームサーバ2を介して、ホームネットワーク内の機器から、加速度センサデータ(オブジェクトの状態に関連するデータの一例)を受信し、ユーザ感情を推定することも可能である。さらに、制御部50は、取得または推定したユーザ感情に応じて特定の感情を表出するためのデータを生成し、判定した周辺の機器(外部装置)に送信するようにしてもよい。
インターネット通信部51は、インターネットを介して外部装置と通信を行う。例えばインターネット通信部51は、ホームサーバ2と通信し、各機器からの情報をホームサーバ2を介して取得する。インターネット通信部51は、例えばWi-Fi(登録商標)(Wireless Fidelity)や無線LAN(Local Area Network)等を利用してホームサーバ2と通信する。
記憶部52は、制御部50が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部52は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。
また、本実施形態による記憶部52は、ホームネットワーク内の各機器のIDおよびビーコン情報を記憶する。
(2−4−2.動作処理)
まず、図14を参照して各機器1(やかん1A、冷蔵庫1B、照明装置1C等)のビーコン情報の登録処理について説明する。各機器1は、例えばBluetooth通信により定期的にビーコン情報を周辺に発信し、互いにビーコン情報を受信し得る。図14は、本実施形態による情報処理システムの登録処理を示すシーケンス図である。
図14に示すように、機器1は、機器1のIDとビーコン情報を対にして、ホームサーバ2を介してクラウドサーバ5に送信する(ステップS403)。
次に、クラウドサーバ5は、機器のIDとビーコン情報を記憶部52に書き込む(ステップS406)。
また、機器1は、周辺の他の機器からのビーコン情報を受信すると(ステップS409)、機器1のIDと、受信した周辺機器からのビーコン情報とを対にして、ホームサーバ2を介してクラウドサーバ5に送信する(ステップS412)。
そして、クラウドサーバ5は、受信した機器のIDと周辺機器からのビーコン情報を対にして記憶部52に書き込む(ステップS415)。
このように、本実施形態では、各機器の周辺機器情報として、各機器が受信した周辺のビーコン情報を登録しておくことが可能となる。これにより、例えば訪問者が持参した新たな機器であっても、機器のID、ビーコン情報、および周辺機器から受信したビーコン情報をクラウドサーバ5に送信し、登録することが可能である。
次に、本実施形態による感情表出処理について図15を参照して説明する。図15は、本実施形態による情報処理システムの感情表出処理を示すシーケンス図である。ここでは一例として複数の機器1の内、やかん1Aでユーザ感情を検出した場合について説明する。
図15に示すように、まず、やかん1Aが、感情の推定および制御処理を行う(ステップS423)。やかん1Aのかかる処理は、第1の実施形態において図6を参照して説明した動作処理と同様であるため、ここでは詳細な説明は省略する。
次に、やかん1Aは、推定したユーザの感情情報と時刻情報を紐付けて、ホームサーバ2を介してクラウドサーバ5に送信する(ステップS426)。情報の送信は、例えばBluetooth等によりブロードキャストするようにしてもよい。ブロードキャストされた感情情報を受信したホームサーバ2は、ネットワークを介してクラウドサーバ5に転送する。
次いで、クラウドサーバ5は、受信した感情情報および時刻情報を記憶部52に記憶する(ステップS429)。
次に、クラウドサーバ5は、予め登録されたやかん1Aの周辺機器情報(周辺のビーコン情報)に基づいて、やかん1Aの周辺に存在する機器を検索する(ステップS432)。例えばやかん1Aが、照明装置1Cからビーコン情報を受信し、クラウドサーバ5に登録していた場合、クラウドサーバ5は、かかるビーコン情報に基づいて、やかん1Aの近くに照明装置1Cがあると判定することができる。
次いで、クラウドサーバ5は、やかん1Aの近くにあると判定された照明装置1C(外部装置)に、やかん1Aから送信された感情情報を(ホームサーバ2を介して)送信する(ステップS435)。
そして、照明装置1Cは、受信した感情情報に応じて、照明の明るさおよび色合いを制御する(ステップS438)。
このように、本実施形態では、一の機器で検出した感情に対する表出を、ビーコン情報に基づいて判定された、当該機器に近接する1以上の機器により連携させて行うことができる。また、検出された感情情報を時刻情報と紐付けて蓄積することで、クラウドサーバ5は、ユーザの感情の推移や傾向を把握することができる。クラウドサーバ5は、かかる感情の推移や傾向も考慮し、各機器での感情の表出を制御することも可能である。
なお、上述した実施形態では、推定したユーザの感情に関する感情情報をホームサーバ2を介してクラウドサーバ5に送信し、クラウドサーバ5からホームサーバ2を介して近隣の機器1に感情情報が送信されているが、本開示はこれに限定されない。具体的には、例えばやかん1Aは、推定したユーザ感情に対する特定の感情を表出するための制御信号を生成し、これをクラウドサーバ5に送信し、クラウドサーバ5からやかん1A近隣の機器1に制御信号が送信されるようにしてもよい。
<<3.補足>>
以上、本開示による情報処理システムについて複数の実施形態を用いて具体的に説明した。感情の推定や表出を行う機器1は、各実施形態で用いたやかん1A、冷蔵庫1B、および照明装置1Cの他、トースター1D、炊飯器1E、換気扇、圧力鍋、蛇口、アイロン、椅子、机、リモートコントローラ、掃除機、自転車、自動車等、様々挙げられる。
炊飯器1Eは、蓋の開閉速度を加速度センサにより検出し、冷蔵庫1Bの扉の開閉と同様に、「怒り度」や「落ち込み度」を検出することが可能である。また、炊飯器1Eは、蒸気の出方をやかん1Aと同様に調整し、ユーザを励ましたり落ち着かせたり等の感情表出を行うことも可能である。
また、アイロンの場合、本体に設けた加速度センサによりアイロンの扱われ方を検出し、例えばゆっくりであれば、ユーザが「落ち込んでいる」と推定し、手荒であれば、ユーザが「怒っている」と推定することが可能である。また、アイロンは、蒸気の出方をやかん1Aと同様に調整し、ユーザを励ましたり落ち着かせたり等の感情表出を行うことも可能である。
また、トースター1Dは、例えば図2に示すような縦型のトースターであって、パンを上部の開口にセットして側面のレバー(電源スイッチを兼ねる)を下げると、パンがトースター内に入り加熱が始まる。次いで、焼き上がり判定がされると(電子タイマー式、またはバイメタル式)、バネでレバーとパンが跳ね上がる。
ここで、図16に、トースター1Dの簡易な模式図を示す。図16に示すように、トースター1Dは、レバー15dを押し下げる力の強弱やスピードを加速度センサ14dにより検出してユーザの感情を推定する。そして、推定した感情に応じて、パンの跳ね上がりの勢い(バネ16dを伸ばす長さ)を調整して、トースター1Dの感情を表出する。例えば、ユーザ感情が「怒り」である場合、ユーザをなだめるために、バネ16dを緩めてパンの跳ね上がりを少し緩やかにしたり、ユーザ感情が「落ち込み」である場合、ユーザを励ますために、バネ16dを伸ばしてパンを勢いよく跳ねさせる。トースター1Dは、図16に示すように、例えばサーボモータとギア18dで、バネ16dを固定するネジ状の棒17dの長さをコントロールすることで、バネ16dの勢いを調整することができる。
また、上述した各実施形態では、加速度センサ14からのセンサデータに基づいてユーザの感情を推定しているが、本開示はこれに限定されず、他のセンサ(例えばタッチセンサ、圧力センサ、ジャイロセンサ、地磁気センサ、生体センサ、温度センサ、振動センサ等)を用いてユーザの感情推定を行ってもよい。
振動センサを用いる例の場合、例えば国際公開第2013/069447号(PCT/JP2012/077316)に記載された円筒状のセンサ装置300を冷蔵庫1B等の上面に配置し、冷蔵庫1Bの扉を開ける際の振動等を検出することが可能である。冷蔵庫1Bは、センサ装置300により検出された振動データに基づいて、ユーザが粗暴に扉を開けている場合は「怒り」の感情であると推定し、また、ユーザが緩慢に扉を開けている場合は「落ち込み」の感情であると推定する。なおセンサ装置300は、国際公開第2013/069447号に記載されているように、センサと回路部とウェイト部を有する。回路部は、増幅器、通信部、制御部、およびメモリを含む。また、センサは、振動を検出して振動データを出力するセンサである。ウェイト部の重みでセンサ装置300が冷蔵庫1Bに密着するため、センサは、冷蔵庫1Bの振動が伝達される状態で保持される。センサは、例えばウェイト部に埋め込まれるように配置されて冷蔵庫1Bに密着し、直接的に冷蔵庫1Bの振動を検出してもよい。あるいは、センサは、ウェイト部の上面などに密着し、ウェイト部から伝達された冷蔵庫1Bの振動を間接的に検出してもよい。なお国際公開第2013/069447号は、その全ての内容について、本参照により本明細書に組み込まれる(The
entire contents of WO 2013/069447 are hereby incorporated by reference.)。
また、上述したように、各機器1の制御部10は、推定されたユーザ感情に対する特定の感情の表出を、感情を認識および表出するためだけの機能とは異なる、機器本来の機能(特定の機能)の一部で行うことが可能であるが、さらに他の機器(外部装置)に対して、推定した感情情報、または特定の感情を表出するための制御信号を送信することも可能である。具体的には、例えば上述した第3、第4の実施形態では、ホームサーバ2やクラウドサーバ5を介して複数の機器(外部装置)が連携しているが、本開示はこれに限定されず、例えば冷蔵庫1Bの制御部10bにより、感情情報または特定の感情を表出するための制御信号を、周辺の照明装置1C(外部装置)に送信し、照明装置1Cにおいてユーザ感情に応じた特定の感情を表出するよう制御することも可能である。感情情報や制御信号の送信は、例えばBluetooth等により周辺にブロードキャストしてもよい。
<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザ感情に応じてオブジェクト本来の機能を利用してユーザに対して特定の感情を表出することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した各機器1、ホームサーバ2、またはクラウドサーバ5に内蔵されるCPU、ROM、およびRAM等のハードウェアに、各機器1、ホームサーバ2、またはクラウドサーバ5の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、
前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と;
感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、
を備える、制御システム。
(2)
前記センサ部は、動きセンサを有し、
前記制御部は、前記動きセンサにより検出された動きの値と、所定値との比較に応じて、前記ユーザの感情を推定する、前記(1)に記載の制御システム。
(3)
前記オブジェクトは、音を出力する機能を有し、
前記制御部は、前記ユーザの感情に応じて、出力される前記音を制御する、前記(1)または(2)に記載の制御システム。
(4)
前記オブジェクトは、照明機能を有し、
前記制御部は、前記ユーザの感情に応じて、照明を制御する、前記(1)または(2)に記載の制御システム。
(5)
前記オブジェクトは、扉を開閉する扉開閉機構を有し、
前記制御部は、前記ユーザの感情に応じて、扉開閉の速度を制御する、前記(1)、(2)、または(4)のいずれか1項に記載の制御システム。
(6)
前記制御システムは、
前記他のオブジェクトの機能の一部を制御する外部装置と通信可能な通信部を備え、
前記制御部は、前記制御信号を、前記通信部を介して前記外部装置に送信するように制御する、前記(1)〜(5)のいずれか1項に記載の制御システム。
(7)
前記制御部は、前記制御信号を、近接無線通信が可能な前記外部装置に提供するために、前記通信部を介して、ブロードキャストするように制御する、前記(6)に記載の制御システム。
(8)
前記制御システムは、通信部を備え、
前記通信部よりブロードキャストされた前記制御信号を受信したホームサーバは、前記外部装置に、当該制御信号を提供する、前記(7)に記載の制御システム。
(9)
前記通信部より送信された前記制御信号を受信したWAN上のサーバは、前記外部装置に、当該制御信号を提供する、前記(7)に記載の制御システム。
(10)
前記制御システムは、前記オブジェクトに取り付け可能である、前記(1)〜(9)のいずれか1項に記載の制御システム。
(11)
前記センサ部は、振動センサを有し、
前記制御部は、前記振動センサにより検出された振動の値と、所定値との比較に応じて、前記ユーザの感情を推定する、前記(10)に記載の制御システム。
(12)
前記制御システムは、
前記他のオブジェクトの機能の一部を制御する外部装置と通信可能な通信部を備え、
前記制御部は、前記推定した感情情報を、前記通信部を介して前記外部装置に送信するように制御する、前記(2)に記載の制御システム。
(13)
感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを受信する通信部と、
前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御する制御部と、
を備える制御システム。
(14)
前記制御部は、前記ユーザが利用している際の前記オブジェクトの状態に関連するデータに基づいて、前記ユーザの感情を推定する、前記(13)に記載の制御システム。
(15)
前記制御部は、前記ユーザが利用している際の前記オブジェクトの状態に関連するデータに、前記ユーザの感情が含まれている、前記(13)に記載の制御システム。
(16)
前記制御部は、前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して表出する感情を特定し、その感情を特定するデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識及び表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御する、前記(13)または(14)に記載の制御システム。
(17)
コンピュータを、
感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、
前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と;
感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
(18)
プロセッサが、
感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを通信部で受信することと、
前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御することと、
を含む、制御方法。
1 機器
1A やかん
10a 制御部
101a 感情推定部
11a 通信部
12a 切替スイッチ
13a 笛調整部
14a 加速度センサ
1B 冷蔵庫
10b 制御部
101b 感情推定部
11b 通信部
12b ヒンジ調整部
13b 庫内灯
14b 加速度センサ
1C 照明装置
10c 制御部
11c 通信部
12c 照明部
1D トースター
1E 炊飯器
2 ホームサーバ
20 制御部
21 ホームネットワーク通信部
22 インターネット通信部
23 記憶部
3 家
4 クラウド
5 クラウドサーバ
50 制御部
51 インターネット通信部
52 記憶部

Claims (18)

  1. 感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、
    前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と;
    感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、
    を備える、制御システム。
  2. 前記センサ部は、動きセンサを有し、
    前記制御部は、前記動きセンサにより検出された動きの値と、所定値との比較に応じて、前記ユーザの感情を推定する、請求項1に記載の制御システム。
  3. 前記オブジェクトは、音を出力する機能を有し、
    前記制御部は、前記ユーザの感情に応じて、出力される前記音を制御する、請求項1に記載の制御システム。
  4. 前記オブジェクトは、照明機能を有し、
    前記制御部は、前記ユーザの感情に応じて、照明を制御する、請求項1に記載の制御システム。
  5. 前記オブジェクトは、扉を開閉する扉開閉機構を有し、
    前記制御部は、前記ユーザの感情に応じて、扉開閉の速度を制御する、請求項1に記載の制御システム。
  6. 前記制御システムは、
    前記他のオブジェクトの機能の一部を制御する外部装置と通信可能な通信部を備え、
    前記制御部は、前記制御信号を、前記通信部を介して前記外部装置に送信するように制御する、請求項1に記載の制御システム。
  7. 前記制御部は、前記制御信号を、近接無線通信が可能な前記外部装置に提供するために、前記通信部を介して、ブロードキャストするように制御する、請求項6に記載の制御システム。
  8. 前記制御システムは、通信部を備え、
    前記通信部よりブロードキャストされた前記制御信号を受信したホームサーバは、前記外部装置に、当該制御信号を提供する、請求項7に記載の制御システム。
  9. 前記通信部より送信された前記制御信号を受信したWAN上のサーバは、前記外部装置に、当該制御信号を提供する、請求項7に記載の制御システム。
  10. 前記制御システムは、前記オブジェクトに取り付け可能である、請求項1に記載の制御システム。
  11. 前記センサ部は、振動センサを有し、
    前記制御部は、前記振動センサにより検出された振動の値と、所定値との比較に応じて、前記ユーザの感情を推定する、請求項10に記載の制御システム。
  12. 前記制御システムは、
    前記他のオブジェクトの機能の一部を制御する外部装置と通信可能な通信部を備え、
    前記制御部は、前記推定した感情情報を、前記通信部を介して前記外部装置に送信するように制御する、請求項2に記載の制御システム。
  13. 感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを受信する通信部と、
    前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御する制御部と、
    を備える制御システム。
  14. 前記制御部は、前記ユーザが利用している際の前記オブジェクトの状態に関連するデータに基づいて、前記ユーザの感情を推定する、請求項13に記載の制御システム。
  15. 前記制御部は、前記ユーザが利用している際の前記オブジェクトの状態に関連するデータに、前記ユーザの感情が含まれている、請求項13に記載の制御システム。
  16. 前記制御部は、前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して表出する感情を特定し、その感情を特定するデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識及び表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御する、請求項13に記載の制御システム。
  17. コンピュータを、
    感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態を検出するセンサ部と、
    前記センサ部より検出された当該オブジェクトの状態に基づいて推定された前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するため前記オブジェクトの機能の一部を制御する制御機能と;
    感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部で、前記ユーザの感情に応じて、当該ユーザに対して特定の感情を表出するための制御信号を生成する生成機能とのうち、少なくともいずれか一方を有する制御部と、
    として機能させるためのプログラムが記憶された、記憶媒体。
  18. プロセッサが、
    感情を認識および表出する機能を有しない、特定の機能を有するオブジェクトをユーザが利用している際の当該オブジェクトの状態に関連するデータを通信部で受信することと、
    前記オブジェクトの状態に基づいて推定されたユーザの感情に応じて、当該ユーザに対して感情を表出するために必要なデータを、前記通信部を介して、前記オブジェクトの周囲に配される、感情を認識および表出する機能を有しない、特定の機能を有する他のオブジェクトの機能の一部を制御可能な外部装置に送信するように制御することと、
    を含む、制御方法。
JP2018536941A 2016-08-31 2017-05-26 制御システム、プログラム、および制御方法 Active JP6954290B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021149589A JP2022008396A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法
JP2021149588A JP2022003546A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169264 2016-08-31
JP2016169264 2016-08-31
PCT/JP2017/019647 WO2018042781A1 (ja) 2016-08-31 2017-05-26 制御システム、記憶媒体、および制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2021149588A Division JP2022003546A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法
JP2021149589A Division JP2022008396A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法

Publications (2)

Publication Number Publication Date
JPWO2018042781A1 true JPWO2018042781A1 (ja) 2019-06-24
JP6954290B2 JP6954290B2 (ja) 2021-10-27

Family

ID=61301828

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018536941A Active JP6954290B2 (ja) 2016-08-31 2017-05-26 制御システム、プログラム、および制御方法
JP2021149588A Pending JP2022003546A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法
JP2021149589A Pending JP2022008396A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021149588A Pending JP2022003546A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法
JP2021149589A Pending JP2022008396A (ja) 2016-08-31 2021-09-14 制御システム、プログラム、および制御方法

Country Status (2)

Country Link
JP (3) JP6954290B2 (ja)
WO (1) WO2018042781A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660841B1 (ko) * 2018-08-13 2024-04-26 현대자동차주식회사 멀티 디바이스 시스템 및 그 제어방법
CN113154783A (zh) * 2020-01-22 2021-07-23 青岛海尔电冰箱有限公司 冰箱交互控制方法、冰箱、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006329555A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 冷蔵庫
JP2007032920A (ja) * 2005-07-26 2007-02-08 Matsushita Electric Works Ltd 冷蔵庫内照明装置
JP2010050015A (ja) * 2008-08-25 2010-03-04 Nec Lighting Ltd 照明装置及び照明装置の制御方法
JP2015017711A (ja) * 2013-07-08 2015-01-29 シャープ株式会社 加熱調理器
JP2015060828A (ja) * 2013-09-20 2015-03-30 東芝ライテック株式会社 照明制御システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207583A (ja) * 1998-11-10 2000-07-28 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2005173910A (ja) * 2003-12-10 2005-06-30 Sekisui House Ltd 出迎え環境形成システム
JP4441887B2 (ja) * 2006-03-31 2010-03-31 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4211841B2 (ja) * 2006-11-15 2009-01-21 トヨタ自動車株式会社 ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム
JP6336816B2 (ja) * 2014-04-30 2018-06-06 東芝ライフスタイル株式会社 冷蔵庫

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006329555A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 冷蔵庫
JP2007032920A (ja) * 2005-07-26 2007-02-08 Matsushita Electric Works Ltd 冷蔵庫内照明装置
JP2010050015A (ja) * 2008-08-25 2010-03-04 Nec Lighting Ltd 照明装置及び照明装置の制御方法
JP2015017711A (ja) * 2013-07-08 2015-01-29 シャープ株式会社 加熱調理器
JP2015060828A (ja) * 2013-09-20 2015-03-30 東芝ライテック株式会社 照明制御システム

Also Published As

Publication number Publication date
WO2018042781A1 (ja) 2018-03-08
JP2022003546A (ja) 2022-01-11
JP2022008396A (ja) 2022-01-13
JP6954290B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
JP2022003546A (ja) 制御システム、プログラム、および制御方法
US11186290B2 (en) Emotion inference device and emotion inference system
US6629242B2 (en) Environment adaptive control of pseudo-emotion generating machine by repeatedly updating and adjusting at least either of emotion generation and behavior decision algorithms
WO2018012446A1 (ja) 活動量をコントロールされる自律行動型ロボット
JP6891897B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106817819A (zh) 具人脸距离测定及近光提醒功能的智能台灯
JP6748957B2 (ja) 環境制御システムおよび環境制御方法
CN106922058B (zh) 灯具的控制方法、装置和系统
TWI695240B (zh) 衛浴設備及其控制方法
KR20190079255A (ko) 로봇 서비스 학습 시스템 및 그 방법
JP2017035251A (ja) 遊技機
JP2024038028A (ja) 特徴データ設定装置、ロボット、端末装置、および特徴データ設定方法
KR102519599B1 (ko) 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법
JP2020143829A (ja) 冷蔵庫
WO2019088160A1 (ja) 反射行動を実行可能な自律行動型ロボット
JP2021033676A (ja) 情報処理装置及びプログラム
CN207945894U (zh) 冰箱门和冰箱
KR20070103227A (ko) 지능형 완구 및 지능형 완구의 제어방법
CN114599434A (zh) 自主移动体、信息处理方法、程序和信息处理设备
CN109697907B (zh) 一种儿童如厕习惯模拟辅助训练系统
TW200625148A (en) Adjustable center-of-gravity mouse
JP2005084789A (ja) パーソナルコンピュータ
WO2024219321A1 (ja) 行動制御システム
JP2017035250A (ja) 遊技機
CN215624345U (zh) 一种带人体感应照明灯的垃圾桶

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R151 Written notification of patent or utility model registration

Ref document number: 6954290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151