JP6731227B2 - 制御システム、動作決定装置、機器、制御方法、及び制御プログラム - Google Patents

Description

本発明は、制御システム、動作決定装置、機器、制御方法、及び制御プログラムに関する。

家電等の機器には、その機器の動作状態等を表すため、ＬＥＤや表示パネルが設けられている。
一方、家電等の機器において、音声で情報を伝達するものが知られている。例えば、引用文献１には、音声出力機能を有する家電機器において、画一的な音声出力とならないようにして使用者の使い勝手の向上を図ることが記載されている。
また、引用文献２には、圧力検出手段が検出した圧力を基に誘発性の高さを示す感情データを算出し、感情データを音、光、画像、映像、振動の少なくとも１つに変換して出力する感情算出装置について記載されている。

特開２００５‐３１５４０号公報 特開２００５‐１５２０５４号公報

しかしながら、引用文献２記載の技術は、利用者の感情データを検出するに過ぎない。家電等の機器等では、ユーザに情緒感を抱かせ、もって機器等に対する共感を呼び起こすことが望まれている。

本発明は上記の点に鑑みてなされたものであり、利用者に情緒を抱かせることができる制御システム、動作決定装置、機器、制御方法、及び制御プログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶する記憶部と、前記少なくとも２つの情報を取得する情報取得部と、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する決定部と、前記決定部が決定した自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力部と、を備える制御システムである。

（２）また、本発明の一態様は、上記の制御システムにおいて、前記自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含み、前記決定部は、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、機器の識別情報を決定し、前記決定部が決定した識別情報が示す機器の出力部は、前記報知を行う。

（３）また、本発明の一態様は、上記の制御システムにおいて、前記記憶部は、前記少なくとも２つの情報と、複数の前記機器の識別情報と、を対応付けた対応情報を記憶し、前記決定部は、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、複数の機器の識別情報を決定し、前記決定部が決定した複数の識別情報が示す機器各々の出力部は、それぞれ異なる報知を行う。

（４）また、本発明の一態様は、上記の制御システムにおいて、利用者からの指示を入力する指示入力部と、前記出力部が前記報知を行った後に、前記指示入力部に入力された指示に基づいて、前記対応情報を変更する更新部と、を備える。

（５）また、本発明の一態様は、上記の制御システムにおいて、動作を行う対象機器に対して、当該対象機器についての前記対応情報を送信する通信部を備え、前記対象機器は、前記決定部を備え、前記決定部は、通信部が送信した前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する。

（６）また、本発明の一態様は、各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得部と、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する決定部と、を備える動作決定装置である。

（７）また、本発明の一態様は、自機器の機能を発揮する動作部と、利用者からの指示を入力する指示入力部と、自機器が検出した環境情報、人情報、又は機器情報を送信するとともに、他の機器が検出した環境情報、人情報、又は機器情報に基づいた自発動作情報であって、自機器の動作に対応する報知情報を含む自発動作情報を受信する通信部と、前記自発動作情報に基づいて、前記報知情報に応じて、前記自機器の動作に対応する報知であって音、光、又は画像による報知を行う出力部と、を備える機器である。

（８）また、本発明の一態様は、情報取得部が、各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得ステップと、決定部が、前記対応情報と前記情報取得ステップで取得された少なくとも２つの情報に基づいて、自発動作情報を決定する決定ステップと、出力部が、前記決定ステップで決定された自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力ステップと、を有する制御方法である。

（９）また、本発明の一態様は、制御システムが具備する一又は複数の装置のコンピュータに、各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得手順、前記対応情報と前記情報取得手順で取得された少なくとも２つの情報に基づいて、自発動作情報を決定する決定手順、出力部が、前記決定手順で決定された自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力手順、を実行させるための制御プログラムである。

本発明によれば、ユーザに情緒感を抱かせ、もって機器等に対する共感を呼び起こすことができる。

本発明の第１実施形態に係る制御システムの一例を表す概略図である。 本実施形態に係る制御システムの構成を示す概略図である。 本実施形態に係る制御システムの概略構成を示す機能ブロック図である。 本実施形態に係る各機器の出力例を表す概略図である。 本実施形態に係る各機器の出力例を表す概略図である。 本実施形態に係る制御システムの動作を示す概略図である。 本発明の第２実施形態に係るユースケースの一例を表す説明図である。 本実施形態に係る機器の構成を示す概略ブロック図である。 本実施形態に係る情報処理装置の構成を示す概略ブロック図である。 本実施形態に係る制御装置の構成を示す概略ブロック図である。 本実施形態に係るシーケンス対応情報テーブルの一例を示す概略図である。 本実施形態に係るシーケンス情報テーブルの一例を示す概略図である。 本実施形態に係る報知情報テーブルの一例を示す概略図である。 本実施形態に係る機器登録情報テーブルの一例を示す概略図である。 本実施形態に係る制御システムの概略シーケンス図である。 本実施形態に係る履歴情報ログの一例を表す概略図である。 本実施形態に係る更新後のシーケンス情報テーブルの一例を示す概略図である。 本発明の第３実施形態に係る制御システムの概略構成を示す機能ブロック図である。 本発明の第４実施形態に係る制御システムの概略構成を示す機能ブロック図である。 本実施形態に係る報知情報テーブルの一例を示す概略図である。 本発明の第５実施形態に係る制御システムの概略構成を示す機能ブロック図である。 本発明の第６実施形態に係る制御システムの概略構成を示す機能ブロック図である。 本実施形態に係る制御システムの概略シーケンス図である。 本実施形態に係る制御システムの概略シーケンス図である。

（第１実施形態）
以下、図面を参照しながら本発明の第１実施形態について詳しく説明する。

＜制御システム＞
図１は、本発明の第１実施形態に係る制御システム１の一例を表す概略図である。この図は、ある家庭の家において、ある部屋で制御システム１が利用されている様子を表す。この家庭は、父親Ｈ１、母親Ｈ２、子供Ｈ３の家族構成である。この部屋には、ロボット２１１、冷蔵庫２１３、テレビジョン受像機（テレビ）２１５、エアーコンディショナー（エアコン）２１６、加熱調理器２１７、空気清浄器２１８等の家電機器が配置されている。また、父親Ｈ１、母親Ｈ２、子供Ｈ３には、それぞれ、通信機器２１９‐１、２１９‐２（図示せず）、２１９‐３（図示せず）等のウェアブル機器が身に付けられている。また、父親Ｈ１、母親Ｈ２は、通信機器２６０、２７０として、スマートフォン等の携帯機器を所持している。

これらの家電機器、ウェアブル機器及び携帯機器等の各機器は、ネットワークを介して、制御装置Ｍ１（図３参照）に接続されている。制御装置Ｍ１は、これらの機器から、環境情報、機器情報、又は人情報を取得する。
なお、環境情報とは、機器のセンサで検出する情報であり、例えば、機器周辺又はセンサ周辺の環境を示す情報である。機器情報とは、例えば、機器の動作状態又は機器の設定を示す情報である。なお、動作状態は、現在の動作状態であっても良いし、未来の（予約された）動作状態であってもよい。また、機器情報は、機器内部の情報であっても良い。人情報とは、人やその人の状態（感情の状態を含む）を表す情報である。

一方、制御装置Ｍ１は、他の情報処理装置から外部情報を取得する。外部情報とは、例えば、インターネット等のネットワークで提供されるサービスの情報である。
制御装置Ｍ１は、取得した環境情報、機器情報、人情報、又は外部情報のうち、例えば、少なくとも２種類の情報に基づいて、自発動作を決定する。ここで、自発動作とは、例えば、各機器の動作であって、人にお勧めする動作である。また、自発動作は、少なくとも２種類の情報に基づいて決定される。例えば、機器情報に基づいて、各機器がこれから行う動作又は現在行っている動作を選択できる場合でも、自発動作は、環境情報に応じて変わる。つまり、１種類の情報に基づく場合には、利用者が指示をした動作、又は利用者が推定できる動作に留まるものの、もう１種類の情報が加わることによって、制御システム１は、よりきめ細かい動作を提案できる。これにより、利用者は、各機器が自発的に、動作を提案したように感じる。同様に、自発動作は、機器の処理対象（例えば、加熱調理器の場合にはメニュー、材料）や、利用者によって変わる。
なお、自発動作には、衣服（洗濯、乾燥等）に関する動作、食物（調理、食材の保存等）に関する動作、住居（温度、湿度、空気の汚れ、明るさ、におい等）に関する動作、又は、情報提供の動作等がある。制御装置Ｍ１は、自発動作によって、衣服、食物、住居、又は情報について、現状を変化させる。

制御装置Ｍ１は、自発動作を行うことができる機器を選択する。制御装置Ｍ１は、選択した一又は複数の機器について、決定した自発動作を行う際に、当該機器が行う報知（「自発報知」とも称する）を示す報知情報（「自発報知情報」とも称する）を決定する。
ここで、報知情報とは、機器の報知方式や報知機能を示す情報である。例えば、報知方式を示す情報は、例えば、音、光、画面を示す情報である。報知機能を示す情報としては、報知位置（例えば、スピーカーの位置、発光装置の位置、ディスプレイの位置）、又は報知パターン（光の色、発光位置、画像、音色や声色のいずれか或いは複数の組合せ）である。なお、報知パターンは、時間変化を伴う報知のパターンであっても良い。

例えば、制御装置Ｍ１は、家電機器がその機能を発揮する位置（「機能発揮位置」とも称する）、又は、家電機器がその機能を発揮するために、利用者が操作を行うべき位置（「機能発揮操作位置」とも称する）を、自発報知情報として決定する。なお、自発報知情報が示す位置（「自発報知位置」とも称する）は、機能発揮位置或いは機能発揮操作位置から最も近い報知機能の位置、又は、機能発揮位置或いは機能発揮操作位置を指示可能な報知機能の位置であっても良い。

制御装置Ｍ１に選択された一又は複数の各機器は、自発報知情報に基づいて、自発報知位置の報知機能に、自発報知情報が示す報知パターン（「自発報知パターン」とも称する）で報知を行う。なお、一又は複数の各機器は、自機器の動作中、又は、自機器の動作前に、報知を行う。ここで、自機器の動作前とは、例えば、利用者が電源をＯＮしていない状態（待機状態）である。
また、一又は複数の各機器は、自発動作を示す自発動作情報に基づいて、自発動作を行う。ここで、一又は複数の各機器は、利用者が許可した場合（例えば、利用者が「お願い」と言った場合、又は「お勧め動作」ボタンを押下した場合）に、自発動作（お勧め動作）を行う。

図１では、例えば、母親Ｈ２がキッチンで調理後、リビングに戻ってきた場合の図である。ここで、加熱調理器２１７は、例えば２０秒前に、調理が完了（動作が完了）したことを示す機器情報を、制御装置Ｍ１へ送信した。通信機器２１９‐２は、母親Ｈ２がキッチンからリビングへ移動したこと、及び、母親Ｈ２の体温、発汗量、又は脈拍を検出し、検出した情報を示す人情報を、例えば、１０秒前に、制御装置Ｍ１へ送信した。また、家電機器のいずれか（例えば、ロボット２１１、エアコン２１６）は、リビングの温度を検出し、検出した情報を示す環境情報を、例えば５秒前に、制御装置Ｍ１へ送信した。

制御装置Ｍ１は、機器情報に基づいて、加熱調理器２１７で調理が完了した後、予め定めた時間（例えば５分）が経過する前である判定し、また、人情報に基づいて、母親Ｈ２がリビングへ移動したと判定する。この場合、制御装置Ｍ１は、人情報に基づいて、母親Ｈ２の体温が閾値より高い、発汗量が閾値より多い、又は、脈拍が閾値より高い場合には、母親Ｈ２は体が熱いと判定し、母親Ｈ２の体を冷やす動作を自発動作に設定する。
この自発動作が設定されたとき、制御装置Ｍ１は、環境情報に基づいて、リビングの温度が予め定めた値より高いか否かを判定する。リビングの温度が予め定めた値より高いと判定した場合、制御装置Ｍ１は、例えば、エアコンがリビングの温度よりも低い温度を設定した冷房を行うことを、自発動作の候補の１つとして選択する。制御装置Ｍ１は、この自発動作を指示でき、かつ、実行できる機器として、エアコン２１６を選択する。また、制御装置Ｍ１は、機能発揮位置を示す自発報知情報を決定する。

図１では、エアコン２１６は、機能発揮位置、つまり、吹き出し口に最も近い位置を発光している。また、エアコン２１６は、音声にて「調理お疲れ様でした。熱い体を冷やすのに、頑張って強めに冷やすね」との音を出力している。なお、制御装置Ｍ１は、リモートコントローラ（「リモコン」と称する）にある機能発揮操作位置を示す自発報知情報を決定してもよく、この場合、エアコン２１６のリモコンは、機能発揮操作位置に基づいて、ボタン等を発光させても良い。エアコン２１６は、母親Ｈ２が「お願い」と発音した場合、その発音及び内容を検出し、お勧め動作、つまり、リビングの温度よりも低い温度を設定した冷房を行う。
また、エアコン２１６は、例えば、急速にリビングの温度を下げるために出力を閾値より大きくした場合に、それに応じたパターンで報知態様を変化させても良い。例えば、エアコン２１６は、自発報知パターンが青色で点滅である一方、出力を大きくした場合に赤色で発光し、出力に応じてその発光を変化させる。ここで、エアコン２１６は、出力に応じて、輝度や光の色味、光の範囲を変化させるが、これらは、光の振幅やエネルギー、発光装置への出力（印加電圧や電流）を変化させることで実現しても良い。

以上のように、制御システム１では、環境情報、機器情報、人情報、又は、外部情報を考慮した上で自発動作を決定し、各機器は、決定した自発動作を、利用者へ提案できる。これにより、利用者が望む提案をできた場合には、利用者が喜びを覚えるので、制御システム１は、利用者に情緒を抱かせることができる。また、環境情報、機器情報、人情報、又は、外部情報は、利用者が体験している情報、又は、興味或いは感心を持つ情報である。各機器は、これらの情報に基づいた自発動作を提案するので、利用者は、各機器が自分のことを理解した上で、提案していると感じる。これにより、利用者が機器に対して嬉しさを感じるので、制御システム１は、利用者に情緒を抱かせることができる。
また、各機器は、例えば、出力に応じて、報知態様を変化させる。これにより、利用者は、例えば、各機器が頑張っているような印象を受けて機器に共感するので、制御システム１は、利用者に情緒を抱かせることができる。

＜制御システムの構成＞
図２は、本実施形態に係る制御システム１の構成を示す概略図である。
この図において、家２１０、２２０、医療機関サーバ２３０、自治体サーバ２４０、事業者サーバ２５０、通信機器２６０、２７０、自動車２８０は、インターネット３０を介して、通信可能な状態にある。
家２１０には、ロボット２１１、冷蔵庫２１３、照明２１４、テレビ２１５、エアコン２１６、加熱調理器２１７、及び、空気清浄器２１８等の家電機器が設置されている。これらの家電機器と通信機器２１９（上述の通信機器２１９‐１、２１９‐２、２１９‐３）は、ルーター２１２を介して、インターネット３０に接続されている。
家２２０には、ロボット２２１、冷蔵庫２２３、照明２２４、テレビ２２５、エアコン２２６、掃除機２２７、スマートミラー（鏡）２２８等の家電機器が設置されている。これらの家電機器と通信機器２２９は、ルーター２２２を介して、インターネット３０に接続されている。

医療機関サーバ２３０は、医療機関のサーバであり、例えば医療情報を記憶し、提供する。医療機関サーバ２３０は、例えば、個人を識別するユーザ識別情報（マイナンバー等。後述する「外部ユーザＩＤ」）毎に、受診した医療機関、受診日時、受診内容（病状）、受診結果（病状、処方薬）等の情報を、医療情報として記憶し、提供する。
自治体サーバ２４０は、自治体のサーバであり、例えば自治体情報を記憶し、提供する。自治体サーバ２４０は、例えば、個人を識別するユーザ識別情報（マイナンバー等。後述する「外部ユーザＩＤ」）毎に、住民基本台帳の各情報（氏名、生年月日、性別、住所等）を、自治体情報として記憶し、提供する。また、自治体サーバ２４０は、防災情報（避難指示、避難勧告）、緊急速報（地震速報、災害速報）、自治体サービスのイベント情報等を、自治体情報として記憶し、提供する。

事業者サーバ２５０は、事業者のサーバであり、例えば事業者情報を記憶し、提供する。
例えば、通信事業者の場合、事業者サーバ２５０は、ＳＮＳ等の会員機構の情報、各会員の属性情報（性別や年齢、嗜好情報、交友情報等）を、事業者情報として記憶し、提供する。事業者サーバ２５０は、会員を識別するユーザ識別情報（後述する「外部ユーザＩＤ」）毎に、サイトへの書き込み情報、ショッピングサイト等での購買情報、オークションサイト等での入札落札情報、検索サイト等での検索情報、動画サイト等の閲覧情報等を、事業者情報として記憶し、提供する。また、事業者サーバ２５０は、ニュース等の記事、天候情報（地域毎の天気、気温、湿度、注意報）等を、事業者情報として記憶し、提供する。
例えば、自動車事業者の場合、自動車（例えば登録番号）毎に、車種、所有者情報（ユーザ識別情報（後述する「外部ユーザＩＤ」）、氏名、住所、電話番号、メールアドレス等）、メンテナンス情報（予定、履歴）、リコール情報等を、事業者情報として記憶し、提供する。
なお、事業者サーバ２５０には、制御システム１を制御する制御装置Ｍ１（図３）が含まれる。

通信機器２６０、２７０は、スマートフォン、ベーシックフォン、フューチャーフォン等の携帯電話機器、タブレット端末、ＰＣ（パーソナルコンピュータ）等の携帯機器である。通信機器２６０、２７０は、腕時計型、リストバンド型、ヘッドフォン型、メガネ型等のウェアラブル機器であっても良い。

自動車２８０は、人を乗せて移動させる装置であり、自動車制御機器が搭載されている。自動車制御機器は、エンジンコントロールユニット（ＥＣＵ）、カーナビゲーション、及び空調制御装置から取得した情報を記憶し、これらの情報を機器情報や環境情報、人情報として提供する。例えば、自動車制御機器は、ユーザ（運転手や搭乗者）毎に、車の位置情報、目的地の履歴情報、ルート検索の検索結果情報、又は、移動履歴情報（日時、通過場所、速度等）、車内或いは車外の温度等を記憶し、提供する。

以下、図３の機器について、説明を行う。
各機器（家電機器、通信機器、自動車制御機器）は、環境情報を検出する。環境情報の具体例としては、温度、湿度、空気の汚れ（埃や特定物質の量）等を示す情報である。また、環境情報は、明るさ、機器周辺を撮像した画像、機器に加わる力（例えば、荷重や振動）、におい、音、水位や水質等であっても良い。また、環境情報は、人感センサや動物センサのように、赤外線等で生物が存在することや、何人（又は何匹）存在するかを検出した情報であっても良い。

各機器は、機器情報を取得する。例えば、各機器は、自機器について、品番、品名、機器を識別する機器識別情報（製造番号、ＭＡＣアドレス等））、自機器が有する機能を示す情報、自機器の設置場所（部屋を示す情報等）を示す情報、自機器の所有者を示すユーザ識別情報、及び、自機器の能力情報を、予め記憶し、これらの情報を読み出す。ここで、自機器の能力情報は、自機器の動作能力及び報知能力等を示す情報である。自機器の動作能力を示す情報とは、自機器が行うことができる動作（自発動作の候補）を示す情報である。自機器の報知能力を示す情報とは、自機器の報知方式や報知機能を示す情報である。
また、各機器は、現在、自機器に設定されている設定情報を記憶し、この設定情報を読み出す。また、各機器は、自機器に対する操作が行われた場合、その操作情報（操作内容、又は、操作の結果、設定された設定情報）を記憶し、読み出す。また、各機器は、センサ等を用いて、自機器の動作状態を示す動作情報を検出しても良い。動作情報には、例えば、内部情報（部材の回転数、部材の温度）、現在の設定情報（運転モード、設定温度等）、稼働時間等が含まれる。

各機器は、人情報を検出できても良い。人情報の具体例としては、認証の結果、特定された人を識別するユーザ識別情報である。ここで、認証とは、例えば、ＩＤやパスワード等による入力認証、顔認証や指紋、掌、静脈、声紋認証等である。また、人情報は、ユーザ識別情報が示すユーザ毎に、体温、発汗量、脈拍（鼓動）、血圧等のバイタルデータを含んでいても良い。また、人情報は、感情を示す感情情報が含んでいても良い。例えば、各機器は、表情を検出し、笑顔を検出した場合に機嫌が良いと判定し、困った顔を検出した場合に機嫌が悪いと判定しても良い。また、各機器は、音声を解析し、解析結果（言葉の種類や発話スピード、周波数等）に基づいて感情を判定してもよし、利用者の発話回数に基づいて感情を判定しても良い。
また、各機器は、顔の向きを検出できても良い。例えば、各機器は、自機器に顔の向きを検出するカメラを備えることで、機器側に顔を向いているか否かを判別でき、機器操作の主体や、誰がどの機器を見ているかの判定が可能となる。
各機器は、人の位置が検出できても良い。各機器は、自機器に人感センサを備えることで、人のいる場所や、機器の近くに人がいるか否かの検出でき、人が近くにいる機器から情報を報知したり、人が近くにいる機器を動作させ、機器の効用を無駄なく効かせることができる。各機器は、人感センサの代わりに、機器が操作されたことで人がその機器の近くにいると判定してもよい。
さらに、各機器は、人情報の認証と、人の位置の検出を併用することで、だれがどこにいるかが判別可能となる。

＜各機器と機器情報の具体例＞
ロボット２１１、２２１は、例えば、人工知能を搭載し、音声や表情を通じて、人とコミュニケーションをとる機器である。ロボット２１１、２２１は、人の音声をマイクで収集し、音声認識と音声の言語解析を行う。ロボット２１１、２２１は、言語解析の結果、応答の言語を生成し、生成した言語を音声に変換して、発話する。また、ロボット２１１、２２１は、言語解析の結果、又は、応答に応じて、表情を変えることができる。
なお、人工知能、音声認識機能、言語解析機能、言語生成機能、その他ロボットの動作制御機能を制御装置Ｍ１等のサーバに備え、当該サーバとの連携によりロボット２１１、２２１を実現してもよい。
また、上記ロボットの各機能は、後述する家庭内の各機器に備えていてもよい。

冷蔵庫２１３、２２３は、例えば電気冷蔵庫であり、冷媒ガスを圧縮液化し、その気化熱で庫内を冷却する機器である。冷蔵庫２１３、２２３は、機器情報として、運転強度（強、中、弱）、設定温度或いは湿度、現在の庫内の温度或いは湿度、庫内の食材（例えば、食材の種類或いは名称）等を示す情報を、制御装置Ｍ１へ送信する。例えば、冷蔵庫２１３、２２３は、イベント毎（ユーザ操作或いは自動操作（タイマー操作）等）又は設定時刻に、利用者（操作の場合は操作者）を示すユーザ識別情報、操作内容（運転強度を「強」に設定等）、時刻等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

照明２１４、２２４は、発光により、周辺を明るく照らす機器である。照明２１４、２２４は、機器情報として、電源のＯＮ／ＯＦＦ、照明の明るさ或いは照明強度（強、中、弱）、照明の色等を示す情報を、制御装置Ｍ１へ送信する。例えば、照明２１４、２２４は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容（電源をＯＮ、照明強度を「強」に設定等）、時刻等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

テレビ２１５、２２５は、無線又は有線により伝達された電気信号を、機器情報として、画像信号に変換し、映像として再生する機器である。例えば、テレビ２１５、２２５は、電源のＯＮ／ＯＦＦ、選局された放送或いは選択された入力の種類、選局されたチャンネル、明るさ、コントラスト比等を示す情報を、機器情報として制御装置Ｍ１へ送信する。テレビ２１５、２２５は、機器情報として、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容（電源をＯＮ、選局されたチャンネル等）、時刻等を示す情報を、制御装置Ｍ１へ送信する。

エアコン２１６、２２６は、冷房、除湿、暖房により、空気調和を行う機器である。エアコン２１６、２２６は、機器情報として、電源のＯＮ／ＯＦＦ、運転モード（冷房、暖房、除湿、或いは送風等）、設定温度或いは湿度、風向、風量、運転強度、タイマー時間、又は、運転開始からの経過時間を、制御装置Ｍ１へ送信する。例えば、エアコン２１６、２２６は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容（電源をＯＮ、選択されたモード等）、時刻等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

加熱調理器２１７は、オーブン機能又はレンジ機能等、食材等を加熱する機器である。なお、加熱調理器２１７は、コンロや誘導加熱方式を用いたクッキングヒータであっても良い。加熱調理器２１７は、機器情報として、運転モード（電子レンジ、オーブン、解凍、或いは自動等）、調理品（「ローストチキン」等の現在の調理の結果、完成する品、又は、「鶏肉」等の調理を行われる対象の品）、運転強度、設定温度或いは時間、現在の機器内部の温度或いは調理品（現在調理が行われている対象の品）の温度、運転開始時刻（例えば、スタートボタンを押下した時刻）或いは運転開始時刻からの経過時間等を示す情報を、制御装置Ｍ１へ送信する。例えば、加熱調理器２１７は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容（電源をＯＮ、スタートボタンの押下、選択されたモード等）、時刻等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

空気清浄器２１８は、空気中の粉塵や浮遊細菌を除去し、煙などのにおいを取り去って、空気を浄化するための機器である。空気清浄器２１８は、加湿機能や除湿機能を有しても良いし、イオン発生機能を有し、イオンによって空気を浄化しても良い。空気清浄器２１８は、機器情報として、電源のＯＮ／ＯＦＦ、運転モード（空気清浄、加湿、或いはイオン発生）設定湿度、運転強度、運転開始時刻（例えば、ボタン押下した時刻）或いは運転開始時刻からの経過時間等を示す情報を、制御装置Ｍ１へ送信する。例えば、空気清浄器２１８は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容（電源をＯＮ、選択されたモード等）、時刻等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

掃除機２２７は、ごみやほこり等を吸引することで除去する機器である。掃除機２２７は、機器情報として、電源のＯＮ／ＯＦＦ、運転モード（絨毯、フローリング、畳）、吸引強度、運転開始時刻或いは運転開始時刻からの経過時間等を示す情報、自機器の位置情報を、制御装置Ｍ１へ送信する。例えば、掃除機２２７は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容、時刻、自機器の位置情報等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

スマートミラー２２８は、表示機能を備えた鏡であり、表示機能と反射（鏡）機能を切り替えることができる機器である。スマートミラー２２８は、機器情報として、表示した画像等を示す情報を、制御装置Ｍ１へ送信する。なお、スマートミラー２２８は、人情報として、撮影した画像（人の表情の画像やサーモグラフィー画像等）等を示す情報を、制御装置Ｍ１へ送信する。

通信機器２１９、２２９は、腕時計型、リストバンド型、ヘッドフォン型、メガネ型等のウェアラブル機器である。通信機器２１９、２２９は、携帯電話機器、タブレット端末、ＰＣ等の携帯機器であっても良い。通信機器２１９、２２９は、主にバイタルデータを検出して、人情報として制御装置Ｍ１へ送信する。通信機器２１９、２２９は、機器情報として、自装置の位置（ＧＰＳで測位された位置等）、加速度、体勢、又は向きを示す情報を、制御装置Ｍ１へ送信する。例えば、通信機器２１９、２２９は、イベント毎又は設定時刻に、利用者を示すユーザ識別情報、操作内容、時刻、自機器の位置情報等を示す情報を、機器情報として制御装置Ｍ１へ送信する。

なお、機器は、上記の例に限られず、例えば、洗濯乾燥機、炊飯器、ミキサー、扇風機、除湿機、加湿器、布団乾燥機等の家電機器であっても良い。

＜制御システムの機器及び装置の構成＞
図３は、本実施形態に係る制御システム１の概略構成を示す機能ブロック図である。
制御システム１は、Ｎ個の機器Ｕ１‐ｎ（ｎ＝１、２、・・・Ｎ）、情報処理装置Ｓ１、制御装置Ｍ１を具備する。なお、図２のロボット２１１、２２１、冷蔵庫２１３、２２３、照明２１４、２２４、テレビ２１５、２２５、エアコン２１６、２２６、加熱調理器２１７、空気清浄器２１８、掃除機２２７、スマートミラー２２８、通信機器２１９、２２９、２６０、２７０、及び、自動車２８０の自動車制御機器は、機器Ｕ１‐ｎに相当する。図２の医療機関サーバ２３０、自治体サーバ２４０、及び事業者サーバ２５０の一部は、情報処理装置Ｓ１に相当する。図２の事業者サーバ２５０の別の一部は、制御装置Ｍ１に相当する。

＜機器の構成＞
機器Ｕ１‐ｎは、センサ部Ｕ１１‐ｎ、動作部Ｕ１２‐ｎ、入出力部Ｕ１３‐ｎ、制御部Ｕ１４‐ｎ、記憶部Ｕ１５‐ｎ、及び、通信部Ｕ１６‐ｎを含んで構成される。
センサ部Ｕ１１‐ｎは、機器Ｕ１‐ｎの内部又は外部（機器周辺）の情報を検出する。機器Ｕ１‐ｎ、例えば、環境情報、機器情報、及び、人情報を検出する。
動作部Ｕ１２‐ｎは、制御部Ｕ１４からの制御に従って、自機器の機能を発揮する動作を行う。
入出力部Ｕ１３‐ｎは、機器本体又はリモコンに、入力部としてのボタン等を備える。なお、ボタンは、物理ボタンであっても良いし、タッチパネルに表示された画像ボタンでも良い。また、入出力部Ｕ１３‐ｎは、機器本体又はリモコンに、出力部としてのスピーカーや発光装置、ディスプレイ等を備える。

制御部Ｕ１４‐ｎは、入出力部Ｕ１３‐ｎから入力された情報、センサ部Ｕ１１‐ｎが検出した情報、後述する記憶部Ｕ１５‐ｎが記憶する情報、通信部Ｕ１６‐ｎが受信した情報に基づいて、機器Ｕ１‐ｎの各部を制御する。例えば、制御部Ｕ１４‐ｎは、通信部Ｕ１６‐ｎが受信した自発動作情報に従って、動作部Ｕ１２‐ｎに動作をさせ、入出力部Ｕ１３‐ｎに出力させる。なお、自発動作情報とは、動作を指示する情報であり、例えば、動作を識別する動作ＩＤや、報知情報（発光情報及び音声情報を含む）が含まれる。

記憶部Ｕ１５‐ｎは、機器Ｕ１‐ｎのプログラム、環境情報、機器情報、人情報、及び、自発動作情報等を記憶する。例えば、機器情報には、上述のように、設定情報が含まれ、また、操作情報の履歴も含まれる。
通信部Ｕ１６‐ｎは、情報を送受信することで、外部機器と通信を行う。通信部Ｕ１６‐ｎは、例えば、記憶部Ｕ１５‐ｎが記憶する情報を、制御装置Ｍ１へ送信する。また、通信部Ｕ１６‐ｎは、例えば、制御装置Ｍ１から自発動作情報を受信する。

＜情報処理装置の構成＞
情報処理装置Ｓ１は、制御部Ｓ１１、記憶部Ｓ１２、及び、通信部Ｓ１３を含んで構成される。
制御部Ｓ１１は、後述する記憶部Ｓ１２が記憶する情報、通信部Ｓ１３が受信した情報に基づいて、外部情報を取得する。なお、外部情報には、サービス情報（料理のレシピ等）、リコメンド情報、利用者の嗜好情報、ウェブサイトの閲覧履歴、ショッピングサイトでの購買履歴、放送波の番組情報、番組等の視聴履歴等が含まれる。制御部Ｓ１１は、取得した外部情報を記憶部Ｓ１２に記憶するとともに、制御装置Ｍ１へ送信する。
ここで、制御部Ｓ１１は、外部情報の取得先（外部サーバ等）を示す取得先情報を記憶部Ｓ１２から読み出し、その取得先情報が示す取得先からの外部情報を取得する。また、制御部Ｓ１１は、各機器の所有者や利用者を示すユーザ識別情報（「機器ユーザＩＤ」とも称する）と、当該所有者又は利用者が外部装置で利用するユーザ識別情報（「外部ユーザＩＤ」とも称する）と、を対応付けたユーザ対応情報を記憶部Ｓ１２から読み出す。制御部Ｓ１１は、外部ユーザＩＤを含む外部情報を取得した場合には、ユーザ対応情報に基づいて、その外部情報に対して、当該外部ユーザＩＤに対応する機器ユーザＩＤを付与する。制御部Ｓ１１は、機器ユーザＩＤを含む外部情報を、記憶部Ｓ１２に記憶するとともに、制御装置Ｍ１へ送信する。

記憶部Ｓ１２は、情報処理装置Ｓ１のプログラム、取得先情報、ユーザ対応情報、及び外部情報等を記憶する。
通信部Ｓ１３は、情報を送受信することで、外部機器と通信を行う。通信部Ｓ１３は、例えば、取得先情報が示す取得先からの外部情報を受信する。また、通信部Ｓ１３は、例えば、外部情報を、制御装置Ｍ１へ送信する。

＜制御装置の構成＞
制御装置Ｍ１は、制御部Ｍ１１、記憶部Ｍ１２、及び、通信部Ｍ１３を含んで構成される。
制御部Ｍ１１は、後述する記憶部Ｍ１２が記憶する情報、通信部Ｍ１３が受信した情報に基づいて、各機器Ｕ１‐ｎの自発動作及び報知情報を決定する。ここで、制御部Ｍ１１は、複数の各機器Ｕ１‐ｎから取得した環境情報、機器情報、人情報、又は、情報処理装置Ｓ１から取得した外部情報のうち、例えば、少なくとも２種類の情報に基づいて、動作を行う機器Ｕ１‐ｎを決定し、その機器Ｕ１‐ｎの自発動作及び報知情報を決定する。このとき、制御部Ｍ１１は、少なくとも２種類の情報、自発動作、及び報知情報を対応付けた自発対応情報（図１１、図１２、図１３参照）を、記憶部Ｍ１２から読み出し、自発対応情報に基づいて、動作を行う機器Ｕ１‐ｎを決定し、その機器Ｕ１‐ｎの自発動作及び報知情報を決定する。

一例として、制御部Ｍ１１は、少なくとも環境情報及び人情報に基づいて、機器Ｕ１‐ｎの自発動作及び報知情報を決定する。具体的には、制御部Ｍ１１は、エアコン２１６から、利用者の体温又は発汗量を示す人情報と、部屋の温度を示す環境情報と、を取得する。制御部Ｍ１１は、人情報が示す体温が閾値Ｔｈ１１より高い、又は発汗量が閾値Ｔｈ１２より多い場合には、部屋の温度より低い温度を設定した冷房を行うこと、またはそのような提案を報知すること、を決定する。ここで、制御部Ｍ１１は、人情報が示す体温又は発汗量に基づいて、冷房の強弱を決定しても良い。例えば、制御部Ｍ１１は、人情報が示す体温が閾値Ｔｈ２１（＞閾値Ｔｈ１１）よりも高く、又は発汗量が閾値Ｔｈ２２（＞閾値Ｔｈ１２）より多い場合には、冷房を「強」に決定し、設定温度をより低く設定する。
制御部Ｍ１１は、人情報が示す利用者がいる部屋を検出し、その部屋にあるエアコン２１６を選択する。制御部Ｍ１１は、暑いと感じている人に対して、冷房を勧める場合の報知情報を選択する。この報知情報は、例えば、吹き出し口の最も近い位置で、寒色での発光を行うことを示す。また、この報知情報は、「熱い体を冷やすのに、頑張って強めに冷やすね」との音声情報も含む。
制御部Ｍ１１は、決定した自発動作を示す自発動作情報と報知情報を、選択したエアコン２１６へ送信する。エアコン２２６は、受信した報知情報に基づいて、「熱い体を冷やすのに、頑張って強めに冷やすね」と発音し、吹き出し口の最も近い位置で、寒色での発光を行う。例えば、利用者が「お願い」と発音した場合、エアコン２１６は、自発動作情報が示す自発動作、つまり、エアコン２１６は、部屋の温度より低い温度を設定した冷房を行う。

別の一例として、制御部Ｍ１１は、少なくとも人情報及びサービス情報に基づいて、機器Ｕ１‐ｎの自発動作及び報知情報を決定する。具体的には、制御部Ｍ１１は、ロボット２１１から、利用者の笑顔又はため息を示す人情報を取得する。制御部Ｍ１１は、利用者の笑顔の回数が閾値Ｔｈ３１よりも少ない場合、又は、ため息の回数が閾値Ｔｈ３２より多い場合には、この利用者が落ち込んでいると判定する。なお、制御部Ｍ１１は、閾値Ｔｈ３１、Ｔｈ３２を、この利用者の笑顔の回数やため息の回数の平均値から決定しても良い。
制御部Ｍ１１は、利用者が落ち込んでいると判定した場合、外部情報のうち、この利用者の嗜好情報を取得する。制御部Ｍ１１は、取得した嗜好情報に基づいて、この利用者の好きな番組（例えば、好きなタレントが出演している番組）を選択し、これらの音楽や映像を勧めることを決定する。制御部Ｍ１１は、ロボット２１１、及びテレビ２１５を選択する。また、制御部Ｍ１１は、落ち込んでいる人に対して、映像を勧める場合の報知情報を選択する。この報知情報は、例えば、テレビ２１５の画面を指し示す位置で、暖色系の発光を行うことを示す。また、この報知情報は、「××って番組を見ようか。タレントの△△さんが出演しているよ。」との音声情報も含む。

制御部Ｍ１１は、決定した自発動作を示す自発動作情報と報知情報を、選択したロボット２１１及びテレビ２１５へ送信する。ロボット２１１及びテレビ２１５のうち、先に利用者を検出した機器（例えばロボット２１１）は、受信した報知情報に基づいて、「××って番組を見ようか。タレントの△△さんが出演しているよ。」と発音するとともに、テレビ２１５に、発光による報知を指示する。テレビ２１５は、ロボット２１１の発音に同期して、報知情報に基づいて、発光する。なお、制御システム１（制御装置Ｍ１又は報知情報を取得した全機器）は、複数の機器へ報知情報が送信された場合、ある機器（例えば、ロボット２１１）が報知した場合には、別の機器（テレビ２１５）は同じ報知をしないように制御をしても良い。

なお、制御部Ｍ１１は、利用者が落ち込んでいると判定した場合、この利用者の家族や友達（「家族等」と称する）に、この利用者が落ち込んでいることを通知しても良い。この場合に、制御部Ｍ１１は、この利用者を元気付けるための情報を、家族等に通知することを、自発動作として決定しても良い。具体的には、制御部Ｍ１１は、サービス情報に基づいて、この利用者と家族等を特定する。制御部Ｍ１１は、利用者と特定した家族等の各々の思い出情報を抽出する。思い出情報とは、この利用者と家族等の各々が一緒に作った料理、一緒に見た映画や番組、一緒に写った写真、一緒に行った旅行等である。ここで、制御部Ｍ１１は、思い出情報のうち、思い出情報が示す思い出を体験した日付が古いものを優先して、選択しても良い。また、制御部Ｍ１１は、思い出情報と感情情報を対応付けて記憶し、機嫌が良いものと対応付けられた思い出情報を選択しても良い。具体的には、情報処理装置Ｓ１（又は制御装置Ｍ１、外部装置）は、感情情報として、笑顔の人の人数や笑顔の回数を、思い出情報と対応付けて記憶する。制御部Ｍ１１は、笑顔の人の人数や笑顔の回数が最も多い感情情報を選択し、選択した感情情報に対応する思い出情報を、優先して選択しても良い。

制御部Ｍ１１は、家族等が所有する通信機器２６０、２７０を選択する。また、制御部Ｍ１１は、落ち込んでいる利用者の家族等に対して、この利用者を励ます場合の報知情報を選択する。この報知情報は、例えば、通信機器２６０、２７０の側面を発光しつつ、涙等を表す画像（水滴の画像）を表示することを示す。また、この報知情報は、「×××さんが落ち込んでいるかもしれないよ。×××さんが好きな料理を作って、×××さんを励まそうよ。」との音声情報や、「×××さんが落ち込んでいるかもしれないよ。×××さんと一緒に見たが好きな映画のＤＶＤを持って行って、×××さんを励まそうよ。」との音声情報を含む。
制御部Ｍ１１は、決定した自発動作を示す自発動作情報と報知情報を、選択した通信機器２６０、２７０へ送信する。通信機器２６０、２７０は、受信した報知情報に基づいて、側面を発光し、涙等を表す画像を表示しつつ、音声情報が示す音声を発音する。

＜出力例＞
図４、図５は、本実施形態に係る各機器Ｕ１‐ｎの出力例を表す概略図である。この出力例は、入出力部Ｕ１３‐ｎが報知を行う場合の発光例である。
各機器Ｕ１‐ｎは、環境情報、機器情報、人情報、又は、外部情報に基づいて、生命感やぬくもり、又は躍動感を、創出するように発光する。発光は、各機器Ｕ１‐ｎの機能、便益または効果を表現することが望ましい。また、発光は、各機器Ｕ１‐ｎが機能、便益または効果を発揮している状態を表現することが望ましい。より具体的には、機器が利用者に効果をもたらす部分（冷蔵庫２１３、２２３の開口部、テレビ２１３、２２３の画面の周辺、エアコン２１６、２２６の吹き出し口、加熱調理器２１７の庫内、空気清浄器２１８のイオン発生器搭載部分或いは吹き出し口、等）の近傍、またはこれに関連する部分において発光させる。これにより、利用者は、あたかも各機器Ｕ１‐ｎが意識を持って、自分に寄り添うような感覚を持ち、各機器Ｕ１‐ｎは利用者に対して情緒的価値を創出できる。

ここで、各機器Ｕ１‐ｎは、例えば、点ではなく、面や線で発光することが望ましい。また、発光において、空間的又は時間的な発光の変化は、なだらかにすることが望ましい。例えば、隣り合う発光装置又は画素において、輝度の差は、所定の値（例えば、輝度の１０％）以内にする。また、同じ発光装置又は画素において、１秒間の輝度の差は、所定の値（例えば、輝度の１０％）以内にする。例えば、隣り合う発光装置又は画素において、色の差は、所定の値（例えば、各原色において１０％）以内にする。また、同じ発光装置又は画素において、１秒間の色の差は、所定の値（例えば、各原色において１０％）以内にする。
また、各機器Ｕ１‐ｎは、一定の場所が一定の色で点灯する、又は、一定周期で点滅するのではなく、点灯する場所や色、又は周期を変化させることが望ましい。例えば、同じ設定で動作している場合でも、報知パターン（点灯する場所や色、又は周期）が異なっていても良い。例えば、各機器Ｕ１‐ｎは、動作状況（例えば、出力や稼働時間）に応じて、報知パターン（点灯する場所や色、又は周期）を変化させても良い。具体的には、各機器Ｕ１‐ｎは、出力が大きい場合や稼働時間が長い場合には、点灯する色を暖色系にして、点滅の周期を早めても良い。これにより、各機器Ｕ１‐ｎは、利用者に対して、各機器Ｕ１‐ｎが必死に動作している、又は、長い動作によって疲れているかの印象を与えることができる。

また、各機器Ｕ１‐ｎは、自発動作情報が示す動作を表すように、発光しても良い。例えば、各機器Ｕ１‐ｎは、機能発揮位置や機能発揮操作位置において、その機能又は操作を表す発光を行う。

＜冷蔵庫の発光＞
図４において、冷蔵庫２１３は、発光装置又は画面（「発光部」と称する）Ｌ１１〜Ｌ１６を備える。
発光部Ｌ１１は、冷蔵庫２１３の２つの扉の境界（開口部分）において、扉を閉じた際に対向する位置に配置されている。なお、発光部Ｌ１１は、各扉の前面に配置されても良いし、側面に配置されても良い。ここで、発光部Ｌ１１は、２つの扉の境界に沿った方向に延伸して配置されている。なお、発光部Ｌ１１は、これらの２つの扉が開いたことを契機に発光しても良い。また、発光部Ｌ１１は、配置された扉の開き具合に応じて、その発光態様（例えば輝度）を変化させても良い。また、発光部Ｌ１１は、配置された扉の開き具合の変化に応じて、その発光態様（例えば輝度）を変化させても良い。例えば、発光部Ｌ１１は、配置された扉が開かれる程、発光を強く（輝度を高く）しても良いし、発光を弱くしても良い。また、発光部Ｌ１１は、配置された扉が開く方向に変化している場合には、変化に伴って、発光を強く（輝度を高く）しても良いし、逆に、発光を弱くしても良い。

発光部Ｌ１２、Ｌ１３は、各扉の前面に配置されている。例えば、発光部Ｌ１２、Ｌ１３は、矩形の画面であり、扉の一辺（図では長辺）に平行に長辺を有する。例えば、発光部Ｌ１２、Ｌ１３は、機能発揮操作位置を表す動画を表示しても良い。この機能発揮操作位置とは、冷蔵庫２1３の取手部分や、冷蔵庫２１３を開口するために利用者が触れるべき接触部分（タッチパネル）を示す位置である。動画は、例えば、複数の面光が、機能発揮操作位置に集合する画像である。ここで、発光部Ｌ１２、Ｌ１３は、一の面光が他の面光と重なった場合には、少なくとも重なった部分の輝度を大きくしても良い。なお、面光とは、面積を持つ光であり、例えば、点光源や画素が複数、同時に発光することで得られる光である。例えば、面光とは、各機器Ｕ１‐ｎの筐体の少なくとも一面において、１平方センチメ‐トル以上の面積を持つ光である。
冷蔵庫２１３は、利用者に扉を開けさせる場合（開けることを勧める場合）に、発光部Ｌ１２、Ｌ１３に画像を表示させる。

発光部Ｌ１４は、左扉に配置されている。この発光部Ｌ１４は、発光部Ｌ１４が示す位置（冷蔵室又は扉の中段、左側（冷蔵庫に向かって右側））に所望の食材があることを表す。なお、発光部Ｌ１４と同様の発光部が、扉の全面に配置され、冷蔵庫２１３は、所望の食材の位置に応じて、その位置に最も近い発光部を発光させる。
発光部Ｌ１５は、下段の引き出しの開口部に配置される。ここで、発光部Ｌ１５は、引き出しの上部、つまり、取手部分（又は接触部分）に配置されている。冷蔵庫２１３は、利用者に下段の引出しを開けさせる場合に、発光部Ｌ１５を発光させる。
発光部Ｌ１６は、下段の引き出しに配置されている。この発光部Ｌ１６は、発光部Ｌ１６が示す位置（冷凍室の左側（冷蔵庫に向かって右側））に所望の食材があることを表す。なお、発光部Ｌ１６と同様の発光部が、引き出しの全面に配置され、冷蔵庫２１３は、所望の食材の位置に応じて、その位置に最も近い発光部を発光させる。

例えば、冷蔵庫２１３は、自発動作として飲み物を勧める場合に、飲み物の位置を特定する（例えば、冷蔵室の中段）。この場合、冷蔵庫２１３は、発光部Ｌ１４を点滅させながら、例えば「飲み物はここにあるよ」と発音する。また、冷蔵庫２１３は、発光部Ｌ１２、Ｌ１３に画像を表示させ、機能発揮操作位置を報知する。利用者が機能発揮操作位置に触れた場合、冷蔵庫２１３は、発光部Ｌ１１を発光させる。
例えば、点光の場合、その発光箇所が限られており、面積の大きい（又は長さが長い）開口部（又は取手）を示すことができない。冷蔵庫２１３は、開口部に沿った線光又は面光で発光するので、開口部を示すことができる。冷蔵庫２１３は、例えば、開口部（又は取手）において、その５０％（半分）以上の長さを光らせることにより、開口部（又は取手）を示すことができる。

＜テレビの発光＞
テレビ２１５は、発光部Ｌ２１を備える。発光部Ｌ２１は、テレビ２１５の画面（パネル）の下部において、水平方向に延伸して配置されている。なお、発光部Ｌ２１は、中心部に出力の大きい発光装置を配置する、又は、中心部に多くの発光装置を配置しても良い。これにより、発光部Ｌ２１は、中心部を周辺部と比較して、強く発光できる。
発光部Ｌ２１は、画面を示す。つまり、テレビ２１５は、画面で画像を表示することを勧める場合に発光部Ｌ２１を発光させる。これにより、テレビ２１５は、機能発揮位置（画面）を示す。例えば、点光の場合、その発光箇所が限られており、面積の大きい画面を示すことができない。テレビ２１５は、画面の少なくとも一辺（図４の例では、画面の底辺）に沿った線光又は面光で発光するので、画面を示すことができる。テレビ２１５は、例えば、画面の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせることにより、画面を示すことができる。

＜エアコンの発光＞
エアコン２１６は、発光部Ｌ３１を備える。発光部Ｌ３１は、エアコン２１６の吹き出し口の上部において、水平方向に延伸して配置されている。なお、発光部Ｌ３１は、中心部に出力の大きい発光装置を配置する、又は、中心部に多くの発光装置を配置しても良い。これにより、発光部Ｌ３１は、中心部を周辺部と比較して、強く発光できる。
発光部Ｌ３１は、エアコン２１６の吹き出し口を示す。つまり、エアコン２１６は、冷房、暖房、除湿、又は送風を行うことを勧める場合に、発光部Ｌ３１を発光させる。これにより、エアコン２１６は、機能発揮位置（吹き出し口）を示す。例えば、点光の場合、その発光箇所が限られており、面積の大きい（又は長さが長い）吹き出し口を示すことができない。エアコン２１６は、吹き出し口の少なくとも一辺に沿った線光又は面光で発光するので、吹き出し口を示すことができる。エアコン２１６は、空調の効果を発揮する吹き出し口を光らせて示すために、例えば、吹き出し口の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせる。

＜加熱調理器の発光＞
加熱調理器２１７は、発光部Ｌ４１〜Ｌ４３を備える。発光部Ｌ４１、Ｌ４２は、加熱調理器２１７の扉の左右の一辺各々に沿って、延伸して配置されている。発光部Ｌ４３は、加熱調理器２１７の扉の前面に配置されている。つまり、加熱調理器２１７の扉が、テレビのような表示装置になっている。なお、発光部Ｌ４３は、光源を有しなくても良い。例えば、発光部Ｌ４３は、透過型の液晶パネルで構成され、周囲の光を用いて色や画像を表示しても良い。
発光部Ｌ４１、Ｌ４２は、加熱調理器２１７の庫内を示す。つまり、加熱調理器２１７は、調理を行うことを勧める場合に、発光部Ｌ４１、Ｌ４２を発光させる。これにより、加熱調理器２１７は、機能発揮位置（庫内）を示す。例えば、点光の場合、その発光箇所が限られており、面積の大きい（又は長さが長い）庫内を示すことができない。また、点光の場合、光が目立たずに、自機器をアピールできない。加熱調理器２１７は、扉の少なくとも一辺に沿った線光又は面光で発光するので、庫内を示すことができる。加熱調理器２１７は、例えば、扉の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせることにより、庫内を示すことができる。
また、発光部Ｌ４３には、例えば、火や炎を表す画像が表示される。例えば、加熱調理器２１７は、食材等をあたためることや焼くことを勧める場合、又は、食材等をあたためている場合や焼いている場合に、火や炎を表す画像を表示する。なお、ＬＥＤ等の照明の光や光の変化により火や炎、熱を表現してもよい。

＜空気清浄器装置の発光＞
空気清浄器２１８は、発光部Ｌ５１、Ｌ５２を備える。発光部Ｌ５１は、空気清浄器２１８の中心部分に配置されている。発光部Ｌ５１は、空気を清浄している部分、つまり、イオン発生器を示している。また、図４では、発光部Ｌ５１は、複数の円型の面光を発光している。この面光各々は、それぞれ、発光のタイミングや発光時間が異なる。また、各面光は、ゆっくりと発光（徐々に発光を強くし、又は、発光面積を大きく）し、突然消える。つまり、各面光は、完全に出現する時間間隔と比較して、消える時間間隔が短い。例えば、発光部Ｌ５１は、炭酸水の表面において、泡が現れ始め、だんだんと大きくなり、そして弾ける過程と同様の事象を表現する。これにより、空気清浄器２１８は、空気が浄化されている様子を視覚的に表すことができる。なお、発光部Ｌ５１において、発光する面光（画像の場合は円の中心位置）は、ランダムに（乱数によって）決定されても良い。
発光部Ｌ５１は、空気清浄器２１８のイオン発生器を示す。つまり、空気清浄器２１８は、空気を浄化することを勧める場合に、発光部Ｌ５１を発光させる。これにより、空気清浄器２１８は、機能発揮位置（イオン発生器）を示す。例えば、点光の場合、光が目立たずに、自機器をアピールできない。また、空気やイオンは目に見えないものの、沢山の粒子からなる。点光の場合、沢山の粒子を表現できない。空気清浄器２１８は、本体の一部で複数の面光を発光するので、空気の浄化を表現しつつ、イオン発生器を示すことができる。空気清浄器２１８は、例えば、６つ以上の面光を表示することにより、イオン発生器を示すことができる。
発光部Ｌ５２は、空気清浄器２１８の吹き出し口において、吹き出し口に沿って延伸して配置されている。
発光部Ｌ５２は、空気清浄器２１８の吹き出し口を示す。つまり、空気清浄器２１８は、空気清浄を勧める場合に、発光部Ｌ５２を発光させる。これにより、空気清浄器２１８は、機能発揮位置（吹き出し口）を示す。例えば、点光の場合、その発光箇所が限られており、面積の大きい（又は長さが長い）吹き出し口を示すことができない。空気清浄器２１８は、吹き出し口の少なくとも一辺に沿った線光又は面光で発光するので、吹き出し口を示すことができる。空気清浄器２１８は、空気清浄の効果（浄化された空気）を発揮する吹き出し口を光らせて示すために、例えば、吹き出し口の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせる。

＜通信機器の発光＞
通信機器２１９は、発光部Ｌ６１を備える。図４の通信機器２１９は、リストバンド型のウェアブル機器であり、手首に装着される。発光部Ｌ６１は、通信機器２１９の一辺に沿って、延伸して配置されている。例えば、図４の場合、発光部Ｌ６１は、通信機器２１９の側面において、装着者（装着者に触れる場所）に近い部分（装着時の内径側）に配置されている。なお、装着者と接する面（装着面、裏面）には、バイタルデータを検出するための検出装置が配置されている。
通信機器２１９は、例えば、バイタルデータの測定を勧める場合に、発光部Ｌ６１を発光させる。これにより、加熱調理器２１７は、機能発揮位置（検出装置）を示す。例えば、点光の場合、光が目立たずに、自機器をアピールできない。通信機器２１９は、側面の少なくとも一辺に沿った線光又は面光で発光するので、検出装置が配置された装着面を示すことができる。通信機器２１９は、例えば、裏面又は、側面の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせることにより、装着面を示すことができる。

通信機器２６０は、発光部Ｌ７１、Ｌ７２を備える。図４の通信機器２６０は、スマ‐トフォンである。発光部Ｌ７１は、通信機器２６０の物理ボタン、又は、物理ボタンの周囲に配置されている。発光部Ｌ７２は、通信機器２６０の側面に沿って、４辺の側面全体に配置されている。
通信機器２６０は、例えば、利用者に画面を参照させるため、物理ボタンを押下させたい場合に、発光部Ｌ７１を発光させる。通信機器２６０は、例えば、利用者に自機器を仕様させるため、把持させたい場合に、発光部Ｌ７２を発光させる。例えば、通信機器２６０は、側面の少なくとも一辺において、その一辺の５０％（半分）以上の長さを光らせることにより、把持部分を示すことができる。

なお、各機器Ｕ１‐ｎは、上記発光部の他に、画面等の表示部を備えても良い。なお、この表示部は、各機器Ｕ１‐ｎの基本機能、又は基本機能に関する文字等（設定情報等）が表示される。例えば、テレビ２１５は映像を表示する表示部を備え、通信機器２６０はアプリケ‐ション等により情報を表示する表示部を備える。例えば、エアコン２１６は設定又は現在温度等を表示する表示部を備え、加熱調理器２１７は残り時間等を表示する表示部を備える。
なお、機器Ｕ１‐ｎの基本機能とは、機器Ｕ１‐ｎの物品名から一般的に想起される特定の機能を意味する。例えば、携帯電話機については通信機能、ＤＶＤ再生録画機については再生・録画機能をさす。
また、各機器Ｕ１‐ｎは、上記発光部及び表示部の他に、ランプ等を備えても良い。このランプは、例えば、各機器Ｕ１‐ｎの基本機能に関する情報（設定情報等）や、警告情報を報知する。

図５は、エアコン２１６の発光について、報知パターンＰ１１〜Ｐ１８を表す。例えば、エアコン２１６は、報知パターンＰ１１から報知パターンＰ１２へ徐々に（例えば１秒かけて）変化させ、その後、報知パターンＰ１３へ徐々に変化させる。これにより、エアコン２１６は、吹き出し口を示す。また、エアコン２１６は、報知パターンＰ１３の後、報知パターンＰ１２へ徐々に変化させ、その後、報知パターンＰ１１へ徐々に変化させても良い。エアコン２１６は、上記パターンの変化（Ｐ１１⇒Ｐ１２⇒Ｐ１３⇒Ｐ１２⇒Ｐ１１）を、予め決めた回数だけ、繰り返しても良い。
同様に、例えば、エアコン２１６は、報知パターンＰ１４から報知パターンＰ１５へ徐々に変化させ、その後、報知パターンＰ１６へ徐々に変化させる。さらにその後、エアコン２１６は、報知パターンＰ１６から報知パターンＰ１７へ徐々に変化させ、その後、報知パターンＰ１８へ徐々に変化させる。つまり、エアコン２１６は、２つの面光が互いに近づいて、エアコン２１６の中心部において交わって一つとなる。なお、報知パターンＰ１４〜Ｐ１８において、面光の単位面積当たりの輝度が一定になるように、輝度を調整してもよい。例えば、報知パターンＰ１７と報知パターンＰ１８では、報知パターンＰ１７の方が面光の面積が小さいので、エアコン２１６は、報知パターンＰ１７の面光の輝度を、報知パターンＰ１８の面光の輝度と比較して、高くする。
なお、冷蔵庫２１３の発光部Ｌ１２、Ｌ１３は、図５の報知パターンＰ１４〜Ｐ１８と同様の報知（９０度回転させたもの）を行っても良い。この場合、冷蔵庫２１３は、上述のように、冷蔵庫２1３の取手部分や接触部分を示す位置（最も近い位置）で、２つの面光を交わらせてもよい。

＜まとめ＞
以上のように、制御システム１では、記憶部Ｍ１２は、各機器Ｕ１‐ｎが検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報（動作ＩＤ）、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報（図１１、図１２、及び図１３）を記憶する。制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報を取得する。制御部Ｍ１１は、対応情報と取得した少なくとも２つの情報に基づいて、自発動作情報を決定する。入出力部Ｕ１３‐ｎは、制御部Ｍ１１が決定した自発動作情報に基づいて、報知情報に応じて、動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う。
これにより、制御システム１では、人と機器Ｕ１‐ｎが共感できる。

図６は、本実施形態に係る制御システム１の動作を示す概略図である。この図において、ステップＳｔ１１、Ｓｔ１２、Ｓ１３は、それぞれ、入力（Ｉｎｐｕｔ）、解釈、出力（Ｏｕｔｐｕｔ）を表す。

（ステップＳｔ１１）制御システム１は、環境情報、人情報、或いは、機器情報に基づいて、それぞれ、環境を認識し、人を認識し、機器の動作を認識する。又は、制御システム１は、外部情報を取得する。その後、ステップＳｔ１２へ進む。
（ステップＳｔ１２）制御システム１は、環境情報、人情報、機器情報、又は、外部情報に基づいて、自発動作情報（提案内容）を決定する。その後、ステップＳｔ１３へ進む。
（ステップＳｔ１３）制御システム１は、自発動作情報に基づいて、動作（各機器Ｕ１‐ｎの制御）及び報知を行う。ここで、報知には、光や音（「表情」とも称する。また、「表情」には画像が含まれ、画像には映像も含まれる）、音声が含まれる。

（第２実施形態）
以下、図面を参照しながら本発明の第２実施形態について詳しく説明する。第２実施形態では、第１実施形態に係る制御システム１のユースケースの一例について説明する。また、第２実施形態では、制御装置Ｍ１は、複数の機器Ｕ１‐ｎについて、それらの動作をシーケンス情報として管理し、自発動作情報や報知情報を生成する。

＜ユースケースの一例＞
図７は、本発明の第２実施形態に係るユースケースの一例を表す説明図である。この図は、子供Ｈ３が、病気等によって、熱を出した場合のものである。この場合、各機器Ｕ１‐ｎは、次の動作を行う。

（ステップＳｔ２１）子供Ｈ３が身に着けている通信機器２１９‐３は、利用者（子供Ｈ３）の体温について、閾値Ｔｈ４１より高い体温を検出する。この場合、父親Ｈ１の所有する通信機器２６０と、母親Ｈ２の所有する通信機器２７０は、図４の発光部Ｌ７１、Ｌ７２を点灯させ、子供Ｈ３に熱がある旨を音で報知する。例えば、通信機器２６０と通信機器２７０は、「○○君の熱が３８度もあるよ。様子を見て」と発音する。その後、通信機器２１９‐３は、図４の発光部Ｌ６１を点灯させ、子供Ｈ３に熱がある旨、父親Ｈ１と母親Ｈ２に連絡した旨、及び、子供Ｈ３を励ます旨を音で報知する。例えば、通信機器２１９‐３は、「熱が３８度もあるよ。お父さんとお母さんに連絡したよ。」と発音する。その後、ステップＳｔ２２へ進む。

（ステップＳｔ２２）冷蔵庫２１３は、子供Ｈ３の家族（例えば、母親Ｈ２）が自機器の付近にいることを検知した場合、図４の発光部のうち発光部Ｌ１１とＬ１４を点灯させ、子供Ｈ３に高熱がある旨、及び、人が高熱である場合の提案を報知する。例えば、冷蔵庫２１３は、「○○君の熱が３８度もあるって。脱水に気を付けて。ここにスポーツドリンクがあるよ。」と発音する。なお、各機器Ｕ１‐ｎが報知する提案とは、ユーザ等が置かれた状況に対する提案であって、自機器Ｕ１‐ｎの自発動作による提案である。例えば、冷蔵庫２１３は、子供Ｈ３の発熱に対して、脱水症状を防止する提案を行う。ここで、冷蔵庫２１３は、自機器内のスポ‐ツドリンクの場所を発光部Ｌ１４の発光で示しつつ、スポ‐ツドリンクを取り出すために必要な操作（扉を開ける）を発光部Ｌ１１の発光で示している。その後、ステップＳｔ２３へ進む。

（ステップＳｔ２３）冷蔵庫２１３が自機器の扉が開かれたことを検出した場合、加熱調理器２１７は、人が高熱である場合の提案であって、冷蔵庫２１３の提案に関連する（続く）提案を報知する。この提案は、冷蔵庫２１３の提案に、加熱調理器２１７の自発動作による提案を加えたものである。例えば、冷蔵庫２１３は、「スポーツドリンクを温めようか？熱なら、３０度くらいに温めるといいよ。」と発音する。つまり、冷蔵庫２１３と加熱調理器２１７は、脱水症状を防止する提案として、温かいスポーツドリンクを、子供Ｈ３に飲ませることを提案している。その後、ステップＳｔ２４へ進む。

（ステップＳｔ２４）エアコン２１６は、子供Ｈ３及び子供Ｈ３の家族（例えば、母親Ｈ２）がエアコン２１６の設置されている部屋にいることを検知した場合、図４の発光部のうち発光部Ｌ３１を点灯させ、人が高熱の場合の提案を報知する。例えば、エアコン２１６は、「熱なら、体が冷えないように、温めて。今の室温なら、暖房で２４度に設定するのがいいよ。」と発音する。ここで、エアコン２１６は、子供Ｈ３の高熱に対して、ウィルスや寒気に対する提案を行っている。また、エアコン２１６は、風を吹き出す場所（吹き出し口）を発光部Ｌ３１の発光で示しつつ、温かい風を吹き出すことを暖色系の発光で示している。なお、エアコン２１６は、現在の部屋の温度を検出し、検出した温度に基づいて、運転モードや設定温度を提案している。その後、ステップＳｔ２５へ進む。

（ステップＳｔ２５）エアコン２１６と同じ部屋にある空気清浄器２１８は、図４の発光部Ｌ５１を点滅させ、人が高熱である場合の提案であって、同じ部屋のエアコンが暖房を行った場合の提案を音で報知する。例えば、空気清浄器２１８は、「空気もキレイにしてね。乾燥しないように、加湿機能も使って。加湿に使う水が少なくなっているから、補給してね。」と発音する。ここで、空気清浄器２１８は、子供Ｈ３の高熱に対して、ウィルスや寒気に対する提案（自機器の空気清浄機能で空気をキレイすること、及び、加湿機能で加湿すること）を行っている。また、空気清浄器２１８は、加湿機能を提案する際に、加湿に必要な水の水量を検出し、例えば水量が少ない場合には、水を補給することを補足している。また、イオンを発生する場所を発光部Ｌ３１の発光で示しつつ、また、この発光によって空気の浄化を表現している。その後、ステップＳｔ２６へ進む。

（ステップＳｔ２６）子供Ｈ３の家族（例えば、母親Ｈ２）は、各機器Ｕ１‐ｎの提案に従って、人が高熱である場合の対策を終え、子供Ｈ３の症状が安定したことを確認する。確認後、子供Ｈ３の家族は、ロボット２１１へ、御礼を言う。ロボット２１１は、御礼を検出したときに、各機器Ｕ１‐ｎにおいて、自発動作情報又は報知情報が送信されたか否かを確認する。ロボット２１１は、予め定めた時間内に、自発動作情報又は報知情報が送信されたと判断した場合には、御礼に対する返答をする。例えば、ロボット２１１は、「はやく元気になるいいね。」と発音する。このとき、ロボット２１１及び各機器Ｕ１‐ｎは、子供Ｈ３の家族を元気付けるため、発光する。なお、ロボット２１１は、御礼を検出したときに、各機器Ｕ１‐ｎにおいて、自発動作情報又は報知情報に従った動作が行われたか否かを確認してもよい。この場合、ロボット２１１は、予め定めた時間内に、自発動作情報又は報知情報に従った動作が行われたと判断した場合には、御礼に対する返答をする。

＜機器の構成＞
図８は、本実施形態に係る機器Ｕ１‐ｎの構成を示す概略ブロック図である。図３に示したように、機器Ｕ１‐ｎは、センサ部Ｕ１１‐ｎ、動作部Ｕ１２‐ｎ、入出力部Ｕ１３‐ｎ、制御部Ｕ１４‐ｎ、記憶部Ｕ１５‐ｎ、及び、通信部Ｕ１６‐ｎを含んで構成される。

センサ部Ｕ１１‐ｎは、動作制御用センサ部Ｕ１１１‐ｎ、及び環境検出用センサ部Ｕ１１２‐ｎを含んで構成される。
動作制御用センサ部Ｕ１１１‐ｎは、機器Ｕ１‐ｎの基本機能を発揮する場合に用いられる情報、及び、基本機能を発揮している場合に用いられる情報（「動作制御情報」とも称する）を検出する。
環境検出用センサ部Ｕ１１２‐ｎは、機器周辺の情報等、動作制御情報以外の情報を検出する。

例えば、動作制御用センサ部Ｕ１１１‐ｎ又は環境検出用センサ部Ｕ１１２‐ｎ（センサ部Ｕ１１‐ｎ）は、温度、湿度、粒子、水量（水位）、圧力、臭い、音、光、熱、位置、加速度、距離、方位、時刻・時間、アルコ‐ル、ガス、放射線、角度、磁気、人・動物、顔、指紋、静脈等の物理量や特徴量を検出する。これにより、センサ部Ｕ１１‐ｎは、環境情報、機器情報、及び、人情報を検出する。なお、センサ部Ｕ１１‐ｎは、検出した情報に基づいて利用者の認証等を行うことで、この利用者の機器ユーザＩＤを特定し、この機器ユーザＩＤを人情報としても良い。また、センサ部Ｕ１１‐ｎは、予め記憶する血縁関係情報に基づいて、特定した機器ユーザＩＤのユーザが属する家族（或いは家族に属しない）、又は、続柄を特定しても良い。センサ部Ｕ１１‐ｎは、特定した家族又は続柄を示す情報を機器ユーザＩＤと対応付けて、人情報としても良い。

動作部Ｕ１２‐ｎは、制御部Ｕ１４からの制御に従って、自機器の機能を発揮する動作を行う。
入出力部Ｕ１３‐ｎは、入力部Ｕ１３１‐ｎ、表示部Ｕ１３２‐ｎ、発光部Ｕ１３２‐ｎ、音出力部Ｕ１３３‐ｎを含んで構成される。
入力部Ｕ１３１‐ｎは、ボタン等である。入力部Ｕ１３１‐ｎは、機器本体に備えられても良いし、リモコンに備えられても良い。
表示部Ｕ１３２‐ｎは、ディスプレイ等である。表示部Ｕ１３２‐ｎは、制御部Ｕ１４からの制御に従って、各機器Ｕ１‐ｎの基本機能に関する文字等を表示する。なお、各機器Ｕ１‐ｎによっては、表示部Ｕ１３２‐ｎを備えなくても良い。

発光部Ｕ１３２‐ｎは、ＬＥＤ等の発光装置又は液晶パネル等の画面である。発光部Ｕ１３２‐ｎは、制御部Ｕ１４からの制御に従って、発光する。また、発光部Ｕ１３２‐ｎは、報知情報に基づいて発光する。例えば、発光部Ｕ１３２‐ｎは、発光態様（発光の位置や形状、模様、色や輝度、点灯タイミングや点灯時間等）によって、各機器Ｕ１‐ｎの動作を示す。例えば、発光部Ｕ１３２‐ｎは、文字を表示しなくても良い。
音出力部Ｕ１３３‐ｎは、スピーカー等である。音出力部Ｕ１３３‐ｎは、音を出力する。音出力部Ｕ１３３‐ｎは、制御部Ｕ１４からの制御に従って、発光する。また、発光部Ｕ１３２‐ｎは、報知情報に基づいて発光する。なお、報知情報は、音声に限らず、メロディや効果音、楽曲であっても良い。

制御部Ｕ１４‐ｎは、全体制御部Ｕ１４１‐ｎ、動作制御部Ｕ１４２‐ｎ、出力制御部Ｕ１４３‐ｎを含んで構成される。
全体制御部Ｕ１４１‐ｎは、制御部Ｕ１４‐ｎ及び各機器Ｕ１‐ｎの全体を制御する。全体制御部Ｕ１４１‐ｎは、入出力部Ｕ１３‐ｎから入力された情報、センサ部Ｕ１１‐ｎが検出した情報、記憶部Ｕ１５‐ｎが記憶する情報、通信部Ｕ１６‐ｎが受信した情報に基づいて、機器Ｕ１‐ｎの各部を制御する。また、全体制御部Ｕ１４１‐ｎは、入出力部Ｕ１３‐ｎから入力された情報、センサ部Ｕ１１‐ｎが検出した情報、記憶部Ｕ１５‐ｎが記憶する情報を、通信部Ｕ１６‐ｎを介して、制御装置Ｍ１へ送信する制御を行う。

動作制御部Ｕ１４２‐ｎは、入出力部Ｕ１３‐ｎから入力された情報、センサ部Ｕ１１‐ｎ（例えば、動作制御用センサ部Ｕ１１１‐ｎ）が検出した情報、記憶部Ｕ１５‐ｎが記憶する情報、通信部Ｕ１６‐ｎが受信した情報に基づいて、機器Ｕ１‐ｎの動作を制御する。例えば、動作制御部Ｕ１４２‐ｎは、通信部Ｕ１６‐ｎが受信した自発動作情報が自機器Ｕ１‐ｎの機器識別情報を含む場合、その自発動作情報に従って、動作部Ｕ１２‐ｎの動作を制御する。
出力制御部Ｕ１４３‐ｎは、入出力部Ｕ１３‐ｎから入力された情報、センサ部Ｕ１１‐ｎが検出した情報、記憶部Ｕ１５‐ｎが記憶する情報、通信部Ｕ１６‐ｎが受信した情報に基づいて、出力を制御する。例えば、出力制御部Ｕ１４３‐ｎは、通信部Ｕ１６‐ｎが受信した報知情報に従って、発光部Ｕ１３３‐ｎ又は音出力部Ｕ１３３‐ｎを制御する。

記憶部Ｕ１５‐ｎは、機器制御情報記憶部Ｕ１５１‐ｎ、及び、情報記憶部Ｕ１５２‐ｎを含んで構成される。
機器制御情報記憶部Ｕ１５１‐ｎは、機器Ｕ１‐ｎのプログラムを記憶する。また、機器制御情報記憶部Ｕ１５１‐ｎは、動作ＩＤ毎に、機器Ｕ１‐ｎの動作制御を示す動作制御情報を記憶し、報知パターン毎に、報知制御を示す報知制御情報を記憶する。
情報記憶部Ｕ１５２‐ｎは、環境情報、機器情報（操作情報の履歴を含む）、人情報、及び、自発動作情報等を記憶する。例えば、機器情報には、上述のように、自機器Ｕ１‐ｎについて、品番、品名、機器を識別する機器識別情報（製造番号、ＭＡＣアドレス等）、自機器が有する機能を示す情報、自機器Ｕ１‐ｎの設置場所（部屋を示す情報等）を示す情報、自機器Ｕ１‐ｎの所有者を示すユーザ識別情報、自機器Ｕ１‐ｎの能力情報、設定情報、及び、操作情報の履歴が含まれる。

通信部Ｕ１６‐ｎは、情報を送受信することで、外部機器と通信を行う。通信部Ｕ１６‐ｎは、例えば、記憶部Ｕ１５‐ｎが記憶する情報に、機器識別情報を付与した情報を、制御装置Ｍ１へ送信する。また、通信部Ｕ１６‐ｎは、例えば、制御装置Ｍ１から、自機器Ｕ１‐ｎの機器識別情報を含む自発動作情報を受信する。

＜情報処理装置の構成＞
図９は、本実施形態に係る情報処理装置Ｓ１の構成を示す概略ブロック図である。図３に示したように、情報処理装置Ｓ１は、制御部Ｓ１１、記憶部Ｓ１２、及び通信部Ｓ１３を含んで構成される。
制御部Ｓ１１は、サービス情報取得部Ｓ１１１及び情報対応部Ｓ１１２を含んで構成される。サービス情報取得部Ｓ１１１は、外部情報の取得先（外部サーバ等）を示す取得先情報を、後述する取得先情報記憶部Ｓ１２１から読み出し、その取得先情報が示す取得先からの外部情報を取得する。
サービス情報取得部Ｓ１１１が外部ユーザＩＤを含む外部情報を取得した場合、情報対応部Ｓ１１２は、ユーザ対応情報を対応情報記憶部Ｓ１２２から読み出す。この場合、情報対応部Ｓ１１２は、ユーザ対応情報に基づいて、その外部情報に対して、当該外部ユーザＩＤに対応する機器ユーザＩＤを付与する。制御部Ｓ１１は、機器ユーザＩＤを含む外部情報を、取得履歴記憶部Ｓ１２３に記憶するとともに、制御装置Ｍ１へ送信する。
なお、外部ユーザＩＤは、サービス毎に異なっていても良い。つまり、ユーザ対応情報は、複数の外部ユーザＩＤと機器ユーザＩＤが対応付けられている。
サービス情報取得部Ｓ１１１が外部ユーザＩＤを含まない外部情報を取得した場合、制御部Ｓ１１は、サービス情報取得部Ｓ１１１が取得した外部情報を、取得履歴記憶部Ｓ１２３に記憶するとともに、通信部Ｓ１３を介して制御装置Ｍ１へ送信する。

記憶部Ｓ１２は、取得先情報記憶部Ｓ１２１、対応情報記憶部Ｓ１２２、及び取得履歴記憶部Ｓ１２３を含んで構成される。
取得先情報記憶部Ｓ１２１は、取得先情報を記憶する。
対応情報記憶部Ｓ１２２は、ユーザ対応情報を記憶する。
取得履歴記憶部Ｓ１２３は、サービス情報取得部Ｓ１１１が取得した外部情報、取得日時、取得先、外部ユーザＩＤ、機器ユーザＩＤ等を記憶する。
通信部Ｓ１３は、情報を送受信することで、外部機器と通信を行う。通信部Ｓ１３は、例えば、取得先情報が示す取得先からの外部情報を受信する。また、通信部Ｓ１３は、例えば、外部情報を、制御装置Ｍ１へ送信する。

＜制御装置の構成＞
図１０は、本実施形態に係る制御装置Ｍ１の構成を示す概略ブロック図である。図３に示したように、制御装置Ｍ１は、制御部Ｍ１１、記憶部Ｍ１２、及び、通信部Ｍ１３を含んで構成される。
制御部Ｍ１１は、情報取得部Ｍ１１１、解析部Ｍ１１２、出力決定部Ｍ１１３、シーケンス制御部Ｍ１１４、及びシーケンス更新部Ｍ１１５を含んで構成される。

情報取得部Ｍ１１１は、複数の各機器Ｕ１‐ｎから環境情報、機器情報、又は人情報を取得し、また、情報処理装置Ｓ１から外部情報を取得する。情報取得部Ｍ１１１は、取得した環境情報、機器情報、人情報、及び外部情報を、情報記憶部Ｍ１２１に記憶する。
解析部Ｍ１１２は、情報取得部Ｍ１１１が取得した情報を、解析する。具体的には、解析部Ｍ１１２は、環境情報、機器情報、人情報、又は外部情報の組合せから、シーケンス記憶部Ｍ１２２が記憶するシーケンス対応情報に基づいて、動作を行う機器Ｕ１‐ｎ（「対象機器Ｕ１‐ｎ」とも称する）を決定し、決定した機器Ｕ１‐ｎの自発動作を決定する。ここで、シーケンス対応情報とは、環境情報、機器情報、人情報、又は外部情報と、シーケンスを識別するシーケンスＩＤと、を対応付けた情報である（図１１参照）。シーケンスＩＤは、対象機器Ｕ１‐ｎ及びその動作を示す動作ＩＤ（自発動作）と対応付けられている。すなわち、解析部Ｍ１１２は、環境情報、機器情報、人情報、又は外部情報の組合せから、シーケンスＩＤを決定することにより、対象機器Ｕ１‐ｎ及び自発動作を決定する。なお、解析部Ｍ１１２は、複数の自発動作を決定しても良く、その場合、順序を含めた複数の自発動作の組合せ（シーケンス）を決定しても良い（図１２参照）。また、解析部Ｍ１１２は、複数の対象機器Ｕ１‐ｎを決定しても良い。

出力決定部Ｍ１１３は、情報取得部Ｍ１１１が取得した情報に基づいて、報知情報を決定する。具体的には、出力決定部Ｍ１１３は、環境情報、機器情報、人情報、又は外部情報の組合せから、シーケンス記憶部Ｍ１２２が記憶するシーケンス対応情報に基づいて、報知を行う機器Ｕ１‐ｎを決定し、決定した機器Ｕ１‐ｎの報知情報を決定する。ここで、本実施形態では、動作を行う機器Ｕ１‐ｎと報知を行う機器Ｕ１‐ｎが同じである場合について説明するが、本発明はこれに限らず、異なっても良い。また、本実施形態では、シーケンスＩＤに対して、機器Ｕ１‐ｎ及び当該機器Ｕ１‐ｎの自発動作（動作ＩＤ）が対応付けられ（図１２参照）、また、動作ＩＤと報知情報が対応付けられている（図１３参照）。すなわち、出力決定部Ｍ１１３は、環境情報、機器情報、人情報、又は外部情報の組合せから、シーケンスＩＤを決定することにより、報知を行う機器Ｕ１‐ｎ及び報知情報を決定する。

シーケンス制御部Ｍ１１４は、解析部Ｍ１１２及び出力決定部Ｍ１１３が決定したシーケンスＩＤを取得し、取得したシーケンスＩＤが示すシーケンス（図１２参照）を実行するように、各機器Ｕ１‐ｎを制御する。シーケンス制御部Ｍ１１４は、シーケンスに従って、実行させた自発動作の履歴情報を、履歴記憶部Ｍ１２４に記憶する。また、シーケンス制御部Ｍ１１４は、シーケンスを実行中又はシーケンスを実行する前後の予め定められた時間内において、当該シーケンスの対象機器Ｕ１‐ｎに対する操作情報を、自発動作の履歴情報と併せて記憶させてもよい（図１６参照）。この操作情報は、シーケンス中の自発動作に加えて、又は、シーケンス中の自発動作に代えて、利用者が行った操作である。
シーケンス更新部Ｍ１１５は、履歴記憶部Ｍ１２４が記憶する履歴情報、又は、外部からのシーケンスのバージョンアップ情報に基づいて、シーケンスを更新する。例えば、シーケンス更新部Ｍ１１５は、シーケンス中の自発動作に加えて、又は、シーケンス中の自発動作に代えて利用者が行った操作を示す操作情報に基づいて、シーケンスを更新する。

記憶部Ｍ１２は、情報記憶部Ｍ１２１、シーケンス記憶部Ｍ１２２、報知情報記憶部Ｍ１２３、及び履歴記憶部Ｍ１２４を含んで構成される。
情報記憶部Ｍ１２１は、情報取得部Ｍ１１１が取得した環境情報、機器情報、人情報、及び外部情報を記憶する。また、情報記憶部Ｍ１２１は、機器登録情報テーブル（図１４参照）を記憶する。
シーケンス記憶部Ｍ１２２は、シーケンス対応情報テーブル（図１１参照）、及びシーケンス情報テーブル（図１２参照）を記憶する。
報知情報記憶部Ｍ１２３は、報知情報テーブル（図１３参照）を記憶する。報知情報テーブルは、シーケンス対応情報テーブル及びシーケンス情報テーブルを介して、環境情報、機器情報、人情報、又は外部情報と、報知情報と、が対応付けられたテーブルである。

履歴記憶部Ｍ１２４は、シーケンス制御部Ｍ１１４が実行させた自発動作の履歴情報を記憶する。また、上述のように、履歴記憶部Ｍ１２４は、シーケンス制御部Ｍ１１４がシーケンスを実行中又はシーケンスを実行する前後の予め定められた時間内において、当該シーケンスの対象機器Ｕ１‐ｎに対する操作情報を記憶する。

通信部Ｍ１３は、情報を送受信することで、外部機器と通信を行う。通信部Ｍ１３は、例えば、複数の各機器Ｕ１‐ｎから環境情報、機器情報、人情報を受信し、情報処理装置Ｓ１から外部情報を受信する。通信部Ｍ１３は、解析部Ｍ１１２が決定した自発動作を示す自発動作情報であって、出力決定部Ｍ１１３が決定した報知情報を含む自発動作情報を、当該自発動作及び報知情報が示す報知を行う対象機器Ｕ１‐ｎへ、送信する。

＜シーケンス対応情報テーブル＞
図１１は、本実施形態に係るシーケンス対応情報テーブルの一例を示す概略図である。図示するように、シーケンス対応情報テーブルは、識別番号（Ｎｏ．）、条件、及びシーケンスＩＤの各項目の列を有している。ここで、「条件」の項目には、環境情報、動作情報、外部情報、人情報の各項目の列を有している。「条件」の項目は、シーケンスＩＤを選ぶための条件である。シーケンス対応情報テーブルは、識別番号毎にシーケンス対応情報が格納される行と列からなる２次元の表形式のデータである。

例えば、図１１の１行目のシーケンス対応情報（識別番号「１」）は、人情報が「体温が閾値Ｔｈ４１以上」である場合には、シーケンスＩＤを「１２３４５」に決定することを表している。また、例えば、図１１の２行目のシーケンス情報（識別番号「２」）は、動作情報が「エアコンを冷房モードで運転」し、かつ、人情報で「家族の誰かの帰宅を検出」した場合に、シーケンスＩＤを「２３４５６」に決定することを表している。

＜シーケンス情報テーブル＞
図１２は、本実施形態に係るシーケンス情報テーブルの一例を示す概略図である。図示するように、シーケンス情報テーブルは、シーケンスＩＤ、手順、分岐、条件、及び自発動作情報の各項目の列を有している。ここで、「手順」の項目は、各シーケンスＩＤが示すシーケンスでの順序を表す。「分岐」の項目は、各「手順」内で、条件等によって動作が分岐する場合、各分岐を識別する識別情報を表す。「条件」の項目は、自発動作情報を選ぶための条件である。「自発動作情報」の項目には、対象機器、動作ＩＤ、及び音声情報の各項目の列を有している。「動作ＩＤ」は、動作を識別する識別情報であり、「対象機器」が示す機器Ｕ１‐ｎによる自発動作を表す。「音声情報」は、報知情報の一つであって、「動作ＩＤ」が示す動作を行う前、又は、動作を行っている際に、「対象」が示す機器Ｕ１‐ｎが発音する内容である。この音声情報には、変数を含み、変数は、環境情報、機器情報、人情報、又は外部情報に基づいて決定される。
シーケンス情報テーブルは、シーケンスＩＤ毎にシーケンス情報が格納される行と列からなる２次元の表形式のデータである。また、各手順では、分岐毎に、自発動作情報が格納される。なお、このテーブルにおいて、「‐」（ハイフン）は、情報がないことを示す。例えば、自発動作情報の項目で「‐」が設定されている場合には、自発動作を行わないことを表わしている。

例えば、図１２の１つ目のシーケンス情報（シーケンスＩＤ「１２３４５」）は、シーケンスが６個の手順を有することを表している。
手順「１」は、シーケンスＩＤが「１２３４５」に決定された場合に、最初に行われる自発動作を表している。ここで、手順「１」では、「連絡先あり」とこれ以外（「上記以外」）の２個の条件によって、分岐「１‐１」と「１‐２」に分かれている。分岐「１‐１」に対応する自発動作の１つは、対象機器が「連絡先通信機器」であり、動作ＩＤが「１１１１」であり、音声情報が「＜名前＞の熱が＜体温＞度もあるよ。様子を見て」である。ここで、「連絡先通信機器」とは、予め定めた連絡先に設定された通信機器のことである（図１４参照）。
分岐「１‐１」の自発動作を行う場合、音声情報において、＜名前＞と＜体温＞が変数である。この場合、シーケンス制御部Ｍ１１４は、体温の検出元の通信機器（例えば、図７の通信機器２１９‐３）が検出した人情報（子供Ｈ３、体温「３８」度）と、ユーザ識別情報と名前を対応付けたユーザ情報（子供Ｈ３と「○○君」が対応付けられている）に基づいて、＜名前＞に「○○君」を代入し、また、＜体温＞に「３８」度を代入する。なお、分岐「１‐２」の場合は、自発動作はないので、手順「１」の動作をスキップする。

２番目の手順「２」は、１番目の手順「１」の自発動作の決定後（自発動作がない場合には手順「１」をスキップした後）に行われる自発動作を表している。ここで、手順「２」では、「人を検出、かつ、飲み物あり」、「人を検出、かつ、飲み物なし」、又は、これら以外（「上記以外」）の３個の条件によって、それぞれ、分岐「２‐１」、「２‐２」、又は「２‐３」に分かれている。

３番目の手順「３」は、２番目の手順「２」の自発動作の決定後（自発動作がない場合には手順「１」をスキップした後）に行われる自発動作を表している。ここで、手順「３」では、「２‐１完了、かつ、冷蔵庫を開閉」とこれ以外（「上記以外」）の２個の条件によって、それぞれ、分岐「３‐１」と「３‐２」に分かれている。分岐「３‐１」の条件のうち「２‐１完了」は、分岐「２‐１」が選択され、実行が完了したことを条件の一つとするものである。つまり、分岐「３‐１」の条件は、分岐「２‐１」で冷蔵庫が飲み物を勧めた結果、冷蔵庫が開かれたことを条件としている。すなわち、分岐「３‐１」は、利用者が冷蔵庫内の飲み物を取ったと推定される場合を示し、この場合に、加熱調理器に、その飲み物を温めさせる自発動作情報を行わせるものである。

＜報知情報テーブル＞
図１３は、本実施形態に係る報知情報テーブルの一例を示す概略図である。図示するように、報知情報テーブルは、動作ＩＤ、全体パターン、条件、発光箇所ＰＲ‐１、ＰＲ‐２、・・・、ＰＲ‐Ｍ、及び音の各項目の列を有している。ここで、「全体報知パターン」の項目は、１つの発光箇所ＰＲ‐ｍ（ｍ＝１、２、・・・、Ｍ）での報知、又は、複数の発光箇所ＰＲ‐ｍでの報知の組合せについてのパターンを表す。なお、１つの発光箇所ＰＲ‐ｍが発光態様によるパターン（局所パターン）を有する場合には、この局所パターンの違いにより、全体パターンも異なる。「条件」の項目は、報知パターンを選ぶための条件である。「発光箇所ＰＲ‐ｍ」は、対応する箇所において、発光による報知パターン（発光態様）を表す。「音」の項目は、音による報知パターンを表す。
報知情報テーブルは、動作ＩＤ毎に報知情報が格納される行と列からなる２次元の表形式のデータである。なお、このテーブルにおいて、「‐」（ハイフン）は、情報がないことを示す。例えば、発光箇所ＰＲ‐ｍの項目で「‐」が設定されている場合には、発光をしないことを表わしている。

例えば、図１３の２つ目の報知情報（動作ＩＤ「３３３３」、全体報知パターン「２」）は、「対象物が冷蔵室の左側の中段にある」場合、発光箇所ＰＲ‐１を「パターンＰ２１」で発光し、また、発光箇所ＰＲ‐３を「パターンＰ２２」で発光し、音声情報を発音することを表している。例えば、発光箇所ＰＲ‐１は、図４の発光部Ｌ１１であり、発光箇所ＰＲ‐１は、図４の発光部Ｌ１４である。この場合、例えば、図７のステップＳｔ２２のように、冷蔵庫２１３が点灯し、図１２の分岐２‐１の音声情報で発音する。

＜機器登録情報テーブル＞
図１４は、本実施形態に係る機器登録情報テーブルの一例を示す概略図である。図示するように、機器登録情報テーブルは、機器識別情報、機器種別、所有者、利用登録者、連絡先、設置場所、及び機能の各項目の列を有している。機器登録情報テーブルは、機器識別情報毎に機器登録情報が格納される行と列からなる２次元の表形式のデータである。
例えば、図１４の１行目の機器登録情報（機器識別情報「ａｂｃ１２３」）は、通信機器２１９‐３である。この機器登録情報は、通信機器２１９‐３が「ウェアラブル」機器であり、所有者が「子供Ｈ３」であることを表す。また、この機器登録情報は、通信機器２１９‐３の利用登録者が「子供Ｈ３」であり、連絡先が「父親Ｈ１」と「母親Ｈ２」であることを表す。また、この機器登録情報は、通信機器２１９‐３の設置場所はなく（「mobile」）、現在地が「Ｘ宅の子供部屋」であることを表す。また、この機器登録情報は、通信機器２１９‐３が、「表示機能、音出力機能、体温計測機能、鼓動・脈拍計測機能、及び血圧計測機能」を有していることを表す。
なお、図１４において、設置場所が固定される機器Ｕ１‐ｎについては、その設置場所を、一例として部屋単位で設定している。

＜システムのシーケンス＞
図１５は、本実施形態に係る制御システム１の概略シーケンス図である。なお、図１５において、図７と同じ符号を付した箇所は、図７と図１５のステップの対応を示している。

（ステップＳｔ２０）通信機器２１９‐３は、子供Ｈ３のユーザ識別情報と子供Ｈ３の体温情報を含む人情報、及び、通信機器２１９‐３の機器識別情報（「ａｂｃ１２３」）を含む機器情報を、制御装置Ｍ１へ送信する。制御装置Ｍ１は、受信した人情報とシーケンス対応情報に基づいて、自発動作を行うか否かを決定する。例えば、体温が３８度で閾値Ｔｈ４１が３７度のときに、図１１のシーケンス対応情報の場合、制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定することで、自発動作を行うと決定する。その後、ステップＳｔ２１１へ進む。

（ステップＳｔ２１１）制御装置Ｍ１は、ステップＳｔ２０で決定したシーケンスＩＤとシーケンス情報テーブルに基づいて、自発動作情報を決定する。例えば、図１２のシーケンス情報テーブルの場合、手順「１」において、条件（連絡先の有無）を判定する。制御装置Ｍ１は、図１４の機器登録情報テーブルに基づいて、ステップＳ２０の送信元の機器の機器識別情報（「ａｂｃ１２３」）に、連絡先が設定されていると判定する。この場合、制御装置Ｍ１は、「連絡先あり」と判定し、分岐「１‐１」を選択する。
この場合、制御装置Ｍ１は、連絡先である父親Ｈ１と母親Ｈ２が所有者である携帯機器（設置場所「ｍｏｂｉｌｅ」）を、連絡先通信機器（図１４の「ａｂｃ２３４」、「ａｂｃ３４５」）として決定する。ここで、端末識別情報が「ａｂｃ２３４」、「ａｂｃ３４５」の機器Ｕ１‐ｎは、それぞれ、通信機器２６０、２７０である。制御装置Ｍ１は、決定した連絡先通信機器（通信機器２６０、２７０）へ、動作ＩＤ「１１１１」及び音声情報「○○君の熱が３８度もあるよ。様子を見て」を含む自発動作情報を送信する。その後、ステップＳｔ２１２へ進む。

（ステップＳｔ２１２）制御装置Ｍ１は、体温を検出した通信機器２１９‐３を、検出元通信機器として決定する。制御装置Ｍ１は、決定した検出元通信機器（通信機器２１９‐３）へ、動作ＩＤ「２２２２」及び音声情報「熱が３８度もあるよ。お父さんとお母さんに連絡したよ。もうちょっと待ってね」を含む自発動作情報を送信する。ここで、制御装置Ｍ１は、通信機器２１９‐３（「ａｂｃ１２３」）が音出力機能を備えるか否かを、図１４の「機能」の項目を参照して確認しても良い。ステップＳ２１１とＳ２１２の結果、通信機器２６０、２７０と通信機器２１９‐３は、図７のステップＳｔ２１の報知を行う。その後、ステップＳｔ２２１へ進む。

（ステップＳｔ２２１）冷蔵庫２１３は、例えば、母親Ｈ２を検出し、母親Ｈ２が冷蔵庫２１３の付近にいることを示す人情報を、制御装置Ｍ１へ送信する。制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定しているとき、又は、手順「２」の待機状態のときに（例えば決定後の予め定めた時間内に）、冷蔵庫２１３が送信した人情報を受信する。
この場合、制御装置Ｍ１は、手順「２」において、人を検出したと判定する。その後、ステップＳｔ２２２へ進む。
（ステップＳｔ２２２）制御装置Ｍ１は、手順「２」の条件や変数について、未確認の条件を確認する。つまり、制御装置Ｍ１は、図１４の機器種別が「冷蔵庫」（図１２の対象機器）に対応する機器識別情報「ａｂｃ４５６」（冷蔵庫２１３）を選択する。制御装置Ｍ１は、選択した冷蔵庫２１３に対して、庫内に飲み物があるか否か、また、飲み物がある場合には飲み物の位置と種類（音声情報の＜飲み物＞）を検出させる検出指示を生成する。制御装置Ｍ１は、生成した検出指示を、冷蔵庫２１３へ送信する。その後、ステップＳｔ２２３へ進む。

（ステップＳｔ２２３）冷蔵庫２１３は、ステップＳｔ２２２で送信された検出指示に基づいて、飲み物を検出する。冷蔵庫２１３は、飲み物を検出した場合には、飲み物があることを示す機器情報を、制御装置Ｍ１へ送信する。ここで、冷蔵庫２１３は、飲み物の位置又は種類を検出した場合には、飲み物の位置又は種類を表す情報を含む機器情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ２２４へ進む。
なお、制御装置Ｍ１は、条件と変数の確認について、それぞれ別のステップで行っても良い。具体的には、制御装置Ｍ１は、条件を確認して、自発動作（分岐）を決定した後、決定した自発動作に関する変数について、確認をしても良い。

（ステップＳｔ２２４）制御装置Ｍ１は、ステップＳｔ２２３で送信された機器情報とシーケンス情報に基づいて、自発動作情報を決定する。例えば、飲み物の種類が「スポーツドリンク」である飲み物が冷蔵室の左扉側の中段にある場合には、制御装置Ｍ１は、冷蔵庫２１３へ、動作ＩＤ「３３３３」及び音声情報「○○君の熱が３８度もあるって。脱水に気を付けて。ここに、スポーツドリンクがあるよ」を含む自発動作情報を送信する。また、この自発情報には、図１３の全体報知パターン「２」の報知情報が含まれている。この結果、冷蔵庫２１３は、図７のステップＳｔ２２の報知を行う。その後、ステップＳｔ２３１へ進む。

（ステップＳｔ２３１）冷蔵庫２１３は、分岐「２‐１」の自発動作が完了したことを示す機器情報を、制御装置Ｍ１へ送信する。その後の予め定められた時間内に、冷蔵庫の開閉を検出した場合、冷蔵庫２１３は、冷蔵庫が開閉されたことを示す機器情報を、制御装置Ｍ１へ送信する。制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定しているとき、又は、手順「３」の待機状態のときに、冷蔵庫２１３が送信した機器情報を受信する。その後、ステップＳｔ２３２へ進む。

（ステップＳｔ２３２）制御装置Ｍ１は、例えば、冷蔵庫２１３が送信した機器情報に基づいて、分岐「２‐１」の自発動作が完了し、その後、冷蔵庫２１３の扉が開閉されたと判定する。つまり、制御装置Ｍ１は、分岐「２‐１」の自発動作の結果、冷蔵庫２１３からスポーツドリンクが取り出されたと判定し、分岐「３‐１」を選択する。この場合、制御装置Ｍ１は、図１４の機器種別が「加熱調理器」のうち、冷蔵庫２１３（機器識別情報「ａｂｃ４５６」）と同じ部屋（Ｘ宅のキッチン）に設置されたものに対応する機器識別情報「ａｂｃ５６７」（加熱調理器２１７）を選択する。制御装置Ｍ１は、選択した加熱調理器２１７へ、動作ＩＤ「５５５５」及び音声情報「スポーツドリンクを温めようか？熱なら、３０度くらいに温めるといいよ。」を含む自発動作情報を送信する。ここで、制御装置Ｍ１は、＜飲み物＞の変数を、分岐「２‐１」の＜飲み物＞の変数から引き継ぎ、その結果、分岐「３‐１」の＜飲み物＞の変数に「スポーツドリンク」を代入する。この結果、加熱調理器２１７は、図７のステップＳｔ２３の報知を行う。その後、ステップＳｔ２４１へ進む。
このように、加熱調理器２１７は、他の機器Ｕ１‐ｎ（冷蔵庫２１３）の自発動作が完了したことや、この自発動作に応じた操作が完了したことに連動して、自発動作を行う。換言すれば、加熱調理器２１７は、冷蔵庫２１３の自発動作の有無やこの自発動作に応じた操作の有無に応じて、自発動作を行うか否か、または、自発動作の内容が変わる。

（ステップＳｔ２４１）エアコン２１６は、例えば、子供Ｈ３と母親Ｈ２を検出し、子供Ｈ３と母親Ｈ２がＸ宅の子供部屋（エアコン２１６の設置されている部屋）にいることを示す人情報を、制御装置Ｍ１へ送信する。また、エアコン２１６は、室温及び湿度を検出し、検出した室温及び湿度を示す環境情報を、制御装置Ｍ１へ送信する。なお、エアコン２１６は、設定されている設定温度を示す機器情報を、制御装置Ｍ１へ送信しても良い。制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定しているとき、又は、手順「４」の待機状態のときに、エアコン２１６が送信した人情報、環境情報、及び機器情報を受信する。その後、ステップＳｔ２４２へ進む。

（ステップＳｔ２４２）制御装置Ｍ１は、例えば、環境情報が示す室温に基づいて、室温が閾値Ｔｈ６１以下であると判定する。つまり、制御装置Ｍ１は、部屋が寒いと判定し、分岐「４‐１」を選択する。この場合、制御装置Ｍ１は、室温、運転モード、及び、高熱がある人がいる場合の設定温度が対応付けられた情報を記憶部Ｍ１２から読み出し、読み出した情報と環境情報が示す室温とに基づいて、運転モードと設定温度を決定する（例えば、運転モード「暖房」で設定温度「２４」度）。また、制御装置Ｍ１は、図１４の機器種別が「エアコン」のうち、子供Ｈ３がいる部屋（Ｘ宅の子供部屋）に設置されたものに対応する機器識別情報「ａｂｃ６７８」（エアコン２１６）を選択する。制御装置Ｍ１は、選択したエアコン２１６へ、動作ＩＤ「６６６６」及び音声情報「熱なら、体が冷えないように、温めて。今の室温なら、暖房で２４度に設定するのがいいよ。」を含む自発動作情報を送信する。この結果、エアコン２１６は、図７のステップＳｔ２４の報知を行う。その後、ステップＳｔ２５１へ進む。

（ステップＳｔ２５１）エアコン２１６は、分岐「４‐１」の自発動作が完了したことを示す機器情報を、制御装置Ｍ１へ送信する。制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定しているとき、又は、手順「５」の待機状態のときに、エアコン２１６が送信した機器情報を受信する。その後、ステップＳｔ２５２へ進む。

（ステップＳｔ２５２）制御装置Ｍ１は、例えば、エアコン２１６が送信した機器情報に基づいて、分岐「２‐１」の自発動作が完了したと判定する。つまり、制御装置Ｍ１は、分岐「４‐１」の自発動作を完了したと判定し、分岐「５‐１」を選択する。この場合、制御装置Ｍ１は、図１４の機器種別が「空気清浄器」のうち、エアコン２１６（機器識別情報「ａｂｃ６７８」）と同じ部屋（Ｘ宅の子供部屋）に設置されたものに対応する機器識別情報「ａｂｃ７８９」（空気清浄器２１８）を選択する。制御装置Ｍ１は、選択した空気清浄器２１８へ、動作ＩＤ「７７７７」及び音声情報「空気もキレイにしてね。乾燥しないように、加湿機能も使って。」を含む自発動作情報を送信する。この結果、空気清浄器２１８は、図７のステップＳｔ２５の報知を行う。その後、ステップＳｔ２６１へ進む。

なお、ステップＳｔ２５では、空気清浄器２１８は、加湿機能で使用する水の水量が少なくなっていることを検出し、水の補給を促す音声情報を、付け加えて発音している。また、制御装置Ｍ１は、選択した空気清浄器２１８について、図１４の機能に加湿機能がない場合には、音声情報から加湿機能に関する部分を除いても良い。この場合、制御装置Ｍ１は、この部分の音声情報を別の音声情報に変更しても良い。例えば、制御装置Ｍ１は、音声情報を「空気もキレイにしてね。乾燥しないように、濡れタオルを準備して」とする。

（ステップＳｔ２６１）ロボット２１１は、例えば、母親Ｈ２による御礼（例えば、「ありがとう」を含む言葉を発話）を検出し、御礼を示す人情報を、制御装置Ｍ１へ送信する。また、ロボット２１１は、自機器の現在位置（御礼を発話した人がいる部屋であり、例えば、Ｘ宅の子供部屋）を示す機器情報を、制御装置Ｍ１へ送信する。制御装置Ｍ１は、シーケンスＩＤを「１２３４５」に決定しているとき、又は、手順「６」の待機状態のときに、ロボット２１１が送信した人情報及び機器情報を受信する。その後、ステップＳｔ２６２へ進む。

（ステップＳｔ２６２）制御装置Ｍ１は、分岐「１‐１」、「２‐１」、「２‐２」、「３‐１」、「４‐１」、「５‐１」のいずれかが行われた、つまり、シーケンスＩＤ「１２３４５」のシーケンス内の自発動作の少なくとも一つを行ったと判定する。また、ロボット２１１は、御礼を検出したと判定する。つまり、制御装置Ｍ１は、シーケンス内の自発動作が上手く行き、利用者が御礼を言っていると判定し、分岐「６‐１」を選択する。

この場合、制御装置Ｍ１は、図１４の機器種別が「ロボット」のうち、機器情報が示す部屋に存在するものに対応する機器識別情報「ａｂｃ８９０」（ロボット２１１）を選択する。制御装置Ｍ１は、選択したロボット２１１へ、動作ＩＤ「８８８８」及び音声情報「はやく元気になるといいね。」を含む自発動作情報を送信する。その後、ステップＳｔ２６３へ進む。

（ステップＳｔ２６３）制御装置Ｍ１は、分岐「６‐１」の自発動作情報に基づいて、設置場所がロボット２１１の現在位置の部屋である機器を、全て選択する。例えば、図１４の場合には、制御装置Ｍ１は、設置場所が「Ｘ宅の子供部屋」である機器に対応する機器識別情報「ａｂｃ１２３」（通信機器２１９‐３）、「ａｂｃ６７８」（エアコン２１６）、「ａｂｃ７８９」（空気清浄器２１８）、「ａｂｃ８９０」（ロボット２１１）を選択する。制御装置Ｍ１は、選択した通信機器２１９‐３、エアコン２１６、空気清浄器２１８、及びロボット２１１へ、動作ＩＤ「９９９９」を含む自発動作情報を送信する。
これらのステップＳｔ２６２、Ｓｔ２６３の結果、エアコン２１６、空気清浄器２１８、及びロボット２１１は、図７のステップＳｔ２６の報知を行う。その後、制御装置Ｍ１は、シーケンスＩＤ「１２３４５」のシーケンスを完了する。

＜履歴情報ログ＞
図１６は、本実施形態に係る履歴情報ログの一例を表す概略図である。この図は、図１５に示すシーケンスが行われた場合の履歴情報の一例である。図示するように、履歴情報ログは、シーケンスＩＤ、順序、日時、及び出力の各項目の列を有している。ここで、「日時」は、対象機器が動作を行った時刻を表す。

例えば、図１６の最初の履歴情報は、シーケンスＩＤが「１２３４５６」に決定された後、「１」番目の順序で行われた動作を表している。この履歴情報は、図７のステップＳｔ２１を行った場合の履歴情報である。この履歴情報は、「２０１５／ＸＸ／ＸＸ ８時３０分」に、通信機器２６０、２７０が動作ＩＤ「１１１１」が示す動作を行い、「○○君の熱が３８度もあるよ。様子を見て」と発音したことを表している。また、この履歴情報は、「２０１５／ＸＸ／ＸＸ ８時３０分」に、通信機器２１９‐３が動作ＩＤ「２２２２」が示す動作を行ったことを表している。

また、図１６の順序が「４」番目の履歴情報は、利用者による操作情報（又は、操作に基づく動作）である。この履歴情報は、図７のステップＳｔ２３の自発動作の後、利用者が、加熱調理器２１７に対して、設定温度４０度として、スイッチを「ＯＮ」（スタートボタンを押下）したことを表している。つまり、ステップＳｔ２３において３０度を提案したにも関わらず、利用者は、スポーツドリンクを、４０度に温めたことを意味する。
図１６の順序が「９」番目の履歴情報は、図１２のシーケンスＩＤ「１２３４５」のシーケンスに関係しない操作情報である。この履歴情報は、母親Ｈ２の通信機器２７０から、父親Ｈ１の通信機器２６０へ、電話がなされ、通話が行われたことを表している。

＜シーケンスの更新＞
シーケンス更新部Ｍ１１５は、履歴記憶部Ｍ１２４が記憶する履歴情報（例えば図１６）に基づいて、シーケンス情報を更新する。
図１７は、本実施形態に係る更新後のシーケンス情報テーブルの一例を示す概略図である。図１７のシーケンス情報テーブルは、シーケンス更新部Ｍ１１５によって、図１２のシーケンス情報テーブルが更新されたものである。
シーケンス情報テーブルは、図１２と同様に、シーケンスＩＤ、手順、分岐、条件、及び自発動作情報の各項目の列を有している。図１７のシーケンス情報テーブルと図１２のシーケンス情報テーブルとを比較すると、以下の（Ａ１）、（Ａ２）が異なる。

（Ａ１）分岐「３‐１」の自発動作情報の音声情報において、「３０」度が「４０」度に変更されている。
（Ａ２）手順「６」が追加されている。手順「６」の自発動作は、連絡先通信機器（通信機器２６０、２７０）に対して、動作ＩＤ「９９２２」の動作をさせ、「＜名前＞に電話しようか」と発音させるものである。この＜名前＞には、対象機器とは、別の連絡先通信機器の所有者の名前が代入される。例えば、母親Ｈ２の通信機器２７０は、「父親Ｈ１に電話しようか」と発音し、父親Ｈ１の通信機器２６０は、「母親Ｈ２に電話しようか」と発音する。

上記（Ａ１）への更新は、シーケンス更新部Ｍ１１５が、設定温度（３０度）を提案後の操作において、別の設定温度が設定された場合、提案した設定温度を、操作での設定温度に変更したものである。つまり、シーケンス更新部Ｍ１１５は、提案した自発動作において、提案とは異なる設定での操作が行われた場合には、提案での設定（図１２のシーケンス情報における設定）を操作での設定に変更する。
また、シーケンス更新部Ｍ１１５は、図１６の順序「４」番目における温度設定（４０度）の主体である「お母さん」を、「設定温度４０度」と関連付けて記憶させてもよい。この場合、シーケンス制御部Ｍ１１４は、スポーツドリンクを温める主体が「お母さん」であると認識された場合に更新されたシーケンスを実行させることができる。

上記（Ａ２）への更新は、シーケンス更新部Ｍ１１５が、シーケンスを実行中又はシーケンスを実行する前後の予め定められた時間内において、シーケンスにない操作が行われた場合に、その操作をシーケンスに加えたものである。つまり、シーケンス更新部Ｍ１１５は、実行したシーケンスにおいて、提案とは異なる操作が行われた場合には、シーケンス（図１２のシーケンス情報）に、この操作に関する自発動作を追加する。

＜まとめ＞
以上のように、制御システム１では、記憶部Ｍ１２は、各機器Ｕ１‐ｎが検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報（動作ＩＤ）、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報（図１１、図１２、及び図１３）を記憶する。制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報を取得する。制御部Ｍ１１は、対応情報と取得した少なくとも２つの情報に基づいて、自発動作情報を決定する。入出力部Ｕ１３‐ｎは、制御部Ｍ１１が決定した自発動作情報に基づいて、報知情報に応じて、動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う。
ここで、制御システム１では、機器Ｕ１‐ｎは、自機器Ｕ１‐ｎの機能を発揮する動作部Ｕ１２‐ｎと、利用者からの指示を入力する入出力部Ｕ１３‐ｎ又はセンサ部Ｕ１１‐ｎと、を備える。通信部Ｕ１６‐ｎは、自機器Ｕ１‐ｎが検出した環境情報、人情報、又は機器情報を送信するとともに、他の機器が検出した環境情報、人情報、又は機器情報に基づいた自発動作情報であって、自機器の動作に対応する報知情報を含む自発動作情報を受信する。発光部Ｕ１３３‐ｎは、自発動作情報に基づいて、報知情報に応じて、自機器Ｕ１‐ｎの動作に対応する報知であって音、光、又は画像による報知を行う。

これにより、制御システム１では、環境情報、機器情報、人情報、又は、外部情報を考慮した上で自発動作を決定し、各機器は、決定した自発動作を、利用者へ提案できる。ここで、制御システム１では、環境情報、機器情報、人情報、又は、外部情報の少なくとも２つを用いるので、１つの場合と比較して、踏み込んだ内容を提案できる。これにより、利用者が望む提案をできた場合には、利用者が喜びを覚えるので、制御システム１は、利用者に情緒を抱かせることができる。また、環境情報、機器情報、人情報、又は、外部情報は、利用者が体験している情報、又は、興味或いは感心を持つ情報である。各機器は、これらの情報に基づいた自発動作を提案するので、利用者は、各機器が自分のことを理解した上で、提案していると感じる。これにより、利用者が機器に対して嬉しさを感じるので、制御システム１は、利用者に情緒を抱かせることができる。
これにより、制御システム１では、人と機器Ｕ１‐ｎが共感できる。

また、制御システム１では、自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む。なお、機器の識別情報（機器識別情報）は、図１２の「対象機器」と図１４の「機器種別」の対応によって対応付けられている。制御部Ｍ１１は、対応情報と取得した少なくとも２つの情報に基づいて、機器識別情報を決定する。制御部Ｍ１１が決定した機器識別情報が示す機器Ｕ１‐ｎの入出力部Ｕ１３‐ｎは、動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う。
これにより、制御システム１では、機器毎に、例えば機器の機能や状況に応じた動作情報及び報知情報を決定でき、利用者へ提案できる。

また、制御システム１では、記憶部Ｍ１２は、少なくとも２つの情報と、複数の機器識別情報と、を対応付けた対応情報を記憶する。制御部Ｍ１１は、対応情報と取得した少なくとも２つの情報に基づいて、複数の機器識別情報を決定する。制御部Ｍ１１が決定した複数の機器識別情報が示す機器各々の入出力部Ｕ１３‐ｎは、それぞれ異なる報知を行う。
これにより、制御システム１では、複数の機器Ｕ１‐ｎを用いて、例えば機器Ｕ１‐ｎの機能や状況に応じた動作情報及び報知情報を決定でき、利用者へ提案できる。利用者は、複数の機器Ｕ１‐ｎが協力して、提案をしているように感じる。これにより、利用者は一体感を覚えるので、制御システム１は、利用者に情緒を抱かせることができる。
また、制御システム１では、一の機器Ｕ１‐ｎでは機能が不足している場合でも、他の機器Ｕ１‐ｎによって機能の不足を補えることがある。これにより、制御システム１では、一の機器Ｕ１‐ｎの場合と比較して、新たな提案又は多くの提案をすることができる。

また、制御システム１では、入出力部Ｕ１３‐ｎ又はセンサ部Ｕ１１‐ｎ（指示入力部）は、利用者からの指示を、例えばボタンの押下や音声、リモコン等で入力する。シーケンス更新部Ｍ１１５は、入出力部Ｕ１３‐ｎが報知を行った後に、入出力部Ｕ１３‐ｎ又はセンサ部Ｕ１１‐ｎに入力された指示に基づいて、対応情報を変更する（図１７参照）。
利用者は、報知による提案の後に別の指示を行った場合、提案よりも別の指示内容の方を好んでいると考えられる。制御システム１では、報知を行った後に指示に基づいて対応情報を変更するので、変更後に、より利用者の好みに合致した提案をすることができる。提案が利用者の好みに変わるので、利用者は、各機器が自分のことを理解した上で、提案していると感じる。これにより、利用者が機器に対して嬉しさを感じるので、制御システム１は、利用者に情緒を抱かせることができる。

また、制御システム１では、通信部Ｕ１６‐ｎは、動作を行う対象機器Ｕ１‐ｎに対して、当該対象機器Ｕ１‐ｎについての対応情報を送信しても良い。この場合、対象機器Ｕ１‐ｎは、情報取得部Ｍ１１１、出力決定部Ｍ１１３、シーケンス制御部Ｍ１１４、シーケンス記憶部Ｍ１２２を備えても良い。対象機器Ｕ１‐ｎの出力決定部Ｍ１１３は、通信部Ｕ１６‐ｎが送信した対応情報と、通信部Ｕ１６‐ｎが取得した情報であって、環境情報、機器情報、人情報、又は、外部情報のうちの少なくとも２つの情報に基づいて、自発動作情報を決定してもよい。なお、この場合の情報取得部Ｍ１１１は、入力部Ｕ１３１‐ｎ又はセンサ部Ｕ１１‐ｎであっても良い。
例えば、制御システム１では、複数の機器Ｕ１‐ｎの統合は制御装置Ｍ１で行い、各機器Ｕ１‐ｎの動作の詳細は機器Ｕ１‐ｎ側で設定または調整してもよい。例えば、部屋を冷やす場合、制御装置Ｍ１は、エアコン２１６を冷房モードで起動する、扇風機の電源をＯＮにする、空気清浄器２１８の電源をＯＮにする等を制御する。一方、エアコン２１６の温度設定、扇風機の風量、空気清浄器２１８のイオンモード（マイナスのみかプラスマイナス両方か）は、対応情報（例えば、図１２の条件）に基づいて、各機器Ｕ１‐ｎが決定して設定しても良い。

なお、制御システム１では、制御装置Ｍ１が制御部Ｍ１１（動作決定装置）を備える場合について説明したが、機器Ｕ１‐ｎが制御部Ｍ１１（動作決定装置）を備えてもよい。この場合、機器Ｕ１‐ｎの制御部Ｍ１１は、各機器Ｕ１‐ｎが検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報（動作ＩＤ）、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報（図１１、図１２、及び図１３）を記憶部から読み出す。制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報を取得する。制御部Ｍ１１は、対応情報と取得した少なくとも２つの情報に基づいて、自発動作情報を決定する。また、報知情報は、複数の発光装置を備える機器Ｕ１‐ｎにおいて、発光装置（発光箇所）が異なる場合がある。つまり、制御部Ｍ１１は、各機器Ｕ１‐ｎが検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報に基づいて、発光装置（発光箇所）を決定する。

また、制御システム１では、制御部Ｍ１１は、対応情報と環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報とに基づいて、自発動作情報を決定する。ここで、自発動作情報には、生命感やぬくもり、又は躍動感を、創出するような報知パターンが含まれる。すなわち、制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報に基づいて、各機器Ｕ１‐ｎの機能、便益或いは効果、又は、各機器Ｕ１‐ｎが機能、便益或いは効果を発揮している状態を決定する。制御部Ｍ１１は、決定した各機器Ｕ１‐ｎの機能、便益或いは効果、又は、各機器Ｕ１‐ｎが機能、便益或いは効果を発揮している状態に対応する表現であって、これらを表す表現（報知パターン）を決定する。より具体的には、制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報に基づいて、例えば、冷蔵庫の庫内に所望の物があること、テレビで所望の情報が表示されること、空調によって所望の温度にできること、加熱により食材を温めることができること、イオン発生等により空気を浄化できることを決定する。制御部Ｍ１１は、決定した各機器Ｕ１‐ｎの機能、便益或いは効果等を表現するため、それぞれ、冷蔵庫２１３、２２３の開口部、テレビ２１３、２２３の画面の周辺、エアコン２１６、２２６の吹き出し口、加熱調理器２１７の庫内、空気清浄器２１８のイオン発生器搭載部分或いは吹き出し口或いはその近傍、またはこれに関連する部分を選択する。また、制御部Ｍ１１は、選択した部分において、各機器Ｕ１‐ｎの機能、便益或いは効果等を表す発光態様の報知パターンを決定する。例えば、制御部Ｍ１１は、温かくなることや温かさを表現する場合いは暖色系の色で発光する報知パターン、冷やすことや寒さを表現する場合には寒色系の色で発光する報知パターンを決定する。制御部Ｍ１１は、環境情報、人情報、機器情報、又は外部情報のうちの少なくとも２つの情報に基づいて、それらに応じた発光時間や発光の形状、発光個数等を有する報知パターンを決定する。このように、制御システム１では、制御部Ｍ１１は、各機器において、単なる状態、指示、又は警告の表示だけではなく、各機器Ｕ１‐ｎの機能、便益或いは効果、又は、各機器Ｕ１‐ｎが機能、便益或いは効果を発揮している状態を表現できる。これにより、利用者は、あたかも各機器Ｕ１‐ｎが意識を持って、自分に寄り添うような感覚を持ち、各機器Ｕ１‐ｎは利用者に対して情緒的価値を創出できる。

（第３実施形態）
以下、図面を参照しながら本発明の第３実施形態について詳しく説明する。第３実施形態では、第１実施形態又は第２実施形態に係る制御システム１のユースケースの別の一例について説明する。
第３実施形態では、エアコン２１６が自動運転を開始する場合、又は、エアコン２１６が運転中に自動制御を行う場合について説明する。

図１８は、本発明の第３実施形態に係る制御システム１の概略構成を示す機能ブロック図である。
制御部Ｍ１１は、人情報として、人を検出したことを示す情報、個人認証情報、又は個人データ（バイタルデータ等）を取得する。例えば、制御部Ｍ１１は、通信機器２１９やエアコン２１６から、これらの情報を取得する。例えば、個人認証情報は、エアコン２１６が顔を検知して、その特徴量に基づいて人を特定したものである。また、個人認証情報は、ウェアラブル機器である通信機器２１９やスマートフォンである通信機器２６０、２７０によって、ＩＤ／ＰＷ又は所有者等の登録情報に基づいて、人を特定したものである。
また、制御部Ｍ１１は、設定情報又は操作情報を示す機器情報を取得する。なお、操作情報は、対象機器Ｕ１‐ｎの外部機器による制御に基づく情報であってもよい。また、制御部Ｍ１１は、情報処理装置Ｓ１から、外部情報を取得する。外部情報は、例えば、天気予報を示す情報である。

制御部Ｍ１１は、次の情報を契機にして、エアコン２１６に動作又は報知を行わせる。制御部Ｍ１１は、この契機又は動作において、取得した情報を用いる。
エアコン２１６の電源を「ＯＮ」又は「ＯＦＦ」にする契機として、タイマーに基づくものがある。制御部Ｍ１１は、予め定められた時刻になったとき、又は、予め定めた時間が経過したときに、エアコン２１６に動作又は報知を行わせる。
また、エアコン２１６の電源を「ＯＮ」又は「ＯＦＦ」にする契機として、機器情報が示す設定温度と、外部情報が示す気温（外気温度）、又は環境情報が示す気温（室温或いは車内温度）に基づくものがある。制御部Ｍ１１は、これらの設定温度又は気温と閾値に基づいた契機、又は、これらの設定温度又は気温の差と閾値に基づいた契機に、エアコン２１６に動作又は報知を行わせる。
また、エアコン２１６の電源を「ＯＮ」又は「ＯＦＦ」にする契機として、機器情報が示す操作情報に基づくものがある。

制御部Ｍ１１は、次の情報に基づいて、エアコン２１６の動作情報（動作ＩＤ等）又は報知情報を決定する。例えば、制御部Ｍ１１は、エアコン２１６の動作中に、決定した動作又は報知を行わせる。なお、エアコン２１６の動作情報には、エアコン２１６の電源を「ＯＮ」にすること、又は「ＯＦＦ」にすることも含まれる。
エアコン２１６の動作情報を決定するための情報として、機器情報が示す個人の設定情報、又は人情報が示す個人認証情報がある。例えば、制御部Ｍ１１は、個人の設定情報と個人認証情報に応じて、動作情報又は報知情報を決定する。
エアコン２１６の動作情報を決定するための情報として、人情報が示すバイタルデータがある。例えば、制御部Ｍ１１は、バイタルデータが体の異常を示すと判定した場合（例えば、高熱と判定した場合）に、その異常への対応策となる動作情報又は報知情報を決定する。また、個人の設定情報を参照して、認識された個人に応じて温度等の設定を切替えてもよい。

制御部Ｍ１１は、決定した動作情報に基づいて、エアコン２１６に、運転開始指示又は運転中の制御を指示する。エアコン２１６は、動作情報に基づいて、運転開始又は運転中の制御を行う。
制御部Ｍ１１は、決定した報知情報に基づいて、エアコン２１６に報知を指示する。エアコン２１６は、報知情報に基づいて、運転開始時又は運転中に、動作情報が示す動作に対応する報知を行う。
以下、報知の具体例を示す。

（Ｂ１）エアコン２１６は、風を吹き出す動作を行う場合に、吹き出し口の近傍を光らせる。つまり、エアコン２１６は、風を吹き出す動作に対応して、この動作が利用者に対して作用する部分（発光部Ｌ３１）を光らせる。また、例えば、エアコン２１６は、フィルタを自動清掃する動作を行う場合に、フィルタが格納されている筐体の表面、又はそのうちフィルタの外周に沿う部分（枠）を光らせる。つまり、エアコン２１６は、フィルタを自動清掃する動作に対して、この動作を行う部分を光らせる。
（Ｂ２）エアコン２１６は、動作状況に応じた発光を行う。動作状況とは、例えばファンやコンプレッサーの状況であり、具体的には出力である。
（Ｂ３）エアコン２１６は、運転モードに応じた発光を行う。例えば、エアコン２１６は、冷房モードの場合に寒色系（青、水色）で発光し、暖房モードの場合に暖色系（オレンジ、赤）で発光する。

（Ｂ４）エアコン２１６は、発光を変化させる場合、発光態様を変化させる。例えば、エアコン２１６は、発光において、光の色や光り方（点滅、切り替わり方）を変化させる。
（Ｂ５）エアコン２１６は、発光態様によって、利用者に対するお勧め（提案内容）を表現する。例えば、天気予報によって、今後暑くなることが予想される場合、エアコン２１６は、「これから暑くなるので、クーラーを入れるのがお勧めです」と発音する。この場合に、エアコン２１６は、例えば、オレンジ色（これから暑くなることを表現）で点滅を３回行い、その後、水色でぼやけた発光（クーラーを表現）を３秒間点灯する。エアコン２１６は、この発光パターンを繰り返す。なお、色をぼやかすためには、発光部の発光側に拡散板が設置されていても良いし、画像自体をぼかしても良い。画像自体をぼかす場合には、ある画素の画素値に基づいて、その画素の周辺画素の画素値を決定する。

（Ｃ１）エアコン２１６は、動作状況に応じた音（ＢＧＭ等）を出力する。動作状況とは、例えばファンやコンプレッサーの状況であり、具体的には出力である。
（Ｃ２）エアコン２１６は、運転モードに応じた音を出力する。
（Ｃ３）エアコン２１６は、利用者に発光を発見させるために、注意を促す音を出力する。

（第４実施形態）
以下、図面を参照しながら本発明の第４実施形態について詳しく説明する。第４実施形態では、第１実施形態又は第２実施形態に係る制御システム１のユースケースの別の一例について説明する。
第４実施形態では、冷蔵庫２１３が庫内の物のありかを示す場合について説明する。

図１９は、本発明の第４実施形態に係る制御システム１の概略構成を示す機能ブロック図である。
制御部Ｍ１１は、人情報として、人を検出したことを示す情報、個人認証情報、又は個人データ（バイタルデータ等）、発話情報を取得する。例えば、制御部Ｍ１１は、通信機器２１９や冷蔵庫２１３から、これらの情報を取得する。
また、制御部Ｍ１１は、設定情報又は操作情報を示す機器情報を取得する。なお、操作情報は、対象機器Ｕ１‐ｎの外部機器による制御に基づく情報であってもよい。また、制御部Ｍ１１は、情報処理装置Ｓ１から、外部情報を取得する。外部情報は、例えば、料理のレシピを示す情報である。

制御部Ｍ１１は、次の情報を契機にして、冷蔵庫２１３に動作又は報知を行わせる。制御部Ｍ１１は、この契機又は報知において、取得した情報を用いる。
例えば、制御部Ｍ１１は、冷蔵庫２１３から取得した発話情報が「のどが渇いた」ことを示す場合、冷蔵庫２１３の開口部分（発光部Ｌ１１）を光らせる。また、制御部Ｍ１１は、冷蔵庫２１３から飲み物の置き場所を示す機器情報を取得した場合、その置き場所を示す部分（発光部Ｌ１４、Ｌ１６）を光らせる。又は、制御部Ｍ１１は、飲み物の置き場所を示す部分を光らせる指示を、冷蔵庫２１３に行っても良い。
例えば、制御部Ｍ１１は、通信機器２１９から取得した人情報が示す体温が閾値を超えた場合、つまり、人が高熱であることを検出した場合に、冷蔵庫２１３の開口部分を光らせる。また、制御部Ｍ１１は、冷蔵庫２１３から飲み物の置き場所を示す機器情報を取得した場合、その置き場所を示す部分を光らせる。ここで、後述するように、制御部Ｍ１１は、発光態様によって、緊急性が高いことを表現する。
例えば、制御部Ｍ１１は、取得した情報（例えば、バイタルデータの値）に応じて、発光態様及び音声情報を決定する。

例えば、制御部Ｍ１１は、冷蔵庫２１３から取得した発話情報に基づいて、利用者が求める食材を特定する。例えば、冷蔵庫２１３から取得した発話情報が「ブロッコリーはあるかしら？」である場合、形態素解析等によって食材を表す名詞である「ブロッコリー」を特定する。制御部Ｍ１１は、特定した食材が庫内にあるか否かを判定する。具体的には、制御部Ｍ１１は、冷蔵庫２１３から、庫内にある物（食材等）とその置き場所を対応付けた食材テーブルを機器情報として取得する。制御部Ｍ１１は、食材テーブル中に、特定した食材があるか否かを判定する。
特定した食材が庫内にあると判定した場合、制御部Ｍ１１は、冷蔵庫２１３の開口部分を光らせる。また、制御部Ｍ１１は、食材テーブルにおいて、特定した食材の置き場所が登録されている場合には、その置き場所を示す部分を光らせる。なお、制御部Ｍ１１は、食材テーブルにおいて、特定した食材の置き場所が登録されていない場合（ｎｕｌｌの場合）には、その食材が本来あるべき場所であって、予め登録された場所を光らせる。例えば、制御部Ｍ１１は、食材が野菜の場合には、野菜室を光らせる。
なお、記憶部Ｕ１５‐ｎや記憶部Ｍ１２は、物（食材）毎に、報知情報テーブル（図２０）を記憶してもよい。制御部Ｍ１１は、特定した食材に応じて、報知情報テーブルを選択し、その報知情報テーブルが示す契機（ＯＮトリガー）に、発光箇所毎の報知パターンで発光、発音を開始し、報知を止める契機（ＯＦＦトリガー）にこの発光、発音を終了しても良い。

制御部Ｍ１１は、決定した報知情報に基づいて、冷蔵庫２１３に報知を指示する。冷蔵庫２１３は、報知情報に基づいて、お勧めする（提案する）動作に対応する報知を行う。
以下、報知の具体例を示す。

（Ｄ１）冷蔵庫２１３は、利用者に扉を開かせる場合に、開口部分又はその近傍を光らせる。つまり、冷蔵庫２１３は、利用者に勧める操作（扉を開く操作）に対応して、利用者に対して便益をもたらす部分を光らせる。
（Ｄ２）冷蔵庫２１３は、利用者に飲み物を勧める場合に、開口部分や飲み物の置き場所を示す部分を光らせる。つまり、冷蔵庫２１３は、利用者の目的や希望を達成する部分を光らせる。より具体的には、冷蔵庫２１３は、利用者に物を勧める動作に対応して、その物が有る場所、及び、その物を得るために操作を行う場所を光らせる。
（Ｄ３）冷蔵庫２１３は、取得した情報に応じた発光を行う。例えば、冷蔵庫２１３は、取得した人情報によって、人がのどが渇いていると判定された場合と人が高熱であると判定された場合では、発光態様を異ならせる。例えば、冷蔵庫２１３は、人がのどが渇いていると判定された場合に寒色系（青、水色）で発光し、人が高熱であると判定された場合に暖色系（オレンジ、赤）で点滅する。これにより、冷蔵庫２１３は、人が高熱であると判定された場合には、より緊急性が高いことを表現する。
（Ｄ４）冷蔵庫２１３は、利用者の目的や希望に沿えない場合、その旨を表す報知を行う。例えば、冷蔵庫２１３は、特定した食材が庫内にないと判定された場合、発音のみ（「○○がありません。」や謝罪）で発光しない、又は、特定色（例えば赤色）で発光する。

（Ｅ１）冷蔵庫２１３は、利用者を冷蔵庫２１３に注目させるために、注目を促す音を出力する。
（Ｅ２）冷蔵庫２１３は、取得した情報に応じた発光を行う。例えば、冷蔵庫２１３は、取得した人情報によって、人がのどが渇いていると判定された場合と人が高熱であると判定された場合では、音を異ならせる。

（Ｆ１）冷蔵庫２１３は、近接センサを備え、近接センサが人を検出した場合に、報知情報に基づく報知（光による報知、音による報知）を行っても良い。
（Ｆ２）冷蔵庫２１３は、個人認証機能及び近接センサを備え、近接センサが特定の利用者を検出した場合に、報知情報に基づく報知を行っても良い。
（Ｆ３）冷蔵庫２１３は、個人認証機能を備え、利用者に応じて異なる報知を行っても良い。

図２０は、本実施形態に係る報知情報テーブルの一例を示す概略図である。図示するように、報知情報テーブルは、ＯＮトリガー、発光箇所ＰＲ‐１、ＰＲ‐２、・・・、ＰＲ‐Ｍ、音、及びＯＦＦトリガーの各項目の列を有している。ここで、「ＯＮトリガー」は報知を開始する契機を表し、「ＯＦＦトリガー」は報知を終了する契機を表す。
報知情報テーブルは、ＯＮトリガー毎に報知情報が格納される行と列からなる２次元の表形式のデータである。なお、このテーブルにおいて、「‐」（ハイフン）は、情報がないことを示す。例えば、発光箇所ＰＲ‐ｍの項目で「‐」が設定されている場合には、発光をしないことを表わしている。

例えば、図２０の１行目の報知情報は、音声で「のどが渇いた」旨を検出した場合、発光箇所ＰＲ‐１（例えば、発光部Ｌ１１）を「パターンＰ２１」で発光し、また、発光箇所ＰＲ‐２（例えば、発光部Ｌ１４）を「パターンＰ２２」で発光し、「Ｆ‐０１」が示す音を発音することを表している。また、この報知情報は、冷蔵庫２１３の庫内の飲み物の少なくとも一つが検出されなくなった場合に、発光を終了することを表している。
例えば、図２０の２行目の報知情報は、バイタルデータで異常を検出した場合、発光箇所ＰＲ‐１（例えば、発光部Ｌ１１）を「パターンＰ２１」で発光し、また、発光箇所ＰＲ‐２（例えば、発光部Ｌ１４）を「パターンＰ２３」で発光することを表している。つまり、１行目の報知情報と２行目の報知情報では、ＯＮトリガーが異なっており、発光のパターン（発光箇所ＰＲ‐２におけるパターン）が異なっている。
すなわち、制御部Ｍ１１は、報知情報テーブルが示す契機（ＯＮトリガー）が異なる場合に、発光箇所毎のパターンの少なくとも一つが異なる報知情報を決定する。

（第５実施形態）
以下、図面を参照しながら本発明の第５実施形態について詳しく説明する。第５実施形態では、第１実施形態又は第２実施形態に係る制御システム１のユースケースの別の一例について説明する。
第５実施形態では、テレビ２１５が外部からの着信を示す機器情報と人情報により制御される場合について説明する。

図２１は、本発明の第５実施形態に係る制御システム１の概略構成を示す機能ブロック図である。
制御部Ｍ１１は、人情報として、人を検出したことを示す情報、個人認証情報、又は個人データ（バイタルデータ等）、発話情報を取得する。例えば、制御部Ｍ１１は、通信機器２１９やテレビ２１５から、これらの情報を取得する。
また、制御部Ｍ１１は、設定情報又は操作情報を示す機器情報を取得する。なお、操作情報は、対象機器Ｕ１‐ｎの外部機器による制御に基づく情報であってもよい。

制御部Ｍ１１は、次の情報を契機にして、冷蔵庫２１３に動作又は報知を行わせる。制御部Ｍ１１は、この契機又は報知において、取得した情報を用いる。
制御部Ｍ１１は、バイタルデータで異常を検出した場合、予め登録された連絡先（例えばかかりつけの医師）へ連絡を行う。例えば、通信機器２１９から取得した人情報が示す体温が閾値を超えた場合、つまり、人が高熱であることを検出した場合に、予め登録された連絡先へ連絡を行う。この連絡には、高熱である利用者の名前、バイタルデータ、及びこの利用者の連絡先（例えばテレビ電話の電話番号）が含まれる。また、制御部Ｍ１１は、人が高熱であることを検出したことを示す履歴情報を、記憶部Ｍ１２に記憶する。
医師は、高熱である利用者の連絡先のテレビ２１５に、テレビ電話を要求する発信を行う。この場合、テレビ２１５は、着信があったこと、及び、発信者（医師）を示す機器情報を、制御装置Ｍ１へ送信する。

制御部Ｍ１１は、人が高熱であることを検出し、かつ、テレビ２１５にテレビ電話の着信があった場合に、テレビ２１５の電源を「ＯＮ」する動作、及び、テレビ電話の為の青プリケーション（ブラウザ）を立ち上げる動作を行う動作情報を決定する。
テレビ２１５は、制御部Ｍ１１が決定した動作情報に基づいて、動作を開始し、テレビ電話を受話する。なお、テレビ２１５を受話したとき、テレビ２１５が人を検出しない場合、制御部Ｍ１１は、人が受話できない旨を発信者に通知するとともに、ハードディスクレコーダ等の録画・録音装置を起動しても良い。制御部Ｍ１１は、起動した録画・録音装置に、テレビ電話の内容を録画・録音させても良い。また、この場合、制御部Ｍ１１は、テレビ２１５の着信を、他の機器Ｕ１‐ｎへ転送しても良い。

制御部Ｍ１１は、人が高熱であることを検出し、かつ、テレビ２１５にテレビ電話の着信があった場合に、テレビ２１５の発光部Ｌ２１を発光させる。ここで、制御部Ｍ１１は、発光態様によって、緊急性が高いことを表現する。なお、制御部Ｍ１１は、人が高熱であることを検出し、かつ、医師から発信があった場合に、緊急性が高いことを表現する発光を行っても良い。また、制御部Ｍ１１は、高熱である人の家にある機器Ｕ１‐ｎのうち、人を検出できる機器Ｕ１‐ｎに対して、人の検出を指示しても良い。また、制御部Ｍ１１は、人を検出した機器Ｕ１‐ｎを対象機器Ｕ１‐ｎとして、テレビ２１５を見ることを促す報知情報を生成しても良い。この場合、対象機器Ｕ１‐ｎは、この報知情報に基づいて、テレビ２１５を見ることを促す報知を行う。

制御部Ｍ１１は、決定した報知情報に基づいて、テレビ２１５に報知を指示する。
以下、報知の具体例を示す。

（Ｇ１）テレビ２１６は、画面の下部（発光部Ｌ２１）を光らせた後、画面に映像を表示する。
（Ｇ２）テレビ２１６は、呼び出し音を発しても良い。

（第６実施形態）
以下、図面を参照しながら本発明の第６実施形態について詳しく説明する。第６実施形態では、第１実施形態又は第２実施形態に係る制御システム１のユースケースの別の一例について説明する。
第６実施形態では、機器Ｕ１‐ｎが調理をサポートする場合について説明する。

図２２は、本発明の第６実施形態に係る制御システム１の概略構成を示す機能ブロック図である。
制御部Ｍ１１は、人情報として、人を検出したことを示す情報、個人認証情報、又は個人データ、発話情報を取得する。例えば、制御部Ｍ１１は、通信機器２１９、冷蔵庫２１３、又は加熱調理器２１７から、これらの情報を取得する。
また、制御部Ｍ１１は、設定情報、動作状況又は操作情報を示す機器情報を取得する。なお、操作情報は、対象機器Ｕ１‐ｎの外部機器による制御に基づく情報であっても良い。また、制御部Ｍ１１は、情報処理装置Ｓ１から、外部情報を取得する。外部情報は、例えば、料理のレシピを示す情報である。

制御部Ｍ１１は、例えば調理指示を契機にして、通信機器２１９、冷蔵庫２１３、及び加熱調理器２１７に動作又は報知を行わせる。制御部Ｍ１１は、この契機又は報知において、取得した情報を用いる。
例えば、通信機器２１９は、「野菜グラタンを作りたい」との発話を検出した場合、利用者から調理指示があったと判定し、調理指示を示す情報を、制御部Ｍ１１へ送信する。なお、制御部Ｍ１１は、冷蔵庫等の材料のストック情報を記憶しておき、ストック情報に基づいて野菜グラタンを作る旨をユーザに提案し、これに対する同意の意思を示すユーザの発話を検知することにより調理指示があったと判定してもよい。
制御部Ｍ１１は、機器Ｕ１‐ｎの動作状況を示す機器情報、或いは機器Ｕ１‐ｎに対する操作を示す機器情報、及び、利用者の発話を示す人情報に基づいて、調理手順に従った動作情報又は報知情報を決定する。
また、制御部Ｍ１１は、他の通信機器２１９、通信機器２６０、２７０、又は外部装置へ、利用者（調理者）による調理状況を示す情報を送信しても良い。例えば、制御部Ｍ１１は、調理者の家族のメールアドレスや、メッセージサービスの特定のメンバー（例えば、調理者の友人）へ送信する。また、制御部Ｍ１１は、会員機構の情報掲載サービスに、調理状況を書き込んでも良い。

制御部Ｍ１１は、決定した報知情報に基づいて、通信機器２１９、冷蔵庫２１３及び加熱調理器２１７に報知を指示する。通信機器２１９、冷蔵庫２１３及び加熱調理器２１７は、報知情報に基づいて、調理に関する動作に対応する報知を行う。
以下、報知の具体例を示す。

（Ｈ１）冷蔵庫２１３及び加熱調理器２１７は、それぞれ別々に又は同期して、発光又は発音を行う。
（Ｈ２）通信機器２１９は、調理のガイドを行う。例えば、通信機器２１９は、音声情報に基づく発音によって、利用者が次に行うべき動作や、利用者が次に行うべき機器Ｕ１‐ｎに対する操作を報知する。
（Ｈ３）通信機器２１９は、画面を備える場合には、画面に調理手順や調理方法等のガイドを表示しても良い。

（Ｈ４）通信機器２１９は、携帯機器（通信機器２６０、２７０）やロボット２１１等、利用者が身近に置くものであっても良い。
（Ｈ５）通信機器２１９は、人の音声を解析し、利用者から音声入力を受け付けても良い。
（Ｈ６）通信機器２１９は、装着者の肌に接触する部分を発光する。
（Ｈ７）通信機器２１９は、音と同期して、発光する光を変化させる。

図２３と図２４は、本実施形態に係る制御システムの概略シーケンス図である。なお、図２４が表わすシーケンスは、図２３が表わすシーケンスの続きである。
（ステップＳｔ３１０）制御装置Ｍ１は、指示待ちの状態にある。
（ステップＳｔ３１１）利用者（例えば、子供Ｈ３）が「野菜グラタンを作りたい」と発話する。その後、ステップＳｔ３１２へ進む。

（ステップＳｔ３１２）通信機器２１９（例えば、通信機器２１９‐３）は、ステップＳｔ３１１の発話を録音し、録音した発話情報を、制御装置Ｍ１へ送信する。なお、発話情報には、発話者（通信機器２１９の利用者。本例では子供Ｈ３）のユーザ識別情報を示す人情報が含まれる。その後、ステップＳｔ３１３へ進む。

（ステップＳｔ３１３）制御装置Ｍ１は、ステップＳｔ３１２で送信された発話を解析し、この発話が調理指示であり、また、調理対象の料理が「野菜グラタン」であると判定する。なお、調理指示は、音声に限られず、ボタンの押下やテキスト入力であっても良い。
制御装置Ｍ１は、シーケンス情報のうち、調理手順を記述したシーケンス情報（「レシピシナリオ」とも称する）を、複数種類記憶している。制御装置Ｍ１は、ステップＳｔ３１２の調理指示に基づいて、調理指示に含まれる料理情報が示す料理（「野菜グラタン」）についてのレシピシナリオを選択する。なお、このレシピシナリオには、「野菜グラタン」の調理手順が記述されるとともに、調理手順各々について自発動作情報（料理方法を説明する音声情報や、料理で利用する機器Ｕ１‐ｎの設定や報知パターン）が対応付けられている。制御装置Ｍ１は、決定したレシピシナリオを呼び出して、実行する。なお、レシピシナリオは、情報処理装置Ｓ１等外部のサーバから取得してもよい。また、制御装置Ｍ１には、家族の好みに対応する補正値が記憶または設定できるようになっており、レシピシナリオに対し、例えば、塩分を３０％控えめする、焼き加減を２０％強くする等の調整を行ってもよい。さらに、この補正値は家族の構成員それぞれに対して設定され、家族の構成員それぞれに対して調整を行ってもよい。制御装置Ｍ１または機器Ｕ１‐ｎは、調整に応じて報知情報（メッセージや発光等）を生成し、機器の設定を行う。
その後、ステップＳｔ３１４へ進む。

（ステップＳｔ３１４）制御装置Ｍ１は、レシピシナリオに従って、調理者（子供Ｈ３）が調理を開始したことを示すメッセージを生成する。なお、このメッセージには、調理者、調理を開始したこと、これから利用する予定の機器Ｕ１‐ｎ（「利用機器」とも称する）の名称等が含まれても良い。制御装置Ｍ１は、ステップＳｔ３１４で生成したメッセージを、他の通信機器２１９、通信機器２６０、２７０、又は外部装置（図２３、図２４では、「外部装置」と記載する）へ、送信する。ここで、連絡先は、予め定められた宛先であり、例えば、母親Ｈ２のメールアドレス等である。その後、ステップＳｔ３１５へ進む。
（ステップＳｔ３１５）外部装置は、ステップＳｔ３１４のメッセージを受信する。これにより、例えば母親Ｈ２は、外出中やキッチンに不在の場合でも、子供Ｈ３が家で調理を開始したこと、及び、子供Ｈ３が利用機器を利用すること等を、知ることができる。その後、ステップＳｔ３１６へ進む。

（ステップＳｔ３１６）制御装置Ｍ１は、レシピシナリオに従って、初期発光を指示する報知情報を生成する。この報知情報は、例えば、利用機器の全て、つまり、レシピシナリオ内の対象機器の全てに対して、報知をさせる情報である。また、冷蔵庫２１３の報知情報には、料理情報が示す料理を作るための食材情報が含まれる。
この報知情報は、複数の利用機器を同期させ、例えば、同時に、順に、又は交互に発光させるものであっても良い。また、この報知情報は、同時に同じ言葉（例えば、「みんなで一緒に野菜グラタンを作ろう！」）、又は、順に或いは交互に、一連の言葉（「今日は野菜グラタンだ」「みんな準備はいい？」「いいよ」）を発音させるものであっても良い。その後、ステップＳｔ３１７へ進む。
（ステップＳｔ３１７）制御装置Ｍ１は、ステップＳｔ３１６で生成した報知情報を、利用機器（通信機器２１９、冷蔵庫２１３及び加熱調理器２１７）へ送信する。その後、ステップＳｔ３１８へ進む。

（ステップＳｔ３１８）通信機器２１９、冷蔵庫２１３及び加熱調理器２１７は、ステップＳｔ３１７の報知情報に基づいて、報知（初期発光）を行う。ここで、冷蔵庫２１３は、報知情報に含まれる食材情報に基づいて、食材情報が示す食材が庫内にある場合、発光部Ｌ１１（開口部）、及び、発光部Ｌ１４、Ｌ１６等（食材の置き場所を示す部分）を光らせる。一方、加熱調理器２１７は、発光部Ｌ４１、Ｌ４２、又はＬ４３（扉）を光らせる。すなわち、冷蔵庫２１３及び加熱調理器２１７は、利用者に対して便益をもたらす部分、又は、利用者の目的や希望を達成する部分を光らせる。
通信機器２１９、冷蔵庫２１３及び加熱調理器２１７は、報知情報に基づいて同期し、例えば、同時或いは交互に発光する。また例えば、通信機器２１９、冷蔵庫２１３及び加熱調理器２１７は、報知情報に基づいて同期し、同時に同じ言葉、又は順に一連の言葉を発音する。その後、ステップＳｔ３１９へ進む。
なお、報知情報には、各利用機器及び報知毎に、報知タイミングを示すタイミング情報（例えば、時刻）が含まれ、利用機器は、タイミング情報を用いて、同期する。

（ステップＳｔ３１９）制御装置Ｍ１は、第１食材（例えば「ブロッコリー」）の準備を指示する報知情報を生成する。この報知情報は、音声情報「材料を準備してください。冷蔵庫にありますよ」を含む。その後、ステップＳｔ３２０へ進む。
（ステップＳｔ３２０）制御装置Ｍ１は、ステップＳｔ３１９で生成した報知情報を、通信機器２１９へ送信する。その後、ステップＳｔ３２１へ進む。
（ステップＳｔ３２１）通信機器２１９は、ステップＳｔ３２０で送信された報知情報に基づいて、報知（発音や発光）を行う。その後、ステップＳｔ３２２へ進む。

（ステップＳｔ３２２）冷蔵庫２１３は、食材が取り出されたことを検知する。具体的には、冷蔵庫２１３は、重さ、画像、赤外線等のセンサ、又はユーザ操作によって、庫内の食材を監視し、食材がなくなったことを検知する。又は、冷蔵庫２１３は、ステップＳｔ３２１の報知後に、冷蔵庫２１３が開かれたこと条件として、食材が取り出されたと判定しても良い。なお、この判定は、制御装置Ｍ１が行っても良い。その後、ステップＳｔ３２３へ進む。
（ステップＳｔ３２３）冷蔵庫２１３は、食材が取り出されたことを示す情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３２４へ進む。
（ステップＳｔ３２４）制御装置Ｍ１は、冷蔵庫２１３に対して、ステップＳｔ３１８の初期発光についての消灯を指示する報知情報を生成する。その後、ステップＳｔ３２５へ進む。
（ステップＳｔ３２５）制御装置Ｍ１は、ステップＳｔ３２４で生成した報知情報を、冷蔵庫２１３へ送信する。その後、ステップＳｔ３２６及びステップＳｔ３２７へ進む。
（ステップＳｔ３２６）冷蔵庫２１３は、ステップＳｔ３２５で送信された報知情報に基づいて、ステップＳｔ３１８の初期発光を消灯する。

（ステップＳｔ３２７）制御装置Ｍ１は、レシピシナリオに従って、利用者に対して、第１食材の調理作業（第１作業）を促す報知情報を生成する。この報知情報は、音声情報「ブロッコリーを切りましょう」を含む。その後、ステップＳｔ３２８へ進む。
（ステップＳｔ３２８）制御装置Ｍ１は、ステップＳｔ３２７で生成した報知情報を、通信機器２１９へ送信する。その後、ステップＳｔ３２９へ進む。
（ステップＳｔ３２９）通信機器２１９は、ステップＳｔ３２８で送信された報知情報に基づいて、報知（発音や発光）を行う。なお、報知情報には、利用者に作業後に連絡を促す報知情報、例えば、音声情報「ブロッコリーを切り終わったら、教えてね」が含まれても良い。また、制御装置Ｍ１は、利用者に作業が完了したか否かを確認する報知情報、例えば、音声情報「ブロッコリーを切り終わった？」を生成しても良い。この場合、通信機器２１９は、例えば、ステップＳｔ３２９の報知後、予め定められた時間間隔（例えば、５分毎）で、利用者に作業が完了したか否かを確認しても良い。その後、ステップＳｔ３３０へ進む。

（ステップＳｔ３３０）利用者が「ブロッコリーを切りました」と発話する。その後、ステップＳｔ３３１へ進む。
（ステップＳｔ３３１）通信機器２１９は、ステップＳｔ３３０の発話を録音し、録音した発話情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３３２へ進む。
（ステップＳｔ３３２）制御装置Ｍ１は、ステップＳｔ３１２で送信された発話を、解析する。制御装置Ｍ１は、この発話に、ステップＳｔ３２７の報知情報における第１食材（ブロッコリー）と、調理作業（切りましょう）に対する完了情報（切りました）が含まれていると判定する。この場合、制御装置Ｍ１は、ステップＳｔ３２７の調理作業（第１作業）が完了したと判定する。その後、制御システム１は、他の食材の調理作業を促すことと、その調理作業の完了の判定と、を繰り返す。

（ステップＳｔ３４０）利用者が「材料の盛付けが終わりました」と発話する。その後、ステップＳｔ３４１へ進む。
（ステップＳｔ３４１）通信機器２１９は、ステップＳｔ３４１の発話を録音し、録音した発話情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３４２へ進む。
（ステップＳｔ３４２）制御装置Ｍ１は、ステップＳｔ３４１で送信された発話を解析する。制御装置Ｍ１は、履歴情報とレシピシナリオに基づいて、食材を切る作業や食材の盛付けが完了していると判定する。この場合、制御装置Ｍ１は、食材を加熱する準備が整ったと判定する。なお、制御装置Ｍ１は、音声に限られず、ボタンの押下やテキスト入力に基づいて、食材を加熱する準備が整ったと判定しても良い。
制御装置Ｍ１は、レシピシナリオに従って、第２発光を指示する報知情報を生成する。この第２発光は、例えば、次に加熱調理器２１７を利用して調理をすることを表す。その後、ステップＳｔ３４３に進む。

（ステップＳｔ３４３）制御装置Ｍ１は、ステップＳｔ３４２で生成した報知情報を、加熱調理器２１７へ送信する。その後、ステップＳｔ３４４及びステップＳｔ３４５へ進む。
（ステップＳｔ３４４）加熱調理器２１７は、ステップＳｔ３４３で送信された報知情報に基づいて、報知（第２発光）を行う。その後、加熱調理器２１７は、庫内に食材がセットされるのを待つ。
（ステップＳｔ３４５）制御装置Ｍ１は、レシピシナリオに従って、利用者に対して、盛り付けた食材を加熱調理器２１７で加熱させる調理作業（第２作業）を促す報知情報を生成する。この報知情報は、音声情報「食材を電子レンジにセットしてください」を含む。その後、ステップＳｔ３４６へ進む。
（ステップＳｔ３４６）制御装置Ｍ１は、ステップＳｔ３４５で生成した報知情報を、通信機器２１９へ送信する。その後、ステップＳｔ３４７へ進む。
（ステップＳｔ３４７）通信機器２１９は、ステップＳｔ３４６で送信された報知情報に基づいて、報知（発音や発光）を行う。その後、図２４のステップＳｔ３５１へ進む。

（ステップＳｔ３５１）利用者は、加熱調理器２１７に、盛付けが完了した食材をセットする。その後、ステップＳｔ３５２へ進む。
（ステップＳｔ３５２）加熱調理器２１７は、庫内に食材がセットされたことを検出する。その後、ステップＳｔ３５３へ進む。
（ステップＳｔ３５３）加熱調理器２１７は、庫内に食材がセットされたことを検出したことを示す報知（第３発光）を行う。その後、ステップＳｔ３５４へ進む。
（ステップＳｔ３５４）加熱調理器２１７は、庫内に食材がセットされたことを示す情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３５５へ進む。

（ステップＳｔ３５５）制御装置Ｍ１は、レシピシナリオに従って、加熱調理器２１７の設定を指示する自発動作情報を生成する。この設定は、加熱調理器２１７の庫内にセットされた食材（盛付けが完了した食材）を調理する場合の設定（例えば、「オーブン」モード、設定温度「２５０」度、設定時間「１５」分）である。また、この自発動作情報には、第４発光を示す報知情報が含まれる。この第４発光は、設定の結果、加熱調理器２１７が発揮する機能を示す。例えば、第４発光は、加熱調理器２１７の発光部Ｌ４３に、火や炎を表す画像が表示させるものである。その後、ステップＳｔ３５６へ進む。
（ステップＳｔ３５６）制御装置Ｍ１は、ステップＳｔ３５５で生成した自発動作情報を、加熱調理器２１７へ送信する。その後、ステップＳｔ３５７へ進む。
（ステップＳｔ３５７）加熱調理器２１７は、ステップＳｔ３５６で送信された自発動作情報に基づいて、報知（第４発光）を行う。その後、ステップＳｔ３５８へ進む。
（ステップＳｔ３５８）加熱調理器２１７は、ステップＳｔ３５６で送信された自発動作情報に基づいて、設定を行う。その後、加熱調理器２１７は動作開始の指示を待つ。その後、ステップＳｔ３６０へ進む。

（ステップＳｔ３６０）利用者は、加熱調理器２１７に、動作指示を行う。具体的には、利用者は、加熱調理器２１７のスタートボタンを押下する。その後、ステップＳｔ３６１へ進む。
（ステップＳｔ３６１）加熱調理器２１７は、ステップＳｔ３５８で行った設定の動作を開始する。なお、利用者が別の設定を行った場合には、加熱調理器２１７は、利用者が行った設定の動作を開始する。その後、ステップＳｔ３６２へ進む。
（ステップＳｔ３６２）加熱調理器２１７は、ステップＳｔ３５８で行った設定の動作を行っていることを示す報知（第５発光）を行う。つまり、第５発光は、動作中であることを表し、加熱調理器２１７の発光部Ｌ４３に、第４発光とは異なる画像、例えば、火や炎が回転するように画像を表示させるものである。その後、ステップＳｔ３６３へ進む。
（ステップＳｔ３６３）加熱調理器２１７は、動作を開始したことを示す情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３６４へ進む。

（ステップＳｔ３６４）加熱調理器２１７は、ステップＳｔ３６１で開始した動作を完了する。なお、加熱調理器２１７は、利用者が加熱調理器２１７の扉を開けた場合、加熱調理器２１７が動作完了を検知した場合、設定時間を経過した場合等に、動作を完了する。その後、ステップＳｔ３６５へ進む。
（ステップＳｔ３６５）加熱調理器２１７は、動作を完了したことを示す報知（第６発光）を行う。つまり、第６発光は、例えば、第４発光とも第５発光ともとは異なる画像を表示させるものである。その後、ステップＳｔ３６６へ進む。
（ステップＳｔ３６６）加熱調理器２１７は、ステップＳｔ３６１で開始した動作が完了したことを示す情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３６７及びＳｔ３６８へ進む。
（ステップＳｔ３６７）加熱調理器２１７は、庫内の食材が取り出させるのを待つ。
（ステップＳｔ３６８）制御装置Ｍ１は、レシピシナリオに従って、ステップＳｔ３６１で開始した動作が完了したことを示す報知情報を生成する。その後、ステップＳｔ３６９へ進む。
（ステップＳｔ３６９）制御装置Ｍ１は、ステップＳｔ３６８で生成した報知情報を、通信機器２１９へ送信する。その後、ステップＳｔ３７０へ進む。
（ステップＳｔ３７０）通信機器２１９は、ステップＳｔ３６９で送信された報知情報に基づいて、報知（発音・発光）を行う。その後、ステップＳｔ３８０へ進む。
なお、通信機器２１９は、加熱調理器２１７から報知情報を受信して、報知を行っても良い。この場合、加熱調理器２１７は、ステップＳｔ３６６に代えて、ステップＳｔ３６１で開始した動作が完了したことを示す報知情報を生成し、通信機器２１９へ送信する。

（ステップＳｔ３８０）利用者は、加熱調理器２１７に、加熱調理器２１７の庫内の食材（加熱された料理。「野菜グラタン」）を取り出す。その後、ステップＳｔ３８１へ進む。
（ステップＳｔ３８１）加熱調理器２１７は、庫内の食材が取り出されたことを検出する。その後、ステップＳｔ３８２へ進む。
（ステップＳｔ３８２）加熱調理器２１７は、庫内の食材が取り出されたことを示す情報を、制御装置Ｍ１へ送信する。その後、ステップＳｔ３８３へ進む。
（ステップＳｔ３８３）制御装置Ｍ１は、加熱調理器２１７による調理が終了したと判定する。その後、ステップＳｔ３８４へ進む。
（ステップＳｔ３８４）制御装置Ｍ１は、レシピシナリオに従って、ステップＳｔ３６５の第６発光についての消灯を指示する報知情報を生成する。その後、ステップＳｔ３８５へ進む。
（ステップＳｔ３８５）制御装置Ｍ１は、ステップＳｔ３８４で生成した報知情報を、加熱調理器２１７へ送信する。その後、ステップＳｔ３８６及びステップＳｔ３８７へ進む。
（ステップＳｔ３８６）加熱調理器２１７は、ステップＳｔ３８５で送信された報知情報に基づいて、ステップＳｔ３６５の第６発光を消灯する。なお、加熱調理器２１７は、Ｓｔ３８１の後、自動で消灯しても良い。

（ステップＳｔ３８７）制御装置Ｍ１は、レシピシナリオに従って、調理者（子供Ｈ３）が調理を終了したことを示すメッセージを生成する。なお、このメッセージには、調理者、及び、調理を終了したこと等が含まれても良い。その後、ステップＳｔ３８８へ進む。
（ステップＳｔ３８８）制御装置Ｍ１は、ステップＳｔ３８７で生成したメッセージを、外部装置へ、送信する。ここで、連絡先は、予め定められた宛先であり、例えば、母親Ｈ２のメールアドレス等である。その後、ステップＳｔ３８９へ進む。
（ステップＳｔ３８９）外部装置は、ステップＳｔ３８８のメッセージを受信する。これにより、例えば母親Ｈ２は、無事に調理が終了したことを、知ることができる。つまり、制御システム１は、「安心」を伝えることができる。その後、ステップＳｔ３９０へ進む。
（ステップＳｔ３９０）制御装置Ｍ１は、レシピシナリオが全て終了したと判定する。

なお、上記各実施形態において、制御装置Ｍ１は、各機器Ｕ１‐ｎがある場所として、部屋を基準として管理を行う場合について説明した（図１４）。この部屋に代えて、又は加えて、車内を用いても良い。つまり、例えば、機器Ｕ１‐ｎが、特定の車（利用者が乗っている車）の車内にあることに基づいて、自発動作情報や報知情報を送信しても良い。また、制御装置Ｍ１は、家やビル等を基準として管理を行っても良いし、部屋よりも細かい位置情報に基づいて管理を行っても良い。この場合に、制御装置Ｍ１は、検出を行った機器Ｕ１‐ｎとの相対的な位置関係において、対象機器（動作を行う機器Ｕ１‐ｎ）を決定しても良い。

なお、上述した実施形態における機器Ｕ１‐ｎ、制御装置Ｍ１、情報処理装置Ｓ１の一部は、別の機器及び装置に備えられても良い。例えば、制御装置Ｍ１の制御部Ｍ１１、記憶部Ｍ１２、及び通信部Ｍ１３は、機器Ｕ１‐ｎに備えられても良い。また、機器Ｕ１‐ｎと制御装置Ｍ１の各部は、定期又は不定期に、プログラムやデータを同期しても良い。

なお、上述した実施形態における機器Ｕ１‐ｎ、制御装置Ｍ１、情報処理装置Ｓ１の一部をコンピュ‐タで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、機器Ｕ１‐ｎ、制御装置Ｍ１、及び情報処理装置Ｓ１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ‐ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における機器Ｕ１‐ｎ、制御装置Ｍ１、及び情報処理装置Ｓ１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。機器Ｕ１‐ｎ、制御装置Ｍ１、及び情報処理装置Ｓ１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１・・・制御システム、２１０、２２０・・・家、２３０・・・医療機関サーバ、２４０・・・自治体サーバ、２５０・・・事業者サーバ、２１９、２１９‐１、２１９‐２、２１９‐３、２２９、２６０、２７０、・・・通信機器、２８０・・・自動車、３０・・・インターネット、２１１、２２１・・・ロボット、２２２・・・ルーター、２１３、２２３・・・冷蔵庫、２１４、２２４・・・照明、２１５、２２５・・・テレビ、２１６、２２６・・・エアコン、２１７・・・加熱調理器、２１８・・・空気清浄器、２２７・・・掃除機、２２８・・・スマートミラー、Ｕ１‐ｎ・・・機器、Ｓ１・・・情報処理装置、Ｍ１・・・制御装置、Ｕ１１‐ｎ・・・センサ部、Ｕ１２‐ｎ・・・動作部、Ｕ１３‐ｎ・・・入出力部、Ｕ１４‐ｎ・・・制御部、Ｕ１５‐ｎ・・・記憶部、Ｕ１６‐ｎ・・・通信部、Ｓ１１・・・制御部、Ｓ１２・・・記憶部、Ｓ１３・・・通信部、Ｍ１１・・・制御部、Ｍ１２・・・記憶部、Ｍ１３・・・通信部、Ｌ１１〜Ｌ１６、Ｌ２１、Ｌ３１、Ｌ４１〜Ｌ４３、Ｌ５１、Ｌ６１、Ｌ７１、Ｌ７２・・・発光部、Ｕ１１１‐ｎ・・・動作制御用センサ部、Ｕ１１２‐ｎ・・・環境検出用センサ部、Ｕ１３１‐ｎ・・・入力部、Ｕ１３２‐ｎ・・・表示部、Ｕ１３２‐ｎ・・・発光部、Ｕ１３３‐ｎ・・・音出力部、Ｕ１４１‐ｎ・・・全体制御部、Ｕ１４２‐ｎ・・・動作制御部、Ｕ１４３‐ｎ・・・出力制御部、Ｕ１５１‐ｎ・・・機器制御情報記憶部、Ｕ１５２‐ｎ・・・情報記憶部、及び登録情報記憶部Ｕ１５３‐ｎ、Ｓ１１１・・・サービス情報取得部、Ｓ１１２・・・情報対応部、Ｓ１２１・・・取得先情報記憶部、Ｓ１２２・・・対応情報記憶部、Ｓ１２３・・・取得履歴記憶部、Ｍ１１１・・・情報取得部、Ｍ１１２・・・解析部、Ｍ１１３・・・出力決定部、Ｍ１１４・・・シーケンス制御部、Ｍ１１５・・・シーケンス更新部、Ｍ１２１・・・情報記憶部、Ｍ１２２・・・シーケンス記憶部、Ｍ１２３・・・報知情報記憶部、Ｍ１２４・・・履歴記憶部

Claims (6)

1. 各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶する記憶部と、
   前記少なくとも２つの情報を取得する情報取得部と、
   前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する決定部と、
   前記決定部が決定した自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力部と、
   を備え、
   前記自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含み、
   前記記憶部は、前記少なくとも２つの情報と、複数の前記機器の識別情報と、を対応付けた対応情報を記憶し、
   前記決定部は、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、複数の機器の識別情報を決定し、
   前記決定部が決定した複数の識別情報が示す機器各々の出力部は、それぞれ異なる報知を行う制御システム。
2. 利用者からの指示を入力する指示入力部と、
   前記出力部が前記報知を行った後に、前記指示入力部に入力された指示に基づいて、前記対応情報を変更する更新部と、
   を備える請求項１に記載の制御システム。
3. 動作を行う対象機器に対して、当該対象機器についての前記対応情報を送信する通信部を備え、
   前記対象機器は、前記決定部を備え、
   前記決定部は、通信部が送信した前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する請求項１又は２に記載の制御システム。
4. 各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得部と、
   前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、自発動作情報を決定する決定部と、
   を備え、
   前記自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含み、
   前記記憶部は、前記少なくとも２つの情報と、複数の前記機器の識別情報と、を対応付けた対応情報を記憶し、
   前記決定部は、前記対応情報と前記情報取得部が取得した少なくとも２つの情報に基づいて、複数の機器の識別情報を決定し、
   前記決定部が決定した複数の識別情報が示す機器各々の出力部は、それぞれ異なる報知を行う動作決定装置。
5. 情報取得部が、各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得ステップと、
   決定部が、前記対応情報と前記情報取得ステップで取得された少なくとも２つの情報に基づいて、自発動作情報を決定する決定ステップと、
   出力部が、前記決定ステップで決定された自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力ステップと、
   を有し、
   前記自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含み、
   前記記憶部は、前記少なくとも２つの情報と、複数の前記機器の識別情報と、を対応付けた対応情報を記憶し、
   前記決定ステップで、前記対応情報と前記情報取得ステップで取得された少なくとも２つの情報に基づいて、複数の機器の識別情報を決定し、
   前記出力ステップで、前記決定ステップで決定された複数の識別情報が示す機器各々の出力部は、それぞれ異なる報知を行う制御方法。
6. 制御システムが具備する一又は複数の装置のコンピュータに、
   各機器が検出した環境情報、人情報、機器情報、又は、外部装置が提供する外部情報のうちの少なくとも２つの情報と、機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含む自発動作情報と、を対応付けた対応情報を記憶部から読み出し、前記少なくとも２つの情報を取得する情報取得手順、
   前記対応情報と前記情報取得手順で取得された少なくとも２つの情報に基づいて、自発動作情報を決定する決定手順、
   出力部が、前記決定手順で決定された自発動作情報に基づいて、前記報知情報に応じて、前記動作情報に基づく動作に対応する報知であって音、光、又は画像による報知を行う出力手順、
   を実行させ、
   前記自発動作情報は、機器の識別情報、当該機器の動作情報、及び当該機器の音、光、又は画像による報知を示す報知情報を含み、
   前記記憶部は、前記少なくとも２つの情報と、複数の前記機器の識別情報と、を対応付けた対応情報を記憶し、
   前記決定手順で、前記対応情報と前記情報取得手順で取得された少なくとも２つの情報に基づいて、複数の機器の識別情報を決定し、
   前記出力手順で、前記決定手順で決定された複数の識別情報が示す機器各々の出力部は、それぞれ異なる報知を行うための制御プログラム。

Images