JP7319868B2 - 環境構築サポートシステム - Google Patents

Description

本開示は環境構築サポートシステムに関し、例えば家電を用いた、ユーザーの嗜好及びユーザーの健康状態に配慮した環境を構築する環境構築サポートシステムに適用可能である。

家電は、一般家庭に広く浸透し、人々の生活を大きく変化させてきた。例えば、冷蔵庫や洗濯機などの白物家電は家事の効率を大幅に向上させ、テレビやステレオなどの映像音響機器は新しい娯楽を提供してきた。これら複数の家電とサーバーとにより家電システムを構成したり（例えば、特開２００２－３１５０７９号公報）、複数の家電をネットワークで接続して家電システムを構成したりすることが提案されている（例えば、特開２０１５－１８４５６３号公報）。また、昨今の家電システムには、機械学習を組み込んだものも出てきており、効率的な機械学習を行う学習装置も提案されている。（例えば、特開２０１５－１１５５３２号公報）。

特開２００２－３１５０７９号公報 特開２０１５－１８４５６３号公報 特開２０１５－１１５５３２号公報

ユーザーの日常生活における活動をサポートする機能を持つ装置（例えば、家電、住宅設備品、車載装置）を用いて、ユーザーの嗜好及び健康状態に配慮した環境を構築する場合、ユーザーが個別に使用している環境では、備え付けられている装置を使用するのは当該ユーザーのみである場合が多く、装置の操作履歴を蓄積することにより、ユーザーの嗜好に応じた装置の設定が可能になる。また、装置がセンシングする対象は当該ユーザーであり、取得したセンシングデータにより、ユーザーの健康状態を推測し、健康状態に応じた装置の設定が可能となる。一方、複数のユーザーが共用する環境、例えば、自宅のリビング、会社の会議室の場合、各ユーザーをセンシングする時間が短い、各ユーザーにとって適した設定を決定するための処理が複雑になる、等の理由により、ユーザーの嗜好及び健康状態に配慮した環境の構築が非常に困難である。

実施の形態の課題は、複数のユーザーが共用する環境において、複数のユーザーの嗜好に応じた環境及び各ユーザーの健康状態に配慮した環境の構築をサポートすることである。その他の課題と新規な特徴は、本開示の記述及び添付図面から明らかになるであろう。

本開示のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。すなわち、環境構築サポートは、日常生活空間に備え付けられた家電に対する操作や設定に基づいてユーザーの嗜好を推論して抽象化し、抽象化されたデータに基づいて家電がユーザーの嗜好に応じた設定を行う。また、家電のセンサーによりセンシングされたセンシングデータに基づいてユーザーの健康状態を推論して抽象化し、抽象化されたデータに基づいてユーザーの健康に配慮した設定を行う。

上記環境構築サポートシステムによれば、ユーザーの嗜好及び健康状態に応じた環境を構築することができる。

図１は、日常生活空間の家電構成例を示す図である。 図２は、個室の家電制御動作のシステム構成例を示す図である。 図３は、センシングデータから制御データを推論する流れを示す図である。 図４は、共用空間における転移学習を示す図である。 図５は、共用空間から個別空間へのフィードバックのフローである。 図６は、共用空間における転移学習を示す図である。 図７は、共用空間における家電制御の例を示す表である。 図８は、風邪レベルの抽象化に機械学習を適用した制御フローである。 図９は、お腹の調子レベルの抽象化に機械学習を適用した制御フローを示す図である。 図１０は、学習済データにより会議室を共用する場合の構成例を示す図である。 図１１は、共用空間が会議室における会議前の推論処理のフローチャートである。 図１２は、標準データ例を示す図である。 図１３は、転移学習のフローチャートである。 図１４は、共用空間が会議室における会議当日の推論処理のフローチャートである。 図１５は、共用空間で転移学習結果を行う一部結果が異なる場合のデータフローを示す図である。

以下、実施形態について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

[実施の形態１]
以下、実施の形態１について説明する。図１に日常生活空間の家電構成例を示す。日常生活空間１００は、例えば、自宅としての家屋や集合住宅等の居住空間であり、リビング１０１および個室１０２のように複数の部屋を有する構成である。個室１０２、１０３は個人または少人数が利用する居住空間であり、例えば子供部屋、夫婦の寝室、祖父母の寝室として利用される。一方、リビング１０１は世帯全員が利用する共用空間である。環境構築サポートシステムは、以下に説明するサーバー、センシング装置としてのセンシング家電、アクチュエータ装置としてのアクチュエータ家電等により構成される。

リビング１０１に設置された機器としての家電を制御するために設けられたサーバー１０１１は、家電制御部１０１２、機械学習部１０１３及び記憶部としてのデータベース１０１４を有している。機械学習部１０１３は、リビング１０１に設置された家電によりセンシングされたデータ、及びデータベース１０１４に格納された情報に基づいてユーザーの嗜好や健康状態を学習すると共に、随時センシングしたデータからユーザーの嗜好や健康状態を推論して快適な共用空間を作り出す制御データを生成する。家電制御部１０１２は、生成された制御データに基づいて家電を制御するための情報を各家電に送信する。

さらに、サーバー１０１１、１０２１、１０３１及び各個室に設置された家電は送受信部（図２参照）を有しており、通信インターフェースにより、ホームネットワーク（不図示）を介して相互にデータの送受信を行う。

リビング１０１や個室１０２、１０３、及び共用部１０５に設置されている家電は、センシング家電とアクチュエータ家電に大別される。センシング家電は、各家電に内蔵されたセンサー（図２参照）により取得されたセンシングデータを外部に送信部を介してデータ送信する機能を有する、家電である。また、実施の形態１では、トイレおよびベッド（不図示）が該当し、体温、脈拍、心拍、声の調子、咳の回数等の生体情報をセンシングデータとして取得し、サーバーに送信する。または、各家電にて取得したセンシングデータから健康状態を抽象化し、抽象化データをサーバーに送信するようにしてもよい。

アクチュエータ家電は、外部より制御を行うことで機器動作や情報表示する機能を有する、受動的な動作を行う家電である。実施の形態１では、アクチュエータ家電は、サーバーより受信部を介して制御データ（指示データ、設定情報）を受信し、アクチュエータ家電の動作制御部は制御データに応じた設定を行い、動作を変更する。例えば、照明や、ＴＶ（テレビジョン）が該当し、サーバーより受信したユーザーの健康状態に応じて、例えば、ユーザーが疲労している場合は照明を通常より暗くする、ＴＶの音量を小さくするといった、動作を提案する。

個室１０２および個室１０３も同様にそれぞれサーバー１０２１、１０３１、アクチュエータ家電及びセンシング家電（あるいは両方の機能を備える家電）が設置されており、リビング１０１に設置された設備と同様の動作を行う。サーバー１０２１、１０３１は、それぞれサーバー１０１１と同様に、家電制御部１０２２、１０３２、機械学習部１０２３、１０３３およびデータベースを備える。ただし、各個室に設置されているサーバー１０２１、１０３１は個人の嗜好や健康状態の情報を扱い、また個人に応じた制御データを提供するものである。リビング１０１に設置されたサーバー１０１１は各個室のサーバーから送信されてきた情報を自身のデータベースに格納する上位の機能を有するサーバーである。サーバー１０１１は日常生活空間１００に居住するユーザー全員の情報を入力とし、家電制御部１０１２によりリビング１０１に居るユーザー全員が快適と感じる制御データや抽象化された健康情報を出力してリビング１０１にあるアクチュエータ家電を制御することができる。

図２は個室１０２の家電制御のシステム構成である。サーバー１０２１は、マイクロコンピュータ（以下、ＭＣＵ）（不図示）を内蔵しており、家電制御部１０２２、機械学習部１０２３、記憶部としてのデータベース１０２４を最小構成とする。家電制御部１０２２及び機械学習部１０２３は、ハードウェアもしくはソフトウェアにより構成されている。サーバー１０２１はセンシングデータや個人情報から機械学習により制御データの推論を行うことから、ＭＰＵや専用プロセッサを用いることも可能である。各家電とサーバー間のデータ送受信は内蔵する送受信部の通信インターフェースによりホームネットワークを介して行うことを想定しているが、携帯可能な不揮発性メモリでデータの受け渡しを行うことも可能である。センシング家電かつアクチュエータ家電であるエアー・コンディショナー（以下、エアコン）１０２５は、個室１０２の温度や湿度、ユーザーの体温等の生体情報をセンシングするセンサーを少なくとも一つ有している。エアコン１０２５は、センシングしたデータをサーバー１０２１に送受信部を介して送信し、サーバー１０２１は受信したデータをデータベース１０２４に格納する。

機械学習部１０２３はエアコン１０２５から送信されたセンシングデータ（センサー情報）とリモコンにより設定された現在の家電設定情報（設定情報）の状態を観測する状態観測部１０２３３と、状態観測結果（センサー情報及び設定情報）と外的要因による家電設定変更情報（設定情報）とを比較し現在の設定が一致しているかを判定し、判定結果に応じて最適動作設定を演算する学習部１０２３２と、学習部１０２３２の結果に応じてどのような制御を実施するかを決定する制御決定部１０２３１と、を最小構成として有している。さらに、学習部１０２３２は、状態観測結果と外的要因による家電設定変更情報とを比較し、現在の設定が一致しているかどうかを判定する報酬計算部と、報酬計算結果により一致しない場合に再度最適動作設定を演算するための関数更新部を有している。センシングデータ、家電設定情報および制御データはデータベース１０２４に格納される。

学習部１０２３２は、実現手法として一般的に用いられるＣＮＮ（Convolution Neural Network）やＲＮＮ（Recurrent Neural Network）のようなニューラルネットワーク（以降、ＮＮと表記）の学習モデル（あらかじめ用意されている標準的なモデル）を使用して機械学習を行い、その結果を学習済モデルとしてデータベース１０２４に格納する。

センシング家電は、機械学習部を内蔵して、センシング結果から自身で機械学習を行いユーザーに最適な制御データを推論し、推論した結果をサーバー１０２１へ送信するようにしてもよい。これにより、センシング家電はアクチェータ家電の制御を行うこともできる。

アクチュエータ家電はモーターのような制御データにより受動的に動作するアクチュエータを少なくとも一つ、自身を制御するためのＭＣＵを少なくとも一つ有する構成である。アクチュエータ家電はサーバー１０２１より制御データを受信して自身の制御を行う。アクチュエータ家電は、機械学習部を内蔵して、サーバー１０２１より受信したユーザーに最適な制御データを推論するための抽象化データに基づいて機械学習を行い、最適な動作設定に変更するようにしてもよい。

個別空間において、個人の健康状態を示す健康情報を抽象化した抽象化データを作成する。図２に基づいて、個室１０２に設置された家電を例に動作を説明する。ここでは、センシング家電及びアクチュエータ家電両方の機能を有するエアコン１０２５を使用する例で説明する。個室１０３についても同様の動作を行うものとする。エアコン１０２５が自身を制御する制御データを収集する。制御データの例としては、電源のオン／オフ、機器使用のコース設定、センサーへの接触等がある。収集された制御データは不図示のホームネットワークを通じてサーバー１０２１に格納される。サーバー１０２１の機械学習部１０２３は格納された制御データを推論し、ユーザーの健康状態を抽象化した抽象化データ（抽象化情報）を生成し、データベース１０２４に格納する。例えば、室内温度や炊飯器の調理設定など長期間同じ使い方であれば健康状態は良好のように記録する。一方、平常時と異なる使い方や設定を一定期間検知すると健康状態に問題があると判定し、ストレス状態や風邪のような症状や、症状の度合いを抽象化した抽象化データを格納する。なお、抽象化データはエアコン１０２５で生成し、サーバー１０２１に送信するようにしてもよい。

図３は、ＮＮの学習モデルを使って、センシングデータから制御データを推論する流れを示すものである。ＮＮは入力層、隠れ層、出力層といった層を有しており、各層は複数のノードが結ばれる構造となっている。具体的には、入力層におけるノードはセンシングデータであるセンサー１～ｎ、出力層におけるノードは制御データである制御設定１～ｎとなる。センシングデータから隠れ層で多段の計算を行うことにより、制御データである制御設定を出力する。

次に、個室１０２では、サーバー１０２１の機械学習部１０２３が、データベース１０２４に格納された抽象化データに基づいて、ユーザーの健康状態に応じた制御データを推論し、エアコン１０２５に制御データを送信して自動制御を行ったり、情報表示を行ったりする。実施の形態１ではサーバー１０２１により制御データを生成し家電を制御する方法を記述したが、データベース１０２４に格納された抽象化データを直接家電に送信し、各家電が抽象化データに応じて自動制御を行ったり、情報提供を行ったりする構成としてもよい。

各個室のサーバー１０２１及び１０３１は自身のデータベース１０２４及び１０３４に格納されている抽象化データとユーザーを特定する個人データとを含むユーザーデータをリビング１０１に設置されたサーバー１０１１に送信する。送信されるデータは、抽象化データ、図３で制御データの推論に使用したＮＮの隠れ層、あるいは両方を含むデータであってもよい。

共用空間では、サーバー１０１１は送信されてきた各個人の抽象化データから共用空間にある家電の快適設定を再学習し、推論を行う。サーバー１０１１の機械学習部１０１３は抽象化データを入力として共用空間であるリビング１０１に居るユーザー全員が快適と感じる制御データを出力し、リビング１０１内の各家電に送信する。また、抽象化データと既存の学習結果とにより再学習を行い、ユーザーが快適と感じる制御データの精度を向上させていく。

図４は、個人の抽象化データを共用空間のサーバー１０１１へ送信し、機械学習部１０１３により転移学習を行う図である。転移学習は、学習サンプルの収集環境とは異なる環境から得られた検出対象のサンプルを事前に学習し、事前学習により得られた検出対象の特徴を、学習サンプルの学習結果に適用（転移）する手法である。この手法は学習サンプルの数を抑制することができるため、識別用特徴データを生成するためのコストを低減することができるといったメリットを有している。個別空間のユーザーと共用空間を使用するユーザーが一致していることを前提とし、共用空間のセンシングデータは個別空間と同種センシングデータを入力させることができる。

図５は、共用空間から個別空間へのフィードバックのフローである。個別空間のデータベース１０２４及び１０３４に格納されている抽象化データ及び学習済モデルはサーバー１０１１へ送信され、転移学習により、共用空間のＮＮの隠れ層の一部として組み込まれる。サーバー１０１１の機械学習部１０１３はリビング１０１に設置されたセンシング家電から得た情報を入力として、共用空間に居る者が快適と感じる家電設定を推論し、各家電に制御データを送信する。共用空間に居るユーザーが設定を変更した場合は、変更内容をサーバー１０１１に格納する。機械学習部１０１３は定期的に設定変更の有無を観測し、ある一定期間ユーザーによる設定変更が観測されない場合、設定が改善されたものと判定して再学習を行い、結果を各ユーザーの個室のサーバーへ送信する。

一方、各個室での機械学習が不十分であると、ユーザーが快適と感じる家電設定から乖離する場合がある。このような場合ユーザーは自身で家電設定を変更するが、機械学習部１０１３はこの設定変更を観測すると、設定が不適切であると判定し再学習を行う。再学習の結果を各ユーザーの個室のサーバーへ送信する。

実施の形態１によれば、共用空間では、個別空間で十分な学習の結果得られたセンシングデータを使用して転移学習を行うため、共用空間に居るユーザーにとって最適な家電設定が可能となる。

[実施の形態２]
以下、実施の形態２について説明する。実施の形態２は、健康状態不良者やユーザーの特性により家電制御を行うものである。

実施の形態１に係る環境構築サポートシステムと同一の構成要素については、同一の符号を付して、その説明を省略する。実施の形態２における日常生活空間は実施の形態１にける日常生活空間１００に対して、さらに個室１０４を有する。

共用空間に風邪等により体調の悪い者、あるいは子供や年配者がいる場合、それらの者を優先するような家電設定を行うため、重み付けやバイアスを付加することができる。図６に示す通り、重み付けやバイアスの初期値はユーザーが状況により判定しあらかじめ設定しておく。優先すべきユーザーの個別空間で学習させるデータは重み付けやバイアスを付加して、リビング１０１のサーバー１０１１へ送信され、他の個別空間で学習させたデータと組み合わせて、転移学習を行う。再学習結果を共用空間のアクチュエータ家電に制御データとして送信される。共用空間に居るユーザーが制御データを変更した場合は、変更内容をサーバー１０１１に格納する。機械学習部１０１３は定期的に設定変更の有無を観測し、ある一定期間ユーザーによる設定変更が観測されない場合、設定が改善されたものと判定して再学習を行う。再学習結果を基づき各ユーザーへの重み付けたバイアスを更新し、結果を各ユーザーの個室のサーバーへ送信する。

重み付け及びバイアスの設定は、例えば、個室１０３のユーザーが年配者であった場合、所定の年齢以上の年配者に対しては、重み付けｗ１とし、風邪をひいているユーザーに対しては重み付けｗ２及びバイアスｂ１の設定をするものとする。その他のユーザーの重み付けは、１．０とする。このようなデータを機械学習部に入力することにより、健康状態不良のユーザーやユ年齢等のユーザー特性により家電動作設定を偏らせることが可能になる。

図７は風邪レベルの抽象化データ作成のフローであり、以下の流れで作成を行う。各個室において、個人特定、認証処理が行われ、センシング家電が体温、発声データの生体情報を取得する。体温が平常時より高い、声がかすれている等、風邪状態であることが検知された場合、重み付けやバイアスの付加するような体調履歴データの前処理を行った後、各個室のサーバーにおいて、機械学習部が取得された生体情報から風邪レベルの抽象化を行う。風邪レベルの推論の結果、風邪レベル０から４までの５種類の風邪レベルに分類して出力する。風邪レベル０は平常状態であり、数字が大きくなるほど風邪が重症である。ここでは、風邪レベルを５種類としたが、発声データに基づき、鼻かぜや喉の痛みといった別の風邪レベルを出力してもよい。抽象化された風邪レベルのデータは、各個室のサーバーに格納される。

各個室の学習済モデルを利用して、共用空間の学習済モデルに転移学習する。個室１０２の学習済モデルがユーザーの健康状態変化により更新されると、学習済モデル及び抽象化データがリビング１０１のサーバー１０１１に送信され、格納されている学習済モデルに最新の健康状態が組み込まれる。

風邪レベルの抽象化が行われ、その結果に応じてエアコン１０２５の設定が行われる。例えば、図８に示すように、抽象化レベルが「風邪レベル３」と判定された場合、エアコン１０２５の温度は通常よりも＋３℃で設定される。

実施の形態２によれば、症状が重い人や子供、年配者の重み付けを変更することで、病気の拡散や状況に応じた最適設定ができる。

[実施の形態３]
以下、実施の形態３について説明する。実施の形態３では、日常生活空間においてユーザー全員が利用する家電を共用家電とし、当該共用家電を使用した場合の個別空間及び共用空間の家電制御を行うものである。

実施の形態１に係る環境構築サポートシステムと同一の構成要素については、同一の符号を付して、その説明を省略する。

個室１０２のユーザーがセンシング家電であるトイレを使用した場合に、取得したセンシングデータに基づき個室１０２のサーバー１０２１の機械学習部１０２３が機械学習を行い、その学習済データを使用して転移学習が行われる。個室１０２のユーザーがトイレを使用すると、トイレに内蔵された、光センサーや圧力センサーといった各種センサーによりセンシングデータを取得するとともに、個人認証によりセンシングデータが誰のものであるか特定しユーザーを特定する個人データと紐づけを行う。ユーザーに紐づけられたセンシングデータは個室１０２のサーバー１０２１へ送信される。

サーバー１０２１の機械学習部１０２３は、センシングデータについて機械学習を行い、学習済モデルを更新し、個室１０２のユーザーの健康状態の推論の精度を向上させる。また、更新された学習済モデルとトイレのセンシングデータから当該個室ユーザーの抽象化されたお腹の健康状態を推論する。推論結果を基に家電制御部１０２２は個室１０２に設置されているアクチュエータ家電（例えば、エアコン）の制御データを生成し、ユーザーが快適と考える制御を行う。

更に、更新された個室１０２の学習済モデルはリビング１０１のサーバー１０１１に送信され、サーバー１０１１は、受信したデータに基づき転移学習を行い、最新の制御データを推論する。以上により、共用家電を通じて、個別空間及び共用空間のサーバー間で、学習済モデル及び抽象化された健康情報のやりとりが行われ、常に最新の健康情報に基づいて推論を行い、家電の制御を行うことができる。

例えば、共用部のトイレから個室１０２のユーザーがお腹の調子が悪いと判定すると、個室１０２のサーバー１０２１から健康状態不良者として優先するようにバイアスを変更した上で、リビング１０１のサーバー１０１１へ最新の学習済モデル及び抽象化データを送信する。サーバー１０１１は受信データ及びバイアスを用いて転移学習を実施し、個室１０２のユーザーが快適に過ごせるように、リビングのアクチュエータ家電の制御を行う。

図９はユーザーのお腹の調子レベルの抽象化データ作成のフローであり、以下の流れで作成を行う。ユーザーがトイレを使用すると、トイレに備えられたセンサー類が使用終了までセンシングを行う。トイレの使用状況データは一時格納され、一定期間（本例では一日）経過後、重み付けやバイアスを付加するような、体調履歴データの前処理を行った後、トイレに備えられた機械学習部（不図示）により入力データから抽象化された健康情報を出力する。本例で使用するトイレでは、下痢や便秘など５種類のお腹の健康状態（お腹の状態）を判別し抽象化健康情報として出力できるものとしている。当該ユーザーに紐づけられたデータは、当該ユーザーが利用する個室１０２のサーバー１０２１へ送信する。個室１０２のサーバーにある機械学習部１０２３は、トイレから送信されたセンシングデータにより、健康情報を抽象化した抽象化データを作成する。

お腹の健康状態レベルにより共用空間にあるアクチュエータ家電の動作を制御する。例えば、ユーザーの中に便秘レベル１と判定された者がいる場合、エアコンは足の冷えによる便秘解消、または悪化を防ぐためルーバーを下方向に向け、足元を温めるよう動作する。お腹の張りがあるユーザーがいる場合、冷蔵庫は野菜や果物のように食物繊維を摂取できる食材を音声ガイダンスで提案する。お腹の調子が悪い人がいる場合、炊飯器はいつもより柔らかめの炊きあがりを提案する。また非常にお腹の調子が悪いユーザーがいる場合は、今後他のユーザーの健康状態が悪化する可能性もあることから、お粥を提案する。

実施の形態３によれば、個室空間にあるセンシング家電で取得されたデータから健康状態抽象化データを作成する場合に機械学習を使用することで、センサーの種類が増えることにも容易に対応することができる。

[実施の形態４]
以下、実施の形態４について説明する。実施の形態４では、複数のユーザーが利用する会議室において、各ユーザーの健康状態や年齢等の情報を使用し、転移学習により会議室に設置されたアクチェエータ家電が最適な設定を行う。なお、会議室は各ユーザーの非日常生活空間である。

図１０は、学習済データにより会議室を共用する場合の構成例を示す図である。各ユーザーの日常生活空間にある学習済データを共用空間である会議室３００のサーバー３００１に送信する。共用空間のサーバー３００１は出席するユーザーの学習済データに基づき、会議室用の推論を行い、推論の結果出力された設定情報により、例えばアクチェエータ家電でありかつセンシング家電であるエアコン３００７の制御を行う。

３名のユーザーＡ～Ｃが各々の自宅である日常生活空間３０１～３０３で学習された推論データが、会議室３００のサーバー３００１に送信され、サーバー３００１が転移学習より共用空間に応じて推論を実施する。会議室３００のサーバー３００１は各出席者の学習済データを受信し、機械学習部３００３が受信したデータに応じて転移学習を行う。日常生活空間３０１～３０３は、実施の形態１の日常生活空間１００と同様なユーザーの生体情報を取得するセンシング家電および抽象化データに基づいて動作するアクチュエータ家電（あるいは両方の機能を備える家電）を備える。

会議室３００に配置されたエアコン３００７の動作を制御するために設けられたサーバー３００１の情報管理部３００５が会議の出席者の確認及び学習済データの収集を行う。具体的には、情報管理部３００５は、会議室３００で行われる会議に出席することになっている出席希望者（ユーザーＡ、Ｂ、Ｃ）に電子メールで招待状を送信し、出席希望者から返信された出欠回答に基づき、出席者名簿を確定する。出席希望者は、ユーザー自身のサーバー３０１１、３０２１、３０３１のデータベース３０１４、３０２４、３０３４に格納された学習済データを出欠回答の返信メールに添付して送信する。

図１１は、会議室３００における会議開催前に行う、推論処理のフローチャートである。サーバー３００１の情報管理部３００５は、出席者からの返信により出席者名簿を作成する。出席者名簿から以前会議室３００で開催される会議に出席したことがある登録済メンバーか、出席したことがない新メンバーであるかを判定する。新メンバーと判定された場合、会議用の新メンバーリストに追加する。

情報管理部３００５は、会議の出席者から招待状の返信と共に送信される最新の学習済データと保存されている学習済データと比較し、データが更新されている場合は、最新の学習済データをデータベース３００４に格納する。次に、登録済のメンバー全員に対して推論データの有無を判断する。推論データが存在しない場合は、機械学習部３００３が各メンバーの学習済データを読み出し、推論を行い、新たに作成した推論データをデータベース３００４に格納する。推論データが存在する場合、推論データをデータベース３００４から読み出し、新メンバーリストを確認する。新メンバーリストがない場合、読み出した推論データをそのまま流用して、家電制御部３００２が送受信部３００６を介して、会議室３００のエアコン３００７へ制御データを送信する。新メンバーが存在する場合、機械学習部３００３が推論データと登録済メンバーの保存データに基づき、推論を行い、新メンバーを含む会議出席者用に作成した推論データをデータベース３００４に格納する。

情報管理部３００５が出席者名簿から新メンバーを検出した場合、新メンバーの学習済データを新メンバーから受信し、データベース３００４に格納する。新メンバーが学習済データを持たない場合、出席者の条件に類似する標準データを割り当てて使用するようにし、データベース３００４に格納する。この場合はメンバー登録を実施しない。類似する標準データがない等、推論データが流用できないような場合、機械学習部３００３がデータベース３００４に格納されているデータから転移学習を実施し、学習後の推論データにより推論データを更新する。

図１２は、標準データの一例である。標準データは登録済のメンバーデータに基づいて統計分析を行うための嗜好条件を含むデータである。例えば、年齢３０～３９歳の九州出身の女性は、エアコンを使用する場合の最適な設定条件として「温度２４度、湿度５５％」が登録されている。標準データは、新メンバーが自身で学習済データを持たない場合に、登録済メンバーの学習済データを割り当てて使用するものである。条件は実際使用の状態により変更や追加可能である。

図１３は、転移学習のフローチャートである。サーバー３００１の機械学習部３００３が新メンバーについて学習を行う場合、最初に会議の出席者名簿を読み込む。新メンバーが個人の学習済データを提供している場合は当該学習済データから転移学習を行う。個人の学習済データが提供されていない場合、機械学習部３００３は標準データを使って、登録済メンバーの学習済データと共に転移学習を行う。学習結果はデータベース３００４に格納する。

図１４は、会議室における会議当日の推論処理のフローチャートである。あらかじめ会議室３００に設置されているカメラやマイクロホンにより収集された出席者の画像情報や音声情報から、サーバー３００１の情報管理部３００５は、顔認識や声紋認識等の認識技術により、会議室３００に入室したユーザーの識別を行う。出席者名簿に含まれないユーザーを検出した場合、情報管理部３００５は出席者名簿の更新を実施する。出席者名簿を更新しない場合、情報管理部３００５は招待状の返信結果に基づき事前に実施した推論データを読み出し、センシングデータと組み合わせて家電制御部３００３に送信する。家電制御部３００３は、出席者が快適と感じる制御設定を送受信部３００６を介してエアコン３００７に送信する。出席者名簿が更新された場合、機械学習部３００３は新メンバーの学習済データをデータベース３００４から読み出し、推論と再学習を行う。学習済データが格納されていない場合は、機械学習部３００３は標準データを代わりに使って再学習を行う。

図１５は、会議室３００について転移学習結果を行った結果が実際の家電制御と異なる場合を示す。共用空間のセンシングデータ及びユーザーの学習済モデルが、個別空間の学習済データより多くの推論結果を出力する可能性がある。共用空間の実際使用状況また部屋の広さ等客観的な条件で、一部出力のみ使用することができる。例として、転移学習によるユーザーの日常生活空間のリビングと重なる出力「冷房＋４」は、会議室３００では多数のメンバーが使用することを考えると各メンバーにとって快適と感じる温度設定にならない場合もあり、そのような場合には、代わりに会議室専用の制御出力を行う推論結果（送風および加湿）を使用する。

実施の形態４によれば、会議室等共用空間を使用するユーザーは、自ら事前に申請し、個別空間で推論して得られた結果を共用空間における推論システム(サーバー等)に送付することにより、共用空間においても各ユーザーが快適と考える空間を提供することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は、上記実施の形態に限定されるものではなく、種々変更可能であることはいうまでもない。

１００・・・日常生活空間（自宅）
１０１・・・リビング（共用空間）
１０２～１０４・・・個室（個別空間）
１０５・・・共用部
１０１１、１０２１、１０３１・・・サーバー
１０１２、１０２２、１０３２・・・家電制御部
１０１３、１０２３、１０３３・・・機械学習部
３００・・・会議室（共用空間）
３０１～３０３・・・日常生活空間（自宅）
３００１、３０１１、３０２１、３０３１・・・サーバー
３００２、３０１２、３０２２、３０３２・・・家電制御部
３００３、３０１３、３０２３、３０３３・・・機械学習部

Claims (6)

1. 個人が利用する個室と、世帯全員が利用するリビングと、を備える居住空間の環境構築サポートシステムであって、
   前記個室および前記リビングは、それぞれ、ネットワークに接続される、サーバーと、センシング装置と、アクチュエータ装置と、を備え、
   前記センシング装置は、ユーザーの生体情報を検知するセンサーと、前記センサーが検知したセンサー情報を前記サーバーに送信する送信部とを有し、
   前記アクチュエータ装置は、前記サーバーからの指示データおよびリモコンからの設定情報を受信する受信部と、前記指示データおよび前記設定情報に基づき設定を行って動作を変更する動作制御部と、を有し、
   前記サーバーは、
   前記センサー情報および前記設定情報を入力とし、あらかじめ登録されている学習モデルに基づく演算を行い、前記アクチュエータ装置を制御する制御データを出力する機械学習部と、
   前記制御データに基づいて前記アクチュエータ装置に前記指示データを送信する制御部と、
   記憶部と、
   を有し、
   前記個室の前記サーバーの前記機械学習部は、当該個室の前記センシング装置が検知した前記センサー情報および前記設定情報に基づいて、当該個室のユーザーの健康状態を推論して抽象化した抽象化データを生成し、前記記憶部に前記抽象化データを格納し、
   前記個室の前記サーバーは、少なくとも前記記憶部に格納された前記抽象化データを前記リビングの前記サーバーに送信し、
   前記リビングの前記サーバーは、前記個室の前記サーバーから送信されてきた前記抽象化データから前記リビングの前記アクチュエータ装置の快適設定を再学習し、推論を行う環境構築サポートシステム。
2. 前記リビングの前記サーバーの前記機械学習部はユーザー全員が快適と感じる制御データを出力し、前記リビング内の前記アクチュエータ装置に送信する、請求項１記載の環境構築サポートシステム。
3. 前記個室は前記センシング装置としてのベッドと、前記アクチュエータ装置としての照明と、前記センシング装置および前記アクチュエータ装置としてのエアコンを備え、
   前記リビングは、前記アクチュエータ装置としての照明およびテレビジョンと、前記センシング装置および前記アクチュエータ装置としてのエアコンを備える、請求項１記載の環境構築サポートシステム。
4. 前記センサー情報は、前記個室の前記センシング装置が取得した前記個室の前記ユーザーの体温及び発声データであり、
   前記抽象化データは、取得した前記センサー情報に基づいて、平常状態を含む複数の風邪レベルにレベル分けされたデータである、請求項１記載の環境構築サポートシステム。
5. 前記居住空間は、さらに、トイレを備え、
   前記トイレは、ユーザーの生体情報を検知するセンサーと、前記センサーが検知したセンサー情報を前記個室の前記サーバーに送信する送信部とを有し、
   前記トイレは、個人認証によって前記センサー情報がどのユーザーのものであるか特定し、特定されたユーザーに対応する個室の前記サーバーに送信し、
   当該個室の前記サーバーの前記機械学習部は、前記センサー情報に基づいて、当該個室のユーザーの健康状態を推論して抽象化した抽象化データを生成し、
   前記抽象化データは、前記ユーザーのお腹の調子を平常状態を含む、複数のお腹の状態レベルにレベル分けされたデータである、請求項１記載の環境構築サポートシステム。
6. 前記個室の前記サーバーは、当該個室の前記アクチュエータ装置を制御すると共に、前記抽象化データを前記リビングの前記サーバーに送信する、請求項５記載の環境構築サポートシステム。

Images