JP7461763B2 - Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system - Google Patents
Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system Download PDFInfo
- Publication number
- JP7461763B2 JP7461763B2 JP2020047232A JP2020047232A JP7461763B2 JP 7461763 B2 JP7461763 B2 JP 7461763B2 JP 2020047232 A JP2020047232 A JP 2020047232A JP 2020047232 A JP2020047232 A JP 2020047232A JP 7461763 B2 JP7461763 B2 JP 7461763B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- model
- machine learning
- models
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 50
- 238000012545 processing Methods 0.000 title claims description 23
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 53
- 230000000694 effects Effects 0.000 claims description 30
- 238000012935 Averaging Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 44
- 230000008859 change Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 21
- 238000000605 extraction Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
特許法第３０条第２項適用 ２０１９年１０月２１日にＣｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ｓｙｍｐｏｓｉｕｍ ２０１９ 予稿集 第１４９７頁～第１５０３頁において、セコム株式会社が、香川椋平及び西村拓真が発明した「分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム」について公開した。Application of Article 30, Paragraph 2 of the Patent Act On October 21, 2019, in the Computer Security Symposium 2019 Proceedings, pages 1497 to 1503, Secom Co., Ltd. disclosed the "Distributed Machine Learning Device, Distributed Machine Learning Method, Distributed Machine Learning Program, and Data Processing System" invented by Kagawa Ryohei and Nishimura Takuma.
本発明は、分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムに関する。 The present invention relates to a distributed machine learning device, a distributed machine learning method, a distributed machine learning program, and a data processing system.
利用者の生活に伴う活動データ（電力使用量データ等）をサービス提供者のサーバ等に集約し、機械学習によって利用者の多様な生活パターンの変化を高精度に検知することができる学習モデルを生成する技術が知られている。しかしながら、生活パターンを示す生の活動データをサーバ等に収集することはプライバシーの観点からユーザに抵抗感を与えるおそれがある。 There is a known technology that aggregates activity data (such as electricity usage data) from users' daily lives on a service provider's server, etc., and uses machine learning to generate a learning model that can detect changes in the user's diverse lifestyle patterns with a high degree of accuracy. However, there is a risk that users will be reluctant to collect raw activity data that indicates lifestyle patterns on a server, etc., from the perspective of privacy.
そこで、近年、ユーザ端末において学習モデル（端末モデル）を学習させ、学習された端末モデルをサーバによって収集し、収集された端末モデルの中からランダムに選択した端末モデルを平均化処理して学習モデル（共通モデル）を生成する分散機械学習が注目されている。 In recent years, therefore, distributed machine learning has attracted attention. This involves training a learning model (terminal model) on a user terminal, collecting the trained terminal models by a server, and averaging terminal models randomly selected from the collected terminal models to generate a learning model (common model).
ところで、各ユーザの生活パターンの分布には偏りがある。例えば、「夜間活動する」パターンのユーザよりも、「昼間活動する」パターンのユーザの方が多数派である。この場合、各端末から収集される端末モデルも、多数派パターンのモデルが多くなり、少数派パターンのモデルが少なくなる。したがって、従来技術においては、共通モデルには少数派パターンの端末モデルが反映されにくく、少数派パターンに属するユーザの活動パターンの特徴がうまく抽出できない共通モデルとなるおそれがあった。本発明は上記問題を鑑みてなされたものであり、プライバシーに配慮しつつ少数派の特徴を反映した処理タスクを行うことが可能な共通モデルを学習できる分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムを提供することを目的とする。 However, there is a bias in the distribution of each user's lifestyle patterns. For example, there are more users with a "daytime activity" pattern than those with a "nighttime activity" pattern. In this case, the number of models of the majority pattern and the number of models of the minority pattern collected from each terminal will also be greater. Therefore, in the conventional technology, it is difficult to reflect the terminal model of the minority pattern in the common model, and there is a risk that the common model will not be able to effectively extract the characteristics of the activity patterns of users belonging to the minority pattern. The present invention has been made in consideration of the above problems, and aims to provide a distributed machine learning device, a distributed machine learning method, a distributed machine learning program, and a data processing system that can learn a common model that can perform processing tasks that reflect the characteristics of the minority while respecting privacy.
本発明の１つの態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置であって、受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、を備える分散機械学習装置である。 One aspect of the present invention is a distributed machine learning device that communicates with a plurality of terminal devices having a common model, which is a learning model for performing a predetermined data processing task on input data, receives a terminal model generated by machine learning the common model using the learning data in the terminal device, averages the received plurality of terminal models to generate the common model, and transmits it to the terminal device, and includes a similarity calculation means for calculating a similarity between the received terminal models, and a model generation means for performing the averaging process so that a terminal model with a larger number of similar terminal models, which is the number of terminal models that are similar based on the similarity, is less likely to be reflected in the common model.
本発明の別の態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習方法であって、受信した前記端末モデル間における類似度を求める類似度算出ステップと、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成ステップと、を備える分散機械学習方法である。 Another aspect of the present invention is a distributed machine learning method that communicates with a plurality of terminal devices having a common model, which is a learning model for performing a predetermined data processing task on input data, receives a terminal model generated by machine learning the common model using the learning data in the terminal device, averages the received plurality of terminal models to generate the common model, and transmits it to the terminal device, the distributed machine learning method comprising: a similarity calculation step for calculating the similarity between the received terminal models; and a model generation step for performing the averaging process so that a terminal model with a larger number of similar terminal models, which is the number of terminal models that are similar based on the similarity, is less likely to be reflected in the common model.
本発明の別の態様は、コンピュータを、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置として機能させる分散機械学習プログラムであって、前記コンピュータを、受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、として機能させる分散機械学習プログラムである。 Another aspect of the present invention is a distributed machine learning program that causes a computer to function as a distributed machine learning device that communicates with a plurality of terminal devices having a common model, which is a learning model for performing a predetermined data processing task on input data, receives a terminal model generated by machine learning the common model using the learning data in the terminal device, averages the received plurality of terminal models to generate the common model, and transmits it to the terminal devices, and causes the computer to function as a similarity calculation means that calculates the similarity between the received terminal models, and a model generation means that performs the averaging process so that a terminal model with a larger number of similar terminal models, which is the number of terminal models that are similar based on the similarity, is less likely to be reflected in the common model.
本発明の別の態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と、複数の前記端末装置と通信して当該端末装置の前記共通モデルを生成する分散機械学習装置と、からなるデータ処理システムであって、前記複数の端末装置の各々は、前記共通モデルに対して所定の学習データを機械学習することによって端末モデルを生成して前記分散機械学習装置に送信し、前記分散機械学習装置は、前記端末装置から受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう平均化処理を行うことで前記共通モデルを生成するモデル生成手段と、を備えることを特徴とするデータ処理システムである。 Another aspect of the present invention is a data processing system comprising a plurality of terminal devices each having a common model, which is a learning model for performing a predetermined data processing task on input data, and a distributed machine learning device that communicates with the plurality of terminal devices to generate the common model for the terminal devices, wherein each of the plurality of terminal devices generates a terminal model by machine learning predetermined learning data on the common model and transmits the generated terminal model to the distributed machine learning device, and the distributed machine learning device is characterized in that it comprises a similarity calculation means for calculating the similarity between the terminal models received from the terminal devices, and a model generation means for generating the common model by performing an averaging process so that a terminal model with a larger number of similar terminal models, which is the number of terminal models that are similar based on the similarity, is less likely to be reflected in the common model.
ここで、前記モデル生成手段は、全ての前記端末モデルの中から前記類似端末モデル数の多い前記端末モデルほど選択され難くいよう前記端末モデルを選択し、該選択された前記端末モデルを用いて前記平均化処理を実行することが好適である。 Here, it is preferable that the model generation means selects the terminal model from among all the terminal models such that the terminal model with the greater number of similar terminal models is less likely to be selected, and executes the averaging process using the selected terminal model.
また、前記モデル生成手段は、前記類似端末モデル数の少ない前記端末モデルほど前記平均化処理において前記共通モデルに反映され易くなるように重み値を設定し、前記端末モデル毎との前記重み値及び当該端末モデルを用いて前記平均化処理を実行することが好適である。 In addition, it is preferable that the model generation means sets weight values so that the terminal models with fewer similar terminal models are more likely to be reflected in the common model in the averaging process, and executes the averaging process using the weight values for each terminal model and the terminal models.
また、前記モデル生成手段は、前記機械学習するのに利用された学習データ数が大きいほど、前記平均化処理において前記共通モデルに反映され易くなるように前記重み値を設定することが好適である。 It is also preferable that the model generation means sets the weighting values so that the greater the number of learning data used for the machine learning, the more likely it is to be reflected in the common model in the averaging process.
また、前記学習データは、前記端末装置が対象とするユーザの活動を示す活動データであり、前記共通モデルは、前記活動データの特徴を示す特徴ベクトルを出力する機械学習モデルであることが好適である。 It is also preferable that the learning data is activity data indicating the activities of a user targeted by the terminal device, and the common model is a machine learning model that outputs a feature vector indicating the characteristics of the activity data.
本発明によれば、プライバシーに配慮しつつ少数派の特徴を反映した処理タスクを行うことが可能な共通モデルを学習できる分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムを提供することができる。 The present invention provides a distributed machine learning device, a distributed machine learning method, a distributed machine learning program, and a data processing system that can learn a common model capable of performing processing tasks that reflect the characteristics of minorities while respecting privacy.
本実施の形態におけるデータ処理システム１００は、図１に示すように、端末装置１０２、センサ１０４及びサーバ装置１０６を含んで構成される。端末装置１０２は、各種のセンサ１０４に接続され、設置場所における利用者（ユーザ）の生活に伴う活動データを取得する。また、端末装置１０２の各々は、インターネット等の情報通信網１０８を介してサーバ装置１０６と情報伝達可能に接続される。サーバ装置１０６は、利用者の生活の活動パターンの変化を検知して通知等を行うサービスを提供する。サーバ装置１０６は、例えば、当該サービスの提供者の施設に設置される。 As shown in FIG. 1, the data processing system 100 in this embodiment includes a terminal device 102, a sensor 104, and a server device 106. The terminal device 102 is connected to various sensors 104 and acquires activity data associated with the life of a user at the installation location. Each of the terminal devices 102 is also connected to the server device 106 via an information and communication network 108 such as the Internet so that information can be transmitted. The server device 106 provides a service that detects changes in the user's life activity patterns and notifies them, etc. The server device 106 is installed, for example, in the facility of the provider of the service.
端末装置１０２は、店舗、オフィス、マンション、倉庫、家屋等の利用者が活動する物件に設置された警備装置などのコンピュータである。 The terminal device 102 is a computer such as a security device installed in a property where users are active, such as a store, office, apartment, warehouse, or house.
端末装置１０２は、データ処理システム１００において共通に用いられる機械学習モデルである共通モデルをサーバ装置１０６から受信する。端末装置１０２は、複数のセンサ１０４で検知された各種のデータを用いて、当該共通モデルに基づいてさらに機械学習させた学習モデルである端末モデルを生成する。本実施の形態では、共通モデル及び端末モデルは、センサ１０４から取得したデータを入力として、利用者の活動パターンの特徴を示す特徴量を生成するエンコーダを含む学習モデルとする。すなわち、共通モデル及び端末モデルを適用することによって、複数のセンサ１０４から得られたデータの性質を保持したまま、より低次元の特徴量空間における特徴量で表現できる次元圧縮を行うことが可能になる。 The terminal device 102 receives from the server device 106 a common model, which is a machine learning model commonly used in the data processing system 100. The terminal device 102 uses various data detected by the multiple sensors 104 to generate a terminal model, which is a learning model that is further machine-learned based on the common model. In this embodiment, the common model and the terminal model are learning models that include an encoder that uses data acquired from the sensors 104 as input and generates features that indicate the characteristics of the user's activity pattern. In other words, by applying the common model and the terminal model, it becomes possible to perform dimensional compression that allows the data obtained from the multiple sensors 104 to be expressed by features in a lower-dimensional feature space while retaining the properties of the data.
端末装置１０２は、図２に示すように、制御部１０、記憶部１２、センサ通信部１４及び通信部１６を含んで構成される。 As shown in FIG. 2, the terminal device 102 includes a control unit 10, a memory unit 12, a sensor communication unit 14, and a communication unit 16.
制御部１０は、端末モデル生成手段１０ａ及び特徴量抽出手段１０ｂを含んで構成される。 The control unit 10 includes a terminal model generation means 10a and a feature extraction means 10b.
端末モデル生成手段１０ａは、センサ１０４から取得したセンサデータ１２ｃを用いてサーバ装置１０６から受信した共通モデル１２ｂをさらに機械学習させることによって端末モデル１２ａを生成する端末モデル生成処理を行う。端末モデル生成処理は、後述する「学習フェーズ」において実施される。 The terminal model generation means 10a performs a terminal model generation process to generate a terminal model 12a by further machine learning the common model 12b received from the server device 106 using the sensor data 12c acquired from the sensor 104. The terminal model generation process is performed in the "learning phase" described below.
本実施の形態では、端末モデル生成処理において利用される学習アルゴリズムとして、オートエンコーダを適用することができる。オートエンコーダは、図３に示すように、ニューラルネットワークを用いた次元圧縮のための学習アルゴリズムである。オートエンコーダは、高次元のセンサデータ１２ｃを低次元の特徴量へ圧縮するエンコーダと、低次元の特徴量を高次元のセンサデータ１２ｃへ復元するデコーダに分けられる。エンコーダ及びデコーダは、ともに図４に示すようなニューロンモデルを単層又は多層に複数組み合わせたニューラルネットワークによって構成される。ニューロンモデルは、数式（１）に示すように、複数の入力信号ｘｉに対してそれぞれ重み係数ｗｉを乗算して得られる乗算値にバイアスｂを加算した値を足し合わせて活性化関数ｆを適用した演算値ｙを出力する。オートエンコーダの学習では教師データを利用せず、入力データであるセンサデータ１２ｃをエンコーダにて圧縮処理した特徴量をデコーダにて復元したデータが元のセンサデータ１２ｃと同じになるようにエンコーダ及びデコーダのニューラルネットワークのモデルパラメータ（重み係数ｗｉとバイアスｂ）を学習する。すなわち、本実施形態における学習モデル（共通モデル１２ｂ及び端末モデル１２ａ）は、学習前にあらかじめ設定され学習によって変更されないエンコーダ及びデコーダのニューラルネットワークのネットワーク構造（モデル構造）と、学習によって変更される重み係数ｗｉとバイアスｂなどのモデルパラメータとからなる。端末装置１０２は、後述する「学習フェーズ」における一連の学習によって得られた共通モデル１２ｂのエンコーダを利用することで、高次元データのセンサデータ１２ｃを、低次元データの潜在変数である特徴量に次元圧縮する。
なお、本実施の形態では、共通モデル１２ｂ及び端末モデル１２ａのエンコーダとデコーダが連結されたモデルでモデル化したが、これに限定されるものではなく、他のモデルを適用してもよい。例えば、センサデータ１２ｃを入力とし当該センサデータ１２ｃに対応する利用者の状態（異常行動として検知する活動パターン、利用者の病歴等）を出力とする畳み込みニューラルネットワークでモデル化してもよい。 In this embodiment, the model is a model in which the encoder and decoder of the common model 12b and the terminal model 12a are linked, but this is not limited to this, and other models may be applied. For example, the model may be a convolutional neural network that inputs the sensor data 12c and outputs the state of the user corresponding to the sensor data 12c (an activity pattern detected as abnormal behavior, the user's medical history, etc.).
特徴量抽出手段１０ｂは、センサデータ１２ｃから利用者の活動パターンを表す特徴量を抽出する特徴量抽出処理を行う。特徴量抽出手段１０ｂは、いわゆる特徴量抽出器である。特徴量抽出処理は、後述する「検知フェーズ」において実施される。 The feature extraction means 10b performs a feature extraction process to extract features representing the user's activity pattern from the sensor data 12c. The feature extraction means 10b is a so-called feature extractor. The feature extraction process is performed in the "detection phase" described below.
本実施形態の特徴量抽出手段１０ｂは、共通モデル１２ｂのエンコーダにセンサデータ１２ｃを入力して、高次元のセンサデータ１２ｃを低次元の特徴量に圧縮する。そして、求められた低次元の特徴量を端末装置１０２の識別子に対応付けてサーバ装置１０６に送信する。なお、特徴量の次元は、上記オートエンコーダの潜在変数の次元数となる。例えば、潜在変数空間が２次元の場合、特徴量も２次元となる。 The feature extraction means 10b of this embodiment inputs the sensor data 12c to the encoder of the common model 12b, and compresses the high-dimensional sensor data 12c into low-dimensional features. Then, the obtained low-dimensional features are associated with the identifier of the terminal device 102 and transmitted to the server device 106. Note that the dimension of the feature is the number of dimensions of the latent variables of the autoencoder. For example, if the latent variable space is two-dimensional, the feature is also two-dimensional.
記憶部１２は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される記憶手段である。記憶部１２は、端末モデル１２ａ、共通モデル１２ｂ、センサデータ１２ｃ及び学習データ数１２ｄを記憶する。 The storage unit 12 is a storage means configured with a semiconductor memory, a magnetic disk (HDD), or an optical disk drive such as a CD-ROM or DVD-RAM and its recording medium. The storage unit 12 stores a terminal model 12a, a common model 12b, sensor data 12c, and the number of learning data 12d.
端末モデル１２ａは、端末モデル生成手段１０ａによって生成された学習モデルである。記憶部１２には、端末モデル１２ａとしてエンコーダ及びデコーダのモデル構造と、モデルパラメータが記憶される。 The terminal model 12a is a learning model generated by the terminal model generation means 10a. The storage unit 12 stores the model structures of the encoder and decoder and model parameters as the terminal model 12a.
共通モデル１２ｂは、サーバ装置１０６から受信した学習モデルである。記憶部１２には、共通モデル１２ｂとしてエンコーダ及びデコーダのモデル構造と、サーバ装置１０６から受信したモデルパラメータが記憶される。 The common model 12b is a learning model received from the server device 106. The memory unit 12 stores the model structures of the encoder and decoder as the common model 12b, and the model parameters received from the server device 106.
センサデータ１２ｃは、センサ１０４から取得したデータを時系列に記録した情報である。センサデータ１２ｃは、センサ１０４の各々を特定するセンサＩＤ、センサ１０４からデータを取得した検知日時及びセンサ値が関連付けて記憶される。学習データ数１２ｄは、「学習フェーズ」において学習に利用したセンサデータ１２ｃのデータ数である。すなわち、本実施形態では、データ数が大きいほど長期間に渡って記録したセンサデータ１２ｃであることを意味する。 The sensor data 12c is information in which data acquired from the sensor 104 is recorded in chronological order. The sensor data 12c is stored in association with a sensor ID that identifies each sensor 104, the detection date and time when data was acquired from the sensor 104, and the sensor value. The number of pieces of learning data 12d is the number of pieces of sensor data 12c used for learning in the "learning phase". That is, in this embodiment, a larger number of pieces of data means that the sensor data 12c has been recorded for a longer period of time.
センサ通信部１４は、センサ１０４の各々において検知されたデータを取得するためのインターフェースである。センサ通信部１４を介して取得されたデータは、記憶部１２にセンサデータ１２ｃとして記憶される。 The sensor communication unit 14 is an interface for acquiring data detected by each of the sensors 104. The data acquired via the sensor communication unit 14 is stored in the memory unit 12 as sensor data 12c.
なお、センサ１０４には、例えば、電気使用量を取得できるスマートメータ、ドアの開閉を検知するセンサ、居住者の存否を検知する赤外線センサなどの、利用者の行動を把 握できるセンサとすることができる。また、端末装置１０２が警備装置である場合、利用者の在室状況を把握するために、当該警備装置の警備情報（セット／解除情報）をセンサデータ１２ｃとして検知するセンサ１０４としてもよい。 The sensor 104 may be a sensor capable of grasping the user's behavior, such as a smart meter capable of acquiring the amount of electricity used, a sensor that detects the opening and closing of a door, or an infrared sensor that detects the presence or absence of an inhabitant. In addition, if the terminal device 102 is a security device, the sensor 104 may be configured to detect security information (set/release information) of the security device as sensor data 12c in order to grasp the presence status of the user.
通信部１６は、外部装置と情報を送受信するためのインターフェースである。通信部１６は、情報通信網１０８を介してサーバ装置１０６と情報伝達可能に接続される。通信部１６を介して、端末装置１０２からサーバ装置１０６へ送信されるデータは、機械学習によって更新された端末モデル１２ａの重み係数ｗｉとバイアスｂ、機械学習に用いられた学習データ数１２ｄ、共通モデル１２ｂを用いて生成された特徴量等である。通信部１６を介して、サーバ装置１０６から受信するデータは、サーバ装置１０６で生成された共通モデル１２ｂの重み係数ｗｉとバイアスｂや「検知フェーズ」で検知された結果の情報等である。 The communication unit 16 is an interface for transmitting and receiving information to and from an external device. The communication unit 16 is connected to the server device 106 via an information communication network 108 so as to be capable of transmitting information. Data transmitted from the terminal device 102 to the server device 106 via the communication unit 16 includes the weight coefficients w i and bias b of the terminal model 12a updated by machine learning, the number of learning data 12d used in the machine learning, and features generated using the common model 12b. Data received from the server device 106 via the communication unit 16 includes the weight coefficients w i and bias b of the common model 12b generated by the server device 106, information on the results of detection in the "detection phase", and the like.
サーバ装置１０６は、サービス提供者の施設等に設置されるコンピュータである。 The server device 106 is a computer installed at the service provider's facility, etc.
サーバ装置１０６は、各端末装置１０２から端末モデル１２ａを受信する。サーバ装置１０６は、各端末装置１０２における学習により得られた端末モデル１２ａを用いて、当該共通モデル２２ｂを生成する。すなわち、サーバ装置１０６は、各端末装置１０２から端末モデル１２ａを受信して共通モデル２２ｂを更新する分散機械学習装置として機能する。また、サーバ装置１０６は、各端末装置１０２で取得されたセンサデータ１２ｃを共通モデル２２ｂに入力して得られた特徴量を受信し、当該特徴量に基づいて端末装置１０２の利用者の生活に伴う活動パターンの変化を検知する。 The server device 106 receives the terminal model 12a from each terminal device 102. The server device 106 generates the common model 22b using the terminal model 12a obtained by learning in each terminal device 102. In other words, the server device 106 functions as a distributed machine learning device that receives the terminal model 12a from each terminal device 102 and updates the common model 22b. The server device 106 also receives features obtained by inputting the sensor data 12c acquired by each terminal device 102 into the common model 22b, and detects changes in activity patterns associated with the life of the user of the terminal device 102 based on the features.
サーバ装置１０６は、図５に示すように、制御部２０、記憶部２２、入力部２４、出力部２６及び通信部２８を含んで構成される。 As shown in FIG. 5, the server device 106 includes a control unit 20, a memory unit 22, an input unit 24, an output unit 26, and a communication unit 28.
まず、記憶部２２について説明する。記憶部２２は、端末モデルデータベース（端末モデルＤＢ）２２ａ、共通モデル２２ｂ、特徴量データベース（特徴量ＤＢ）２２ｃ、類似度データベース（類似度ＤＢ）２２ｄ及び変化検知結果２２ｅを記憶する。 First, the storage unit 22 will be described. The storage unit 22 stores a terminal model database (terminal model DB) 22a, a common model 22b, a feature database (feature DB) 22c, a similarity database (similarity DB) 22d, and change detection results 22e.
端末モデルＤＢ２２ａは、各端末装置１０２から受信した端末モデル１２ａに関する情報を記憶するデータベースである。端末モデルＤＢ２２ａには、端末装置１０２に固有に割り当てられた端末ＩＤに、各端末装置１０２から受信した端末モデル１２ａのモデルパラメータ、機械学習に用いられた学習データ数１２ｄが関連付けて記憶される。 The terminal model DB 22a is a database that stores information about the terminal model 12a received from each terminal device 102. The terminal model DB 22a stores a terminal ID uniquely assigned to the terminal device 102, the model parameters of the terminal model 12a received from each terminal device 102, and the number of learning data 12d used in machine learning in association with each other.
共通モデル２２ｂは、後述する共通モデル生成手段２０ｃによって、複数の端末装置１０２から受信した端末モデル１２ａを統合して生成された共通モデル２２ｂに関する情報を示す。共通モデル２２ｂとして、エンコーダ及びデコーダのモデル構造とモデルパラメータが記憶される。 The common model 22b indicates information about the common model 22b generated by the common model generation means 20c described later by integrating the terminal models 12a received from multiple terminal devices 102. The model structures and model parameters of the encoder and decoder are stored as the common model 22b.
特徴量ＤＢ２２ｃは、各端末装置１０２から受信した特徴量に関する情報を記憶するデータベースである。特徴量ＤＢ２２ｃには、図６に示すように、端末ＩＤに対して、当該端末ＩＤで特定される端末装置１０２から受信した特徴量、当該特徴量を抽出した日時が関連付けて記憶される。 The feature DB 22c is a database that stores information about the feature received from each terminal device 102. As shown in FIG. 6, the feature DB 22c stores a terminal ID, a feature received from a terminal device 102 identified by the terminal ID, and the date and time when the feature was extracted, in association with the terminal ID.
類似度ＤＢ２２ｄは、後述する類似度算出手段２０ａで算出された類似度に関する情報を記憶するデータベースである。類似度は、異なる端末装置１０２で生成された端末モデル１２ａの間の類似性を示す値である。類似度ＤＢ２２ｄには、図７に示すように、端末装置１０２の端末ＩＤの組み合わせ毎にそれらの端末装置１０２で生成された端末モデル１２ａの類似度を関連付けて記憶される。本実施の形態では、類似度は、０～１の範囲において、１に近いほど端末モデル１２ａが類似していることを示す。類似度の初期値は０とする。 The similarity DB 22d is a database that stores information related to the similarity calculated by the similarity calculation means 20a described later. The similarity is a value indicating the similarity between terminal models 12a generated by different terminal devices 102. As shown in FIG. 7, the similarity DB 22d stores the similarity of the terminal models 12a generated by each combination of the terminal IDs of the terminal devices 102 in association with those combinations. In this embodiment, the similarity ranges from 0 to 1, and the closer to 1 the similarity, the more similar the terminal models 12a are. The initial value of the similarity is 0.
変化検知結果２２ｅは、後述する変化検知手段２０ｄにおいて検知された検知結果である。本実施の形態では、検知結果は、各端末装置１０２から受信した特徴量に基づいて端末装置１０２を利用する利用者の活動パターンの変化の度合いを示す変化検知スコアとする。変化検知結果２２ｅは、端末ＩＤに対して、変化の検知を行った日時及び変化検知スコアが関連付けて記憶される。 The change detection result 22e is a detection result detected by the change detection means 20d described below. In this embodiment, the detection result is a change detection score that indicates the degree of change in the activity pattern of the user who uses the terminal device 102 based on the feature amount received from each terminal device 102. The change detection result 22e is stored in association with the terminal ID, the date and time when the change was detected, and the change detection score.
制御部２０は、類似度算出手段２０ａ、選択手段２０ｂ、共通モデル生成手段２０ｃ及び変化検知手段２０ｄを含んで構成される。 The control unit 20 includes a similarity calculation means 20a, a selection means 20b, a common model generation means 20c, and a change detection means 20d.
類似度算出手段２０ａは、各端末装置１０２から受信した端末モデル１２ａのモデルパラメータについて各端末装置１０２の端末モデル１２ａの間の類似度を計算する。本実施形態では、数式（２）に基づいて、コサイン類似度を用いて類似度を計算する。計算された端末装置１０２の端末モデル１２ａの類似度は類似度ＤＢ２２ｄに記録される。ここで、ｓｊｋは、端末ＩＤがｊの端末装置１０２の端末モデルと端末ＩＤがｋの端末装置１０２の端末モデル１２ａとの間の類似度（端末モデル類似度）である。ｗｉｊは、端末ＩＤがｊの端末装置１０２の端末モデル１２ａのｉ番目のモデルパラメータ（端末モデル１２ａにおけるニューロンモデルの重み係数）である。ｗｉｋは、端末ＩＤがｋの端末装置１０２の端末モデル１２ａのｉ番目のモデルパラメータ（端末モデル１２ａにおけるニューロンモデルの重み係数）である。
選択手段２０ｂは、類似度ＤＢ２２ｄを参照し、共通モデル２２ｂの生成に利用する端末モデル１２ａを選択する選択処理を実行する。選択手段２０ｂは、まず、数式（３）に基づいて、すべての端末装置１０２の中から端末選択割合Ｃに応じて共通モデル２２ｂの生成に利用する端末モデル１２ａの数Ｍを算出する。ここで、Ｋは端末装置１０２から受信した端末モデル数、Ｃは端末選択割合である。端末選択割合Ｃは、０～１の値をとり、０の場合には１つの端末モデル１２ａのみが選択され、１の場合にはすべての端末モデル１２ａが選択される。
次に、端末モデル数Ｍに応じて端末装置の端末モデルを選択する。以下、選択手段２０ｂによって選択された端末装置１０２を「選択端末」、選択端末の端末モデルを「選択モデル」と称する。この際、端末装置の端末モデル間の類似度が高い端末モデルが多いほど、その端末モデルが選択されにくいように選択処理を行う。 Next, a terminal model of the terminal device is selected according to the number of terminal models M. Hereinafter, the terminal device 102 selected by the selection means 20b is referred to as the "selected terminal" and the terminal model of the selected terminal is referred to as the "selected model." At this time, the more terminal models with high similarity between the terminal models of the terminal devices, the less likely the terminal model is to be selected by the selection process.
具体的には、類似度ＤＢに記録されている類似度のうち、端末ｉの端末モデルが関係する類似度が所定の基準値を超える端末モデルの総数を類似端末モデル数Ｓｉとして求める。そして、端末ｉの端末モデルの重みを１／Ｓｉとして、非復元抽出による重み付き選択を用いて端末モデル数Ｍに該当する数の端末モデルを選択する。 Specifically, among the similarities recorded in the similarity DB, the total number of terminal models whose similarity related to the terminal model of terminal i exceeds a predetermined reference value is obtained as the number of similar terminal models S i . Then, the weight of the terminal model of terminal i is set to 1/S i , and a number of terminal models corresponding to the number of terminal models M are selected using weighted selection by extraction without replacement.
ここで、非復元抽出とは、選択したものを戻さずに次の選択を行う方法である。非復元抽出による重み付き選択は、重みが大きいものほど選択される可能性を高くして非復元抽出を行う方法である。この非復元抽出による重み付き選択法は、例えば、参考文献Wong, C. K. and M. C. Easton. An Efficient Method for Weighted Sampling Without Replacement. SIAM Journal of Computing 9(1), pp. 111-113, 1980に記載されている。 Here, sampling without replacement is a method of making the next selection without returning the previously selected item. Weighted selection with sampling without replacement is a method of performing sampling without replacement by increasing the likelihood that the item with a larger weight will be selected. This weighted selection method with sampling without replacement is described, for example, in the reference Wong, C. K. and M. C. Easton. An Efficient Method for Weighted Sampling Without Replacement. SIAM Journal of Computing 9(1), pp. 111-113, 1980.
例えば、Ｓｉ＝３０の端末ｉとＳｊ＝１０の端末ｊを考える。端末ｉの重みは１／３０であり、端末ｊの重みは１／１０となる。この場合、端末ｉは端末ｊに比べて選択され易さが１／３となる。このように、高類似度の端末モデルの数が多いほど選択のための重みは小さくされ、共通モデルの学習に使用される端末モデルとして選択され難くなる。 For example, consider terminal i with S i =30 and terminal j with S j =10. The weight of terminal i is 1/30, and the weight of terminal j is 1/10. In this case, terminal i is 1/3 more likely to be selected than terminal j. In this way, the more terminal models with high similarity there are, the smaller the weight for selection becomes, and the less likely it is to be selected as a terminal model to be used for learning the common model.
したがって、各端末装置において機械学習された端末モデルにおいて多数派の集合と少数派の集合があった場合であっても、多数派と少数派に対して大きな偏りなく端末モデルを選択することが可能となる。 Therefore, even if there is a majority set and a minority set of terminal models machine-learned in each terminal device, it is possible to select a terminal model without significant bias toward the majority and minority.
また、上記の非復元抽出による重み付き選択法を適用することなく、他の選択方法を適用してもよい。例えば、端末モデル間の類似度に応じて階層型クラスタリングを適用して、類似端末モデル数が多い端末モデルほど選択され難いように選択端末を選択してもよい。例えば、類似度に基づく階層型クラスタリングによって端末モデルをＭ個のクラスタ（類似端末モデルの集まり）に分けて、各クラスタから１つずつ選択することによっても、多数派と少数派に対して大きな偏りなく端末モデルを選択できる。 Also, instead of applying the weighted selection method using non-replacement extraction described above, other selection methods may be applied. For example, hierarchical clustering may be applied according to the similarity between terminal models, and selected terminals may be selected such that terminal models with a larger number of similar terminal models are less likely to be selected. For example, terminal models may be divided into M clusters (collections of similar terminal models) using hierarchical clustering based on similarity, and one terminal model may be selected from each cluster, allowing selection of terminal models without significant bias toward the majority or minority.
また、端末装置１０２の各々において端末モデルの学習に用いられた学習データの数をサーバ装置１０６における端末モデルの選択に適用してもよい。例えば、類似端末数が等しい端末モデルが複数存在する場合、学習データの数が多かった端末モデルを優先的に選択するようにしてもよい。また、学習データの数に応じて端末装置１０２の端末モデルの各々に対して算出される上記重みを補正するようにしてもよい。すなわち、学習データの数が多いほど、各端末モデルに対する重みの値が大きくなるように補正をし、当該補正された重みを用いて端末モデルを選択するようにしてもよい。 The number of learning data used to learn the terminal model in each of the terminal devices 102 may also be applied to the selection of the terminal model in the server device 106. For example, when there are multiple terminal models with the same number of similar terminals, the terminal model with the greater number of learning data may be preferentially selected. The weights calculated for each terminal model of the terminal device 102 may also be corrected according to the number of learning data. That is, the greater the number of learning data, the greater the weight value for each terminal model may be corrected, and the corrected weights may be used to select the terminal model.
共通モデル生成手段２０ｃは、選択手段２０ｂで選択された端末モデルを統合して共通モデル２２ｂを生成する処理を行う。共通モデル生成処理は、「学習フェーズ」において各端末装置１０２からの端末モデルの受信を完了する度に実行され、「学習フェーズ」の終了条件が満たされるまで繰り返し実行されるようにすればよい。 The common model generation means 20c performs a process of integrating the terminal models selected by the selection means 20b to generate a common model 22b. The common model generation process is executed each time the reception of a terminal model from each terminal device 102 is completed in the "learning phase", and may be repeatedly executed until the end condition of the "learning phase" is satisfied.
本実施の形態では、数式（４）及び数式（５）を用いて、選択モデルの各モデルパラメータを各端末モデルの更新に用いられた学習データ数に基づいて定めた重み値Ｒを用いて重み付平均する平均化処理によって共通モデル２２ｂの各モデルパラメータを算出する。すなわち、共通モデル２２ｂの各モデルパラメータは、選択モデルのうち学習データ数が多い端末モデルであるほど当該端末モデルのモデルパラメータが共通モデル２２ｂに反映され易くなるようにして算出される。これによって、学習データ数の多い端末モデルを重視して共通モデル２２ｂを生成することができる。
ｗｉｊ：端末ｊの端末モデル１２ａのモデルパラメータのｉ番目
Ｍ：共通モデル２２ｂの学習に用いられる端末モデル１２ａの数
ｎｊ：端末ｊの端末モデル１２ａの学習に用いられた学習データの数
Ｎ：端末モデル１２ａの学習に用いられた学習データの数の平均値
Ｒｊ：端末ｊの端末モデル１２ａに対する重み値
In this embodiment, each model parameter of the common model 22b is calculated by an averaging process that uses formulas (4) and (5) to weight and average each model parameter of the selected model using a weight value R determined based on the number of learning data used to update each terminal model. That is, each model parameter of the common model 22b is calculated such that the model parameters of a terminal model having a larger number of learning data among the selected models are more likely to be reflected in the common model 22b. This makes it possible to generate the common model 22b by placing emphasis on terminal models having a larger number of learning data.
なお、上記の重み付き平均を適用せず、数式（６）に示す単純平均を適用してもよい。ただし、学習データ数１２ｄを考慮しないため、共通モデル２２ｂの学習精度が低下する虞がある。
また、端末装置１０２の全数が少ない場合、選択手段２０ｂにおいて選択モデルを選択せず、すべての端末装置１０２の端末モデル１２ａを使って共通モデル２２ｂを生成してもよい。すなわち、Ｃ＝１としてもよい。 In addition, when the total number of terminal devices 102 is small, the selection means 20b may not select a selection model, and the terminal models 12a of all the terminal devices 102 may be used to generate the common model 22b. In other words, C=1 may be set.
この場合、端末モデル類似度Ｓｊｋによる重み付き平均により共通モデル２２ｂを生成する。すなわち、数式（７）に示すように、重み付き平均において用いる学習端末ｊの重みとして、端末モデルの更新に用いられた学習データ数から算出された重みと、他の端末装置１０２の端末モデルとの類似度から算出された重みとを掛け合わせた値を適用する。これによって、少数派の端末モデルを重視した共通モデル２２ｂを構築することが可能となる。 In this case, the common model 22b is generated by weighted averaging using the terminal model similarity S jk . That is, as shown in formula (7), the weight of the learning terminal j used in the weighted averaging is a value obtained by multiplying the weight calculated from the number of pieces of learning data used to update the terminal model by the weight calculated from the similarity with the terminal models of the other terminal devices 102. This makes it possible to build a common model 22b that emphasizes minority terminal models.
このとき、他の端末装置１０２の端末モデルとの類似度から算出された重みは、端末ｊの関係する類似度の合計とすべての端末装置１０２間における類似度の合計値との比を用いることが好適である。これにより、他端末のモデルと違いが大きいモデルは重みが大きくなるため、少数派を重視して学習を行うことができる。
Ｓｌｋ：類似度ＤＢ２２ｄに記録されている端末ｌと端末ｊの端末モデル１２ａの類似度
At this time, it is preferable that the weight calculated from the similarity with the terminal models of the other terminal devices 102 is the ratio between the total similarity related to the terminal j and the total value of the similarity between all the terminal devices 102. This allows models that are significantly different from the models of the other terminals to be weighted heavily, making it possible to perform learning with emphasis on the minority.
変化検知手段２０ｄは、各端末装置１０２から受信した特徴量に基づいて各端末装置１０２が設置された物件における利用者の活動パターンの変化を検知する変化検知処理を実行する。 The change detection means 20d executes a change detection process to detect changes in the activity patterns of users in the property in which each terminal device 102 is installed, based on the features received from each terminal device 102.
変化検知処理では、端末装置１０２から新たに受信した特徴量と、特徴量ＤＢ２２ｃに記憶されている過去に受信した特徴量との比較に基づき変化検知スコアを算出する。具体的には、直近から遡って一定期間に受信した特徴量とそれ以前の所定期間の特徴量の分布から確率密度を推定し、それらの比の値を変化検知スコアとして算出する。変化検知スコアが閾値以上となった場合に、利用者の活動パターンに変化が生じたととみなす。 In the change detection process, a change detection score is calculated based on a comparison between features newly received from the terminal device 102 and previously received features stored in the feature DB 22c. Specifically, a probability density is estimated from the distribution of features received over a certain period going back from the most recent period and the features over a specified period prior to that, and the ratio between them is calculated as the change detection score. If the change detection score is equal to or greater than a threshold value, it is deemed that a change has occurred in the user's activity pattern.
なお、利用者の活動パターンの変化の検出方法、当該密度比推定方法に限定されず、学習データの性質によって以下に記す他の手法により変化を検知してもよい。例えば、受信した最新の特徴量と過去に受信した特徴量との距離計算を行い、当該距離を変化検知スコアとする。また、例えば、ｏｎｅ ｃｌａｓｓ ＳＶＭによって、過去に受信した特徴量の領域推定を行う。そして、新たに受信した特徴量とその領域の距離計算を行い、当該距離を変化検知スコアとする。また、例えば、複数の端末装置１０２の特徴量をクラスタリングし、変化検知の対象とした端末装置１０２の特徴量が過去に属したクラスタから移動した場合に活動パターンに変化が生じたとみなす。この際の変化検知スコアは、クラスタからの移動なしの場合には偽値（例えば０）、移動した場合には真値（例えば１）とすればよい。 The method of detecting changes in the user's activity pattern is not limited to the density ratio estimation method, and changes may be detected by other methods described below depending on the nature of the learning data. For example, the distance between the latest received feature amount and the previously received feature amount is calculated, and the distance is used as the change detection score. For example, the area of the previously received feature amount is estimated by one-class SVM. Then, the distance between the newly received feature amount and its area is calculated, and the distance is used as the change detection score. For example, the features of multiple terminal devices 102 are clustered, and if the feature amount of the terminal device 102 targeted for change detection moves from the cluster to which it belonged in the past, it is considered that a change has occurred in the activity pattern. The change detection score at this time may be a false value (e.g., 0) if there is no movement from the cluster, and a true value (e.g., 1) if there is a movement.
入力部２４は、サーバ装置１０６に対して情報や指示を入力するための入力手段である。入力部２４は、例えば、キーボード等の文字入力手段、マウス等のポインティングデバイス等とすることができる。出力部２６は、サーバ装置１０６で用いられる情報を利用者に呈示するための出力手段である。出力部２６は、例えば、ディスプレイ等の情報表示装置、プリンタ等の印刷装置とすることができる。また、出力部２６は、変化検知手段２０ｄで利用者の活動パターンに変化が検知された場合にサービス提供を行う会社のスタッフに報知するようにしてもよい。 The input unit 24 is an input means for inputting information and instructions to the server device 106. The input unit 24 can be, for example, a character input means such as a keyboard, or a pointing device such as a mouse. The output unit 26 is an output means for presenting information used by the server device 106 to the user. The output unit 26 can be, for example, an information display device such as a display, or a printing device such as a printer. In addition, the output unit 26 may be configured to notify staff of the company providing the service when the change detection means 20d detects a change in the user's activity pattern.
通信部２８は、外部装置と情報を送受信するためのインターフェースである。通信部２８は、情報通信網１０８を介して端末装置１０２の各々と情報伝達可能に接続される。通信部２８を介して、サーバ装置１０６から端末装置１０２へ送信されるデータは、サーバ装置１０６で生成された共通モデル２２ｂのモデルパラメータや変化検知処理で検知された結果の情報等である。また、通信部２８を介して、端末装置１０２からサーバ装置１０６が受信するデータは、端末装置１０２の各々において機械学習によって更新された端末モデル１２ａのモデルパラメータ、学習データ数１２ｄ、特徴量等である。 The communication unit 28 is an interface for transmitting and receiving information to and from an external device. The communication unit 28 is connected to each of the terminal devices 102 via the information and communication network 108 so that information can be transmitted. Data transmitted from the server device 106 to the terminal device 102 via the communication unit 28 includes model parameters of the common model 22b generated by the server device 106 and information on the results detected by the change detection process. Data received by the server device 106 from the terminal device 102 via the communication unit 28 includes model parameters of the terminal model 12a updated by machine learning in each of the terminal devices 102, the number of pieces of learning data 12d, feature quantities, and the like.
また、通信部２８は、端末装置１０２の利用者の家族等の関係者が使用する情報端末に情報伝達可能に接続できるようにしてもよい。これによって、変化検知処理で検知された結果の情報を当該関係者に通知することができる。 The communication unit 28 may also be capable of connecting to an information terminal used by a related person, such as a family member of the user of the terminal device 102, so that information on the results detected by the change detection process can be notified to the related person.
以下、本実施の形態における「学習フェーズ」及び「検知フェーズ」について説明する。まず、図８及び図９を参照して「学習フェーズ」について説明する。 The "learning phase" and "detection phase" in this embodiment will be described below. First, the "learning phase" will be described with reference to Figures 8 and 9.
図８に示すように、学習フェーズでは、端末装置１０２の各々における端末モデル１２ａの学習とサーバ装置１０６における共通モデルの学習とが繰り返し行われる。まず、ステップＳ１０にて、サーバ装置１０６から初期状態の共通モデルの情報が端末装置１０２の各々に送信される。ステップＳ１２では、サーバ装置１０６から受信された共通モデルに基づいて、端末装置１０２の各々において取得されたセンサデータ１２ｃを用いて端末モデル１２ａの学習が行われる。ステップＳ１４では、端末装置１０２の各々からサーバ装置１０６へ端末モデル１２ａの情報が送信される。ステップＳ１６では、サーバ装置１０６が受信した端末モデル１２ａに基づいて、共通モデルの生成処理が行われる。ステップＳ１８では、サーバ装置１０６から生成された共通モデルの情報が端末装置１０２の各々に送信される。このように、端末装置１０２における端末モデル１２ａの学習とサーバ装置１０６における共通モデルの生成とを繰り返す。 As shown in FIG. 8, in the learning phase, the learning of the terminal model 12a in each of the terminal devices 102 and the learning of the common model in the server device 106 are repeated. First, in step S10, information on the initial state of the common model is transmitted from the server device 106 to each of the terminal devices 102. In step S12, based on the common model received from the server device 106, the terminal model 12a is learned using the sensor data 12c acquired in each of the terminal devices 102. In step S14, information on the terminal model 12a is transmitted from each of the terminal devices 102 to the server device 106. In step S16, a common model generation process is performed based on the terminal model 12a received by the server device 106. In step S18, information on the common model generated from the server device 106 is transmitted to each of the terminal devices 102. In this way, the learning of the terminal model 12a in the terminal device 102 and the generation of the common model in the server device 106 are repeated.
図９は、学習フェーズにおけるサーバ装置１０６での処理を示す。学習フェーズでは、サーバ装置１０６において、共通モデルの生成が行われ、当該共通モデルを端末装置１０２へ送信する処理が行われる。 Figure 9 shows the processing in the server device 106 in the learning phase. In the learning phase, the server device 106 generates a common model and transmits the common model to the terminal device 102.
最初に、初期状態の共通モデルの生成が行われる（ステップＳ２０）。共通モデルのモデル構造が決定され、モデルパラメータが設定される。モデルパラメータの初期値は、乱数を用いた初期化処理やサーバ装置１０６に予め設定されたテストデータセットを用いた事前学習によって設定することができる。テストデータセットは、実験環境等で収集されたデータであり、端末装置１０２において取得されるセンサデータ１２ｃと同じデータ構造をもつことが好適である。また、テストデータの値も端末装置１０２において取得されるセンサデータ１２ｃに近いことが好適である。 First, an initial common model is generated (step S20). The model structure of the common model is determined, and model parameters are set. The initial values of the model parameters can be set by an initialization process using random numbers or by pre-learning using a test data set previously set in the server device 106. The test data set is data collected in an experimental environment, etc., and preferably has the same data structure as the sensor data 12c acquired in the terminal device 102. In addition, it is also preferable that the values of the test data are close to the sensor data 12c acquired in the terminal device 102.
次に、生成された初期状態の共通モデルの情報を端末装置１０２の各々に送信する（ステップＳ２２）。端末装置１０２の各々では、センサデータ１２ｃを用いて共通モデルに基づいた端末モデル１２ａの学習が行われる。サーバ装置１０６は、端末装置１０２の各々から端末モデル１２ａの情報を受信する（ステップＳ２４）。サーバ装置１０６は、ステップＳ２２又は後述するステップＳ３４において共通モデルを送信した端末装置１０２から端末モデル１２ａを受信し終えるまで待機する。 Next, information about the generated initial common model is transmitted to each of the terminal devices 102 (step S22). In each of the terminal devices 102, learning of the terminal model 12a based on the common model is performed using the sensor data 12c. The server device 106 receives information about the terminal model 12a from each of the terminal devices 102 (step S24). The server device 106 waits until it has finished receiving the terminal model 12a from the terminal device 102 that transmitted the common model in step S22 or step S34 described below.
端末装置１０２から端末モデル１２ａの情報を受信すると、複数の端末装置１０２の端末モデル１２ａの間の類似度を算出する類似度算出処理を行う（ステップＳ２６）。算出された類似度は、端末装置１０２の端末ＩＤの組み合わせに関連付けて類似度ＤＢ２２ｄに記憶される。この際、前回の選択処理において選択されなかった端末モデル１２ａに対応する端末装置１０２に関する類似度は算出せず、類似度ＤＢ２２ｄの値も更新しないものとする。 When information on the terminal model 12a is received from the terminal device 102, a similarity calculation process is performed to calculate the similarity between the terminal models 12a of the multiple terminal devices 102 (step S26). The calculated similarity is stored in the similarity DB 22d in association with the combination of the terminal IDs of the terminal devices 102. At this time, the similarity for the terminal device 102 corresponding to the terminal model 12a that was not selected in the previous selection process is not calculated, and the value of the similarity DB 22d is not updated.
類似度の算出処理が終了すると、類似度ＤＢ２２ｄを参照して、選択モデルを選択する選択処理を行う（ステップＳ２８）。そして、選択モデルのモデルパラメータを用いて共通モデルの生成処理を行う（ステップＳ３０）。共通モデルの生成を終了する条件が満たされればステップＳ３６に処理を移行させ、条件が満たされなければステップＳ３４に処理を移行させる（ステップＳ３２）。 When the similarity calculation process is completed, a selection process is performed to select a selected model by referring to the similarity DB 22d (step S28). Then, a common model generation process is performed using the model parameters of the selected model (step S30). If the condition for ending the generation of the common model is met, the process proceeds to step S36, and if the condition is not met, the process proceeds to step S34 (step S32).
ステップＳ３４に処理を移行させた場合、ステップＳ２８の選択モデルに対応する端末装置１０２へ生成された共通モデルを送信する（ステップＳ３４）。なお、すべての端末装置１０２へ共通モデルを送信してもよい。この場合、ステップＳ２４において、すべての端末装置１０２から端末モデル１２ａを受信し、当該受信した端末モデル１２ａに基づいてステップＳ２６の類似度算出処理にて類似度ＤＢ２２ｄを更新する。 When the process proceeds to step S34, the generated common model is transmitted to the terminal device 102 corresponding to the selected model in step S28 (step S34). The common model may be transmitted to all terminal devices 102. In this case, in step S24, the terminal models 12a are received from all terminal devices 102, and the similarity DB 22d is updated in the similarity calculation process in step S26 based on the received terminal models 12a.
ステップＳ３６に処理を移行させた場合、各端末装置１０２へ共通モデルのモデルパラメータの送信が行われる（ステップＳ３６）。そして、各端末装置１０２に対して「学習フェーズ」から「検知フェーズ」への切り換えを行う指示を通知する（ステップＳ３８）。 When the process proceeds to step S36, the model parameters of the common model are transmitted to each terminal device 102 (step S36). Then, an instruction to switch from the "learning phase" to the "detection phase" is sent to each terminal device 102 (step S38).
次ぎに、図１０及び図１１を参照して「検知フェーズ」について説明する。 Next, the "detection phase" will be explained with reference to Figures 10 and 11.
図１０に示すように、検知フェーズでは、センサデータ１２ｃに基づく端末装置１０２における特徴量の抽出処理と、特徴量に基づくサーバ装置１０６における変化検知処理とが行われる。まず、ステップＳ４０にて、端末装置１０２の各々において、サーバ装置１０６から受信したモデルパラメータを適用した共通モデルに対してセンサ１０４から取得したセンサデータ１２ｃを入力して、当該センサデータ１２ｃに対応する特徴量を抽出する。ステップＳ４２では、端末装置１０２で抽出された特徴量がサーバ装置１０６へ送信される。ステップＳ４４では、端末装置１０２から受信された特徴量に基づいて利用者の活動パターンに変化が生じたか否かの変化検知処理が行われる。そして、ステップＳ４６では、検知結果が出力される。 As shown in FIG. 10, in the detection phase, the terminal device 102 extracts features based on the sensor data 12c, and the server device 106 detects changes based on the features. First, in step S40, in each of the terminal devices 102, the sensor data 12c acquired from the sensor 104 is input to a common model to which the model parameters received from the server device 106 are applied, and features corresponding to the sensor data 12c are extracted. In step S42, the features extracted by the terminal device 102 are transmitted to the server device 106. In step S44, change detection is performed to determine whether a change has occurred in the user's activity pattern based on the features received from the terminal device 102. Then, in step S46, the detection result is output.
図１０は、サーバ装置１０６における特徴量に基づく活動パターンの変化の検知処理を示す。検知処理では、端末装置１０２の各々において抽出された特徴量から利用者の活動パターンの変化が検知される。 Figure 10 shows the process of detecting a change in an activity pattern based on features in the server device 106. In the detection process, a change in a user's activity pattern is detected from the features extracted in each of the terminal devices 102.
まず、サーバ装置１０６は、端末装置１０２の各々から特徴量を受信する（ステップＳ５０）。サーバ装置１０６は、すべての端末装置１０２から特徴量を受信するまで待機するようにしてもよい。例えば、端末装置１０２は、所定期間分（例えば１週間分）のセンサデータ１２ｃを共通モデルに入力して、当該期間における利用者の活動パターンを示す特徴量を抽出して、当該特徴量をサーバ装置１０６へ送信する。 First, the server device 106 receives features from each of the terminal devices 102 (step S50). The server device 106 may wait until it has received features from all of the terminal devices 102. For example, the terminal device 102 inputs sensor data 12c for a predetermined period (e.g., one week) into a common model, extracts features that indicate the user's activity pattern during that period, and transmits the features to the server device 106.
サーバ装置１０６は、受信した特徴量に基づいて利用者の活動パターンの変化検知処理を行う（ステップＳ５２）。端末装置１０２の各々から受信した特徴量と、特徴量ＤＢ２２ｃに記憶されている過去に受信した特徴量とを比較して変化検知スコアを算出して変化検知結果２２ｅとして記録する。 The server device 106 performs a process of detecting a change in the user's activity pattern based on the received features (step S52). It compares the features received from each of the terminal devices 102 with previously received features stored in the feature DB 22c to calculate a change detection score and records it as a change detection result 22e.
変化検知結果２２ｅが所定の閾値以上である場合（ステップＳ５４にて「はい」の場合）には、活動パターンに変化が生じたことを示す通知を出力する（ステップＳ５６）。変化検知結果２２ｅが所定の閾値未満である場合（ステップＳ５４にて「いいえ」の場合）には、活動パターンに変化が生じたことを示す通知を出力しない（ステップＳ５８へ移行）。 If the change detection result 22e is equal to or greater than the predetermined threshold (YES in step S54), a notification is output indicating that a change has occurred in the activity pattern (step S56). If the change detection result 22e is less than the predetermined threshold (NO in step S54), a notification is not output indicating that a change has occurred in the activity pattern (proceed to step S58).
変化検知処理を終了する条件が満たされた場合には処理を終了し、条件が満たされていない場合にはステップＳ５０から処理を繰り返す（ステップＳ５８）。変化検知処理を終了する条件は、特に限定されるものではないが、例えば入力部２４から処理を終了する指示が入力された場合や変化検知処理を開始してから所定の時間が経過した場合等とすることができる。 If the condition for terminating the motion detection process is satisfied, the process is terminated, and if the condition is not satisfied, the process is repeated from step S50 (step S58). The condition for terminating the motion detection process is not particularly limited, but may be, for example, when an instruction to terminate the process is input from the input unit 24 or when a predetermined time has elapsed since the start of the motion detection process.
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications are possible without departing from the spirit of the present invention.
１０ 制御部、１０ａ 端末モデル生成手段、１０ｂ 特徴量抽出手段、１２ 記憶部、１２ａ 端末モデル、１２ｂ 共通モデル、１２ｃ センサデータ、１２ｄ 学習データ数、１４ センサ通信部、１６ 通信部、２０ 制御部、２０ａ 類似度算出手段、２０ｂ 選択手段、２０ｃ 共通モデル生成手段、２０ｄ 変化検知手段、２２ 記憶部、２２ａ 端末モデルデータベース、２２ｂ 共通モデル、２２ｃ 特徴量データベース、２２ｄ 類似度データベース、２２ｅ 変化検知結果、２４ 入力部、２６ 出力部、２８ 通信部、１００ データ処理システム、１０２ 端末装置、１０４ センサ、１０６ サーバ装置、１０８ 情報通信網。 10 Control unit, 10a Terminal model generation means, 10b Feature extraction means, 12 Storage unit, 12a Terminal model, 12b Common model, 12c Sensor data, 12d Number of learning data, 14 Sensor communication unit, 16 Communication unit, 20 Control unit, 20a Similarity calculation means, 20b Selection means, 20c Common model generation means, 20d Change detection means, 22 Storage unit, 22a Terminal model database, 22b Common model, 22c Feature database, 22d Similarity database, 22e Change detection result, 24 Input unit, 26 Output unit, 28 Communication unit, 100 Data processing system, 102 Terminal device, 104 Sensor, 106 Server device, 108 Information communication network.
Claims (8)
受信した前記端末モデル間における類似度を求める類似度算出手段と、
前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、
を備える分散機械学習装置。 A distributed machine learning device that communicates with a plurality of terminal devices having a common model, which is a learning model for performing a predetermined data processing task on input data, receives a terminal model generated by performing machine learning on the common model using the learning data in the terminal devices, averages the plurality of received terminal models to generate the common model, and transmits the common model to the terminal devices,
a similarity calculation means for calculating a similarity between the received terminal models;
a model generating means for executing the averaging process so that a terminal model having a larger number of similar terminal models, which is the number of the terminal models similar based on the similarity, is less likely to be reflected in the common model;
A distributed machine learning device comprising:
前記共通モデルは、前記活動データの特徴を示す特徴ベクトルを出力する機械学習モデルであることを特徴とする請求項１～４のいずれか１項に記載の分散機械学習装置。 the learning data is activity data indicating an activity of a user targeted by the terminal device,
5. The distributed machine learning device according to claim 1, wherein the common model is a machine learning model that outputs a feature vector indicating features of the activity data.
前記複数の端末装置の各々は、前記共通モデルに対して所定の学習データを機械学習することによって端末モデルを生成して前記分散機械学習装置に送信し、
前記分散機械学習装置は、
前記端末装置から受信した前記端末モデル間における類似度を求める類似度算出手段と、
前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう平均化処理を行うことで前記共通モデルを生成するモデル生成手段と、
を備えることを特徴とするデータ処理システム。 A data processing system comprising: a plurality of terminal devices each having a common model, which is a learning model for performing a predetermined data processing task on input data; and a distributed machine learning device that communicates with the plurality of terminal devices and generates the common model for the terminal devices,
each of the plurality of terminal devices generates a terminal model by machine learning predetermined learning data for the common model, and transmits the terminal model to the distributed machine learning device;
The distributed machine learning device includes:
a similarity calculation means for calculating a similarity between the terminal models received from the terminal device;
a model generating means for generating the common model by performing an averaging process so that the terminal model having a larger number of similar terminal models, which is the number of the terminal models that are similar based on the similarity, is less likely to be reflected in the common model;
A data processing system comprising:
受信した前記端末モデル間における類似度を求める類似度算出ステップと、
前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成ステップと、
を備える分散機械学習方法。 1. A distributed machine learning method comprising: communicating with a plurality of terminal devices each having a common model, which is a learning model for performing a predetermined data processing task on input data; receiving a terminal model generated by performing machine learning on the common model using the learning data in the terminal device; averaging the plurality of received terminal models to generate the common model; and transmitting the common model to the terminal devices,
a similarity calculation step of calculating a similarity between the received terminal models;
a model generating step of executing the averaging process so that the terminal model having a larger number of similar terminal models, which is the number of the terminal models similar based on the similarity, is less likely to be reflected in the common model;
A distributed machine learning method comprising:
前記コンピュータを、
受信した前記端末モデル間における類似度を求める類似度算出手段と、
前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、
として機能させる分散機械学習プログラム。
A distributed machine learning program that causes a computer to function as a distributed machine learning device that communicates with a plurality of terminal devices having a common model, which is a learning model for performing a predetermined data processing task on input data, receives a terminal model generated by machine learning the common model using the learning data in the terminal device, averages the plurality of received terminal models to generate the common model, and transmits the common model to the terminal devices,
The computer,
a similarity calculation means for calculating a similarity between the received terminal models;
a model generating means for executing the averaging process so that a terminal model having a larger number of similar terminal models, which is the number of the terminal models similar based on the similarity, is less likely to be reflected in the common model;
A distributed machine learning program that acts as a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020047232A JP7461763B2 (en) | 2020-03-18 | 2020-03-18 | Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020047232A JP7461763B2 (en) | 2020-03-18 | 2020-03-18 | Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021149370A JP2021149370A (en) | 2021-09-27 |
| JP7461763B2 true JP7461763B2 (en) | 2024-04-04 |
Family
ID=77848848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020047232A Active JP7461763B2 (en) | 2020-03-18 | 2020-03-18 | Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7461763B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023177487A (en) * | 2022-06-02 | 2023-12-14 | 株式会社日立製作所 | Federated learning system, federated learning method and federated learning program |
| WO2024069957A1 (en) * | 2022-09-30 | 2024-04-04 | 日本電気株式会社 | Learning device, learning system, learning method, and computer-readable medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6573269B1 (en) | 2019-03-22 | 2019-09-11 | ｌｉｖｅｐａｓｓ株式会社 | Server device and program for customized content distribution |
| JP2019526851A (en) | 2016-07-18 | 2019-09-19 | ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ | Distributed machine learning system, apparatus, and method |
| JP2020038699A (en) | 2017-12-26 | 2020-03-12 | 株式会社エイシング | Method for generating general-purpose learned model |
-
2020
- 2020-03-18 JP JP2020047232A patent/JP7461763B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019526851A (en) | 2016-07-18 | 2019-09-19 | ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ | Distributed machine learning system, apparatus, and method |
| JP2020038699A (en) | 2017-12-26 | 2020-03-12 | 株式会社エイシング | Method for generating general-purpose learned model |
| JP6573269B1 (en) | 2019-03-22 | 2019-09-11 | ｌｉｖｅｐａｓｓ株式会社 | Server device and program for customized content distribution |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021149370A (en) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fong et al. | Finding an accurate early forecasting model from small dataset: A case of 2019-ncov novel coronavirus outbreak | |
| Jiang et al. | Ensemble Prediction Algorithm of Anomaly Monitoring Based on Big Data Analysis Platform of Open‐Pit Mine Slope | |
| US20200401939A1 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
| Darban et al. | Deep learning for time series anomaly detection: A survey | |
| JP7461763B2 (en) | Distributed machine learning device, distributed machine learning method, distributed machine learning program, and data processing system | |
| Mohanty et al. | Web-services classification using intelligent techniques | |
| Baig et al. | GMDH-based networks for intelligent intrusion detection | |
| Wang et al. | Online reliability time series prediction via convolutional neural network and long short term memory for service-oriented systems | |
| CA3184439A1 (en) | Neural network architecture for transaction data processing | |
| KR20190101327A (en) | Method and apparatus for assessing price for subscription products | |
| Elwell et al. | Incremental learning in nonstationary environments with controlled forgetting | |
| Seth et al. | Intrusion detection based on key feature selection using binary GWO | |
| JP7409080B2 (en) | Learning data generation method, learning data generation program, and information processing device | |
| Amayri et al. | Estimating occupancy using interactive learning with a sensor environment: Real-time experiments | |
| JP2020080021A (en) | Learning program, learning method, and learning device | |
| Mousavi et al. | A new intelligent intrusion detector based on ensemble of decision trees | |
| Fong et al. | Gesture recognition from data streams of human motion sensor using accelerated PSO swarm search feature selection algorithm | |
| Rajadurai et al. | An empirical model in intrusion detection systems using principal component analysis and deep learning models | |
| CN114037182A (en) | Building load prediction model training method and device and nonvolatile storage medium | |
| Inacio et al. | Fault diagnosis with evolving fuzzy classifier based on clustering algorithm and drift detection | |
| US20230169336A1 (en) | Device and method with state transition linearization | |
| CN115700850A (en) | Action identification method and system based on unsupervised neural network LBRI | |
| US11966927B2 (en) | Multi-task deep learning of customer demand | |
| Kapourchali et al. | EPOC: Efficient perception via optimal communication | |
| Zander | Predicting taxi passenger demand using artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200409 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7461763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |