WO2024069957A1 - 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 - Google Patents
学習装置、学習システム、学習方法、およびコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2024069957A1 WO2024069957A1 PCT/JP2022/036760 JP2022036760W WO2024069957A1 WO 2024069957 A1 WO2024069957 A1 WO 2024069957A1 JP 2022036760 W JP2022036760 W JP 2022036760W WO 2024069957 A1 WO2024069957 A1 WO 2024069957A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- learning device
- secure communication
- information terminal
- learning
- organization
- Prior art date
Links
- 230000013016 learning Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004891 communication Methods 0.000 claims abstract description 117
- 230000008520 organization Effects 0.000 claims abstract description 48
- 230000010354 integration Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- UHOVQNZJYSORNB-UHFFFAOYSA-N Benzene Chemical group C1=CC=CC=C1 UHOVQNZJYSORNB-UHFFFAOYSA-N 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000035045 associative learning Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Definitions
- the present disclosure relates to a learning device, a learning system, a learning method, and a computer-readable medium.
- Patent Document 1 discloses a technology that uses machine learning to build an AI (Artificial Intelligence) model (also called a local model) that is personalized for each user.
- AI Artificial Intelligence
- a better performing AI model (also called a global model) can be constructed by integrating multiple local AI models.
- the server can construct local and global models.
- one of the objectives that the embodiments disclosed in this specification aim to achieve is to provide a learning device, a learning system, a learning method, and a computer-readable medium that can build a global model when the networks of multiple organizations are not constantly connected.
- a learning device for a first aspect of the present disclosure, A communication establishment means for establishing a secure communication between an information terminal disposed on the network of each organization; an acquisition means for acquiring a local model trained with a data set for each organization from the information terminal using the secure communication; and an integration means for integrating the acquired local models.
- a computing system includes: Information terminals installed on each organization's network, A learning device; A learning system comprising: The learning device includes: Establishing a secure communication with the information terminal; Obtaining a local model trained on a data set for each organization from the information terminal using the secure communication; The multiple local models obtained are integrated.
- the computer Establish secure communications between information terminals located on each organization's network, acquiring a local model trained on a data set for each organization from the information terminal using the secure communication; The multiple local models obtained are integrated.
- a non-transitory computer-readable medium comprising: On the computer, A process of establishing secure communication between information terminals located on the networks of each organization; A process of acquiring a local model trained on a data set for each organization from the information terminal using the secure communication; A program for executing a process of integrating the acquired multiple local models is stored.
- the present disclosure provides a learning device, a learning system, a learning method, and a computer-readable medium that can build a global model when the networks of multiple organizations are not constantly connected.
- FIG. 11 is a block diagram showing a configuration of a learning device according to a first embodiment.
- FIG. 11 is a block diagram showing the configuration of a learning system according to a second embodiment.
- FIG. 11 is a block diagram showing a configuration of a learning device according to a second embodiment.
- 13 is a flowchart showing a flow of an operation for generating a local model.
- FIG. 11 is a block diagram showing the configuration of a learning system according to a second embodiment.
- the learning device 1 includes a communication establishment unit 11, an acquisition unit 12, and an integration unit 13.
- the learning device 1 is connected to a public network (not shown).
- the public network (not shown) is connected to the network of each organization.
- An information terminal (not shown) is disposed in the network of each organization.
- the information terminal constructs a local model that has learned a data set for each organization.
- the information terminal may be a repository in which data sets owned by each organization are accumulated.
- the communication establishment unit 11 establishes secure communication between information terminals arranged on the networks of each organization.
- the communication establishment unit 11 may establish secure communication at a predetermined timing.
- the communication establishment unit 11 connects the learning device 1 to each organization's network via a VPN (Virtual Private Network).
- VPN Virtual Private Network
- the confidentiality of the communication between the learning device 1 and the information terminal is maintained by encryption and encapsulation.
- secure communication is established between the learning device 1 and the information terminal.
- the communication establishment unit 11 may establish secure communication using a technology other than VPN.
- the communication establishment unit 11 may control communication using a protocol that includes encryption (e.g., SSL/TLS, SSH (Secure Shell), FTPS (File Transfer Protocol over SSL/TLS)).
- SSL/TLS Secure Sockets Layer
- SSH Secure Shell
- FTPS File Transfer Protocol over SSL/TLS
- the acquisition unit 12 acquires a local model trained on a data set for each organization from the information terminal using secure communication.
- the integration unit 13 integrates the multiple acquired local models.
- the learning device 1 includes a processor, a memory, and a storage device, which are not shown in the figure.
- the storage device also stores a computer program that implements the processing of the learning method according to this embodiment.
- the processor then loads the computer program from the storage device into the memory and executes the computer program. In this way, the processor realizes the functions of the communication establishment unit 11, the acquisition unit 12, and the integration unit 13.
- the communication establishment unit 11, the acquisition unit 12, and the integration unit 13 may each be realized by dedicated hardware.
- some or all of the components of each device may be realized by general-purpose or dedicated circuits, processors, etc., or a combination of these. These may be configured by a single chip, or may be configured by multiple chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-mentioned circuits, etc., and programs.
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- FPGA field-programmable gate array
- the multiple information processing devices, circuits, etc. may be centrally or decentralized.
- the information processing devices, circuits, etc. may be realized as a client-server system, cloud computing system, etc., in which each is connected via a communication network.
- the functions of the learning device 1 may be provided in the form of SaaS (Software as a Service).
- the learning device establishes secure communication with an information terminal connected to the network of each organization, and acquires a local model using the secure communication. Therefore, according to the first embodiment, a global model can be constructed when the networks of multiple organizations are not constantly connected.
- Embodiment 2 is a specific example of embodiment 1.
- Fig. 2 is a schematic diagram showing the configuration of a learning system 100 according to embodiment 2.
- the learning system 100 includes an information terminal 2a, an information terminal 2b, an information terminal 2c, a VPN device 3a, a VPN device 3b, a VPN device 3c, and a learning device 4.
- the learning device 4 is a specific example of the learning device 1 described above.
- organization A's network Na an information terminal 2a and a VPN device 3a are placed.
- organization B's network Nb an information terminal 2b and a VPN device 3b are placed.
- organization C's network Nc an information terminal 2c and a VPN device 3c are placed.
- Information terminal 2a stores a data set owned by organization A.
- Information terminal 2b stores a data set owned by organization B.
- Information terminal 2c stores a data set owned by organization C.
- information terminal 2a constructs a local model La that has learned from a dataset owned by organization A.
- Information terminal 2b constructs a local model Lb that has learned from a dataset owned by organization B.
- Information terminal 2c constructs a local model Lc that has learned from a dataset owned by organization C.
- Information terminals 2a, 2b, and 2c update local models La, Lb, and Lc in accordance with the accumulation of datasets. When local models La, Lb, and Lc are not to be distinguished from one another, they may be simply referred to as local model L.
- the number of organizations is not limited to three.
- the number of organizations may be two, four or more.
- Each organization is, for example, a pharmaceutical manufacturer or a chemical manufacturer.
- the dataset is a dataset of compounds.
- Each record included in the dataset of compounds lists structural information and property information of the compound.
- the structure of the compound is expressed by a fixed-length bit string, and each bit of the bit string indicates the presence or absence of a specific structure (e.g., benzene ring).
- the property value e.g., tensile strength value
- data generated daily in the research and development work of organization A is accumulated in information terminal 2a.
- the dataset is not limited to a dataset of compounds, and may be a dataset of any thing.
- the network N may be a LAN (Local Area Network) or a network in which multiple LANs are connected.
- the network N is connected to a public network PN such as the Internet.
- VPN devices 3a, 3b, and 3c are VPN servers and VPN-compatible routers. When VPN devices 3a, 3b, and 3c are not distinguished from one another, they may simply be referred to as VPN device 3.
- the IP (Internet Protocol) address of the learning device 4 may be set in advance in VPN device 3.
- the VPN may be an Internet VPN, an IP-VPN, or a wide area Ethernet.
- FIG. 3 is a block diagram explaining the configuration of the learning device 4.
- the learning device 4 is connected to the network PN.
- the learning device 4 includes a communication establishment unit 41, an acquisition unit 42, and an integration unit 43.
- the communication establishment unit 41 is a specific example of the communication establishment unit 11 described above.
- the communication establishment unit 41 establishes secure communication with the information terminal 2. Specifically, the communication establishment unit 41 connects to the VPN device 3, which is a VPN server or the like, via the public network PN, and requests a VPN connection from the VPN device 3. First, a TCP/IP connection is established between the learning device 4 and the VPN device 3. Then, the learning device 4 is authenticated, and a VPN session is established between the learning device 4 and the VPN device 3. After the acquisition unit 42 acquires the local model L, the communication establishment unit 41 terminates the VPN session.
- the learning device 4 may be connected to the network N by a remote access VPN.
- the timing at which the communication establishment unit 41 establishes secure communication i.e., the timing at which the learning device 4 connects to the network N via VPN, will be described later. This is because the timing may be related to the progress of processing in the integration unit 43, which will be described later.
- the timing at which secure communication is established with the information terminal 2a, the timing at which secure communication is established with the information terminal 2b, and the timing at which secure communication is established with the information terminal 2c may be different from one another.
- the acquisition unit 42 is a specific example of the acquisition unit 12 described above. After the learning device 4 is connected to the network N via VPN, the acquisition unit 42 acquires the local model L from the information terminal 2.
- the integration unit 43 is a specific example of the integration unit 13 described above.
- the integration unit 43 integrates the local models La, Lb, and Lc acquired by the acquisition unit 42.
- the integrated model is called a global model.
- the integration unit 43 may integrate the local models La, Lb, and Lc at a predetermined timing (e.g., once a day, once every few months).
- the global model has higher performance than the local models La, Lb, and Lc.
- the integration unit 43 may perform a process of integrating the local models La, Lb, and Lc when the local models La, Lb, and Lc are updated.
- the integration unit 43 may generate a global model by, for example, taking the arithmetic average of the model parameters of the local model La, the model parameters of the local model Lb, and the model parameters of the local model Lc. Note that the method of integrating the model parameters is not limited to the arithmetic average.
- the learning device 4 distributes the global model to the information terminals 2a, 2b, and 2c. For example, after the process of generating the global model is completed, the learning device 4 may connect to the networks Na, Nb, and Nc in order via VPN and transmit the global model to the information terminals 2a, 2b, and 2c.
- the learning device 4 may also connect to the network N via VPN in response to a request from each information terminal 2 and transmit the global model to the information terminal 2.
- Each information terminal 2 can import the global model at any time.
- Organizations A, B, and C will be able to utilize a high-performance global model that links data sets owned by multiple organizations.
- Constructing multiple local models L and integrating multiple local models L is also called associative learning. It can also be said that the learning device 4 is performing associative learning.
- the learning device 4 sequentially repeats the process of establishing secure communication and the process of acquiring the local model L. This makes it possible to improve the performance of the global model based on the data set accumulated daily in each information terminal 2. Note that the process of integrating multiple local models may be performed at any time.
- the communication establishment unit 41 may establish secure communication at a predetermined timing.
- the predetermined timing may be once every few months, or once every few days.
- the communication establishment unit 41 may also establish secure communication in response to receiving a request from each information terminal 2. For example, the information terminal 2 transmits the local model after having the local model L newly learn a data set that exceeds a predetermined amount. The information terminal 2 may transmit the request when the model parameters of the local model L converge in learning the data set that exceeds the predetermined amount.
- the dataset is divided into multiple batches, and the local model L trains the multiple batches in sequence.
- the process of dividing the dataset into batches and training the multiple batches is repeated a predetermined number of times.
- the predetermined number of times is set so that the model parameters of the local model L converge.
- the predetermined number of times needs to be set to a small number so as not to cause overtraining.
- the request may be sent when the training is complete, i.e., when the tenth training iteration is over.
- the request may also be sent when the training is nearing completion, for example, when the fourth batch of the tenth training iteration is completed.
- the communication establishment unit 41 may establish the next secure communication based on the progress of the process of integrating multiple local models L. If the process in the integration unit 43 is not a simple arithmetic average or if there are a large number of organizations, the process in the integration unit 43 may take a long time. It is efficient if the learning device 4 can start the next process after the process in the integration unit 43 is completed.
- Secure computation is a technique for performing computational processing on data while keeping it encrypted, and known secure computation techniques include multi-party computation (MPC) and homomorphic encryption.
- FIG. 4 is a flowchart showing the process flow for updating the local model L. It is assumed that the learning device 4 stores the initial local model L (step S101).
- step S102 the communication establishment unit 41 of the learning device 4 determines whether it is time to establish secure communication. If it is not time to establish secure communication (NO in step S102), the process returns to step S102.
- the communication establishment unit 41 establishes secure communication between the information terminal 2 and the learning device 4, and the acquisition unit 42 acquires the local model L from the information terminal 2 (step S103). This updates the local model L that is the basis for constructing the global model. Thereafter, the communication establishment unit 41 terminates the secure communication.
- step S103 multiple local models L may be acquired.
- secure communication is established between the information terminal 2a and the learning device 4, the acquisition unit 42 acquires the local model La from the information terminal 2a, and the communication establishment unit 41 terminates the secure communication.
- secure communication is established between the information terminal 2b and the learning device 4, the acquisition unit 42 acquires the local model Lb from the information terminal 2b, and the communication establishment unit 41 terminates the secure communication.
- secure communication is established between the information terminal 2c and the learning device 4, the acquisition unit 42 acquires the local model Lc from the information terminal 2c, and the communication establishment unit 41 terminates the secure communication.
- the local model L may be acquired from any of the information terminals 2a, 2b, and 2c.
- the process returns to step S102.
- the process of integrating multiple local models L may be performed at any timing.
- the learning device connects to each organization's network via VPN at an appropriate communication timing and acquires the local model. This allows the local model to be received securely and updated at an appropriate timing.
- the secure communication is not limited to communication via a VPN.
- the secure communication may be communication using any secure communication protocol (e.g., an encryption protocol).
- the local model may be sent from the information terminal 2 to the learning device 4 by email using a secure communication protocol (e.g., S/MIME).
- a repository that accumulates data sets owned by each organization may be provided in a location other than the information terminal 2 that constructs the local model L.
- the information terminal 2 may establish secure communication (e.g., SSL) with the repository as necessary to obtain the data sets required for learning. This not only makes it possible to secure communication between the local model L and the global model, but also between the local model L and the repository.
- SSL secure communication
- the third embodiment is a specific example of the second embodiment.
- the learning device according to the third embodiment integrates model parameters of local models by secure computation.
- Fig. 5 is a block diagram showing the configuration of a learning system 100a according to the third embodiment. Comparing Fig. 2 with Fig. 5, a server group 5 has been added.
- the server group 5 includes multiple secure computation servers 51. Note that the number of secure computation servers 51 is not limited to three. However, when performing secure computation, it is preferable that the number of secure computation servers 51 is three or more.
- the server group 5 integrates the local model La, the local model Lb, and the local model Lc, and transmits the result of the secret computation to the learning device 4.
- the integration unit 43 of the learning device 4 divides the model parameters of the local model La into multiple shares (e.g., three) and transmits the multiple shares to the multiple secure computation servers 51.
- the integration unit 43 divides the model parameters of the local model Lb into multiple shares and transmits the multiple shares to the multiple secure computation servers 51.
- the integration unit 43 divides the model parameters of the local model Lc into multiple shares and transmits the multiple shares to the multiple secure computation servers 51.
- Each secure computation server 51 uses the received shares to perform secure computation to calculate the global model.
- the local model cannot be known from the shares, and computation using the shares can be considered secure computation.
- Multiple secure computation servers 51 may cooperate to perform multi-party computation (MPC). Since the amount of computation required to integrate the local model L is sufficiently small, it is considered that the server group 5 can perform secure computation in a reasonable amount of time.
- MPC multi-party computation
- the learning device 4 may be provided in the server group 5.
- Secure communication may be established between the server group 5 and the information terminal 2 by connecting multiple secure computation servers 51 to the network N via VPN.
- Model parameters of the local model L may be acquired by multiple secure computation servers 51 receiving multiple shares.
- Multiple secure computation servers 51 may integrate model parameters of multiple local models L by performing secure computation.
- the third embodiment also has the same effect as the second embodiment. Furthermore, according to the third embodiment, the calculations for integrating the global models can be kept confidential.
- the above-mentioned program includes a set of instructions (or software code) for causing a computer to perform one or more functions described in the embodiments when the program is loaded into the computer.
- the program may be stored on a non-transitory computer-readable medium or a tangible storage medium.
- computer-readable medium or tangible storage medium may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD-ROM, digital versatile disc (DVD), Blu-ray (registered trademark) disc or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device.
- the program may be transmitted on a transitory computer-readable medium or a communication medium.
- the transitory computer-readable medium or communication medium may include electrical, optical, acoustic, or other forms of propagated signals.
- a communication establishment means for establishing a secure communication between an information terminal disposed on the network of each organization; an acquisition means for acquiring a local model trained with a data set for each organization from the information terminal using the secure communication;
- a learning device comprising: an integration means for integrating the multiple acquired local models.
- the communication establishment means establishes the secure communication in response to receiving a request from each information terminal; 2. The learning device of claim 1, wherein the request is sent after training the local model on a dataset that exceeds a predetermined amount.
- the learning device (Appendix 7) The learning device according to any one of claims 1 to 6, wherein the communication establishment means establishes the secure communication by connecting the learning device to the network via a VPN (Virtual Private Network).
- the computer Establish secure communications between information terminals located on each organization's network, acquiring a local model trained on a data set for each organization from the information terminal using the secure communication; A learning method that integrates multiple obtained local models.
- Appendix 11 On the computer, A process of establishing secure communication between information terminals located on the networks of each organization; A process of acquiring a local model trained on a data set for each organization from the information terminal using the secure communication; and a non-transitory computer-readable medium storing a program for executing a process of integrating the acquired multiple local models.
- Reference Signs List 1 4 Learning device 11, 41 Communication establishment unit 12, 42 Acquisition unit 13, 43 Integration unit 2, 2a, 2b, 2c Information terminal 3, 3a, 3b, 3c VPN device 100, 100a Learning system 5 Server group 51 Secure computation server N, Na, Nb, Nc Network PN Public network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびプログラムを提供する。学習装置(1)は、各組織のネットワーク(N)に配置された情報端末(2)との間でセキュアな通信を確立する通信確立部(11)と、セキュアな通信を用いて、情報端末(2)から、組織ごとのデータセットを学習させたローカルモデルを取得する取得部(12)と、取得した複数のローカルモデルを統合する統合部(13)とを備える。
Description
本開示は、学習装置、学習システム、学習方法、およびコンピュータ可読媒体に関する。
特許文献1には、ユーザに個別化されたAI(Artificial Intelligence)モデル(ローカルモデルとも称される)を構築するために機械学習を行う技術を開示している。
複数のローカルAIモデルを統合することで、より性能のよいAIモデル(グローバルモデルとも称される)を構築できることが知られている。サーバがユーザデータを収集することで、サーバがローカルモデルおよびグローバルモデルを構築できるようになる。
ユーザが組織である場合、各組織が所有するデータを収集する必要があるため、複数の組織をつなぐネットワークを構築することが望ましい。しかしながら、セキュリティに対する考え方が異なる複数の組織をつなぐネットワークを構築することは困難であるという問題があった。
そこで、本明細書に開示される実施形態が達成しようとする目的の1つは、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびコンピュータ可読媒体を提供することである。
本開示の第1の態様にかかる学習装置は、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する取得手段と、
取得した複数のローカルモデルを統合する統合手段と
を備えている。
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する取得手段と、
取得した複数のローカルモデルを統合する統合手段と
を備えている。
本開示の第2の態様にかかる計算システムは、
各組織のネットワークに配置された情報端末と、
学習装置と、
を備えた学習システムであって、
前記学習装置は、
前記情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデル取得し、
取得した複数のローカルモデルを統合する。
各組織のネットワークに配置された情報端末と、
学習装置と、
を備えた学習システムであって、
前記学習装置は、
前記情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデル取得し、
取得した複数のローカルモデルを統合する。
本開示の第3の態様にかかる計算方法では、
コンピュータが、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得し、
取得した複数のローカルモデルを統合する。
コンピュータが、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得し、
取得した複数のローカルモデルを統合する。
本開示の第4の態様にかかる非一時的なコンピュータ可読媒体では、
コンピュータに、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する処理と、
取得した複数のローカルモデルを統合する処理と
を実行させるためのプログラムが格納される。
コンピュータに、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する処理と、
取得した複数のローカルモデルを統合する処理と
を実行させるためのプログラムが格納される。
本開示によれば、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびコンピュータ可読媒体を提供できる。
<実施形態1>
図1は、実施形態1にかかる学習装置1の構成を示すブロック図である。学習装置1は、通信確立部11、取得部12、および統合部13を備えている。学習装置1は、公衆網(不図示)に接続されている。公衆網(不図示)には、各組織のネットワークが接続されている。各組織のネットワークには、情報端末(不図示)が配置されている。情報端末は、組織ごとのデータセットを学習したローカルモデルを構築する。情報端末は、各組織が所有するデータセットが蓄積されるリポジトリであってもよい。
図1は、実施形態1にかかる学習装置1の構成を示すブロック図である。学習装置1は、通信確立部11、取得部12、および統合部13を備えている。学習装置1は、公衆網(不図示)に接続されている。公衆網(不図示)には、各組織のネットワークが接続されている。各組織のネットワークには、情報端末(不図示)が配置されている。情報端末は、組織ごとのデータセットを学習したローカルモデルを構築する。情報端末は、各組織が所有するデータセットが蓄積されるリポジトリであってもよい。
通信確立部11は、各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する。通信確立部11は、予め定められたタイミングでセキュアな通信を確立してもよい。
通信確立部11は、例えば、学習装置1を各組織のネットワークにVPN(Virtual Private Network)接続させる。この場合、学習装置1と情報端末の間の通信は暗号化やカプセリングにより機密性を保たれる。つまり、学習装置1と情報端末の間でセキュアな通信が確立される。
なお、通信確立部11は、VPN以外の技術を用いてセキュアな通信を確立してもよい。通信確立部11は、暗号化を含むプロトコル(例:SSL/TLS、SSH(Secure Shell)、FTPS(File Transfer Protocol over SSL/TLS)による通信を制御してもよい。
取得部12は、セキュアな通信を用いて、情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する。
統合部13は、取得した複数のローカルモデルを統合する。
なお、学習装置1は、図示しない構成としてプロセッサ、メモリ、および記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる学習方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、通信確立部11、取得部12、および統合部13の機能を実現する。
または、通信確立部11、取得部12、および統合部13は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、学習装置1の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、学習装置1の機能がSaaS(Software as a Service)形式で提供されてもよい。
実施形態1にかかる学習装置は、各組織のネットワークに接続されている情報端末との間でセキュアな通信を確立し、セキュアな通信を用いてローカルモデルを取得する。したがって、実施形態1によれば、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる。
<実施形態2>
実施形態2は、実施形態1の具体例である。図2は、実施形態2にかかる学習システム100の構成を示す概略図である。学習システム100は、情報端末2a、情報端末2b、情報端末2c、VPN装置3a、VPN装置3b、VPN装置3c、および学習装置4を備える。学習装置4は、上述した学習装置1の具体例である。
実施形態2は、実施形態1の具体例である。図2は、実施形態2にかかる学習システム100の構成を示す概略図である。学習システム100は、情報端末2a、情報端末2b、情報端末2c、VPN装置3a、VPN装置3b、VPN装置3c、および学習装置4を備える。学習装置4は、上述した学習装置1の具体例である。
組織AのネットワークNaには、情報端末2aおよびVPN装置3aが配置されている。組織BのネットワークNbには、情報端末2bおよびVPN装置3bが配置されている。組織CのネットワークNcには、情報端末2cおよびVPN装置3cが配置されている。
情報端末2aには組織Aが所有するデータセットが蓄積される。情報端末2bには組織Bが所有するデータセットが蓄積される。情報端末2cには組織Cが所有するデータセットが蓄積される。
また、情報端末2aは、組織Aが所有するデータセットを学習したローカルモデルLaを構築する。情報端末2bは、組織Bが所有するデータセットを学習したローカルモデルLbを構築する。情報端末2cは、組織Cが所有するデータセットを学習したローカルモデルLcを構築する。情報端末2a、2b、および2cは、データセットの蓄積に応じてローカルモデルLa、Lb、およびLcを更新する。ローカルモデルLa、Lb、およびLcを互いに区別しない場合、単にローカルモデルLと称する場合がある。
なお、組織の数は3つに限られない。組織の数は2つであってもよく、4つ以上であってもよい。各組織は、例えば、医薬品メーカや化学メーカである。この場合、データセットは、化合物のデータセットである。化合物のデータセットに含まれる各レコードには、化合物の構造情報や化合物の特性情報などが並べられる。化合物の構造は固定長のビット列などで表現され、ビット列の各ビットは所定の構造(例:ベンゼン環)の有無などを表す。特性値(例:引張強度の値)は、実験により得られた値でもよく、シミュレーションや理論計算により得られた値であってもよい。例えば、組織Aの研究開発業務で日々生成されるデータが、情報端末2aに蓄積される。もちろんデータセットは化合物のデータセットには限られず、任意の事物のデータセットであってよい。
情報端末2a、2b、および2cを互いに区別しない場合、単に情報端末2と称する場合がある。ネットワークNa、Nb、およびNcを互いに区別しない場合、単にネットワークNと称する場合がある。ネットワークNはLAN(Local Area Network)であってもよく、複数のLANを接続したネットワークであってもよい。ネットワークNは、インターネット等の公衆網PNに接続されている。
VPN装置3a、3b、および3cは、VPNサーバや、VPNに対応したルータである。VPN装置3a、3b、および3cを互いに区別しない場合、単にVPN装置3と称する場合がある。VPN装置3には、予め学習装置4のIP(Internet Protocol)アドレスなどが設定されていてもよい。VPNは、インターネットVPNであってもよく、IP-VPNであってもよく、広域イーサネットであってもよい。
図3は、学習装置4の構成を説明するブロック図である。学習装置4は、ネットワークPNに接続される。学習装置4は、通信確立部41、取得部42、および統合部43を備えている。
通信確立部41は、上述した通信確立部11の具体例である。通信確立部41は、情報端末2との間でセキュアな通信を確立する。具体的には、通信確立部41は、公衆網PNを介して、VPNサーバ等であるVPN装置3に接続し、VPN装置3にVPN接続を要求する。まず、学習装置4とVPN装置3の間にTCP/IPコネクションが確立する。そして、学習装置4が認証され、学習装置4とVPN装置3の間でVPNセッションが確立する。通信確立部41は、取得部42がローカルモデルLを取得した後、VPNセッションを終了させる。学習装置4は、リモートアクセスVPNによりネットワークNに接続してもよい。
通信確立部41がセキュアな通信を確立するタイミング、つまり学習装置4がネットワークNにVPN接続するタイミングについては後述する。タイミングが、後述する統合部43における処理の進捗度等に関連する場合があるからである。情報端末2aとの間でセキュアな通信を確立するタイミング、情報端末2bとの間でセキュアな通信を確立するタイミング、および情報端末2cとの間でセキュアな通信を確立するタイミングは互いに異なっていてもよい。
取得部42は、上述した取得部12の具体例である。取得部42は、学習装置4がネットワークNにVPN接続した後、情報端末2からローカルモデルLを取得する。
統合部43は、上述した統合部13の具体例である。統合部43は、取得部42で取得したローカルモデルLa、Lb、およびLcを統合する。統合されたモデルは、グローバルモデルと称される。統合部43は、予め定められたタイミング(例:1日に1回、数か月に1回)にローカルモデルLa、Lb、およびLcを統合してもよい。グローバルモデルは、ローカルモデルLa、Lb、およびLcよりも高性能である。統合部43は、ローカルモデルLa、Lb、およびLcが更新された場合、ローカルモデルLa、Lb、およびLcを統合する処理を行ってもよい。
統合部43は、例えば、ローカルモデルLaのモデルパラメータ、ローカルモデルLbのモデルパラメータ、ローカルモデルLcのモデルパラメータの算術平均を取ることでグローバルモデルを生成してもよい。なお、モデルパラメータの統合方法は算術平均には限られない。
統合部43がグローバルモデルを生成した後、学習装置4は、グローバルモデルを情報端末2a、2b、および2cに配布する。例えば、グローバルモデルを生成する処理が完了した後、学習装置4は、ネットワークNa、Nb、およびNcに順番にVPN接続し、情報端末2a、2b、および2cにグローバルモデルを送信してもよい。
また、学習装置4は、各情報端末2からの要求に応じてネットワークNにVPN接続し、情報端末2にグローバルモデルを送信してもよい。各情報端末2は、任意のタイミングでグローバルモデルをインポートできる。組織A、B、およびCは、複数の組織が所有するデータセットを連携させた高性能なグローバルモデルを活用できるようになる。
複数のローカルモデルLを構築し、複数のローカルモデルLを統合することは、連合学習とも称される。学習装置4は連合学習を行っているとも言える。
学習装置4は、セキュアな通信を確立する処理と、ローカルモデルLを取得する処理とを順次繰り返す。これにより、各情報端末2に日々蓄積されるデータセットに基づいて、グローバルモデルの性能を向上させることができる。なお、複数のローカルモデルを統合する処理は任意のタイミングで行われてよい。
次に、通信確立部41がセキュア通信を確立するタイミングについて説明する。通信確立部41は、予め定められたタイミングでセキュアな通信を確立してもよい。予め定められたタイミングは、数か月に1回であってもよく、数日に1回であってもよい。
また、通信確立部41は、各情報端末2からの要求の受信に応じてセキュアな通信を確立してもよい。情報端末2は、例えば、所定量を超えるデータセットをローカルモデルLに新たに学習させた後、ローカルモデルを送信する。情報端末2は、所定量を超えるデータセットの学習において、ローカルモデルLのモデルパラメータが収束したときに要求を送信してもよい。
1つのデータセットをローカルモデルLに学習させる場合、データセットを複数のバッチに分け、複数のバッチを順番にローカルモデルLに学習させることが行われる。データセットをバッチに分け、複数のバッチを学習する処理は、所定回数繰り返される。所定回数は、ローカルモデルLのモデルパラメータが収束するように設定される。ただし、所定回数は、過学習にならない程度に少ない数に設定される必要がある。
データセットが5つのバッチに分けられ学習を10回繰り返す場合、学習が完了したとき、つまり10回目の学習が終了したときに、要求が送信されてもよい。学習の完了が近づいたとき、例えば10回目の学習の4バッチ目が完了したときに、要求が送信されてもよい。
通信確立部41は、複数のローカルモデルLを統合する処理の進捗度に基づいて次のセキュアな通信を確立してもよい。統合部43における処理が単純な算術平均でない場合や、組織の数が多い場合、統合部43の処理に長時間を要する可能性がある。統合部43における処理が終了した後に、学習装置4が次の処理を開始できると効率的である。
また、秘密計算技術を適用する場合、統合部43の処理に長時間を要する可能性がある。ローカルモデルLをリバースエンジニアリングすることで、学習に使用したデータセットを推測され得ることが知られている。したがって、ローカルモデルLの秘匿性を向上するため、ローカルモデルLを統合する際に秘密計算を実行することが望まれている。秘密計算とはデータを暗号化したまま計算処理を行う技術であり、マルチパーティ計算(MPC)や準同型暗号を用いた秘密計算技術が知られている。
図4は、ローカルモデルLを更新する処理の流れを示すフローチャートである。学習装置4が、初期のローカルモデルLを記憶しているものとする(ステップS101)。
次に、学習装置4の通信確立部41は、セキュアな通信を確立するタイミングかを判定する(ステップS102)。セキュアな通信を確立するタイミングではない場合(ステップS102のNO)、ステップS102の処理に戻る。
セキュアな通信を確立するタイミングである場合(ステップS102のYES)、通信確立部41が情報端末2と学習装置4の間のセキュアな通信を確立し、取得部42が情報端末2からローカルモデルLを取得する(ステップS103)。これにより、グローバルモデルを構築するもととなるローカルモデルLが更新される。その後、通信確立部41は、セキュアな通信を終了する。
ステップS103では、複数のローカルモデルLを取得してもよい。まず、情報端末2aと学習装置4の間でセキュアな通信を確立し、取得部42が情報端末2aからローカルモデルLaを取得し、通信確立部41がセキュアな通信を終了させる。その後、情報端末2bと学習装置4の間でセキュアな通信を確立し、取得部42が情報端末2bからローカルモデルLbを取得し、通信確立部41がセキュアな通信を終了させる。その後、情報端末2cと学習装置4の間でセキュアな通信を確立し、取得部42が情報端末2cからローカルモデルLcを取得し、通信確立部41がセキュアな通信を終了させる。もちろん、ステップS103で、情報端末2a、2b、および2cのいずれかからローカルモデルLを取得してもよい。ローカルモデルLを取得(更新)した後、ステップS102に戻る。なお、複数のローカルモデルLを統合する処理は、任意のタイミングで行われてよい。
実施形態2にかかる学習装置は、適切な通信タイミングで各組織のネットワークにVPN接続し、ローカルモデルを取得する。これにより、ローカルモデルを安全に受信し、適切なタイミングでローカルモデルを更新できる。
なお、セキュアな通信は、VPNによる通信には限定されない。セキュアな通信は、任意のセキュアな通信プロトコル(例:暗号化プロトコル)による通信であってよい。ローカルモデルが、セキュアな通信プロトコル(例:S/MIME)を用いて、メールにより情報端末2から学習装置4へ送信されてもよい。
<実施形態2の変形例>
各組織が所有するデータセットを蓄積するリポジトリが、ローカルモデルLを構築する情報端末2以外に設けられていてもよい。この場合、情報端末2が、必要に応じてリポジトリとの間でセキュアな通信(例:SSL)を確立し、学習に必要なデータセットを取得してもよい。これにより、ローカルモデルLとグローバルモデルの間の通信をセキュアにできるだけでなく、ローカルモデルLとリポジトリの間の通信をセキュアにできる。
各組織が所有するデータセットを蓄積するリポジトリが、ローカルモデルLを構築する情報端末2以外に設けられていてもよい。この場合、情報端末2が、必要に応じてリポジトリとの間でセキュアな通信(例:SSL)を確立し、学習に必要なデータセットを取得してもよい。これにより、ローカルモデルLとグローバルモデルの間の通信をセキュアにできるだけでなく、ローカルモデルLとリポジトリの間の通信をセキュアにできる。
<実施形態3>
実施形態3は、実施形態2の具体例である。実施形態3にかかる学習装置は、ローカルモデルのモデルパラメータを秘密計算で統合する。図5は、実施形態3にかかる学習システム100aの構成を示すブロック図である。図2と図5を比較すると、サーバ群5が追加されている。
実施形態3は、実施形態2の具体例である。実施形態3にかかる学習装置は、ローカルモデルのモデルパラメータを秘密計算で統合する。図5は、実施形態3にかかる学習システム100aの構成を示すブロック図である。図2と図5を比較すると、サーバ群5が追加されている。
サーバ群5は、複数の秘密計算サーバ51を含んでいる。なお、秘密計算サーバ51の数は3つに限られるものではない。ただし、秘密計算を実行する上では秘密計算サーバ51の数が3つ以上であることが好ましい。
サーバ群5は、ローカルモデルLa、ローカルモデルLb、およびローカルモデルLcを統合し、秘密計算の結果を学習装置4に送信する。
学習装置4の統合部43は、ローカルモデルLaのモデルパラメータを複数(例:3つ)のシェアに分け、複数のシェアを複数の秘密計算サーバ51に送信する。統合部43は、ローカルモデルLbのモデルパラメータを複数のシェアに分け、複数のシェアを複数の秘密計算サーバ51に送信する。統合部43は、ローカルモデルLcのモデルパラメータを複数のシェアに分け、複数のシェアを複数の秘密計算サーバ51に送信する。
各秘密計算サーバ51は、受け取ったシェアを用いて、グローバルモデルを計算するための秘密計算を行う。シェアからはローカルモデルを知られることがなく、シェアを使った計算は秘密計算と言える。複数の秘密計算サーバ51が協調してマルチパーティ計算(MPC)を行ってもよい。ローカルモデルLの統合に必要な計算量は十分小さいため、サーバ群5は現実的な時間で秘密計算を実行できると考えられる。
また、学習装置4の全部または一部の機能が、サーバ群5に備えられていてもよい。複数の秘密計算サーバ51がネットワークNにVPN接続することで、サーバ群5と情報端末2の間にセキュアな通信が確立されてもよい。複数の秘密計算サーバ51が複数のシェアを受け取ることにより、ローカルモデルLのモデルパラメータが取得されてもよい。複数の秘密計算サーバ51が、秘密計算を行うことで複数のローカルモデルLのモデルパラメータを統合してもよい。
実施形態3も、実施形態2と同様の効果を奏する。また、実施形態3によれば、グローバルモデルを統合するための計算を秘匿化できる。
なお、上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する取得手段と、
取得した複数のローカルモデルを統合する統合手段と
を備える学習装置。
(付記2)
前記通信確立手段は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに学習させた後に送信される
付記1に記載の学習装置。
(付記3)
前記要求は、前記所定量を超えるデータセットの新たな学習において前記ローカルモデルのモデルパラメータが収束したときに送信される
付記2に記載の学習装置。
(付記4)
前記通信確立手段は、予め定められたタイミングで前記セキュアな通信を確立する
付記1に記載の学習装置。
(付記5)
前記通信確立手段は、前記複数のローカルモデルを統合する処理の進捗度に基づいて次のセキュアな通信を確立する
付記1に記載の学習装置。
(付記6)
前記統合手段は、秘密計算技術を用いて前記複数のローカルモデルを統合する
付記5に記載の学習装置。
(付記7)
前記通信確立手段は、前記学習装置を前記ネットワークにVPN(Virtual Private Network)接続させることで、前記セキュアな通信を確立する
付記1から6のいずれか1項に記載の学習装置。
(付記8)
各組織のネットワークに配置された情報端末と、
学習装置と、
を備えた学習システムであって、
前記学習装置は、
前記情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデル取得し、
取得した複数のローカルモデルを統合する
学習システム。
(付記9)
前記学習装置は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに新たに学習させた後に送信される
付記8に記載の学習システム。
(付記10)
コンピュータが、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得し、
取得した複数のローカルモデルを統合する
学習方法。
(付記11)
コンピュータに、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する処理と、
取得した複数のローカルモデルを統合する処理と
を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
(付記1)
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する取得手段と、
取得した複数のローカルモデルを統合する統合手段と
を備える学習装置。
(付記2)
前記通信確立手段は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに学習させた後に送信される
付記1に記載の学習装置。
(付記3)
前記要求は、前記所定量を超えるデータセットの新たな学習において前記ローカルモデルのモデルパラメータが収束したときに送信される
付記2に記載の学習装置。
(付記4)
前記通信確立手段は、予め定められたタイミングで前記セキュアな通信を確立する
付記1に記載の学習装置。
(付記5)
前記通信確立手段は、前記複数のローカルモデルを統合する処理の進捗度に基づいて次のセキュアな通信を確立する
付記1に記載の学習装置。
(付記6)
前記統合手段は、秘密計算技術を用いて前記複数のローカルモデルを統合する
付記5に記載の学習装置。
(付記7)
前記通信確立手段は、前記学習装置を前記ネットワークにVPN(Virtual Private Network)接続させることで、前記セキュアな通信を確立する
付記1から6のいずれか1項に記載の学習装置。
(付記8)
各組織のネットワークに配置された情報端末と、
学習装置と、
を備えた学習システムであって、
前記学習装置は、
前記情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデル取得し、
取得した複数のローカルモデルを統合する
学習システム。
(付記9)
前記学習装置は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに新たに学習させた後に送信される
付記8に記載の学習システム。
(付記10)
コンピュータが、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得し、
取得した複数のローカルモデルを統合する
学習方法。
(付記11)
コンピュータに、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する処理と、
取得した複数のローカルモデルを統合する処理と
を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
1、4 学習装置
11、41 通信確立部
12、42 取得部
13、43 統合部
2、2a、2b、2c 情報端末
3、3a、3b、3c VPN装置
100、100a 学習システム
5 サーバ群
51 秘密計算サーバ
N、Na、Nb、Nc ネットワーク
PN 公衆網
11、41 通信確立部
12、42 取得部
13、43 統合部
2、2a、2b、2c 情報端末
3、3a、3b、3c VPN装置
100、100a 学習システム
5 サーバ群
51 秘密計算サーバ
N、Na、Nb、Nc ネットワーク
PN 公衆網
Claims (11)
- 各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する取得手段と、
取得した複数のローカルモデルを統合する統合手段と
を備える学習装置。 - 前記通信確立手段は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに新たに学習させた後に送信される
請求項1に記載の学習装置。 - 前記要求は、前記新たな学習において前記ローカルモデルのモデルパラメータが収束したときに送信される
請求項2に記載の学習装置。 - 前記通信確立手段は、予め定められたタイミングで前記セキュアな通信を確立する
請求項1に記載の学習装置。 - 前記通信確立手段は、前記複数のローカルモデルを統合する処理の進捗度に基づいて次のセキュアな通信を確立する
請求項1に記載の学習装置。 - 前記統合手段は、秘密計算技術を用いて前記複数のローカルモデルを統合する
請求項5に記載の学習装置。 - 前記通信確立手段は、前記学習装置を前記ネットワークにVPN(Virtual Private Network)接続させることで、前記セキュアな通信を確立する
請求項1から6のいずれか1項に記載の学習装置。 - 各組織のネットワークに配置された情報端末と、
学習装置と、
を備えた学習システムであって、
前記学習装置は、
前記情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデル取得し、
取得した複数のローカルモデルを統合する
学習システム。 - 前記学習装置は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立し、
前記要求は、所定量を超えるデータセットを前記ローカルモデルに新たに学習させた後に送信される
請求項8に記載の学習システム。 - コンピュータが、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得し、
取得した複数のローカルモデルを統合する
学習方法。 - コンピュータに、
各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
前記セキュアな通信を用いて、前記情報端末から、組織ごとのデータセットを学習させたローカルモデルを取得する処理と、
取得した複数のローカルモデルを統合する処理と
を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/036760 WO2024069957A1 (ja) | 2022-09-30 | 2022-09-30 | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/036760 WO2024069957A1 (ja) | 2022-09-30 | 2022-09-30 | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024069957A1 true WO2024069957A1 (ja) | 2024-04-04 |
Family
ID=90476713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/036760 WO2024069957A1 (ja) | 2022-09-30 | 2022-09-30 | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024069957A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020445A (ja) * | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
JP2020115311A (ja) * | 2019-01-18 | 2020-07-30 | オムロン株式会社 | モデル統合装置、モデル統合方法、モデル統合プログラム、推論システム、検査システム、及び制御システム |
US20210174243A1 (en) * | 2019-12-06 | 2021-06-10 | International Business Machines Corporation | Efficient private vertical federated learning |
JP2021149370A (ja) * | 2020-03-18 | 2021-09-27 | セコム株式会社 | 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム |
JP2022012178A (ja) * | 2020-07-01 | 2022-01-17 | 株式会社東芝 | 学習システム、モデル生成装置、学習方法およびプログラム |
-
2022
- 2022-09-30 WO PCT/JP2022/036760 patent/WO2024069957A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020445A (ja) * | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
JP2020115311A (ja) * | 2019-01-18 | 2020-07-30 | オムロン株式会社 | モデル統合装置、モデル統合方法、モデル統合プログラム、推論システム、検査システム、及び制御システム |
US20210174243A1 (en) * | 2019-12-06 | 2021-06-10 | International Business Machines Corporation | Efficient private vertical federated learning |
JP2021149370A (ja) * | 2020-03-18 | 2021-09-27 | セコム株式会社 | 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム |
JP2022012178A (ja) * | 2020-07-01 | 2022-01-17 | 株式会社東芝 | 学習システム、モデル生成装置、学習方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111611610B (zh) | 联邦学习信息处理方法、系统、存储介质、程序、终端 | |
Zhang et al. | Federated learning for the internet of things: Applications, challenges, and opportunities | |
Zhang et al. | SafeCity: Toward safe and secured data management design for IoT-enabled smart city planning | |
Nguyen et al. | Impact of network delays on Hyperledger Fabric | |
WO2022148283A1 (zh) | 数据处理方法、装置、计算机设备、存储介质及程序产品 | |
Jurdziński et al. | MST in O (1) rounds of congested clique | |
US20230188319A1 (en) | System and method for privacy-preserving distributed training of machine learning models on distributed datasets | |
CN113379066B (zh) | 一种基于雾计算的联邦学习方法 | |
WO2019196921A1 (zh) | 一种量子密钥分发方法、设备及存储介质 | |
US20220294606A1 (en) | Methods, apparatus and machine-readable media relating to machine-learning in a communication network | |
CN112235266B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
US10873455B2 (en) | Techniques for encryption key rollover synchronization in a network | |
CN114679319B (zh) | 基于区块链的分布式数据同步加密方法 | |
Qiu et al. | Permissioned blockchain-based distributed software-defined industrial Internet of Things | |
CN118139042B (zh) | 一种去中心化设备双向加密认证方法和系统 | |
US10797871B1 (en) | Generation of cryptographic authentication keys using a defined sequence of security questions | |
Zhou et al. | Securing federated learning enabled NWDAF architecture with partial homomorphic encryption | |
Deming et al. | Unlocking PHP’s Potential: An All-Inclusive Approach to Server-Side Scripting | |
WO2024069957A1 (ja) | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 | |
US20200267138A1 (en) | Centrally managing data for distributed identity-based firewalling | |
WO2024069956A1 (ja) | 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 | |
Khan et al. | Iot and blockchain integration challenges | |
Noguchi et al. | A secure secret key-sharing system for resource-constrained IoT devices using MQTT | |
Nguyen et al. | Encrypted Data Caching and Learning Framework for Robust Federated Learning-Based Mobile Edge Computing | |
US11943277B2 (en) | Conversion system, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22961016 Country of ref document: EP Kind code of ref document: A1 |