WO2022201296A1 - 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム - Google Patents

学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2022201296A1
WO2022201296A1 PCT/JP2021/011949 JP2021011949W WO2022201296A1 WO 2022201296 A1 WO2022201296 A1 WO 2022201296A1 JP 2021011949 W JP2021011949 W JP 2021011949W WO 2022201296 A1 WO2022201296 A1 WO 2022201296A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
past
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/011949
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
豪 入江
大貴 伊神
悠 三鼓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2023508211A priority Critical patent/JP7587185B2/ja
Priority to US18/283,032 priority patent/US20240169262A1/en
Priority to PCT/JP2021/011949 priority patent/WO2022201296A1/ja
Publication of WO2022201296A1 publication Critical patent/WO2022201296A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Definitions

  • the present invention relates to a learning device, an identification device, a learning method, an identification method, and a computer program.
  • Non-Patent Document 1 discloses a method called memory-playback-based, in which a part of past learning samples is stored and played back when a new task is performed.
  • Non-Patent Document 2 discloses a method of freezing model parameters in deep learning.
  • Non-Patent Document 3 also discloses a method that implicitly leverages the knowledge of previous tasks by introducing an additional regularization term.
  • Maintaining complete knowledge of all previous tasks can lead to the risk of data leakage and privacy violations. Moreover, it is not necessary to have a thorough knowledge of the previous task. For example, assuming a face authentication system installed at the entrance of an office, it is not always necessary to memorize the faces of people transferred to other departments. Therefore, it is desired to selectively forget unnecessary knowledge among past tasks and to perform learning that can preserve other knowledge.
  • the present invention aims to provide a technology that enables learning that allows the user to selectively forget unnecessary learning content from the past learning content while saving other learning content.
  • first data to be learned, second data for identifying the first data, and second past data used during past learning as data for identifying the first data a data input unit for inputting the second past data which is data and is related to learning content to be saved; a synthetic data generation unit for generating synthetic data by synthesizing the first data and the second data; a parameter updating unit that updates parameters of the machine learning model based on characteristics of the synthetic data obtained by inputting the synthetic data and the second past data into the machine learning model and the characteristics of the second past data; is a learning device comprising:
  • One aspect of the present invention is an identification device that identifies input data using a trained model obtained by the learning device.
  • first data to be learned second data for identifying the first data
  • second past data used during past learning as data for identifying the first data inputting the second past data which is data and is related to learning content to be saved, synthesizing the first data and the second data to generate synthesized data, and generating the synthesized data and the second past data
  • parameters of the machine learning model are updated based on characteristics of the synthetic data obtained by inputting data into the machine learning model and the second past data.
  • One aspect of the present invention is an identification method for identifying input data using a trained model obtained by the above learning device.
  • first data to be learned second data for identifying the first data
  • second past data used during past learning as data for identifying the first data inputting the second past data which is data and is related to learning content to be saved, synthesizing the first data and the second data to generate synthesized data, and generating the synthesized data and the second past data
  • a computer program for updating parameters of the machine learning model based on characteristics of the synthetic data obtained by inputting data into the machine learning model and the second past data.
  • One aspect of the present invention is a computer program for causing a computer to function as the above identification device.
  • the present invention it is possible to selectively forget unnecessary learning contents among the past learning contents, and to perform learning in which other learning contents can be saved.
  • FIG 3 is a block diagram showing the functional configuration of the learning device in the embodiment;
  • FIG. It is a figure for demonstrating the objective of this invention. It is the figure which showed typically the process in embodiment.
  • 4 is a flow chart showing the flow of learning processing of the learning device in the embodiment. It is a figure for demonstrating the superiority of this invention. It is a figure which shows an example of the hardware constitutions of the identification device in embodiment.
  • FIG. 1 is a block diagram showing the functional configuration of a learning device 1 according to the embodiment.
  • the learning device 1 in the embodiment is a so-called lifelong learning device that enables continuous learning.
  • the learning device 1 updates a predetermined machine learning model by machine learning until a predetermined termination condition is satisfied.
  • a predetermined machine learning model at the time when a predetermined termination condition is satisfied is a trained model. Therefore, the learning device 1 acquires a learned model by updating a predetermined machine learning model by machine learning until a predetermined end condition is satisfied.
  • a machine learning model (hereinafter referred to as a "machine learning model") by machine learning means suitably adjusting parameter values in the machine learning model.
  • learning to be A means that the parameter values in the machine learning model are adjusted so that A is satisfied.
  • A represents a condition.
  • for learning means to be used for updating a machine learning model.
  • a machine learning model is a set including one or more processes whose execution conditions and order are predetermined.
  • a machine learning model is represented by, for example, a neural network.
  • a neural network is a circuit such as an electronic circuit, an electric circuit, an optical circuit, an integrated circuit, etc., and is a circuit that expresses a machine learning model.
  • the parameters of the neural network are preferably adjusted based on the loss, and the parameters of the network are the parameters of the machine learning model it represents.
  • a network parameter is a parameter of a circuit that constitutes the network.
  • the machine learning model updated by the learning device 1 is a machine learning model that identifies input data.
  • a learned model obtained by the learning device 1 updating parameters is, for example, a model for classifying data.
  • Input data for learning, reference data for learning, and pseudo data for learning are input to the machine learning model.
  • the input data for learning is the data to be learned.
  • the learning input data may be two or more dimensional data such as images, one dimensional time series data such as voice, sound or vibration, or natural language data. It may be symbolic data.
  • learning input data may be any data generally applied to machine learning.
  • one-dimensional time-series data such as voice, sound, or vibration is used as learning input data, it may be converted to two-dimensional data using a ceptrum or the like.
  • the reference data for learning is the so-called correct data in machine learning.
  • the reference data for learning may be digitized information corresponding to class labels such as attributes, class names, or person IDs, or data similar to the input data for learning, that is, image and voice data. There may be.
  • the reference data for learning may be any objective variable when generally applied to machine learning. More specifically, when the label is used as the objective variable, the purpose is identification or authentication, and when data similar to the learning input data is used as the variable, the purpose is regression.
  • the learning data is data including at least a set of learning input data and learning reference data, and is an example of so-called learning data.
  • the learning data is one aspect of the first data.
  • Pseudo data for learning is data different from data for learning.
  • the learning pseudo data may be data of a random noise pattern, data of a pattern obtained by partially degrading the input data for learning, or data of a pattern represented by an average value of the input data for learning.
  • the pattern represented by the average value of the input data for learning may be a pattern in which each pixel is represented by the average value of each pixel in a plurality of input data for learning, or a pattern represented by the average value of each pixel in a plurality of input data for learning. It may be a pattern in which the average value of each pixel is assigned to each pixel.
  • pseudo data for training a small number of samples of past task data whose safety is guaranteed from the viewpoint of privacy etc. may be used, or generated by a generative model obtained by adversarial learning etc. It may be a composite image obtained by
  • the learning pseudo-data is data for identifying the class to which the learning data belongs.
  • each data set D k is represented by the following equation (2) using learning input data x k and learning reference data y k .
  • x i k is input data for learning.
  • y i k is reference data for learning.
  • the purpose of the present invention is to selectively forget unnecessary knowledge (classes in this case) from past tasks and learn to save other knowledge (classes in this case).
  • a class to be stored (hereinafter referred to as a "stored set”) will be denoted as C P k .
  • the class to be selectively forgotten (hereinafter referred to as “deleted set”) is the complement of C P k , ie -C P k (- is on top of C).
  • the network in the learning device 1 is denoted by f, and the parameters are formally denoted by ⁇ . That is, the network is denoted f ⁇ .
  • the object of the present invention can be expressed as follows using the above notation. If the correct class y belongs to the stored class CP , the inputted learning input data x is mapped to the correct class y. On the other hand, when the correct class y does not belong to the stored class CP , f ⁇ is learned that maps the input learning input data x to a class other than the correct class y.
  • the learning device 1 may set the following constraint conditions.
  • FIG. 2 is a diagram for explaining the object of the present invention.
  • the present invention can also be applied without the above-mentioned constraint conditions.
  • the learning device 1 includes an input unit 11 , a control unit 12 , a communication unit 13 , a storage unit 14 and an output unit 15 .
  • the input unit 11 is composed of a data input unit 111, a pseudo data input unit 112, and a pseudo data re-input unit 113.
  • the data input unit 111 inputs the data set Dk shown in the above equation (2) in the k -th task. That is, the data input unit 111 inputs a set of learning input data x i k and learning reference data y i k in the k-th task.
  • the pseudo data input unit 112 inputs learning pseudo data.
  • a set of learning pseudo data is expressed as ⁇ k,c ⁇ .
  • ⁇ k,c is the c-th class learning pseudo-data in the k-th task.
  • the learning pseudo data input to the pseudo data input unit 112 is one aspect of the second data.
  • the pseudo data re-input unit 113 re-inputs the learning pseudo data input by the pseudo data input unit 112 . More specifically, the pseudo data re-input unit 113 may input learning pseudo data of ⁇ k′,c ⁇ (where k′ ⁇ k) in the k-th task. That is, the pseudo-data re-input unit 113 inputs the pseudo-learning data used in the past learning as data for identifying the learning data.
  • the learning pseudo data input to the pseudo data re-input unit 113 is one aspect of the second past data.
  • the control unit 12 controls the learning device 1 as a whole.
  • the control unit 12 is configured using a processor such as a CPU (Central Processing Unit) and a memory.
  • the control unit 12 realizes the functions of the extended data generation unit 121, the feature extraction unit 122, the identification unit 123, the loss acquisition unit 124, the parameter update unit 125, and the end determination unit 126 by executing programs.
  • the extended data generating unit 121 generates extended data ( synthetic data ). Specifically, the extended data generation unit 121 extends the learning input data x i k and the learning pseudo data ⁇ k,c by blending them at a ratio determined by a given probability distribution function. data may be generated.
  • the extended data generator 121 is one aspect of the combined data generator.
  • the extended data generator 121 will be described using a specific example.
  • the purpose of the present invention is to keep storing the classes contained in the preserved set C P k (without access to the original dataset), while continuing to store the classes contained in the stored set C P k (- is C's It is to forget the classes contained in the above).
  • the present invention associates the information of each class with simple data called training pseudo-data ⁇ k,c , and uses the training pseudo-data to remember or forget the class. to control
  • FIG. 3 is a diagram schematically showing processing in the embodiment.
  • the extended data generating unit 121 Upon receiving a new task (a new task in FIG. 3), the extended data generating unit 121 generates one image having random pixel values for each class as class-specific learning pseudo data ⁇ k ,c , and All samples of the class to be used should be embedded.
  • pseudo-learning data ⁇ k,c can be synthesized with the original learning input data x i k of the c-th class, as shown in the following equation (3). , to generate the extended data ⁇ x i k ( ⁇ is on top of x).
  • ⁇ is a random value between 0 and 1.
  • the parameter update unit 125 updates the parameters of the feature extraction unit 122 and the identification unit 123 using these two sets. It should be noted that only the learning pseudo data ⁇ k and c should be left after the update is completed.
  • patterns are independent for each class and task.
  • the feature extraction unit 122 receives the extended data generated by the extended data generation unit 121 and the learning pseudo data re-input by the pseudo data re-input unit 113 to extract features.
  • a method for extracting features for example, a network in general deep learning such as ResNet disclosed in Reference 1 may be used.
  • the identification unit 123 identifies input data using the features extracted by the feature extraction unit 122 .
  • a method for performing identification from features for example, the final layer in a general deep learning network such as ResNet disclosed in Non-Patent Document 4 may be used.
  • a technique such as a support vector machine may be used as a technique for performing identification from features.
  • the identification unit 123 in the embodiment estimates a certain class label has been described, the present invention is not limited to this.
  • the identification unit 123 may perform regression processing instead of performing identification processing.
  • the network structure in the identification unit 123 is a multi-head structure will be described, but the present invention is not limited to this.
  • the loss acquisition unit 124 uses the learning data input by the data input unit 111, the learning pseudo data input by the pseudo data re-input unit 113, and the results identified by the identification unit 123. get a loss.
  • the loss acquisition unit 124 may include regularization for restricting the range of parameters updated by the parameter update unit 125 .
  • the loss obtained by the loss obtaining unit 124 is obtained based on Equation (4).
  • the total loss function L for learning shown in Equation (4) may consist of four terms: classification loss L C , pseudo data loss L M , selective forgetting loss L F , regularization term L R .
  • the classification loss L C and pseudo data loss L M terms are for remembering new tasks.
  • the selective forgetting loss L F and the regularization term L R terms are for preserving previous tasks. Each of these terms will be described in detail below.
  • a classification loss L C is introduced with the goal of correcting the classification for new tasks.
  • the classification loss L C may be given as in Equation (5), for example.
  • N k is the number of learning samples for the k-th task
  • l(x, y) is the loss function of learning input data x i k and learning reference data y i k (for example, class label y) is.
  • the loss function may be Softmax Cross Entropy (CE) or Addition Margin Softmax (AMS) loss.
  • the pseudo data loss L M uses the classification loss L C using the learning input data x i k and the extended data using the learning pseudo data to connect each of the learning pseudo data to the corresponding class. Other losses may be used.
  • the pseudo data loss LM is represented by the following equation (6).
  • a loss function similar to the classification loss L C may be used.
  • the selective forgetting loss L F is introduced for the purpose of storing only the classes belonging to the preservation set C P k and forgetting the classes belonging to the deletion set ⁇ C P k ( ⁇ is above C). be. Specifically, training is performed using only the training pseudo data corresponding to the class of the preservation set, and other training pseudo data (for example, the training pseudo data corresponding to the class of the deletion set) is discarded. achieved. More specifically, when learning pseudo data for generating x i p is ⁇ i p , the loss may be given by the following equation (7), for example.
  • Np is the number of learning samples in the p -th task
  • ⁇ SF is the weight for adjusting the strength of this loss.
  • This loss function does not use any training input data x i k .
  • these classes are caused to catastrophically forget. Thereby, selective forgetting of the previous task can be realized without using any learning input data x i k .
  • the regularization term L R may use general regularization introduced to prevent catastrophic forgetting (eg, Non-Patent Document 3, References 2 and 3).
  • ⁇ is the term weight and i is the class label index.
  • i is the class label index.
  • y'o (i) and ⁇ y'o (i) ( ⁇ on top of y ) in equation (8) are modified recorded and current probabilities.
  • the following formula (9) may be used as the regularization term.
  • ⁇ is the weight of the regularization term
  • ⁇ p,q is the weight of the p-th previous task corresponding to the q-th parameter ⁇ p,q ( ⁇ on top of ⁇ ) on the diagonal.
  • It is a component of the Fisher matrix. Note that the Fisher matrix may be changed so that it is evaluated only for the class corresponding to the preserved set C P k as in the above equation.
  • these multiple regularizations may be combined and used by linear summation or the like.
  • the parameter update unit 125 updates the machine learning model so that the loss acquired by the loss acquisition unit 124 is reduced.
  • the updating of the loss-based machine learning model is specifically a process of updating the parameter values of the neural network representing the machine learning model according to a predetermined rule based on the loss. Updating the parameter values of the neural network is, more specifically, updating the parameter values corresponding to the feature extraction unit 122 and the identification unit 123, respectively.
  • the parameter updating unit 125 may update the parameters using an existing technique such as the stochastic gradient method.
  • the termination determination unit 126 determines whether or not a predetermined termination condition is satisfied.
  • the predetermined termination condition may be set in advance.
  • the predetermined termination condition may be that the loss has become smaller than a threshold value, or that the parameters have been updated a predetermined number of times.
  • the communication unit 13 includes a communication interface for connecting the learning device 1 to an external device.
  • the communication unit 13 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that transmits learning data.
  • the storage unit 14 is configured using a non-temporary computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 14 stores various information regarding the learning device 1 .
  • the storage unit 14 stores information input via the input unit 11 or the communication unit 13, for example.
  • the storage unit 14 stores, for example, machine learning models.
  • the storage unit 14 stores, for example, various information generated by executing the machine learning model.
  • the learning data and the learning pseudo data do not necessarily have to be input only to the input unit 11, nor are they necessarily input only to the communication unit 13.
  • the learning data and the learning pseudo data may be input from either the input unit 11 or the communication unit 13 .
  • learning data may be input to the input unit 11 and learning pseudo data may be input to the communication unit 13 .
  • the learning data and the learning pseudo data may be stored in the storage unit 14 in advance.
  • the output unit 15 outputs various information.
  • the output unit 15 includes a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or an organic EL (Electro-Luminescence) display.
  • the output unit 15 may be configured as an interface that connects these display devices to the study device 1 .
  • the output unit 15 outputs information input to the input unit 11, for example.
  • the output unit 15 may display learning data input to the input unit 11 or the communication unit 13, for example.
  • the output unit 15 may display execution results of the machine learning model, for example.
  • FIG. 4 is a flow chart showing the flow of learning processing of the learning device 1 in the embodiment.
  • the data input unit 111 inputs learning input data for a new task (step S101).
  • the data input unit 111 outputs the inputted learning input data to the control unit 12 .
  • the pseudo data input unit 112 inputs learning pseudo data corresponding to the new task (step S102).
  • the pseudo data input unit 112 outputs the input pseudo data for learning to the control unit 12 .
  • the pseudo data re-input unit 113 inputs learning pseudo data corresponding to past tasks (step S103).
  • the pseudo-data re-input unit 113 outputs the input pseudo-data for learning to the control unit 12 .
  • the extended data generation unit 121 acquires learning input data and learning pseudo data output from the pseudo data input unit 112 .
  • the extended data generation unit 121 generates extended data by synthesizing the acquired input data for learning and the pseudo data for learning (step S104).
  • the extended data generator 121 outputs the generated extended data to the feature extractor 122 .
  • the feature extraction unit 122 extracts features using the extended data output from the extended data generation unit 121 and the learning pseudo data corresponding to the past task output from the pseudo data re-input unit 113 (step S105). .
  • the identification unit 123 performs identification from the features extracted by the feature extraction unit 122 (step S106).
  • the loss acquisition unit 124 receives the identification result obtained by the identification unit 123, the learning input data output from the data input unit 111, and the learning pseudo data corresponding to the past task output from the pseudo data re-input unit 113. (step S107). For example, the loss acquisition unit 124 acquires the loss using the above equation (4).
  • the parameter update unit 125 updates the parameters of the machine learning model based on the loss acquired by the loss acquisition unit 124 (step S108).
  • the termination determination unit 126 determines whether or not termination conditions are satisfied (step S109). If the termination condition is not satisfied (step S109-NO), the learning device 1 executes the processes after step S104.
  • step S109-YES the data output unit 30 outputs the identification result of the identification unit 123 (step S110).
  • FIG. 5 features on the final layer of the shared backbone at the end of each task are visualized using, for example, t-SNE (Stochastic Neighbor Embedding).
  • FIG. 5(A) is a visualization of the features on the final layer when only the classification loss LC is used.
  • FIG. 5B is a diagram visualizing features on the final layer when a general lifelong learning method is used.
  • FIG. 5C is a diagram visualizing the features on the final layer when using the technique of the present invention.
  • FIG. 6 is a diagram showing an example of the hardware configuration of the identification device 2 in the embodiment.
  • the identification device 2 performs identification processing using the trained model obtained by the learning device 1 .
  • the identification device 2 includes a control unit 21 including a processor 26 such as a CPU and a memory 27 connected via a bus, and executes a program.
  • the identification device 2 functions as a device including a control unit 21, an input unit 22, a communication unit 23, a storage unit 24, and an output unit 25 by executing a program.
  • the processor 26 reads the program stored in the storage unit 24 and causes the memory 27 to store the read program.
  • the processor 26 executes the program stored in the memory 27 so that the identification device 2 functions as a device including the control section 21 , the input section 22 , the communication section 23 , the storage section 24 and the output section 25 .
  • the control unit 21 controls operations of various functional units included in the identification device 2 .
  • the control unit 21 identifies input data using, for example, a trained model obtained by the learning device 1 . Specifically, the control unit 21 identifies the data by inputting the data input to the identification device 2 into the learned model. For example, the control unit 21 classifies the data.
  • the input unit 22 includes input devices such as a mouse, keyboard, and touch panel.
  • the input unit 22 may be configured as an interface that connects these input devices to its own device.
  • the input unit 22 receives input of various kinds of information for its own device.
  • the input unit 22 receives, for example, an input instructing the start of processing.
  • the input unit 22 receives input of data to be processed, for example.
  • the communication unit 23 includes a communication interface for connecting its own device to an external device.
  • the communication unit 23 communicates with an external device via wire or wireless.
  • the external device with which the communication unit 23 communicates is, for example, an output destination of processed data. In such a case, the communication unit 23 outputs the processed data to the external device through communication with the external device.
  • the communication unit 23 may communicate with the learning device 1, for example. In this case, the communication unit 23 acquires a trained model obtained by the learning device 1, for example.
  • the storage unit 24 is configured using a non-temporary computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 24 stores various information regarding the identification device 2 .
  • the storage unit 24 stores a trained model acquired via the communication unit 23, for example.
  • the storage unit 24 stores, for example, data to be processed input to the input unit 22 .
  • the output unit 25 outputs various information.
  • the output unit 25 includes a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 25 may be configured as an interface that connects these display devices to its own device.
  • the output unit 25 outputs information input to the input unit 22, for example.
  • the learning device 1 configured as described above, it is possible to selectively forget unnecessary knowledge among past tasks and perform learning in which other knowledge can be saved.
  • the reason for this is that when updating the model (that is, the feature extractor and the classifier), task-specific signals called pseudo input data, e.g. This is because Then, when learning a new task, the learning device 1 ignores (does not use) the learning pseudo data of the class to be deleted. This is because it is possible to intentionally cause the oblivion of the class to be deleted. This is because it is possible to implement selective forgetting for the previous task.
  • the learning device 1 may be implemented using a plurality of information processing devices communicably connected via a network.
  • each functional unit included in the learning device 1 may be distributed and implemented in a plurality of information processing devices.
  • All or part of each function of the learning device 1 and the identification device 2 is hardware (circuitry) such as ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), etc. ) may be implemented using The program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include portable media such as flexible disks, magneto-optical disks, ROMs and CD-ROMs, and storage devices such as hard disks incorporated in computer systems.
  • the program may be transmitted over telecommunications lines.
  • the present invention can be applied to lifelong learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

学習対象となる第１データと、第１データを識別するための第２データと、第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する第２過去データとを入力するデータ入力部と、第１データと第２データとを合成することによって合成データを生成する合成データ生成部と、合成データと、第２過去データとを機械学習モデルに入力して得られる合成データと、第２過去データとの特徴に基づき、機械学習モデルのパラメータを更新するパラメータ更新部と、を備える学習装置。　

Description

学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム
　本発明は、学習装置、識別装置、学習方法、識別方法及びコンピュータプログラムに関する。
　機械学習における深層学習では、ネットワークが新たな学習のために更新されると、以前の学習内容（以下「タスク」という。）に対する性能が劇的に低下する。この影響を軽減するために、過去の学習結果を忘れることなく、新しいタスクに適応するためにネットワークを更新することを目的とする生涯学習に関する研究が盛んである。新しいタスクの具体例として、新しいクラスや新しいインスタンスの集合などが挙げられる。
　生涯学習に関する研究として、非特許文献１～３に示される内容が挙げられる。例えば、非特許文献１には、過去の学習サンプルの一部を記憶し、新しいタスク時に再生するメモリ再生ベースと呼ばれる方法が開示されている。非特許文献２には、深層学習におけるモデルパラメータを凍結させる方法が開示されている。非特許文献３には、追加の正則化項を導入することで、以前のタスクの知識を暗黙的に活用する方法も開示されている。
Sylvestre-Alvise Rebuffi, Alexander Kolesnikov, Georg Sperl, and Christoph H Lampert. "iCaRL: Incremental Classifier and Representation Learning", In Proc.CVPR, 2017. Arun Mallya and Svetlana Lazebnik, "PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning", In Proc. CVPR, 2018. Zhizhong Li and Derek Hoiem. "Learning without Forgetting", TPAMI, 40(12):2935－2947, 2017.
　上述した既存の生涯学習の多くは、前のタスクの知識をすべて保存したまま、新たなタスクに対して表現力の高いモデルを学習するように設計されている。一方、人工知能は、現在、新しいタイプの問題に直面しており、人工知能がより実用的になり、日常生活に結びつくようになるにつれ、プライバシー保護やデータ漏洩防止など、様々な倫理的な問題が重要なテーマとなっている。生涯学習における技術においても、この問題は避けられない。
　これまでの全てのタスクの完全な知識を保持することは、データの漏洩やプライバシーの侵害のリスクにつながる可能性がある。さらに、前のタスクの完全な知識を持っていることが必ずしも必要ではない。例えば、オフィスの入り口に設置された顔認証システムを想定すると、他部署への転勤者の顔を記憶する必要は必ずしもない。そのため、過去のタスクのうち不要な知識を選択的に忘れつつ、その他の知識を保存可能な学習を行うことが望まれている。
　上記事情に鑑み、本発明は、過去の学習内容のうち不要な学習内容を選択的に忘れつつ、その他の学習内容を保存可能な学習を行うことができる技術の提供を目的としている。
　本発明の一態様は、学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力するデータ入力部と、前記第１データと前記第２データとを合成することによって合成データを生成する合成データ生成部と、前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新するパラメータ更新部と、を備える学習装置である。
　本発明の一態様は、上記の学習装置によって得られた学習済みモデルを用いて、入力されたデータの識別を行う識別装置である。
　本発明の一態様は、学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力し、前記第１データと前記第２データとを合成することによって合成データを生成し、前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新する、学習方法である。
　本発明の一態様は、上記の学習装置によって得られた学習済みモデルを用いて、入力されたデータの識別を行う識別方法である。
　本発明の一態様は、学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力し、前記第１データと前記第２データとを合成することによって合成データを生成し、前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新する、コンピュータプログラムである。
　本発明の一態様は、上記の識別装置としてコンピュータを機能させるためのコンピュータプログラムである。
　本発明により、本発明によれば、過去の学習内容のうち不要な学習内容を選択的に忘れつつ、その他の学習内容を保存可能な学習を行うことが可能となる。
実施形態における学習装置の機能構成を示すブロック図である。 本発明の目的を説明するための図である。 実施形態における処理を模式的に示した図である。 実施形態における学習装置の学習処理の流れを示すフローチャートである。 本発明の優位性を説明するための図である。 実施形態における識別装置のハードウェア構成の一例を示す図である。
　以下、本発明の一実施形態を、図面を参照しながら説明する。
　図１は、実施形態における学習装置１の機能構成を示すブロック図である。実施形態における学習装置１は、継続的な学習を可能とする、いわゆる生涯学習を行う装置である。学習装置１は、所定の機械学習のモデルを所定の終了条件が満たされるまで機械学習によって更新する。
　所定の終了条件が満たされた時点の所定の機械学習のモデルが、学習済みモデルである。そのため、学習装置１は、所定の終了条件が満たされるまで所定の機械学習のモデルを機械学習によって更新することで、学習済みモデルを取得する。
　以下、説明の簡単のため、機械学習を行うことを学習ともいう。機械学習のモデル（以下「機械学習モデル」という。）を機械学習によって更新するとは、機械学習モデルにおけるパラメータの値を好適に調整することを意味する。以下の説明において、Ａであるように学習するとは、機械学習モデルにおけるパラメータの値がＡを満たすように調整されることを意味する。Ａは条件を表す。また、以下、学習用とは、機械学習モデルの更新に用いられることを意味する。なお、機械学習モデルとは、実行される条件と順番とが予め定められた１又は複数の処理を含む集合である。
　機械学習モデルは、例えばニューラルネットワークで表される。ニューラルネットワークとは、電子回路、電気回路、光回路、集積回路等の回路であって機械学習モデルを表現する回路である。ニューラルネットワークのパラメータは、損失に基づいて好適に調整される、ネットワークのパラメータは、表現する機械学習モデルのパラメータである。ネットワークのパラメータは、ネットワークを構成する回路のパラメータである。
　学習装置１が更新する機械学習モデルは、入力されたデータを識別する機械学習のモデルである。学習装置１がパラメータを更新することによって得られる学習済みモデルは、例えばデータのクラス分類を行うモデルである。機械学習モデルには、学習用入力データと、学習用参照データと、学習用疑似データと、が入力される。
　学習用入力データは、学習対象となるデータである。例えば、学習用入力データは、画像のような２次元以上のデータであってもよいし、音声、音響あるいは振動のような一次元の時系列データであってもよいし、自然言語のような記号データであってもよい。このように、学習用入力データは、一般的に機械学習に適用されるデータであればいずれでもよい。なお、音声、音響あるいは振動のような一次元の時系列データを学習用入力データとして用いる場合には、ケプトラムなどを用いて二次元化すればよい。
　学習用参照データは、機械学習におけるいわゆる正解データである。学習用参照データとしては、属性、クラス名又は人物ＩＤなどのクラスラベルに相当する情報を数値化したものであってもよいし、学習用入力データと同様のデータ、すなわち画像や音声のデータであってもよい。学習用参照データは、一般的に機械学習に適用される際の目的変数であればいずれでもよい。より具体的には、ラベルを目的変数とする場合は、識別あるいは認証が目的となり、学習用入力データと同様のデータを変数とすれば回帰が目的となる。
　以下、少なくとも１つの学習用入力データと１つの学習用参照データとの対を含むデータを学習用データという。すなわち、学習用データは、学習用入力データと学習用参照データの組を少なくとも含むデータであり、いわゆる学習データの一例である。学習用データは、第１データの一態様である。
　学習用疑似データは、学習用データとは異なるデータである。例えば、学習用疑似データは、ランダムなノイズパターンのデータ、学習用入力データの一部を劣化させたパターンのデータ又は学習用入力データの平均値で表されるパターンのデータであってもよい。学習用入力データの平均値で表されるパターンとは、各画素が、複数の学習用入力データにおける各画素の平均値で表されるパターンであってもよいし、１つの学習用入力データの各画素の平均値を各画素に割り当てたパターンであってもよい。なお、学習用疑似データとしては、過去のタスクのデータのうち、プライバシーなどの観点で安全性が保障されたサンプルを少数使用してもよいし、敵対的学習などによって得られた生成モデルによって生成された合成画像であってもよい。学習用疑似データは、学習用データの属するクラスを識別するためのデータである。
　本明細書では、学習装置１に入力されるデータとして、主に画像データを扱う例について説明しているが、本発明はそれに限定されない。本明細書では、深層学習を用いる場合について説明する。
　以下の説明では、説明を明瞭にするため、入力データの集合を式（１）のように表す。
Figure JPOXMLDOC01-appb-M000001
　例えば各データセットＤｋは、学習用入力データｘｋと学習用参照データｙｋとを用いて、以下の式（２）のように表すこととする。なお、ｘｉ ｋは、学習用入力データである。ｙｉ ｋは、学習用参照データである。
Figure JPOXMLDOC01-appb-M000002
　前述したように、本発明における目的は、過去のタスクのうち不要な知識（この場合はクラス）は選択的に忘れつつ、その他の知識（この場合はクラス）を保存するように学習することである。以下の説明では、保存したいクラス（以下「保存集合」という。）をＣＰ ｋと表すことにする。この場合、選択的に忘れるクラス（以下「削除集合」という。）は、ＣＰ ｋの補集合、すなわち－ＣＰ ｋ（－はＣの上につく）となる。
　学習装置１におけるネットワークをｆで表し、パラメータを形式的にθで表す。すなわち、ネットワークはｆθと表される。
　本発明における目的は、上記の表記を用いると以下のように表すことができる。正解となるクラスｙが保存クラスＣＰに属する場合、入力された学習用入力データｘを、正解となるクラスｙに写像する。一方、正解となるクラスｙが保存クラスＣＰに属さない場合、入力された学習用入力データｘを、正解となるクラスｙ以外に写像するようなｆθを学習する。
　なお、上記の目的を達成する際に、学習装置１は、以下のような制約条件を設けてもよい。
（制約条件）
　ｋ番目のタスクを学習する際に、過去の学習用入力データ｛Ｄ１，…，Ｄｋ－１｝を使用しない。
　形式的に、これらの目的は、図２のように表すことができる。図２は、本発明の目的を説明するための図である。以下の説明では、上述の制約条件を付けた場合について説明するが、本発明は上述の制約条件を設けない場合においても適用可能である。
（学習装置１の具体的な構成）
　学習装置１は、入力部１１、制御部１２、通信部１３、記憶部１４及び出力部１５を備える。
　入力部１１は、データ入力部１１１、疑似データ入力部１１２及び疑似データ再入力部１１３で構成される。
　データ入力部１１１は、ｋ番目のタスクにおいて、上記の式（２）に示すデータセットＤｋを入力する。すなわち、データ入力部１１１は、ｋ番目のタスクにおいて、学習用入力データｘｉ ｋと学習用参照データｙｉ ｋとのセットを入力する。
　疑似データ入力部１１２は、学習用疑似データを入力する。以下では、学習用疑似データの集合を｛ζｋ，ｃ｝と表す。なお、ここで、ζｋ，ｃは、ｋ番目のタスクにおけるｃクラス目の学習用疑似データである。疑似データ入力部１１２に入力される学習用疑似データは、第２データの一態様である。
　疑似データ再入力部１１３は、疑似データ入力部１１２で入力した学習用疑似データを、再度入力する。より具体的には、疑似データ再入力部１１３は、ｋ番目のタスクにおいて、｛ζｋ´，ｃ｝(ただしｋ´＜ｋ)の学習用疑似データを入力すればよい。すなわち、疑似データ再入力部１１３は、学習用データを識別するためのデータとして過去の学習時に利用した学習用疑似データを入力する。疑似データ再入力部１１３に入力される学習用疑似データは、第２過去データの一態様である。
　制御部１２は、学習装置１全体を制御する。制御部１２は、ＣＰＵ（Central Processing Unit）等のプロセッサやメモリを用いて構成される。制御部１２は、プログラムを実行することによって、拡張データ生成部１２１、特徴抽出部１２２、識別部１２３、損失取得部１２４、パラメータ更新部１２５及び終了判定部１２６の機能を実現する。
　拡張データ生成部１２１は、データ入力部１１１にて入力した学習用入力データｘｉ ｋと、疑似データ入力部１１２にて入力した疑似データζｋ，ｃとを合成することによって拡張データ（合成データ）を生成する。具体的には、拡張データ生成部１２１は、学習用入力データｘｉ ｋと、学習用疑似データζｋ，ｃとを、予め与えられた確率分布関数により決定された比率によりブレンディングすることによって拡張データを生成してもよい。拡張データ生成部１２１は、合成データ生成部の一態様である。
　拡張データ生成部１２１について、具体例を用いて説明をする。上述したように、本発明の目的は、（元のデータセットにアクセスすることなく、）保存集合ＣＰ ｋに含まれるクラスを記憶し続ける一方で、削除集合－ＣＰ ｋ（－はＣの上につく）に含まれるクラスを忘れることである。この目的を達成するために、本発明では、各クラスの情報を学習用疑似データζｋ，ｃと呼ばれる単純なデータで関連付け、その学習用疑似データを用いて、そのクラスを記憶し続けるか忘れるかを制御する。
　より具体的には、この制御を行うために、特殊なタイプのデータ拡張を用いる。このプロセスの概要を図３に示す。図３は、実施形態における処理を模式的に示した図である。拡張データ生成部１２１は、新しいタスク（図３では、新タスク）を受け取ると、クラス固有の学習用疑似データζｋ，ｃとしてランダムな画素値を持つ画像をクラス毎に１つ生成し、対応するクラスの全サンプルに埋め込めばよい。
　例えば、下記の式（３）のように、ｋ番目のタスクの学習中に、ｃ番目のクラスの元の学習用入力データｘｉ ｋに対し、学習用疑似データζｋ，ｃを合成することで，拡張データ～ｘｉ ｋ（～はｘの上につく）を生成すればよい。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、λは０から１の間を取るランダムな値である。拡張データ生成部１２１は、元の集合｛（ｘｉ ｋ，ｙｉ ｋ）Ｎ ｉ＝１｝に加え、拡張データ～ｘｉ ｋ（～はｘの上につく）を含む集合｛（～ｘｉ ｋ，ｙｉ ｋ）Ｎ ｉ＝１｝をメモリ（図示せず）に保存する。後段の処理にてパラメータ更新部１２５が、これら２つの集合を用いて特徴抽出部１２２及び識別部１２３のパラメータを更新する。なお、更新が済んだら、学習用疑似データζｋ，ｃだけを残しておけばよい。
　このような拡張データ～ｘｉ ｋ（～はｘの上につく）を用いて学習することで、同じクラスのサンプルは特徴空間の対応する学習用疑似データζｋ，ｃの周りに集約される。そのため、新しいタスクの学習時に学習用疑似データζｋ，ｃを使うか否かによって、学習用疑似データζｋ，ｃの周りの特徴分布を局所的に維持するか否かを制御することができる。その結果、学習用入力データｘｉ ｋを使わずに学習用疑似データζｋ，ｃを使って任意のクラスを覚えさせたり、忘れさせたりすることが可能となる。
　なお学習用疑似データζｋ，ｃの生成には、図３に示すようなランダムな色パターン、すなわち学習用入力データｘｉ ｋと同じ大きさの画像の各グリッドにランダムな色を割り当てればよい。このようなランダムな学習用疑似データζｋ，ｃを用いることの利点として、以下の３つの点が挙げられる。
　１つ目として、ランダムパターンの生成が容易であることが挙げられる。
　２つ目として、パターンがクラスやタスク毎に独立していることが挙げられる。
　３つ目として、既存のメモリベースアプローチのように学習用入力データｘｉ ｋの一部を利用するのとは異なり、パターン自体が生データの情報を直接表現していない。そのため、プライバシー保護やデータ漏洩防止に適していることが挙げられる。
　特徴抽出部１２２は、拡張データ生成部１２１にて生成された拡張データと、疑似データ再入力部１１３にて再入力された学習用疑似データとを入力して特徴を抽出する。特徴を抽出する手法として、例えば参考文献１に開示されているＲｅｓＮｅｔなど一般的な深層学習におけるネットワークを用いればよい。
（参考文献１：K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition”, In Proc. CVPR, 2016.）
　識別部１２３は、特徴抽出部１２２にて抽出された特徴を用いて、入力データを識別する。特徴から識別を行う手法としては、例えば、非特許文献４に開示されているＲｅｓＮｅｔなど一般的な深層学習におけるネットワークにおける最終層などを用いればよい。あるいは、特徴から識別を行う手法として、例えば、サポートベクターマシン（support vector machine）などの手法が用いられてもよい。なお、実施形態における識別部１２３が、ある特定のクラスラベルを推定する場合について述べたが、本発明はこれに限定されない。例えば、識別部１２３が識別処理を行うのではなく、回帰処理を行ってもよい。さらに、識別部１２３におけるネットワークの構造がマルチヘッド構造である場合について説明するが、本発明はこれに限定されない。
　損失取得部１２４は、データ入力部１１１にて入力された学習用データと、疑似データ再入力部１１３にて入力された学習用疑似データと、識別部１２３にて識別された結果とを用いて損失を取得する。例えば、損失取得部１２４は、パラメータ更新部１２５にて更新するパラメータの範囲を制約するための正則化を備えてもよい。
　より具体的に、損失取得部１２４の動作について説明する。損失取得部１２４にて取得する損失を、式（４）に基づいて取得する。式（４）に示す学習のための全損失関数Ｌは、分類損失ＬＣ、疑似データ損失ＬＭ、選択的忘却損失ＬＦ、正則化項ＬＲの４つの項から構成されていてもよい。
Figure JPOXMLDOC01-appb-M000004
　分類損失ＬＣ及び疑似データ損失ＬＭの項は、新しいタスクを覚えるための項である。選択的忘却損失ＬＦ及び正則化項ＬＲの項は、以前のタスクを維持するための項である。以下、これらの各項について詳細に説明する。
　分類損失ＬＣは、新しいタスクに対する分類を正確に行うことを目的として導入される。具体的には、分類損失ＬＣは、例えば式（５）のように与えればよい。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、Ｎｋはｋ番目のタスクの学習サンプル数、l（ｘ，ｙ）は学習用入力データｘｉ ｋと学習用参照データｙｉ ｋ（例えば、クラスラベルｙ）の損失関数である。例えば、損失関数としては、ソフトマックス・クロス・エントロピー（ＣＥ）又は加法マージン・ソフトマックス（ＡＭＳ：Addition Margin Softmax）損失を用いればよい。
　疑似データ損失ＬＭは、学習用入力データｘｉ ｋを用いた分類損失ＬＣの他に、それぞれの学習用疑似データを対応するクラスに結びつけるために学習用疑似データを用いた拡張データを用いた別の損失を用いてもよい。疑似データ損失ＬＭは、以下の式（６）のように表される。
Figure JPOXMLDOC01-appb-M000006
　なお、損失関数としては、分類損失ＬＣと同様のものを用いればよい。
　選択的忘却損失ＬＦは、保存集合ＣＰ ｋに属するクラスだけを記憶しておき、削除集合－ＣＰ ｋ（－はＣの上につく）に属するクラスは忘却させることを目的として導入される。具体的には、保存集合のクラスに対応する学習用疑似データのみを用いて学習を行い、他の学習用疑似データ（例えば、削除集合のクラスに対応する学習用疑似データ）を破棄することで達成される。より具体的には、ｘｉ ｐを生成するための学習用疑似データをζｉ ｐとしたとき、損失として例えば以下の式（７）で与えればよい。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、Ｎｐはｐ番目のタスクでの学習サンプル数、γＳＦはこの損失の強さを調整するための重みである。この損失関数は、学習用入力データｘｉ ｋを一切使用しない。そして、削除集合－ＣＰ ｋ（－はＣの上につく）内のクラスの学習用疑似データも使用しないことで、これらのクラスは破滅的な忘却が引き起こされる。これにより、学習用入力データｘｉ ｋを一切使用せずに、前のタスクの選択的な忘却を実現することができる。
　正則化項ＬＲは、破滅的な忘却を防ぐために導入される一般的な正則化（例えば非特許文献３、参考文献２及び３）を用いればよい。
（参考文献２：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al, “Overcoming catastrophic forgetting in neural networks”, PNAS, 114(13):3521-3526, 2017.）
（参考文献３：Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. “Memory Aware Synapses: Learning what (not) to forget”, ECCV, pages 139-154, 2018.）
　なお、本実施形態においては、正則化項として、保存集合Ｃｐ ｋに対してのみ破滅的な忘却の防止が必要であるために、これらの保存集合に対してのみ、正則化を与えるように修正してもよい。より具体的には、例えば非特許文献３の場合には、正則化項として以下の式（８）を用いればよい。
Figure JPOXMLDOC01-appb-M000008
　式（８）において、γは項の重み、ｉはクラスラベルのインデックスである。ここでは、保存集合ＣＰ ｋのみを対象とするように、ｉ∈ＣＰ ｋのように和を変更する。式（８）におけるｙ´ ｏ （ｉ）と＾ｙ´ ｏ （ｉ）（＾はｙの上につく）は、記録された確率と現在の確率を修正したものである。非特許文献５の場合には、正則化項として以下の式（９）を用いればよい。
Figure JPOXMLDOC01-appb-M000009
　式（９）において、γは正則化項の重み、Γp,qは対角線上のｑ番目のパラメータ＾θｐ，ｑ（＾はθの上につく）に対応するｐ番目の前のタスクのＦｉｓｈｅｒ行列の成分である。なお、上式のように保存集合ＣＰ ｋに対応するクラスに対してのみ評価されるようにＦｉｓｈｅｒ行列を変更してもよい。正則化項として、これら複数の正則化を線形和などにより、組み合わせて用いてもよい。
　パラメータ更新部１２５は、損失取得部１２４によって取得された損失が小さくなるように、機械学習モデルを更新する。損失に基づく機械学習モデルの更新は、具体的には、損失に基づき所定の規則にしたがって機械学習モデルを表すニューラルネットワークのパラメータの値を更新する処理である。ニューラルネットワークのパラメータの値の更新とは、より具体的には、例えば特徴抽出部１２２と識別部１２３それぞれに対応するパラメータの値の更新である。パラメータ更新部１２５は、パラメータを更新する際には、確率的勾配法等の既存の手法を用いてパラメータを更新すればよい。
　終了判定部１２６は、所定の終了条件が満たされたか否かを判定する。所定の終了条件は、予め設定されていてもよい。例えば、所定の終了条件は、損失が閾値以上小さくなったことであってもよいし、パラメータが所定の回数更新されたことであってもよい。
　通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば学習用データの送信元の装置である。
　記憶部１４は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は、学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１１又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば機械学習モデルを記憶する。記憶部１４は、例えば機械学習モデルの実行により生じた各種情報を記憶する。
　なお、学習用データ及び学習用疑似データは、必ずしも入力部１１だけに入力される必要もないし、通信部１３だけに入力される必要もない。学習用データ及び学習用疑似データは、入力部１１と通信部１３とのどちらから入力されてもよい。例えば学習用データが入力部１１に入力され、学習用疑似データが通信部１３に入力されてもよい。学習用データ及び学習用疑似データは、予め記憶部１４が記憶済みであってもよい。
　出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイや液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１１に入力された情報を出力する。出力部１５は、例えば入力部１１又は通信部１３に入力された学習用データを表示してもよい。出力部１５は、例えば機械学習モデルの実行結果を表示してもよい。
　図４は、実施形態における学習装置１の学習処理の流れを示すフローチャートである。
　データ入力部１１１は、新しいタスクの学習用入力データを入力する（ステップＳ１０１）。データ入力部１１１は、入力した学習用入力データを制御部１２に出力する。疑似データ入力部１１２は、新しいタスクに対応する学習用疑似データを入力する（ステップＳ１０２）。疑似データ入力部１１２は、入力した学習用疑似データを制御部１２に出力する。疑似データ再入力部１１３は、過去のタスクに対応する学習用疑似データを入力する（ステップＳ１０３）。疑似データ再入力部１１３は、入力した学習用疑似データを制御部１２に出力する。
　拡張データ生成部１２１は、学習用入力データと、疑似データ入力部１１２から出力された学習用疑似データとを取得する。拡張データ生成部１２１は、取得した学習用入力データと、学習用疑似データとを合成することによって拡張データを生成する（ステップＳ１０４）。拡張データ生成部１２１は、生成した拡張データを特徴抽出部１２２に出力する。
　特徴抽出部１２２は、拡張データ生成部１２１から出力された拡張データと、疑似データ再入力部１１３から出力された過去タスクに対応する学習用疑似データとを用いて特徴を抽出する（ステップＳ１０５）。識別部１２３は、特徴抽出部１２２によって抽出された特徴から識別を行う（ステップＳ１０６）。損失取得部１２４は、識別部１２３において得られた識別結果と、データ入力部１１１から出力された学習用入力データと、疑似データ再入力部１１３から出力された過去タスクに対応する学習用疑似データに基づいて、損失を取得する（ステップＳ１０７）。例えば、損失取得部１２４は、上式（４）により損失を取得する。
　パラメータ更新部１２５は、損失取得部１２４にて取得した損失に基づき、機械学習モデルのパラメータを更新する（ステップＳ１０８）。終了判定部１２６は、終了条件が満たされたか否かを判定する（ステップＳ１０９）。終了条件が満たされていない場合（ステップＳ１０９－ＮＯ）、学習装置１はステップＳ１０４以降の処理を実行する。
　一方、終了条件が満たされた場合（ステップＳ１０９－ＹＥＳ）、データ出力部３０は、識別部１２３の識別結果を出力する（ステップＳ１１０）。
　次に、図５を用いて本発明における技術の優位性について説明する。図５では、各タスク終了時の共有バックボーンの最終層上の特徴を例えばｔ－ＳＮＥ（Stochastic Neighbor Embedding）を用いて可視化している。図５（Ａ）は、分類損失ＬＣのみを用いた場合の最終層上の特徴を可視化した図である。図５（Ｂ）は、一般的な生涯学習の手法を用いた場合の最終層上の特徴を可視化した図である。図５（Ｃ）は、本発明における手法を用いた場合の最終層上の特徴を可視化した図である。
　分類損失のみを用いた場合には、過去のタスクを全て忘れてしまう。その理由は、図５（Ａ）に示すように、過去タスクの全てのサンプルがランダムに配置されるためである。
　一般的な生涯学習を用いた場合には、図５（Ｂ）に示すように、全ての過去のタスクにおいて、クラス毎にサンプルが凝集されており、クラス毎に容易に分離可能な構造になっている。すなわち、生涯学習は可能であるが、一方で特定のクラスを忘れることはできないことを意味している。
　上記２つに対し、本発明における手法を用いた場合には、図５（Ｃ）に示すように、記憶すべきクラスのサンプルを特徴空間内に凝集させたままにしておき、記憶すべきクラスを素早く散逸させることができており、忘れたいクラスのみ忘れつつ、生涯学習を行うことが可能であることが示されている。
　図６は、実施形態における識別装置２のハードウェア構成の一例を示す図である。識別装置２は、学習装置１によって得られた学習済みモデルを用いて識別処理を行う。識別装置２は、バスで接続されたＣＰＵ等のプロセッサ２６とメモリ２７とを備える制御部２１を備え、プログラムを実行する。識別装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　より具体的には、プロセッサ２６が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ２７に記憶させる。プロセッサ２６が、メモリ２７に記憶させたプログラムを実行することによって、識別装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　制御部２１は、識別装置２が備える各種機能部の動作を制御する。制御部２１は、例えば学習装置１によって得られた学習済みモデルを用いて、入力されたデータを識別する。具体的には、制御部２１は、識別装置２に入力されたデータを学習済みモデルに入力することによってデータを識別する。例えば、制御部２１は、データのクラス分類を行う。
　入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を自装置に接続するインタフェースとして構成されてもよい。入力部２２は、自装置に対する各種情報の入力を受け付ける。入力部２２は、例えば処理の開始を指示する入力を受け付ける。入力部２２は、例えば処理対象となるデータの入力を受け付ける。
　通信部２３は、自装置を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。通信部２３が通信を行う外部装置は、例えば処理後のデータの出力先である。このような場合、通信部２３は、外部装置との通信によって外部装置に処理後のデータを出力する。
　通信部２３は、例えば学習装置１と通信を行ってもよい。この場合、通信部２３は、例えば学習装置１によって得られた学習済みモデルを取得する。
　記憶部２４は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は識別装置２に関する各種情報を記憶する。記憶部２４は、例えば通信部２３を介して取得した学習済みモデルを記憶する。記憶部２４は、例えば入力部２２に入力された処理対象となるデータを記憶する。
　出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を自装置に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。
　以上のように構成された学習装置１によれば、過去のタスクのうち不要な知識を選択的に忘れつつ、その他の知識を保存可能な学習を行うことが可能となる。その理由は、モデル（すなわち特徴抽出部と識別部）を更新する際に、疑似入力データと呼ばれるタスク固有の信号、例えば、対応するクラスのすべての入力データに埋め込むデータ拡張を拡張データ生成部１２１にて行うためである。そして、学習装置１は、新たなタスクを学習する際に、削除したいクラスの学習用疑似データを無視して（使用しない）学習する。これにより、削除したいクラスについては、意図的に忘却を引き起こすことができるためである。これにより、前のタスクに対する選択的な忘却を実現することができるためである。
　学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
　なお、学習装置１及び識別装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）を用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、生涯学習に適用できる。
１…学習装置，　２…識別装置，　１１…入力部，　１２…制御部，　１３…通信部，　１４…記憶部，　１５…出力部，　２１…制御部，　２２…入力部，　２３…通信部，　２４…記憶部，　２５…出力部，　２６…プロセッサ，　２７…メモリ，　１１１…データ入力部，　１１２…疑似データ入力部，　１１３…疑似データ再入力部，　１２１…拡張データ生成部，　１２２…特徴抽出部，　１２３…識別部，　１２４…損失取得部，　１２５…パラメータ更新部，　１２６…終了判定部

Claims (9)

  1. 　学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力するデータ入力部と、
    　前記第１データと前記第２データとを合成することによって合成データを生成する合成データ生成部と、
    　前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新するパラメータ更新部と、
    　を備える学習装置。
  2. 　前記第２データは、ランダムなノイズパターンのデータ、学習用の入力データの一部を変化させたパターンのデータ、又は学習用の入力データの平均値で表されるパターンのデータのいずれかである、
    　請求項１に記載の学習装置。
  3. 　前記合成データと、前記第２過去データとの特徴を用いて、前記第１データを識別する識別部と、
    　前記第１データと、前記第２過去データと、前記識別部における識別結果とを用いて損失を取得する損失取得部と、
    　をさらに備える、
    　請求項１又は２に記載の学習装置。
  4. 　前記損失取得部は、前記パラメータ更新部が更新するパラメータの範囲を制約する正則化と、前記合成データにおける識別精度に基づく損失と、前記第１データにおける識別精度に基づく損失と、前記第２データにおける識別精度に基づく損失とに基づいて、前記損失を取得する、
    　請求項３に記載の学習装置。
  5. 　請求項１から４のいずれか一項に記載の学習装置によって得られた学習済みモデルを用いて、入力されたデータの識別を行う識別装置。
  6. 　学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力し、
    　前記第１データと前記第２データとを合成することによって合成データを生成し、
    　前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新する、
    　学習方法。
  7. 　請求項１から４のいずれか一項に記載の学習装置によって得られた学習済みモデルを用いて、入力されたデータの識別を行う識別方法。
  8. 　学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力し、
    　前記第１データと前記第２データとを合成することによって合成データを生成し、
    　前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新する、
    　コンピュータプログラム。
  9. 　請求項５に記載の識別装置としてコンピュータを機能させるためのコンピュータプログラム。
PCT/JP2021/011949 2021-03-23 2021-03-23 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム Ceased WO2022201296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023508211A JP7587185B2 (ja) 2021-03-23 2021-03-23 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム
US18/283,032 US20240169262A1 (en) 2021-03-23 2021-03-23 Learning apparatus, identification apparatus, learning method, identification method, and computer program
PCT/JP2021/011949 WO2022201296A1 (ja) 2021-03-23 2021-03-23 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011949 WO2022201296A1 (ja) 2021-03-23 2021-03-23 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2022201296A1 true WO2022201296A1 (ja) 2022-09-29

Family

ID=83396464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011949 Ceased WO2022201296A1 (ja) 2021-03-23 2021-03-23 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20240169262A1 (ja)
JP (1) JP7587185B2 (ja)
WO (1) WO2022201296A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496499B2 (ja) * 2020-11-30 2024-06-07 パナソニックＩｐマネジメント株式会社 学習装置、学習方法、および故障予知システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074305A1 (en) * 2018-09-05 2020-03-05 Royal Bank Of Canada System and method for improving deep neural network performance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074305A1 (en) * 2018-09-05 2020-03-05 Royal Bank Of Canada System and method for improving deep neural network performance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DE LANGE MATTHIAS; ALJUNDI RAHAF; MASANA MARC; PARISOT SARAH; JIA XU; LEONARDIS ALES; SLABAUGH GREGORY; TUYTELAARS TINNE: "A Continual Learning Survey: Defying Forgetting in Classification Tasks", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY., USA, vol. 44, no. 7, 5 February 2021 (2021-02-05), USA , pages 3366 - 3385, XP011910189, ISSN: 0162-8828, DOI: 10.1109/TPAMI.2021.3057446 *

Also Published As

Publication number Publication date
JP7587185B2 (ja) 2024-11-20
JPWO2022201296A1 (ja) 2022-09-29
US20240169262A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
Wang et al. Rehearsal-free continual language learning via efficient parameter isolation
CN113919497B (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
US11797705B1 (en) Generative adversarial network for named entity recognition
CN112507912B (zh) 一种识别违规图片的方法及装置
CN111091193B (zh) 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法
CN115456043B (zh) 分类模型处理、意图识别方法、装置和计算机设备
CN112052451A (zh) 一种webshell检测方法和装置
CN116486109B (zh) 模态自适应的描绘性查询行人重识别方法及系统
CN113221717A (zh) 一种基于隐私保护的模型构建方法、装置及设备
Kar et al. Preventing catastrophic forgetting in continual learning of new natural language tasks
CN115470520A (zh) 一种在垂直联邦框架下的差分隐私及去噪的数据保护方法
Liu et al. Task-adaptive saliency guidance for exemplar-free class incremental learning
Chen et al. Adversarially reprogramming pretrained neural networks for data-limited and cost-efficient malware detection
WO2022201296A1 (ja) 学習装置、識別装置、学習方法、識別方法及びコンピュータプログラム
CN115913707A (zh) 应用访问请求的识别方法、装置和计算机设备
CN114648795A (zh) 图像识别方法、训练方法、装置、设备、介质和程序产品
CN119691473A (zh) 泛化数据记录
CN111783088A (zh) 一种恶意代码家族聚类方法、装置和计算机设备
WO2025173264A1 (ja) 学習装置、学習方法、及び学習プログラム
JP2020181469A (ja) データ管理装置、データ管理方法、プロブラム、及びデータ管理システム
Iqbal et al. Machine learning techniques for image manipulation detection: A review and analysis
Wu et al. Automatic leaf recognition based on deep convolutional networks
CN115906186B (zh) 一种人脸图像隐私保护方法、装置及存储介质
KR102580958B1 (ko) 드론 탑재용 산불 여부 결정 학습 장치, 산불 여부 결정 학습 방법, 산불 여부 결정 장치 및 산불 여부 결정 방법
US12455904B2 (en) Automatic quasi-identifier detection and recommendations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932906

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023508211

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18283032

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932906

Country of ref document: EP

Kind code of ref document: A1