WO2022176481A1 - 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム - Google Patents

機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム Download PDF

Info

Publication number
WO2022176481A1
WO2022176481A1 PCT/JP2022/001626 JP2022001626W WO2022176481A1 WO 2022176481 A1 WO2022176481 A1 WO 2022176481A1 JP 2022001626 W JP2022001626 W JP 2022001626W WO 2022176481 A1 WO2022176481 A1 WO 2022176481A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
augmentation
machine learning
learning
domain
Prior art date
Application number
PCT/JP2022/001626
Other languages
English (en)
French (fr)
Inventor
真実 宮本
盛太郎 武良
佑紀 広橋
敦史 橋本
隆宏 徳
直樹 土屋
善久 井尻
大和 岡本
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021122787A external-priority patent/JP2022124989A/ja
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US18/264,038 priority Critical patent/US20240232704A9/en
Priority to EP22755806.1A priority patent/EP4296911A1/en
Priority to CN202280011672.5A priority patent/CN116964600A/zh
Publication of WO2022176481A1 publication Critical patent/WO2022176481A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the present invention relates to a machine learning data generation method, a meta-learning method, a machine learning data generation device, and a program.
  • Patent Literature 1 describes a training method for a meta-learning network.
  • Generalization learning requires a lot of domain data to improve generalization performance, but acquiring new data is costly.
  • the present invention has been made in view of the circumstances described above, and aims to provide a method of generating training data capable of improving the generalization ability of a learning model.
  • a machine learning data generation method is a data generation method for generating data for domain generalization in machine learning, wherein a computer uses learning data for training a machine learning model. performing the augmentation as data; and extracting, by a computer, a dataset containing both the original data and the data generated by the data augmentation as the dataset for the domain generalization. , is included.
  • a domain is a dataset acquired in an environment.
  • Machine learning includes supervised learning, unsupervised learning, and reinforcement learning.
  • supervised learning a dataset is a collection of pairs of data and teacher labels.
  • unsupervised learning a dataset is a collection of data.
  • reinforcement learning a dataset is the state of the space (environment) in which an agent exists.
  • Domain generalization is a method of constructing a robust model against domain shifts between unknown domains and distributions by using training sets extracted from multiple distributions.
  • the domain shift represents the shift in the distribution followed by the data between the training set and the test set.
  • a training set is a collection of data used for model training
  • a test set is a collection of data used for model verification (testing).
  • the original data and the data generated by the data augmentation are each held in units of domains, and in the extracting step, at least one domain of the original data and the data generated by the data augmentation At least one domain of the obtained data may be extracted as a data set for said domain generalization.
  • the domain for learning can be extracted so as to include both the domain of the original data and the domain of the generated data, thereby preventing the induction of over-learning due to bias toward the original data or the generated data. can be done.
  • the original data may include a target portion and a non-target portion, and in the step of performing the augmentation, data augmentation may be performed to change the non-target portion in the original data.
  • a target portion is a portion that directly affects a subject (task) to be learned by machine learning, and is a portion targeted by the task.
  • the non-target portion is a portion that does not affect the task and mainly corresponds to the environment (for example, background, brightness, etc.) in which data is acquired.
  • the target part is the part that affects the relationship between the data and the teacher label, for example, the information corresponding to the target object to be recognized.
  • An object is an object to be judged, which is the purpose of using machine learning.
  • a recognition target in image recognition for example, a vehicle in vehicle recognition
  • voice data excluding noise and environmental sound in voice recognition text in meaning extraction, and the like.
  • the non-target portion in supervised learning includes the environment in which the target exists (for example, background, brightness, etc.).
  • the target part is the part that affects the relationship between the data and the features to be obtained from the data, for example, the information of the part corresponding to the object to be clustered.
  • An object is an object to be judged, which is the purpose of using machine learning, as in supervised learning.
  • the untargeted part in unsupervised learning includes the environment in which the target exists (for example, background, brightness, etc.).
  • the target part is the information that affects the acquisition of the "reward” (task achievement) in the "environment” in which the "agent” is placed.
  • the information is information about the object and factors affecting gripping of the object (for example, the inclination of the place where the object is placed, friction, etc.).
  • the non-target portion in reinforcement learning is the information of the portion that does not affect the reward, such as the color and brightness of the place where the target object is placed.
  • the original data is image data
  • the target portion is an image of an object
  • the environment around the object and/or the Data augmentation may be performed to change the imaging conditions of the object.
  • the step of performing the augmentation by performing at least one of changing the brightness of the image of the original data, changing the background, and changing the color tone, the environment around the object is changed.
  • Alternate data augmentation may be implemented. As a result, it is possible to generate a variety of training data assuming changes in shooting environments such as time and weather.
  • the step of performing the augmentation by performing at least one of rotation, inversion, enlargement, reduction, movement, trimming, and filtering of the image of the original data, the image of the object is captured.
  • Data augmentation with varying conditions may be implemented. As a result, it is possible to generate a variety of training data assuming differences in imaging conditions.
  • the original data is voice data
  • the target portion is a specific voice
  • the step of performing the augmentation includes data augmentation for changing environmental sounds and noises in the voice data of the original data.
  • the data augmentation may be performed by synthesizing the audio data of the original data with the audio of the environmental sound. As a result, it is possible to generate a variety of training data assuming differences in locations where voice data was obtained.
  • the original data is signal data
  • the target part is a specific signal pattern
  • data augmentation is performed to change noise in the signal data of the original data.
  • the data augmentation may be performed by synthesizing noise with the signal data of the original data. As a result, it is possible to generate a variety of training data assuming differences in the locations where the signal data were acquired.
  • the original data is text data
  • the target portion is a specific text pattern
  • data augmentation is performed to change the writing style of the text data of the original data. You may make it As a result, in training of a learning model such as semantic extraction, various training data effective for generalization learning can be generated.
  • the data augmentation may be performed by changing the beginning and/or ending of the text data of the original data. As a result, it is possible to generate various training data assuming different styles of writing.
  • the original data is data related to the state of the environment in which the agent is placed in reinforcement learning
  • the target portion is information on the portion that affects acquisition of reward
  • the step of performing the augmentation includes the Data augmentation may be performed to change the conditions of the portion of the environmental state in the original data that does not affect acquisition of the reward.
  • the domain of the original data and the domain of the data generated by the data augmentation may be extracted so as to include a predetermined ratio.
  • the domain for learning can be extracted so as to include both the domain of the original data and the domain of the generated data, thereby preventing the induction of over-learning due to bias toward the original data or the generated data. can be done.
  • the predetermined ratio may be specified by the user, or may be held as a parameter in advance.
  • a meta-learning method includes the step of performing domain generalization by meta-learning using the data set for domain generalization generated by the above data generation method for machine learning.
  • a set of a plurality of data sets including at least one domain of the original data and at least one domain of the data generated by the data augmentation may be used to perform domain generalization by meta-learning. This makes it possible to perform meta-learning using a data set that always includes both original data and data generated by data augmentation, prevent over-learning, and improve the generalization ability of domain generalization.
  • a domain generalization learning method includes the step of performing domain generalization learning using the data set for domain generalization generated by the above data generation method for machine learning.
  • a machine learning data generation device is a data generation device that generates data for domain generalization in machine learning, wherein learning data used for training a machine learning model is used as original data.
  • a data generation unit that performs augmentation; and a training data extraction unit that extracts a dataset containing both the original data and the data generated by the data augmentation as a dataset for the domain generalization.
  • a program according to one aspect of the present invention is a computer that generates data for domain generalization in machine learning. and a training data extraction unit that extracts a data set containing both the original data and the data generated by the data augmentation as a data set for the domain generalization.
  • FIG. 4 is a flowchart showing an example of the operation of the machine learning data generation device according to the embodiment of the present invention; 4 is a flowchart showing an example of the operation of the machine learning data generation device according to the embodiment of the present invention; The figure explaining an example of the data generation processing for machine-learnings which concerns on embodiment of this invention.
  • FIG. 4 is a diagram showing an example of a training data set extraction method by the machine learning data generation device according to the embodiment of the present invention
  • FIG. 4 is a diagram showing an example of a training data set extraction method by the machine learning data generation device according to the embodiment of the present invention
  • FIG. 5 is a diagram illustrating data augmentation according to data type by machine learning data generation processing according to the embodiment of the present invention
  • FIG. 4 is a flowchart showing an example of the operation of the machine learning data generation device according to the embodiment of the present invention; The figure explaining an example of the data generation processing for machine-learnings which concerns on embodiment of this invention. The figure explaining an example of the data generation processing for machine-learnings which concerns on embodiment of this invention.
  • FIG. 5 is a diagram illustrating data augmentation according to data type by machine learning data generation processing according to the embodiment of the present invention; The figure explaining an example of the data generation processing for machine-learnings which concerns on embodiment of this invention. The figure explaining an example of the data generation processing for machine-learnings which concerns on embodiment of this invention.
  • this embodiment an embodiment according to one aspect of the present invention (hereinafter also referred to as "this embodiment") will be described based on the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. It goes without saying that various modifications and variations can be made without departing from the scope of the invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be appropriately adopted.
  • the data appearing in this embodiment are explained in terms of natural language, more specifically, they are specified in computer-recognizable pseudo-language, commands, parameters, machine language, and the like.
  • FIG. 1 is a diagram for explaining an outline of a machine learning data generation process by a machine learning data generation device 10 according to the present invention.
  • data augmentation is performed using image data captured by a camera installed at a point A as original data (original data) to generate training data.
  • the original data is divided into four domain data sets and stored: image data taken in rainy weather, image data taken in snowfall, image data taken in daytime, and image data taken at night.
  • image data taken in rainy weather image data taken in snowfall
  • image data taken in daytime image data taken at night.
  • each data after augmentation is divided into data for rainy weather, data for snowfall, daytime data, and nighttime data.
  • the data are divided into datasets and saved. Note that data augmentation is sometimes called data augmentation.
  • a predetermined number of data are extracted so as to include both the original data and generated data domains, and are used as a training data set for meta-learning. For example, from the original data, we extract the data in each domain of rain data and nighttime data, and from the generated data, we extract the data in each domain of snowfall data and daytime data, and execute meta-learning as a training dataset. . Note that the original data and the generated data are data having a predetermined structure for meta-learning.
  • the machine learning data generation device 10 includes, as its hardware resources, a processor 11, a main memory 12, a camera interface 13, an input/output interface 14, a display interface 15, a communication interface 16, and a storage device 17. computer system.
  • the storage device 17 is a computer-readable recording medium such as a disk medium (eg, magnetic recording medium or magneto-optical recording medium) or semiconductor memory (eg, volatile memory or non-volatile memory). Such a recording medium can also be called a non-transitory recording medium, for example.
  • a generalization learning program 20 is stored in the storage device 17 .
  • the generalization learning program 20 is a computer program for causing the processor 11 to execute the meta-learning method according to this embodiment.
  • the generalization learning program 20 is loaded from the storage device 17 into the main memory 12 and interpreted and executed by the processor 11, thereby executing the meta-learning method according to the present embodiment.
  • a camera 51 is connected to the camera interface 13 .
  • Camera 51 may include, for example, an image sensor that captures color images.
  • the camera 51 may be built in the machine learning data generation device 10 or may be externally attached to the machine learning data generation device 10 .
  • An image captured by the camera 51 is stored in the original data storage section 31 of the storage device 17 as original data.
  • An input device 52 and an output device 53 are connected to the input/output interface 14 .
  • the input device 52 is, for example, a keyboard, mouse, touch pad, or the like.
  • the output device 53 is a device that outputs various processing results and the like.
  • the output device 53 is, for example, a printer.
  • a display device 54 is connected to the display interface 15 .
  • the display device 54 displays a user interface for accepting instructions from the user, and original data and generated data for data augmentation.
  • FIG. 3 is a block diagram showing the functional modules executed by processor 11. As shown in FIG. As shown in FIG. 3, the functional module includes a data generation unit 21, a training data extraction unit 22, and a learning execution unit .
  • An original data storage unit 31 and a generated data storage unit 32 are mounted in the storage device 17 .
  • the original data storage unit 31 stores original data for data augmentation captured by the camera 51 or the like.
  • the generated data storage unit 32 stores data generated by data augmentation.
  • FIG. 1 a machine learning data generation method by the machine learning data generation device 10 according to the present embodiment will be described with reference to FIGS. 4 to 8.
  • FIG. an example will be described in which data augmentation is performed on image data serving as original data to generate new image data.
  • FIG. 4 is a flow chart showing an example of a machine learning data generation method according to an embodiment of the present invention.
  • supervised learning is assumed as the machine learning method, but it can be applied to unsupervised learning and reinforcement learning as well.
  • step S101 the original data is stored for each domain in the original data storage unit 31 of the machine learning data generation device 10.
  • the original data is a set of teacher data created by annotating image data taken at a point A in advance.
  • the original data is divided into four domains, data for rainy weather, data for snowfall, data for daytime, and data for nighttime, and stored according to the weather and time of day when the image was taken.
  • the machine-learning data generation device 10 may acquire an image captured by the camera at the point A via a communication line, or the machine-learning data generation device 10 may acquire image data stored in an external storage device. may be copied to the storage device 17 of the
  • step S102 the machine learning data generation device 10 accepts the data augmentation method.
  • the data augmentation method can be input by the user via the input device 52, for example.
  • a data augmentation method for example, as shown in FIG. 1, specific processing such as image inversion can be specified.
  • step S103 the data generation unit 21 of the machine learning data generation device 10 performs data augmentation on the original data based on the designated method. For example, a process of horizontally reversing each image data stored in the original data storage unit 31 is executed.
  • step S104 the data generation unit 21 of the machine learning data generation device 10 stores the image data generated by the data augmentation in the generated data storage unit 32.
  • the generated data may also be stored for each domain corresponding to the domain of the original data.
  • the image data obtained by augmenting the rain data is stored in the domain of the rain data in the generated data storage unit 32 .
  • step S ⁇ b>105 the machine learning data generation device 10 executes meta-learning-based generalization learning by the learning execution unit 23 .
  • step S105 the processing of steps S1051 to S1055 is repeated the number of times of learning.
  • MLDG Metal-Learning for Domain Generalization
  • any generalized learning method based on meta-learning may be used.
  • the training data extraction unit 22 extracts data from the storage device 17 so as to include both the domain of the original data stored in the original data storage unit 31 and the domain of the generated data stored in the generated data storage unit 32. to extract multiple domains. Based on the domain extraction parameter, the training data extraction unit 22 extracts the domain of the original data and the domain of the generated data so as to include a predetermined ratio.
  • the domain extraction parameter may be a value specified each time via the input device 52, or may be stored in advance by storing a domain extraction parameter definition table in the storage device 17. FIG.
  • step S1052 the training data extraction unit 22 divides the multiple domains extracted in step S1051 into dataset 1 (training domain) and dataset 2 (verification domain).
  • step S1053 the learning executing unit 23 calculates a loss (loss1), which is the difference between the correct label and the predicted label, for data set 1, and temporarily updates network parameters (machine learning parameters).
  • step S1054 the learning execution unit 23 calculates a loss (loss2) for data set 2 using the network parameters updated in step S1053 as initial values.
  • step S1055 the learning execution unit 23 updates the network parameters so as to minimize the weighted sum of loss1 and loss2.
  • the network parameters are optimized by repeating the above steps S1051 to S1055 for the number of times of learning.
  • step S201 the original data is stored in the original data storage unit 31 for each domain, as in step S101 of FIG.
  • step S202 similar to step S102 in FIG. 4, data augmentation methods are accepted, but in the example of FIG. 5, a plurality of methods (n ways) can be accepted at the same time.
  • the data generation unit 21 sequentially performs data augmentation using n designated methods to create generated data. Specifically, first, the data augmented by the first method (for example, inversion) is temporarily stored as generated data, and then the data that has undergone the inversion is subjected to the second method ( For example, enlargement) is performed and stored as generated data. Similarly, after performing augmentation by the n-th method, the generated data is stored as final generated data for each domain in the generated data storage unit 32 .
  • the first method for example, inversion
  • the second method For example, enlargement
  • step S ⁇ b>205 the machine learning data generation device 10 executes meta-learning-based generalization learning by the learning execution unit 23 .
  • step S205 processing similar to steps S1051 to S1055 in FIG. 4 is repeated for the number of times of learning.
  • the original data includes a part that should remain unchanged before and after data augmentation (target part) and a part that should be expanded or changed by data augmentation (non-target part).
  • target part a part that should remain unchanged before and after data augmentation
  • non-target part a part that should be expanded or changed by data augmentation
  • the target (non-target part) to be expanded or changed by data augmentation is the surrounding environment (e.g. landscape, road shape, etc.) and shooting conditions (e.g. magnification, shooting direction, weather, time of day, etc.). is.
  • Specific augmentation methods for image data include rotating, reversing, enlarging, reducing, moving, trimming, and filtering the image of the original data, as well as changing the brightness of the image of the original data (weather, time, etc.). Examples include variations in time zone), background changes, and color tone changes (weather and time zone variations).
  • FIG. 6 is a diagram for explaining an example of performing filter processing, for example. In the example of FIG. 6, the original data of daytime data and nighttime data are subjected to filtering processing for extracting images in specific weather (snowfall or cloudy weather).
  • data augmentation may be performed to generate different domains by performing different types of augmentation on the same original data.
  • a generated data domain A' is obtained by performing a rotation process on the original data domain A
  • a generated data domain A is obtained by performing a reduction process on the domain A.
  • the same type of expansion may be performed at different strengths (levels).
  • levels levels
  • for domain B of the original data 45 It is also possible to store the generated data domain B′ that has been rotated by degrees (strength), and the generated data domain B′′ that has been rotated by 90 degrees (strength).
  • We also perform different types of data augmentation for different domains of the original data (rotation and shrinkage for domain A, 45 degree rotation and 90 degree rotation for domain B), as shown in the example of FIG. You may do so.
  • the extracted ⁇ domains are divided into two data sets (Dataset1, Dataset2), and meta-learning is repeatedly performed so as to minimize the sum of losses of both.
  • the extraction ratio ⁇ of the domain of the original data is changed each time learning is performed, and the number of extractions ⁇ is constant.
  • the extracted ⁇ domains are divided into two data sets (Dataset1, Dataset2), and meta-learning is repeatedly performed so as to minimize the sum of losses of both.
  • parameters such as the extraction ratio and the number of extractions may be repeatedly learned with constant values without changing for each learning.
  • the extraction parameter is not limited to the above example, and for example, instead of the ratio of the original data, the number of domains of the original data to be extracted may be used as a parameter.
  • FIG. 10 shows various training data to which the machine learning data generation method can be applied when the machine learning method is supervised learning or unsupervised learning, and an example of data augmentation when using each data. It is a figure which shows.
  • data type is the type of training data
  • task example is an example of a model that uses the training data
  • target is the part that should remain unchanged before and after data augmentation (target part )
  • change target indicates a portion to be expanded/changed by data augmentation (non-target portion)
  • augmentation example indicates the content of change to be performed on the change target.
  • the target object is a specific object (for example, a vehicle for vehicle recognition, a face for face recognition, etc.).
  • subject to change and augmentation include changing the shooting time by changing the light and dark, representing the difference between indoors and outdoors by replacing the background, representing the difference in season and scenery by changing the color, fogging of the lens and noise.
  • the difference in focus is expressed by filtering
  • the inclination of the camera is changed by rotation
  • the difference in shooting position is expressed by movement or enlargement/reduction.
  • the target object may be a specific speech (for example, human voice, etc.).
  • objects to be changed and augmentation include addition of environmental sounds (for example, running sounds of cars, operating sounds of machines, etc.) by synthesis.
  • the target object may be a specific waveform pattern (for example, abnormal sound, etc.).
  • objects to be changed and augmented include addition of environmental sounds (such as operating sounds of machines, etc.), vibrations, and noise from microphones and sensors using synthetic signals.
  • the target can be a specific text (for example, review articles, etc.).
  • modification objects and augmentations include changing the tone of a sentence by replacing word endings (eg, interjections, symbols, etc.).
  • FIG. 11 and 12 are diagrams showing an example of a machine learning data generation method when the machine learning method is supervised learning and the data type is voice.
  • the original data is voice data recorded indoors (quiet place), and noise is added to the data assuming the inside of a train station.
  • data augmentation is performed by synthesizing noise (for example, train sounds, talking voices, announcement sounds, etc.) at various stations (for example, subways, bullet trains, etc.) with the original data.
  • noise for example, train sounds, talking voices, announcement sounds, etc.
  • stations for example, subways, bullet trains, etc.
  • data obtained by diversifying the data acquisition environment is generated using audio data recorded indoors (quiet place) as the original data. Specifically, by adding sounds such as car and train sounds, people's voices, rain sounds, etc., data that is assumed to have been acquired near railway tracks, in offices, outdoors, etc. is generated. By using data generated in this way for meta-learning, it is possible to generalize machine learning so as to be able to cope with various data acquisition environments.
  • FIG. 13 is a diagram showing an example of a machine learning data generation method when the machine learning method is supervised learning and the data type is a signal.
  • FIG. 13 shows an example of generating training data for a model that analyzes machine vibration data and detects anomalies.
  • the original data is vibration data during manufacturing of the products A, B, and C acquired on the floor a.
  • vibration data assumed to have been acquired on the floor b is generated by data augmentation. Specifically, noise is added assuming that there are people on floor b, and vibrations generated from machines that are on floor b but not on floor a are added as noise.
  • FIG. 14 is a diagram showing an example of a machine learning data generation method when the machine learning method is supervised learning and the data type is text.
  • FIG. 14 shows an example of generating training data for a learning model that classifies texts regarding product evaluations posted on various sites on the Internet according to satisfaction levels.
  • the original data are reviews posted on shopping sites and review sites, and review articles on news sites. Data augmentation is performed on these original data to convert the writing style into a colloquial style. Specifically, it performs processing such as dividing sentences into shorter sentences, changing the endings of words to look like spoken words, and adding exclamation points to the beginnings of words. As a result, data is generated on the assumption that it will be written on a bulletin board or posted on an SNS. By generating training data in this way, generalized machine learning can be achieved even for reviews that contain a lot of colloquialism.
  • FIG. 16 is a diagram showing an example of a machine learning data generation method when the machine learning method is supervised learning and the data type is images.
  • Visual Slam is used in automated guided vehicles (AGV) and autonomous mobile robots (AMR), and is a technology that simultaneously estimates its own position from images captured by a camera and creates an environmental map.
  • the original data is a set of an image captured by the camera and the coordinates and point cloud estimated by the robot, and the information on the coordinates and point cloud is the teacher label.
  • data augmentation is performed to increase environmental variations such as weather and time of day for a domain (sunny/daytime) that includes a plurality of image data shot in sunny daytime and teacher labels.
  • Data conversion is performed only on the input data (image data) and not on the combined teacher labels.
  • data sets of multiple domains for example, sunny/evening, snowy/daytime, etc.
  • FIG. 17 is a diagram showing an example of a machine learning data generation method when the machine learning method is unsupervised learning and the data type is images.
  • the original data is an inspection image obtained by an inspection machine. It is assumed that defective products are rare in products and that most of the inspection images used for learning are good products.
  • Data augmentation is performed on these images to increase the variation of shooting conditions such as cameras and lights. As a result, data sets of multiple domains (for example, rotation, enlargement, color change, etc.) extended to various shooting conditions are generated.
  • FIG. 18 is a diagram showing various types of training data to which the machine learning data generation method can be applied and an example of data augmentation when using each data when the machine learning method is reinforcement learning.
  • training data original data
  • environment acquisition method For example, if the task is to grasp an object by a robot arm (agent), an image of the grasping environment (for example, an image including the object itself and the floor on which the object is placed) is the original data. Also, if the task is automatic driving, for example, the image of the road that can be seen from the driver's seat becomes the original data.
  • the target part of the original data is "the part that affects the acquisition of rewards"
  • the non-target part is the "data acquisition environment” that does not affect the acquisition of rewards.
  • the target part includes not only objects such as objects that are the direct target of the task, but also elements that affect the reward (for example, in the case of grasping by a robot arm, the material and angle of the floor on which the object is placed) ) are also included.
  • the non-target portion includes the brightness of the room, the color of the floor, and the like.
  • FIG. 19 is a diagram showing an example of a machine learning data generation method when the machine learning method is reinforcement learning and the task is gripping a robot arm.
  • the original data is an image of a space including a grasped object (for example, a product) and a table on which the grasped object is placed when the robot arm performs a grasping operation on the simulator.
  • conditions other than elements that affect the success or failure of gripping e.g. product shape, material, weight, stand angle, surface material, etc.
  • shooting conditions such as camera, light, etc. , base color, etc.
  • a data set extended to various shooting conditions for example, brightness, etc.), color, etc. is generated.
  • FIG. 20 is a diagram showing an example of a machine learning data generation method when the machine learning method is reinforcement learning and the task is Embodied Question Answering (EQA) (reference document 3).
  • EQA gives a question to an agent
  • the agent moves to the necessary place to obtain the information necessary to answer the question and outputs the answer.
  • the agent searches for a position where the car can be seen.
  • the original data is an image of the field of view seen from the robot.
  • FIG. 20 also assumes that learning is performed using a physical simulator.
  • the object itself here, a car
  • the factors that affect the movement of the agent for example, the angle of the floor surface, Friction, etc.
  • the brightness and color of the space are non-objective. Therefore, data augmentation is performed to increase variations in brightness (eg, time of day, etc.) and space color (eg, wall color, etc.) to generate a data set in which these conditions are expanded.
  • data augmentation is performed using training data for meta-learning as source data, and a data set including both the source data and data generated by data augmentation was extracted as a dataset for meta-learning.
  • learning data capable of preventing over-learning and improving the generalization ability of meta-learning.
  • the target part of the original data is not changed, and data augmentation is performed by changing the non-target part other than the target part.
  • various training data effective for generalization learning can be generated without changing parts that should remain unchanged before and after data augmentation.
  • a data generation method for generating data for domain generalization in machine learning comprising: a computer (10) performing augmentation using learning data used for training a machine learning model as source data; a computer (10) extracting a data set containing both the original data and the data generated by the data augmentation as a data set for the domain generalization; data generation for machine learning.
  • Appendix 2 The original data and the data generated by the data augmentation are each held in units of domains, In the extracting step, The data generation for machine learning according to appendix 1, wherein at least one domain of the original data and at least one domain of the data generated by the data augmentation are extracted as a data set for the domain generalization. Method.
  • the original data includes a target portion and a non-target portion, In the step of performing the augmentation, 3.
  • Appendix 4 the original data is image data, the target portion is an image of an object, In the step of performing the augmentation, 3.
  • the original data is signal data
  • the target part is a specific signal pattern
  • the data generation method for machine learning according to appendix 3 wherein data augmentation for changing noise is performed in the signal data of the original data.
  • Appendix 12 In the step of performing the augmentation, 12.
  • the original data is data on the state of the environment in which the agent is placed in reinforcement learning
  • the target part is information on the part that affects the acquisition of rewards
  • (Appendix 15) Meta-learning including the step of performing domain generalization by meta-learning using the data set for domain generalization generated by the machine learning data generation method according to any one of Appendices 1 to 14 Method.
  • Appendix 17 A domain generalization learning method including the step of performing domain generalization learning using the data set for domain generalization generated by the machine learning data generation method according to any one of Appendices 1 to 14. .
  • a data generator (10) for generating data for domain generalization in machine learning a data generation unit (21) that performs data augmentation using learning data used for training a machine learning model as source data; a training data extraction unit (22) for extracting a data set containing both the original data and the data generated by the data augmentation as a data set for the domain generalization; A device (10).
  • (Appendix 19) a computer (10) that generates data for domain generalization in machine learning; a data generation unit (21) that performs data augmentation using learning data used for training a machine learning model as source data; A program that functions as a training data extraction unit (22) that extracts a data set containing both the original data and the data generated by the data augmentation as a data set for the domain generalization.
  • Machine learning data generator 11 For Processor 12
  • Main memory 13 For Camera interface 14
  • Input/output interface 15 For Display interface 16
  • Data generator 22 For Training data Extraction unit 23
  • Learning execution unit 31 For Original data storage unit 32
  • Generated data storage unit 51 For Camera 52
  • Input device 53 For Output device 54... Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Machine Translation (AREA)

Abstract

機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、コンピュータが、元データと、データオーギュメンテーションにより生成されたデータの両方を含むデータセットをドメイン汎化のためのデータセットとして抽出する工程と、を含む。

Description

機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム 関連出願の相互参照
　本出願は、２０２１年２月１６日に出願された日本出願番号２０２１－２２７１５および２０２１年７月２７日に出願された日本出願番号２０２１－１２２７８７に基づくもので、ここにその記載内容を援用する。
　本発明は、機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラムに関する。
　機械学習モデルを構築するためには、多くの訓練用データを用いて訓練を行う必要がある。十分な量の訓練用データが得られない場合、データオーギュメンテーションによってデータ量を増やす方法が利用されている。データオーギュメンテーションは、元の訓練用データに変化を加えることにより、限られた元データから多様なデータを生成する方法である。
　データオーギュメンテーションは、機械学習における学習プロセスの学習であるメタ学習の分野においても有効な技術である。例えば特許文献１には、メタ学習ネットワークの訓練方法について記載されている。
特開２０２０－１４４８４９号公報
　汎化学習では汎化性能向上のためドメインのデータが多く必要だが、新たなデータ取得にはコストがかかる。対策として、学習ドメインを疑似的に増やすことが考えられるが、単にデータを増やすだけだと、元データの不変であるべき部分が変更されたデータが生成される場合がある。この場合、過学習が発生したり、最適化が困難になる場合がある。これにより、汎化性能が向上しない可能性があるという問題があった。
　本発明は、上述した事情を鑑みてなされたものであり、学習モデルの汎化能力を向上させることが可能な訓練データを生成する方法を提供することを目的とする。
　本発明は、上述した課題を解決するために、以下の構成を採用する。
　本発明の一側面に係る機械学習用データ生成方法は、機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、コンピュータが、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含むものである。
　上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。ここで、ドメインはある環境で取得されたデータセットである。機械学習には、教師あり学習、教師なし学習、および強化学習が含まれる。教師あり学習においては、データセットはデータと教師ラベルとが組になって集まった集合である。教師なし学習においては、データセットはデータの集合である。強化学習においては、データセットはエージェントが存在する空間（環境）の状態のことである。ドメイン汎化は、複数の分布から抽出された訓練集合を利用して、未知のドメインが従う分布との間に生じるドメインシフトに対して、頑健なモデルを構築する手法である。ここで、ドメインシフトとは、訓練集合とテスト集合間のデータが従う分布のズレを表す。なお、訓練集合とは、モデルの訓練に使うデータの集まりであり、テスト集合とは、モデルの検証（テスト）に使うデータの集まりである。
　また、前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、前記抽出する工程では、前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインを、前記ドメイン汎化のためのデータセットとして抽出するようにしてもよい。これにより、学習用ドメインに、元データのドメインと生成データのドメインの両方が含まれるように抽出することができるので、元データまたは生成データに偏ってしまうことよる過学習の誘発を防止することができる。
　また、前記元データは、対象部分と非対象部分を含み、前記オーギュメンテーションを実施する工程では、前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、データオーギュメンテーションの前後で不変であるべき対象部分は変更せずに、対象部分以外の非対象部分に対する変更を適切に実施することができる。対象部分とは、機械学習によって学習したい課題（タスク）に直接影響を与える部分であり、タスクが対象とする部分である。一方、非対象部分は、タスクに影響を与えない部分であり、主にデータを取得する環境（例えば、背景、明るさ等）に相当する。
　教師あり学習においては、対象部分は、データと教師ラベルの関係に影響を与える部分であり、例えば認識したい対象物に相当する部分の情報である。対象物とは、機械学習の利用目的となる判断の対象となるものである。例えば、画像認識における認識対象（例えば、車両認識における車両等）や、音声認識におけるノイズや環境音を除く音声データ、意味抽出におけるテキストなどが挙げられる。一方、教師あり学習における非対象部分としては、対象物が存在する環境（例えば、背景、明るさ等）が挙げられる。
　教師なし学習においては、対象部分は、データと、データから得たい特徴の関係に影響を与える部分であり、例えば、クラスタリングの対象となる対象物に相当する部分の情報である。対象物とは、教師あり学習と同様に、機械学習の利用目的となる判断の対象となるものである。一方、教師なし学習における非対象部分としては、対象物が存在する環境（例えば、背景、明るさ等）が挙げられる。
　強化学習においては、対象部分は、「エージェント」が置かれた「環境」の中で、「報酬」の獲得（タスクの達成）に影響を与える部分の情報である。例えば、ロボットによる対象物の把持というタスクの場合には、対象物と対象物の把持に影響を与える要因（例えば、対象物の置かれた場所の傾きや摩擦等）の情報である。一方、強化学習における非対象部分は、報酬に影響を与えない部分の情報であり、対象物が置かれた場所の色や明るさなどが挙げられる。
　また、前記元データは画像データであり、前記対象部分は対象物の画像であり、前記オーギュメンテーションを実施する工程では、前記元データの画像における、前記対象物の周囲の環境及び／又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、画像認識の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
　また、前記オーギュメンテーションを実施する工程では、前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも１つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、時間や天候などの撮影環境の変化を想定した多様な訓練用データを生成することができる。
　また、前記オーギュメンテーションを実施する工程では、前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも１つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、撮影条件の違いを想定した多様な訓練用データを生成することができる。
　また、前記元データは音声データであり、前記対象部分は特定の音声であり、前記オーギュメンテーションを実施する工程では、前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、音声認識の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
　また、前記オーギュメンテーションを実施する工程では、前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施するようにしてもよい。これにより、音声データを取得した場所の違いを想定した多様な訓練用データを生成することができる。
　また、前記元データは信号データであり、前記対象部分は特定の信号パターンであり、前記オーギュメンテーションを実施する工程では、前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、信号分析等の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
　また、前記オーギュメンテーションを実施する工程では、前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施するようにしてもよい。これにより、信号データを取得した場所の違いを想定した多様な訓練用データを生成することができる。
　また、前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、前記オーギュメンテーションを実施する工程では、前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、意味抽出等の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
　また、前記オーギュメンテーションを実施する工程では、前記元データのテキストデータの語頭及び／又は語尾を変えることによりデータオーギュメンテーションを実施するようにしてもよい。これにより、文体の違いを想定した多様な訓練用データを生成することができる。
　また、前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、前記オーギュメンテーションを実施する工程では、前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、強化学習のモデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
　また、前記抽出する工程では、前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出するようにしてもよい。これにより、学習用ドメインに、元データのドメインと生成データのドメインの両方が含まれるように抽出することができるので、元データまたは生成データに偏ってしまうことよる過学習の誘発を防止することができる。なお、所定の割合は、利用者が指定するようにしてもよいし、あらかじめパラメータとして保持しておくようにしてもよい。
　本発明の一側面に係るメタ学習方法は、上記の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含むものである。
　上記構成により、学習工程（学習ループ内）で元データとオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを抽出し、これを用いてメタ学習を実施することができ、過学習を防いで、メタ学習によるドメイン汎化の汎化能力を向上させることができる。
　また、前記メタ学習によるドメイン汎化を実施する工程では、前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施するようにしてもよい。これにより、元データとデータオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを用いてメタ学習を実施し、過学習を防いでドメイン汎化の汎化能力を向上させることができる。
　本発明の一側面に係るドメイン汎化学習方法は、上記の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含むものである。
　上記構成により、ドメイン汎化学習の前段で元データとオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを抽出し、これを用いてドメイン汎化学習を実施することができ、過学習を防いで、ドメイン汎化学習の汎化能力を向上させることができる。
　本発明の一側面に係る機械学習用データ生成装置は、機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置であって、機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部とを備えたものである。
　上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。
　本発明の一側面に係るプログラムは、機械学習におけるドメイン汎化のためのデータを生成するコンピュータを、機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部、として機能させるものである。
　上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。
　本発明によれば、学習モデルの汎化能力を向上させることが可能な訓練データを生成する方法を提供することができる。
本発明の実施形態に係る機械学習用データ生成処理の概要を説明する図。 本発明の実施形態に係る機械学習用データ生成装置のハードウェア構成の一例を示す図。 本発明の実施形態に係る機械学習用データ生成装置の機能構成の一例を示す図。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置によるデータオーギュメンテーションの例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置による訓練用のデータセットの抽出方法の例を示す図。 本発明の実施形態に係る機械学習用データ生成装置による訓練用のデータセットの抽出方法の例を示す図。 本発明の実施形態に係る機械学習用データ生成処理によるデータの種類に応じたデータオーギュメンテーションを例示する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理によるデータの種類に応じたデータオーギュメンテーションを例示する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。
　以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１を用いて、本発明が適用される場面の一例について説明する。図１は、本発明による機械学習用データ生成装置１０による機械学習用データ生成処理の概要を説明する図である。図１の例では、ある地点Ａに設置されたカメラで撮影した画像データをオリジナルデータ（元データ）としてデータオーギュメンテーションを実施し、訓練データを生成している。オリジナルデータは、雨天時に撮影した画像データ、降雪時に撮影した画像データ、昼間に撮影した画像データ、夜間に撮影した画像データの４つのドメインのデータセットに分けて保存されている。図１の例では、これらの各ドメインのオリジナルデータに対して画像を反転させる処理を実施し、オーギュメンテーション後の各データを、雨天時のデータ、降雪時のデータ、昼間のデータ、および夜間のデータのデータセットに分けて保存している。なお、データオーギュメンテーションは、データ拡張と呼ばれることもある。
　学習工程においては、オリジナルデータと生成データの両方のドメインを含むように、所定数のデータを抽出し、メタ学習のための訓練データセットとする。例えば、オリジナルデータからは雨天時のデータと夜間のデータの各ドメイン、生成データからは降雪時のデータと昼間のデータの各ドメインのデータを抽出し、訓練用のデータセットとしてメタ学習を実行する。なお、元データと生成されたデータは、メタ学習用の所定の構造を有するデータである。
　§２　構成例
（１．ハードウェア構成）
　次に、図２を参照しながら、本実施形態に関わる機械学習用データ生成装置１０のハードウェア構成の一例について説明する。
　機械学習用データ生成装置１０は、そのハードウェア資源として、プロセッサ１１と、メインメモリ１２と、カメラインタフェース１３と、入出力インタフェース１４と、ディスプレイインタフェース１５と、通信インタフェース１６と、記憶装置１７とを備えるコンピュータシステムである。
　記憶装置１７は、ディスク媒体（例えば、磁気記録媒体又は光磁気記録媒体）又は半導体メモリ（例えば、揮発性メモリ又は不揮発性メモリ）などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置１７には、汎化学習プログラム２０が記憶されている。汎化学習プログラム２０は、本実施形態に関わるメタ学習方法をプロセッサ１１に実行させるためのコンピュータプログラムである。汎化学習プログラム２０は、記憶装置１７からメインメモリ１２に読み込まれ、プロセッサ１１により解釈及び実行されることにより、本実施形態に係るメタ学習方法が実行される。
　カメラインタフェース１３には、カメラ５１が接続されている。カメラ５１は、例えば、カラー画像を撮影するイメージセンサを備えてもよい。カメラ５１は、機械学習用データ生成装置１０に内蔵されているものでもよく、或いは機械学習用データ生成装置１０に外付けされるものでもよい。カメラ５１により撮影された画像は、オリジナルデータとして記憶装置１７のオリジナルデータ記憶部３１に記憶される。
　入出力インタフェース１４には、入力デバイス５２と出力デバイス５３とが接続されている。入力デバイス５２は、例えば、キーボード、マウス、タッチパッドなどである。出力デバイス５３は、各種処理結果等を出力するデバイスである。出力デバイス５３は、例えば、プリンタである。
　ディスプレイインタフェース１５には、表示装置５４が接続されている。表示装置５４は、ユーザからの指示を受け付けるためのユーザインタフェースや、データオーギュメンテーションの際の元データや生成データを表示する。
（２．機能構成）
　次に、図３を用いて、本開示の実施形態に係る機械学習用データ生成装置１０の機能構成の一例を説明する。図３は、プロセッサ１１によって実行される機能モジュールを示すブロック図である。図３に示すように、機能モジュールには、データ生成部２１、訓練データ抽出部２２、学習実行部２３が含まれる。
　記憶装置１７には、オリジナルデータ記憶部３１と生成データ記憶部３２が実装されている。オリジナルデータ記憶部３１には、カメラ５１等により撮影されたデータオーギュメンテーションの元データが記憶されている。生成データ記憶部３２には、データオーギュメンテーションにより生成したデータが記憶されている。
　§３　動作例
　次に、本実施形態に係る機械学習用データ生成装置１０による機械学習用データ生成方法について、図４～８を用いて説明する。なお、ここでは、元データとなる画像データにデータオーギュメンテーションを実施し、新たな画像データを生成する例について説明する。
　図４は、本発明の実施形態に係る機械学習用データ生成方法の一例を示すフローチャートである。図４の例では、機械学習の方法として教師あり学習を想定しているが、教師なし学習や強化学習にも同様に適用することができる。
　ステップＳ１０１において、機械学習用データ生成装置１０のオリジナルデータ記憶部３１に元データをドメイン毎に記憶する。元データは、例えば図１に示すように、ある地点Ａで撮影された画像データに対し、予めアノテーションを実施して作成した教師データのセットである。元データは、撮影した時の天候や時間帯によって、それぞれ雨天時のデータ、降雪時のデータ、昼間のデータ、夜間のデータの４つのドメインに分けて記憶されている。
　機械学習用データ生成装置１０は、地点Ａのカメラから通信回線を介して撮影した画像を取得するようにしてもよいし、外部の記憶装置に記憶された画像データを機械学習用データ生成装置１０の記憶装置１７にコピーするようにしてもよい。
　ステップＳ１０２において、機械学習用データ生成装置１０は、データオーギュメンテーションの方法を受け付ける。データオーギュメンテーションの方法は、例えば入力デバイス５２を介して利用者が入力することができる。データオーギュメンテーションの方法としては、例えば図１に示すように、画像の反転などの具体的な処理を指定することができる。
　ステップＳ１０３において、機械学習用データ生成装置１０のデータ生成部２１は、指定された方法に基づいて元データに対してデータオーギュメンテーションを実施する。例えば、オリジナルデータ記憶部３１に記憶された各画像データの左右を反転させる処理を実行する。
　ステップＳ１０４において、機械学習用データ生成装置１０のデータ生成部２１は、データオーギュメンテーションによって生成した画像データを生成データ記憶部３２に記憶する。この時、図１に示すように、生成データも元データのドメインに対応してドメイン毎に記憶するようにしてもよい。例えば、雨天時のデータをオーギュメンテーションした画像データは、生成データ記憶部３２の雨天時のデータのドメインに記憶する。
　ステップＳ１０５において、機械学習用データ生成装置１０は、学習実行部２３によるメタ学習ベースの汎化学習を実行する。ステップＳ１０５においては、ステップＳ１０５１～Ｓ１０５５の処理が学習の回数だけ繰り返される。具体的な学習方法としては、例えばＭＬＤＧ（Meta-Learning for Domain Generalization）（参考文献１）を用いることができるが、メタ学習ベースの汎化学習手法であればよい。
［参考文献１］“Learning to Generalize: Meta-Learning for Domain Generalization”, Da Li et al., URL:https://arxiv.org/abs/1710.03463
　まず、ステップＳ１０５１において、訓練データ抽出部２２は、記憶装置１７から、オリジナルデータ記憶部３１に記憶された元データのドメインと生成データ記憶部３２に記憶された生成データのドメインの両方を含むように、複数のドメインを抽出する。訓練データ抽出部２２は、ドメイン抽出パラメータに基づいて、元データのドメインと生成データのドメインが所定の割合で含まれるように抽出する。ドメイン抽出パラメータは、入力デバイス５２を介してその都度指定される値でもよいし、記憶装置１７にドメイン抽出パラメータ定義テーブルを格納し、あらかじめ保持しておいてもよい。
　ステップＳ１０５２において、訓練データ抽出部２２は、ステップＳ１０５１で抽出した複数のドメインをデータセット１（訓練ドメイン）とデータセット２（検証ドメイン）に分ける。
　ステップＳ１０５３において、学習実行部２３は、データセット１に対して正解ラベルと予測ラベルの差である損失（loss１）を算出し、ネットワークパラメータ（機械学習のパラメータ）を一時的に更新する。
　ステップＳ１０５４において、学習実行部２３は、ステップＳ１０５３で更新したネットワークパラメータを初期値として、データセット２に対して損失（loss２）を算出する。
　ステップＳ１０５５において、学習実行部２３は、loss１とloss２の重み付き和を最小化するように、ネットワークパラメータを更新する。以上のステップＳ１０５１～Ｓ１０５５の工程を学習回数分繰り返すことにより、ネットワークパラメータを最適化する。
　なお、ＭＴＡＮ（Multi-Task Adversarial Network）（参考文献２）などの敵対学習ベースのドメイン汎化学習手法を用いる場合には、図１５のフローチャートに示すように、ステップＳ１０４において生成データを生成データ記憶部３２に記憶した後、ステップＳ３０１において元データのドメインと生成データのドメインを両方含む訓練用のデータセットを抽出する。さらに、ステップＳ１０５において、抽出したデータセットを用いて汎化学習を実施する。
［参考文献２］“Multi-Task Adversarial Network for Disentangled Feature Learning”, Yang Liu et al.,
URL:https://openaccess.thecvf.com/content_cvpr_2018/html/Liu_Multi-Task_Adversarial_Network_CVPR_2018_paper.html
　図５のフローチャートを用いて、本発明の実施形態に係る機械学習用データ生成方法の他の例について説明する。
　ステップＳ２０１においては、図４のステップＳ１０１と同様に、元データをドメイン毎にオリジナルデータ記憶部３１に記憶する。
　ステップＳ２０２においては、図４のステップＳ１０２と同様にデータオーギュメンテーションの方法を受け付けるが、図５の例では、複数の方法（ｎ通り）を同時に受け付けることができる。
　ステップＳ２０３～ステップＳ２０４において、データ生成部２１は、指定されたｎ通りの方法でのデータオーギュメンテーションを順次実施して生成データを作成する。具体的には、まず１つめの方法（例えば、反転）でデータオーギュメンテーションを実施したものを一旦生成データとして保存し、次に、反転を実施した生成データに対して、２つめの方法（例えば、拡大）を実施し、生成データとして保存する、同様に、ｎ番目の方法でのオーギュメンテーションを実施した後、最終的な生成データとして生成データ記憶部３２にドメイン毎に記憶する。
　ステップＳ２０５において、機械学習用データ生成装置１０は、学習実行部２３によるメタ学習ベースの汎化学習を実行する。ステップＳ２０５においては、図４のステップＳ１０５１～Ｓ１０５５と同様の処理が学習の回数だけ繰り返される。
　なお、元データには、データオーギュメンテーションの前後で不変であるべき部分（対象部分）と、データオーギュメンテーションによる拡張・変更の対象となる部分（非対象部分）が含まれる。例えば、図１や図６の例では、道路上での車両認識を行うための機械学習モデルを想定しており、画像データにおける対象部分は、走行する車両の画像に相当する。このため、データオーギュメンテーションによる拡張・変更の対象（非対象部分）は、周囲の環境（例えば、風景、道路の形状等）や撮像条件（例えば、倍率、撮影方向、天候、時間帯等）である。
　画像データに対する具体的なオーギュメンテーションの方法としては、元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理等の他、元データの画像の明度の変更（天気や時間帯のバリエーション）、背景の変更、及び色調の変更（天気や時間帯のバリエーション）などを例として挙げることができる。図６は、例えば、フィルタ処理を実施する場合の例を説明する図である。図６の例では、昼間のデータや夜間のデータの元データに対して、特定の天候（降雪時や曇天時）での画像を抽出するフィルタリング処理を実施している。
　また、データオーギュメンテーションは、同じ元データに対して異なる種類の拡張を行ってそれぞれ別のドメインを生成するようにしてもよい。例えば、図７に示すように、元データのドメインＡに対し、回転の処理を実施したものを生成データのドメインＡ’とし、ドメインＡに対し、縮小の処理を実施したものを生成データのドメインＡ”として保存するようにしてもよい。また、同じ種類の拡張を異なる強度（レベル）で実施するようにしてもよい。例えば、図７に示すように、元データのドメインＢに対し、４５度（強度）の回転を実施したものを生成データのドメインＢ’とし、９０度（強度）の回転を実施したものを生成データのドメインＢ”として保存するようにしてもよい。また、図７の例に示すように、元データの異なるドメインに対して異なる種類のデータオーギュメンテーション（ドメインＡには回転および縮小、ドメインＢには４５度回転および９０度回転）を実施するようにしてもよい。
　次に、図８、９を用いて、図４のステップＳ１０５１～Ｓ１０５５におけるデータセットの抽出方法の具体例について説明する。図８の例では、ドメイン抽出パラメータの内容は、αの割合で元データのドメインが含まれるように、合計β個のドメインを抽出するというものであり、抽出数βは、１回の学習ループの最後（ステップＳ１０５６）に、変化率γを乗じた値β×γに変化する。例えば、γ＝0.99であれば、１０回の学習の後は、抽出数βは初期値の約９割になる。αは一定なので、元データ：生成データの割合は、常にα：１－αとなる。パラメータの条件を満たしていれば、任意のドメインを抽出することができる。抽出されたβ個のドメインは、２つのデータセット（Dataset1,Dataset2）に分割され、両者の損失の和が最小化するようにメタ学習が繰り返し実行される。
　また、図９の例では、元データのドメインの抽出割合αが学習の度に変更され、抽出数βは一定である。抽出割合αは、１回の学習ループの最初（ステップＳ１０５０）に、0.1～1のランダムな値が設定され、ループの度に値が変動する。例えば、α＝0.1が設定された場合には、1割の確率で元データのドメインが含まれる。抽出数βは一定なので、抽出される合計のドメイン数は常に一定となる。抽出されたβ個のドメインは、２つのデータセット（Dataset1,Dataset2）に分割され、両者の損失の和が最小化するようにメタ学習が繰り返し実行される。
　なお、抽出割合や抽出数などのパラメータは、学習ごとに変化させずに一定の値のまま繰り返し学習を実施してもよい。また、抽出パラメータは上記の例に限られず、例えば元データの割合の代わりに、抽出する元データのドメイン数をパラメータとしてもよい。
　上記の実施形態では、画像データを訓練用データとして用いているが、訓練用データ画像データ以外のものであってもよい。図１０は、機械学習の方法が教師あり学習または教師なし学習の場合の、機械学習用データ生成方法を適用可能な各種の訓練用データと、それぞれのデータを用いる場合のデータオーギュメンテーションの例を示す図である。表中「データ種類」は訓練データの種類、「タスクの例」は訓練データを用いて学習を行うモデルの例、「対象物」はデータオーギュメンテーションの前後で不変であるべき部分（対象部分）、「変更対象」はデータオーギュメンテーションによる拡張・変更の対象となる部分（非対象部分）、「オーギュメンテーションの例」は、変更対象に対して実施する変更の内容を示している。
　例えば、データ種類が「画像」（例えば、画像認識モデルの訓練データ等）の場合には、対象物は特定のオブジェクト（例えば、車両認識であれば車両、顔認識であれば顔等）が挙げられる。変更対象とオーギュメンテーションの例としては、撮影時間を明暗の変更によって変化させる、室内と屋外の違いを背景の差し替えで表す、季節や風景の違いを色彩の変更によって表す、レンズの曇りやノイズ、ピントなどの違いをフィルタ処理によって表す、カメラの傾きを回転によって変化させる、撮影位置の違いを移動や拡大縮小によって表現する、等が挙げられる。
　また、データ種類が「音声」（例えば、音声認識モデルの訓練データ等）の場合には、対象物は特定の音声（例えば、人の声等）が挙げられる。変更対象とオーギュメンテーションの例としては、環境音（例えば、車の走行音、機械の稼働音等）を合成によって付加することが挙げられる。
　また、データ種類が「音・信号」（例えば、異常検知モデルの訓練データ等）の場合には、対象物は特定の波形パターン（例えば、異常音等）が挙げられる。変更対象とオーギュメンテーションの例としては、環境音（例えば、機械の稼働音等）、振動、マイクやセンサのノイズを合成信号によって付加することが挙げられる。
　また、データ種類が「テキスト」（例えば、意味抽出・要約モデルの訓練データ等）の場合には、対象物は特定のテキスト（例えば、レビュー記事等）が挙げられる。変更対象とオーギュメンテーションの例としては、文章の口調を語尾の置き換え（例えば、間投詞、記号等）によって変化させることが挙げられる。
　図１１、図１２は、機械学習の方法が教師あり学習であり、データ種類が音声の場合の機械学習用データ生成方法の例を示す図である。図１１の例では、屋内（静かな場所）で記録した音声データを元データとして、駅の中を想定したノイズを付加したデータを生成している。具体的には、様々な駅（例えば、地下鉄、新幹線等）での雑音（例えば、電車の音、話し声、アナウンス音等）を元データに合成してデータオーギュメンテーションを行う。このようにして生成したデータをメタ学習に用いることにより、屋内の用な静かな場所だけでなく、駅の中でも利用できるように機械学習の汎化を実現することができる。
　また、図１２の例では、屋内（静かな場所）で記録した音声データを元データとして、データ取得環境を多様化したデータを生成している。具体的には、車や電車の音や、人の話し声、雨の音等を付加することにより、線路付近、オフィス内、屋外等で取得したことを想定したデータを生成している。このようにして生成したデータをメタ学習に用いることにより、様々なデータ取得環境に対応できるように機械学習の汎化を実現することができる。
　図１３は、機械学習の方法が教師あり学習であり、データ種類が信号の場合の機械学習用データ生成方法の例を示す図である。図１３は、機械の振動データを分析して異常を検知するモデルの訓練データを生成する例を示している。元データは、フロアａで取得した製品Ａ，Ｂ，Ｃを製造中の振動データである。これらの元データを用いて、データオーギュメンテーションにより、フロアｂで取得したことを想定した振動データを生成している。具体的には、フロアｂの人通りを想定したノイズを付加したり、フロアｂにはあってフロアａには無いマシンから発生する振動をノイズとして付加している。このようにして訓練データを生成することにより、フロアの環境に対して汎化した機械学習を実現することができる。
　図１４は、機械学習の方法が教師あり学習であり、データ種類がテキストの場合の機械学習用データ生成方法の例を示す図である。図１４は、ネット上の様々なサイトに投稿された商品の評価に関するテキストを、満足度に応じて分類する学習モデルの訓練データを生成する例を示している。元データは、ショッピングサイトやレビューサイトへのレビュー投稿、ニュースサイトのレビュー記事である。これらの元データに対して、文体を口語調に変換するデータオーギュメンテーションを行う。具体的には、文章を短く区切ったり、語尾を話し言葉風に変える、語頭に感嘆詞を付加するなどの処理を行う。これにより、掲示板への書き込みやＳＮＳへの投稿を想定したデータを生成している。このようにして訓練データを生成することにより、口語を多く含むレビューに対しても汎化した機械学習を実現することができる。
　図１６は、機械学習の方法が教師あり学習であり、データ種類が画像の場合の機械学習用データ生成方法の例を示す図である。ここでは、ビジュアルスラムへの適用を想定している。ビジュアルスラムは、無人搬送車（ＡＧＶ）や自律走行ロボット（ＡＭＲ）などに利用され、カメラで撮影した映像から自己位置の推定と、環境地図の作成を同時に行う技術である。元データは、カメラで撮影された画像と、ロボットが推定した座標や点群の組であり、座標や点群の情報が教師ラベルとなる。図１６の例では、晴れた昼に撮影された複数の画像データと教師ラベルを含むドメイン（晴れ・昼）に対して天気や時間帯など、環境のバリエーションを増やすデータオーギュメンテーションを行う。データの変換は入力データ（画像データ）に対してのみ行い、組み合わされた教師ラベルに対しては行わない。この結果、画像データのみが様々な環境に拡張された複数のドメイン（例えば、晴れ・夕方、雪・昼等）のデータセットが生成される。
　図１７は、機械学習の方法が教師なし学習であり、データ種類が画像の場合の機械学習用データ生成方法の例を示す図である。ここでは、製品の画像から不良品を検出する異常検知への適用を想定している。元データは、ある検査機で取得した検査画像である。製品において不良品は稀であり、学習に使用する検査画像ほとんどが良品であると仮定している。これらの画像に対して、カメラやライトなどの撮影条件のバリエーションを増やすデータオーギュメンテーションを行う。この結果、様々な撮影条件に拡張された複数のドメイン（例えば、回転、拡大、色みの変更等）のデータセットが生成される。
　図１８は、機械学習の方法が強化学習の場合の、機械学習用データ生成方法を適用可能な各種の訓練用データと、それぞれのデータを用いる場合のデータオーギュメンテーションの例を示す図である。強化学習では、エージェントが存在する空間（環境）に関する情報が訓練データ（元データ）となる。図１８では「環境の取得方法」として示されている。例えば、タスクがロボットアーム（エージェント）による物体（オブジェクト）の把持であれば、把持を行う環境の画像（例えば、物体自体と物体が置かれた床を含む画像等）が元データとなる。また、タスクが例えば自動運転であれば、運転席から見える道路の画像が元データとなる。
　強化学習の場合、元データの中の対象部分は、「報酬の獲得に影響する部分」であり、非対象部分は、報酬の獲得に影響を与えない「データ取得環境」となる。すなわち、対象部分には、タスクの直接の対象となる物体等のオブジェクトだけでなく、報酬に影響を与える要素（例えば、ロボットアームによる把持であれば、物体が置かれた床の材質や角度等）も含まれる。非対象部分には、部屋の明るさや床の色等が含まれる。
　図１９は、機械学習の方法が強化学習であり、タスクがロボットアームの把持の場合の機械学習用データ生成方法の例を示す図である。図１９の例では、物理シミュレーターによって学習を行うことを想定しており、元データはシミュレーションによって生成されるが、実際に取得したデータ（例えば、カメラ画像等）を用いる場合でも、同様に適用することができる。ここでは、元データは、ロボットアームがシミュレーター上で把持動作を行う際の、把持対象（例えば、製品等）と把持対象が置かれた台を含む空間の画像である。元データのうち、把持の成功・失敗に影響を与える要素（例えば、製品の形状、材質、重さや、台の角度、表面の材質等）以外の条件（例えば、カメラ、ライトなどの撮影条件や、台の色等）のバリエーションを増やすデータオーギュメンテーションを行う。この結果、様々な撮影条件（例えば、明るさ等）や色などに拡張されたデータセットが生成される。
　図２０は、機械学習の方法が強化学習であり、タスクがEmbodied Question Answering（ＥＱＡ）（参考文献３）の場合の機械学習用データ生成方法の例を示す図である。ＥＱＡは、エージェントに質問を与えると、エージェントは質問に答えるために必要な情報を得るために必要な場所まで移動し、回答を出力する。例えば、「車の色」を質問した場合、エージェント（ロボット）は、車が視認できる位置を探索し、車を視認できたと判断すると、移動を停止して車の色を回答する。元データは、ロボットから見た視界の画像となる。なお、図２０の例でも物理シミュレーターによって学習を行うことを想定している。
［参考文献３］“Embodied Question Answering”, Abhishek Das et al.,
URL:https://arxiv.org/abs/1711.11543
　ＥＱＡにおいては、元データのうち回答のために視認することが必要な目的物自体（ここでは車）と、目的物までの経路、エージェントの移動に影響を与える要素（例えば、床面の角度、摩擦等）が報酬の獲得に影響するため、対象部分となる。一方、空間の明るさや色などは非対象部分となる。したがって、データオーギュメンテーションは、明るさ（例えば、時刻等）や空間の色（例えば、壁の色等）のバリエーションを増やすように行い、これらの条件が拡張されたデータセットが生成される。
　以上のように、本実施形態によれば、メタ学習のための訓練データを元データとして、データオーギュメンテーションを実施し、元データとデータオーギュメンテーションにより生成されたデータの両方を含むデータセットをメタ学習のためのデータセットとして抽出するようにした。これにより、過学習を防ぎ、メタ学習の汎化能力を向上させることが可能な学習用データを提供することができる。
　また、データオーギュメンテーションを行う場合は、元データの対象部分は変更せず、対象部分以外の非対象部分を変化させるデータオーギュメンテーションを実施するようにした。これにより、データオーギュメンテーションの前後で不変であるべき部分は変更せずに、汎化学習に有効な多様な訓練用データを生成することができる。
　以上、本発明の実施の形態を詳細に説明してきたが、上述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
　機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、
　コンピュータ（１０）が、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、
　コンピュータ（１０）が、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含む機械学習用データ生成方法。
（付記２）
　前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、
　前記抽出する工程では、
　前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインを、前記ドメイン汎化のためのデータセットとして抽出する、付記１に記載の機械学習用データ生成方法。
（付記３）
　前記元データは、対象部分と非対象部分を含み、
　前記オーギュメンテーションを実施する工程では、
　前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施する、付記１または２に記載の機械学習用データ生成方法。
（付記４）
　前記元データは画像データであり、前記対象部分は対象物の画像であり、
　前記オーギュメンテーションを実施する工程では、
　前記元データの画像における、前記対象物の周囲の環境及び／又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、付記３に記載の機械学習用データ生成方法。
（付記５）
　前記オーギュメンテーションを実施する工程では、
　前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも１つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施する、付記４に記載の機械学習用データ生成方法。
（付記６）
　前記オーギュメンテーションを実施する工程では、
　前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも１つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、付記４に記載の機械学習用データ生成方法。
（付記７）
　前記元データは音声データであり、前記対象部分は特定の音声であり、
　前記オーギュメンテーションを実施する工程では、
　前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施する、付記３に記載の機械学習用データ生成方法。
（付記８）
　前記オーギュメンテーションを実施する工程では、
　前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施する、付記７に記載の機械学習用データ生成方法。
（付記９）
　前記元データは信号データであり、前記対象部分は特定の信号パターンであり、
　前記オーギュメンテーションを実施する工程では、
　前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施する、付記３に記載の機械学習用データ生成方法。
（付記１０）
　前記オーギュメンテーションを実施する工程では、
　前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施する、付記９に記載の機械学習用データ生成方法。
（付記１１）
　前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、
　前記オーギュメンテーションを実施する工程では、
　前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施する、付記３に記載の機械学習用データ生成方法。
（付記１２）
　前記オーギュメンテーションを実施する工程では、
　前記元データのテキストデータの語頭及び／又は語尾を変えることによりデータオーギュメンテーションを実施する、付記１１に記載の機械学習用データ生成方法。
（付記１３）
　前記抽出する工程では、
　前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出する、付記２に記載の機械学習用データ生成方法。
（付記１４）
　前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、
　前記オーギュメンテーションを実施する工程では、
　前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施する、付記３に記載の機械学習用データ生成方法。
（付記１５）
　付記１から１４のいずれか１項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含む、メタ学習方法。
（付記１６）
　前記メタ学習によるドメイン汎化を実施する工程では、
　前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施する、付記１５に記載のメタ学習方法。
（付記１７）
　付記１から１４のいずれか１項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含むドメイン汎化学習方法。
（付記１８）
　機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置（１０）であって、
　機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部（２１）と、
　前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部（２２）とを備えた機械学習用データ生成装置（１０）。
（付記１９）
　機械学習におけるドメイン汎化のためのデータを生成するコンピュータ（１０）を、
　機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部（２１）と、
　前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部（２２）、として機能させるプログラム。
１０…機械学習用データ生成装置　１１…プロセッサ　１２…メインメモリ　１３…カメラインタフェース　１４…入出力インタフェース　１５…ディスプレイインタフェース　１６…通信インタフェース　１７…記憶装置　２０…汎化学習プログラム　２１　データ生成部　２２…訓練データ抽出部　２３…学習実行部　３１…オリジナルデータ記憶部　３２…生成データ記憶部　５１…カメラ　５２…入力デバイス　５３…出力デバイス　５４…表示装置　

Claims (19)

  1. 　機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、
    　コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、
    　コンピュータが、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含む機械学習用データ生成方法。
  2. 　前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、
    　前記抽出する工程では、
    　前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインを、前記ドメイン汎化のためのデータセットとして抽出する、請求項１に記載の機械学習用データ生成方法。
  3. 　前記元データは、対象部分と非対象部分を含み、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施する、請求項１または２に記載の機械学習用データ生成方法。
  4. 　前記元データは画像データであり、前記対象部分は対象物の画像であり、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データの画像における、前記対象物の周囲の環境及び／又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、請求項３に記載の機械学習用データ生成方法。
  5. 　前記オーギュメンテーションを実施する工程では、
    　前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも１つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施する、請求項４に記載の機械学習用データ生成方法。
  6. 　前記オーギュメンテーションを実施する工程では、
    　前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも１つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、請求項４に記載の機械学習用データ生成方法。
  7. 　前記元データは音声データであり、前記対象部分は特定の音声であり、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施する、請求項３に記載の機械学習用データ生成方法。
  8. 　前記オーギュメンテーションを実施する工程では、
    　前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施する、請求項７に記載の機械学習用データ生成方法。
  9. 　前記元データは信号データであり、前記対象部分は特定の信号パターンであり、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施する、請求項３に記載の機械学習用データ生成方法。
  10. 　前記オーギュメンテーションを実施する工程では、
    　前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施する、請求項９に記載の機械学習用データ生成方法。
  11. 　前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施する、請求項３に記載の機械学習用データ生成方法。
  12. 　前記オーギュメンテーションを実施する工程では、
    　前記元データのテキストデータの語頭及び／又は語尾を変えることによりデータオーギュメンテーションを実施する、請求項１１に記載の機械学習用データ生成方法。
  13. 　前記抽出する工程では、
    　前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出する、請求項２に記載の機械学習用データ生成方法。
  14. 　前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、
    　前記オーギュメンテーションを実施する工程では、
    　前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施する、請求項３に記載の機械学習用データ生成方法。
  15. 　請求項１から１４のいずれか１項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含む、メタ学習方法。
  16. 　前記メタ学習によるドメイン汎化を実施する工程では、
    　前記元データの少なくとも１つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも１つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施する、請求項１５に記載のメタ学習方法。
  17. 　請求項１から１４のいずれか１項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含む、ドメイン汎化学習方法。
  18. 　機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置であって、
    　機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、
    　前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部とを備えた機械学習用データ生成装置。
  19. 　機械学習におけるドメイン汎化のためのデータを生成するコンピュータを、
    　機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、
    　前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部、として機能させるプログラム。
PCT/JP2022/001626 2021-02-16 2022-01-18 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム WO2022176481A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/264,038 US20240232704A9 (en) 2021-02-16 2022-01-18 Machine learning data generation method, meta-learning method, machine learning data generation apparatus, and program
EP22755806.1A EP4296911A1 (en) 2021-02-16 2022-01-18 Machine learning data generation method, meta learning method, machine learning data generation device, and program
CN202280011672.5A CN116964600A (zh) 2021-02-16 2022-01-18 机器学习用数据生成方法、元学习方法、机器学习用数据生成装置及程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021022715 2021-02-16
JP2021-022715 2021-02-16
JP2021122787A JP2022124989A (ja) 2021-02-16 2021-07-27 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
JP2021-122787 2021-07-27

Publications (1)

Publication Number Publication Date
WO2022176481A1 true WO2022176481A1 (ja) 2022-08-25

Family

ID=82930850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001626 WO2022176481A1 (ja) 2021-02-16 2022-01-18 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム

Country Status (3)

Country Link
EP (1) EP4296911A1 (ja)
TW (1) TWI800234B (ja)
WO (1) WO2022176481A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116643A1 (ja) * 2017-12-12 2019-06-20 ソニー株式会社 情報処理装置および情報処理方法
JP2020144849A (ja) 2019-03-04 2020-09-10 富士通株式会社 メタ学習ネットワークを訓練する装置及び方法
JP2021022715A (ja) 2019-07-30 2021-02-18 パナソニックＩｐマネジメント株式会社 回路基板、電源装置及び照明器具
JP2021122787A (ja) 2020-02-05 2021-08-30 株式会社フジタ 吸着システム、および吸着方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019016643A1 (en) * 2017-07-20 2019-01-24 Adari Swarna Kumari ELECTRONIC NEGOTIABLE INSTRUMENT GENERATING SYSTEM AND METHOD
US20200335086A1 (en) * 2019-04-19 2020-10-22 Behavioral Signal Technologies, Inc. Speech data augmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116643A1 (ja) * 2017-12-12 2019-06-20 ソニー株式会社 情報処理装置および情報処理方法
JP2020144849A (ja) 2019-03-04 2020-09-10 富士通株式会社 メタ学習ネットワークを訓練する装置及び方法
JP2021022715A (ja) 2019-07-30 2021-02-18 パナソニックＩｐマネジメント株式会社 回路基板、電源装置及び照明器具
JP2021122787A (ja) 2020-02-05 2021-08-30 株式会社フジタ 吸着システム、および吸着方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
CAGLI ELEONORA; DUMAS CéCILE; PROUFF EMMANUEL: "Convolutional Neural Networks with Data Augmentation Against Jitter-Based Countermeasures", SAT 2015 18TH INTERNATIONAL CONFERENCE, AUSTIN, TX, USA, SEPTEMBER 24-27, 2015, vol. 10529 Chap.3, no. 558, 25 August 2017 (2017-08-25), Berlin, Heidelberg , pages 45 - 68, XP047446632, ISBN: 3540745491, DOI: 10.1007/978-3-319-66787-4_3 *
DA LI ET AL., LEARNING TO GENERALIZE: META-LEARNING FOR DOMAIN GENERALIZATION, Retrieved from the Internet <URL:https://arxiv.org/abs/1710.03463>
DA LI; YONGXIN YANG; YI-ZHE SONG; TIMOTHY M. HOSPEDALES: "Learning to Generalize: Meta-Learning for Domain Generalization", ARXIV.ORG, 10 October 2017 (2017-10-10), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080827512 *
DWIBEDI DEBIDATTA; MISRA ISHAN; HEBERT MARTIAL: "Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 22 October 2017 (2017-10-22), pages 1310 - 1319, XP033282989, DOI: 10.1109/ICCV.2017.146 *
ICHIKAWA OSAMU; FUKUDA TAKASHI; SUZUKI MASAYUKI; KURATA GAKUTO; RAMABHADRAN BHUVANA: "Harmonic feature fusion for robust neural network-based acoustic modeling", 2017 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 5 March 2017 (2017-03-05), pages 5195 - 5199, XP033259401, DOI: 10.1109/ICASSP.2017.7953147 *
ICHIKAWA, OSAMU ET AL.: "Neural network-based acoustic model integrating harmonic information for robust speech recognition", PROCEEDINGS OF 2017 SPRING MEETING OF ACOUSTICAL SOCIETY OF JAPAN; 2017.03.15-17, 1 January 2017 (2017-01-01) - 17 March 2017 (2017-03-17), JP , pages 9 - 12, XP009539315, ISSN: 1880-7658 *
KEN MIYAMOTO, OSAMU TSUKAHARA: "Data Augmentation based on RGB-D SLAM 3D Data", IEICE TECHNICAL REPORT, PRMU, vol. 118, no. 460 (PRMU2018-124), 1 February 2019 (2019-02-01), JP , pages 53 - 57, XP009539311, ISSN: 2432-6380 *
OUCHI TOMOHITO: "Research on data extensions in pointer-generator models", PROCEEDINGS OF THE TWENTY-SIXTH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING., 9 March 2020 (2020-03-09), pages 941 - 944, XP055961724 *
TOMOKI YONEZAWA, SHINTARO ONO, YOSHIHIRO SUDA: "A Study of Vehicle Detection at Night by Data Augmentation using Image Style Transfer", IEICE TECHNICAL REPORT, ITS, vol. 119, no. 102 ( ITS2019-1), 28 June 2019 (2019-06-28), JP , pages 1 - 6, XP009539314, ISSN: 0913-5685 *
YANG LIU ET AL., MULTI-TASK ADVERSARIAL NETWORK FOR DISENTANGLED FEATURE LEARNING, Retrieved from the Internet <URL:https://openaccess.thecvf.com/contentcvpr2018/html/Liu_Multi-Task_Adversarial_Network-CVPR_2018_paper.htmI>

Also Published As

Publication number Publication date
TWI800234B (zh) 2023-04-21
US20240135246A1 (en) 2024-04-25
TW202234296A (zh) 2022-09-01
EP4296911A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN111259779A (zh) 一种基于中心点轨迹预测的视频动作检测方法
CN110853656B (zh) 基于改进神经网络的音频篡改识别方法
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
CN111581470B (zh) 用于对话系统情景匹配的多模态融合学习分析方法和系统
Kong et al. Acoustic scene generation with conditional SampleRNN
KR102148378B1 (ko) 기계 학습 모델을 이용한 관심 이벤트의 알림 제공 장치 및 방법
CN111460876A (zh) 用于识别视频的方法和装置
CN113283336A (zh) 一种文本识别方法与系统
CN114550110A (zh) 一种基于无监督域适应的车辆重识别方法及系统
CN115512191A (zh) 一种联合问答的图像自然语言描述方法
Ivanko et al. Speaker-dependent visual command recognition in vehicle cabin: methodology and evaluation
Tan et al. Attention augmented convolutional neural network for acoustics based machine state estimation
WO2022176481A1 (ja) 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
JP2022124989A (ja) 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
KR102096598B1 (ko) 애니메이션 생성 방법
CN117115310A (zh) 一种基于音频和图像的数字人脸生成方法及系统
CN116128866A (zh) 基于USRNet与改进MobileNet-SSD算法的输电线路绝缘子故障检测方法
US20240232704A9 (en) Machine learning data generation method, meta-learning method, machine learning data generation apparatus, and program
Salam et al. You Only Look Once (YOLOv3): Object Detection and Recognition for Indoor Environment
CN115273224A (zh) 一种基于高低分辨率双模态蒸馏的视频人体行为识别方法
CN116964600A (zh) 机器学习用数据生成方法、元学习方法、机器学习用数据生成装置及程序
JP7516900B2 (ja) 音声イベントの認識装置及び方法
CN110472528B (zh) 一种地铁环境目标训练集生成方法及系统
KR102667003B1 (ko) 콘텐츠 정보를 이용한 이미지 생성 모델 학습 방법 및 시스템
Kousalya et al. Group Emotion Detection using Convolutional Neural Network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755806

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280011672.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18264038

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022755806

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022755806

Country of ref document: EP

Effective date: 20230918