WO2024252575A1 - 学習制御装置、学習制御方法及びプログラム - Google Patents

学習制御装置、学習制御方法及びプログラム Download PDF

Info

Publication number
WO2024252575A1
WO2024252575A1 PCT/JP2023/021216 JP2023021216W WO2024252575A1 WO 2024252575 A1 WO2024252575 A1 WO 2024252575A1 JP 2023021216 W JP2023021216 W JP 2023021216W WO 2024252575 A1 WO2024252575 A1 WO 2024252575A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
distribution
control device
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021216
Other languages
English (en)
French (fr)
Inventor
直樹 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2025525539A priority Critical patent/JPWO2024252575A1/ja
Priority to PCT/JP2023/021216 priority patent/WO2024252575A1/ja
Publication of WO2024252575A1 publication Critical patent/WO2024252575A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to a learning control device, a learning control method, and a program.
  • MLOps Machine Learning Operations
  • MLOps pipeline many parts of the pipeline flow (hereafter referred to as the MLOps pipeline), from data collection related to machine learning through learning, model creation, inference, and deployment, are automated, improving efficiency.
  • MLOps refers to the infrastructure and structure that enables the "Machine Learning” team and the “Operations” team to work together to smoothly advance the lifecycle of a machine learning model, from implementation to operation.
  • an MLOps pipeline refers to a system that manages a series of MLOps cycles in a single flow.
  • Patent Document 1 discloses a technology that selects data from collected data to update an existing learning model, generates a new learning model based on the selected data, and updates the existing learning model to the new learning model.
  • Patent Document 2 also discloses a technology in which, when image or graphic data is input to a learning model as verification data, training data is generated in which the variance in the features of the recognition target is changed based on the recognition degree of the recognition target for each verification data, and the learning model is trained using the generated training data.
  • Patent Documents 1 and 2 aim to streamline or automate the learning flow, but there is room for improvement in correcting bias in the learning data and making the creation of learning data more efficient.
  • the present disclosure aims to provide technology that can improve the efficiency of creating unbiased or less biased training data.
  • a learning control device includes a data quality verification unit that calculates distribution data for a specified evaluation item from collected learning data, and a learning data identification unit that identifies information about learning data that needs to be added to the distribution data to create a specified distribution.
  • information on the learning data that needs to be added to achieve a predetermined distribution is identified, making it possible to identify the learning data to add based on that information, thereby improving the efficiency of creating learning data.
  • FIG. 1 is a block diagram showing a schematic configuration example of a machine learning management system according to a first embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a learning control device according to a first embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a learning control device according to a first embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of a learning data identification unit according to a first embodiment of the present disclosure.
  • a flowchart showing an example of processing executed by a data quality verification unit and a learning data identification unit included in the learning control device according to the first embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining an example of a process executed by a data quality verification unit according to the first embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining an example of a process executed by a learning data identifying unit according to the first embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining an example of a process executed by a data quality verification unit according to the first embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining an example of a process executed by a data quality verification unit according to the first embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a learning control device according to a second embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a learning control device according to a third embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a learning control device according to a fourth embodiment of the present disclosure.
  • FIG. 13 is a block diagram showing an example of a functional configuration of a learning control device according to a fifth embodiment of the present disclosure.
  • training data for large objects can be increased by using data augmentation techniques, including enlarging images.
  • data augmentation techniques including enlarging images.
  • the model developer may need to identify bias in the training data at a previous stage. This identification takes time and effort, as a very large amount of training data is usually required to train the model. As a result, it also takes time and effort to create unbiased or less biased training data, which is inefficient.
  • the inventors have come up with the present disclosure to at least address the above-mentioned problem of inefficient creation of unbiased or limited training data.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of a machine learning management system according to a first embodiment of the present disclosure.
  • the machine learning management system 1 has a learning control device 10, a display device 20, a database (DB) device 30, and a camera 40.
  • the learning control device 10, the display device 20, the DB device 30, and the camera 40 are connected to each other via a communication network (not shown).
  • a communication network may be one or a combination of a LAN (Local Area Network), a WAN (Wide Area Network), the Internet, a VPN (Virtual Private Network), a mobile communication network, etc.
  • the machine learning management system 1 may further include other components such as a data collection device, a model creation device, and an inference device that correspond to each process in the flow of the MLOps pipeline described above.
  • two or more of the multiple devices corresponding to each process in the MLOps pipeline flow may be integrated into one device (e.g., the learning control device 10) as necessary, or one device may be divided into multiple devices to distribute the load, etc.
  • the machine learning management system 1 (at least a part of it) may be installed in a cloud environment or an on-premise environment. For example, if at least a part of the machine learning management system 1 is installed in a cloud environment, the learning control device 10 and the DB device 30 may be installed in the cloud environment.
  • the display device 20 and the DB device 30 may be included in the learning control device 10.
  • the display device 20 and the DB device 30 may be realized as a user interface (UI) device (e.g., the UI device 13 described below) and a storage device (e.g., the storage device 11), respectively, included in the learning control device 10.
  • UI user interface
  • storage device e.g., the storage device 11
  • the learning control device 10 learns (trains) a machine learning model (hereinafter, simply a model) using learning data (training data) consisting of pairs of input data and correct answer data (labels) stored in the DB device 30, for example. At this time, the learning control device 10 learns the model according to a well-known algorithm such as the backpropagation method. Note that the learning by the learning control device 10 is not limited to such supervised learning, and may be unsupervised learning, reinforcement learning, etc.
  • the model learned by the learning control device 10 may be a model for classification problems, a model for regression problems, or a model for generative problems, depending on the purpose of use.
  • the input data is image data (hereinafter, simply referred to as image) based on image data generated by the camera 40.
  • image data any signal, information, and data such as audio signals and text information can be used as the learning data.
  • the learning control device 10 collects (acquires) learning data (image data) to be used for model learning.
  • the learning data may be based on image data generated by the camera 40 as described above, or may be based on image data acquired from another data source.
  • the learning control device 10 calculates distribution data for specified evaluation items for the collected learning data.
  • the learning control device 10 identifies information on the learning data that needs to be added to the calculated distribution data to achieve a specified distribution.
  • the learning control device 10 transmits the learning data collected by the learning control device 10 to the DB device 30, thereby storing the learning data in the DB device 30.
  • the learning control device 10 transmits screen data to the display device 20, and causes the display device 20 to display a screen including information related to learning control by the learning control device 10 based on the screen data.
  • the learning control device 10 may use the learned model to perform object detection inference processing to detect objects in image data generated by and received from the camera 40.
  • the display device 20 under the control of the learning control device 10, displays a screen including information related to the learning control by the learning control device 10 based on the screen data transmitted from the learning control device 10.
  • the DB device 30, under the control of the learning control device 10, stores the learning data collected by the learning control device 10.
  • the DB device 30, under the control of the learning control device 10, also stores the models learned by the learning control device 10 and the models before learning.
  • the camera 40 captures an image of the scene around the camera 40, generates image data, and transmits the generated image data to the learning control device 10.
  • each of the learning control device 10, display device 20, DB device 30, and camera 40 is illustrated as being one, but there may be multiple of these.
  • ⁇ Configuration of learning control device> 2 is a block diagram showing an example of a hardware configuration of the learning control device according to the first embodiment of the present disclosure.
  • the learning control device 10 may be realized by any one of a computing device (computer) such as a server or a PC, or an information processing device.
  • the learning control device 10 may include a storage device 11, a processing device 12, a UI device 13, a communication device 14, and a bus 15.
  • the storage device 11, the processing device 12, the UI device 13, and the communication device 14 may be connected to each other via the bus 15.
  • the programs or instructions that realize the functions and processes described above and below in the learning control device 10 may be downloaded from some external device (e.g., a server) via a network or the like. Such programs or instructions may also be provided from a removable storage medium such as a CD-ROM (Compact Disc Read Only Memory) or flash memory.
  • a removable storage medium such as a CD-ROM (Compact Disc Read Only Memory) or flash memory.
  • the storage device 11 is realized by RAM (Random Access Memory), flash memory, a hard disk drive, etc., and stores installed programs or instructions as well as files, data, etc. used to execute the programs or instructions.
  • the storage device 11 may also include a non-transitory storage medium.
  • the processing device 12 may be realized, for example, by a general-purpose processor or controller (circuit), or may be realized by a dedicated processor or controller (circuit).
  • the processing device 12 may be realized by one or more CPUs (Central Processing Units), GPUs (Graphics Processing Units), processing circuits, etc., which may be composed of one or more processor cores.
  • the processing device 12 executes the functions and processing of the learning control device 10 described above and below in accordance with a program or instruction stored in the storage device 11, data such as parameters used to execute the program or instruction, etc.
  • a program when executed by the computer or processing device 12, may be a program for causing the computer or processing device 12 to function as the learning control device 10 according to the present disclosure.
  • such a program, when executed by the computer or processing device 12 may be a program for causing the computer or processing device 12 to execute the learning control method according to the present disclosure.
  • the UI device 13 may be composed of input devices such as a keyboard, mouse, camera, microphone, etc., output devices such as a display, speaker, headset, printer, etc., and input/output devices such as a touch panel, and realizes an interface between the user and the learning control device 10.
  • input devices such as a keyboard, mouse, camera, microphone, etc.
  • output devices such as a display, speaker, headset, printer, etc.
  • input/output devices such as a touch panel
  • the communication device 14 may be realized by various communication circuits that perform communication processing with external devices, the Internet, LAN, VPN, and other communication networks.
  • the above-described hardware configuration of the learning control device 10 is merely an example, and the learning control device 10 according to the present disclosure may be realized by any other suitable hardware configuration.
  • FIG. 3 is a block diagram showing an example of the functional configuration of a learning control device according to embodiment 1 of the present disclosure.
  • the learning control device 10 includes a data quality verification unit 101 and a learning data identification unit 102.
  • the data quality verification unit 101 and the learning data identification unit 102 may be realized by the processing device 12 as hardware, as software, or as a combination of hardware and software.
  • the data quality verification unit 101 collects learning data and transmits the collected learning data to the DB device 30, thereby storing the collected learning data in the DB device 30.
  • the data quality verification unit 101 calculates distribution data (e.g., a histogram, etc.) regarding predetermined evaluation items for the collected learning data.
  • the data quality verification unit 101 outputs the calculated distribution data to the learning data identification unit 102.
  • the distribution data regarding the predetermined evaluation items will be described later.
  • the evaluation items of the training data may be referred to as features of the training data.
  • the data quality verification unit 101 outputs the calculated distribution data to the training data identification unit 102 does not only mean “the data quality verification unit 101 directly outputs the calculated distribution data to the training data identification unit 102", but may also mean the following: "The data quality verification unit 101 stores the calculated distribution data in a storage area of the storage device 11 that is accessible by the learning data identification unit 102.” The data quality verification unit 101 transmits the calculated distribution data to the training data identification unit 102. The same applies below to similar expressions.
  • the learning data identification unit 102 identifies information on the learning data (e.g., parameters, etc.) that needs to be added to the distribution data input from the data quality verification unit 101 to create a specified distribution. For example, the learning data identification unit 102 may compare the distribution data with a specified distribution and identify information corresponding to the difference between them as information on the learning data that needs to be added. Information on the specified distribution may be set in advance by the user and stored in the storage device 11 or the DB device 30, for example. Information on the specified distribution may also be calculated by the learning data identification unit 102 using test data that corresponds to the distribution data for a specified evaluation item.
  • information on the learning data e.g., parameters, etc.
  • FIG. 4 is a block diagram showing an example configuration of a learning data identification unit according to the first embodiment of the present disclosure.
  • the learning data identification unit 102 may have a distribution input unit 1021.
  • the distribution input unit 1021 may accept input of information related to a predetermined distribution.
  • the distribution input unit 1021 may accept information related to a predetermined distribution stored in the storage device 11 or the DB device 30 from the storage device 11 or the DB device 30.
  • the data quality verification unit 101 may assume that the collected training data follows a Gaussian distribution. Therefore, the data quality verification unit 101 may calculate distribution data for a specified evaluation item by fitting the collected training data to a Gaussian distribution. Note that the distribution to which the collected training data is fitted is not limited to a Gaussian distribution, and other distributions such as a uniform distribution may be used depending on the type of training data.
  • the distribution data for the predetermined evaluation item may be distribution data for the annotations of the collected learning data (rectangles (bounding boxes) or rectangular coordinates of the images). Therefore, in this case, the data quality verification unit 101 may calculate distribution data for the annotations of the collected learning data.
  • the learning data may be learning data for detecting an object
  • the predetermined evaluation item may include one or more of the position of the object, the size of the object, and the number of images for each label of the object. More specifically, for example, when the predetermined evaluation item is the position of the object, the data quality verification unit 101 may calculate distribution data of the center position coordinates of a rectangle that includes the object (for example, surrounding the object).
  • the learning data for the image that includes the object at that position is increased to train the model, thereby increasing the possibility of detecting objects at various positions.
  • the detection target position is determined, the possibility of detecting an object at the detection target position is increased by increasing the learning data whose center position has been moved to match the detection target position and training the model.
  • the data quality verification unit 101 may calculate distribution data of the width and/or height of a rectangle containing an object.
  • the possibility of detecting objects of various sizes increases by increasing the amount of learning data of images containing objects of that size and training a model. Also, as a result, when the size of the detection target is determined, the possibility of detecting an object of the detection target size increases by increasing the amount of learning data whose size is enlarged or reduced according to the size of the detection target and training a model.
  • the distribution data for the predetermined evaluation item may be distribution data for the predetermined feature calculated from the collected learning data. Therefore, in this case, the data quality verification unit 101 may calculate the distribution data for the predetermined feature calculated from the collected learning data.
  • the learning data may be learning data for detecting an object
  • the predetermined evaluation item may include one or more of color information of the image and statistical values of pixel values contained in the image.
  • the data quality verification unit 101 may calculate distribution data of the color (pixel value; RGB, HSV, etc.) of a representative point (e.g., center) of the image, or distribution data such as the average value, median value, and variance of all pixels of the image, as the distribution data for the predetermined evaluation item.
  • the distribution data regarding the predetermined evaluation item may be distribution data regarding the relationship between the collected learning data. Therefore, in this case, the data quality verification unit 101 may calculate distribution data regarding the relationship between the collected learning data.
  • the learning data may be learning data for detecting an object
  • the predetermined evaluation item may include similarity between images. More specifically, for example, the data quality verification unit 101 may calculate distribution data of similarity between images, such as SSD (Sum of Squared Difference) between images, cosine similarity between images, SSIM (structural similarity) between images, etc., as distribution data regarding the predetermined evaluation item.
  • SSD Standard of Squared Difference
  • SSIM structural similarity
  • Steps S1 to S3 shown in Figure 5A are executed by the data quality verification unit 101, and steps S4 to S6 shown in Figure 5A are executed by the training data identification unit 102.
  • the data quality verification unit 101 acquires a learning data string X set having a rectangular size (for example, the vertical width of a rectangle) from image data (step S1 in FIG. 5A).
  • the data quality verification unit 101 creates a histogram of the acquired training data sequence X set ((a) of FIG. 6A ) and obtains a Gaussian distribution (Step S2 in FIG. 5A and (b) in FIG. 6A ).
  • ⁇ represents the mean
  • ⁇ 2 represents the variance.
  • the fitting of the training data sequence X set to a Gaussian distribution may be performed using a least squares method, but is not limited to this.
  • the data quality verification unit 101 specifies the mean ⁇ train and variance ⁇ train 2 (the mean and variance are called distribution parameters) of the distribution X of the training data sequence X set (called training data distribution X) from the fitting result (step S3 in FIG. 5A and (c) in FIG. 6A). Then, the data quality verification unit 101 outputs information about the specified training data distribution X to the training data specifying unit 102.
  • the data quality verification unit 101 calculates distribution data (histogram of data Xset ; following a Gaussian distribution with a mean of ⁇ train and a variance of ⁇ train2 ) regarding a specified evaluation item (rectangle size, i.e., object size) for the collected learning data (image data).
  • the training data identifying unit 102 (distribution input unit 1021) identifies the mean ⁇ target and variance ⁇ target 2 (called target distribution parameters) of a known target data distribution Y (target distribution Y), i.e., receives information on a predetermined distribution (FIG. 5A).
  • the training data identification unit 102 performs z-score transformation on the distribution X of the training data sequence X set calculated as described above, and standardizes it to follow the standard normal distribution Z (mean 0, variance 1) (Equation (1)) (prior to step S4 in FIG. 5A, (a) in FIG. 6B).
  • the learning data identifying unit 102 performs conversion so that the standardized distribution Z follows the target distribution Y (equation (2)) (after step S4 in FIG. 5A, (a) in FIG. 6B).
  • the learning data identifying unit 102 identifies transformation parameters A and B necessary for data expansion (i.e., addition of learning data) from equation (3) (step S6 in FIG. 5A, (c) in FIG. 6B).
  • a and B are as follows:
  • the training data identification unit 102 identifies training data information (parameters A and B) that needs to be added to the distribution data (data X set (histogram); following a Gaussian distribution with a mean of ⁇ train and a variance of ⁇ train 2 ) to form a predetermined distribution (target distribution Y).
  • Steps S1 to S3 and steps S1' to S3' shown in Figure 5B are executed by the data quality verification unit 101, and steps S4 to S6 shown in Figure 5B are executed by the training data identification unit 102.
  • Steps S1 to S3 executed by the data quality verification unit 101 are as described above, so their explanation will be omitted.
  • the data quality verification unit 101 executes steps S1' to S3' to calculate (determine) the target distribution Y using the test data.
  • the data quality verification unit 101 acquires a test data sequence Y set corresponding to the above-mentioned training data sequence (step S1' in FIG. 5B).
  • the data quality verification unit 101 creates a histogram of the acquired test data sequence Y set (FIG. 6C (a)) and fits it to a Gaussian distribution as described above for the training data sequence (step S2' in FIG. 5B, FIG. 6C (b)).
  • the data quality verification unit 101 specifies the mean ⁇ target and the variance ⁇ target 2 of the distribution Y (target distribution Y) of the test data sequence Y set from the fitting result (step S3' in FIG. 5B, (c) in FIG. 6C). Then, the data quality verification unit 101 outputs information on the specified training data distribution X and information on the target distribution Y to the training data specifying unit 102.
  • the data quality verification unit 101 checks the distribution data (data X set (histogram of; follows a Gaussian distribution with mean ⁇ train and variance ⁇ train 2 ).
  • Steps S4 to S6 executed by the learning data identification unit 102 are as described above, so the explanation is omitted.
  • the training data identification unit 102 identifies training data information (parameters A and B) that needs to be added to the distribution data (data X set (histogram); following a Gaussian distribution with a mean of ⁇ train and a variance of ⁇ train 2 ) to form a predetermined distribution (target distribution Y).
  • the training data identifying unit 102 may identify, for example, the following information as training data information that needs to be added to the distribution data (e.g., a histogram of the number of images for each label) to achieve the predetermined distribution: - A value greater than the average or median calculated from the distribution data (for example, the maximum number of images per label)
  • the training data identifying unit 102 may identify, for example, the following information as training data information that needs to be added to distribution data in which rectangle sizes are plotted on a two-dimensional scatter plot with the vertical and horizontal widths of the rectangles (e.g., normalized vertical and horizontal widths) as axes, in order to achieve a predetermined distribution: - When a two-dimensional scatter plot is divided into multiple regions, what is the maximum number of data points in each region?
  • ⁇ Operation of the learning control device> 7 is a flowchart showing an example of the operation of the learning control device according to the first embodiment of the present disclosure. Before the flow starts, it is assumed that the learning control device 10 (data quality verification unit 101) has collected learning data.
  • step S11 the learning control device 10 (data quality verification unit 101) calculates distribution data for the specified evaluation items for the collected learning data.
  • step S12 the learning control device 10 (learning data identification unit 102) identifies learning data information that needs to be added to the calculated distribution data to achieve a specified distribution.
  • the learning control device 10 can identify information on learning data that needs to be added to the calculated distribution data to obtain a predetermined distribution, and can identify the learning data to be added based on the information. This can improve the efficiency of creating learning data. As a result, the efficiency of the entire learning flow can also be improved.
  • the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 2 are the same as or similar to the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 1, respectively, and therefore descriptions thereof will be omitted.
  • the learning data to be added is generated and/or collected based on the information of the identified learning data that needs to be added.
  • the learning control device 10 generates and/or collects the learning data to be added based on the information of the learning data that needs to be added and that is identified in accordance with embodiment 1.
  • FIG. 8 is a block diagram showing an example of the functional configuration of a learning control device according to embodiment 2 of the present disclosure.
  • the learning control device 10 includes a data quality verification unit 101, a learning data identification unit 102, and a learning data update unit 103.
  • the data quality verification unit 101, the learning data identification unit 102, and the learning data update unit 103 may be realized by the processing device 12 as hardware, as software, or as a combination of hardware and software.
  • the data quality verification unit 101 and the training data identification unit 102 in the second embodiment are the same as or similar to the data quality verification unit 101 and the training data identification unit 102 in the first embodiment, respectively, and therefore will not be described again except as follows.
  • the learning data identification unit 102 outputs information about the identified learning data that needs to be added to the learning data update unit 103.
  • the learning data update unit 103 generates and/or collects the learning data to be added based on the information of the learning data that needs to be added that is input from the learning data identification unit 102.
  • the learning data update unit 103 may generate the learning data to be added using well-known data expansion methods (enlargement/reduction, inversion, brightness change, rotation, translation, synthesis, etc.) based on the information of the learning data that needs to be added, or may collect the learning data to be added based on image data generated by the camera 40.
  • FIG. 9 is a flowchart showing an example of the operation of the learning control device according to the second embodiment of the present disclosure.
  • the learning control device 10 data quality verification unit 101
  • the learning control device 10 is assumed to have collected learning data.
  • steps S21 and S22 are executed, which may be the same as steps S11 and S12 described above, respectively.
  • step S23 the learning control device 10 (learning data update unit 103) generates and/or collects learning data to be added based on the information of the identified learning data.
  • the learning control device 10 can generate and/or collect additional learning data based on the information of the identified learning data that needs to be added. This can improve the efficiency of creating learning data. As a result, the efficiency of the entire learning flow can also be improved.
  • the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 3 are the same as or similar to the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 1 or 2, respectively, and therefore descriptions thereof are omitted except as follows.
  • the distribution data calculated by the learning control device 10 is displayed on the display device 20, and based on the display of this distribution data, information on the learning data that needs to be added to achieve a specified distribution is input by the user.
  • the learning control device 10 transmits screen data including the calculated distribution data to the display device 20 (display unit), thereby causing the display device 20 to display (control) the calculated distribution data.
  • the learning control device 10 also accepts information on learning data that needs to be added to achieve a specified distribution, input by the user based on the display of this distribution data, for example to increase missing learning data.
  • the learning control device 10 then generates and/or collects learning data based on the accepted information on the learning data that needs to be added.
  • FIG. 10 is a block diagram showing an example of the functional configuration of a learning control device according to embodiment 3 of the present disclosure.
  • the learning control device 10 includes a data quality verification unit 101, a distribution data display control unit 104, a learning data information input unit 105, and a learning data update unit 103.
  • the data quality verification unit 101, the distribution data display control unit 104, the learning data information input unit 105, and the learning data update unit 103 may be realized by the processing device 12 as hardware, as software, or as a combination of hardware and software.
  • the data quality verification unit 101 according to the third embodiment is the same as or similar to the data quality verification unit 101 according to the first or second embodiment, and therefore will not be described below.
  • the data quality verification unit 101 outputs the calculated distribution data to the distribution data display control unit 104.
  • the distribution data display control unit 104 generates screen data including the distribution data input from the data quality verification unit 101 and transmits it to the display device 20 (display unit), thereby displaying (controlling) the distribution data on the display device 20.
  • the distribution data displayed on the display device 20 may be, for example, the distribution data described in embodiment 1 and shown in Figures 5A to 5C, the number of images for each label (histogram), etc.
  • the learning data information input unit 105 accepts (user) input of information on learning data that needs to be added to the distribution data displayed on the display device 20 to create a specified distribution.
  • the learning data information that needs to be added to create a specified distribution may be, for example, the values of parameters A and B described in embodiment 1, the maximum number of images per label, etc.
  • the distribution data display control unit 104 may display candidates for information on learning data that needs to be added, such as the values of parameters A and B, along with the distribution data on the display device 20, and the user may input information on learning data that needs to be added by selecting appropriate information from such candidates.
  • the learning data information input unit 105 outputs the received (user-input) information on learning data that needs to be added to the learning data update unit 103.
  • the learning data update unit 103 generates and/or collects learning data based on information about learning data that needs to be added, which is input from the learning data information input unit 105.
  • the learning data update unit 103 may generate the learning data to be added using well-known data expansion methods (enlargement/reduction, inversion, brightness change, rotation, translation, synthesis, etc.) based on the information about the learning data that needs to be added, or may collect the learning data to be added based on image data generated by the camera 40.
  • FIG. 11 is a flowchart showing an example of the operation of the learning control device according to the third embodiment of the present disclosure.
  • the learning control device 10 data quality verification unit 101
  • the learning control device 10 is assumed to have collected learning data.
  • step S31 which may be the same as step S11 or step S21 described above, is executed.
  • step S32 the learning control device 10 (distribution data display control unit 104) displays the calculated distribution data on the display unit.
  • step S33 the learning control device 10 (learning data information input unit 105) accepts input of information on learning data that needs to be added to achieve the specified distribution.
  • step S34 the learning control device 10 (learning data update unit 103) generates and/or collects additional learning data based on the received learning data information.
  • the learning control device 10 can generate and/or collect additional learning data based on the information of the identified learning data that needs to be added. This can improve the efficiency of creating learning data. As a result, the efficiency of the entire learning flow can also be improved.
  • the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 4 are the same as or similar to the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 2, respectively, and therefore will not be described again except as follows.
  • the model is trained using training data including the additional training data according to embodiment 2.
  • the learning control device 10 learns a model based on the learning data including the generated and/or collected additional learning data (and all or part of the initially collected learning data in embodiment 2).
  • the learning control device 10 transmits the additional learning data generated and/or collected by the learning control device 10 to the DB device 30, thereby causing the additional learning data to be further stored in the DB device 30.
  • the DB device 30 also stores additional learning data generated and/or collected by the learning control device 10 under the control of the learning control device 10.
  • FIG. 12 is a block diagram showing an example of the functional configuration of a learning control device according to embodiment 4 of the present disclosure.
  • the learning control device 10 includes a data quality verification unit 101, a learning data identification unit 102, a learning data update unit 103, and a learning unit 106.
  • the data quality verification unit 101, the learning data identification unit 102, the learning data update unit 103, and the learning unit 106 may be realized by the processing device 12 as hardware, as software, or as a combination of hardware and software.
  • the data quality verification unit 101, the learning data identification unit 102, and the learning data update unit 103 of the fourth embodiment are the same as or similar to the data quality verification unit 101 and the learning data identification unit 102 of the second embodiment, respectively, and therefore will not be described again except as follows.
  • the learning data update unit 103 transmits the generated and/or collected learning data to be added to the DB device 30, thereby storing the learning data to be added in the DB device 30.
  • the learning unit 106 receives from the DB device 30 all or part of the learning data collected by the data quality verification unit 101 and stored in the DB device 30, and additional learning data generated and/or collected by the learning data update unit 103 and stored in the DB device 30. The learning unit 106 then uses this learning data and the additional learning data to learn a model.
  • FIG. 13 is a flowchart showing an example of the operation of the learning control device according to the fourth embodiment of the present disclosure.
  • the learning control device 10 data quality verification unit 101
  • the learning control device 10 is assumed to have collected learning data.
  • steps S41 to S43 are executed, which may be the same as steps S21 to S23 described above.
  • step S44 the learning control device 10 (learning unit 106) learns a model based on the learning data including the learning data added as a result of executing step S43. That is, the learning control device 10 (learning unit 106) learns a model using all or part of the learning data previously stored in the DB device 30 and the additional learning data newly stored in the DB device 30.
  • the learning control device 10 can generate and/or collect additional learning data based on the identified information on the learning data that needs to be added, and can learn a model based on the additional learning data. This can improve the efficiency of creating learning data and the overall learning flow.
  • the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 5 are the same as or similar to the configuration of the machine learning management system 1 and the hardware configuration of the learning control device 10 in embodiment 3, respectively, and therefore descriptions thereof will be omitted except as follows.
  • the model is trained using training data that includes the additional training data according to embodiment 3.
  • the learning control device 10 learns a model based on the learning data including the generated and/or collected additional learning data (and all or part of the initially collected learning data according to embodiment 3).
  • the learning control device 10 transmits the additional learning data generated and/or collected by the learning control device 10 to the DB device 30, thereby causing the additional learning data to be further stored in the DB device 30.
  • the DB device 30 also stores additional learning data generated and/or collected by the learning control device 10 under the control of the learning control device 10.
  • FIG. 14 is a block diagram showing an example of the functional configuration of a learning control device according to embodiment 5 of the present disclosure.
  • the learning control device 10 includes a data quality verification unit 101, a distribution data display control unit 104, a learning data information input unit 105, a learning data update unit 103, and a learning unit 106.
  • the data quality verification unit 101, the distribution data display control unit 104, the learning data information input unit 105, the learning data update unit 103, and the learning unit 106 may be realized by the processing device 12 as hardware, software, or a combination of hardware and software.
  • the data quality verification unit 101, distribution data display control unit 104, learning data information input unit 105, and learning data update unit 103 of embodiment 5 are the same as or similar to the data quality verification unit 101, distribution data display control unit 104, learning data information input unit 105, and learning data update unit 103 of embodiment 3, respectively, and therefore descriptions thereof will be omitted except as follows.
  • the learning data update unit 103 transmits the generated and/or collected learning data to be added to the DB device 30, thereby storing the learning data to be added in the DB device 30.
  • the learning unit 106 receives from the DB device 30 all or part of the learning data collected by the data quality verification unit 101 and stored in the DB device 30, and additional learning data generated and/or collected by the learning data update unit 103 and stored in the DB device 30. The learning unit 106 then uses this learning data and the additional learning data to learn a model.
  • FIG. 15 is a flowchart showing an example of the operation of the learning control device according to the third embodiment of the present disclosure.
  • the learning control device 10 data quality verification unit 101
  • the learning control device 10 is assumed to have collected learning data.
  • steps S51 to S54 are executed, which may be the same as steps S31 to S34 described above.
  • step S55 the learning control device 10 (learning unit 106) learns a model based on the learning data including the learning data added as a result of executing step S54. That is, the learning control device 10 (learning unit 106) learns a model using all or part of the learning data previously stored in the DB device 30 and the additional learning data newly stored in the DB device 30.
  • the learning control device 10 can generate and/or collect additional learning data based on the information of the identified learning data that needs to be added, and can learn a model based on the additional learning data. This can improve the efficiency of creating learning data and the overall learning flow.
  • the learning control device 10 has been described as learning a model based on learning data including the learning data to be added.
  • the learning control device 10 may learn a model based on all or only a part of the initially collected learning data, and re-learn the model based on the additional learning data.
  • the learning control device 10 has been described as collecting image data as learning data, but the learning control device 10 may also collect audio signals as learning data.
  • the data quality verification unit 101 may calculate distribution data regarding the number of data for each label as distribution data regarding annotations. This makes it possible to increase the training data for labels with a small number of data.
  • the data quality verification unit 101 may calculate distribution data of the time length of the waveform of the audio signal as the distribution data regarding the predetermined feature. This makes it possible to determine how much time shifting or stretching is required to increase the learning data. In such a case, the data quality verification unit 101 may calculate distribution data of the frequency components of the audio signal as the distribution data regarding the predetermined feature. This makes it possible to determine how much pitch shifting is required to increase the learning data.
  • the data quality verification unit 101 may calculate distribution data of the similarity between waveforms of audio signals (e.g., cosine similarity, correlation coefficient, etc.) as distribution data regarding the relationship between training data. This makes it possible to increase the training data of audio signals with dissimilar waveforms. Alternatively, audio signals with dissimilar waveforms may be thinned out from the training data.
  • the learning data update unit 103 may generate the learning data to be added using well-known data expansion techniques such as pitch shifting, time stretching, and/or changing the time shift, based on the information of the learning data that needs to be added.
  • the learning data information input unit 105 may accept (user) input of information on learning data that needs to be added to achieve a predetermined distribution, such as pitch shift, time stretch and/or time shift setting values.
  • the functional units described and illustrated in the above embodiments may be divided into multiple functional units, or two or more functional units may be integrated into one functional unit. Furthermore, the names of the functional units are merely examples and may be changed as appropriate.
  • a learning control device includes a data quality verification unit that calculates distribution data relating to specified evaluation items for collected learning data, and a learning data identification unit that identifies information about learning data that needs to be added to the distribution data to achieve a specified distribution.
  • the data quality verification unit calculates the distribution data regarding annotations of the collected learning data.
  • the data quality verification unit calculates the distribution data regarding features calculated from the collected learning data.
  • the data quality verification unit calculates the distribution data regarding the relationships between the collected learning data.
  • the learning data includes images
  • the learning data is learning data for detecting objects
  • the predetermined evaluation items include at least one of the position of the object, the size of the object, and the number of images for each label of the object.
  • the learning data includes an image
  • the predetermined evaluation items include at least one of color information of the image and statistics of pixel values included in the image.
  • the learning data includes images
  • the predetermined evaluation items include similarities between the images.
  • the learning data identification unit has a distribution input unit that accepts input of information related to the specified distribution.
  • the learning control device further includes a learning data update unit that generates and/or collects additional learning data based on information about the identified learning data.
  • the learning control device further includes a learning unit that learns a model based on learning data including the added learning data.
  • a learning control device includes a data quality verification unit that calculates distribution data relating to predetermined evaluation items for collected learning data, a distribution data display control unit that displays the distribution data on a display unit, a learning data information input unit that receives input of information on learning data that needs to be added to achieve a predetermined distribution, and a learning data update unit that generates and/or collects learning data to be added based on the received learning data information.
  • the learning control device further includes a learning unit that learns a model based on learning data including the added learning data.
  • a learning control method calculates distribution data for a specified evaluation item for collected learning data, and identifies information about the learning data that needs to be added to the distribution data to achieve a specified distribution.
  • the learning control method further generates and/or collects additional learning data based on information about the identified learning data.
  • a learning control method calculates distribution data for a specified evaluation item for collected learning data, displays the distribution data on a display unit, accepts input of information on learning data that needs to be added to achieve the specified distribution, and generates and/or collects additional learning data based on the accepted learning data.
  • the learning control method further learns a model based on learning data that includes the additional learning data.
  • a program according to one embodiment of the present disclosure is a program for causing a computer to function as the above-mentioned learning control device.
  • This disclosure can be realized as software, hardware, or software in conjunction with hardware.
  • One aspect of the present disclosure is useful as a learning control device that identifies information about learning data that needs to be added.
  • Machine learning management system 10 Learning control device 20
  • Display device (display unit) 30 Database (DB) device 40
  • Camera 11 Storage device 12
  • User interface (UI) device 14
  • Communication device 101
  • Data quality verification unit 102
  • Learning data identification unit 1021
  • Distribution input unit 103
  • Learning data update unit 104
  • Distribution data display control unit 105
  • Learning data information input unit 106 Learning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本開示の一態様に係る表示制御装置は、収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する学習データ特定部と、を備える。

Description

学習制御装置、学習制御方法及びプログラム
　本開示は、学習制御装置、学習制御方法及びプログラムに関する。
　近年、機械学習モデル（以下、学習済みモデル、訓練済みモデル、学習モデル又はモデルとも呼ぶ）を用いたソリューションが、日常生活、学問、ビジネス等の様々なシーンにおいて提供されている。
　このような機械学習（ＭＬ：Machine Learning）モデルの効果を発揮させるために、ＭＬＯｐｓ（Machine Learning Operations）と呼ばれるプロセスが用いられることがある。ＭＬＯｐｓでは、機械学習に関わるデータ収集から、学習、モデル作成、推論、デプロイへと至るパイプライン（以下、ＭＬＯｐｓパイプライン）のフローにおいて、多くの部分を自動で行っており、効率化を図っている。
　ここで、ＭＬＯｐｓとは、「機械学習開発（Machine Learning）」チームと「運用（Operations）」チームとが互いに協調することで、機械学習モデルの実装から運用までのライフサイクルを円滑に進めるための基盤・体制を指す。また、ＭＬＯｐｓパイプラインとは、ＭＬＯｐｓの一連のサイクルを１つのフローで管理するシステムを指す。
　ＭＬＯｐｓに関連して、特許文献１には、収集されたデータのうち既存の学習モデルを更新するためのデータを選定し、選定されたデータに基づいて、新規の学習モデルを生成し、既存の学習モデルを新規の学習モデルに更新する技術が開示されている。
　また、特許文献２には、学習モデルに対して画像又は図形データを検証データとして入力したときの、検証データ毎の認識対象の認識度に基づき、認識対象に関する特徴のばらつきを変えた教師データを生成し、生成された教師データを用いて学習モデルを学習させる技術が開示されている。
特開２０２１－１５７６５４号公報 特開２０２０－１５４５６４号公報
　一般に、学習モデルを開発するにあたって、品質の良いデータセット、すなわち、偏りのない又は少ないデータセットを作成するには、手間と時間がかかる。特許文献１及び２に記載された技術は、学習フローの効率化又は自動化を図るものであるが、学習データの偏りを是正し、学習データの作成を効率的にする点で検討の余地がある。
　本開示は、上記に鑑みて、偏りのない又は少ない学習データの作成の効率化を図ることができる技術を提供することを目的とする。
　本開示の一態様に係る学習制御装置は、収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する学習データ特定部と、を備える。
　本開示の一態様によれば、所定の分布にするために追加が必要な学習データの情報が特定されるので、当該情報に基づいて、追加する学習データを特定することが可能となり、学習データの作成の効率化を図ることができる。
本開示の実施形態１に係る機械学習管理システムの概略構成例を示すブロック図 本開示の実施形態１に係る学習制御装置のハードウェア構成例を示すブロック図 本開示の実施形態１に係る学習制御装置の機能構成例を示すブロック図 本開示の実施形態１に係る学習データ特定部の構成例を示すブロック図 本開示の実施形態１に係る学習制御装置が備えるデータ品質検証部及び学習データ特定部が実行する処理の例を示すフローチャート 本開示の実施形態１に係る学習制御装置が備えるデータ品質検証部及び学習データ特定部が実行する処理の例を示すフローチャート 本開示の実施形態１に係るデータ品質検証部が実行する処理の例を説明するための説明図 本開示の実施形態１に係る学習データ特定部が実行する処理の例を説明するための説明図 本開示の実施形態１に係るデータ品質検証部が実行する処理の例を説明するための説明図 本開示の実施形態１に係る学習制御装置の動作例を示すフローチャート 本開示の実施形態２に係る学習制御装置の機能構成例を示すブロック図 本開示の実施形態２に係る学習制御装置の動作例を示すフローチャート 本開示の実施形態３に係る学習制御装置の機能構成例を示すブロック図 本開示の実施形態３に係る学習制御装置の動作例を示すフローチャート 本開示の実施形態４に係る学習制御装置の機能構成例を示すブロック図 本開示の実施形態４に係る学習制御装置の動作例を示すフローチャート 本開示の実施形態５に係る学習制御装置の機能構成例を示すブロック図 本開示の実施形態５に係る学習制御装置の動作例を示すフローチャート
　（本開示に至った経緯）
　例えば、カメラ画像内の物体を検知（検出）するためのモデルを学習するにあたって、サイズが小さな画像に含まれる物体に関する学習データが多く、サイズが大きな画像に含まれる物体に関する学習データが少ないといった、学習データに偏りがある場合を考える。このような場合において、これらの学習データを用いてモデルを学習しても、大きな物体が含まれるサイズが大きな画像の学習データが不足しているため、大きな物体を検知できないおそれがある。
　このような場合、画像を拡大すること等を含むデータ拡張手法を用いることで、大きな物体に関する学習データを増加させることができる。しかしながら、データ拡張手法を用いるとしても、その前段階において、モデルの開発者が学習データの偏りを特定する必要があり得る。通常、モデルを学習するために非常に多くの学習データを必要とするので、この特定には時間と手間がかかる。結果として、最終的に偏りのない又は少ない学習データを作成するのにも、時間と手間がかかり、これは非効率的である。
　本発明者は、偏りのない又は少ない学習データの非効率的な作成という上記の問題に少なくとも対処するための本開示に至った。
　以下、本開示の実施形態について、図面を参照して説明する。ただし、発明の範囲は図示した例に限定されない。なお、以下の説明において、同一の機能及び構成を有するものについては、同一の符号を付し、その説明を省略することがある。
　（実施形態１）
　＜システムの構成＞
　図１は、本開示の実施形態１に係る機械学習管理システムの概略構成例を示すブロック図である。
　図１に示すように、機械学習管理システム１は、学習制御装置１０と、表示装置２０と、データベース（ＤＢ：database）装置３０と、カメラ４０と、を有する。学習制御装置１０、表示装置２０、ＤＢ装置３０及びカメラ４０は、通信ネットワーク（図示せず）を介して、互いに接続されている。このような通信ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、ＶＰＮ（Virtual Private Network）、移動通信網等の１つ又は組み合わせであってよい。
　なお、機械学習管理システム１は、上記で説明したＭＬＯｐｓパイプラインのフローにおける各処理に対応するデータ収集装置、モデル作成装置、推論装置等、他の構成要素をさらに有してもよい。
　また、ＭＬＯｐｓパイプラインのフローにおけるそれぞれの処理に対応する複数の装置のうちの２つ以上が、必要に応じて、１つの装置（例えば、学習制御装置１０）に統合されてもよいし、１つの装置が、負荷を分散する等のために複数の装置に分けられてもよい。
　また、機械学習管理システム１（の少なくとも一部）は、クラウド環境に設置されてもよいし、オンプレミス環境に設置されてもよい。例えば、機械学習管理システム１の少なくとも一部が、クラウド環境に設置される場合、学習制御装置１０及びＤＢ装置３０がクラウド環境に設置されてもよい。
　また、表示装置２０及びＤＢ装置３０は、学習制御装置１０に含まれてもよい。例えば、表示装置２０及びＤＢ装置３０は、それぞれ、学習制御装置１０に含まれるユーザインタフェース（ＵＩ：User Interface）装置（例えば、後述するＵＩ装置１３）及び記憶装置（例えば、記憶装置１１）として実現されてもよい。
　学習制御装置１０は、例えば、ＤＢ装置３０に記憶されている入力データと正解データ（ラベル）とのペアから構成される学習データ（訓練データ）を用いて、機械学習モデル（以下、単にモデル）を学習する（訓練する）。この際に、学習制御装置１０は、誤差逆伝播法等の周知のアルゴリズムに従って、モデルを学習する。なお、学習制御装置１０による学習は、このような教師あり学習に限定されず、教師なし学習、強化学習等であってもよい。学習制御装置１０によって学習されるモデルは、利用目的に応じて、分類問題用のモデルであることもあるし、回帰問題用のモデルであることもあるし、生成問題用のモデルであることもある。以下では、別途記載されない限り、入力データが、カメラ４０によって生成された画像データ等に基づく画像データ（以下、単に画像とも呼ぶ）である例について説明する。しかしながら、学習データとして、画像データ以外に、音声信号やテキスト情報等の、任意の信号、情報及びデータを用いることができる。
　学習制御装置１０は、モデルの学習に用いる学習データ（画像データ）を収集（取得）する。学習データは、上述したようにカメラ４０によって生成された画像データに基づくものであってもよいし、他のデータソースから取得された画像データに基づくものであってもよい。学習制御装置１０は、収集した学習データに対し、所定の評価項目に関する分布データを算出する。学習制御装置１０は、算出した分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する。
　学習制御装置１０は、学習制御装置１０によって収集された学習データをＤＢ装置３０に送信することにより、当該学習データをＤＢ装置３０に記憶させる。
　学習制御装置１０は、画面データを表示装置２０に送信することにより、画面データに基づいて、学習制御装置１０による学習制御に関わる情報を含む画面を表示装置２０に表示させる。
　学習制御装置１０は、学習したモデルを用いて、カメラ４０によって生成されカメラ４０から受信した画像データ内の物体を検知する物体検知推論処理を行ってもよい。
　表示装置２０は、学習制御装置１０の制御の下、学習制御装置１０から送信された画面データに基づいて、学習制御装置１０による学習制御に関わる情報を含む画面を表示する。
　ＤＢ装置３０は、学習制御装置１０の制御の下、学習制御装置１０によって収集された学習データを記憶する。ＤＢ装置３０はまた、学習制御装置１０の制御の下、学習制御装置１０によって学習されたモデルや学習前のモデルを記憶する。
　カメラ４０は、カメラ４０周囲のシーンを撮像して画像データを生成し、生成した画像データを学習制御装置１０に送信する。
　図１において、学習制御装置１０、表示装置２０、ＤＢ装置３０及びカメラ４０の数は、それぞれ１つであるとして図示されているが、これらは、複数存在してもよい。
　＜学習制御装置の構成＞
　図２は、本開示の実施形態１に係る学習制御装置のハードウェア構成例を示すブロック図である。学習制御装置１０は、サーバ、ＰＣ等のいずれかの計算機（コンピュータ）又は情報処理装置によって実現されてもよい。
　例えば、図２に示すように、学習制御装置１０は、記憶装置１１と、処理装置１２と、ＵＩ装置１３と、通信装置１４と、バス１５と、を備えてもよい。記憶装置１１、処理装置１２、ＵＩ装置１３及び通信装置１４は、バス１５を介して相互に接続されてもよい。
　学習制御装置１０における前述した、また後述する機能及び処理を実現するプログラム又は指示は、ネットワーク等を介して何らかの外部装置（例えば、サーバ）からダウンロードされてもよい。また、このようなプログラム又は指示は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。
　記憶装置１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスクドライブ等によって実現され、インストールされたプログラム又は指示とともに、プログラム又は指示の実行に用いられるファイル、データ等を記憶する。記憶装置１１は、非一時的な記憶媒体（non-transitory storage medium）を含んでもよい。
　処理装置１２は、例えば、汎用のプロセッサ又はコントローラ（回路）によって実現されてもよいし、専用のプロセッサ又はコントローラ（回路）によって実現されてもよい。汎用のプロセッサによって実現される場合、処理装置１２は、１つ以上のプロセッサコアから構成され得る１つ以上のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、処理回路（processing circuitry）等によって実現されてもよい。この場合、処理装置１２は、記憶装置１１に記憶されたプログラム又は指示、当該プログラム又は指示を実行するのに使用されるパラメータ等のデータ等に従って、前述した、また後述する学習制御装置１０の機能及び処理を実行する。このようなプログラムは、コンピュータ又は処理装置１２によって実行されたときに、当該コンピュータ又は処理装置１２を、本開示に係る学習制御装置１０として機能させるためのプログラムであってよい。また、このようなプログラムは、コンピュータ又は処理装置１２によって実行されたときに、当該コンピュータ又は処理装置１２に、本開示に係る学習制御方法を実行させるためプログラムであってもよい。
　ＵＩ装置１３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと学習制御装置１０との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたグラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）を、キーボード、マウス等を用いて操作することで、学習制御装置１０を操作する。
　通信装置１４は、外部装置、インターネット、ＬＡＮ、ＶＰＮ等の通信ネットワークとの通信処理を実行する各種通信回路によって実現されてもよい。
　上述した学習制御装置１０のハードウェア構成は一例に過ぎず、本開示に係る学習制御装置１０は、他の適切なハードウェア構成によって実現されてもよい。
　図３は、本開示の実施形態１に係る学習制御装置の機能構成例を示すブロック図である。
　例えば、図３に示すように、学習制御装置１０は、データ品質検証部１０１と、学習データ特定部１０２と、を備える。データ品質検証部１０１及び学習データ特定部１０２は、処理装置１２によって、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよいし、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。
　データ品質検証部１０１は、学習データを収集し、収集した学習データをＤＢ装置３０に送信することにより、収集した学習データをＤＢ装置３０に記憶させる。データ品質検証部１０１は、収集した学習データに対し、所定の評価項目に関する分布データ（例えば、ヒストグラム等）を算出する。データ品質検証部１０１は、算出した分布データを学習データ特定部１０２に出力する。所定の評価項目に関する分布データについては後述する。
　なお、学習データの評価項目は、学習データの特徴と称されてもよい。また、「データ品質検証部１０１が、算出した分布データを学習データ特定部１０２に出力する」ことは、「データ品質検証部１０１が、算出した分布データを学習データ特定部１０２に直接出力する」ことだけでなく、以下のことを意味してよい。
　・「データ品質検証部１０１が、算出した分布データを、学習データ特定部１０２がアクセス可能な記憶装置１１の記憶領域に記憶させる」こと。
　・「データ品質検証部１０１が、算出した分布データを学習データ特定部１０２に送信する」こと。
　以下において、同様の表現にも同じことが当てはまる。
　学習データ特定部１０２は、データ品質検証部１０１から入力された分布データに対し、所定の分布にするために追加が必要な学習データの情報（例えば、パラメータ等）を特定する。例えば、学習データ特定部１０２は、分布データと所定の分布とを比較し、これらの差分に対応する情報を、追加が必要な学習データの情報として特定してもよい。所定の分布に関する情報は、例えばユーザによって予め設定されて記憶装置１１やＤＢ装置３０に記憶されてもよい。また、所定の分布に関する情報は、所定の評価項目に関する分布データに対応するテストデータを用いて、学習データ特定部１０２によって算出されてもよい。
　図４は、本開示の実施形態１に係る学習データ特定部の構成例を示すブロック図である。図４に示すように、学習データ特定部１０２は、分布入力部１０２１を有してもよい。分布入力部１０２１は、所定の分布に関する情報の入力を受け付けてもよい。例えば、分布入力部１０２１は、記憶装置１１やＤＢ装置３０に記憶されている所定の分布に関する情報を、記憶装置１１やＤＢ装置３０から受け付けてもよい。
　一例において、データ品質検証部１０１は、収集した学習データがガウス分布に従うものと想定してもよい。したがって、データ品質検証部１０１は、収集した学習データを、ガウス分布にフィッティングすることにより、所定の評価項目に関する分布データを算出してもよい。なお、収集した学習データをフィッティングする分布は、ガウス分布に限定されず、学習データの種類に応じて、一様分布等の他の分布を用いてもよい。
　一例において、所定の評価項目に関する分布データは、収集された学習データのアノテーション（画像の矩形（バウンディングボックス）又は矩形座標）に関する分布データであってもよい。したがって、この場合、データ品質検証部１０１は、収集した学習データのアノテーションに関する分布データを算出してもよい。この場合、学習データは、物体を検知するための学習データであってもよく、所定の評価項目は、物体の位置と、物体のサイズと、物体のラベル毎の画像枚数と、のうちの１つ以上を含んでもよい。より具体的には、例えば、データ品質検証部１０１は、所定の評価項目が物体の位置である場合、物体が含まれる（例えば、物体を囲む）矩形の中心位置座標の分布データを算出してもよい。これにより、様々な位置にある物体を検知する必要がある状況において、特定の位置にある物体が含まれる画像の学習データが少ないとして特定される場合には、当該位置にある物体が含まれる画像の学習データを増加させてモデルを学習することにより、様々な位置にある物体を検知できる可能性が高くなる。また、これにより、検知対象位置が決められている場合に、検知対象位置に合わせて中心位置を移動させた学習データを増加させてモデルを学習することにより、検知対象位置にある物体を検知できる可能性が高くなる。また、例えば、データ品質検証部１０１は、所定の評価項目が物体のサイズである場合、物体が含まれる矩形の横幅及び／又は縦幅の分布データを算出してもよい。これにより、様々なサイズの物体を検知する必要がある状況において、特定のサイズの物体が含まれる画像の学習データが少ないとして特定される場合には、当該サイズの物体が含まれる画像の学習データを増加させてモデルを学習することにより、様々なサイズの物体を検知できる可能性が高くなる。また、これにより、検知対象サイズが決められている場合に、検知対象サイズに合わせてサイズを拡大・縮小した学習データを増加させてモデルを学習することにより、検知対象サイズの物体を検知できる可能性が高くなる。
　一例において、所定の評価項目に関する分布データは、収集された学習データから算出される所定の特徴に関する分布データであってもよい。したがって、この場合、データ品質検証部１０１は、収集した学習データから算出された所定の特徴に関する分布データを算出してもよい。この場合、学習データは、物体を検知するための学習データであってもよく、所定の評価項目は、画像の色情報と、画像に含まれる画素値の統計値と、のうちの１つ以上を含んでもよい。例えば、データ品質検証部１０１は、所定の評価項目に関する分布データとして、画像の代表点（例えば、中心）の色（画素値；ＲＧＢやＨＳＶ等）の分布データや、画像の全画素の平均値、中央値、分散等の分布データを算出してもよい。これにより、例えば、昼夜において物体を検知する必要がある状況において、暗い画像（夜間の画像）の学習データが少ないとして特定される場合には、暗い画像の学習データを増加させてモデルを学習することにより、昼夜において（すなわち、夜間においても）物体を検知できる可能性が高くなる。
　一例において、所定の評価項目に関する分布データは、収集された学習データ間の関係性に関する分布データであってもよい。したがって、この場合、データ品質検証部１０１は、収集した学習データ間の関係性に関する分布データを算出してもよい。この場合、学習データは、物体を検知するための学習データであってもよく、所定の評価項目は、画像間の類似度を含んでもよい。より具体的には、例えば、データ品質検証部１０１は、所定の評価項目に関する分布データとして、画像間のＳＳＤ（Sum of Squared Difference）、画像間のコサイン類似度、画像間のＳＳＩＭ（structural similarity）等といった、画像間の類似度の分布データを算出してもよい。これにより、例えば、様々な場所において物体を検知する必要がある状況において、同じような背景画像の学習データが多いとして特定される場合には、異なる背景画像の学習データを増加させてモデルを学習することにより、様々な場所において物体を検知できる可能性が高くなる。
　このように、算出された分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定することで、当該情報に基づいて、偏りのない又は少ない学習データの作成の効率化を図ることができる。
　［データ品質検証部及び学習データ特定部の処理］
　以下、図５Ａ及び図５Ｂ並びに図６Ａ～図６Ｃを参照して、画像に含まれる物体の矩形サイズの分布から画像の線形変換パラメータを特定することによる、データ品質検証部１０１及び学習データ特定部１０２の処理の例について説明する。
　はじめに、図５Ａ、図６Ａ及び図６Ｂを参照して、上述した所定の分布（目標とする（データ）分布又は目標分布とも呼ぶ）が既知である場合の例について説明する。図５Ａに示すステップＳ１～ステップＳ３は、データ品質検証部１０１によって実行され、図５Ａに示すステップＳ４～ステップＳ６は、学習データ特定部１０２によって実行される。
　まず、データ品質検証部１０１は、画像データから矩形サイズ（例えば、矩形の縦幅）である学習データ列Ｘｓｅｔを取得する（図５ＡのステップＳ１）。
　次いで、データ品質検証部１０１は、取得した学習データ列Ｘｓｅｔをヒストグラム化して（図６Ａの（ａ））、ガウス分布
にフィッティングする（図５ＡのステップＳ２、図６Ａの（ｂ））。ここで、μは平均を表し、σ２は分散を表す。一例では、学習データ列Ｘｓｅｔのガウス分布へのフィッティングは、最小二乗法を用いて行われてよいが、これに限定されるものではない。
　次いで、データ品質検証部１０１は、フィッティングした結果から、学習データ列Ｘｓｅｔの分布Ｘ（学習データ分布Ｘと呼ぶ）の平均μｔｒａｉｎ及び分散σｔｒａｉｎ ２（平均及び分散を分布パラメータと呼ぶ）を特定する（図５ＡのステップＳ３、図６Ａの（ｃ））。そして、データ品質検証部１０１は、特定した学習データ分布Ｘに関する情報を学習データ特定部１０２に出力する。
　上記により、データ品質検証部１０１は、収集した学習データ（画像データ）に対し、所定の評価項目（矩形サイズすなわち物体サイズ）に関する分布データ（データＸｓｅｔ（のヒストグラム）；平均がμｔｒａｉｎであり、分散がσｔｒａｉｎ ２であるガウス分布に従う）を算出する。
　次いで、学習データ特定部１０２（分布入力部１０２１）は、既知である目標とするデータ分布Ｙ（目標分布Ｙ）の平均μｔａｒｇｅｔ及び分散σｔａｒｇｅｔ ２（目標分布パラメータと呼ぶ）を特定する、すなわち、所定の分布に関する情報を受け付ける（図５Ａ）。
　次いで、学習データ特定部１０２は、上述したように算出された学習データ列Ｘｓｅｔの分布Ｘに対してｚ－ｓｃｏｒｅ変換を行い、標準正規分布Ｚ（平均０、分散１）に従うように標準化する（式（１））（図５ＡのステップＳ４の前段、図６Ｂの（ａ））。
　次いで、学習データ特定部１０２は、標準化した分布Ｚが目標分布Ｙに従うように変換を行う（式（２））（図５ＡのステップＳ４の後段、図６Ｂの（ａ））。
　次いで、学習データ特定部１０２は、式（１）及び式（２）より、学習データ分布Ｘから目標分布Ｙへの変換式Ｙ＝ｆ（Ｘ）を、以下の式（３）として算出（決定）する（図５ＡのステップＳ５、図６Ｂの（ｂ））。
　次いで、学習データ特定部１０２は、式（３）より、データ拡張（すなわち学習データの追加）に必要な変換パラメータＡ及びＢを特定する（図５ＡのステップＳ６、図６Ｂの（ｃ））。ここで、Ａ及びＢは以下である。
　図６Ｂの（ｃ）に示す画像の例の場合には、矩形サイズ（縦幅）が、ｆ（Ｘ）＝ＡＸ＋Ｂで線形変換され、矩形サイズを拡大する場合に追加する学習データを取得するのに必要なパラメータＡ及びＢが特定される
　上記により、学習データ特定部１０２は、分布データ（データＸｓｅｔ（のヒストグラム）；平均がμｔｒａｉｎであり、分散がσｔｒａｉｎ ２であるガウス分布に従う）に対し、所定の分布（目標分布Ｙ）にするために追加が必要な学習データの情報（パラメータＡ及びＢ）を特定する。
　次に、図５Ｂ、図６Ａ、図６Ｂ及び図６Ｃを参照して、上述した所定の分布が未知である場合の例について説明する。図５Ｂに示すステップＳ１～ステップＳ３及びステップＳ１’～ステップＳ３’は、データ品質検証部１０１によって実行され、図５Ｂに示すステップＳ４～ステップＳ６は、学習データ特定部１０２によって実行される。
　データ品質検証部１０１によって実行されるステップＳ１～ステップＳ３は、上述した通りであるので、説明を省略する。
　ステップＳ１～ステップＳ３と並列に、又は、ステップＳ１～ステップＳ３の前に、又は、ステップＳ１～ステップＳ３の後に、データ品質検証部１０１は、テストデータを用いて目標分布Ｙを算出（決定）するために、ステップＳ１’～ステップＳ３’を実行する。
　データ品質検証部１０１は、上述した学習データ列に対応するテストデータ列Ｙｓｅｔを取得する（図５ＢのステップＳ１’）。
　次いで、データ品質検証部１０１は、取得したテストデータ列Ｙｓｅｔをヒストグラム化して（図６Ｃの（ａ））、学習データ列に関して上述したように、ガウス分布にフィッティングする（図５ＢのステップＳ２’、図６Ｃの（ｂ））。
　次いで、データ品質検証部１０１は、フィッティングした結果から、テストデータ列Ｙｓｅｔの分布Ｙ（目標分布Ｙ）の平均μｔａｒｇｅｔ及び分散σｔａｒｇｅｔ ２を特定する（図５ＢのステップＳ３’、図６Ｃの（ｃ））。そして、データ品質検証部１０１は、特定した学習データ分布Ｘに関する情報及び目標分布Ｙに関する情報を学習データ特定部１０２に出力する。
　上記により、データ品質検証部１０１は、収集した学習データ（画像データ）に対し、所定の評価項目（矩形サイズすなわち物体サイズ）に関する分布データ（データＸｓｅｔ
（のヒストグラム）；平均がμｔｒａｉｎであり、分散がσｔｒａｉｎ ２であるガウス分布に従う）を算出する。
　次いで、学習データ特定部１０２は、ステップＳ４～ステップＳ６を実行する。学習データ特定部１０２によって実行されるステップＳ４～ステップＳ６は、上述した通りであるので、説明を省略する。
　上記により、学習データ特定部１０２は、分布データ（データＸｓｅｔ（のヒストグラム）；平均がμｔｒａｉｎであり、分散がσｔｒａｉｎ ２であるガウス分布に従う）に対し、所定の分布（目標分布Ｙ）にするために追加が必要な学習データの情報（パラメータＡ及びＢ）を特定する。
　上記の例では、パラメータＡ及びＢを特定することで、大きな矩形サイズの学習データが少ない場合に、大きな矩形サイズの学習データを増加させることが可能となる。
　別の例として、所定の分布が一様分布である場合、学習データ特定部１０２は、分布データ（例えば、ラベル毎の画像枚数（のヒストグラム）等）に対し、所定の分布にするために追加が必要な学習データの情報として、例えば、次の情報を特定してもよい。
　・分布データから算出される平均値や中央値よりも大きい値（例えば、ラベル毎の画像枚数のうちの最大値）
　この例では、ラベル毎の画像枚数のうちの最大値を特定することで、ラベル毎の画像枚数を最大値に揃えるように学習データを増加させることが可能となる。
　さらに別の例として、学習データ特定部１０２は、矩形の縦幅及び横幅（例えば、正規化された縦幅及び横幅）を軸とする２次元散布図に矩形サイズをプロットする分布データに対し、所定の分布にするために追加が必要な学習データの情報として、例えば、次の情報を特定してもよい。
　・２次元散布図を複数の領域に分割した場合における、各領域に存在するデータ数の最大値
　この例では、各領域に存在するデータ数の最大値を特定することで、各領域におけるデータ数を最大値に揃えるように学習データを増加させることが可能となる。
　＜学習制御装置の動作＞
　図７は、本開示の実施形態１に係る学習制御装置の動作例を示すフローチャートである。当該フローが開始する前に、学習制御装置１０（データ品質検証部１０１）は、学習データを収集しているものとする。
　ステップＳ１１において、学習制御装置１０（データ品質検証部１０１）は、収集された学習データに対し、所定の評価項目に関する分布データを算出する。
　ステップＳ１２において、学習制御装置１０（学習データ特定部１０２）は、算出された分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する。
　＜実施形態１の効果＞
　実施形態１によれば、学習制御装置１０は、算出された分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定することができるので、当該情報に基づいて、追加する学習データを特定することが可能となる。これにより、学習データの作成の効率化を図ることができる。その結果、学習フロー全体の効率化を図ることもできる。
　（実施形態２）
　次に、本開示の実施形態２について説明する。実施形態２では、実施形態１とは異なる部分に注目して説明し、実施形態１と同一又は同様の部分については説明を省略することがある。
　実施形態２に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成は、それぞれ、実施形態１に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成と同一又は同様であるため、これらの説明を省略する。
　実施形態２では、特定された追加が必要な学習データの情報に基づいて、追加される学習データが生成及び／又は収集される。
　別言すれば、学習制御装置１０は、実施の形態１に係る特定した追加が必要な学習データの情報に基づいて、追加する学習データを生成及び／又は収集する。
　図８は、本開示の実施形態２に係る学習制御装置の機能構成例を示すブロック図である。
　例えば、図８に示すように、学習制御装置１０は、データ品質検証部１０１と、学習データ特定部１０２と、学習データ更新部１０３と、を備える。データ品質検証部１０１、学習データ特定部１０２及び学習データ更新部１０３は、処理装置１２によって、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよいし、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。
　実施形態２に係るデータ品質検証部１０１及び学習データ特定部１０２は、それぞれ、実施形態１に係るデータ品質検証部１０１及び学習データ特定部１０２と同一又は同様であるため、下記を除き、これらの説明を省略する。
　学習データ特定部１０２は、特定した追加が必要な学習データの情報を学習データ更新部１０３に出力する。
　学習データ更新部１０３は、学習データ特定部１０２から入力された追加が必要な学習データの情報に基づいて、追加する学習データを生成及び／又は収集する。例えば、学習データ更新部１０３は、追加が必要な学習データの情報に基づいて、周知のデータ拡張手法（拡大・縮小、反転、輝度変更、回転、平行移動、合成等）を用いて、追加する学習データを生成してもよいし、カメラ４０によって生成された画像データに基づいて追加する学習データを収集してもよい。
　図９は、本開示の実施形態２に係る学習制御装置の動作例を示すフローチャートである。当該フローが開始する前に、学習制御装置１０（データ品質検証部１０１）は、学習データを収集しているものとする。
　当該フローが開始すると、上述したステップＳ１１及びステップＳ１２とそれぞれ同一であってもよいステップＳ２１及びステップＳ２２が実行される。
　ステップＳ２３において、学習制御装置１０（学習データ更新部１０３）は、特定された学習データの情報に基づいて、追加する学習データを生成及び／又は収集する。
　＜実施形態２の効果＞
　実施形態２によれば、学習制御装置１０は、特定された追加が必要な学習データの情報に基づいて、追加する学習データの生成及び／又は収集することができる。これにより、学習データの作成の効率化を図ることができる。その結果、学習フロー全体の効率化を図ることもできる。
　（実施形態３）
　次に、本開示の実施形態３について説明する。実施形態３では、実施形態１又は２とは異なる部分に注目して説明し、実施形態１又は２と同一又は同様の部分については説明を省略することがある。
　実施形態３に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成は、それぞれ、実施形態１又は２に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成と同一又は同様であるため、下記を除き、これらの説明を省略する。
　実施形態３では、学習制御装置１０によって算出された分布データは、表示装置２０に表示され、この分布データの表示に基づいて、所定の分布にするために追加が必要な学習データの情報は、ユーザによって入力される。
　別言すれば、学習制御装置１０は、算出した分布データを含む画面データを表示装置２０（表示部）に送信することにより、算出した分布データを表示装置２０に表示させる（制御を行う）。また、学習制御装置１０は、例えば不足している学習データを増加させるように、この分布データの表示に基づいてユーザによって入力された、所定の分布にするために追加が必要な学習データの情報を受け付ける。そして、学習制御装置１０は、受け付けた追加が必要な学習データの情報に基づいて、学習データを生成及び／又は収集する。
　図１０は、本開示の実施形態３に係る学習制御装置の機能構成例を示すブロック図である。
　例えば、図１０に示すように、学習制御装置１０は、データ品質検証部１０１と、分布データ表示制御部１０４と、学習データ情報入力部１０５と、学習データ更新部１０３と、を備える。データ品質検証部１０１、分布データ表示制御部１０４、学習データ情報入力部１０５及び学習データ更新部１０３は、処理装置１２によって、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよいし、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。
　実施形態３に係るデータ品質検証部１０１は、実施形態１又は２に係るデータ品質検証部１０１と同一又は同様であるため、下記を除き、これの説明を省略する。
　データ品質検証部１０１は、算出した分布データを分布データ表示制御部１０４に出力する。
　分布データ表示制御部１０４は、データ品質検証部１０１から入力された分布データを含む画面データを生成して表示装置２０（表示部）に送信することにより、分布データを表示装置２０に表示させる（制御を行う）。表示装置２０に表示させる分布データは、例えば、実施形態１において説明し、図５Ａ～図５Ｃに示す分布データや、ラベル毎の画像枚数（ヒストグラム）等であってもよい。
　学習データ情報入力部１０５は、（表示装置２０に表示された分布データに対し、）所定の分布にするために追加が必要な学習データの情報の（ユーザ）入力を受け付ける。所定の分布にするために追加が必要な学習データの情報は、例えば、実施形態１において説明したパラメータＡ、Ｂの値、ラベル毎の画像枚数の最大値等であってもよい。また、分布データ表示制御部１０４は、分布データとともに、パラメータＡ、Ｂの値等の、追加が必要な学習データの情報の候補を表示装置２０に表示させ、ユーザは、このような候補から適切な情報を選択することにより、追加が必要な学習データの情報を入力してもよい。学習データ情報入力部１０５は、受け付けた（ユーザによって入力された）追加が必要な学習データの情報を学習データ更新部１０３に出力する。
　学習データ更新部１０３は、学習データ情報入力部１０５から入力された追加が必要な学習データの情報に基づいて、学習データを生成及び／又は収集する。例えば、学習データ更新部１０３は、追加が必要な学習データの情報に基づいて、周知のデータ拡張手法（拡大・縮小、反転、輝度変更、回転、平行移動、合成等）を用いて、追加する学習データを生成してもよいし、カメラ４０によって生成された画像データに基づいて追加する学習データを収集してもよい。
　図１１は、本開示の実施形態３に係る学習制御装置の動作例を示すフローチャートである。当該フローが開始する前に、学習制御装置１０（データ品質検証部１０１）は、学習データを収集しているものとする。
　当該フローが開始すると、上述したステップＳ１１又はステップＳ２１と同一であってもよいステップＳ３１が実行される。
　ステップＳ３２において、学習制御装置１０（分布データ表示制御部１０４）は、算出された分布データを表示部に表示させる。
　ステップＳ３３において、学習制御装置１０（学習データ情報入力部１０５）は、所定の分布にするために追加が必要な学習データの情報の入力を受け付ける。
　ステップＳ３４において、学習制御装置１０（学習データ更新部１０３）は、受け付けられた学習データの情報に基づいて、追加する学習データを生成及び／又は収集する。
　＜実施形態３の効果＞
　実施形態３によれば、学習制御装置１０は、特定された追加が必要な学習データの情報に基づいて、追加する学習データの生成及び／又は収集することができる。これにより、学習データの作成の効率化を図ることができる。その結果、学習フロー全体の効率化を図ることもできる。
　（実施形態４）
　次に、本開示の実施形態４について説明する。実施形態４では、実施形態２とは異なる部分に注目して説明し、実施形態２と同一又は同様の部分については説明を省略することがある。
　実施形態４に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成は、それぞれ、実施形態２に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成と同一又は同様であるため、下記を除き、これらの説明を省略する。
　実施形態４では、実施形態２に係る追加される学習データを含む学習データを用いて、モデルが学習される。
　別言すれば、学習制御装置１０は、生成及び／又は収集した追加する学習データ（及び実施形態２に係る初期に収集した学習データの全部又は一部）を含む学習データに基づいて、モデルを学習する。
　この場合、学習制御装置１０は、学習制御装置１０によって生成及び／又は収集された追加する学習データをＤＢ装置３０に送信することにより、当該追加する学習データをＤＢ装置３０にさらに記憶させる。
　ＤＢ装置３０は、学習制御装置１０の制御の下、学習制御装置１０によって生成及び／又は収集された追加する学習データも記憶する。
　図１２は、本開示の実施形態４に係る学習制御装置の機能構成例を示すブロック図である。
　例えば、図１２に示すように、学習制御装置１０は、データ品質検証部１０１と、学習データ特定部１０２と、学習データ更新部１０３と、学習部１０６と、を備える。データ品質検証部１０１、学習データ特定部１０２、学習データ更新部１０３及び学習部１０６は、処理装置１２によって、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよいし、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。
　実施形態４に係るデータ品質検証部１０１、学習データ特定部１０２及び学習データ更新部１０３は、それぞれ、実施形態２に係るデータ品質検証部１０１及び学習データ特定部１０２と同一又は同様であるため、下記を除き、これらの説明を省略する。
　学習データ更新部１０３は、生成及び／又は収集した追加する学習データをＤＢ装置３０に送信することにより、追加する学習データをＤＢ装置３０に記憶させる。
　学習部１０６は、データ品質検証部１０１によって収集されてＤＢ装置３０に記憶された学習データの全部又は一部と、学習データ更新部１０３によって生成及び／又は収集されてＤＢ装置３０に記憶された追加する学習データと、をＤＢ装置３０から受信する。そして、学習部１０６は、これらの学習データと追加する学習データとを用いて、モデルを学習する。
　図１３は、本開示の実施形態４に係る学習制御装置の動作例を示すフローチャートである。当該フローが開始する前に、学習制御装置１０（データ品質検証部１０１）は、学習データを収集しているものとする。
　当該フローが開始すると、上述したステップＳ２１～ステップＳ２３とそれぞれ同一であってもよいステップＳ４１～ステップＳ４３が実行される。
　ステップＳ４４において、学習制御装置１０（学習部１０６）は、ステップＳ４３が実行された結果として追加された学習データを含む学習データに基づいて、モデルを学習する。すなわち、学習制御装置１０（学習部１０６）は、事前にＤＢ装置３０に記憶された学習データの全部又は一部と、新たにＤＢ装置３０に記憶された追加する学習データと、を用いて、モデルを学習する。
　＜実施形態４の効果＞
　実施形態４によれば、学習制御装置１０は、特定された追加が必要な学習データの情報に基づいて、追加する学習データの生成及び／又は収集し、当該追加する学習データに基づいてモデルを学習することができる。これにより、学習データの作成及び学習フロー全体の効率化を図ることができる。
　（実施形態５）
　次に、本開示の実施形態５について説明する。実施形態５では、実施形態３とは異なる部分に注目して説明し、実施形態３と同一又は同様の部分については説明を省略することがある。
　実施形態５に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成は、それぞれ、実施形態３に係る機械学習管理システム１の構成及び学習制御装置１０のハードウェア構成と同一又は同様であるため、下記を除き、これらの説明を省略する。
　実施形態５では、実施形態３に係る追加される学習データを含む学習データを用いて、モデルが学習される。
　別言すれば、学習制御装置１０は、生成及び／又は収集した追加する学習データ（及び実施形態３に係る初期に収集した学習データの全部又は一部）を含む学習データに基づいて、モデルを学習する。
　この場合、学習制御装置１０は、学習制御装置１０によって生成及び／又は収集された追加する学習データをＤＢ装置３０に送信することにより、当該追加する学習データをＤＢ装置３０にさらに記憶させる。
　ＤＢ装置３０は、学習制御装置１０の制御の下、学習制御装置１０によって生成及び／又は収集された追加する学習データも記憶する。
　図１４は、本開示の実施形態５に係る学習制御装置の機能構成例を示すブロック図である。
　例えば、図１４に示すように、学習制御装置１０は、データ品質検証部１０１と、分布データ表示制御部１０４と、学習データ情報入力部１０５と、学習データ更新部１０３と、学習部１０６と、を備える。データ品質検証部１０１、分布データ表示制御部１０４、学習データ情報入力部１０５、学習データ更新部１０３及び学習部１０６は、処理装置１２によって、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよいし、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。
　実施形態５に係るデータ品質検証部１０１、分布データ表示制御部１０４、学習データ情報入力部１０５及び学習データ更新部１０３は、それぞれ、実施形態３に係るデータ品質検証部１０１、分布データ表示制御部１０４、学習データ情報入力部１０５及び学習データ更新部１０３と同一又は同様であるため、下記を除き、これらの説明を省略する。
　学習データ更新部１０３は、生成及び／又は収集した追加する学習データをＤＢ装置３０に送信することにより、追加する学習データをＤＢ装置３０に記憶させる。
　学習部１０６は、データ品質検証部１０１によって収集されてＤＢ装置３０に記憶された学習データの全部又は一部と、学習データ更新部１０３によって生成及び／又は収集されてＤＢ装置３０に記憶された追加する学習データと、をＤＢ装置３０から受信する。そして、学習部１０６は、これらの学習データと追加する学習データとを用いて、モデルを学習する。
　図１５は、本開示の実施形態３に係る学習制御装置の動作例を示すフローチャートである。当該フローが開始する前に、学習制御装置１０（データ品質検証部１０１）は、学習データを収集しているものとする。
　当該フローが開始すると、上述したステップＳ３１～ステップＳ３４と同一であってもよいステップＳ５１～ステップＳ５４が実行される。
　ステップＳ５５において、学習制御装置１０（学習部１０６）は、ステップＳ５４が実行された結果として追加された学習データを含む学習データに基づいて、モデルを学習する。すなわち、学習制御装置１０（学習部１０６）は、事前にＤＢ装置３０に記憶された学習データの全部又は一部と、新たにＤＢ装置３０に記憶された追加する学習データと、を用いて、モデルを学習する。
　＜実施形態５の効果＞
　実施形態５によれば、学習制御装置１０は、特定された追加が必要な学習データの情報に基づいて、追加する学習データの生成及び／又は収集し、当該追加する学習データに基づいてモデルを学習することができる。これにより、学習データの作成及び学習フロー全体の効率化を図ることができる。
　（実施形態の変形例）
　次に、本開示の実施形態の変形例について説明する。
　＜変形例１＞
　上記の実施形態では、学習制御装置１０（学習部１０６）は、追加する学習データを含む学習データに基づいて、モデルを学習するものと説明した。しかしながら、学習制御装置１０（学習部１０６）は、初期に収集した学習データの全部又は一部のみに基づいてモデルを学習し、追加する学習データに基づいてモデルを再学習してもよい。
　＜変形例２＞
　上記の実施形態では、学習制御装置１０が、学習データとして、画像データを収集するものと説明したが、学習制御装置１０は、学習データとして、音声信号を収集してもよい。
　一例において、学習データが、音声信号を分類するための学習データ（音声信号（入力データ）及び正解データ）であり、所定の評価項目に関する分布データが、収集された学習データのアノテーションに関する分布データである場合には、データ品質検証部１０１は、アノテーションに関する分布データとして、ラベル毎のデータ数の分布データを算出してもよい。これにより、データ数の少ないラベルの学習データを増加させることができる。
　また、一例において、学習データが、音声信号を分類するための学習データであり、所定の評価項目に関する分布データが、収集された学習データから算出される所定の特徴に関する分布データである場合には、データ品質検証部１０１は、所定の特徴に関する分布データとして、音声信号の波形の時間的長さの分布データを算出してもよい。これにより、学習データを増加させるのに、タイムシフトやストレッチをどれくらい行うかを特定することができる。また、このような場合には、データ品質検証部１０１は、所定の特徴に関する分布データとして、音声信号の周波数成分の分布データを算出してもよい。これにより、学習データを増加させるのに、ピッチシフトをどれくらい行うかを特定することができる。
　また、一例において、学習データが、音声信号を分類するための学習データであり、所定の評価項目に関する分布データが、収集された学習データ間の関係性に関する分布データである場合には、データ品質検証部１０１は、学習データ間の関係性に関する分布データとして、音声信号の波形間の類似度（例えば、コサイン類似度、相関係数等）の分布データを算出してもよい。これにより、類似していない波形の音声信号の学習データを増加させることができる。あるいは、類似していない波形の音声信号を学習データから間引いてもよい。
　また、変形例２において、例えば、学習データ更新部１０３は、追加が必要な学習データの情報に基づいて、ピッチシフト、タイムストレッチ及び／又はタイムシフトを変更すること等の周知のデータ拡張手法を用いて、追加する学習データを生成してもよい。
　また、変形例２において、学習データ情報入力部１０５は、ピッチシフト、タイムストレッチ及び／又はタイムシフトの設定値等といった、所定の分布にするために追加が必要な学習データの情報の（ユーザ）入力を受け付けてもよい。
　＜他の変形例＞
　上記の実施形態において説明し図示した機能部は、複数の機能部に分割されてもよいし、２つ以上の機能部が、１つの機能部に統合されてもよい。また、機能部の名称は、例に過ぎず、適宜変更されてもよい。
　上記の実施形態において説明し図示したフローチャートにおけるステップは、適宜、順番が入れ替えられて実行されてもよいし、並列に実行されてもよい。
　（実施形態のまとめ）
　本開示の一態様に係る学習制御装置は、収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する学習データ特定部と、を備える。
　一例において、前記データ品質検証部は、前記収集された学習データのアノテーションに関する前記分布データを算出する。
　一例において、前記データ品質検証部は、前記収集された学習データから算出される特徴に関する前記分布データを算出する。
　一例において、前記データ品質検証部は、前記収集された学習データ間の関係性に関する前記分布データを算出する。
　一例において、前記学習データは画像を含み、前記学習データは物体を検知するための学習データであり、前記所定の評価項目は、前記物体の位置と、前記物体の大きさと、前記物体のラベル毎の画像枚数と、のうちの少なくとも１つを含む。
　一例において、前記学習データは画像を含み、前記所定の評価項目は、前記画像の色情報と、前記画像に含まれる画素値の統計値と、のうちの少なくとも１つを含む。
　一例において、前記学習データは画像を含み、前記所定の評価項目は、前記画像間の類似度を含む。
　一例において、前記学習データ特定部は、前記所定の分布に関する情報の入力を受け付ける分布入力部を有する。
　一例において、当該学習制御装置は、特定された前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する学習データ更新部をさらに備える。
　一例において、当該学習制御装置は、前記追加する学習データを含む学習データに基づいて、モデルを学習する学習部をさらに備える。
　本開示の一態様に係る学習制御装置は、収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、前記分布データを表示部に表示させる分布データ表示制御部と、所定の分布にするために追加が必要な学習データの情報の入力を受け付ける学習データ情報入力部と、受け付けられた前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する学習データ更新部と、を備える。
　一例において、当該学習制御装置は、前記追加する学習データを含む学習データに基づいて、モデルを学習する学習部をさらに備える。
　本開示の一態様に係る学習制御方法は、収集された学習データに対し、所定の評価項目に関する分布データを算出し、前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する。
　一例において、当該学習制御方法は、さらに、特定された前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する。
　本開示の一態様に係る学習制御方法は、収集された学習データに対し、所定の評価項目に関する分布データを算出し、前記分布データを表示部に表示させ、所定の分布にするために追加が必要な学習データの情報の入力を受け付け、受け付けられた前記学習データに基づいて、追加する学習データを生成及び／又は収集する。
　一例において、上記学習制御方法は、さらに、前記追加する学習データを含む学習データに基づいて、モデルを学習する。
　本開示の一態様に係るプログラムは、コンピュータを、上記学習制御装置として機能させるためのプログラムである。
　以上、図面を参照しながら実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例又は修正例に想到し得ることは明らかである。そのような変更例又は修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施形態（変形例を含む）における各構成要素や各事項は任意に組み合わされてよい。
　本開示は、ソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。
　本開示の一態様は、追加が必要な学習データの情報を特定する学習制御装置として有用である。
　１　機械学習管理システム
　１０　学習制御装置
　２０　表示装置（表示部）
　３０　データベース（ＤＢ）装置
　４０　カメラ
　１１　記憶装置
　１２　処理装置
　１３　ユーザインタフェース（ＵＩ）装置
　１４　通信装置
　１０１　データ品質検証部
　１０２　学習データ特定部
　１０２１　分布入力部
　１０３　学習データ更新部
　１０４　分布データ表示制御部
　１０５　学習データ情報入力部
　１０６　学習部
 

Claims (17)

  1. 　収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、
    　前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する学習データ特定部と、
    　を備える学習制御装置。
  2. 　前記データ品質検証部は、前記収集された学習データのアノテーションに関する前記分布データを算出する、
    　請求項１に記載の学習制御装置。
  3. 　前記データ品質検証部は、前記収集された学習データから算出される特徴に関する前記分布データを算出する、
    　請求項１に記載の学習制御装置。
  4. 　前記データ品質検証部は、前記収集された学習データ間の関係性に関する前記分布データを算出する、
    　請求項１に記載の学習制御装置。
  5. 　前記学習データは画像を含み、
    　前記学習データは物体を検知するための学習データであり、
    　前記所定の評価項目は、前記物体の位置と、前記物体の大きさと、前記物体のラベル毎の画像枚数と、のうちの少なくとも１つを含む、
    　請求項２に記載の学習制御装置。
  6. 　前記学習データは画像を含み、
    　前記所定の評価項目は、前記画像の色情報と、前記画像に含まれる画素値の統計値と、のうちの少なくとも１つを含む、
    　請求項３に記載の学習制御装置。
  7. 　前記学習データは画像を含み、
    　前記所定の評価項目は、前記画像間の類似度を含む、
    　請求項４に記載の学習制御装置。
  8. 　前記学習データ特定部は、前記所定の分布に関する情報の入力を受け付ける分布入力部を有する、
    　請求項１に記載の学習制御装置。
  9. 　特定された前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する学習データ更新部
    　をさらに備える、請求項１に記載の学習制御装置。
  10. 　前記追加する学習データを含む学習データに基づいて、モデルを学習する学習部
    　をさらに備える、請求項９に記載の学習制御装置。
  11. 　収集された学習データに対し、所定の評価項目に関する分布データを算出するデータ品質検証部と、
    　前記分布データを表示部に表示させる分布データ表示制御部と、
    　所定の分布にするために追加が必要な学習データの情報の入力を受け付ける学習データ情報入力部と、
    　受け付けられた前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する学習データ更新部と、
    　を備える学習制御装置。
  12. 　前記追加する学習データを含む学習データに基づいて、モデルを学習する学習部
    　をさらに備える、請求項１１に記載の学習制御装置。
  13. 　収集された学習データに対し、所定の評価項目に関する分布データを算出し、
    　前記分布データに対し、所定の分布にするために追加が必要な学習データの情報を特定する、
    　学習制御方法。
  14. 　さらに、特定された前記学習データの情報に基づいて、追加する学習データを生成及び／又は収集する、
    　請求項１３に記載の学習制御方法。
  15. 　収集された学習データに対し、所定の評価項目に関する分布データを算出し、
    　前記分布データを表示部に表示させ、
    　所定の分布にするために追加が必要な学習データの情報の入力を受け付け、
    　受け付けられた前記学習データに基づいて、追加する学習データを生成及び／又は収集する、
    　学習制御方法。
  16. 　さらに、前記追加する学習データを含む学習データに基づいて、モデルを学習する、
    　請求項１４又は１５に記載の学習制御方法。
  17. 　コンピュータを、請求項１乃至１２のうちのいずれか一項に記載の学習制御装置として機能させるためのプログラム。
     
PCT/JP2023/021216 2023-06-07 2023-06-07 学習制御装置、学習制御方法及びプログラム Ceased WO2024252575A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525539A JPWO2024252575A1 (ja) 2023-06-07 2023-06-07
PCT/JP2023/021216 WO2024252575A1 (ja) 2023-06-07 2023-06-07 学習制御装置、学習制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021216 WO2024252575A1 (ja) 2023-06-07 2023-06-07 学習制御装置、学習制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024252575A1 true WO2024252575A1 (ja) 2024-12-12

Family

ID=93795422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021216 Ceased WO2024252575A1 (ja) 2023-06-07 2023-06-07 学習制御装置、学習制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252575A1 (ja)
WO (1) WO2024252575A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091062A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 情報処理装置、情報処理方法
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
JP2022053060A (ja) * 2020-09-24 2022-04-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2022097709A1 (ja) * 2020-11-06 2022-05-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ拡張方法、学習装置およびプログラム
CN115601608A (zh) * 2022-09-06 2023-01-13 中国科学院长春光学精密机械与物理研究所（Cn） 空间非均匀图像数据集的构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091062A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 情報処理装置、情報処理方法
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
JP2022053060A (ja) * 2020-09-24 2022-04-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2022097709A1 (ja) * 2020-11-06 2022-05-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ拡張方法、学習装置およびプログラム
CN115601608A (zh) * 2022-09-06 2023-01-13 中国科学院长春光学精密机械与物理研究所（Cn） 空间非均匀图像数据集的构建方法

Also Published As

Publication number Publication date
JPWO2024252575A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
US11595737B2 (en) Method for embedding advertisement in video and computer device
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
US10810435B2 (en) Segmenting objects in video sequences
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN110276366A (zh) 使用弱监督模型来检测对象
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
JP6612487B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN116258937A (zh) 基于注意力机制的小样本分割方法、装置、终端及介质
JP6612486B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN111126115A (zh) 暴力分拣行为识别方法和装置
JP2023069083A (ja) 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム
JP5311899B2 (ja) パターン検出器の学習装置、学習方法及びプログラム
CN120107693A (zh) 原矿分类方法、装置及设备
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
WO2024252575A1 (ja) 学習制御装置、学習制御方法及びプログラム
US20220057901A1 (en) Methods and systems for monitoring objects for labelling
US20250095161A1 (en) Track aware detection for object tracking systems
CN119292582A (zh) 一种数据处理方法和装置
CN113344038B (zh) 对小样本学习任务生成集成分类器的可视分析系统和方法
CN118451446A (zh) 电子装置及其控制方法
WO2023126280A1 (en) A system and method for quality check of labelled images
CN116453147A (zh) 印章图像的处理方法、系统、设备及介质
JP2011141664A (ja) 文書比較装置、文書比較方法、及びプログラム
Bagavathi et al. Augmented Super Resolution GAN (ASRGAN) for Image Enhancement Through Reinforced Discriminator
CN115346077A (zh) 卷积神经网络的训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940676

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525539

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025525539

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE