WO2023008171A1 - データ作成装置、データ作成方法、プログラムおよび記録媒体 - Google Patents

データ作成装置、データ作成方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2023008171A1
WO2023008171A1 PCT/JP2022/027338 JP2022027338W WO2023008171A1 WO 2023008171 A1 WO2023008171 A1 WO 2023008171A1 JP 2022027338 W JP2022027338 W JP 2022027338W WO 2023008171 A1 WO2023008171 A1 WO 2023008171A1
Authority
WO
WIPO (PCT)
Prior art keywords
condition
image data
data
information
user
Prior art date
Application number
PCT/JP2022/027338
Other languages
English (en)
French (fr)
Inventor
俊輝 小林
祐也 西尾
健吉 林
奨騎 笠原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280050259.XA priority Critical patent/CN117730315A/zh
Priority to JP2023538410A priority patent/JPWO2023008171A1/ja
Publication of WO2023008171A1 publication Critical patent/WO2023008171A1/ja
Priority to US18/418,139 priority patent/US20240161466A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Definitions

  • One embodiment of the present invention relates to a data creation device, a data creation method, a program, and a recording medium for creating teacher data for allowing artificial intelligence to perform machine learning.
  • Patent Documents 1 and 2 since image data for creating teacher data is automatically selected from a huge amount of image data, there are cases where image data that meets the user's intention is not selected. I had a problem.
  • an object of one embodiment of the present invention is to select a wide variety of image data according to the user's intention from a huge amount of image data according to the purpose and application of machine learning, and to obtain teacher data.
  • a data creation device a data creation method, a program and a recording medium capable of creating
  • the present invention provides a data creation apparatus for creating training data for machine learning from a plurality of image data in which incidental information is recorded, comprising a processor, the processor comprising a plurality of A setting process for setting a first condition for selecting first selected image data based on additional information from among the image data, and recording additional information that meets the first condition from among a plurality of image data. a selection process for selecting the selected first selected image data; and a second selected image data for selecting second selected image data based on supplementary information from non-selected image data that does not meet the first condition among the plurality of image data.
  • the processor when the user adopts the second condition, the processor performs a second selection process of selecting second selected image data in which incidental information matching the second condition is recorded from the non-selected image data. It is preferable to do
  • the processor executes machine learning based on the adoption result of whether or not the user has adopted the second condition, and the proposal processing proposes the second condition based on the machine learning of the adoption result. .
  • the processor preferably executes notification processing for notifying information about the second condition.
  • the first condition and the second condition include items related to incidental information and contents related to the items.
  • the first condition and the second condition have the same items and different contents.
  • the item is preferably information about whether or not to use the image data as teacher data.
  • the propriety information preferably includes at least one of user information regarding the use of image data, restriction information regarding restrictions on the purpose of use of image data, and copyright holder information of image data.
  • the content of the first condition is the content of selecting the image data based on the propriety information
  • the content of the second condition is the image data for which the propriety information is not recorded or the fact that there is no restriction on the use of the image data. It is preferable that the content is to sort out the image data in which the permission information is recorded.
  • the item is preferably an item related to the type of subject appearing in the image based on the image data.
  • the first condition is a condition related to a subject appearing in an image based on image data
  • the proposing process is a process of proposing the second condition based on the feature of the subject of the first condition.
  • the proposal process is preferably a process of proposing the second condition, which is a higher concept abstracted from the first condition.
  • the present invention is a data creation method for creating teacher data for machine learning from a plurality of image data in which incidental information is recorded, wherein the first training data is selected from the plurality of image data based on the incidental information.
  • the present invention also provides a program for causing a computer to execute each process of any one of the above data creation devices.
  • the present invention also provides a computer-readable recording medium recording a program for causing a computer to execute each process of any of the above data creation devices.
  • a device, data creation method, program and recording medium can be provided.
  • FIG. 1 is a block diagram showing the configuration of a data processing system according to one embodiment of the present invention
  • FIG. 2 is a block diagram of an embodiment showing the internal configuration of the data creation device shown in FIG. 1
  • FIG. FIG. 2 is a conceptual diagram of an embodiment showing the internal structure of image data
  • FIG. 10 is a conceptual diagram showing an embodiment of selection processing for selecting first selected image data recorded with incidental information that meets a first condition from among a plurality of image data.
  • FIG. 11 is a conceptual diagram showing an embodiment of a second selection process for selecting second selected image data recorded with incidental information that meets a second condition from non-selected image data.
  • FIG. 4 is a conceptual diagram of an embodiment showing the configuration of supplementary information;
  • FIG. 4 is a conceptual diagram of an embodiment showing the configuration of supplementary information
  • FIG. 2 is a conceptual diagram of an embodiment showing the structure of imaging condition information
  • FIG. 4 is a conceptual diagram of an embodiment showing the configuration of subject information
  • FIG. 2 is a conceptual diagram of an embodiment showing the configuration of image quality information
  • It is a conceptual diagram of one Embodiment showing the structure of availability information.
  • FIG. 4 is a conceptual diagram of an embodiment showing the configuration of history information
  • 2 is a flow chart of one embodiment representing the operation of the data processing system shown in FIG.
  • FIG. 4 is a conceptual diagram of one embodiment showing an input screen for a user to input sorting conditions
  • FIG. 10 is a conceptual diagram of one embodiment showing a presentation screen that proposes a second condition;
  • a data creation device, a data creation method, a program, and a recording medium according to one embodiment of the present invention will be described in detail below based on preferred embodiments shown in the accompanying drawings.
  • the embodiment described below is merely an example given to facilitate understanding of the present invention, and the present invention is not limited to this. That is, the present invention can be changed or improved from the embodiments described below without departing from the spirit of the present invention.
  • the present invention also includes equivalents thereof.
  • the concept of "device” includes not only a single device that performs a specific function, but also a device that is distributed and exists independently of each other, but that cooperates to perform a specific function. A plurality of devices and the like are also included.
  • “person” means a subject who performs a specific act, and the concept includes individuals, groups, corporations and organizations, as well as computers and devices that constitute artificial intelligence.
  • FIG. 1 is a block diagram showing the configuration of a data processing system according to one embodiment of the present invention.
  • a data processing system 10 shown in FIG. 1 includes a data creation device 12, a machine learning device 14, and a plurality of user terminal devices 16 (16a, 16b, . . . ).
  • the data creation device 12, the machine learning device 14, and each of the plurality of user terminal devices 16 are bi-directionally connected via a network 18 such as the Internet or a mobile data communication line, and can exchange various data with each other. is.
  • the data creation device 12 and the machine learning device 14 may be configured as separate devices as in the present embodiment, or they may be integrated and configured as one device. Further, the data processing system 10 may have a plurality of user terminal devices 16 as in the present embodiment, but it is not essential to have a plurality of user terminal devices 16, and at least one user terminal device 16 should be provided.
  • the data creation device 12 performs annotation work to create teacher data for machine learning by artificial intelligence from a plurality of image data in which incidental information is recorded (added).
  • Artificial intelligence is the realization of intellectual functions such as inference, prediction, and judgment using hardware and software resources. Artificial intelligence is realized by arbitrary algorithms, such as expert systems, case-based reasoning (CBR), Bayesian networks, or inclusion architectures. Machine learning is a technique for learning regularities and judgment criteria from data, and predicting and judging unknown things based on that, and analysis techniques related to artificial intelligence.
  • CBR case-based reasoning
  • Bayesian networks or inclusion architectures.
  • Machine learning is a technique for learning regularities and judgment criteria from data, and predicting and judging unknown things based on that, and analysis techniques related to artificial intelligence.
  • FIG. 2 is a block diagram of one embodiment showing the internal configuration of the data creation device shown in FIG.
  • the data creation device 12 includes an acquisition processing unit 20, an image memory 22, a setting processing unit 24, a selection processing unit 26, a proposal processing unit 28, a notification processing unit 30, a second A selection processing unit 32 and a creation processing unit 34 are provided.
  • Image data is input to the acquisition processing unit 20, and an image memory 22 is connected to the acquisition processing unit 20.
  • a first condition is input to the setting processing section 24
  • the selection processing section 26 is connected to the setting processing section 24 .
  • a selection processing unit 26 and a second selection processing unit 32 are connected to the image memory 22
  • a creation processing unit 34 is connected to the selection processing unit 26 and the second selection processing unit 32 .
  • Teacher data is output from the creation processing unit 34 .
  • the adoption result of the second condition is input to the second selection processing unit 32 and the proposal processing unit 28, and the second condition is output from the proposal processing unit 28.
  • a notification processing unit 30 is connected to the proposal processing unit 28, and a notification is output from the notification processing unit 30.
  • the acquisition processing unit 20 executes acquisition processing for acquiring a plurality of image data from at least one of a plurality of image data supply sources.
  • the acquisition processing unit 20 receives image data selected (designated) by the user in the user terminal device 16, such as SNS (Social Networking Service).
  • SNS Social Networking Service
  • the incidental information includes various tag information (label information).
  • the incidental information may be recorded, for example, as header information of the image data, or may be prepared as incidental information data separate from the image data, and the image data and the incidental information data corresponding to the image data may be prepared. and may be recorded in association with each other. A detailed description of the incidental information will be given later.
  • the image memory 22 stores a plurality of image data.
  • the image memory 22 may acquire a plurality of image data acquired by the acquisition processing unit 20, or a plurality of image data may be stored in the image memory 22 in advance.
  • the image memory 22 is not particularly limited, but may be flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), RAM (Random Access Memory), SD card ( Various recording media such as a Secure Digital card, a USB memory (Universal Serial Bus memory), or an online storage or an image server may be used.
  • the setting processing unit 24 executes setting processing for setting the first condition regarding the incidental information.
  • the first condition is a selection condition for selecting (searching) the first selected image data from among the plurality of image data stored in the image memory 22 based on the additional information. A detailed description of the first condition will be given later.
  • a method of setting the first condition is not particularly limited, but for example, the setting processing unit 24 can set the sorting condition input by the user as the first condition.
  • the setting processing unit 24 sets the sorting condition "apple” input by the user as the first condition.
  • the first condition may be one sorting condition, or an AND condition or an OR condition of two or more sorting conditions.
  • the setting processing unit 24 prepares a table in which the purpose and the first condition corresponding to the purpose of machine learning are stored in association with each purpose and purpose of machine learning.
  • a first condition can be set that is associated with the purpose and application of machine learning.
  • the user may manually enter the purpose and application of machine learning as the selection conditions, or use a pull-down menu or the like to select You may enable it to select a desired use from.
  • the selection processing unit 26 selects, from among a plurality of image data, image data (first selection image data) in which incidental information conforming to the first condition set by the setting processing unit 24 is recorded. Execute the sorting process to sort out the image data (first selection image data) in which incidental information conforming to the first condition set by the setting processing unit 24 is recorded. Execute the sorting process to sort out the image data (first selection image data) in which incidental information conforming to the first condition set by the setting processing unit 24 is recorded. Execute the sorting process to sort out the first condition set by the setting processing unit 24 is recorded.
  • a method for selecting the first selected image data is not particularly limited.
  • the first selected image data in which the incidental information that meets the first condition is recorded can be selected.
  • the selection processing unit 26 selects first selected image data in which additional information corresponding to "apple" is recorded.
  • the incidental information that meets the first condition may include incidental information that completely matches the first condition as well as incidental information that includes the first condition. For example, when the first condition is "apple”, additional information corresponding to "red apple” may be included in addition to additional information corresponding to "apple".
  • the proposal processing unit 28 selects, from among the plurality of image data, unselected image data that does not meet the first condition, i.e., unselected image data that has not been selected as the first selected image data, according to the second condition related to the incidental information. Execute the proposal process for proposing .
  • the unselected image data is image data other than the image data selected as the first selected image data among the plurality of image data, and includes one or more image data.
  • the second condition is a selection condition different from the first condition, and is for selecting second selected image data different from the first selected image data from the non-selected image data based on the additional information. It is a condition.
  • the second condition is a sorting condition that is automatically set by the proposal processing unit 28 and proposed to the user regardless of an instruction from the user. A detailed description of the second condition will be given later.
  • the method of proposing the second condition is not particularly limited, but for example, the proposal processing unit 28 prepares a table in which the first condition and the second condition corresponding to the first condition are stored in association with each other. This table can be used to propose a second condition associated with the first condition. For example, if the first condition is "apple", adding image data of peaches that look similar to apples can improve the accuracy of estimation results by artificial intelligence. When "peach" is associated, the setting processing unit 24 proposes "peach" as the second condition.
  • the timing of proposing the second condition is not particularly limited, but for example, between the proposing process of proposing the first condition and the sorting process of sorting out the first sorted image data, or between the sorting process and teacher data to be described later. There is a gap in the creation process.
  • the proposal processing unit 28 may propose a second condition estimated from the first condition using artificial intelligence for performing proposal processing.
  • the second condition may be one sorting condition, or may be an AND condition or an OR condition of two or more sorting conditions.
  • the notification processing unit 30 executes notification processing for notifying information regarding the second condition proposed by the proposal processing unit 28 .
  • the information about the second condition is not particularly limited, but the reason for the proposal of the second condition, the number of times the same second condition was adopted in the past or the adoption rate, and the content (estimation result) of the second condition proposed by artificial intelligence. Accuracy and the like can be exemplified.
  • the notification processing unit 30 may display "image data of a peach that looks similar to an apple. Adding this will improve the accuracy of the estimation result by artificial intelligence.”
  • the notification method is not particularly limited, but for example, a text message may be displayed on the user terminal device 16, the text message may be read aloud by speech synthesis, or both may be performed.
  • the second selection processing unit 32 selects the second condition from the unselected image data as shown in FIG. A second selection process is executed for selecting image data (second selected image data) in which incidental information that meets the conditions is recorded. In other words, the second selection processing unit 32 does not execute the second selection processing and does not select the second selected image data if the user does not adopt the second condition.
  • the second selection processing unit 32 selects the second selected image data from the non-selected image data in the same manner as the selection processing unit 26 selects the first selected image data from the plurality of image data. be able to.
  • the creation processing unit 34 In response to the proposal of the second condition by the proposal processing unit 28, if the user does not adopt the second condition, the creation processing unit 34 does not select the second selected image data. Execute the creation process to create teacher data based on On the other hand, when the user adopts the second condition, the creation processing unit 34 creates teacher data based on the first selected image data and the second selected image data because the second selected image data is selected. Execute the creation process.
  • the creation processing unit 34 may use the first selected image data or the second selected image data itself as teacher data, or may perform various image processing on at least one of the first selected image data and the second selected image data.
  • Teacher data may be created by
  • the acquisition processing unit 20, the setting processing unit 24, the selection processing unit 26, the proposal processing unit 28, the notification processing unit 30, the second selection processing unit 32, and the creation processing unit 34 are executed by the processor and this processor. It consists of a program that
  • the machine learning device 14 creates a machine-learned inference model by causing artificial intelligence to perform machine learning using a plurality of teacher data created by the data creation device 12 .
  • An inference model built by machine learning is any mathematical model, such as neural network, convolutional neural network, recurrent neural network, attention, transformer, generative adversarial network, deep learning neural network, Boltzmann machine, matrix factor. Tollization, Factoryization Machine, Mway Factoryization Machine, Field-Aware Factoryization Machine, Field-Aware Neural Factoryization Machine, Support Vector Machine, Bayesian Network, Decision Tree, or Random Forest etc. are available.
  • the user terminal device 16 causes the data creation device 12, the machine learning device 14, etc. to perform various processes according to instructions input by the user.
  • the user terminal device 16 causes the data creation device 12 to create teacher data according to the purpose and application of machine learning according to instructions input by the user, and the machine learning device 14 creates teacher data
  • Artificial intelligence is caused to perform machine learning using data to create a learned estimation model, and the learned estimation model is used to perform estimation according to the purpose and application of machine learning.
  • the user terminal device 16 is configured by a computer such as a desktop PC, notebook PC, tablet PC, smartphone, etc., and includes an input device, a display, a memory (storage device), a communication device, a control device, and the like.
  • the incidental information is for selecting first selected image data that meets the first condition from among a plurality of image data, and for selecting second selected image data that meets the second condition from non-selected image data.
  • Contains various tag information (label information) used for The incidental information is not particularly limited, but includes at least one of photographing condition information, subject information, image quality information, availability information, history information, usage information, etc. as tag information, as shown in FIG.
  • the shooting condition information is information about the shooting conditions of the image based on the image data.
  • tag information in Exif (Exchangeable Image File Format) format as shown in Fig. 7, shooting equipment information, shooting environment information, image processing information, etc. including at least one of
  • the photographic equipment information is information about the photographic equipment (camera), and includes information such as the manufacturer of the photographic equipment, the model name of the photographic equipment, and the type of light source of the photographic equipment.
  • the shooting environment information is information about the shooting environment of the image, and includes the date and time of shooting, the season at the time of shooting, the place of shooting, the place name of the place of shooting, the exposure conditions at the time of shooting (f value, ISO sensitivity, shutter speed, etc.), and the time of shooting. It includes information such as the weather and illuminance (amount of solar radiation) at the time of shooting.
  • the image processing information is information related to image processing to be performed on an image by the imaging device, and includes the name of the image processing, the features of the image processing, the model of the device capable of performing the image processing, and the processing performed within the image. This includes information such as the area
  • the subject information is information about the subject appearing in the image based on the image data, and includes at least one of identification information, position information, size information, etc. of the subject in the image, as shown in FIG.
  • the identification information is information relating to the type (type), state, characteristics (color, shape, pattern, etc.) of the subject in the image. For example, information that the type of subject is an "apple", the state is the ready-to-eat state, and the feature is red and round corresponds to the identification information.
  • the position information is information about the position of the subject in the image, for example, information about a predetermined position of a rectangular area (for example, the coordinate position of one vertex angle in the rectangular area) when the subject in the image is surrounded by a bounding box. etc.
  • the size information is information on the size of the area occupied by the subject in the image, and includes, for example, information on the coordinate positions of the two apex angles on the diagonal line of the above rectangular area.
  • the image quality information is information relating to the image quality of the subject appearing in the image based on the image data, and includes at least one of subject resolution information, brightness information, noise information, etc., as shown in FIG.
  • the sense of resolution information is information related to the sense of resolution of the subject in the image, and includes information such as the degree of blurring and blurring of the subject and the resolution of the subject, for example.
  • the degree of blurring and blurring of the subject is represented by the number of pixels, graded by ranks from 1 to 5, graded by grades, scored, or graded by a scale based on human sensibility. It may be the result of sensory evaluation.
  • Brightness information is information about the brightness (luminance value) of a subject in an image, and includes, for example, information such as the luminance value of each color of RGB (red, green, and blue) in each pixel within a rectangular area surrounding the subject.
  • the noise information is information about the noise of the subject in the image, and includes, for example, information about the S/N value (signal-to-noise ratio) within the rectangular area surrounding the subject.
  • Subject information and image quality information are given to each subject in the image. That is, when a plurality of subjects are captured in an image, subject information and image quality information corresponding to each subject are assigned to each subject.
  • the propriety information is information relating to the use of image data as teaching data, and includes at least one of user information, restriction information, copyright owner information, etc., as shown in FIG.
  • the user information is information related to the user of the image data. It includes information restricting use and information indicating that there are no user restrictions on image data, such as "Anyone can use it.”
  • the user information includes at least one of information about users who are permitted to use the image data and information about users who are not permitted to use the image data.
  • Restriction information is information related to restrictions on the purpose of use of image data. , including information indicating that there are no restrictions on the purpose of use of the image data.
  • the copyright holder information is information about the copyright holder of the image data. It includes information indicating that there is no copyright owner of the image data, such as "No owner". Note that the copyright holder information is not limited to the copyright holder of the image data, and may be information related to the creator of the image data, such as an ID (Identification) or nickname.
  • Each of the permission information may further include period information regarding the period during which the image data can be used. That is, each of the user information, restriction information, and copyright holder information is information related to restrictions on the period of use of image data, such as the expiration date during which image data can be used, the period during which image data can be used for free or for a fee, etc. May contain information.
  • the history information is information about the learning history in the past machine learning using image data, and as shown in FIG. including at least one of information and the like;
  • the number-of-times information is information about the number of times image data was used to create teacher data in past machine learning.
  • the user information is information about users who used image data to create teacher data in past machine learning.
  • the correct tag information and the incorrect tag information are information regarding whether teacher data created based on image data was used as correct data or incorrect data in past machine learning.
  • the employment information is information regarding whether or not teacher data created based on image data was employed as incorrect answer data in past machine learning.
  • Accuracy information is information about the accuracy of estimation results by artificial intelligence that has undergone machine learning using teacher data created based on image data in past machine learning.
  • Usage information is information related to learning usage of machine learning (learning usage of artificial intelligence), and in detail, what kind of usage of training data created based on image data can be used for machine learning of artificial intelligence. It is information representing Therefore, by referring to the application information, it is possible to specify for what application the image data can be used to create teacher data for artificial intelligence machine learning.
  • the shooting condition information, subject information, and image quality information can be attached to the image data by automatically generating tag information, for example, by the shooting device that shot the image.
  • all supplementary information that is, shooting condition information, subject information, image quality information, propriety information, history information, application information, etc., are added to the image data by the user manually inputting the tag information in the user terminal device 16.
  • artificial intelligence for adding tag information may be used to automatically estimate tag information from image data, and the estimated tag information may be added to image data.
  • any sorting conditions can be used as the first and second conditions, depending on the purpose and application of machine learning.
  • “apple” can be set as the first condition, and for example, the second condition can be set as the second condition. It is possible to propose "peach" different from one condition.
  • first condition and the second condition may include an item related to incidental information and the content related to this item.
  • first condition and the second condition may be an AND condition of two sorting conditions, item and content.
  • An item represents a category of a higher concept that includes multiple pieces of tag information of the same type, and a content represents an individual element of a lower concept that belongs to that category for each category.
  • a content represents an individual element of a lower concept that belongs to that category for each category.
  • the item is "fruit”, its content is “apple”, “peach”, “tangerine”, and the like.
  • the item is “automobile”, its contents are “passenger car”, “bus”, “truck” and the like.
  • the item is “seaweed” its contents are “kelp”, “wakame seaweed”, “mozuku seaweed”, and the like.
  • the first condition and the second condition are defined by the item and the content, and as the first condition and the second condition, for example, conditions having the same item but different content can be used.
  • the items can also include items related to the type of subject as described above.
  • the items can also include items related to the features of the subject, the position and size of the subject in the image, and the like.
  • the items can include at least one of items related to image data availability information, items related to imaging conditions, items related to image quality, and items related to history information of image data.
  • the items and contents of the second condition are: It is possible to propose “user information” which is the same as the 1st condition and “anyone can use” which is different from the 1st condition.
  • “fruit” and “apple” are set as the item and content of the first condition
  • “fruit” and “peach” can be proposed as the item and content of the second condition.
  • the selection of the second selected image data used for creating teacher data can be promoted, and the number of teacher data can be increased.
  • the accuracy of estimation results can be improved.
  • examples such as “fruit”, “tree”, and “car” propose, as the second condition, selection conditions that are highly similar to the first condition.
  • a second condition that is highly similar to the first condition for example, teacher data that is correct data is created based on the first selected image data, and based on the second selected image data.
  • selection conditions with different items and the same contents may be used, or selection conditions with different items and different contents may be used.
  • the item may be permission information, as in the example of "user information" described above. If the content of the first condition is to select the image data based on the propriety information, the content of the second condition is the image data with no propriety information recorded, or there is no restriction on the use of the image data. The content may be such that the image data in which the approval/disapproval information to that effect is recorded is selected.
  • the second condition is “can be used by anyone" for the item “user information”. It is possible to propose the following conditions. Likewise, if the first condition is set to “restrict commercial use” for the item “restricted information”, the second condition is set to “can be used for any purpose” for the item “restricted information”. It is possible to propose the following conditions. In addition, if the first condition is set as “the copyright holder is company B” for the item “copyright holder information”, the second condition is set as "copyright holder information” for the item “copyright holder information”. You can propose a condition that says, "No rights holders.”
  • the first sorting is performed.
  • it promotes the selection of the second selected image data that is not limited by the propriety information, and can increase the number of selected image data used for creating teacher data. The accuracy of the results can be improved.
  • the item may be an item related to the type of subject appearing in the image based on the image data.
  • a condition with the content "apple” for the item "fruit” is set as the first condition
  • a condition with the content "strawberry” for the item "fruit” is “second condition. That is, the type of subject, which is the item of the first condition and the second condition, is "fruit”, and the contents are "apple” and "strawberry”.
  • the first screened image data is used to create teacher data for correct data
  • the second screened image data is used to create teacher data for incorrect data.
  • the proposal processing unit 28 sets the content of the second condition to the first condition It is also possible to propose characteristics different from the characteristics of the subject of .
  • the first condition is set as “apple of type B produced in prefecture A” for the item "fruit”
  • the second condition is set as “apple of type D produced in prefecture C” for the item "fruit”.
  • the proposal processing unit 28 makes a second proposal based on the features of the subject of the first condition, such as color, shape, pattern, and the like.
  • a proposal process for proposing conditions may be performed.
  • the second condition For example, if the first condition is "orange”, it is possible to propose, as the second condition, "an oval orange object" based on the characteristics of "orange". That is, the subject of the first condition is "orange”, and its features are “oval” and "orange".
  • the second selected image data includes image data of “orange” in which tag information of “orange” is not recorded, and image data other than “orange” that resembles the characteristics of “orange”, such as orange color. balls, etc.
  • teacher data as correct data is created, and an image that is not “mandarin orange” similar to the characteristics of "mandarin orange” is generated. Based on the data, it is possible to create teacher data as incorrect answer data.
  • teacher data for example, when a human sees an image based on image data to which the tag information “oval orange object” similar to “orange” is added, “orange” (correct data), “orange” It is determined that it is not (incorrect data).
  • the proposal processing unit 28 may perform a proposal process of proposing a second condition that is a higher concept that abstracts the first condition.
  • the proposal processing unit 28 can propose “seaweed", which is a superordinate concept of "kelp”, as the second condition.
  • image data in which the tag information of "kelp” is recorded is selected as the first selected image data selected by the first condition of "kelp”, but the tag information of "wakame seaweed” and “mozuku seaweed” is selected. is not sorted out.
  • the proposal processing unit 28 sets these superordinate concepts as the second condition, " You can suggest shellfish. The same applies to other examples.
  • the acquisition processing unit 20 executes acquisition processing (acquisition step) for acquiring a plurality of image data from at least one of a plurality of image data suppliers (step S1).
  • acquisition processing acquisition step
  • the image data acquired by the acquisition processing unit 20 is stored in the image memory 22 .
  • the user inputs selection conditions for selecting image data according to the purpose and application of machine learning, for example, on the user terminal device 16 .
  • the selection condition instruction input by the user is transmitted from the user terminal device 16 to the data creation device 12 .
  • the setting processing unit 24 executes a setting process (setting step) for setting the first condition regarding the incidental information (step S2).
  • the selection processing unit 26 selects first selected image data recorded with incidental information that matches the first condition set by the setting processing unit 24 from among the plurality of image data stored in the image memory 22.
  • a sorting process (sorting process) for sorting is performed (step S3).
  • the proposal processing unit 28 executes a proposal process (proposal process) for proposing a second condition regarding the incidental information (step S4).
  • the notification processing unit 30 executes notification processing (notification step) for notifying information about the second condition proposed by the proposal processing unit 28 (step S5).
  • the creation processing unit 34 executes a creation process (creation step) for creating teacher data based on the first selected image data (step S7).
  • step S6 the second selection processing unit 32 selects the second selected image recorded with the incidental information that meets the second condition from the non-selected image data.
  • a second selection process (second selection step) for selecting data is executed (step S8).
  • the creation processing unit 34 executes a creation process (creation step) for creating teacher data based on the first selected image data and the second selected image data (step S9). This teacher data is transmitted from the data creation device 12 to the machine learning device 14 .
  • the proposal processing unit 28 may repeatedly execute a proposal process (proposal process) for proposing the second condition in response to an instruction from the user when the user does not adopt the second condition.
  • step S10 artificial intelligence is machine-learned using the teacher data transmitted from the data creation device 12, and a machine-learned inference model is created.
  • the user uses this artificial intelligence in the user terminal device 16 to input image data to be estimated for performing estimation corresponding to the application.
  • An instruction to input the image data to be estimated is transmitted from the user terminal device 16 to the machine learning device 14 .
  • the image data to be estimated transmitted from the user terminal device 16 is input to the artificial intelligence in response to the instruction of the image data to be estimated input by the user, and the artificial intelligence learns the image data.
  • the estimation model is used to estimate the image data to be estimated according to the purpose and application of machine learning.
  • the artificial intelligence estimation result is transmitted from the machine learning device 14 to the user terminal device 16 .
  • the acquisition processing unit 20 executes acquisition processing (acquisition step) for acquiring a plurality of image data.
  • acquisition processing acquisition step
  • the user inputs selection conditions for selecting image data to be used for artificial intelligence to perform machine learning on "oranges".
  • an input screen for the user to input the sorting conditions is displayed on the display of the user terminal device 16.
  • the input screen for selection conditions displays a message "Please enter image data selection conditions.” Entry fields for entering user information and the like are sequentially displayed.
  • the user selects image data whose type of subject is “orange”, which is commercially available, and which can only be used by company B, on the input screen for sorting conditions. Enter the sorting conditions for sorting.
  • the setting processing unit 24 executes setting processing (setting step) for setting the first condition
  • the sorting processing unit 26 selects incidental information that meets the first condition from among the plurality of image data.
  • a sorting process (a sorting step) for sorting out the recorded first sorted image data is executed.
  • the proposal processing unit 28 executes a proposal process (proposal step) for proposing the second condition
  • the notification processing unit 30 executes a notification process (notification step) for notifying information about the second condition.
  • the display of the user terminal device 16 displays a proposal screen that proposes a second condition different from the first condition.
  • the sorting condition to be proposed as the second condition, the reason for the proposal of the second condition, and input fields for whether or not to adopt the second condition are sequentially displayed. is displayed.
  • the second condition is image data in which the type of subject is "orange", the subject "orange” is in the center of the image, and "no copyright owner”. is displayed. Also, as the reason for proposing the second condition, a message is displayed that reads, "You can increase the training data used in machine learning.” Furthermore, in the input field for whether or not to adopt the second condition, a message "Do you want to adopt this sorting condition?" is displayed, and "Yes" and "No” buttons are displayed below it. It is
  • the proposal processing unit 28 sets, as the second condition, that the type of subject is “persimmon” and that the subject “persimmon” is located outside the center of the image. It is also possible to propose a selection condition for selecting image data that is in the above and has no copyright owner. In this case, as the reason for proposing the second condition, for example, a message "similar objects can be correctly distinguished" is displayed.
  • the creation processing unit 34 creates teacher data based on the first selected image data.
  • the second sorting processing unit 32 performs the second sorting process in which incidental information matching the second condition is recorded from the non-sorted image data. The image data is selected, and the creation processing unit 34 creates teacher data based on the first selected image data and the second selected image data.
  • the first selected image data and the second selected image data in which the tag information of "mandarin orange” is recorded as supplementary information are training data that serve as correct data for machine learning of "mandarin orange” by artificial intelligence.
  • the second sorted image data in which the tag information of "persimmon” is recorded as supplementary information is teacher data that serves as incorrect answer data for machine learning that "persimmon” is not "mandarin orange” in artificial intelligence. used to create.
  • the data creation device 12 it is possible to select a wide variety of image data according to the user's intention from a huge amount of image data according to the purpose and application of machine learning.
  • Appropriate training data can be automatically created in a short period of time based on a wide variety of image data selected from a huge amount of image data, greatly reducing the cost of creating training data.
  • the accuracy of estimation results by artificial intelligence can be greatly improved.
  • the proposal processing unit 28 causes the artificial intelligence for performing the proposal processing to perform machine learning based on whether or not the user has adopted the second condition, that is, based on the adoption result of the second condition.
  • a second condition may be proposed based on machine learning of the adoption results.
  • the first condition to be estimated is input to artificial intelligence, and the artificial intelligence estimates the second condition from the first condition using a trained estimation model.
  • the proposal processing unit 28 preferentially proposes the second condition that the user has adopted in the past over the second condition that the user has not adopted in the past.
  • the proposal processing unit 28 may preferentially propose a second condition that the user has adopted many times in the past over a second condition that the user has adopted a small number of times in the past. Furthermore, it is not necessary to propose a second condition that the user has not adopted in the past.
  • the user can select the second condition.
  • the likelihood of adopting a condition can be progressively increased.
  • the users may be the same user or different users.
  • the user may be a single user or a plurality of users.
  • the proposal processing unit 28 associates a history of information regarding whether or not the user has adopted the second condition and information regarding the number of times the user has adopted the second condition with the first condition corresponding to the second condition. It is possible to obtain a history of information on whether or not the user has adopted the second condition and information on the number of times the user has adopted the second condition, stored in association with the first condition.
  • the proposal processing unit 28 may cause the artificial intelligence for performing the proposal processing to perform machine learning based on the accuracy of the estimation result by the artificial intelligence, and propose the second condition based on the machine learning of the estimation result. good.
  • the accuracy of the estimation result by the first artificial intelligence is the same when the first user has adopted the second condition in the past, and the second user has not adopted the same second condition in the past. If the accuracy of the estimation result by the second artificial intelligence is higher than the accuracy of the estimation result by the second artificial intelligence in the case, the accuracy of the estimation result by the artificial intelligence can be improved when this second condition is adopted rather than when this second condition is not adopted. It is possible.
  • the proposal processing unit 28 determines that the accuracy of the estimation result by the first artificial intelligence when the first user adopts the second condition is equal to that of the second artificial intelligence when the second user does not adopt the second condition. proposes a second condition for the first artificial intelligence that the first user has adopted in the past, if the accuracy is higher than the accuracy of the estimation result by In other words, the proposal processing unit 28 determines that the accuracy of the estimation result by artificial intelligence is lower than the second condition in which the accuracy of the estimation result by artificial intelligence is lower due to the user's past adoption. The higher second condition is preferentially proposed. Furthermore, it is not necessary to propose the second condition that the accuracy of the estimation result by the artificial intelligence has become low due to the fact that the user has adopted it in the past.
  • the proposal processing unit 28 stores, for example, a history of the accuracy of the estimation result by the artificial intelligence in association with the second condition for the artificial intelligence, and the estimation result by the artificial intelligence associated with the second condition. Accuracy history may be obtained.
  • various processes such as the acquisition processing unit 20, the setting processing unit 24, the selection processing unit 26, the proposal processing unit 28, the notification processing unit 30, the second selection processing unit 32, and the creation processing unit 34 are executed.
  • the hardware configuration of the processing unit may be dedicated hardware, or may be various processors or computers that execute programs.
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same or different type, such as a combination of multiple FPGAs, or a combination of FPGAs and CPUs. and so on. Also, the plurality of processing units may be configured by one of various processors, or two or more of the plurality of processing units may be combined into one processor.
  • SoC System on Chip
  • the hardware configuration of these various processors is, more specifically, an electric circuit that combines circuit elements such as semiconductor elements.
  • the method of the present invention can be implemented, for example, by a program for causing a computer to execute each step. It is also possible to provide a computer-readable recording medium on which this program is recorded.
  • REFERENCE SIGNS LIST 10 data processing system 12
  • data creation device 14 machine learning device 16
  • user terminal device 18 network 20 acquisition processing unit 22 image memory 24 setting processing unit 26 selection processing unit 28 proposal processing unit 30 notification processing unit 32 second selection processing unit 34 creation processing Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本発明のデータ作成装置、データ作成方法、プログラムおよび記録媒体においては、複数の画像データの中から、付帯情報に基づいて第１選別画像データを選別するための第１条件を設定し、複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別し、複数の画像データのうち、第１条件に適合しない非選別画像データの中から、付帯情報に基づいて第２選別画像データを選別するための第２条件を提案し、ユーザが第２条件を採用しなかった場合には、第１選別画像データに基づいて教師データを作成し、ユーザが第２条件を採用した場合には、第１選別画像データおよび第２選別画像データに基づいて教師データを作成する。これにより、機械学習の目的及び用途に応じて、膨大な画像データの中から、ユーザの意図に沿った多種、多様な画像データを選別して教師データを作成することができる。

Description

データ作成装置、データ作成方法、プログラムおよび記録媒体
　本発明の一つの実施形態は、人工知能に機械学習をさせるための教師データを作成するデータ作成装置、データ作成方法、プログラムおよび記録媒体に関する。
　教師データを用いて人工知能に機械学習をさせる場合、機械学習の目的及び用途（人工知能の目的及び用途）に応じて、適切な教師データを選別するためのアノテーションの作業が重要となる。しかし、膨大な画像データの中から、機械学習の目的及び用途に応じて、適切な教師データを作成するための画像データを選別し、選別された画像データに基づいて教師データを作成するには、相当の手間及び処理時間を要し、その結果、教師データを作成するためのコストが高騰する。
　これに対し、近年では、膨大な画像データの中から画像データを自動で選別し、選別された画像データに基づいて教師データを作成することが提案されている（例えば、特許文献１，２参照）。
特開２０１１－１５０３８１号公報 特開２０１９－１１４２４３号公報
　しかし、特許文献１，２においては、膨大な画像データの中から、教師データを作成するための画像データが自動で選別されるため、ユーザの意図に沿った画像データが選別されない場合があるという問題があった。
　これに対し、ユーザ自身が選別条件を設定することにより、膨大な画像データの中から、ユーザの意図に沿った画像データを選別することができる。しかし、この場合、ユーザが設定した選別条件に適合する画像データのみが選別され、ユーザが設定していない選別条件に適合する画像データは選別されないため、機械学習の目的及び用途に応じて、膨大な画像データの中から、多種、多様な画像データを幅広く選別することは難しいという問題点がある。
　従って、本発明の一つの実施形態に係る目的は、機械学習の目的及び用途に応じて、膨大な画像データの中から、ユーザの意図に沿った多種、多様な画像データを選別して教師データを作成することができるデータ作成装置、データ作成方法、プログラムおよび記録媒体を提供することにある。
　上記目的を達成するために、本発明は、付帯情報が記録された複数の画像データから、機械学習をさせるための教師データを作成するデータ作成装置であって、プロセッサを備え、プロセッサは、複数の画像データの中から、付帯情報に基づいて第１選別画像データを選別するための第１条件を設定する設定処理と、複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別する選別処理と、複数の画像データのうち、第１条件に適合しない非選別画像データの中から、付帯情報に基づいて第２選別画像データを選別するための第２条件を提案する提案処理と、ユーザが第２条件を採用しなかった場合には、第１選別画像データに基づいて教師データを作成し、ユーザが第２条件を採用した場合には、第１選別画像データおよび第２選別画像データに基づいて教師データを作成する作成処理と、を実行する、データ作成装置を提供する。
　ここで、プロセッサは、ユーザが第２条件を採用した場合に、非選別画像データの中から、第２条件に適合する付帯情報が記録された第２選別画像データを選別する第２選別処理を実行することが好ましい。
　また、プロセッサは、ユーザが第２条件を採用したか否かの採用結果に基づいて機械学習を実行させ、提案処理は、採用結果の機械学習に基づいて、第２条件を提案することが好ましい。
　また、プロセッサは、第２条件に関する情報を通知する通知処理を実行することが好ましい。
　また、第１条件および第２条件は、付帯情報に関する項目と、項目に関する内容と、を含むことが好ましい。
　また、第１条件および第２条件は、項目が同一であり、かつ、内容が異なることが好ましい。
　また、項目は、画像データを教師データとして使用することに関する可否情報であることが好ましい。
　また、可否情報は、画像データの使用に関する使用者情報、画像データの使用目的の制限に関する制限情報、および、画像データの著作権者情報の少なくとも１つを含むことが好ましい。
　また、第１条件の内容は、可否情報に基づいて画像データを選別する内容であり、第２条件の内容は、可否情報が未記録の画像データ、または、画像データの使用に制限がない旨の可否情報が記録された画像データを選別する内容であることが好ましい。
　また、項目は、画像データに基づく画像に写っている被写体の種類に関する項目であることが好ましい。
　また、第１条件は、画像データに基づく画像に写っている被写体に関する条件であり、提案処理は、第１条件の被写体の特徴に基づいて第２条件を提案する処理であることが好ましい。
　また、提案処理は、第１条件を抽象化させた上位概念の第２条件を提案する処理であることが好ましい。
　また、本発明は、付帯情報が記録された複数の画像データから、機械学習をさせるための教師データを作成するデータ作成方法であって、複数の画像データの中から、付帯情報に基づいて第１選別画像データを選別するための第１条件を設定する設定工程と、複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別する選別工程と、複数の画像データのうち、第１条件に適合しない非選別画像データの中から、付帯情報に基づいて第２選別画像データを選別するための第２条件を提案する提案工程と、ユーザが第２条件を採用しなかった場合には、第１選別画像データに基づいて教師データを作成し、ユーザが第２条件を採用した場合には、第１選別画像データおよび第２選別画像データに基づいて教師データを作成する作成工程と、を含む、データ作成方法を提供する。
　また、本発明は、上記のいずれかのデータ作成装置の各々の処理をコンピュータに実行させるためのプログラムを提供する。
　また、本発明は、上記のいずれかのデータ作成装置の各々の処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
　本発明によれば、機械学習の目的及び用途に応じて、膨大な画像データの中から、ユーザの意図に沿った多種、多様な画像データを選別して教師データを作成することができるデータ作成装置、データ作成方法、プログラムおよび記録媒体を提供することができる。
本発明の一つの実施形態に係るデータ処理システムの構成を表すブロック図である。 図１に示すデータ作成装置の内部構成を表す一実施形態のブロック図である。 画像データの内部構成を表す一実施形態の概念図である。 複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別する選別処理を表す一実施形態の概念図である。 非選別画像データの中から、第２条件に適合する付帯情報が記録された第２選別画像データを選別する第２選別処理を表す一実施形態の概念図である。 付帯情報の構成を表す一実施形態の概念図である。 撮影条件情報の構成を表す一実施形態の概念図である。 被写体情報の構成を表す一実施形態の概念図である。 画質情報の構成を表す一実施形態の概念図である。 可否情報の構成を表す一実施形態の概念図である。 履歴情報の構成を表す一実施形態の概念図である。 図１に示すデータ処理システムの動作を表す一実施形態のフローチャートである。 ユーザが選別条件を入力するための入力画面を表す一実施形態の概念図である。 第２条件を提案する提示画面を表す一実施形態の概念図である。
　以下に、添付の図面に示す好適な実施形態に基づいて、本発明の一つの実施形態に係るデータ作成装置、データ作成方法、プログラムおよび記録媒体を詳細に説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明をこれに限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
　また、本明細書において、「装置」という概念には、特定の機能を発揮する単一の装置の他、分散して互いに独立して存在するが、特定の機能を発揮するために協働する複数の装置等も含まれる。また、本明細書において、「者」は、特定の行為を行う主体を意味し、その概念には、個人、グループ、法人及び団体が含まれる他、人工知能を構成するコンピュータ及びデバイス等も含まれる。
　図１は、本発明の一つの実施形態に係るデータ処理システムの構成を表すブロック図である。図１に示すデータ処理システム１０は、データ作成装置１２と、機械学習装置１４と、複数のユーザ端末装置１６（１６ａ、１６ｂ、…）と、を備えている。
　データ作成装置１２と、機械学習装置１４と、複数のユーザ端末装置１６の各々とは、インターネットまたはモバイルデータ通信回線等のネットワーク１８を介して双方向に接続され、互いに各種のデータの送受信が可能である。
　なお、データ作成装置１２および機械学習装置１４は、本実施形態のように、別々の装置として構成してもよいし、これらを一体化して１つの装置として構成してもよい。また、データ処理システム１０は、本実施形態のように、複数のユーザ端末装置１６を備えていてもよいが、複数のユーザ端末装置１６を備えることは必須ではなく、少なくとも１つのユーザ端末装置１６を備えていればよい。
　データ作成装置１２は、付帯情報が記録（付与）された複数の画像データから、人工知能に機械学習をさせるための教師データを作成するアノテーションの作業を行うものであり、例えば、PC（Personal Computer：パーソナルコンピュータ）、ワークステーション、サーバ等のコンピュータによって構成され、入力装置、ディスプレイ、メモリ（記憶装置）、通信装置、制御装置等を備える。
　人工知能は、推論、予測及び判断等の知的な機能をハードウェア資源及びソフトウェア資源を使って実現したものである。人工知能は、任意のアルゴリズム、例えば、エキスパートシステム、事例ベース推論（ＣＢＲ：Case-Based Reasoning）、ベイジアンネットワーク又は包摂アーキテクチャ等によって実現される。機械学習は、データから規則性および判断基準を学習し、それに基づき未知のものを予測、判断する技術及び人工知能に関わる分析技術等である。
　図２は、図１に示すデータ作成装置の内部構成を表す一実施形態のブロック図である。データ作成装置１２は、図２に示すように、取得処理部２０と、画像メモリ２２と、設定処理部２４と、選別処理部２６と、提案処理部２８と、通知処理部３０と、第２選別処理部３２と、作成処理部３４と、を備えている。
　画像データが取得処理部２０に入力され、取得処理部２０には画像メモリ２２が接続されている。第１条件が設定処理部２４に入力され、設定処理部２４には選別処理部２６が接続されている。画像メモリ２２には、選別処理部２６および第２選別処理部３２のそれぞれが接続され、選別処理部２６および第２選別処理部３２には作成処理部３４が接続されている。作成処理部３４からは教師データが出力される。第２条件の採用結果が第２選別処理部３２および提案処理部２８に入力され、提案処理部２８からは第２条件が出力される。提案処理部２８には通知処理部３０が接続され、通知処理部３０からは通知が出力される。
　取得処理部２０は、画像データの複数の供給元の少なくとも１つから、複数の画像データを取得する取得処理を実行する。
　画像データの供給元は、特に限定されないが、例えば、取得処理部２０は、ユーザ端末装置１６において、ユーザによって選択（指定）された画像データ、SNS（Social Networking Service：ソーシャルネットワーキングサービス）等のように、画像の公開または共有が可能なウェブサイトにおいて投稿された画像データ、オンラインストレージまたは画像サーバ等に記憶された画像データ等を取得することができる。
　複数の画像データの各々には、図３に示すように、付帯情報が記録されている。付帯情報としては、様々なタグ情報（ラベル情報）が含まれる。付帯情報は、例えば、画像データのヘッダ情報として記録されていてもよいし、付帯情報を画像データとは別の付帯情報データとして用意しておき、画像データとこの画像データに対応する付帯情報データとが関連付けて記録されていてもよい。なお、付帯情報についての詳細な説明は後述する。
　画像メモリ２２は、複数の画像データを記憶する。
　画像メモリ２２は、取得処理部２０によって取得された複数の画像データを取得してもよいし、予め複数の画像データが画像メモリ２２に記憶されていてもよい。
　画像メモリ２２は、特に限定されないが、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）、ＲＡＭ（Random Access Memory：ランダムアクセスメモリ）、ＳＤカード（Secure Digital card：セキュアデジタルカード）、ＵＳＢメモリ（Universal Serial Bus memory：ユニバーサルシリアルバスメモリ）等の各種の記録メディアでもよいし、あるいは、オンラインストレージまたは画像サーバ等を利用してもよい。
　設定処理部２４は、付帯情報に関する第１条件を設定する設定処理を実行する。
　第１条件は、画像メモリ２２に記憶された複数の画像データの中から、付帯情報に基づいて第１選別画像データを選別（検索）するための選別条件である。なお、第１条件についての詳細な説明は後述する。
　第１条件の設定方法は、特に限定されないが、例えば、設定処理部２４は、ユーザが入力した選別条件を第１条件として設定することができる。ユーザは、例えば、画像に写っている被写体が「リンゴ」なのか否かを推定するという用途（使用目的）の人工知能を作成する場合、第１条件として、「リンゴ」という選別条件を入力する。この場合、設定処理部２４は、ユーザが入力した「リンゴ」という選別条件を第１条件として設定する。
　第１条件は、１つの選別条件でもよいし、２以上の選別条件のＡＮＤ条件またはＯＲ条件でもよい。
　あるいは、設定処理部２４は、機械学習の目的及び用途毎に、用途とその用途に対応する第１条件とを関連付けて記憶したテーブルを用意しておき、このテーブルを用いて、ユーザが入力した機械学習の目的及び用途に関連付けられた第１条件を設定することができる。この場合、ユーザは、選別条件として、機械学習の目的及び用途を手動で入力してもよいし、プルダウンメニュー等を用いて、前述のテーブルに記憶された機械学習の目的及び用途のリストの中から所望の用途を選択できるようにしてもよい。
　選別処理部２６は、図４に示すように、複数の画像データの中から、設定処理部２４によって設定された第１条件に適合する付帯情報が記録された画像データ（第１選別画像データ）を選別する選別処理を実行する。
　第１選別画像データの選別方法は、特に限定されないが、例えば、選別処理部２６は、第１条件と複数の画像データの各々に記録された付帯情報とを比較することにより、複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別することができる。選別処理部２６は、例えば、第１条件が「リンゴ」である場合、「リンゴ」に対応する付帯情報が記録された第１選別画像データを選別する。
　第１条件に適合する付帯情報は、第１条件と完全に一致する付帯情報の他、第１条件を包含する付帯情報を含んでいてもよい。例えば、第１条件が「リンゴ」である場合、「リンゴ」に対応する付帯情報の他、「赤いリンゴ」等に対応する付帯情報を含んでいてもよい。
　提案処理部２８は、複数の画像データのうち、第１条件に適合しない非選別画像データ、すなわち、第１選別画像データとして選別されなかった非選別画像データの中から、付帯情報に関する第２条件を提案する提案処理を実行する。
　非選別画像データは、複数の画像データのうち、第１選別画像データとして選別された画像データ以外の画像データであり、１つまたは２以上の画像データを含む。
　第２条件は、第１条件とは異なる選別条件であって、非選別画像データの中から、付帯情報に基づいて、第１選別画像データとは異なる第２選別画像データを選別するための選別条件である。また、第２条件は、ユーザからの指示に係わらず、提案処理部２８によって自動で設定され、ユーザに提案される選別条件である。なお、第２条件についての詳細な説明は後述する。
　第２条件の提案方法は、特に限定されないが、例えば、提案処理部２８は、第１条件毎に、第１条件とこの第１条件に対応する第２条件とを関連付けて記憶したテーブルを用意しておき、このテーブルを用いて、第１条件に関連付けられた第２条件を提案することができる。例えば、第１条件が「リンゴ」である場合に、リンゴと外見が似ている桃の画像データを加えることで人工知能による推定結果の精度を向上させることができるため、テーブルにおいて「リンゴ」と「桃」が関連付けられている場合、設定処理部２４は、第２条件として「桃」を提案する。
　第２条件の提案タイミングは、特に限定されないが、例えば、第１条件を提案する提案処理と第１選別画像データを選別する選別処理の間、又は、当該選別処理と後述する教師データを作成する作成処理の間がある。
　あるいは、提案処理部２８は、提案処理を行うための人工知能を用いて第１条件から推定された第２条件を提案してもよい。
　第２条件は、第１条件の場合と同様に、１つの選別条件でもよいし、２以上の選別条件のＡＮＤ条件またはＯＲ条件でもよい。
　通知処理部３０は、提案処理部２８によって提案された第２条件に関する情報を通知する通知処理を実行する。
　第２条件に関する情報は、特に限定されないが、第２条件の提案理由、過去に同じ第２条件が採用された回数又は採用率、および、人工知能による第２条件の提案内容（推定結果）の精度等を例示することができる。
　通知処理部３０は、例えば、第１条件が「リンゴ」である場合に、提案処理部２８が第２条件として「桃」を提案した場合、「リンゴと外見が似ている桃の画像データを加えることにより人工知能による推定結果の精度が向上します」等の提案理由をユーザに対して通知する。このように、提案理由を通知することにより、ユーザは、第２条件の提案理由を知ることができるため、この提案理由に基づいて、第２条件を採用するか否かを容易に判断することができる。
　通知方法は、特に限定されないが、例えば、ユーザ端末装置１６において、テキストメッセージを表示させてもよいし、このテキストメッセージを音声合成によって音声で読み上げてもよいし、この両方を行ってもよい。
　第２選別処理部３２は、提案処理部２８による第２条件の提案に応じて、ユーザが第２条件を採用した場合に、図５に示すように、非選別画像データの中から、第２条件に適合する付帯情報が記録された画像データ（第２選別画像データ）を選別する第２選別処理を実行する。言い換えると、第２選別処理部３２は、ユーザが第２条件を採用しなかった場合には第２選別処理を実行せず、第２選別画像データを選別しない。
　第２選別処理部３２は、選別処理部２６が、複数の画像データの中から第１選別画像データを選別する場合と同様にして、非選別画像データの中から第２選別画像データを選別することができる。
　作成処理部３４は、提案処理部２８による第２条件の提案に応じて、ユーザが第２条件を採用しなかった場合には、第２選別画像データが選別されないため、第１選別画像データに基づいて教師データを作成する作成処理を実行する。一方、作成処理部３４は、ユーザが第２条件を採用した場合には、第２選別画像データが選別されるため、第１選別画像データおよび第２選別画像データに基づいて教師データを作成する作成処理を実行する。
　作成処理部３４は、第１選別画像データまたは第２選別画像データ自身を教師データとしてもよいし、第１選別画像データおよび第２選別画像データの少なくとも一方に対して各種の画像処理を施すことにより教師データを作成してもよい。
　本実施形態の場合、取得処理部２０、設定処理部２４、選別処理部２６、提案処理部２８、通知処理部３０、第２選別処理部３２および作成処理部３４は、プロセッサおよびこのプロセッサによって実行されるプログラムによって構成されている。
　機械学習装置１４は、データ作成装置１２によって作成された複数の教師データを用いて人工知能に機械学習をさせることにより、機械学習済みの推論モデルを作成する。
　機械学習によって構築される推論モデルは、任意の数理モデルであり、例えば、ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、アテンション、トランスフォーマー、敵対的生成ネットワーク、ディープラーニングニューラルネットワーク、ボルツマンマシン、マトリクス・ファクトーリゼーション、ファクトーリゼーション・マシーン、エムウエイ・ファクトーリゼーション・マシーン、フィールド認識型ファクトーリゼーション・マシーン、フィールド認識型ニューラル・ファクトーリゼーション・マシーン、サポートベクタマシン、ベイジアンネットワーク、決定木、又はランダムフォレスト等が利用可能である。
　ユーザ端末装置１６は、ユーザから入力された指示に応じて、データ作成装置１２および機械学習装置１４等に各種の処理を行わせる。本実施形態の場合、ユーザ端末装置１６は、ユーザから入力された指示に応じて、データ作成装置１２により、機械学習の目的及び用途に応じた教師データを作成させ、機械学習装置１４により、教師データを用いて人工知能に機械学習を行わせて学習済みの推定モデルを作成させ、学習済みの推定モデルを用いて機械学習の目的及び用途に応じた推定を行わせる。
　ユーザ端末装置１６は、例えば、デスクトップPC、ノートPC、タブレットPC、またはスマートフォン等をはじめとするコンピュータによって構成され、入力装置、ディスプレイ、メモリ（記憶装置）、通信装置、および制御装置等を備える。
　次に、付帯情報について説明する。
　付帯情報は、複数の画像データの中から、第１条件に適合する第１選別画像データを選別し、非選別画像データの中から、第２条件に適合する第２選別画像データを選別するために用いられる各種のタグ情報（ラベル情報）を含む。付帯情報は、特に限定されないが、図６に示すように、タグ情報として、撮影条件情報、被写体情報、画質情報、可否情報、履歴情報および用途情報等の少なくとも１つを含む。
　撮影条件情報は、画像データに基づく画像の撮影条件に関する情報であり、Exif（Exchangeable Image File Format）形式のタグ情報として、図７に示すように、撮影機器情報、撮影環境情報および画像処理情報等の少なくとも１つを含む。
　撮影機器情報は、撮影機器（カメラ）に関する情報であり、撮影機器の製造メーカ、撮影機器の機種名、及び、撮影機器が有する光源の種類等の情報を含む。
　撮影環境情報は、画像の撮影環境に関する情報であり、撮影日時、撮影時の季節、撮影場所、撮影場所の地名、撮影時の露光条件（ｆ値、ＩＳＯ感度、及びシャッタスピード等）、撮影時の天候、並びに撮影時の照度（日射量）等の情報を含む。
　画像処理情報は、撮影機器が画像に対して実施する画像処理に関する情報であり、画像処理の名称、画像処理の特徴、画像処理を実施可能な機器の機種、及び、画像内において処理が実施された領域等の情報を含む。
　被写体情報は、画像データに基づく画像に写っている被写体に関する情報であり、図８に示すように、画像内の被写体の識別情報、位置情報およびサイズ情報等の少なくとも１つを含む。
　識別情報は、画像内の被写体の種類（種別）、状態、特徴（色、形、模様等）等に関する情報である。例えば、被写体の種類が「リンゴ」であり、その状態が、食べごろの状態であり、その特徴が、赤くて丸い等の情報が識別情報に該当する。
　位置情報は、画像内の被写体の位置に関する情報であり、例えば、画像内の被写体をバウンディングボックスによって囲んだ際の矩形領域の所定位置（例えば、矩形領域における一つの頂角の座標位置）の情報等を含む。
　サイズ情報は、画像内の被写体が占める領域のサイズに関する情報であり、例えば、上記の矩形領域の対角線上における二つの頂角の座標位置の情報等を含む。
　画質情報は、画像データに基づく画像に写っている被写体の画質に関する情報であり、図９に示すように、被写体の解像感情報、明るさ情報およびノイズ情報等の少なくとも１つを含む。
　解像感情報は、画像内の被写体の解像感に関する情報であり、例えば、被写体のボケ及びブレ度合い、および、被写体の解像度等の情報を含む。被写体のボケ及びブレ度合いは、画素数で表したもの、１～５のランク又は等級等のように段階評価したもの、スコアで評価したもの、あるいは、人間の感性に基づく尺度にて段階評価した官能評価の結果でもよい。
　明るさ情報は、画像内の被写体の明るさ（輝度値）に関する情報であり、例えば、被写体を囲む矩形領域内の各画素におけるＲＧＢ（赤緑青）各色の輝度値等の情報を含む。
　ノイズ情報は、画像内の被写体のノイズに関する情報であり、例えば、被写体を囲む矩形領域内のＳ／Ｎ値（信号雑音比）の情報等を含む。
　被写体情報および画質情報は、画像内の被写体毎に付与される。すなわち、画像内に複数の被写体が写っている場合には、被写体毎に、その被写体に対応する被写体情報および画質情報が付与される。
　可否情報は、画像データが教師データとして使用することに関する情報であり、図１０に示すように、使用者情報、制限情報および著作権者情報等の少なくとも１つを含む。
　使用者情報は、画像データの使用者に関する情報であり、例えば、「Ａさんに限り使用可能」又は「Ｂ社に限り使用可能」等のように、特定の使用者（ユーザ）に画像データの使用を制限する情報、及び、「誰でも使用可能」等のように、画像データの使用者制限がない旨の情報等を含む。使用者情報は、画像データの使用が認められている使用者の情報又は使用が認められていない使用者の情報の少なくとも一方を含む。
　制限情報は、画像データの使用目的の制限に関する情報であり、例えば、「商用利用を制限する」等のように、画像データの使用目的を制限する情報、および、「あらゆる目的で使用可能」等のように、画像データの使用目的に制限がない旨の情報等を含む。
　著作権者情報は、画像データの著作権者に関する情報であり、例えば、「著作権者はＢ社である」等のように、画像データの著作権者を特定する情報、および、「著作権者なし」等のように、画像データの著作権者がいない旨の情報等を含む。なお、著作権者情報は、画像データの著作権者に限らず、ID（Identification：識別情報）、ニックネーム等のように、画像データの作成者に関する情報であってもよい。
　可否情報、すなわち、使用者情報、制限情報および著作権者情報のそれぞれは、さらに、画像データを使用可能な期間に関する期間情報を含んでいてもよい。すなわち、使用者情報、制限情報および著作権者情報のそれぞれは、画像データの使用時期の制限に関する情報、例えば、画像データを使用可能な有効期限、無料又は有料で画像データが使用できる期間等の情報を含んでいてもよい。
　なお、可否情報は、暗号化又はハッシュ化する等の方法により、無断の改竄を回避してセキュリティ性を担保することが望ましい。
　履歴情報は、画像データを用いた過去の機械学習の際の学習履歴に関する情報であり、図１１に示すように、回数情報、利用者情報、正解タグ情報、不正解タグ情報、採用情報および精度情報等の少なくとも１つを含む。
　回数情報は、過去の機械学習において、画像データが教師データを作成するために用いられた回数に関する情報である。
　利用者情報は、過去の機械学習において、教師データを作成するために画像データ利用した利用者（ユーザ）に関する情報である。
　正解タグ情報及び不正解タグ情報は、過去の機械学習において、画像データに基づいて作成された教師データが正解データとして用いられたか、不正解データとして用いられたかに関する情報である。
　採用情報は、過去の機械学習において、画像データに基づいて作成された教師データが不正解データとして採用されたか否かに関する情報である。
　精度情報は、過去の機械学習において、画像データに基づいて作成された教師データを用いて機械学習された人工知能による推定結果の精度に関する情報である。
　用途情報は、機械学習の学習用途（人工知能の学習用途）に関する情報であり、詳しくは、画像データに基づいて作成される教師データが、どのような用途の人工知能の機械学習に利用できるのかを表す情報である。従って、用途情報を参照することにより、画像データが、どのような用途の人工知能の機械学習のための教師データを作成するために利用できるのかを特定することができる。
　付帯情報のうち、撮影条件情報、被写体情報および画質情報は、例えば、画像を撮影した撮影機器によって自動でタグ情報を生成して画像データに付与することができる。また、全ての付帯情報、すなわち、撮影条件情報、被写体情報、画質情報、可否情報、履歴情報および用途情報等は、ユーザがユーザ端末装置１６においてタグ情報を手動で入力することによって画像データに付与してもよい。あるいは、タグ情報を付与するための人工知能を用いて画像データからタグ情報を自動で推定し、推定されたタグ情報を画像データに付与してもよい。
　次に、第１条件および第２条件について説明する。
　第１条件および第２条件としては、機械学習の目的及び用途に応じて、任意の選別条件を使用することができる。画像内の被写体が「リンゴ」なのか否かを推定するという用途の人工知能を作成する場合、第１条件として、例えば、「リンゴ」が設定することができ、第２条件として、例えば、第１条件とは異なる「桃」を提案することができる。
　また、第１条件および第２条件は、付帯情報に関する項目と、この項目に関する内容と、を含んでいてもよい。言い換えると、第１条件および第２条件は、項目および内容という２つの選別条件のＡＮＤ条件であってもよい。
　項目とは、同種の複数のタグ情報を包括する上位概念のカテゴリを表し、内容とは、カテゴリ毎に、そのカテゴリに属する下位概念の個別の要素を表す。例えば、項目が、「果物」である場合、その内容は、「リンゴ」、「桃」、「ミカン」等である。項目が、「自動車」である場合、その内容は、「乗用車」、「バス」、「トラック」等である。項目が、「海藻」である場合、その内容は、「昆布」、「わかめ」、「もずく」等である。
　上記のように、第１条件および第２条件は、項目および内容によって規定され、第１条件および第２条件としては、例えば、項目が同一であり、かつ、内容が異なる条件を用いることができる。
　また、項目には、上記のように被写体の種類に関する項目を含めることができる。また、項目には、被写体の特徴、画像における被写体の位置及びサイズ等に関する項目を含めることができる。さらに、項目には、画像データの可否情報に関する項目、撮影条件に関する項目、及び、画質に関する項目、画像データの履歴情報に関する項目のうち、少なくとも一つを含めることができる。
　いくつかの具体例を挙げて説明すると、第１条件の項目および内容として、「使用者情報」および「Ｂ社に限り使用可能」が設定された場合、第２条件の項目および内容として、第１条件と同じ「使用者情報」および第１条件とは異なる「誰でも使用可能」を提案することができる。以下同様に、第１条件の項目および内容として、「果物」および「リンゴ」が設定された場合、第２条件の項目および内容として、「果物」および「桃」を提案することができる。第１条件の項目および内容として、「果物」および「リンゴ」と、「天候」および「晴れ」と、のＡＮＤ条件が設定された場合、第２条件の項目および内容として、「果物」および「桃」と、「天候」および「曇り」と、のＡＮＤ条件を提案することができる。第１条件の項目および内容として、「樹木」および「木」が設定された場合、第２条件の項目および内容として、「樹木」および「森」を提案することができる。第１条件の項目および内容として、「車」および「乗用車」が設定された場合、第２条件の項目および内容として、「車」および「バス」を提案することができる。
　このように、第２条件を提案することにより、教師データの作成のために用いられる第２選別画像データの選別を促進し、教師データの数を増やすことができるため、その結果、人工知能による推定結果の精度を向上させることができる。
　上記の例のうち、「果物」、「樹木」、「車」等の例は、第２条件として、第１条件との類似性が高い選別条件を提案するものである。このように、第１条件との類似性が高い第２条件を提案することにより、例えば、第１選別画像データに基づいて正解データとなる教師データを作成し、第２選別画像データに基づいて不正解データとなる教師データを作成し、これらの教師データを用いて人工知能に機械学習をさせた結果、類似物を正しく区別できるようになり、人工知能による推定結果の精度を向上させることができる。
　なお、第１条件および第２条件としては、項目が異なり、かつ、内容が同一の選別条件を用いてもよいし、項目および内容の両方ともが異なる選別条件を用いてもよい。
　また、項目は、前述の「使用者情報」の例のように、可否情報であってもよい。また、第１条件の内容が、可否情報に基づいて画像データを選別する内容である場合、第２条件の内容は、可否情報が未記録の画像データ、または、画像データの使用に制限がない旨の可否情報が記録された画像データを選別する内容としてもよい。
　例えば、第１条件として、項目「使用者情報」について「Ｂ社に限り使用可能」という内容の条件が設定された場合、第２条件として、項目「使用者情報」について「誰でも使用可能」という内容の条件を提案することができる。以下同様に、第１条件として、項目「制限情報」について「商用利用を制限する」という内容の条件が設定された場合、第２条件として、項目「制限情報」について「あらゆる目的で使用可能」という内容の条件を提案することができる。また、第１条件として、項目「著作権者情報」について「著作権者はＢ社である」という内容の条件が設定された場合、第２条件として、項目「著作権者情報」について「著作権者なし」という内容の条件を提案することができる。
　このように、可否情報が未記録の画像データ、または、画像データの使用に制限がない旨の可否情報が記録された画像データを選別する内容の第２条件を提案することにより、第１選別画像データに加えて、可否情報によって制限されない第２選別画像データの選別を促進し、教師データの作成のために用いられる選別画像データの数を増やすことができるため、その結果、人工知能による推定結果の精度を向上させることができる。
　また、項目は、画像データに基づく画像に写っている被写体の種類に関する項目であってもよい。
　例えば、第１条件として、項目「果物」について「リンゴ」という内容の条件が設定された場合に、第２条件として、項目「果物」について「イチゴ」という内容の条件を提案することができる。すなわち、第１条件および第２条件の項目である被写体の種類は「果物」であり、その内容は、「リンゴ」および「イチゴ」である。この場合、例えば、第１選別画像データは正解データの教師データ、第２選別画像データは不正解データの教師データを作成するために使用される。
　また、上記のように、項目が、画像内の被写体の種類に関する項目であり、かつ、その内容が、被写体の特性を含む場合、提案処理部２８は、第２条件の内容として、第１条件の被写体の特性とは異なる特性を提案してもよい。
　例えば、第１条件として、項目「果物」について「Ａ県産のＢ品種のリンゴ」という内容の条件が設定された場合、第２条件として、項目「果物」について「Ｃ県産のＤ品種のリンゴ」という内容の条件を提案することができる。すなわち、第１条件および第２条件の項目である被写体の種類は「果物」であり、その内容は「リンゴ」、被写体の特性は「産地」および「品種」である。
　これにより、教師データの作成のための選別画像データを選別する上で、被写体の特性に起因するデータの偏りを防止することができ、かつ、選別画像データの数を増やすことができる。
　また、提案処理部２８は、第１条件が、画像データに基づく画像に写っている被写体に関する条件である場合、第１条件の被写体の特徴、例えば、色、形、模様等に基づいて第２条件を提案する提案処理を行ってもよい。
　例えば、第１条件が「ミカン」である場合、第２条件として、「ミカン」の特徴に基づいて、「楕円形でオレンジ色の物体」等を提案することができる。すなわち、第１条件の被写体は「ミカン」であり、その特徴は、「楕円形」、「オレンジ色」である。
　この場合、第２選別画像データは、「ミカン」のタグ情報が記録されていない「ミカン」の画像データ、および、「ミカン」の特徴に類似する「ミカン」ではない画像データ、例えば、オレンジ色のボール等を含む。これにより、例えば、「ミカン」のタグ情報が記録されていない「ミカン」の画像データに基づいて、正解データとなる教師データを作成し、「ミカン」の特徴に類似する「ミカン」ではない画像データに基づいて、不正解データとなる教師データを作成することができる。この場合、例えば、「ミカン」に類似する「楕円形でオレンジ色の物体」というタグ情報が付与されている画像データに基づく画像を人間が見て、「ミカン」（正解データ）、「ミカン」ではない（不正解データ）と判断する。
　また、提案処理部２８は、第１条件を抽象化させた上位概念の第２条件を提案する提案処理を行ってもよい。
　例えば、第１条件として、「昆布」が設定された場合、提案処理部２８は、第２条件として、「昆布」の上位概念となる「海藻」を提案することができる。
　この場合、第１条件である「昆布」によって選別された第１選別画像データとして、「昆布」のタグ情報が記録された画像データが選別されるが、「わかめ」、「もずく」のタグ情報が記録された画像データは選別されない。
　これに対し、第１条件の「昆布」の上位概念となる第２条件の「海藻」を提案することにより、言葉、食文化等の違いを補うことができる。詳しく説明すると、「海藻」を食べる国の人は、「昆布」、「わかめ」、「もずく」等の言葉を区別して使用する場合が多いが、「海藻」を食べない国の人は、「昆布」、「わかめ」、「もずく」等の言葉を一括りにして、「海藻」と表現する場合が多い。この点を踏まえて、第２条件を「海藻」と設定することにより、複数の画像データの中から、「昆布」のタグ情報が記録されていなくても、「海藻」および「わかめ」、「海藻」および「もずく」等のタグ情報が記録された画像データを選別することができるため、「昆布」に関連性のある、より多くの選別画像データを選別することができる。
　また、別の例としては、第１条件として、「しじみ」、「あさり」、「はまぐり」等が設定された場合に、提案処理部２８は、第２条件として、これらの上位概念となる「貝」を提案することができる。これ以外の例についても同様である。
　次に、図１２に示すフローチャートを参照しながら、データ処理システム１０の動作を説明する。
　まず、取得処理部２０により、画像データの複数の供給元の少なくとも１つから、複数の画像データを取得する取得処理（取得工程）が実行される（ステップS1）。取得処理部２０によって取得された画像データは、画像メモリ２２に記憶される。
　一方、ユーザは、例えば、ユーザ端末装置１６において、機械学習の目的及び用途に応じて画像データを選別するための選別条件を入力する。ユーザから入力された選別条件の指示は、ユーザ端末装置１６からデータ作成装置１２に送信される。
　これに応じて、設定処理部２４により、付帯情報に関する第１条件を設定する設定処理（設定工程）が実行される（ステップS2）。
　続いて、選別処理部２６により、画像メモリ２２に記憶された複数の画像データの中から、設定処理部２４によって設定された第１条件に適合する付帯情報が記録された第１選別画像データを選別する選別処理（選別工程）が実行される（ステップS3）。
　続いて、提案処理部２８により、付帯情報に関する第２条件を提案する提案処理（提案工程）が実行される（ステップS4）。また、通知処理部３０により、提案処理部２８によって提案された第２条件に関する情報を通知する通知処理（通知工程）が実行される（ステップS5）。
　その結果、提案処理部２８による第２条件の提案に応じて、ユーザが第２条件を採用しなかった場合（ステップS6においてNo）、第２選別処理部３２による第２選別処理（第２選別工程）は実行されない。すなわち、第２選別画像データは選別されない。
　この場合、作成処理部３４により、第１選別画像データに基づいて教師データを作成する作成処理（作成工程）が実行される（ステップS7）。
　一方、ユーザが第２条件を採用した場合（ステップS6においてYes）、第２選別処理部３２により、非選別画像データの中から、第２条件に適合する付帯情報が記録された第２選別画像データを選別する第２選別処理（第２選別工程）が実行される（ステップS8）。
　この場合、作成処理部３４により、第１選別画像データおよび第２選別画像データに基づいて教師データを作成する作成処理（作成工程）が実行される（ステップS9）。この教師データは、データ作成装置１２から機械学習装置１４に送信される。
　なお、提案処理部２８は、ユーザが第２条件を採用しなかった場合に、ユーザからの指示に応じて、第２条件を提案する提案処理（提案工程）を繰り返し実行してもよい。
　続いて、機械学習装置１４において、データ作成装置１２から送信されてくる教師データを用いて人工知能が機械学習され、機械学習済みの推論モデルが作成される（ステップS10）。
　続いて、ユーザは、ユーザ端末装置１６において、この人工知能を用いて、その用途に対応する推定を行わせるための推定対象の画像データを入力する。この推定対象の画像データを入力する指示は、ユーザ端末装置１６から機械学習装置１４に送信される。
　ユーザから入力された推定対象の画像データの指示に応じて、機械学習装置１４において、ユーザ端末装置１６から送信されてくる推定対象の画像データが人工知能に入力され、人工知能により、学習済みの推定モデルを用いて、推定対象の画像データについて、機械学習の目的及び用途に応じた推定が行われる。人工知能による推定結果は、機械学習装置１４からユーザ端末装置１６に送信される。
　続いて、ユーザ端末装置１６において、機械学習装置１４から送信されてくる人工知能による推定結果を利用して各種の処理が行われる。
　上述した一連のステップについての具体例として、画像内の被写体が「ミカン」なのか否かを推定するという用途の人工知能を作成する場合、言い換えると、人工知能に「ミカン」を機械学習させる場合を例に挙げて説明する。
　前述のように、取得処理部２０により、複数の画像データを取得する取得処理（取得工程）が実行される。一方、ユーザは、ユーザ端末装置１６において、人工知能に「ミカン」を機械学習させるために使用する画像データを選別するための選別条件を入力する。
　この場合、図１３に示すように、ユーザが選別条件を入力するための入力画面が、ユーザ端末装置１６のディスプレイにおいて表示される。図１３に示す例の場合、選別条件の入力画面には、その上部に、「画像データの選別条件を入力して下さい」というメッセージが表示され、このメッセージの下側に、被写体の種類、商用利用の可否、および、使用者の情報等を入力するための入力欄が順次表示されている。
　ユーザは、例えば、選別条件の入力画面において、図１３に示すように、例えば、被写体の種類が「ミカン」であり、かつ、商用利用が可能で、Ｂ社のみが使用可能である画像データを選別するための選別条件を入力する。
　これに応じて、設定処理部２４により、第１条件を設定する設定処理（設定工程）が実行され、選別処理部２６により、複数の画像データの中から、第１条件に適合する付帯情報が記録された第１選別画像データを選別する選別処理（選別工程）が実行される。
　続いて、提案処理部２８により、第２条件を提案する提案処理（提案工程）が実行され、通知処理部３０により、第２条件に関する情報を通知する通知処理（通知工程）が実行される。
　この場合、図１４に示すように、ユーザ端末装置１６のディスプレイにおいて、第１条件とは異なる第２条件を提案する提案画面が表示される。図１４に示す例の場合、第２条件の提案画面には、第２条件として提案する選別条件、第２条件の提案理由、および、第２条件を採用するか否かの入力欄等が順次表示されている。
　図１４に示す例の場合、第２条件として、同じく被写体の種類が「ミカン」であり、かつ、被写体である「ミカン」が画像の中央部にあり、「著作権者なし」である画像データを選別するための選別条件が表示されている。また、第２条件の提案理由として、「機械学習で使用する教師データを増やすことができます」というメッセージが表示されている。さらに、第２条件を採用するか否かの入力欄には、「この選別条件を採用しますか？」というメッセージが表示され、その下側に、「はい」および「いいえ」のボタンが表示されている。
　図１４に示す例とは異なる例を挙げると、提案処理部２８は、第２条件として、例えば、被写体の種類が「柿」であり、かつ、被写体である「柿」が画像の中央部以外にあり、「著作権者なし」である画像データを選別するための選別条件を提案してもよい。この場合、第２条件の提案理由としては、例えば、「類似物を正しく区別できるようになります」というメッセージが表示される。
　ユーザは、第２条件を採用するか否かの入力欄において、この提案を採用する場合には「はい」のボタンを押し、この提案を採用しない場合には「いいえ」のボタンを押す。
　その結果、ユーザが「いいえ」のボタンを押して第２条件を採用しなかった場合、作成処理部３４により、第１選別画像データに基づいて教師データが作成される。
　一方、ユーザが「はい」のボタンを押して第２条件を採用した場合、第２選別処理部３２により、非選別画像データの中から、第２条件に適合する付帯情報が記録された第２選別画像データが選別され、作成処理部３４により、第１選別画像データおよび第２選別画像データに基づいて教師データが作成される。
　この例の場合、付帯情報として、「ミカン」のタグ情報が記録された第１選別画像データおよび第２選別画像データは、人工知能に「ミカン」を機械学習させるための正解データとなる教師データを作成するために使用される。一方、付帯情報として、「柿」のタグ情報が記録された第２選別画像データは、人工知能に「柿」が「ミカン」ではないことを機械学習させるための不正解データとなる教師データを作成するために使用される。
　これ以後の動作は、前述の通りである。
　これにより、データ作成装置１２によれば、機械学習の目的及び用途に応じて、膨大な画像データの中から、ユーザの意図に沿った多種、多様な画像データを選別することができる。そして、膨大な画像データの中から選別された多種、多様な画像データに基づいて、適切な教師データを短時間のうちに自動で作成することができるため、教師データの作成コストを大幅に削減することができ、かつ、人工知能による推定結果の精度を大幅に向上させることができる。
　なお、提案処理部２８は、ユーザが第２条件を採用したか否か、すなわち第２条件の採用結果に基づいて、提案処理を行うための人工知能に機械学習を実行させ、第２条件の採用結果の機械学習に基づいて第２条件を提案してもよい。この場合、推定対象となる第１条件が、人工知能に入力され、この人工知能により、学習済みの推定モデルを用いて第１条件から第２条件が推定される。
　第２条件を提案する際に、ユーザが過去に採用した第２条件は、ユーザが過去に採用しなかった第２条件よりも、ユーザが採用する可能性が高いと考えられる。従って、提案処理部２８は、ユーザが過去に採用しなかった第２条件よりも、ユーザが過去に採用した第２条件を優先して提案する。また、提案処理部２８は、ユーザが過去に採用した回数が少ない第２条件よりも、ユーザが過去に採用した回数が多い第２条件を優先して提案してもよい。さらに言えば、ユーザが過去に採用しなかった第２条件は提案しなくてもよい。
　第２条件の採用結果の機械学習に基づいて、例えば、ユーザが過去に採用した第２条件の回数に基づいて、採用回数が多い第２条件を提案することを繰り返すことにより、ユーザが第２条件を採用する可能性を次第に高めていくことができる。
　なお、この場合のユーザは同じユーザでもよいし、異なるユーザでもよい。また、ユーザは、一人のユーザでもよいし、複数のユーザでもよい。
　提案処理部２８は、例えば、ユーザが第２条件を採用したか否かに関する情報およびユーザが第２条件を採用した回数に関する情報の履歴を、この第２条件に対応する第１条件に関連付けて記憶しておき、第１条件に関連付けて記憶された、ユーザが第２条件を採用したか否かに関する情報およびユーザが第２条件を採用した回数に関する情報の履歴を取得することができる。
　また、提案処理部２８は、人工知能による推定結果の精度に基づいて、提案処理を行うための人工知能に機械学習を実行させ、推定結果の機械学習に基づいて第２条件を提案してもよい。
　人工知能に機械学習をさせる際に、第１ユーザが過去に第２条件を採用した場合の第１人工知能による推定結果の精度が、第２ユーザが過去に同じ第２条件を採用しなかった場合の第２人工知能による推定結果の精度よりも高い場合、この第２条件を採用しない場合よりも、この第２条件を採用した場合の方が、人工知能による推定結果の精度を高めることができると考えられる。
　従って、提案処理部２８は、第１ユーザが第２条件を採用した場合の第１人工知能による推定結果の精度が、第２ユーザがこの第２条件を採用しなかった場合の第２人工知能による推定結果の精度よりも高い場合に、第１ユーザが過去に採用した第１人工知能のための第２条件を提案する。言い換えると、提案処理部２８は、ユーザが過去に採用したことによって人工知能による推定結果の精度が低くなった第２条件よりも、ユーザが過去に採用したことによって人工知能による推定結果の精度が高くなった第２条件を優先して提案する。さらに言えば、ユーザが過去に採用したことによって人工知能による推定結果の精度が低くなった第２条件は提案しなくてもよい。
　人工知能による推定結果の精度の履歴に基づいて、ユーザが過去に採用したことによって人工知能による推定結果の精度が高くなった第２条件を提案することを繰り返すことにより、人工知能による推定結果の精度を次第に高めていくことができる。
　なお、この場合の第１ユーザおよび第２ユーザは、同じユーザでもよいし、異なるユーザでもよい。また、第１ユーザおよび第２ユーザは、一人のユーザでもよいし、複数のユーザでもよい。
　提案処理部２８は、例えば、人工知能による推定結果の精度の履歴を、この人工知能のための第２条件に関連付けて記憶しておき、第２条件に関連付けられた、人工知能による推定結果の精度の履歴を取得してもよい。
　本発明の装置において、取得処理部２０、設定処理部２４、選別処理部２６、提案処理部２８、通知処理部３０、第２選別処理部３２および作成処理部３４等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
　各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。
　例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
　さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
　また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
　１０　データ処理システム
　１２　データ作成装置
　１４　機械学習装置
　１６　ユーザ端末装置
　１８　ネットワーク
　２０　取得処理部
　２２　画像メモリ
　２４　設定処理部
　２６　選別処理部
　２８　提案処理部
　３０　通知処理部
　３２　第２選別処理部
　３４　作成処理部

Claims (15)

  1. 　付帯情報が記録された複数の画像データから、機械学習をさせるための教師データを作成するデータ作成装置であって、
    　プロセッサを備え、
    　前記プロセッサは、
    　前記複数の画像データの中から、前記付帯情報に基づいて第１選別画像データを選別するための第１条件を設定する設定処理と、
    　前記複数の画像データの中から、前記第１条件に適合する付帯情報が記録された前記第１選別画像データを選別する選別処理と、
    　前記複数の画像データのうち、前記第１条件に適合しない非選別画像データの中から、前記付帯情報に基づいて第２選別画像データを選別するための第２条件を提案する提案処理と、
    　ユーザが前記第２条件を採用しなかった場合には、前記第１選別画像データに基づいて前記教師データを作成し、ユーザが前記第２条件を採用した場合には、前記第１選別画像データおよび前記第２選別画像データに基づいて前記教師データを作成する作成処理と、を実行する、データ作成装置。
  2. 　前記プロセッサは、ユーザが前記第２条件を採用した場合に、前記非選別画像データの中から、前記第２条件に適合する付帯情報が記録された前記第２選別画像データを選別する第２選別処理を実行する、請求項１に記載のデータ作成装置。
  3. 　前記プロセッサは、ユーザが前記第２条件を採用したか否かの採用結果に基づいて機械学習を実行させ、
    　前記提案処理は、前記採用結果の前記機械学習に基づいて、前記第２条件を提案する、請求項１または２に記載のデータ作成装置。
  4. 　前記プロセッサは、前記第２条件に関する情報を通知する通知処理を実行する、請求項１または２に記載のデータ作成装置。
  5. 　前記第１条件および前記第２条件は、前記付帯情報に関する項目と、前記項目に関する内容と、を含む、請求項１または２に記載のデータ作成装置。
  6. 　前記第１条件および前記第２条件は、前記項目が同一であり、かつ、前記内容が異なる、請求項５に記載のデータ作成装置。
  7. 　前記項目は、画像データを前記教師データとして使用することに関する可否情報である、請求項６に記載のデータ作成装置。
  8. 　前記可否情報は、画像データの使用に関する使用者情報、画像データの使用目的の制限に関する制限情報、および、画像データの著作権者情報の少なくとも１つを含む、請求項７に記載のデータ作成装置。
  9. 　前記第１条件の内容は、前記可否情報に基づいて画像データを選別する内容であり、
    　前記第２条件の内容は、前記可否情報が未記録の画像データ、または、画像データの使用に制限がない旨の前記可否情報が記録された画像データを選別する内容である、請求項７に記載のデータ作成装置。
  10. 　前記項目は、画像データに基づく画像に写っている被写体の種類に関する項目である、請求項６に記載のデータ作成装置。
  11. 　前記第１条件は、画像データに基づく画像に写っている被写体に関する条件であり、
    　前記提案処理は、前記第１条件の被写体の特徴に基づいて前記第２条件を提案する処理である、請求項１または２に記載のデータ作成装置。
  12. 　前記提案処理は、前記第１条件を抽象化させた上位概念の前記第２条件を提案する処理である、請求項１または２に記載のデータ作成装置。
  13. 　付帯情報が記録された複数の画像データから、機械学習をさせるための教師データを作成するデータ作成方法であって、
    　前記複数の画像データの中から、前記付帯情報に基づいて第１選別画像データを選別するための第１条件を設定する設定工程と、
    　前記複数の画像データの中から、前記第１条件に適合する付帯情報が記録された前記第１選別画像データを選別する選別工程と、
    　前記複数の画像データのうち、前記第１条件に適合しない非選別画像データの中から、前記付帯情報に基づいて第２選別画像データを選別するための第２条件を提案する提案工程と、
    　ユーザが前記第２条件を採用しなかった場合には、前記第１選別画像データに基づいて前記教師データを作成し、ユーザが前記第２条件を採用した場合には、前記第１選別画像データおよび前記第２選別画像データに基づいて前記教師データを作成する作成工程と、を含む、データ作成方法。
  14. 　請求項１または２に記載のデータ作成装置の各々の処理をコンピュータに実行させるためのプログラム。
  15. 　請求項１または２に記載のデータ作成装置の各々の処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
PCT/JP2022/027338 2021-07-30 2022-07-12 データ作成装置、データ作成方法、プログラムおよび記録媒体 WO2023008171A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280050259.XA CN117730315A (zh) 2021-07-30 2022-07-12 数据创建装置、数据创建方法、程序及记录介质
JP2023538410A JPWO2023008171A1 (ja) 2021-07-30 2022-07-12
US18/418,139 US20240161466A1 (en) 2021-07-30 2024-01-19 Data creation apparatus, data creation method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021125832 2021-07-30
JP2021-125832 2021-07-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/418,139 Continuation US20240161466A1 (en) 2021-07-30 2024-01-19 Data creation apparatus, data creation method, program, and recording medium

Publications (1)

Publication Number Publication Date
WO2023008171A1 true WO2023008171A1 (ja) 2023-02-02

Family

ID=85086772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027338 WO2023008171A1 (ja) 2021-07-30 2022-07-12 データ作成装置、データ作成方法、プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US20240161466A1 (ja)
JP (1) JPWO2023008171A1 (ja)
CN (1) CN117730315A (ja)
WO (1) WO2023008171A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け
WO2019065582A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
JP2020071709A (ja) * 2018-10-31 2020-05-07 富士通株式会社 判断条件生成支援プログラム、判断条件生成支援方法および情報処理装置
JP2020160896A (ja) * 2019-03-27 2020-10-01 オリンパス株式会社 画像ファイル生成装置および画像ファイル生成方法
JP2021039641A (ja) * 2019-09-05 2021-03-11 セイコーエプソン株式会社 再学習方法、および、コンピュータープログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け
WO2019065582A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
JP2020071709A (ja) * 2018-10-31 2020-05-07 富士通株式会社 判断条件生成支援プログラム、判断条件生成支援方法および情報処理装置
JP2020160896A (ja) * 2019-03-27 2020-10-01 オリンパス株式会社 画像ファイル生成装置および画像ファイル生成方法
JP2021039641A (ja) * 2019-09-05 2021-03-11 セイコーエプソン株式会社 再学習方法、および、コンピュータープログラム

Also Published As

Publication number Publication date
US20240161466A1 (en) 2024-05-16
JPWO2023008171A1 (ja) 2023-02-02
CN117730315A (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Ma et al. Effects of user-provided photos on hotel review helpfulness: An analytical approach with deep leaning
Thomson et al. Visual mis/disinformation in journalism and public communications: Current verification practices, challenges, and future opportunities
Nightingale et al. Can people identify original and manipulated photos of real-world scenes?
Fan et al. Emotional attention: A study of image sentiment and visual attention
Alla et al. Beginning anomaly detection using python-based deep learning
Segalin et al. Social profiling through image understanding: Personality inference using convolutional neural networks
CN110276366A (zh) 使用弱监督模型来检测对象
JP2012226744A (ja) 画質評価
Bedeli et al. Clothing identification via deep learning: forensic applications
Allen et al. Assessing the potential information content of multicomponent visual signals: a machine learning approach
JP6751816B2 (ja) 新規学習データセット生成方法および新規学習データセット生成装置
Romero et al. Using complexity estimates in aesthetic image classification
US11393144B2 (en) System and method for rendering an image
de la Rosa et al. Visual categorization of social interactions
Balas et al. Intra-and extra-personal variability in person recognition
Venkatesvara Rao et al. Real-time video object detection and classification using hybrid texture feature extraction
Zhang et al. The performance research of the data augmentation method for image Classification
Stoinski et al. THINGSplus: New norms and metadata for the THINGS database of 1854 object concepts and 26,107 natural object images
CN111200607B (zh) 一种基于多层lstm的线上用户行为分析方法
WO2023008171A1 (ja) データ作成装置、データ作成方法、プログラムおよび記録媒体
Samal et al. ASYv3: Attention‐enabled pooling embedded Swin transformer‐based YOLOv3 for obscenity detection
Carah et al. Tuning machines: an approach to exploring how Instagram’s machine vision operates on and through digital media’s participatory visual cultures
Fan et al. Emotional attention: From eye tracking to computational modeling
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
Chen Evaluation technology of classroom students’ learning state based on deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849235

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023538410

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280050259.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE