WO2022113879A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022113879A1
WO2022113879A1 PCT/JP2021/042453 JP2021042453W WO2022113879A1 WO 2022113879 A1 WO2022113879 A1 WO 2022113879A1 JP 2021042453 W JP2021042453 W JP 2021042453W WO 2022113879 A1 WO2022113879 A1 WO 2022113879A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
worker
correct answer
information processing
unit
Prior art date
Application number
PCT/JP2021/042453
Other languages
English (en)
French (fr)
Inventor
哲太 佐藤
和彦 渡部
麻衣子 今西
佑磨 松岡
聡哉 石井田
Original Assignee
ソフトバンク株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトバンク株式会社 filed Critical ソフトバンク株式会社
Priority to US18/021,180 priority Critical patent/US20230316723A1/en
Priority to CN202180050766.9A priority patent/CN115917583A/zh
Publication of WO2022113879A1 publication Critical patent/WO2022113879A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • a technique for ensuring the quality of processing results for a plurality of processing targets manually performed has been known.
  • a technique is known that supports the creation of teacher data for training a machine learning model.
  • a technique for identifying a teacher image as a specific teacher image when the teaching class previously associated with the teacher image differs from the class in which the teacher image is most classified by a trained classifier. ing.
  • the information processing apparatus is a reception unit that receives processing results for a plurality of processing targets including a processing target having a correct answer associated with the processing results of the correct answer each time the worker completes processing for some processing targets.
  • the processing target corresponding to the processing result received by the reception unit is the processing target with a correct answer
  • the processing result received by the reception unit is compared with the processing result of the correct answer. It is provided with a calculation unit for calculating an evaluation value indicating an evaluation for a worker.
  • FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment.
  • FIG. 2 is a diagram showing a configuration example of an information processing system according to an embodiment.
  • FIG. 3 is a diagram showing a configuration example of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram showing an example of a screen of a worker device according to an embodiment.
  • FIG. 5 is a diagram showing an example of a screen of a worker device according to an embodiment.
  • FIG. 6 is a diagram showing an example of a screen of a worker device according to an embodiment.
  • FIG. 7 is a diagram showing an example of a screen of the worker device according to the embodiment.
  • FIG. 8 is a diagram showing an example of annotations according to an embodiment.
  • FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment.
  • FIG. 2 is a diagram showing a configuration example of an information processing system according to an embodiment.
  • FIG. 3 is a diagram showing a configuration
  • FIG. 9 is a diagram showing an example of annotations related to a modified example.
  • FIG. 10 is a diagram showing an example of annotations related to a modified example.
  • FIG. 11 is a diagram showing another example of the annotation according to the modified example.
  • FIG. 12 is a diagram showing an example of a screen of the administrator device according to the embodiment.
  • FIG. 13 is a diagram showing an example of a screen of the administrator device according to the embodiment.
  • FIG. 14 is a diagram showing an example of a screen of the administrator device according to the embodiment.
  • FIG. 15 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing device.
  • the embodiment for implementing the information processing program (hereinafter referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. Note that this embodiment does not limit the information processing apparatus, information processing method, and information processing program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate explanations are omitted.
  • teacher data for supervised learning consists of a set of correct answer data and a label.
  • Supervised learning is performed by training a machine learning model so that an input (correct answer data) and its correct output (label) are given as supervised data, and a correct output can be obtained when a certain input is received.
  • annotation the work of creating this teacher data (correct answer data and label set) is called annotation.
  • data to be annotated such as images, texts, and sounds, depending on the use of the machine learning model. For example, when the use of the machine learning model is image recognition, the data to be annotated is an image.
  • the information processing apparatus 100 evaluates the accuracy of annotations in the middle of creating teacher data by a trader in order to prevent the teacher data having poor annotation accuracy from being delivered as it is. If the accuracy is poor, it is possible for the client to request correction from the contractor. Specifically, the information processing apparatus 100 periodically performs a progress examination during the creation of the teacher data in order to evaluate the accuracy of the annotation. As a result, the information processing apparatus 100 can immediately detect when the quality is deteriorated by periodically evaluating the quality by the progress examination, so that the deterioration of the overall quality can be prevented in advance. can. Therefore, the information processing apparatus 100 can guarantee the quality of the processing result for a plurality of processing targets manually performed such as annotation.
  • FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment.
  • the annotation work according to the embodiment is performed by the worker of the contractor who received the request from the requester, selecting the area where the object is captured from the requested images.
  • the teacher created by the worker by comparing the area of the image annotated by the requester (data in which the annotation is accurate) with the area of the image annotated by the worker.
  • An example of evaluating the accuracy of data will be described.
  • the client manages the work by the worker. Therefore, in the following, the requester may be described as an administrator.
  • the client requests the creation of teacher data for detecting a cat, which is an object included in the image.
  • the client selects 5 images in advance from the 500 images, and associates the correct selection area with each of the selected 5 images.
  • the information processing apparatus 100 uses 500 images including 5 correct answer images (hereinafter, also referred to as images with correct answers) associated with the correct answer selection area selected by the client by the client (administrator). Obtained from the administrator device 20 (step S11).
  • the information processing apparatus 100 determines the order in which the operator processes the 500 images. For example, the information processing apparatus 100 determines the order in which the operator processes 5 correct images out of 500 images (hereinafter, also referred to as processing order). Subsequently, the information processing apparatus 100 determines the order in which the worker processes the five correct image images, and then determines the order in which the worker processes the remaining 495 requested images. For example, the information processing apparatus 100 determines to include the correct answer image in the first, 101st, 201st, 301st, and 401st images out of the 500 images. Subsequently, when the information processing apparatus 100 determines the processing order of the 500 images received from the requester, the information processing apparatus 100 uploads the 500 images associated with the determined processing order to the cloud.
  • processing order for example, the information processing apparatus 100 determines the order in which the operator processes 5 correct images out of 500 images (hereinafter, also referred to as processing order). Subsequently, the information processing apparatus 100 determines the order in which the worker processes the
  • the information processing apparatus 100 displays 500 images on the screen of the operator apparatus 10 in the order of having the operator process them one by one.
  • the worker performs a selection process of selecting a region in which the cat is captured from the images displayed on the screen of the worker device 10 (step S12). For example, the operator manually selects seven rectangles (called a bounding box) surrounding the area in which the seven cats are imaged from the 301st image. ..
  • the information processing device 100 receives the image selection area selected by the worker from the worker device 10 each time the worker completes the area selection process for one image.
  • the information processing device 100 is based on a comparison between the selection area received from the worker device 10 and the selection area of the correct answer.
  • the degree of overlap (degree of agreement) between the selection area received from the worker device 10 and the selection area of the correct answer is calculated (step S13). For example, the information processing device 100 determines that the 301st image corresponding to the selection area received from the worker device 10 is an image with a correct answer. Subsequently, the information processing apparatus 100 has an overlap degree (matching degree) of 70 between the worker's selection area and the correct answer selection area based on the comparison between the selection area received from the worker device 10 and the correct answer selection area. Calculated as%.
  • the information processing device 100 calculates the degree of overlap (matching degree) between the selection area received from the worker device 10 and the correct answer selection area, and notifies the requester of the calculated result (step S14). As described above, the information processing apparatus 100 performs selection processing for the correct answer images included in the first, 101st, 201st, 301st, and 401st images among the selection processing for 500 images by the operator. The degree of overlap (degree of agreement) between the processing result of the above and the processing result of the correct answer is calculated and notified to the requester. The requester who received the notification can see the result of the notification and know how the accuracy of the processing result (hereinafter, also referred to as quality) of the selection process by the worker is changing.
  • quality accuracy of the processing result
  • the information processing apparatus 100 detects the deterioration of the quality and notifies the requester of the deterioration of the quality. .. Thereby, the information processing apparatus 100 enables, for example, the requester to urge the worker to correct the deterioration in quality. Therefore, the information processing apparatus 100 can guarantee the quality of annotations for a plurality of images manually performed.
  • FIG. 2 is a diagram showing a configuration example of an information processing system according to an embodiment.
  • the information processing system 1 may include a worker device 10, an administrator device 20, and an information processing device 100.
  • the worker device 10, the administrator device 20, and the information processing device 100 may be communicably connected to each other via a predetermined network N by wire or wirelessly.
  • the information processing system 1 may include an arbitrary number of worker devices 10, an arbitrary number of administrator devices 20, and an arbitrary number of information processing devices 100.
  • the worker device 10 is an information processing device used by the worker.
  • the worker device 10 is, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), a head mount display, or the like.
  • a notebook PC Personal Computer
  • a desktop PC a mobile phone
  • PDA Personal Digital Assistant
  • a head mount display or the like.
  • an example in which the worker device 10 is a notebook PC or a desktop PC (hereinafter, may be simply referred to as a PC) will be described.
  • the worker device 10 may be described separately as the worker devices 10-1 to 10-N depending on the worker who uses the worker device 10.
  • the worker device 10-1 is a worker device 10 used by the worker U1 identified by the worker ID “U1”.
  • the worker device 10-2 is a worker device 10 used by the worker U2 identified by the worker ID “U2”.
  • the worker devices 10-1 to 10-N will be described without particular distinction, they will be referred to as the worker device 10.
  • the administrator device 20 is an information processing device used by an administrator who manages work by an operator.
  • the administrator device 20 is, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), a head mount display, or the like.
  • a notebook PC Personal Computer
  • a desktop PC a mobile phone
  • PDA Personal Digital Assistant
  • a head mount display or the like.
  • an example in which the administrator device 20 is a notebook PC or a desktop PC (hereinafter, may be simply referred to as a PC) will be described.
  • the information processing device 100 is an information processing device that executes the process described with reference to FIG.
  • the information processing device 100 receives a selection area for a plurality of images including an image with a correct answer associated with a selection area for the correct answer from the worker device 10 every time the worker completes the area selection process for one image. Further, when the image corresponding to the received selection area is an image with a correct answer, the information processing apparatus 100 determines an evaluation value indicating an evaluation for the operator based on the comparison between the received selection area and the selection area of the correct answer. calculate. Further, the information processing apparatus 100 transmits information regarding the calculated evaluation value to the administrator apparatus 20.
  • FIG. 3 is a diagram showing a configuration example of the information processing apparatus 100 according to the embodiment.
  • the information processing device 100 may include a communication unit 110, a storage unit 120, and a control unit 130.
  • the information processing device 100 includes an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may have.
  • an input unit for example, a keyboard, a mouse, etc.
  • a display unit for example, a liquid crystal display, etc.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network by wire or wirelessly, and transmits / receives information to / from, for example, the worker device 10 and the administrator device 20.
  • NIC Network Interface Card
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Specifically, the storage unit 120 stores information that can identify each of the plurality of processing targets in association with each of the plurality of processing targets. For example, as an example of a processing target, the storage unit 120 stores information (for example, an image ID) that can identify each of a plurality of images in association with each of the plurality of images. Further, the storage unit 120 stores the processing target having a correct answer and the processing result of the correct answer in association with each other. For example, the storage unit 120 stores, as an example of the processing target, the selection area of the correct answer selected by the requester of the annotation and the image with the correct answer in association with each other.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • a storage device such as a hard disk or an optical disk.
  • the control unit 130 is a controller, and for example, various programs (information processing programs) stored in a storage device inside the information processing device 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. (Corresponding to one example) is realized by executing the RAM as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 has an acquisition unit 131, a determination unit 132, a provision unit 133, a reception unit 134, a calculation unit 135, a determination unit 136, and a notification unit 137 as functional units, and information described below.
  • the action of the process may be realized or executed.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 2, and may be any other configuration as long as it is configured to perform information processing described later. Further, each functional unit indicates the function of the control unit 130, and does not necessarily have to be physically distinguished.
  • the acquisition unit 131 acquires a plurality of processing targets including a processing target with a correct answer associated with the processing result of the correct answer. Specifically, the acquisition unit 131 acquires an image to be annotated as an example of the processing target. For example, the acquisition unit 131 acquires a plurality of images including an image with a correct answer associated with a selection area of the correct answer selected by the requester of annotation from the administrator device 20 used by the requester (administrator). ..
  • the acquisition unit 131 stores the information that can identify each of the plurality of processing targets and the plurality of processing targets in association with each other in the storage unit 120. For example, when the acquisition unit 131 acquires a plurality of images to be annotated as an example of a processing target, the acquisition unit 131 associates the information (for example, an image ID) that can identify each of the plurality of images with each of the plurality of images. It is stored in the storage unit 120.
  • the information for example, an image ID
  • the acquisition unit 131 when the acquisition unit 131 acquires a processing target with a correct answer, the acquisition unit 131 stores the processing target with a correct answer and the processing result of the correct answer in the storage unit 120 in association with each other. For example, when the acquisition unit 131 acquires an image with a correct answer associated with the selection area of the correct answer selected by the requester of the annotation as an example of the processing target, the image with the correct answer and the selection area of the correct answer are associated with each other. It is stored in the storage unit 120.
  • the determination unit 132 determines the order in which the worker processes the processing target having a correct answer among the plurality of processing targets. Specifically, when a plurality of processing targets are acquired by the acquisition unit 131, the determination unit 132 determines the order in which the worker processes the processing targets having a correct answer among the plurality of processing targets acquired by the acquisition unit 131. do. For example, when a plurality of images are acquired by the acquisition unit 131, the determination unit 132 determines the order in which the operator processes the images with a correct answer among the plurality of images acquired by the acquisition unit 131.
  • the determination unit 132 determines the order so that the operator has the correct answer for a plurality of processing targets at predetermined intervals. For example, the determination unit 132 determines the order so that the operator processes the images having correct answers at predetermined intervals for a plurality of images. In the example shown in FIG. 1, the determination unit 132 determines the order so that the operator processes 5 images with correct answers for every 100 images for 500 images. That is, the determination unit 132 determines the order in which the operator processes the images with correct answers out of the 500 images in the first, 101st, 201st, 301st, and 401st.
  • the determination unit 132 determines the order in which the worker processes the processing target with the correct answer, the processing target other than the processing target with the correct answer among the plurality of processing targets acquired by the acquisition unit 131 (hereinafter, correct answer). None Determines the order in which the worker is to process (also called the processing target). For example, when the determination unit 132 determines the order in which the worker processes the images with the correct answer, the determination unit 132 operates an image other than the image with the correct answer (hereinafter, also referred to as an image without the correct answer) among the plurality of images acquired by the acquisition unit 131. Determine the order in which the person is to process. In the example shown in FIG. 1, when the determination unit 132 determines the order in which the operator processes the five images with correct answers, the determination unit 132 determines the order in which the operator processes the remaining 495 images without correct answers out of the 500 images. decide.
  • the determination unit 132 When the determination unit 132 determines the processing order of the plurality of processing targets, the determination unit 132 uploads the plurality of processing targets associated with the determined processing order to the shared server (for example, a cloud server). For example, when the determination unit 132 determines the processing order of a plurality of images, the determination unit 132 uploads a plurality of images associated with the determined processing order to the shared server. In the example shown in FIG. 1, when the determination unit 132 determines the processing order of the 500 images received from the requester, the determination unit 132 uploads the 500 images associated with the determined processing order to the shared server.
  • the shared server for example, a cloud server.
  • the providing unit 133 provides the worker with a work screen for the worker to perform processing on a plurality of processing targets. Specifically, the providing unit 133 causes the worker device 10 to display a work screen for the worker to perform processing on a plurality of processing targets. More specifically, the providing unit 133 transmits to the worker device 10 content corresponding to a work screen for the worker to perform processing on a plurality of processing targets. For example, the providing unit 133 transmits to the worker device 10 content corresponding to a work screen for the worker to perform a selection process of a selection area for a plurality of images. The worker device 10 displays the work screen by displaying the content received from the information processing device 100 on the screen.
  • the providing unit 133 displays a plurality of images one by one on the screen of the operator device 10 in the processing order determined by the determining unit 132.
  • the providing unit 133 displays the content corresponding to the work screens shown in FIGS. 4 to 7 described later on the screen of the worker device 10.
  • the providing unit 133 causes the worker device 10 to display the work screen for performing the processing for the processing target with the correct answer and the work screen for performing the processing for the processing target without the correct answer in a manner in which it cannot be visually distinguished. For example, in the image displayed on the screen of the worker device 10, the providing unit 133 displays a plurality of images one by one on the screen of the worker device 10 in such a manner that the image with the correct answer and the image without the correct answer cannot be visually distinguished. To display.
  • the provision unit 133 provides the administrator with a management screen for displaying the processing status by the worker.
  • the calculation unit 135 calculates the ratio of the number of processed objects processed by each of the plurality of workers to the number of the plurality of processing objects.
  • the providing unit 133 provides a management screen that displays the ratio of the number of processed objects processed by the worker calculated by the calculation unit 135.
  • the providing unit 133 provides a management screen that displays the ratio of the number of processed processing targets calculated by the calculation unit 135 for each of the plurality of workers.
  • the provision unit 133 provides a management screen for displaying the skill score of the worker. More specifically, the calculation unit 135 calculates a skill score indicating the processing skill of each of the plurality of workers based on the evaluation value. For example, when there are a plurality of workers, the providing unit 133 provides a management screen for displaying the skill scores of each of the plurality of workers. For example, the providing unit 133 transmits the content corresponding to the management screen to the administrator device 20. The administrator device 20 displays the management screen by displaying the content received from the information processing device 100 on the screen.
  • FIGS. 12 to 13 are views showing an example of a screen of the administrator device according to the embodiment.
  • the providing unit 133 displays partial contents C211 to C216 showing the processing status (today's progress) and skill score of each of the plurality of workers in charge of creating teacher data for the XX project.
  • the content C21 including the above is transmitted to the administrator device 20.
  • the providing unit 133 provides the content C21 including the partial content C211 including information for visually notifying the administrator that the quality of the teacher data created by the worker John is high.
  • the provision unit 133 can transition to a screen displaying the detailed processing status of Mr. John when the character of "high quality" displayed on the partial content C211 is selected by the administrator.
  • the content C21 including the above is provided.
  • the providing unit 133 provides a management screen including information for visually notifying the administrator of a worker whose evaluation value is lower than that of other workers among a plurality of workers.
  • the provision unit 133 is created by, for example, Mr. Bob, who is a worker, as an example of a management screen including information for visually notifying the manager of a worker whose evaluation value is lower than that of other workers.
  • content C21 including partial content C214 containing information that visually notifies the administrator that the quality of the teacher data has deteriorated.
  • the provision unit 133 can transition to the screen displaying the detailed processing status of Mr. Bob when the character of "security detection" displayed on the partial content C214 is selected by the administrator.
  • the content C21 including the above is provided.
  • the providing unit 133 provides the content C21 including the partial content C216 including information for visually notifying the administrator that the annotation work by the worker Nigel is stagnant.
  • the provision unit 133 can transition to the screen displaying the detailed processing status of Mr. Nigel when the character of "work stagnation" displayed on the partial content C216 is selected by the administrator.
  • the content C21 including the above is provided.
  • the provision unit 133 provides the content C21 that displays the progress status of the entire XX project.
  • the providing unit 133 provides the content C21 indicating that 386 images out of the 500 images to be processed in the entire XX project have been processed as an example of the progress status of the entire XX project.
  • the providing unit 133 provides the content C21 that displays the remaining working time.
  • the providing unit 133 provides the content C21 indicating that the remaining working time of the XX project is 2 hours.
  • the providing unit 133 transmits the content C22 including the partial content C221 displaying the detailed processing status by the worker Nigel to the administrator device 20.
  • the providing unit 133 displays the content C22 corresponding to the screen for displaying the detailed processing status of Mr. Nigel when the character of "work stagnation" displayed in the partial content C216 shown in FIG. 12 is selected by the administrator. It is transmitted to the administrator device 20.
  • the administrator device 20 receives the content C22, the administrator device 20 displays the received content C22 on the screen.
  • the providing unit 133 provides the content C22 including the moving image C222 in which the processing by the worker Nigel is displayed in real time.
  • the providing unit 133 provides the content C22 including the moving image C222 in which the cursor of the worker Nigel is playing.
  • the providing unit 133 provides the content C22 including the area C223 in which the administrator and the worker Nigel can exchange messages through the screen.
  • the providing unit 133 provides a content C22 including an area F22 in which a message can be input and a message transmission button B22.
  • the provision unit 133 provides the content C22 including the area C223 in which Nigel's reply message "I'm sorry, I'm not going to do it anymore" to the administrator's message "You shouldn't try to print” is displayed.
  • the reception unit 134 receives the processing results for a plurality of processing targets including the processing target with the correct answer associated with the processing results of the correct answer from the worker device 10 every time the worker completes the processing for some of the processing targets.
  • the reception unit 134 is a worker device every time a worker completes a selection process for a plurality of images including an image with a correct answer to which a selection area for the correct answer is associated. Accept from 10. More specifically, the reception unit 134 outputs the processing result of the selection process by the operator every time the operator completes the area selection process for one image through the work screen provided by the provider unit 133. Accept from 10.
  • the reception unit 134 receives the processing results for a plurality of processing targets including the processing targets having correct answers in the order determined by the determination unit 132 from the worker device 10. Specifically, the reception unit 134 receives from the worker device 10 the processing result of the selection process for a plurality of images including the images having correct answers in the order determined by the determination unit 132. More specifically, the providing unit 133 transmits to the worker device 10 a work screen containing one image at a time in the processing order determined by the determination unit 132 in the order determined by the determination unit 132. Then, the reception unit 134 receives the processing result of the selection process by the worker from the worker device 10 every time the worker completes the area selection process for one image through the work screen provided by the provider unit 133. In this way, the reception unit 134 receives the processing results of the selection processing for the images from the worker device 10 in the order determined by the determination unit 132.
  • FIGS. 4 to 7 are views showing an example of a screen of the worker device 10 according to the embodiment.
  • the providing unit 133 transmits the content C11 corresponding to the work screen including the image G11 whose processing order is the 15th determined by the determining unit 132 to the worker device 10.
  • the worker device 10 Upon receiving the content C11, the worker device 10 displays the received content C11 on the screen.
  • the worker device 10 accepts a selection process in which the worker selects the region O1 in which the automobile is imaged from the image G11 according to the operation of the worker. Subsequently, the worker device 10 accepts the selection operation of the transmission button B11 included in the content C11 according to the operation of the worker.
  • the worker device 10 transmits information about the selection area O1 selected by the worker to the information processing device 100.
  • the reception unit 134 receives the selection area O1 which is the processing result of the selection process for the image G11 by the worker from the worker device 10.
  • the worker device 10 selects a region O2 in which a vehicle different from the vehicle included in the selection region O1 is imaged from the image G12 according to the operation of the worker. Accept processing. Subsequently, the worker device 10 accepts the selection operation of the skip button B12 included in the content C12 including the image G12 according to the operation of the worker.
  • the skip button B12 is a button for the operator to skip the selection process of the selection area for some reason.
  • the worker device 10 receives the selection operation of the skip button B12, the worker transmits information regarding skipping the selection process of the selection area O2 to the information processing device 100.
  • the reception unit 134 receives information from the worker device 10 regarding skipping the selection process of the selection area O2 by the worker.
  • the receiving unit 134 when the reception unit 134 receives the information regarding the skipping of the selection process of the selection area O2, the providing unit 133 can input the reason why the worker skips the selection process of the selection area O2 by text.
  • the content C13 corresponding to the work screen on which the partial content G131 including the field F13 is displayed is transmitted to the worker device 10.
  • the partial content G131 has a skip button B13 for transmitting the text input in the field F13 to the information processing apparatus 100 and a cancel button B14 for not transmitting the text input in the field F13 to the information processing apparatus 100. Is included.
  • the worker device 10 accepts an operation of inputting a text indicating the reason why the worker skips the selection process of the selection area O2 into the field F13'according to the operation of the worker.
  • the worker device 10 accepts an input operation of the text "I want to confirm how far the car in the back is processed.”
  • the worker device 10 accepts the selection operation of the skip button B13 included in the partial content G131 according to the operation of the worker.
  • the worker device 10 transmits the text input by the worker to the information processing device 100.
  • the reception unit 134 receives the text input by the worker from the worker device 10.
  • the notification unit 137 transmits the information regarding the text received by the reception unit 134 to the administrator device 20 in association with the worker ID.
  • FIG. 8 is a diagram showing an example of annotations according to an embodiment.
  • a plurality of objects such as a "bottle”, a "cup”, and three “cubes” are included in the image.
  • the work of annotation by the operator is performed by manually selecting five bounding boxes each surrounding the area in which the "bottle", "cup”, and three "cubes” included in the image are captured. Will be done.
  • the reception unit 134 receives five bounding boxes corresponding to the "bottle", "cup”, and three "cubes” selected by the worker from the worker device 10.
  • the teacher data generated by the annotation by selecting the bounding box as shown in FIG. 8 is used, for example, for learning a machine learning model that performs object detection of a plurality of types included in an image.
  • reception unit 134 accepts processing results for a plurality of processing targets including a processing target having a correct answer
  • the present invention is not limited to this.
  • the reception unit 134 may further accept the processing results for a plurality of processing targets having a correct answer and not including the processing target each time the worker completes the processing for some of the processing targets.
  • the calculation unit 135 is based on a comparison between the processing result received by the reception unit 134 and the processing result of the correct answer when the processing target corresponding to the processing result received by the reception unit 134 has a correct answer and is a processing target. Calculate an evaluation value that indicates the evaluation for the worker. Specifically, when the processing result is received by the receiving unit 134, the calculation unit 135 refers to the storage unit 120 and specifies the processing target corresponding to the processing result. Subsequently, when the processing target corresponding to the processing result is specified, the calculation unit 135 determines whether or not the specified processing target has a correct answer and is a processing target.
  • the calculation unit 135 refers to the storage unit 120 and determines whether or not there is a correct processing result associated with the specified processing target. When it is determined that the processing result of the correct answer associated with the specified processing target exists, the calculation unit 135 determines that the specified processing target is a processing target with a correct answer. Subsequently, when the calculation unit 135 determines that the processing target corresponding to the processing result received by the reception unit 134 is the processing target with the correct answer, the calculation unit 135 refers to the storage unit 120 and associates it with the processing target with the correct answer. Acquires information about the processing result of the correct answer.
  • the calculation unit 135 determines an evaluation value indicating the evaluation for the worker based on the comparison between the processing result of the acquired correct answer and the processing result received by the reception unit 134. calculate.
  • the calculation unit 135 determines the processing result and the correct answer received by the reception unit 134 as an example of the evaluation value based on the comparison between the processing result received by the reception unit 134 and the processing result of the correct answer. Calculate the degree of overlap (matching degree) with the processing result. For example, the calculation unit 135 is based on a comparison between the selection area accepted by the reception unit 134 and the selection area of the correct answer when the image corresponding to the selection area received by the reception unit 134 is an image with a correct answer. Calculate an evaluation value that indicates the evaluation for the worker.
  • the calculation unit 135 sets the selection area received by the reception unit 134 and the selection area of the correct answer as an example of the evaluation value based on the comparison between the selection area received by the reception unit 134 and the selection area of the correct answer. Calculate the degree of overlap (matching degree).
  • the calculation unit 135 sets the area of the intersection between the selection area received by the reception unit 134 and the selection area of the correct answer as the union of the selection area received by the reception unit 134 and the selection area of the correct answer.
  • IoU Intersection over Union
  • IoU is used as an evaluation index in object detection.
  • the value of IoU is 1.
  • the value of IoU becomes 0. That is, it can be said that the larger the value of IoU, the better the object detection. That is, it can be said that the larger the value of IoU calculated by the calculation unit 135, the higher the quality of object detection by the operator. Therefore, the larger the value of IoU calculated by the calculation unit 135, the higher the evaluation for the worker.
  • the calculation unit 135 calculates the evaluation value indicating the evaluation for the worker based on the comparison between the processing result received by the reception unit 134 and the processing result of the correct answer.
  • the calculation unit 135 may calculate an evaluation value indicating an evaluation for the worker based on the processing results for a plurality of processing targets that do not include the processing target with the correct answer received by the reception unit 134.
  • the calculation unit 135 is an evaluation other than the evaluation based on the comparison with the correct answer processing result based on the processing results for a plurality of processing targets having the correct answer and not including the processing target received by the receiving unit 134. Calculate the value.
  • the calculation unit 135 may calculate the processing speed at which the worker processes a plurality of processing targets as an example of other evaluation values. For example, the calculation unit 135 calculates the processing speed as a value obtained by dividing the number of a plurality of processing targets processed by the worker by the time required for the worker to process.
  • the determination unit 136 determines whether or not the quality of the processing result has deteriorated based on the evaluation value calculated by the calculation unit 135. Specifically, the determination unit 136 determines that the quality of the processing result has deteriorated when the evaluation value calculated by the calculation unit 135 is below the evaluation threshold value. For example, the determination unit 136 determines that the quality of the processing result has deteriorated when the value of IoU calculated by the calculation unit 135 is below the evaluation threshold value.
  • the notification unit 137 notifies the administrator who manages the work by the worker of the alert. Specifically, the notification unit 137 notifies the administrator of an alert when the determination unit 136 determines that the quality has deteriorated.
  • the alert notification process by the notification unit 137 will be described in detail with reference to FIG.
  • FIG. 14 is a diagram showing an example of a screen of the administrator device according to the embodiment.
  • the determination unit 136 determines that the quality of the processing result has deteriorated when the value of IoU calculated by the calculation unit 135 is below the evaluation threshold value of 50 points. For example, the calculation unit 135 calculates the value of IoU for the 101st image as 45 points. The determination unit 136 determines that the quality of the annotation by the operator has deteriorated because the value of IoU calculated by the calculation unit 135 is below the evaluation threshold value of 50 points. Since the determination unit 136 determines that the quality has deteriorated, the notification unit 137 notifies the administrator of an alert. In the example shown in FIG.
  • the notification unit 137 manages the content C23 including the partial content C231 including the image G231 on which the exclamation mark notifying the deterioration of the quality is displayed at the lower right of the thumbnail of the 101st image.
  • the notification unit 137 has an evaluation value S232 for the 101st image, an image G232 in which a surprise mark for notifying the deterioration of quality is displayed at the lower right of the thumbnail of the 101st image, and a message M23 regarding quality deterioration detection.
  • the content C23 including the partial content C232 including the above is transmitted to the administrator device 20.
  • the administrator device 20 displays the received content C23 on the screen.
  • the information processing system 1 according to the above-described embodiment may be implemented in various different forms other than the above-described embodiment. Therefore, another embodiment of the information processing system 1 will be described below. The same parts as those in the embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the determination unit 132 determines that the smaller the order in which the worker is to be processed, the more correct answers are available and the number of processing targets is increased. More specifically, the determination unit 132 increases the number of processing targets with correct answers when the order of processing by the operator is equal to or less than the first threshold value, rather than when the order of processing by the operator exceeds the first threshold value. Decide that. Thereby, the information processing apparatus 100 can confirm whether or not there is a discrepancy between the processing result by the worker and the processing result of the correct answer by the requester at an early stage of the processing for the plurality of processing targets.
  • the determination unit 132 determines that the larger the order in which the worker is to be processed, the more the processing targets with correct answers are. More specifically, the determination unit 132 increases the number of processing targets with correct answers when the order of processing by the worker is equal to or higher than the second threshold value, rather than when the order of processing by the worker is below the two threshold values. To determine.
  • the information processing apparatus 100 includes, for example, a processing target having more correct answers in the latter half when the worker gets tired than in the first half of the plurality of processing targets, thereby reducing the quality due to the fatigue of the worker. It can be detected properly.
  • the determination unit 132 dynamically determines the order in which the worker processes the processing target with the correct answer based on the statistical information of the evaluation value calculated by the calculation unit 135. More specifically, as statistical information, the determination unit 132 has a correct answer when the evaluation value falls below the third threshold value based on the transition of the evaluation value, and has a correct answer than before the evaluation value falls below the third threshold value. Decide to increase. For example, the determination unit 132 determines a different third threshold value for each worker based on the transition of the evaluation value different for each worker. Subsequently, the determination unit 132 increases the number of processing targets having a correct answer when the evaluation value falls below the third threshold value according to the third threshold value that differs for each worker than before the evaluation value falls below the third threshold value.
  • the information processing apparatus 100 analyzes, for example, the tendency of the quality to deteriorate for each worker based on the transition of the evaluation value, and determines the third threshold value, thereby appropriately reducing the quality according to the worker. Can be detected.
  • the determination unit 132 determines that when the evaluation value shows a downward trend, the number of processing targets having a correct answer is larger than before the evaluation value shows a downward tendency, based on the transition of the evaluation value. do.
  • the information processing apparatus 100 can stop the deterioration of quality by including, for example, a processing target having more correct answers after the evaluation value shows a decreasing tendency than before the evaluation value shows a decreasing tendency. can.
  • the determination unit 132 determines the number including the processing target having a correct answer for the number of the plurality of processing targets based on the evaluation value calculated by the calculation unit 135. For example, based on the evaluation values of a plurality of workers, the determination unit 132 has a correct answer for the number of a plurality of processing targets, and the number of the processing targets included is larger as the evaluation value is lower than that of other workers. Decide to do. As a result, the information processing apparatus 100 can save the trouble of preparing a large number of processing targets with correct answers, which are troublesome to create, and can efficiently distribute the processing targets with correct answers, which are limited in number.
  • the reception unit 134 receives the processing results for the same processing target from each of a plurality of workers.
  • the calculation unit 135 calculates the evaluation value for the worker who processed the processing result showing a tendency different from the processing result received from the other workers among the plurality of workers, lower than the evaluation value for the other workers. ..
  • the information processing apparatus 100 can evaluate the work contents of the worker even for the processing target without a correct answer. Further, the information processing apparatus 100 can save the trouble of preparing a lot of processing targets with correct answers, which are troublesome to create, and can efficiently distribute the processing targets with correct answers, which are limited in number.
  • the processing target described above may be text or voice in addition to the image, depending on the use of the machine learning model.
  • a plurality of objects such as “bottle”, “cup”, and three “cubes” are included in the image.
  • the work of annotation by the worker is performed by manually adding labels indicating the types of objects such as “bottle”, “cup”, and “cube” included in the image to the image.
  • the reception unit 134 receives the three labels corresponding to the "bottle", "cup”, and "cube” given by the worker from the worker device 10.
  • the teacher data generated by annotation by adding labels as shown in FIG. 9 is used, for example, for learning a machine learning model that performs image classification that classifies images into classes corresponding to labels. ..
  • a plurality of objects such as “bottle”, “cup”, and three “cubes” are included in the image.
  • the work of annotation by the operator is performed on the area in which the "bottle”, “cup”, and the three “cubes” included in the image are captured, for each type of object, “bottle", “cup”, and “. It is done by color-coding and filling in three types of "cube”.
  • the reception unit 134 receives from the worker device 10 the areas that are color-coded and filled by the worker into three types.
  • the teacher data generated by the annotation that color-codes the area for each type of object as shown in FIG. 10 is, for example, machine learning that performs semantic segmentation that classifies all pixels in the image into classes. Used for model training.
  • a plurality of objects such as "bottle”, "cup”, and three “cubes” are included in the image.
  • the work of annotation by the operator is performed by painting the area in which the "bottle”, “cup”, and three “cubes” included in the image are imaged in five types for each object. ..
  • the reception unit 134 receives from the worker device 10 the areas that are color-coded into five types by the worker and filled.
  • the teacher data generated by the annotation that color-codes the area for each object as shown in FIG. 11 is, for example, a machine learning model that performs instant segmentation that classifies each pixel in the image for each object. Used for learning.
  • the information processing apparatus 100 includes a reception unit 134 and a calculation unit 135.
  • the reception unit 134 receives the processing results for a plurality of processing targets including the processing target with the correct answer associated with the processing results of the correct answer each time the worker completes the processing for some of the processing targets.
  • the calculation unit 135 is based on a comparison between the processing result received by the reception unit 134 and the processing result of the correct answer when the processing target corresponding to the processing result received by the reception unit 134 has a correct answer and is a processing target. Calculate an evaluation value that indicates the evaluation for the worker.
  • the information processing apparatus 100 performs a progress examination based on a comparison between the processing result by the worker and the processing target having a correct answer in the middle of the processing for a plurality of processing targets manually performed.
  • the information processing apparatus 100 can immediately detect when the quality is deteriorated by periodically evaluating the quality by the progress examination, so that the deterioration of the overall quality can be prevented in advance. can. Therefore, the information processing apparatus 100 can guarantee the quality of the processing result for a plurality of processing targets manually performed such as annotation.
  • the information processing apparatus 100 further includes a determination unit 132.
  • the determination unit 132 determines the order in which the worker processes the processing target having a correct answer among the plurality of processing targets.
  • the reception unit 134 receives the processing results for a plurality of processing targets including the processing target having a correct answer in the order determined by the determination unit 132.
  • the calculation unit 135 calculates an evaluation value indicating an evaluation for the worker when the processing target corresponding to the processing result received by the reception unit 134 has a correct answer and is a processing target.
  • the information processing apparatus 100 can flexibly determine the order in which the processing target has a correct answer according to the type of the worker and the processing target, and thus the quality is deteriorated according to the type of the worker and the processing target. Can be detected more appropriately.
  • the determination unit 132 determines that the smaller the order in which the worker is to be processed, the more the processing targets with correct answers are. Specifically, the determination unit 132 increases the number of processing targets having a correct answer when the order of processing by the worker is equal to or less than the first threshold value than when the order of processing by the worker exceeds the first threshold value. To determine.
  • the information processing apparatus 100 can confirm whether or not there is a discrepancy between the processing result by the worker and the processing result of the correct answer by the requester at an early stage of processing for a plurality of processing targets.
  • the determination unit 132 determines that the larger the order in which the worker is to be processed, the more the processing targets with correct answers are. Specifically, the determination unit 132 increases the number of processing targets with correct answers when the order of processing by the worker is equal to or higher than the second threshold value, rather than when the order of processing by the worker is below the two threshold values. decide.
  • the information processing apparatus 100 includes, for example, a processing target having more correct answers in the latter half when the worker gets tired than in the first half of the plurality of processing targets, thereby reducing the quality due to the fatigue of the worker. It can be detected properly.
  • the determination unit 132 dynamically determines the order in which the worker processes the processing target with the correct answer based on the statistical information of the evaluation value calculated by the calculation unit 135. Specifically, as statistical information, when the evaluation value falls below the third threshold value, the determination unit 132 has a correct answer than before the evaluation value falls below the third threshold value, and processes the processing target. Decide to do more.
  • the information processing apparatus 100 analyzes, for example, the tendency of the quality to deteriorate for each worker based on the transition of the evaluation value, and determines the third threshold value, thereby appropriately reducing the quality according to the worker. Can be detected.
  • the determination unit 132 determines that when the evaluation value shows a downward trend, the number of processing targets having a correct answer is larger than before the evaluation value shows a downward tendency, based on the transition of the evaluation value. do.
  • the information processing apparatus 100 can stop the deterioration of quality by including, for example, a processing target having more correct answers after the evaluation value shows a decreasing tendency than before the evaluation value shows a decreasing tendency. can.
  • the determination unit 132 determines the number including the processing target having a correct answer for the number of the plurality of processing targets based on the evaluation value calculated by the calculation unit 135. For example, based on the evaluation values of a plurality of workers, the determination unit 132 has a correct answer for the number of a plurality of processing targets, and the number of the processing targets included is larger as the evaluation value is lower than that of other workers. Decide to do.
  • the information processing apparatus 100 can save the trouble of preparing a lot of processing targets with correct answers, which are troublesome to create, and can efficiently distribute the processing targets with correct answers, which are limited in number.
  • the reception unit 134 receives the processing results for the same processing target from each of a plurality of workers.
  • the calculation unit 135 calculates the evaluation value for the worker who processed the processing result showing a tendency different from the processing result received from the other workers among the plurality of workers, lower than the evaluation value for the other workers. ..
  • the information processing apparatus 100 can evaluate the work contents of the worker even for the processing target without a correct answer. Further, the information processing apparatus 100 can save the trouble of preparing a lot of processing targets with correct answers, which are troublesome to create, and can efficiently distribute the processing targets with correct answers, which are limited in number.
  • reception unit 134 further receives the processing results for a plurality of processing targets having a correct answer and not including the processing target each time the worker completes the processing for some of the processing targets.
  • the calculation unit 135 calculates an evaluation value indicating an evaluation for the worker based on the processing result received by the reception unit 134.
  • the information processing apparatus 100 can calculate other evaluation values (for example, the processing speed of the worker) indicating the evaluation other than the evaluation based on the comparison with the processing target having the correct answer.
  • other evaluation values for example, the processing speed of the worker
  • the information processing apparatus 100 further includes a determination unit 136 and a notification unit 137.
  • the determination unit 136 determines whether or not the quality of the processing result has deteriorated based on the evaluation value calculated by the calculation unit 135.
  • the notification unit 137 notifies the administrator who manages the work by the worker of the alert.
  • the determination unit 136 determines that the quality of the processing result has deteriorated.
  • the notification unit 137 notifies the administrator of an alert when the determination unit 136 determines that the quality has deteriorated.
  • the manager can urge the worker to correct the deterioration of the quality.
  • the information processing apparatus 100 further includes a providing unit 133.
  • the providing unit 133 provides a management screen for displaying the processing status by each of the plurality of workers for the manager device 20 used by the manager who manages the work by the workers.
  • the calculation unit 135 calculates the ratio of the number of processed objects processed by each of the plurality of workers to the number of the plurality of processing objects.
  • the provision unit 133 provides a management screen that displays the ratio calculated by the calculation unit 135 for each of the plurality of workers as the processing status.
  • calculation unit 135 calculates a skill score indicating the processing skill of each of the plurality of workers based on the evaluation value.
  • the providing unit 133 provides a management screen for displaying the skill scores of each of the plurality of workers.
  • the providing unit 133 provides a management screen including information for visually notifying the administrator of a worker whose evaluation value is lower than that of other workers among a plurality of workers.
  • the information processing device 100 further includes a providing unit 133 for displaying a work screen for the worker to perform processing on a plurality of processing targets on the worker device used by the worker.
  • the providing unit 133 tells the worker device 10 that the work screen for performing processing on the processing target with correct answer and the work screen for performing processing on other processing targets other than the processing target with correct answer cannot be visually distinguished. Display it.
  • the information processing apparatus 100 cannot distinguish between the processing target with the correct answer and the processing target other than the processing target with the correct answer from the worker, so be careful only when the worker performs the processing for the processing target with the correct answer. It is possible to prevent such processing as being performed.
  • the processing target is an image for a teacher to be used for learning a machine learning model that recognizes an object included in the image.
  • the process is a selection process in which the operator selects an area in which the object is captured from the image.
  • the reception unit 134 accepts a selection area for a plurality of images including an image with a correct answer associated with a selection area for the correct answer each time the worker completes the area selection process for some images.
  • the calculation unit 135 is based on a comparison between the selection area received by the reception unit 134 and the selection area of the correct answer when the image corresponding to the selection area received by the reception unit 134 is an image with a correct answer.
  • the evaluation value indicating the evaluation for is calculated.
  • the information processing apparatus 100 performs a progress examination based on a comparison between the selection area selected by the operator and the selection area of the correct answer in the middle of the annotation for a plurality of images manually performed. As a result, the information processing apparatus 100 periodically evaluates the quality of the annotation by the progress examination, and if the quality of the annotation deteriorates, it can be immediately detected, so that the quality of the annotation as a whole deteriorates. Can be prevented. Therefore, the information processing apparatus 100 can guarantee the quality of annotations and the like.
  • FIG. 14 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing apparatus 100.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part.
  • the ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • the HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like.
  • the communication interface 1500 receives data from another device via a predetermined communication network and sends the data to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the predetermined communication network.
  • the CPU 1100 controls an output device such as a display or a printer, and an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.
  • the media interface 1700 reads a program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200.
  • the CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program.
  • the recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.
  • the CPU 1100 of the computer 1000 realizes the function of the control unit 130 by executing the program loaded on the RAM 1200.
  • the CPU 1100 of the computer 1000 reads and executes these programs from the recording medium 1800, but as another example, these programs may be acquired from another device via a predetermined communication network.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
  • section, module, unit can be read as “means” or “circuit”.
  • the calculation unit can be read as a calculation means or a calculation circuit.
  • Information processing system 10 Worker equipment 20 Administrator equipment 100 Information processing equipment 110 Communication unit 120 Storage unit 130 Control unit 131 Acquisition unit 132 Decision unit 133 Providing unit 134 Reception unit 135 Calculation unit 136 Judgment unit 137 Notification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理装置（１００）は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける受付部（１３４）と、受付部（１３４）によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、受付部（１３４）によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する算出部（１３５）と、を備える。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　従来、人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とするための技術が知られている。例えば、機械学習モデルに学習させるための教師データの作成を支援する技術が知られている。例えば、教師画像にあらかじめ対応付けられた教示クラスと、学習済みの分類器によって教師画像が最も多く分類されるクラスとが相違する場合に、その教師画像を特定教師画像として特定する技術が知られている。
特開２０１７－１６２２３２号公報
　人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とする技術が望まれている。
　実施形態に係る情報処理装置は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける受付部と、前記受付部によって受け付けられた処理結果に対応する処理対象が前記正解あり処理対象である場合に、前記受付部によって受け付けられた処理結果と前記正解の処理結果との比較に基づいて、前記作業者に対する評価を示す評価値を算出する算出部と、を備える。
図１は、実施形態に係る情報処理方法の概要を示す説明図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る作業者装置の画面の一例を示す図である。 図５は、実施形態に係る作業者装置の画面の一例を示す図である。 図６は、実施形態に係る作業者装置の画面の一例を示す図である。 図７は、実施形態に係る作業者装置の画面の一例を示す図である。 図８は、実施形態に係るアノテーションの一例を示す図である。 図９は、変形例に係るアノテーションの一例を示す図である。 図１０は、変形例に係るアノテーションの一例を示す図である。 図１１は、変形例に係るアノテーションの他の例を示す図である。 図１２は、実施形態に係る管理者装置の画面の一例を示す図である。 図１３は、実施形態に係る管理者装置の画面の一例を示す図である。 図１４は、実施形態に係る管理者装置の画面の一例を示す図である。 図１５は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
（実施形態）
〔１．はじめに〕
　従来、機械学習モデルに教師あり学習をさせるための教師データの作成を支援する技術が知られている。一般的に、教師あり学習をさせるための教師データは、正解データとラベルの組からなる。教師あり学習は、教師データとして入力（正解データ）とその正しい出力（ラベル）が与えられ、ある入力を受けると正しい出力ができるよう機械学習モデルを学習させることにより行われる。ＡＩ業界では、この教師データ（正解データとラベルの組）を作成する作業をアノテーションと呼ぶ。アノテーションの対象となるデータには、機械学習モデルの用途に応じて、画像、テキスト、音声などの種類が存在する。例えば、機械学習モデルの用途が画像認識である場合には、アノテーションの対象となるデータは画像である。
　このようなアノテーションの作業は、人手によって行われるが、高精度の機械学習モデルを作成するには、約１０～１００万件といった膨大な教師データが必要となる。そこで、教師データの作成を行う業者が存在する。しかしながら、機械学習モデルを作成する依頼者が、教師データの作成を行う業者に対して、５００組の教師データの作成を依頼したとしても、納品された教師データのうち学習に使えるレベルの教師データが５０組しかない等、作成された教師データの品質（アノテーションの精度が悪い）が担保されないという問題があった。
　そこで、本願発明に係る情報処理装置１００は、アノテーションの精度が悪い教師データがそのまま納品されてしまうことを防ぐべく、業者が教師データを作成している途中段階で、アノテーションの精度を評価し、精度が悪い場合には依頼者から業者に是正を求めることを可能にする。具体的には、情報処理装置１００は、アノテーションの精度を評価するために、教師データの作成途中で定期的に経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的に品質を評価することで、品質が低下した場合にはすぐに検知することができるので、全体的な品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とすることができる。
〔２．情報処理の概要〕
　ここから、図１を用いて、実施形態に係る情報処理方法の概要について説明する。図１は、実施形態に係る情報処理方法の概要を示す説明図である。実施形態に係るアノテーションの作業は、依頼者から依頼を受けた業者の作業者が、依頼を受けた画像の中から物体が撮像された領域を選択することにより行われる。図１では、依頼者がアノテーションを行った画像の領域（アノテーションが正確にされているデータ）と、作業者がアノテーションを行った画像の領域とを比較することにより、作業者によって作成された教師データの精度を評価する例について説明する。また、依頼者は、作業者による作業を管理する。そのため、以下では、依頼者のことを管理者と記載する場合がある。
　図１では、依頼者は、画像に含まれる物体である猫を検出するための教師データの作成を依頼する。依頼者は、５００枚の画像の中からあらかじめ５枚の画像を選択して、選択した５枚の画像それぞれについて正解の選択領域を紐づけておく。情報処理装置１００は、依頼者によって選択された正解の選択領域が紐づけられた５枚の正解画像（以下、正解あり画像ともいう）を含む５００枚の画像を依頼者（管理者）によって利用される管理者装置２０から取得する（ステップＳ１１）。
　続いて、情報処理装置１００は、５００枚の画像を受け付けると、５００枚の画像を作業者に処理させる順番を決定する。例えば、情報処理装置１００は、５００枚の画像のうち５枚の正解画像を作業者に処理させる順番（以下、処理順ともいう）を決定する。続いて、情報処理装置１００は、５枚の正解画像を作業者に処理させる順番を決定すると、残りの４９５枚の依頼画像を作業者に処理させる順番を決定する。例えば、情報処理装置１００は、５００枚の画像のうち、１枚目と１０１枚目と２０１枚目と３０１枚目と４０１枚目に正解画像を含めることを決定する。続いて、情報処理装置１００は、依頼者から受け付けた５００枚の画像の処理順を決定すると、決定した処理順が紐づけられた５００枚の画像をクラウドにアップロードする。
　また、依頼者からアノテーションの依頼を受けた業者の作業者は、作業者によって利用される作業者装置１０を介して作業対象となる画像がアップロードされたクラウドにアクセスする。情報処理装置１００は、５００枚の画像を１枚ずつ作業者に処理させる順番に作業者装置１０の画面に表示する。作業者は、作業者装置１０の画面に表示された画像の中から猫が撮像された領域を選択する選択処理を行う（ステップＳ１２）。例えば、作業者は、３０１枚目の画像に対して、画像の中から７匹の猫が撮像された領域をそれぞれ囲む７つの矩形（バウンディングボックスという）を手作業によってそれぞれ選択する選択処理を行う。情報処理装置１００は、作業者が１枚の画像に対する領域の選択処理を完了するごとに、作業者によって選択された画像の選択領域を作業者装置１０から受け付ける。
　また、情報処理装置１００は、作業者装置１０から受け付けた選択領域に対応する画像が正解あり画像である場合に、作業者装置１０から受け付けた選択領域と正解の選択領域との比較に基づいて、作業者装置１０から受け付けた選択領域と正解の選択領域との重なり具合（一致度）を算出する（ステップＳ１３）。例えば、情報処理装置１００は、作業者装置１０から受け付けた選択領域に対応する３０１枚目の画像が正解あり画像であると判定する。続いて、情報処理装置１００は、作業者装置１０から受け付けた選択領域と正解の選択領域との比較に基づいて、作業者の選択領域と正解の選択領域との重なり具合（一致度）が７０％であると算出する。
　情報処理装置１００は、作業者装置１０から受け付けた選択領域と正解の選択領域との重なり具合（一致度）を算出すると、算出した結果を依頼者に対して通知する（ステップＳ１４）。このように、情報処理装置１００は、作業者による５００枚の画像に対する選択処理のうち、１枚目と１０１枚目と２０１枚目と３０１枚目と４０１枚目に含まれる正解画像に対する選択処理の処理結果と正解の処理結果との重なり具合（一致度）を算出して依頼者に対して通知する。通知を受けた依頼者は、通知の結果を見て、作業者による選択処理の処理結果（以下、品質ともいう）の精度がどのように推移しているかを知ることができる。
　例えば、情報処理装置１００は、複数の画像に対する作業の途中で作業者による処理結果の品質が低下し始めた場合に、品質の低下を検知して、依頼者に対して品質の低下を通知する。これにより、情報処理装置１００は、例えば、依頼者から作業者に対して品質の低下に対する是正を促すことを可能にする。したがって、情報処理装置１００は、人手によって行われる複数の画像に対するアノテーションの品質を担保可能とすることができる。
〔３．情報処理システムの構成〕
　まず、図２を用いて、実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１には、作業者装置１０と、管理者装置２０と、情報処理装置１００とが含まれてよい。作業者装置１０と、管理者装置２０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の作業者装置１０と任意の数の管理者装置２０と任意の数の情報処理装置１００とが含まれてもよい。
　作業者装置１０は、作業者によって利用される情報処理装置である。作業者装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal　Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）や、ヘッドマウントディスプレイ等である。実施形態では、作業者装置１０がノート型ＰＣまたはデスクトップＰＣ（以下、単にＰＣと記載する場合がある）である例について説明する。
　なお、図２に示すように、作業者装置１０を利用する作業者に応じて、作業者装置１０を作業者装置１０－１～１０－Ｎのように区別して説明する場合がある。例えば、作業者装置１０－１は、作業者ＩＤ「Ｕ１」で識別される作業者Ｕ１によって利用される作業者装置１０である。また、例えば、作業者装置１０－２は、作業者ＩＤ「Ｕ２」で識別される作業者Ｕ２によって利用される作業者装置１０である。また、以下では、作業者装置１０－１～１０－Ｎについて、特に区別なく説明する場合には、作業者装置１０と記載する。
　管理者装置２０は、作業者による作業を管理する管理者によって利用される情報処理装置である。管理者装置２０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal　Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）や、ヘッドマウントディスプレイ等である。実施形態では、管理者装置２０がノート型ＰＣまたはデスクトップＰＣ（以下、単にＰＣと記載する場合がある）である例について説明する。
　情報処理装置１００は、図１で説明した処理を実行する情報処理装置である。情報処理装置１００は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一つの画像に対する領域の選択処理を完了するごとに作業者装置１０から受け付ける。また、情報処理装置１００は、受け付けた選択領域に対応する画像が正解あり画像である場合に、受け付けた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。また、情報処理装置１００は、算出した評価値に関する情報を管理者装置２０に送信する。
〔４．情報処理装置の構成〕
　次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（通信部１１０）
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、作業者装置１０や管理者装置２０との間で情報の送受信を行う。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、複数の処理対象それぞれを識別可能な情報と複数の処理対象それぞれとを対応付けて記憶する。例えば、記憶部１２０は、処理対象の一例として、複数の画像それぞれを識別可能な情報（例えば、画像ＩＤ）と複数の画像それぞれとを対応付けて記憶する。また、記憶部１２０は、正解あり処理対象と正解の処理結果とを対応付けて記憶する。例えば、記憶部１２０は、処理対象の一例として、アノテーションの依頼者によって選択された正解の選択領域と正解あり画像とを対応付けて記憶する。
（制御部１３０）
　制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　制御部１３０は、取得部１３１と、決定部１３２と、提供部１３３と、受付部１３４と、算出部１３５と、判定部１３６と、通知部１３７を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
（取得部１３１）
　取得部１３１は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象を取得する。具体的には、取得部１３１は、処理対象の一例として、アノテーション作業の対象となる画像を取得する。例えば、取得部１３１は、アノテーションの依頼者によって選択された正解の選択領域が紐づけられた正解あり画像を含む複数の画像を依頼者（管理者）によって利用される管理者装置２０から取得する。
　また、取得部１３１は、正解あり処理対象を含む複数の処理対象を取得すると、複数の処理対象それぞれを識別可能な情報と複数の処理対象それぞれとを対応付けて記憶部１２０に記憶する。例えば、取得部１３１は、処理対象の一例として、アノテーション作業の対象となる複数の画像を取得すると、複数の画像それぞれを識別可能な情報（例えば、画像ＩＤ）と複数の画像それぞれとを対応付けて記憶部１２０に記憶する。
　また、取得部１３１は、正解あり処理対象を取得すると、正解あり処理対象と正解の処理結果とを対応付けて記憶部１２０に記憶する。例えば、取得部１３１は、処理対象の一例として、アノテーションの依頼者によって選択された正解の選択領域が紐づけられた正解あり画像を取得すると、正解あり画像と正解の選択領域とを対応付けて記憶部１２０に記憶する。
（決定部１３２）
　決定部１３２は、複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。具体的には、決定部１３２は、取得部１３１によって複数の処理対象が取得されると、取得部１３１によって取得された複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。例えば、決定部１３２は、取得部１３１によって複数の画像が取得されると、取得部１３１によって取得された複数の画像のうち正解あり画像を作業者に処理させる順番を決定する。
　より具体的には、決定部１３２は、複数の処理対象に対して所定間隔で正解あり処理対象を作業者に処理させるように順番を決定する。例えば、決定部１３２は、複数の画像に対して所定間隔で正解あり画像を作業者に処理させるように順番を決定する。図１に示す例では、決定部１３２は、５００枚の画像に対して１００枚ごとに５枚の正解あり画像を作業者に処理させるように順番を決定する。すなわち、決定部１３２は、５００枚の画像のうち正解あり画像を作業者に処理させる順番を１番目と１０１番目と２０１番目と３０１番目と４０１番目に決定する。
　続いて、決定部１３２は、正解あり処理対象を作業者に処理させる順番を決定すると、取得部１３１によって取得された複数の処理対象のうち正解あり処理対象以外の他の処理対象（以下、正解なし処理対象ともいう）を作業者に処理させる順番を決定する。例えば、決定部１３２は、正解あり画像を作業者に処理させる順番を決定すると、取得部１３１によって取得された複数の画像のうち正解あり画像以外の画像（以下、正解なし画像ともいう）を作業者に処理させる順番を決定する。図１に示す例では、決定部１３２は、５枚の正解あり画像を作業者に処理させる順番を決定すると、５００枚の画像のうち残り４９５枚の正解なし画像を作業者に処理させる順番を決定する。
　決定部１３２は、複数の処理対象の処理順を決定すると、決定した処理順が紐づけられた複数の処理対象を共有サーバ（例えば、クラウドサーバ）にアップロードする。例えば、決定部１３２は、複数の画像の処理順を決定すると、決定した処理順が紐づけられた複数の画像を共有サーバにアップロードする。図１に示す例では、決定部１３２は、依頼者から受け付けた５００枚の画像の処理順を決定すると、決定した処理順が紐づけられた５００枚の画像を共有サーバにアップロードする。
（提供部１３３）
　提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者に対して提供する。具体的には、提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者装置１０に表示させる。より具体的には、提供部１３３は、作業者が複数の処理対象に対する処理を行うための作業画面に相当するコンテンツを作業者装置１０に送信する。例えば、提供部１３３は、作業者が複数の画像に対する選択領域の選択処理を行うための作業画面に相当するコンテンツを作業者装置１０に送信する。作業者装置１０は、情報処理装置１００から受信したコンテンツを画面に表示することで、作業画面を表示する。例えば、提供部１３３は、決定部１３２によって決定された処理順に複数の画像を１枚ずつ作業者装置１０の画面に表示させる。例えば、提供部１３３は、後述する図４～図７に示す作業画面に相当するコンテンツを作業者装置１０の画面に表示させる。
　また、提供部１３３は、正解あり処理対象に対する処理を行うための作業画面と正解なし処理対象に対する処理を行うための作業画面とを視覚的に区別できない態様によって作業者装置１０に表示させる。例えば、提供部１３３は、作業者装置１０の画面に表示された画像においては、正解あり画像と正解なし画像とを視覚的に区別できない態様によって複数の画像を１枚ずつ作業者装置１０の画面に表示させる。
　また、提供部１３３は、作業者による処理状況を表示する管理画面を管理者に対して提供する。具体的には、算出部１３５は、複数の作業者それぞれが複数の処理対象の数に対して処理した処理済みの処理対象の数の割合を算出する。提供部１３３は、作業者による処理状況の一例として、算出部１３５によって算出された作業者による処理済みの処理対象の数の割合を表示する管理画面を提供する。例えば、提供部１３３は、作業者が複数存在する場合には、複数の作業者それぞれについて算出部１３５によって算出された処理済みの処理対象の数の割合を表示する管理画面を提供する。
　また、提供部１３３は、作業者の技能スコアを表示する管理画面を提供する。より具体的には、算出部１３５は、評価値に基づいて、複数の作業者それぞれの処理の技能を示す技能スコアを算出する。例えば、提供部１３３は、作業者が複数存在する場合には、複数の作業者それぞれの技能スコアを表示する管理画面を提供する。例えば、提供部１３３は、管理画面に相当するコンテンツを管理者装置２０に送信する。管理者装置２０は、情報処理装置１００から受信したコンテンツを画面に表示することで、管理画面を表示する。
　ここで、提供部１３３が提供する管理画面について、図１２～図１３を用いて詳しく説明する。図１２～図１３は、実施形態に係る管理者装置の画面の一例を示す図である。
　図１２に示す例では、提供部１３３は、ＸＸプロジェクトの教師データ作成を担当する複数の作業者それぞれの処理状況（本日の進捗）および技能スコアを示す星印が表示された部分コンテンツＣ２１１～Ｃ２１６を含むコンテンツＣ２１を管理者装置２０に送信する。
　また、提供部１３３は、作業者であるＪｏｈｎさんによって作成された教師データの品質が高いことを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１１を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１１に表示された「高品質」の文字が管理者によって選択された場合に、Ｊｏｈｎさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１１を含むコンテンツＣ２１を提供する。
　また、提供部１３３は、複数の作業者のうち、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面を提供する。例えば、提供部１３３は、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面の一例として、例えば、作業者であるＢｏｂさんによって作成された教師データの品質が低下したことを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１４を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１４に表示された「セキュリティ検知」の文字が管理者によって選択された場合に、Ｂｏｂさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１４を含むコンテンツＣ２１を提供する。
　また、提供部１３３は、作業者であるＮｉｇｅｌさんによるアノテーション作業が停滞していることを管理者に対して視覚的に通知する情報を含む部分コンテンツＣ２１６を含むコンテンツＣ２１を提供する。例えば、提供部１３３は、部分コンテンツＣ２１６に表示された「作業停滞」の文字が管理者によって選択された場合に、Ｎｉｇｅｌさんの詳しい処理状況を表示する画面に遷移させることが可能な部分コンテンツＣ２１６を含むコンテンツＣ２１を提供する。
　また、提供部１３３は、ＸＸプロジェクト全体の進捗状況を表示するコンテンツＣ２１を提供する。例えば、提供部１３３は、ＸＸプロジェクト全体の進捗状況の一例として、ＸＸプロジェクト全体で処理すべき５００枚の画像のうち３８６枚の画像が処理済みであることを表示したコンテンツＣ２１を提供する。また、提供部１３３は、残りの作業時間を表示するコンテンツＣ２１を提供する。例えば、提供部１３３は、ＸＸプロジェクトの残りの作業時間が２時間であることを表示したコンテンツＣ２１を提供する。管理者装置２０は、コンテンツＣ２１を受信すると、受信したコンテンツＣ２１を画面に表示する。
　図１３に示す例では、提供部１３３は、作業者であるＮｉｇｅｌさんによる詳しい処理状況を表示する部分コンテンツＣ２２１を含むコンテンツＣ２２を管理者装置２０に送信する。例えば、提供部１３３は、図１２に示す部分コンテンツＣ２１６に表示された「作業停滞」の文字が管理者によって選択された場合に、Ｎｉｇｅｌさんの詳しい処理状況を表示する画面に相当するコンテンツＣ２２を管理者装置２０に送信する。管理者装置２０は、コンテンツＣ２２を受信すると、受信したコンテンツＣ２２を画面に表示する。
　また、提供部１３３は、作業者であるＮｉｇｅｌさんによる処理がリアルタイムに表示される動画Ｃ２２２を含むコンテンツＣ２２を提供する。例えば、提供部１３３は、作業者であるＮｉｇｅｌさんのカーソルが遊んでいる動画Ｃ２２２を含むコンテンツＣ２２を提供する。
　また、提供部１３３は、画面を通じて管理者と作業者であるＮｉｇｅｌさんがメッセージをやり取りすることが可能な領域Ｃ２２３を含むコンテンツＣ２２を提供する。例えば、提供部１３３は、メッセージを入力可能な領域Ｆ２２とメッセージの送信ボタンＢ２２を含むコンテンツＣ２２を提供する。また、提供部１３３は、「印刷しようとしちゃダメですよ」という管理者のメッセージに対する「ごめんなさい、もうしません」というＮｉｇｅｌさんの返信メッセージが表示された領域Ｃ２２３を含むコンテンツＣ２２を提供する。
（受付部１３４）
　受付部１３４は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに作業者装置１０から受け付ける。具体的には、受付部１３４は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一つの画像に対する領域の選択処理を完了するごとに作業者装置１０から受け付ける。より具体的には、受付部１３４は、提供部１３３によって提供される作業画面を通じて、作業者が一つの画像に対する領域の選択処理を完了するごとに作業者による選択処理の処理結果を作業者装置１０から受け付ける。
　また、受付部１３４は、決定部１３２によって決定された順番に正解あり処理対象を含む複数の処理対象に対する処理結果を作業者装置１０から受け付ける。具体的には、受付部１３４は、決定部１３２によって決定された順番に正解あり画像を含む複数の画像に対する選択処理の処理結果を作業者装置１０から受け付ける。より具体的には、提供部１３３は、決定部１３２によって決定された順番に、決定部１３２によって決定された処理順の画像を１枚ずつ含む作業画面を作業者装置１０に送信する。そして、受付部１３４は、提供部１３３によって提供される作業画面を通じて、作業者が一つの画像に対する領域の選択処理を完了するごとに作業者による選択処理の処理結果を作業者装置１０から受け付ける。このようにして、受付部１３４は、決定部１３２によって決定された順番に画像に対する選択処理の処理結果を作業者装置１０から受け付ける。
　ここで、受付部１３４が画像に対する選択処理の処理結果を作業者装置１０から受け付ける処理について、図４～図７を用いて詳しく説明する。図４～図７は、実施形態に係る作業者装置１０の画面の一例を示す図である。
　図４に示す例では、提供部１３３が、決定部１３２によって決定された処理順が１５番目である画像Ｇ１１を含む作業画面に相当するコンテンツＣ１１を作業者装置１０に送信する。作業者装置１０は、コンテンツＣ１１を受信すると、受信したコンテンツＣ１１を画面に表示する。作業者装置１０は、作業者の操作に従って、作業者が画像Ｇ１１の中から自動車が撮像された領域Ｏ１を選択する選択処理を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、コンテンツＣ１１に含まれる送信ボタンＢ１１の選択操作を受け付ける。作業者装置１０は、送信ボタンＢ１１の選択操作を受け付けると、作業者によって選択された選択領域Ｏ１に関する情報を情報処理装置１００に送信する。受付部１３４は、作業者による画像Ｇ１１に対する選択処理の処理結果である選択領域Ｏ１を作業者装置１０から受け付ける。
　図５に示す例では、作業者装置１０は、作業者の操作に従って、作業者が画像Ｇ１２の中から選択領域Ｏ１に含まれる自動車とは異なる別の自動車が撮像された領域Ｏ２を選択する選択処理を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、画像Ｇ１２を含むコンテンツＣ１２に含まれるスキップボタンＢ１２の選択操作を受け付ける。ここで、スキップボタンＢ１２とは、何らかの理由により、作業者が選択領域の選択処理をスキップするためのボタンである。作業者装置１０は、スキップボタンＢ１２の選択操作を受け付けると、作業者が選択領域Ｏ２の選択処理のスキップに関する情報を情報処理装置１００に送信する。受付部１３４は、作業者による選択領域Ｏ２の選択処理のスキップに関する情報を作業者装置１０から受け付ける。
　図６に示す例では、受付部１３４によって選択領域Ｏ２の選択処理のスキップに関する情報が受け付けられると、提供部１３３が、作業者が選択領域Ｏ２の選択処理をスキップする理由をテキストにより入力可能なフィールドＦ１３を含む部分コンテンツＧ１３１が表示された作業画面に対応するコンテンツＣ１３を作業者装置１０に送信する。ここで、部分コンテンツＧ１３１には、フィールドＦ１３に入力されたテキストを情報処理装置１００に送信するためのスキップボタンＢ１３とフィールドＦ１３に入力されたテキストを情報処理装置１００に送信しないためのキャンセルボタンＢ１４が含まれる。
　続いて、図７では、作業者装置１０が、作業者の操作に従って、作業者が選択領域Ｏ２の選択処理をスキップする理由を示すテキストをフィールドＦ１３´に入力する操作を受け付ける。図７では、作業者装置１０は、「どこまで奥の車を加工するか確認したい。」というテキストの入力操作を受け付ける。続いて、作業者装置１０は、作業者の操作に従って、部分コンテンツＧ１３１に含まれるスキップボタンＢ１３の選択操作を受け付ける。作業者装置１０は、スキップボタンＢ１３の選択操作を受け付けると、作業者が入力したテキストを情報処理装置１００に送信する。受付部１３４は、作業者によって入力されたテキストを作業者装置１０から受け付ける。受付部１３４によってテキストが受け付けられると、通知部１３７は、受付部１３４によって受け付けられたテキストに関する情報を作業者ＩＤと対応付けて管理者装置２０に送信する。
　ここで、図８を用いて、実施形態に係るアノテーションについてさらに詳しく説明する。図８は、実施形態に係るアノテーションの一例を示す図である。図８に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域をそれぞれ囲む５つのバウンディングボックスを手作業によってそれぞれ選択することによって行われる。このとき、受付部１３４は、作業者によって選択された「bottle」、「cup」、および３つの「cube」に対応する５つのバウンディングボックスを作業者装置１０から受け付ける。なお、図８に示すような、バウンディングボックスの選択によるアノテーションによって生成される教師データは、例えば、画像に含まれる複数種類の物体検出（Object　Detection）を行う機械学習モデルの学習に用いられる。
　なお、上述した例では、受付部１３４が正解あり処理対象を含む複数の処理対象に対する処理結果を受け付ける例について説明したが、これに限られない。具体的には、受付部１３４は、正解あり処理対象を含まない複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとにさらに受け付けてよい。
（算出部１３５）
　算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。具体的には、算出部１３５は、受付部１３４によって処理結果が受け付けられると、記憶部１２０を参照して、処理結果に対応する処理対象を特定する。続いて、算出部１３５は、処理結果に対応する処理対象を特定すると、特定した処理対象が正解あり処理対象であるか否かを判定する。例えば、算出部１３５は、記憶部１２０を参照して、特定した処理対象と紐づけられた正解の処理結果が存在するか否かを判定する。算出部１３５は、特定した処理対象と紐づけられた正解の処理結果が存在すると判定した場合に、特定した処理対象が正解あり処理対象であると判定する。続いて、算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象であると判定した場合に、記憶部１２０を参照して、正解あり処理対象と紐づけられた正解の処理結果に関する情報を取得する。続いて、算出部１３５は、正解の処理結果に関する情報を取得すると、取得した正解の処理結果と受付部１３４によって受け付けられた処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。
　より具体的には、算出部１３５は、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、評価値の一例として、受付部１３４によって受け付けられた処理結果と正解の処理結果との重なり具合（一致度）を算出する。例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域に対応する画像が正解あり画像である場合に、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、評価値の一例として、受付部１３４によって受け付けられた選択領域と正解の選択領域との重なり具合（一致度）を算出する。
　例えば、算出部１３５は、受付部１３４によって受け付けられた選択領域と正解の選択領域の共通部分（Intersection）の面積を受付部１３４によって受け付けられた選択領域と正解の選択領域の和集合（Union）の面積で除した値であるＩｏＵ（Intersection　over　Union）を算出する。ここで、ＩｏＵは、物体検出における評価指標として用いられる。例えば、受付部１３４によって受け付けられた選択領域と正解の選択領域がぴったり重なっている（一致する）場合、ＩｏＵの値は１となる。一方、受付部１３４によって受け付けられた選択領域と正解の選択領域が全く重なっていない場合、ＩｏＵの値は０となる。つまり、ＩｏＵの値が大きいほど、物体検出がうまくできていると言える。すなわち、算出部１３５によって算出されたＩｏＵの値が大きいほど、作業者による物体検出の品質が高いと言える。したがって、算出部１３５によって算出されたＩｏＵの値が大きいほど、作業者に対する評価は高くなる。
　なお、上述した例では、算出部１３５が受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する例について説明したが、これに限られない。具体的には、算出部１３５は、受付部１３４によって受け付けられた正解あり処理対象を含まない複数の処理対象に対する処理結果に基づいて、作業者に対する評価を示す評価値を算出してよい。例えば、算出部１３５は、受付部１３４によって受け付けられた正解あり処理対象を含まない複数の処理対象に対する処理結果に基づいて、正解の処理結果との比較に基づく評価以外の評価を示す他の評価値を算出する。例えば、算出部１３５は、他の評価値の一例として、作業者が複数の処理対象を処理する処理速度を算出してよい。例えば、算出部１３５は、作業者が処理した複数の処理対象の数を作業者が処理するのに要した時間で除した値を処理速度として算出する。
（判定部１３６）
　判定部１３６は、算出部１３５によって算出された評価値に基づいて、処理結果の品質が低下したか否かを判定する。具体的には、判定部１３６は、算出部１３５によって算出された評価値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。例えば、判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。
（通知部１３７）
　通知部１３７は、作業者による作業を管理する管理者に対してアラートを通知する。具体的には、通知部１３７は、判定部１３６によって品質が低下したと判定された場合に、管理者に対してアラートを通知する。通知部１３７によるアラートの通知処理について、図１４を用いて詳しく説明する。図１４は、実施形態に係る管理者装置の画面の一例を示す図である。
　図１４では、判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値である５０点を下回った場合に、処理結果の品質が低下したと判定する。例えば、算出部１３５は、１０１枚目の画像に関するＩｏＵの値を４５点と算出する。判定部１３６は、算出部１３５によって算出されたＩｏＵの値が評価閾値である５０点を下回ったので、作業者によるアノテーションの品質が低下したと判定する。通知部１３７は、判定部１３６によって品質が低下したと判定されたので、管理者に対してアラートを通知する。図１４に示す例では、通知部１３７は、１０１枚目の画像のサムネイルの右下に品質の低下を通知するビックリマークが表示された画像Ｇ２３１を含む部分コンテンツＣ２３１を含むコンテンツＣ２３を管理者装置２０に送信する。また、通知部１３７は、１０１枚目の画像に対する評価値Ｓ２３２、１０１枚目の画像のサムネイルの右下に品質の低下を通知するビックリマークが表示された画像Ｇ２３２、および品質低下検知に関するメッセージＭ２３を含む部分コンテンツＣ２３２を含むコンテンツＣ２３を管理者装置２０に送信する。管理者装置２０は、コンテンツＣ２３を受信すると、受信したコンテンツＣ２３を画面に表示する。
〔５．変形例〕
　上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
〔５－１．正解あり処理対象の処理順〕
　上述した実施形態では、決定部１３２が、複数の処理対象に対して所定間隔で正解あり処理対象を作業者に処理させるように順番を決定する例について説明したが、正解あり処理対象の処理順はこれに限られない。
　具体的には、決定部１３２は、作業者に処理させる順番が小さいほど、正解あり処理対象を多くすることを決定する。より具体的には、決定部１３２は、作業者に処理させる順番が第１閾値を超える場合よりも、作業者に処理させる順番が第１閾値以下である場合に、正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、複数の処理対象に対する処理の早い段階で、作業者による処理結果と依頼者による正解の処理結果との齟齬がないかどうか確認することができる。
　また、決定部１３２は、作業者に処理させる順番が大きいほど、正解あり処理対象を多くすることを決定する。より具体的には、決定部１３２は、作業者に処理させる順番が２閾値を下回る場合よりも、作業者に処理させる順番が第２閾値以上である場合に、正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、複数の処理対象のうちの前半よりも、作業者が疲れてくる後半により多くの正解あり処理対象を含めることで、作業者の疲れによる品質の低下を適切に検知することができる。
　また、決定部１３２は、算出部１３５によって算出された評価値の統計情報に基づいて、正解あり処理対象を作業者に処理させる順番を動的に決定する。より具体的には、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。例えば、決定部１３２は、作業者ごとに異なる評価値の変遷に基づいて、作業者ごとに異なる第３閾値を決定する。続いて、決定部１３２は、作業者ごとに異なる第３閾値に応じて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、評価値の変遷に基づいて作業者ごとに品質が低下する傾向を分析して第３閾値を決定することで、作業者に応じた品質の低下を適切に検知することができる。
　また、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が低下傾向を示した場合に、評価値が低下傾向を示す前よりも正解あり処理対象を多くすることを決定する。これにより、情報処理装置１００は、例えば、評価値が低下傾向を示す前よりも、評価値が低下傾向を示した後により多くの正解あり処理対象を含めることで、品質の低下を食い止めることができる。
　また、決定部１３２は、算出部１３５によって算出された評価値に基づいて、複数の処理対象の数に対して正解あり処理対象を含める数を決定する。例えば、決定部１３２は、複数の作業者の評価値に基づいて、評価値が他の作業者と比べて低い作業者ほど複数の処理対象の数に対して正解あり処理対象を含める数を多くすることを決定する。これにより、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。
　また、受付部１３４は、同一の処理対象に対する処理結果を複数の作業者それぞれから受け付ける。算出部１３５は、複数の作業者のうち、他の作業者から受け付けた処理結果とは異なる傾向を示す処理結果を処理した作業者に対する評価値を他の作業者に対する評価値よりも低く算出する。これにより、情報処理装置１００は、正解なし処理対象に対しても、作業者の作業内容の評価をすることができる。また、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。
〔５－２．教師データの種類〕
　上述した実施形態では、情報処理装置１００が画像認識技術のうち物体検出を行う機械学習モデルの教師データの品質を評価する例について説明したが、情報処理装置１００が評価する教師データの種類はこれに限られない。具体的には、上述した処理対象は、機械学習モデルの用途に応じて、画像以外に、テキストや音声であってよい。
〔５－３．アノテーションの種類〕
　上述した実施形態では、情報処理装置１００が、図８に示すバウンディングボックスの選択によるアノテーションにより作成された教師データの品質を評価する例について説明したが、他の種類のアノテーションにより作成された教師データの品質を評価してよい。ここで、アノテーションの種類について、図９～図１１を用いて詳しく説明する。図９～図１１は、変形例に係るアノテーションの一例を示す図である。情報処理装置１００は、図９～図１１に示すアノテーションにより作成された教師データの品質を評価してよい。
　図９に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および「cube」といった物体の種類を示すラベルを、手作業によって画像に付与することによって行われる。このとき、受付部１３４は、作業者によって付与された「bottle」、「cup」、および「cube」に対応する３つのラベルを作業者装置１０から受け付ける。なお、図９に示すような、ラベルの付与によるアノテーションによって生成される教師データは、例えば、画像をラベルに対応するクラスに分類する画像分類（Image　Classification）を行う機械学習モデルの学習に用いられる。
　図１０に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域を、物体の種類ごとに「bottle」、「cup」、「cube」の３種類に色分けして塗りつぶすことによって行われる。このとき、受付部１３４は、作業者によって３種類に色分けして塗りつぶされた領域を作業者装置１０から受け付ける。なお、図１０に示すような、物体の種類ごとに領域を色分けするアノテーションによって生成される教師データは、例えば、画像中の全ピクセルをクラスに分類するセマンティック・セグメンテーション（Semantic　Segmentation）を行う機械学習モデルの学習に用いられる。
　図１１に示す例では、画像の中に「bottle」、「cup」、および３つの「cube」といった複数の物体が含まれている。このとき、作業者によるアノテーションの作業は、画像に含まれる「bottle」、「cup」、および３つの「cube」が撮像された領域を、物体ごとに５種類に色分けして塗りつぶすことによって行われる。このとき、受付部１３４は、作業者によって５種類に色分けして塗りつぶされた領域を作業者装置１０から受け付ける。なお、図１１に示すような、物体ごとに領域を色分けするアノテーションによって生成される教師データは、例えば、画像中の各ピクセルを物体ごとに分類するインスタント・セグメンテーション（Instant　Segmentation）を行う機械学習モデルの学習に用いられる。
〔６．効果〕
　上述してきたように、実施形態に係る情報処理装置１００は、受付部１３４と算出部１３５を備える。受付部１３４は、正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、受付部１３４によって受け付けられた処理結果と正解の処理結果との比較に基づいて、作業者に対する評価を示す評価値を算出する。
　このように、情報処理装置１００は、人手によって行われる複数の処理対象に対する処理の途中で、作業者による処理結果と正解あり処理対象との比較に基づく経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的に品質を評価することで、品質が低下した場合にはすぐに検知することができるので、全体的な品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の人手によって行われる複数の処理対象に対する処理結果の品質を担保可能とすることができる。
　また、情報処理装置１００は、決定部１３２をさらに備える。決定部１３２は、複数の処理対象のうち正解あり処理対象を作業者に処理させる順番を決定する。受付部１３４は、決定部１３２によって決定された順番に正解あり処理対象を含む複数の処理対象に対する処理結果を受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に対応する処理対象が正解あり処理対象である場合に、作業者に対する評価を示す評価値を算出する。
　これにより、情報処理装置１００は、作業者や処理対象の種類に応じて柔軟に正解あり処理対象を処理させる順番を決定することができるので、作業者や処理対象の種類に応じた品質の低下をより適切に検知することを可能にする。
　また、決定部１３２は、作業者に処理させる順番が小さいほど、正解あり処理対象を多くすることを決定する。具体的には、決定部１３２は、作業者に処理させる順番が第１閾値を超える場合よりも、作業者に処理させる順番が第１閾値以下である場合に、正解あり処理対象を多くすることを決定する。
　これにより、情報処理装置１００は、複数の処理対象に対する処理の早い段階で、作業者による処理結果と依頼者による正解の処理結果との齟齬がないかどうか確認することができる。
　また、決定部１３２は、作業者に処理させる順番が大きいほど、正解あり処理対象を多くすることを決定する。具体的には、決定部１３２は、作業者に処理させる順番が２閾値を下回る場合よりも、作業者に処理させる順番が第２閾値以上である場合に、正解あり処理対象を多くすることを決定する。
　これにより、情報処理装置１００は、例えば、複数の処理対象のうちの前半よりも、作業者が疲れてくる後半により多くの正解あり処理対象を含めることで、作業者の疲れによる品質の低下を適切に検知することができる。
　また、決定部１３２は、算出部１３５によって算出された評価値の統計情報に基づいて、正解あり処理対象を作業者に処理させる順番を動的に決定する。具体的には、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が第３閾値を下回った場合に、評価値が第３閾値を下回る前よりも正解あり処理対象を多くすることを決定する。
　これにより、情報処理装置１００は、例えば、評価値の変遷に基づいて作業者ごとに品質が低下する傾向を分析して第３閾値を決定することで、作業者に応じた品質の低下を適切に検知することができる。
　また、決定部１３２は、統計情報として、評価値の変遷に基づいて、評価値が低下傾向を示した場合に、評価値が低下傾向を示す前よりも正解あり処理対象を多くすることを決定する。
　これにより、情報処理装置１００は、例えば、評価値が低下傾向を示す前よりも、評価値が低下傾向を示した後により多くの正解あり処理対象を含めることで、品質の低下を食い止めることができる。
　また、決定部１３２は、算出部１３５によって算出された評価値に基づいて、複数の処理対象の数に対して正解あり処理対象を含める数を決定する。例えば、決定部１３２は、複数の作業者の評価値に基づいて、評価値が他の作業者と比べて低い作業者ほど複数の処理対象の数に対して正解あり処理対象を含める数を多くすることを決定する。
　これにより、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。
　また、受付部１３４は、同一の処理対象に対する処理結果を複数の作業者それぞれから受け付ける。算出部１３５は、複数の作業者のうち、他の作業者から受け付けた処理結果とは異なる傾向を示す処理結果を処理した作業者に対する評価値を他の作業者に対する評価値よりも低く算出する。
　これにより、情報処理装置１００は、正解なし処理対象に対しても、作業者の作業内容の評価をすることができる。また、情報処理装置１００は、作成に手間がかかる正解あり処理対象をたくさん準備する手間を省き、数に限りのある正解あり処理対象を効率よく配分することができる。
　また、受付部１３４は、正解あり処理対象を含まない複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとにさらに受け付ける。算出部１３５は、受付部１３４によって受け付けられた処理結果に基づいて、作業者に対する評価を示す評価値を算出する。
　これにより、情報処理装置１００は、正解あり処理対象との比較に基づく評価以外の評価を示す他の評価値（例えば、作業者の処理速度）を算出することができる。
　また、情報処理装置１００は、判定部１３６と通知部１３７をさらに備える。判定部１３６は、算出部１３５によって算出された評価値に基づいて、処理結果の品質が低下したか否かを判定する。通知部１３７は、作業者による作業を管理する管理者に対してアラートを通知する。判定部１３６は、算出部１３５によって算出された評価値が評価閾値を下回った場合に、処理結果の品質が低下したと判定する。通知部１３７は、判定部１３６によって品質が低下したと判定された場合に、管理者に対してアラートを通知する。
　これにより、情報処理装置１００は、作業者による処理結果の品質の低下を検知した場合には、管理者から作業者に対して品質の低下を是正するよう促すことを可能にする。
　また、情報処理装置１００は、提供部１３３をさらに備える。提供部１３３は、作業者による作業を管理する管理者によって利用される管理者装置２０に対して、複数の作業者それぞれによる処理状況を表示する管理画面を提供する。算出部１３５は、複数の作業者それぞれが複数の処理対象の数に対して処理した処理済みの処理対象の数の割合を算出する。提供部１３３は、処理状況として、複数の作業者それぞれについて算出部１３５によって算出された割合を表示する管理画面を提供する。
　これにより、情報処理装置１００は、管理者が作業者の処理状況を確認することを可能にするので、例えば、管理者が作業者の処理状況に応じて処理対象や正解あり処理対象を割り振ることを可能にする。
　また、算出部１３５は、評価値に基づいて、複数の作業者それぞれの処理の技能を示す技能スコアを算出する。提供部１３３は、複数の作業者それぞれの技能スコアを表示する管理画面を提供する。
　これにより、情報処理装置１００は、管理者が作業者の技能を確認することを可能にするので、例えば、管理者が作業者の技能に応じて処理対象や正解あり処理対象を割り振ることを可能にする。
　また、提供部１３３は、複数の作業者のうち、評価値が他の作業者と比べて低い作業者を管理者に対して視覚的に通知する情報を含む管理画面を提供する。
　これにより、情報処理装置１００は、評価値が他の作業者と比べて低い作業者を管理者が把握することを可能にする。
　また、情報処理装置１００は、作業者が複数の処理対象に対する処理を行うための作業画面を作業者によって利用される作業者装置に表示させる提供部１３３をさらに備える。提供部１３３は、正解あり処理対象に対する処理を行うための作業画面と正解あり処理対象以外の他の処理対象に対する処理を行うための作業画面とを視覚的に区別できない態様によって作業者装置１０に表示させる。
　これにより、情報処理装置１００は、作業者からは正解あり処理対象と正解あり処理対象以外の他の処理対象を区別することができないので、作業者が正解あり処理対象に対する処理を行うときだけ注意して処理を行うといったことを防ぐことができる。
　また、処理対象は、画像に含まれる物体を認識する機械学習モデルの学習に用いるための教師用の画像である。また、処理は、作業者が画像の中から物体が撮像された領域を選択する選択処理である。受付部１３４は、正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一部の画像に対する領域の選択処理を完了するごとに受け付ける。算出部１３５は、受付部１３４によって受け付けられた選択領域に対応する画像が正解あり画像である場合に、受付部１３４によって受け付けられた選択領域と正解の選択領域との比較に基づいて、作業者に対する評価を示す評価値を算出する。
　このように、情報処理装置１００は、人手によって行われる複数の画像に対するアノテーションの途中で、作業者によって選択された選択領域と正解の選択領域との比較に基づく経過審査を行う。これにより、情報処理装置１００は、経過審査により定期的にアノテーションの品質を評価することで、アノテーションの品質が低下した場合にはすぐに検知することができるので、全体的なアノテーションの品質の低下を未然に防ぐことができる。したがって、情報処理装置１００は、アノテーション等の品質を担保可能とすることができる。
〔７．ハードウェア構成〕
　また、上述してきた実施形態に係る情報処理装置１００は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
　ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
　メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔８．その他〕
　また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、算出部は、算出手段や算出回路に読み替えることができる。
　　　　１　情報処理システム
　　　１０　作業者装置
　　　２０　管理者装置
　　１００　情報処理装置
　　１１０　通信部
　　１２０　記憶部
　　１３０　制御部
　　１３１　取得部
　　１３２　決定部
　　１３３　提供部
　　１３４　受付部
　　１３５　算出部
　　１３６　判定部
　　１３７　通知部

Claims (21)

  1. 　正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける受付部と、
    　前記受付部によって受け付けられた処理結果に対応する処理対象が前記正解あり処理対象である場合に、前記受付部によって受け付けられた処理結果と前記正解の処理結果との比較に基づいて、前記作業者に対する評価を示す評価値を算出する算出部と、
    　を備える情報処理装置。
  2. 　前記複数の処理対象のうち前記正解あり処理対象を前記作業者に処理させる順番を決定する決定部をさらに備え、
    　前記受付部は、
    　前記決定部によって決定された順番に前記正解あり処理対象を含む前記複数の処理対象に対する処理結果を受け付け、
    　前記算出部は、
    　前記受付部によって受け付けられた処理結果に対応する処理対象が前記正解あり処理対象である場合に、前記作業者に対する評価を示す評価値を算出する、
    　請求項１に記載の情報処理装置。
  3. 　前記決定部は、
    　前記作業者に処理させる順番が小さいほど、前記正解あり処理対象を多くすることを決定する、
    　請求項２に記載の情報処理装置。
  4. 　前記決定部は、
    　前記作業者に処理させる順番が第１閾値を超える場合よりも、前記作業者に処理させる順番が第１閾値以下である場合に、前記正解あり処理対象を多くすることを決定する、
    　請求項３に記載の情報処理装置。
  5. 　前記決定部は、
    　前記作業者に処理させる順番が大きいほど、前記正解あり処理対象を多くすることを決定する、
    　請求項２に記載の情報処理装置。
  6. 　前記決定部は、
    　前記作業者に処理させる順番が２閾値を下回る場合よりも、前記作業者に処理させる順番が第２閾値以上である場合に、前記正解あり処理対象を多くすることを決定する、
    　請求項５に記載の情報処理装置。
  7. 　前記決定部は、
    　前記算出部によって算出された評価値の統計情報に基づいて、前記正解あり処理対象を前記作業者に処理させる順番を動的に決定する、
    　請求項２～６のいずれか１項に記載の情報処理装置。
  8. 　前記決定部は、
    　前記統計情報として、前記評価値の変遷に基づいて、前記評価値が第３閾値を下回った場合に、前記評価値が第３閾値を下回る前よりも前記正解あり処理対象を多くすることを決定する、
    　請求項７に記載の情報処理装置。
  9. 　前記決定部は、
    　前記統計情報として、前記評価値の変遷に基づいて、前記評価値が低下傾向を示した場合に、前記評価値が低下傾向を示す前よりも前記正解あり処理対象を多くすることを決定する、
    　請求項７または８に記載の情報処理装置。
  10. 　前記決定部は、
    　前記算出部によって算出された評価値に基づいて、前記複数の処理対象の数に対して前記正解あり処理対象を含める数を決定する、
    　請求項２～９のいずれか１項に記載の情報処理装置。
  11. 　前記決定部は、
    　複数の作業者の評価値に基づいて、前記評価値が他の作業者と比べて低い作業者ほど前記複数の処理対象の数に対して前記正解あり処理対象を含める数を多くすることを決定する、
    　請求項１０に記載の情報処理装置。
  12. 　前記受付部は、
    　同一の処理対象に対する処理結果を複数の作業者それぞれから受け付け、
    　前記算出部は、
    　前記複数の作業者のうち、他の作業者から受け付けた処理結果とは異なる傾向を示す処理結果を処理した作業者に対する評価値を他の作業者に対する評価値よりも低く算出する、
    　請求項１～１１のいずれか１項に記載の情報処理装置。
  13. 　前記受付部は、
    　前記正解あり処理対象を含まない複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとにさらに受け付け、
    　前記算出部は、
    　前記受付部によって受け付けられた処理結果に基づいて、前記作業者に対する評価を示す評価値を算出する、
    　請求項１～１２のいずれか１項に記載の情報処理装置。
  14. 　前記算出部によって算出された評価値に基づいて、前記処理結果の品質が低下したか否かを判定する判定部と、
    　前記作業者による作業を管理する管理者に対してアラートを通知する通知部と、
    　をさらに備え、
    　前記判定部は、
    　前記算出部によって算出された評価値が評価閾値を下回った場合に、前記処理結果の品質が低下したと判定し、
    　前記通知部は、
    　前記判定部によって品質が低下したと判定された場合に、前記管理者に対してアラートを通知する、
    　請求項１～１３のいずれか１項に記載の情報処理装置。
  15. 　前記作業者による作業を管理する管理者によって利用される管理者装置に対して、複数の作業者それぞれによる処理状況を表示する管理画面を提供する提供部をさらに備え、
    　前記算出部は、
    　前記複数の作業者それぞれが前記複数の処理対象の数に対して処理した処理済みの処理対象の数の割合を算出し、
    　前記提供部は、
    　前記処理状況として、前記複数の作業者それぞれについて前記算出部によって算出された割合を表示する前記管理画面を提供する、
    　請求項１～１４のいずれか１項に記載の情報処理装置。
  16. 　前記算出部は、
    　前記評価値に基づいて、前記複数の作業者それぞれの処理の技能を示す技能スコアを算出し、
    　前記提供部は、
    　前記複数の作業者それぞれの技能スコアを表示する前記管理画面を提供する、
    　請求項１５に記載の情報処理装置。
  17. 　前記提供部は、
    　前記複数の作業者のうち、前記評価値が他の作業者と比べて低い作業者を前記管理者に対して視覚的に通知する情報を含む前記管理画面を提供する、
    　請求項１５または１６に記載の情報処理装置。
  18. 　前記作業者が前記複数の処理対象に対する処理を行うための作業画面を前記作業者によって利用される作業者装置に表示させる提供部をさらに備え、
    　前記提供部は、
    　前記正解あり処理対象に対する処理を行うための作業画面と前記正解あり処理対象以外の他の処理対象に対する処理を行うための作業画面とを視覚的に区別できない態様によって前記作業者装置に表示させる、
    　請求項１～１７のいずれか１項に記載の情報処理装置。
  19. 　前記処理対象は、画像に含まれる物体を認識する機械学習モデルの学習に用いるための教師用の画像であり、
    　前記処理は、前記作業者が画像の中から物体が撮像された領域を選択する選択処理であり、
    　前記受付部は、
    　正解の選択領域が紐づけられた正解あり画像を含む複数の画像に対する選択領域を作業者が一部の画像に対する領域の選択処理を完了するごとに受け付け、
    　前記算出部は、
    　前記受付部によって受け付けられた選択領域に対応する画像が前記正解あり画像である場合に、前記受付部によって受け付けられた選択領域と前記正解の選択領域との比較に基づいて、前記作業者に対する評価を示す評価値を算出する、
    　請求項１～１８のいずれか１項に記載の情報処理装置。
  20. 　コンピュータが実行する情報処理方法であって、
    　正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける受付工程と、
    　前記受付工程によって受け付けられた処理結果に対応する処理対象が前記正解あり処理対象である場合に、前記受付工程によって受け付けられた処理結果と前記正解の処理結果との比較に基づいて、前記作業者に対する評価を示す評価値を算出する算出工程と、
    　を含むことを特徴とする情報処理方法。
  21. 　正解の処理結果が紐づけられた正解あり処理対象を含む複数の処理対象に対する処理結果を作業者が一部の処理対象に対する処理を完了するごとに受け付ける受付手順と、
    　前記受付手順によって受け付けられた処理結果に対応する処理対象が前記正解あり処理対象である場合に、前記受付手順によって受け付けられた処理結果と前記正解の処理結果との比較に基づいて、前記作業者に対する評価を示す評価値を算出する算出手順と、
    　をコンピュータに実行させることを特徴とする情報処理プログラム。
PCT/JP2021/042453 2020-11-27 2021-11-18 情報処理装置、情報処理方法及び情報処理プログラム WO2022113879A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/021,180 US20230316723A1 (en) 2020-11-27 2021-11-18 Information processing apparatus, information processing method, and non-transitory computer readable storage medium
CN202180050766.9A CN115917583A (zh) 2020-11-27 2021-11-18 信息处理装置、信息处理方法及信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-197467 2020-11-27
JP2020197467A JP7189922B2 (ja) 2020-11-27 2020-11-27 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2022113879A1 true WO2022113879A1 (ja) 2022-06-02

Family

ID=81754557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042453 WO2022113879A1 (ja) 2020-11-27 2021-11-18 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20230316723A1 (ja)
JP (2) JP7189922B2 (ja)
CN (1) CN115917583A (ja)
WO (1) WO2022113879A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060432A (ja) * 2013-09-19 2015-03-30 富士通株式会社 プログラム、コンピュータおよび訓練データ作成支援方法
JP2020024665A (ja) * 2018-08-02 2020-02-13 パナソニックＩｐマネジメント株式会社 情報処理方法、及び情報処理システム
JP2020101968A (ja) * 2018-12-21 2020-07-02 株式会社 日立産業制御ソリューションズ マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム
JP2020160896A (ja) * 2019-03-27 2020-10-01 オリンパス株式会社 画像ファイル生成装置および画像ファイル生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060432A (ja) * 2013-09-19 2015-03-30 富士通株式会社 プログラム、コンピュータおよび訓練データ作成支援方法
JP2020024665A (ja) * 2018-08-02 2020-02-13 パナソニックＩｐマネジメント株式会社 情報処理方法、及び情報処理システム
JP2020101968A (ja) * 2018-12-21 2020-07-02 株式会社 日立産業制御ソリューションズ マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム
JP2020160896A (ja) * 2019-03-27 2020-10-01 オリンパス株式会社 画像ファイル生成装置および画像ファイル生成方法

Also Published As

Publication number Publication date
JP2023022262A (ja) 2023-02-14
JP7189922B2 (ja) 2022-12-14
CN115917583A (zh) 2023-04-04
JP2022085670A (ja) 2022-06-08
US20230316723A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11010892B2 (en) Digital pathology system and associated workflow for providing visualized whole-slide image analysis
US10950060B2 (en) Identifying augmented reality visuals influencing user behavior in virtual-commerce environments
Pandey et al. Towards understanding human similarity perception in the analysis of large sets of scatter plots
McClung et al. Characterization of visual scanning patterns in air traffic control
CN109377508B (zh) 图像处理方法和装置
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
CN108288064B (zh) 用于生成图片的方法和装置
US20140244534A1 (en) Career development workflow
KR102047533B1 (ko) 교육콘텐츠 큐레이션 서비스 제공방법
WO2022113879A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2017050022A (ja) 審査システム、審査方法、及び審査プログラム
WO2022038440A1 (en) Distributed dataset annotation system and method of use
JP7231785B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11423230B2 (en) Process extraction apparatus and non-transitory computer readable medium
US20220207863A1 (en) Object detection device, object detection method, program, and recording medium
CN111797345B (zh) 应用页面展现方法、装置、计算机设备和存储介质
JP6606890B2 (ja) 情報処理装置及び情報処理プログラム
US11385780B2 (en) Facilitating interactive content presentation in online computing environment
JP6271482B2 (ja) 審査システム、審査方法、及び審査プログラム
US20030160777A1 (en) Moving-image icon generating apparatus
CN114139059A (zh) 资源推荐模型的训练方法、资源推荐方法及装置
JP6500142B1 (ja) 選択装置、選択方法及び選択プログラム
CN112308074A (zh) 用于生成缩略图的方法和装置
US20190281208A1 (en) Image sensor system, image sensor, data generation method of image sensor in image sensor system, and non-transitory computer-readable recording medium
US20180081951A1 (en) Information generation system, a method and a non-transitory computer readable medium thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897853

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897853

Country of ref document: EP

Kind code of ref document: A1