WO2019137196A1 - 图像标注信息助理方法、装置、服务器及系统 - Google Patents

图像标注信息助理方法、装置、服务器及系统 Download PDF

Info

Publication number
WO2019137196A1
WO2019137196A1 PCT/CN2018/123297 CN2018123297W WO2019137196A1 WO 2019137196 A1 WO2019137196 A1 WO 2019137196A1 CN 2018123297 W CN2018123297 W CN 2018123297W WO 2019137196 A1 WO2019137196 A1 WO 2019137196A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
result
information
error
sampling
Prior art date
Application number
PCT/CN2018/123297
Other languages
English (en)
French (fr)
Inventor
胡越
郭昕
章海涛
程丹妮
吴博坤
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2019137196A1 publication Critical patent/WO2019137196A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Definitions

  • the embodiment of the present specification belongs to the technical field of computer data processing, and in particular, to an annotation information processing method, device, server and system in an image.
  • the method of detecting objects in an image in an existing application mainly relies on a target detection/recognition model obtained by training, such as a component recognition model in a vehicle loss-making service, and a model for purchasing an item by taking a picture.
  • a target detection/recognition model obtained by training, such as a component recognition model in a vehicle loss-making service, and a model for purchasing an item by taking a picture.
  • These target detection/recognition models usually need to rely on a large number of marked sample images for training, so the accuracy of the annotation information in the sample images has a significant impact on the model output.
  • the multi-objective labeling task is more complicated than the conventional single-subject classification that is similar to whether a picture is a dog or a cat. It is often required to label the area of all targets in an image and give the corresponding target classification. result. Especially in some professional business areas, some tasks need to be completed not only by conventional understanding/understanding, but also require the labeling personnel to have certain professionalism, and also require certain professional training and skill enhancement processes. Some professional multi-target annotation processing requirements for preparing training samples for image multi-target detection algorithms in a professional field are very strict.
  • identifying and labeling human organs and bone structures is a professional training for medical professionals or non-professionals after a period of professional training.
  • the type of complex task that is annotated.
  • manual annotation processing is limited because of limited attention on the one hand, and on the other hand, because of excessive classification, professionalism is required. It is also easy to be confused, which often results in the accuracy of the sample image annotation information output is not high, and it is difficult to guarantee the quality of the annotation, which leads to poor image recognition algorithm and low target prediction accuracy in the image.
  • the embodiment of the present specification aims to provide an image annotation information processing method, device, server and system, which can effectively improve the processing accuracy of the multi-target sample image annotation information, thereby improving the accuracy of the image target detection algorithm.
  • An image annotation information processing method, apparatus, server and system provided by embodiments of the present specification are implemented by the following methods:
  • An image annotation information processing method comprising:
  • the first node receives the task image, and the task image includes at least the following annotation information: a category corresponding to the target in the identified task image, and an annotation box of the target;
  • the first node receives the check result of the task image, and sends the task image after the first check processing to the second node, where the check result includes: performing a first check process on the tag information of the task image, and determining the When there is an error in the label information, the labeling result obtained by correcting the label information is obtained;
  • the second node receives the review result, and if the review result includes the label information, the review result is sent to the first node to perform a first re-inspection process, where the review result includes: performing the task image a second check processing, when the label information has an error, the determined error type of the check result is erroneous;
  • the first node receives the first re-inspection result, and sends the first re-inspection result to the second node to perform the second check process, where the first re-inspection result is included in the review result.
  • the error result is an annotation result obtained by correcting the annotation information of the task image.
  • An image annotation information processing method comprising:
  • the task image includes at least the following annotation information: a category corresponding to the target in the identified task image, and a labeling box of the target;
  • the inspection result includes: performing a first inspection process on the annotation information of the task image, and determining an annotation result obtained by correcting the annotation information when the annotation information has an error ;
  • a sample image annotation information processing device comprising:
  • An image receiving module configured to receive a task image, where the task image includes at least the following annotation information: a category corresponding to the target in the identified task image, and an annotation box of the target;
  • the label checking interaction module is configured to receive the inspection result of the task image, and send the task image after the first inspection process to the label review interaction module, where the check result includes: performing a first check on the label information of the task image Processing, determining the labeling result obtained by correcting the label information when the label information has an error; and further receiving the first re-inspection result, and sending the first re-inspection result to the label review interaction module a second check processing, the first re-inspection result includes an annotation result obtained by correcting the annotation information of the task image based on an error type in the review result;
  • the annotation review interaction module is configured to receive the review result, and send the review result to the annotation check interaction module to perform a first re-inspection process when the review result includes an error of the annotation information, where the review result includes: The task image performs a second check process, and when the tag information has an error, the determined check result has an error type of error.
  • a server comprising a processor and a memory for storing processor-executable instructions, the processor implementing the instructions to:
  • the task image includes at least the following annotation information: a category corresponding to the target in the identified task image and a labeling box of the target;
  • the inspection result includes: performing a first inspection process on the annotation information of the task image, and determining an annotation result obtained by correcting the annotation information when the annotation information has an error ;
  • a sample image annotation information processing system includes:
  • the second terminal performs a second check process
  • the task image includes at least the following annotation information: a category corresponding to the target in the identified task image and a label box of the target
  • the check result includes: The labeling information of the task image is subjected to a first checking process to determine an indexing result obtained by correcting the labeling information when the labeling information has an error, and the first rechecking result is included in the review result.
  • a second processing terminal configured to receive a review result, and send the review result to the first processing terminal to perform a first re-inspection process when the review result includes an error in the tagged information;
  • the second re-inspection result is sent to the third processing terminal, and the review result includes: performing a second check process on the task image, and when the tag information has an error, the determined check result appears
  • An error type of the error the second re-inspection result includes an annotation result obtained by correcting the annotation information of the corresponding task image based on the sampling information;
  • a third processing terminal configured to receive a task image with correct labeling information sent by the second processing terminal, and to receive a sampling result, and to perform sampling inspection of the corresponding sampling image when the sampling result includes an error of the labeling information
  • the information is sent to the second terminal for performing a second re-inspection process, and the sampling result includes: selecting a sampling image from the received task image according to a preset rule, and verifying whether the labeling information of the sampling image is correct.
  • a sample image annotation information processing method, device, server and system provided by embodiments of the present specification can provide supervision and judgment of different processing results of multiple nodes in a multi-objective sample image annotation information processing operation with complex and professional features. Processing logic, when the image annotation information is wrong, it can automatically return the result, so that the operator can re-examine, modify and other processes, to achieve good interaction feedback, quality monitoring, capability detection, and prevent collusion between different nodes. In this way, the operator's business ability can be improved in the continuous audit feedback interaction, the image labeling efficiency is gradually improved, and the accuracy of the training sample image annotation information is effectively improved.
  • FIG. 1 is a schematic diagram of a job scene for marking multiple targets in a sample image according to the method described in the present specification
  • FIG. 2 is a schematic flow chart of an embodiment of a sample image annotation information processing method provided by the present specification
  • FIG. 3 is a schematic diagram of a processing procedure for reviewing a task image at a second node in an implementation scenario of the present specification
  • FIG. 4 is a schematic flow chart of a method of another embodiment of the method provided by the present specification.
  • FIG. 5 is a schematic diagram of a processing scenario for determining an inspection accuracy rate in the present specification
  • FIG. 6 is a schematic flow chart of a method for processing sample image annotation information for a server provided by the present specification
  • FIG. 7 is a block diagram showing the hardware structure of a training sample image annotation information processing server according to an embodiment of the present invention.
  • FIG. 8 is a block diagram showing the structure of an embodiment of a sample image annotation information processing apparatus provided by the present specification.
  • FIG. 9 is a schematic structural diagram of a module of another embodiment of the apparatus provided in the present specification.
  • FIG. 10 is a block diagram showing the structure of another embodiment of the apparatus provided by the present specification.
  • FIG. 11 is a block diagram showing the structure of another embodiment of the apparatus provided by the present specification.
  • Figure 12 is a schematic view showing the structure of a frame of an embodiment of the system provided by the present specification.
  • the target image classification or the professional training image image is marked.
  • the sample image annotation information processing it is generally required to identify the target subject in the image, the category of the marked target, the location area of the target in the image, and the like.
  • the category may include different categories of the target or selected attribute values of a certain dimension (eg, based on location, connection relationship, material, color, use, etc.), may be the name of the category or code, number, etc., specific
  • the classification of the target can be defined in advance according to the rules.
  • the objects described in this specification generally include a subject object in an image, such as various organs or tissues in a human anatomical image, individual vehicle components in a vehicle image, and the like.
  • the image processing of the training sample after identifying the target in the image, usually needs to mark the location area of the target, and the specific position area of the main body can be embodied in the image in the frame.
  • the labeling box may be a rectangle or other regular, irregular graphic representation, and may be a closed graphic, such as a rectangular frame, or may include a manner of indicating a positional area in a manner similar to a line segment and an arrow, and the specific limitation is not limited thereto. .
  • the annotation information of the target location area in the identification image may be collectively referred to as a labeling frame.
  • FIG. 1 is a schematic diagram of a job scene for marking multiple targets in a sample image, and requires an operator to mark the vehicle components and corresponding component classification labels, for example, the tire number is 31.
  • the labeling frame 31 corresponding to the size of the label box should be reasonable to frame the location of the tire.
  • the labeling personnel always make mistakes because of the limited attention and lack of professionalism of the person.
  • the labeling frame 31 is too small, or the tire labeling error is 30, or the "front gear" in the missing image Mud board parts.
  • a single business-level training is generally adopted to improve the accuracy of the training sample image annotation information, such as professional domain knowledge training, car component classification label memory, and the like.
  • the fast and efficient annotation information interaction feedback between the machine and the operator is adopted, the standardized operation flow is realized, the problem of effective discovery and feedback operation is effectively monitored, and the problem is supervised and improved.
  • the sample image is labeled with information processing quality.
  • the error annotation information can be feedbacked and corrected in time, so that the operator can gradually improve the marking operation ability in the continuous operation of the sample image annotation information, and the quality of the annotation can be effectively guaranteed, so that the whole The efficiency of the annotation processing system is improved.
  • a plurality of control nodes may be divided according to different processing stages of the annotation information, such as a first node for checking initial annotation information in the sample image, and detecting the processed image for the first node.
  • the second node that labels the information for review may add a third node that randomly samples the first node or the second node to mark the processing result.
  • a node finds that the label information of the previous node has an error it can promptly feedback, and after the correction, it can continue to check.
  • the image through which the annotation information is checked can be added as a sample image of the model training to the training sample set. In this way, through the interaction processing and information feedback between different nodes, the quality monitoring of the annotation information can be realized, the service capability of the labeling personnel is gradually improved, and the accuracy of labeling the samples falling into the training sample set is greatly improved.
  • the operator A of the second node finds that the labeling person B of the first node is wrong, and can select an option for marking the information error in the system, and can give an error remark or an error classification, and the system can Automatically return to the first node, so that the labeling personnel B of the first node make timely modifications.
  • the operator A who can return to the second node can continue to check. If it is correct, it will pass, and if it is wrong, it can return again.
  • the labeling person B can gradually reduce the error rate of the sample image annotation information.
  • One embodiment provided by this specification can be applied to a multi-terminal system architecture (including different terminals belonging to the same system), in a distributed system, or in a dedicated image annotation information processing application.
  • the system may include a single computer device, or may include a server cluster composed of a plurality of servers, or a distributed system structure. In some application scenarios, an operator may interact with the system.
  • the system may be divided into corresponding processing nodes according to different workers or different operating phases (flows), such as the above. The first node that checks the initial annotation information in the sample image, the second node that reviews the annotation information of the image after the first node detection processing, and the like.
  • first node, the second node, and the third node involved in other embodiments may be different terminals labeled with the information processing system, for example, the label information automatically generated by the outsourced operator to the server.
  • the computer terminal of the first node performing the first check may similarly have a computer terminal of the second node specially provided for the operator to perform the annotation information review, and a computer terminal of the third node for the random sampling of the annotation information by the internal personnel.
  • one or more of the first node, the second node, the third node, and the like may be the same terminal, or some of the nodes are the same terminal.
  • the method may be logically divided into different processing nodes when implemented in a specific application system.
  • the nodes may be physically separated different terminals or may be the same terminal device.
  • FIG. 2 is a schematic flowchart diagram of an embodiment of a sample image annotation information processing method provided by the present specification.
  • the present specification provides method operation steps or device structures as shown in the following embodiments or figures, there may be more or partial merged fewer operational steps in the method or device based on conventional or no inventive labor. Or module unit.
  • the execution order of the steps or the module structure of the device is not limited to the execution order or the module structure shown in the embodiment or the drawings.
  • server or terminal product of the method or module structure When the device, server or terminal product of the method or module structure is applied, it may be executed sequentially or in parallel according to the method or module structure shown in the embodiment or the drawing (for example, parallel processor or multi-thread processing). Environment, even including distributed processing, server cluster implementation environment).
  • the method may include: S0: the first node receives a task image, and the task image includes at least the following annotation information: a category corresponding to the target in the identified task image. And a labeling box for the target.
  • the original vehicle damage image collected in the field can be preprocessed with the annotation information, and the task image to be processed in this embodiment is obtained.
  • the pre-processing may include marking the target of the vehicle damage image to obtain the annotation information.
  • the acquisition of the annotation information in the pre-processing can be performed by using a preset algorithm to quickly identify the components in the image, mark the component number of the component, and frame the label of the location of the component.
  • the annotation information in the task image can be implemented by using various icon target detection algorithms, which is not limited in this embodiment.
  • the task image may be transmitted to the first node for processing by a case level of the job.
  • a case level of the job For example, all the pictures of a car damage case can be given at one time, and the operator can perform AI (Artificial Intelligence) on the terminal device of the first node.
  • AI Artificial Intelligence
  • the preset algorithm can be used to preprocess the car damage image to obtain the label information.
  • the server system pre-labeled annotation information is checked and modified.
  • An annotation box of the AI prediction can be given on the labeling interface of the terminal device and can be modified by the operator.
  • the operator may perform the first detection process on the tag information in the task image received by the first node, and detect whether there is an error in the tag information in the task image, and if there is an error, the correction may be performed to save the corrected detection result; For the task image, if the operator finds that the target is correctly detected and all the label boxes and classifications are correct, it can be determined that the task image labeling information has no erroneous detection result.
  • the method further includes: S2: the first node receives the inspection result of the task image, and sends the inspection task image to the second node, where the inspection result includes: The labeling information is subjected to a first inspection process to determine a labeling result obtained by correcting the labeling information when the labeling information has an error.
  • the worker at the second node may review the task image after the first detection process is performed on the first node.
  • the operator of the node mainly judges the right or wrong of the detection result of the operation task of the first node.
  • the label processing interface can be similar to the processing interface of the first node operator, and the difference can be separate.
  • FIG. 3 when the operator of the second node reviews the annotation information of the task image P1, it is determined whether there is an error in the annotation information, and if so, the first node can obtain the first obtained by the first node operator when performing the first detection processing.
  • the type of error in a test result, if not, can be passed directly.
  • the second node receives the review result. If the review result includes the label information, the review result is sent to the first node to perform a first re-inspection process, where the review result includes: The image performs a second check process, and when there is an error in the tag information, the determined error type of the check result is erroneous;
  • the first node receives the first re-inspection result, and sends the first re-inspection result to the second node to perform the second check process, where the first re-inspection result includes The error result in the error type of the task image is corrected.
  • the error information may be fed back to the first node as the error type shown in this embodiment.
  • the first node may display the review result on the display interface of the first node terminal device, or display the information in the manner of notification and reminding, so that the operator of the first node labels the detected faulty task image according to the feedback result of the feedback.
  • the information is re-examined.
  • the review result returned by the second node to the first node may include an error type in which the first detection result is incorrect, and does not include the task image corresponding to the error, in which case the first node may use the cache or the backup.
  • the task image is re-examined, which can reduce the amount of data sent by the second node to the first node, saving network overhead.
  • the review result may also include a task image in which the tag information error occurs in the review, and the error type is connected to the corresponding task image and fed back to the first node, so that the first node can be The operator quickly locates the re-examined image and processes it in time to improve the efficiency of error correction processing.
  • the first inspection process, the second inspection process, the first re-inspection process described above, and even the second re-inspection process described in the following embodiments may be the same for the image tag information check.
  • the processing method such as the same label information inspection item or the same inspection workflow, requirements, etc.
  • the operator of the first node determines the first re-inspection result after performing the re-correction process on the task image that has the error according to the review result, and then may send the first re-inspection result of the corresponding task image to the second node again, by the second node.
  • the operator performs the second inspection process again.
  • the application scenario in the embodiment may again feed back the review result to the first node for processing; if the second check process does not find an error after the correction, the tag information is reviewed at the second node. Pass, you can flow to the next processing node.
  • sample image annotation information is a basic and important business process, which has great impact on the target detection, identification, and related services such as product positioning, search, and push of subsequent online products.
  • the labeling information of the error can be effectively and timely detected and fed back.
  • the information interaction between the operator and each node in the solution of the embodiment can make the operators of each node constantly realize their weak links, thereby assisting their targeted gradual improvement of the working ability, and improving the processing of the entire sample image annotation information. quality.
  • the task image processed by the second node in the above embodiment may be used as a sample image and placed in a corresponding sample image set.
  • the task image processed by the second node may be subjected to other processing and then labeled as a sample image.
  • the feedback interaction process with the operator of the third section may also be added.
  • the third node may perform a sampling process on the review result of the second node to verify whether the tag information of the task image processed by the second node operator is correct. If there is an error in the label information in the sampled image, in one embodiment, the task image with the wrong information may be sent to the second node for re-examination. In another embodiment, the task image with the wrong information may be located.
  • FIG. 4 is another embodiment of the method provided by the present disclosure, and the method may further include:
  • the third node receives the sampling result. If the sampling result includes an error in the labeling information, sending the sampling information of the corresponding sampling image to the second node for performing a second re-inspection process, where the sampling result includes : selecting a sampled image from the received task image according to a preset rule, and verifying whether the labeled information of the sampled image is correct or not;
  • the second node receives the second re-inspection result, and sends the second re-inspection result to the third node, where the second re-inspection result includes marking the corresponding task image based on the sampling information.
  • the result of the correction obtained by the information correction.
  • the operator of the third node may randomly extract the task image, or extract the task image based on one or more of "inspector” or “review person” and "check date”.
  • the rule that selects the processed image for the processing from the received task image is called a sampled image. Therefore, in an embodiment of the method, the selecting the sampled image may include: selecting a task image based on at least one of a user identifier and an execution date of the annotation information processing.
  • the execution date may include a review date of the second node in the above review.
  • the execution date may include an inspection date at which the worker checks at the first node.
  • the second node sends the task image with the correct information in the review to the third node, and the third node can persist the task image.
  • the operator of the third node can acquire the sampled image from the third node to perform verification processing of the tag information. If the sampling information of the sampled image is correct, the corresponding task image or the batch corresponding to the task image may be marked as a training sample. If the sampling result includes an error in the labeling information, the sampling information of the corresponding sampling image may be sent to the second node for the second re-inspection processing.
  • the second inspection process is the same as the second inspection process described in the above embodiment, or is the same as the first re-inspection process. Of course, it is also possible to separately set the manner in which the annotation information is processed for the sampling result.
  • the sampling information error occurs to the sampling information of the second node.
  • the sampling image with the wrong information may be sent to the second node, and the specific error information and the task image may not be sent;
  • only the identification error information may be sent to the second image, and the specific information of the error information may include which image is generated by the sampling, and the task image may not be sent.
  • the transmitting the sampling information of the corresponding sampled image to the second node comprises at least one of the following:
  • the labeling error information of the sampled image is sent to the second node.
  • the batch may include a collection of task images divided according to a predetermined dimension, for example, a vehicle damage case is a batch, and all images under the case are in a task image set, such as a case of a bicycle crash accident. Containing 100 vehicle damage images, after AI pre-labeling, first node check correction, and second node review, the third node randomly samples 10 images of the case to verify whether the label information is correct. If the labeling information of the 10 images is correct, the 100 vehicle damage images of the case are added to the sample image training set.
  • the case may be All of the 100 vehicle damage images are returned to the second node (in some embodiments, they can also be directly returned to the first node), and the second node operator re-examines the processing.
  • the batch may be divided according to the identity of the first node inspector or the date of the inspection. For example, when the spot checker A finds that there is an error in the tagged information in the review result of the date of December 20, 2017, the reviewer A may be changed. All the task images reviewed during the day of December 20, 2017 are returned to the second node for re-examination.
  • the specific content and manner of the returned sampling information can be set accordingly.
  • the sampling process of each batch of the task image may be performed, and the sample image may be used as the training sample image after the sampling pass. It is also possible to perform periodic sampling processing on a part of the image of the task image transferred from the second node periodically, and the task image or the task image set (batch) that has not been sampled can be used as the training sample image according to the correct business process. If there is no internal sampling after 3 days of persistence, it will pass by default and can be added to the corresponding sample image training set. Therefore, in another embodiment of the method of the present specification, the method further includes: marking, as the training sample image, the task image set corresponding to the sampling image whose sampling result is correct.
  • the task image set corresponding to the sampled image described above may include a set of images of the batch in which the task image is located, and generally includes a plurality of task images, but the present specification does not exclude the implementation of including a task image in the task image set. happening.
  • the task image in which the buried point information is set may be referred to herein as a monitoring image, and the monitoring image generally includes all targets in the image that have been identified and determined in advance, the category to which the target belongs, the mark frame size position of the target, and the like. A certain proportion of the monitoring image may be added to the task picture in advance.
  • the accuracy of the detection result processed by the first node operator may be determined according to the recognition result of the annotation information of the monitoring image at the first node.
  • the method further includes:
  • S102 adding a predetermined proportion of the monitoring image to the task image, where the known annotation information of the monitoring image includes the identified target and corresponding category and labeling box information;
  • S104 Acquire a recognition result of the annotation information of the monitoring image in the inspection result
  • S106 Compare the identification result with the known annotation information, and determine an inspection accuracy rate of the inspection result.
  • the area ratio of the labeling frame in the inspection result of the identified object in the monitoring image to the inspection result obtained by the operator detection processing can be compared (in this example, the cross-sectional area of the block diagram can be used. / The combined area of the two boxes, as shown by the solid and dashed boxes in Figure 5) and the corresponding categories. If the target type of the mark is correct, it is the front door of the vehicle, and the area ratio of the marked frame is within the error range, it can be considered that the mark box in the inspection result processed by the operator is marked correctly. For an image, if all the boxes are labeled correctly, you can be sure that the label information for the image is correct.
  • the method may further include: when the check accuracy reaches the first threshold within the first preset period, issuing a corresponding notification message.
  • the monitoring image can be added to the task image and the operator inspection accuracy is determined based on the recognition result of the annotation information of the monitoring image in the inspection result of the first node.
  • the monitoring image may be used to bury the accuracy of the second node reviewer review result processing, and the quality supervision and feedback of the review process may be implemented.
  • the method may further include:
  • S122 adding a predetermined proportion of the monitoring image to the task image, where the known annotation information of the monitoring image includes the identified target and the corresponding category and labeling box information;
  • S126 Determine a review accuracy of the review result based on the recognition result.
  • the accuracy can be checked through real-time monitoring.
  • the inspection result of the monitoring image of the standard monitoring information may be compared, and the inspection result of the information of the monitoring image marked by the reviewing personnel may be compared, and when the error of the two is in conformity with the expectation, the reviewing process of the task reviewing personnel may be normal and meet the requirements of the post.
  • another embodiment of the method may further include: when the review accuracy reaches the second threshold in the second preset period, issuing a corresponding notification message.
  • the first preset period, the second preset period, and the corresponding first threshold and second threshold for issuing the notification may be set according to actual needs. For example, if the review accuracy rate is lower than the second threshold in the second preset period, the handover recommendation message is sent to the designated receiver, and the second threshold may be set smaller than the first threshold.
  • the labeling personnel with low accuracy in some time periods are suggested to remind, and the labeling personnel with low long-term correct rate can issue a recommendation message to the designated receiving party, such as the administrator terminal or the personnel management terminal.
  • the designated receiving party such as the administrator terminal or the personnel management terminal.
  • the foregoing process for obtaining the inspection accuracy and the review accuracy by the burying point can be implemented at a specified node, for example, the first node calculates the inspection accuracy rate, and the second node calculates the review accuracy rate.
  • the logical processing unit implementation is set separately.
  • the review accuracy and the sampling result may be combined to determine whether the task image can be used as the training sample image.
  • the method may further include: S140: if the review accuracy is within an error range, and the sampling result is passed, adding the task image set corresponding to the sampled image to the training sample set.
  • the consistency rate of the reviewer review result and the buried point test result can be compared. If the internal sample pass is passed and the agreement rate is in accordance with the expectation, the task image processed by the reviewer can be batched and added to the corresponding training sample set.
  • the calculation of the different nodes and the inspection accuracy and the review accuracy of the above embodiments may be arranged in different processing links in practical applications.
  • the first node and the second node may be processed by an external worker.
  • the internal spot check of the third section can be handled by internal operators, so that through the quality inspection of the external and internal links, it is possible to avoid the collusion of external workers and lead to the discharge of the task of the large number of task images.
  • the accuracy of the processing of the operator can be detected in the interior, and the problem can be found in time, and the feedback can be given to the operator or the replacement operator can be reminded.
  • the accuracy of the image annotation information finally falling into the training sample set can be effectively improved, and compared with the conventional continuous emphasis on the labeling rules and content training,
  • One angle makes the whole sample image annotation information processing realize the progress while learning, effectively guarantees the quality of the annotation, and provides timely and effective information feedback in the workflow, and improves the efficiency of the sample image annotation information.
  • the foregoing embodiment describes an implementation manner of a method for processing sample image annotation information by using different logic processing nodes.
  • the specific processing nodes may be implemented by different terminal devices in the system, such as the first server and the second node of the first node.
  • the implementation steps of the second server, the third server of the third node, or the first node and the second node are implemented by the same server or server system (application).
  • the method provided by the present specification may also be implemented by the same physical terminal device, or implemented by a plurality of terminal devices, such as a sample image annotation information system server, where different operators can perform information interaction with the operator, such as an operation. Person A can check the annotation information of the task image on the system server, correct the annotation information of the AI, and determine and persist the inspection result.
  • the worker B can review the inspection result of the worker A on the system server, and if the label information is found to be incorrect, the marker can be marked and the error type of the information error is marked by the system server.
  • the operator C can also perform a spot check on the review result of the worker B through the system server.
  • the inspection result of the worker A can also be spot-checked. Therefore, another embodiment of the sample image annotation information processing method provided by the present specification may include:
  • S100 Receive a task image, where the task image includes at least the following annotation information: a category corresponding to the target in the identified task image, and an annotation box of the target;
  • S200 Receive a check result of the task image, where the check result includes: performing first check processing on the label information of the task image, and determining that the label information is corrected when the label information is corrected Label the results;
  • S300 Receive a review result of the task image, and if the review result includes an error of the tag information, return an error type, where the review result includes: performing a second check process on the task image, where the tag information exists When an error occurs, the determined result of the check results in an error type;
  • S400 Receive a first re-inspection result, perform the second check process on the first re-inspection result, where the first re-inspection result includes correcting the tag information of the task image based on the error type. Label the results.
  • FIG. 6 is a schematic flow chart of a method of another embodiment of the method provided by the present specification.
  • sampling of the task image may also be implemented to further ensure the accuracy of the annotation information of the training sample image. Therefore, the method may further include:
  • S500 Receive a sampling result of the task image, where the sampling result includes: selecting a sampling image from the task image whose correct labeling information is correct according to a preset rule, and verifying whether the labeling information of the sampling image is correct Processing result;
  • S504 Receive a second re-inspection result, where the second re-inspection result includes an annotation result obtained by correcting the annotation information of the corresponding task image based on the sampling information.
  • sample image annotation information processing method that can be applied to the same system server according to the foregoing embodiment of the present specification may further include other methods according to the foregoing description of the method for dividing a plurality of nodes and setting the corresponding node terminal device.
  • the burying point is set to monitor the correct rate of the information processing of the operator of the different processing nodes.
  • FIG. 7 is a hardware structural block diagram of a training sample image annotation information processing server according to an embodiment of the present invention.
  • server 10 may include one or more (only one shown) processor 102 (processor 102 may include, but is not limited to, a processing device such as a microprocessor MCU or a programmable logic device FPGA), A memory 104 for storing data, and a transmission module 106 for communication functions.
  • processor 102 may include, but is not limited to, a processing device such as a microprocessor MCU or a programmable logic device FPGA
  • a memory 104 for storing data
  • a transmission module 106 for communication functions.
  • server 10 may also include more or fewer components than those shown in FIG. 7, for example, may also include other processing hardware, such as a GPU (Graphics Processing Unit), or have a different appearance than that shown in FIG. Configuration.
  • GPU Graphics Processing Unit
  • the memory 104 can be used to store software programs and modules of application software, such as program instructions/modules corresponding to the search method in the embodiment of the present invention, and the processor 102 executes various functions by running software programs and modules stored in the memory 104.
  • Application and data processing that is, a processing method for realizing the content display of the above navigation interaction interface.
  • Memory 104 may include high speed random access memory, and may also include non-volatile memory such as one or more magnetic storage devices, flash memory, or other non-volatile solid state memory.
  • memory 104 may further include memory remotely located relative to processor 102, which may be coupled to computer terminal 10 via a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • the transmission module 106 is configured to receive or transmit data via a network.
  • the network specific examples described above may include a wireless network provided by a communication provider of the computer terminal 10.
  • the transport module 106 includes a Network Interface Controller (NIC) that can be connected to other network devices through a base station to communicate with the Internet.
  • the transmission module 106 can be a Radio Frequency (RF) module for communicating with the Internet wirelessly.
  • NIC Network Interface Controller
  • RF Radio Frequency
  • FIG. 8 is a schematic structural diagram of a module image tagging information processing apparatus according to an embodiment of the present disclosure, which may include:
  • the image receiving module 201 is configured to receive a task image, where the task image includes at least the following annotation information: a category corresponding to the target in the identified task image and a labeling box of the target;
  • the label checking interaction module 202 is configured to receive the inspection result of the task image, and send the inspection task image to the label review interaction module 203, where the inspection result includes: performing labeling information on the task image.
  • the checking process is performed to determine the labeling result obtained by modifying the labeling information when there is an error in the labeling information, and may be further configured to receive the first re-inspection result, and send the labeling review interaction to the first re-inspection result
  • the module 103 performs a second check process, where the first re-inspection result includes an annotation result obtained by correcting the tag information of the task image based on an error type in the review result;
  • the annotation review interaction module 203 may be configured to receive the review result, and send the review result to the annotation check interaction module 102 to perform a first recheck process, where the review result includes an error of the annotation information, where the review result includes : performing a second check process on the task image, and when there is an error in the tag information, the determined check result has an error type of error.
  • FIG. 9 is a schematic diagram of a module structure of another embodiment of a sample image annotation information processing apparatus provided by the present specification.
  • the apparatus may further include: an annotation sampling interaction module 104, which may be used for the labeling.
  • the task image of the correct labeling information sent by the interaction module 103 may be used to receive the sampling result, and when the sampling result includes an error of the labeling information, the sampling information of the corresponding sampling image is sent to the labeling and reviewing interaction module.
  • 103 performs a second re-inspection process, where the sampling result includes: selecting a sampling image from the received task image according to a preset rule, and verifying whether the labeling information of the sampling image is correct.
  • the annotation review interaction module 103 is further configured to receive the second re-inspection result, and send the second re-inspection result to the label sampling interaction module 104, where the second re-inspection result includes The sampling result is obtained by correcting the labeling information of the corresponding task image by the sampling information.
  • the marking the sampling interaction module 104 to select the sampling image may include: selecting a task image based on at least one of a user identifier and an execution date of the annotation information processing.
  • the label sampling interaction module 104 sends the sampling information of the corresponding sampling image to the annotation review interaction module 103, which may include at least one of the following:
  • the task image set corresponding to the sampled image is sent to the label review interaction module 103;
  • the labeling error information of the sampled image is sent to the label review interaction module 103.
  • the task image corresponding to the sampling pass or the image set corresponding to the task image may be added to the corresponding training sample set, so that the labeling information of the image in the obtained training sample set is more accurate, so that The algorithm based on the training sample image has higher processing accuracy.
  • the apparatus may further include: an output module 205, configured to mark the set of task images corresponding to the sampled image with the correct sampling information as the training sample image, and store the image into the corresponding Training sample collection.
  • the other embodiment of the device provided by the present specification may further include: a first buried point processing module 206, configured to identify a predetermined proportion of the monitoring image added in the task image, the monitoring image is known
  • the labeling information includes the identified target and the corresponding category and the label box information; and may be used to obtain the identification result of the labeling information of the monitoring image in the checking result; and may also be used to compare the identifying result with the Knowing the annotation information, determining the inspection accuracy of the inspection result.
  • FIG. 10 is a schematic structural diagram of a module according to another embodiment of the apparatus provided in the present specification. As shown in FIG. 10, another embodiment of the apparatus may further perform a burying of a review result of an operator of the second node. monitor.
  • the monitoring image used for the burying point monitoring can be the same as the monitoring image used by the first node or the first burying point processing module 106, that is, the same batch of monitoring images can be used to calculate the correct rate of the different operator's annotation information processing, of course, Different monitoring images can be used.
  • the method further includes: a second burying point processing module 207, configured to identify a predetermined proportion of the monitoring image added in the task image, where the monitoring image is known
  • the labeling information includes the identified target and the corresponding category and the label box information; and may be used to obtain the identification result of the labeling information of the monitoring image in the checking result; and may also be used to compare the identifying result with the Knowing the annotation information, determining the inspection accuracy of the inspection result.
  • the notification message may be sent according to the detection accuracy calculated by the burying point or the review accuracy. For example, when the operator A check accuracy is within the first threshold interval within one week, the operator A can be issued with "the accuracy of the label information is low, please check the cause and handle it carefully.” If the inspection accuracy of the worker A is lower than the minimum assessment threshold on the average of 10 working days, the notification message may be sent to the designated supervision terminal, for example, the message is sent to the labeling interaction module 104 or the dedicated terminal device, and even a suggestion may be attached. Information such as adjustments or statistical error types are fed back to the designated recipient. Therefore, another embodiment of the apparatus provided in this specification may further include: a first notification module 2082, configured to: when the check accuracy reaches a first threshold in a first preset period, issue corresponding Notification message.
  • the second embodiment of the device may further include: a second notification module 2084, configured to send a corresponding notification message when the review accuracy reaches the second threshold in the second preset period .
  • FIG. 11 is a block diagram showing the structure of another embodiment of the apparatus provided in the present specification.
  • the output module 105 may determine whether the sampled task image or the task image set passes by using the sampling result and the review accuracy calculated by the buried point. Specifically, in another embodiment of the apparatus, the output module 105 adds a corresponding task image set to the training sample set when the review accuracy is within an error range and the sampling result passes.
  • the sample image annotation information processing method provided by the embodiment of the present specification may be implemented by a processor executing a corresponding program instruction in a computer, such as an application programming language using windows and a Linux operating system, or other android, iOS system, for example.
  • a processor executing a corresponding program instruction in a computer
  • the server may include a processor and a memory for storing processor-executable instructions, where the processor implements the instruction:
  • the task image includes at least the following annotation information: a category corresponding to the target in the identified task image and a labeling box of the target;
  • the inspection result includes: performing a first inspection process on the annotation information of the task image, and determining an annotation result obtained by correcting the annotation information when the annotation information has an error ;
  • the server may be a separate server, a server cluster, or a server in a distributed system, and server terminals distributed in different processing nodes may be regarded as the same server.
  • FIG. 12 is a schematic diagram of a frame structure of an embodiment of the system provided by the present specification, as shown in FIG. include:
  • the first processing terminal may be configured to receive the task image and the inspection result of the task image, and send the inspection task image to the second processing terminal, where the task image includes at least the following annotation information: the identified task a category corresponding to the target in the image and a labeling box of the target, the checking result includes: performing a first checking process on the labeling information of the task image, and determining that the labeling information has an error, and the labeling information is The result of the labeling is performed; and the first re-inspection result is sent to the first terminal for performing a second check process, where the first re-inspection result is based on the review The result of the correction obtained by correcting the annotation information of the task image by the error type in the result;
  • the second processing terminal may be configured to receive a review result, and send the review result to the first processing terminal to perform a first re-inspection process when the review result includes an error in the tag information, where the review result includes: The task image performs a second check process, and when the tag information has an error, the determined check result has an error type; and the second check result may be received, and the second check result may be received.
  • the second re-inspection result includes an annotation result obtained by correcting the labeling information of the corresponding task image based on the sampling information;
  • the third processing terminal may be configured to receive a task image with correct labeling information sent by the second processing terminal, and further configured to receive a sampling result, and when the sampling result includes an error of the labeling information, the corresponding sampling image is
  • the sampling information is sent to the second terminal for performing a second re-inspection process, and the sampling result includes: selecting a sampling image from the received task image according to a preset rule, and verifying whether the labeling information of the sampling image is correct. result.
  • the above instructions may be stored in a variety of computer readable storage media.
  • the computer readable storage medium may include physical means for storing information, which may be digitized and stored in a medium utilizing electrical, magnetic or optical means.
  • the computer readable storage medium of this embodiment may include: means for storing information by means of electrical energy, such as various types of memories, such as RAM, ROM, etc.; means for storing information by magnetic energy means, such as hard disk, floppy disk, magnetic tape, magnetic Core memory, bubble memory, U disk; means for optically storing information such as CD or DVD.
  • electrical energy such as various types of memories, such as RAM, ROM, etc.
  • magnetic energy means such as hard disk, floppy disk, magnetic tape, magnetic Core memory, bubble memory, U disk
  • means for optically storing information such as CD or DVD.
  • quantum memories graphene memories, and the like.
  • This specification provides interactive judgment processing logic for different processing results of multiple job nodes.
  • the image annotation information When the image annotation information is wrong, it can automatically return to the operator for re-examination, modification, and the like. In this way, the operator's business ability can be improved in the continuous feedback interaction, the labeling efficiency is gradually improved, and the accuracy of the labeling information of the training sample image is effectively improved.
  • Embodiments of the present specification are not limited to being necessarily in accordance with industry communication standards, standard image data processing protocols, communication protocols, and standard data models/templates or embodiments described herein. Certain industry standards or implementations that have been modified in a manner that uses a custom approach or an embodiment described above may also achieve the same, equivalent, or similar, or post-deformation implementation effects of the above-described embodiments. Embodiments obtained by applying such modified or modified data acquisition, storage, judgment, processing, etc., may still fall within the scope of alternative embodiments of the present specification.
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • HDL Hardware Description Language
  • the controller can be implemented in any suitable manner, for example, the controller can take the form of, for example, a microprocessor or processor and a computer readable medium storing computer readable program code (eg, software or firmware) executable by the (micro)processor.
  • computer readable program code eg, software or firmware
  • examples of controllers include, but are not limited to, the following microcontrollers: ARC 625D, Atmel AT91SAM, The Microchip PIC18F26K20 and the Silicone Labs C8051F320, the memory controller can also be implemented as part of the memory's control logic.
  • the controller can be logically programmed by means of logic gates, switches, ASICs, programmable logic controllers, and embedding.
  • Such a controller can therefore be considered a hardware component, and the means for implementing various functions included therein can also be considered as a structure within the hardware component.
  • a device for implementing various functions can be considered as a software module that can be both a method of implementation and a structure within a hardware component.
  • the system, device, module or unit illustrated in the above embodiments may be implemented by a computer chip or an entity, or by a product having a certain function.
  • a typical implementation device is a computer.
  • the computer can be, for example, a personal computer, a laptop computer, a car-mounted human-machine interaction device, a cellular phone, a camera phone, a smart phone, a personal digital assistant, a media player, a navigation device, an email device, a game console, a tablet.
  • the above devices are described as being separately divided into various modules by function.
  • the functions of the modules may be implemented in the same software or software, or the modules that implement the same function may be implemented by multiple sub-modules or a combination of sub-units.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or integrated. Go to another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the controller can be logically programmed by means of logic gates, switches, ASICs, programmable logic controllers, and embedding.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.
  • a computing device includes one or more processors (CPUs), input/output interfaces, network interfaces, and memory.
  • processors CPUs
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • the memory may include non-persistent memory, random access memory (RAM), and/or non-volatile memory in a computer readable medium, such as read only memory (ROM) or flash memory.
  • RAM random access memory
  • ROM read only memory
  • Memory is an example of a computer readable medium.
  • Computer readable media includes both permanent and non-persistent, removable and non-removable media.
  • Information storage can be implemented by any method or technology.
  • the information can be computer readable instructions, data structures, modules of programs, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory. (ROM), electrically erasable programmable read only memory (EEPROM), flash memory or other memory technology, compact disk read only memory (CD-ROM), digital versatile disk (DVD) or other optical storage, Magnetic tape cartridges, magnetic tape storage or other magnetic storage devices or any other non-transportable media can be used to store information that can be accessed by a computing device.
  • computer readable media does not include temporary storage of computer readable media, such as modulated data signals and carrier waves.
  • embodiments of the present specification can be provided as a method, system, or computer program product.
  • embodiments of the present specification can take the form of an entirely hardware embodiment, an entirely software embodiment or a combination of software and hardware.
  • embodiments of the present specification can take the form of a computer program product embodied on one or more computer usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • Embodiments of the present description can be described in the general context of computer-executable instructions executed by a computer, such as a program module.
  • program modules include routines, programs, objects, components, data structures, and the like that perform particular tasks or implement particular abstract data types.
  • Embodiments of the present specification can also be practiced in distributed computing environments where tasks are performed by remote processing devices that are connected through a communication network.
  • program modules can be located in both local and remote computer storage media including storage devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种图像标注信息处理方法、装置、服务器及系统，可以提供多个节点不同处理结果的监督和判断处理逻辑，当图像标注信息出错时可以自动返回结果，使作业人员进行重新审查、修改等处理。这样可以在不断的审核反馈交互中提升作业人员的业务能力，逐渐提高图像标注效率，极大提高了训练集图片标注准确率。实施方案可以有效的保证标注质量，并提供了作业流中及时、有效的信息反馈，提高样本图像标注信息作业效率。

Description

图像标注信息助理方法、装置、服务器及系统 技术领域
本说明书实施例方案属于计算机数据处理的技术领域，尤其涉及一种图像中的标注信息处理方法、装置、服务器及系统。
背景技术
现有应用中检测图像中物体的方式主要是依靠训练得到的目标检测/识别模型，如车辆定损业务中的部件识别模型、通过拍照图片确定购买物品的模型等。这些目标检测/识别的模型通常需要依赖于大量的已打标样本图像进行训练得到，因此样本图像中标注信息的准确性对模型输出结果的影响十分重大。
前期样本图像标注信息的处理时，样本图像中常常出现包括多个目标主体的情况。多目标标注任务相对于常规的类似判断某张图片上是否是狗或者猫的显著性很强的单个主体分类更加复杂，常常要求在一个图像中标注所有目标的所在区域并给出对应的目标分类结果。尤其是在一些较为专业的业务领域中，有些任务不仅需要靠常规认识/理解来完成，通常还要求标注人员具有一定专业性，还需要一定的专业培训和技巧强化过程。一些为某个专业领域的图像多目标检测算法准备训练样本的专业多目标标注处理要求十分严格，例如识别并标注人体器官、骨骼结构是医学领域专业人员或者非专业人员经过一段时间专业培训后才能进行标注的复杂任务类型。而当需要处理的样本图像数量较多、多数图像中的目标主体较为密集(至少两个)时，人工标注处理时一方面因为注意力有限，另一方面因为分类过多，需要专业性的同时还容易混淆，常常导致输出的样本图像标注信息准确率不高，难以保障标注质量，进而导致图像识别算法效果不佳，图像中目标预测准确率低。
因此，所以如何有效保障样本图像标注信息的准确率是目前亟需解决的一个技术问题。
发明内容
本说明书实施例目的在于提供一种图像标注信息处理方法、装置、服务器及系统，可以有效提高多目标样本图像标注信息的处理准确率，进而提高图像目标检测算法的准确率。
本说明书实施例提供的一种图像标注信息处理方法、装置、服务器及系统是包括以下方式实现的：
一种图像标注信息处理方法，所述方法包括：
第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
第一节点接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。
一种图像标注信息处理方法，所述方法包括：
接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
一种样本图像标注信息处理装置，所述装置包括：
图像接收模块，用于接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
标注检查交互模块，用于接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给标注复查交互模块，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块进行第二检查处理，所述第一重检查结果包括基于复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；
标注复查交互模块，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。
一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：
接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；
接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
一种样本图像标注信息处理系统，包括：
第一处理终端，用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端；还用于接收第一重检查结果，将所述第一重检查结果发送第二终端进行第二检查处理，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果，所述第一重检查结果包括基于所述复查结果中的错误类型对所 述任务图像的标注信息进行修正得到的标注结果；
第二处理终端，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理；还用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果；
第三处理终端，用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。
本说明书实施例提供的一种样本图像标注信息处理方法、装置、服务器及系统，可以在复杂和专业性较强的多目标样本图像标注信息处理作业中提供多个节点不同处理结果的监督和判断处理逻辑，当图像标注信息出错时可以自动返回结果，使作业人员进行重新审查、修改等处理，实现系统与作业人员的良好交互反馈、质量监控、能力检测、防止不同节点作业人员串通等。这样可以在不断的审核反馈交互中提升作业人员的业务能力，逐渐提高图像标注效率，有效提高训练样本图像标注信息的准确率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书所述方法一种对样本图像中的多目标进行标注的作业场景示意图；
图2是本说明书提供的所述一种样本图像标注信息处理方法实施例的流程示意图；
图3是本说明书一个实施场景中在第二节点对任务图像进行复查的处理过程示意图；
图4是本说明书提供的所述方法另一个实施例的方法流程示意图；
图5是本说明书一个确定检查准确率的处理场景示意图；
图6是本说明书提供的一种用于服务器的样本图像标注信息处理方法流程示意图；
图7是本发明实施例的一种训练样本图像标注信息处理服务器的硬件结构框图；
图8是本说明书提供的一种样本图像标注信息处理装置实施例的模块结构示意图；
图9是本说明书提供的所述装置另一种实施例的模块结构示意图；
图10是本说明书提供的所述装置另一种实施例的模块结构示意图；
图11是本说明书提供的所述装置另一种实施例的模块结构示意图；
图12是本说明书提供的所述系统一种实施例的框架结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书中的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例保护的范围。
在一些业务场景中，常常需要处理目标分类繁多或专业性较强的训练样本图像标注信息的情况。在样本图像标注信息处理中，通常要求识别出图像中的目标主体、标记出目标的类别、目标在图像中的位置区域等。所述的类别可以包括目标的不同分类或选取的某一维度的属性值(如基于位置、连接关系、材质、颜色、用途等的分类)，可以是类别的名称或代码、编号等，具体的可以预先根据规则定义目标的分类。本说明书中所述的目标通常的包括图像中的主体物体，如人体解剖图像中的各个器官或组织、车辆图像中的各个车辆部件等。训练样本的图像处理，在识别出图像中的目标后，通常还需要标注出目标的位置区域，具体的可以在图像中以标注框的方式体现主体的位置区域。所述的标注框可以为矩形或其他规则、不规则的图形表示，可以为封闭的图形，如矩形框，也可以包括类似线段加箭头的方式指示位置区域的方式，具体的对此不做限制。为了统一描述，本说明书的一个或多个实施例中可以将标识图像中目标位置区域的标注信息统一称为标注框。
当图像中目标分类较多，通常还会要求标注出图像中所有的目标以及类型和框图， 但实际应用中由于标注人员存在自身注意力、工作状态、记忆力等多种局限，往往出现各种类型的错误，如误检、漏检、分类标号错误、标注框过大或过小等。以上任何一类错误发生都会影响最终进入训练集中的样本图像标注信息的准确率，进而导致算法训练效果不佳，预测准确率降低。一个应用场景示例如图1所示，图1是一种对样本图像中的多目标进行标注的作业场景示意图，要求作业人员标注出汽车各个部件及对应部件分类标号，例如轮胎的标号为31，31对应的标注框大小要合理的框出轮胎所在位置区域。但实际作业中，标注人员因为受到人本身注意力有限和专业性不足等的影响，总会犯错误，例如标注框31太小，或轮胎标号标错为30，或者遗漏图像中的“前挡泥板”部件。而目前普遍采用的是单一的业务层面上的培训来提高训练样本图像标注信息的准确率，如专业领域知识培训、汽车部件分类标号记忆等。
而本说明书提供的一个或多个样本图像标注信息处理方法的实施例中，采用机器与作业人员的快速、高效的标注信息交互反馈，实现标准化作业流转，有效发现和反馈作业问题，监督和提高样本图像标注信息处理质量。可以通过设置多个控制节点的标注信息的检查处理来及时反馈、修正错误的标注信息，使得作业人员在样本图像标注信息的持续作业中逐渐提高标注作业能力，并可以有效保障标注质量，使得整个标注处理系统的效率得到提高。本说明书提供的一些实施例中，可以根据对标注信息的不同处理阶段划分多个控制节点，如用于检查样本图像中初始的标注信息的第一节点、对第一节点检测处理后的图像的标注信息进行复查的第二节点，甚至在一些实施例中还可以加入随机抽检第一节点或第二节点标注处理结果的第三节点。当某个节点发现上个节点的标注信息出现错误时可以及时的进行反馈，进行修正后可以继续检查。标注信息检查通过的图像可以作为模型训练的样本图像，加入到训练样本集合中。这样，通过不同节点之间的交互处理和信息反馈，可以实现标注信息的质量监控，逐渐提高标注人员业务能力，极大的提高了落入训练样本集合中标注样本的准确率。
例如一个简单的应用示例中，第二节点的作业人员A发现第一节点的标注人员B做错了，可以在系统中选择标注信息错误的选项，并可以给出错误备注或错误分类，系统可以自动返回给第一节点，使得第一节点的标注人员B进行及时的修改。B修改后可以返回给第二节点的作业人员A继续检查，如果正确就通过，如果错误还可以再次返回。通过本方案的图像标注信息处理方式，标注人员B可以逐渐的减少样本图像标注信息的错误率。
本说明书提供的一种实施方案可以应用到多终端的系统构架中(包括属于同一系统 的不同终端)、分布式系统中，或者专用的图像标注信息处理应用中。所述的系统可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式系统结构。在一些应用场景中，作业人员可以与所述系统进行交互，本说明书的一个实施例中可以根据不同的作业人员或不同的作业阶段(流程)将所述系统划分为相应的处理节点，例如上述中所述的检查样本图像中初始的标注信息的第一节点、对第一节点检测处理后的图像的标注信息进行复查的第二节点等。需要说明的是，所述的第一节点、第二节点，以及其他实施例中所涉及的第三节点，可以为标注信息处理系统的不同终端，例如给外包作业人员对服务器自动生成的标注信息进行首次检查的第一节点的计算机终端，类似的还可以有专门提供给作业人员进行标注信息复查的第二节点的计算机终端，以及内部人员对标注信息进行随机抽检的第三节点的计算机终端。当然，本说明书不排除其他的实施方式中，所述的第一节点、第二节点、第三节点等中的一个或多个可以为相同的终端，或者其中的部分节点为相同的终端。这些相同或不同的终端，所述方法在具体的应用系统中实施时可以从业务处理逻辑上划分为不同的处理节点，这些节点可以是物理上分开的不同终端，也可以为同一终端设备。
下面以一个具体的车损样本图像应用场景为例对本说明书实施方案进行说明。具体的，图2是本说明书提供的所述一种样本图像标注信息处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
具体的一种实施例如图2所示，所述方法可以包括：S0：第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框。
在本实施例一个车损样本图像标注信息处理的应用场景中，可以对现场采集的原始的车损图像进行标注信息的预处理，得到本实施例中需要处理的任务图像。所述的预处理可以包括对所述车损图像的目标进行标注，获取标注信息。一般的，在所述预处理中获取标注信息通畅可以采用预设算法进行快速的识别出图像中的部件，标记出部件的类 别编号，同时可以框出部件所在位置的标注框。任务图像中的标注信息可以采用多种图标目标检测算法实现，本说明书实施例对此不做限制。
一些应用场景中，可以通过作业的案件级别将所述任务图像以派单方式传送给第一节点进行处理。例如可以一次给出一个车损案件的所有图片，作业人员在第一节点的终端设备上对AI(Artificial Intelligence，人工智能，这里可以指采用预设算法对车损图像进行预处理得到标注信息的服务器系统)预标注的标注信息进行检查和修改。终端设备的标注界面上可以给出AI预测的标注框并可以允许作业人员修改。作业人员可以对第一节点接收的任务图像中的标注信息进行第一检测处理，检测任务图像中的标注信息是否存在错误，若存在错误，则可以进行修正，保存修正后的检测结果；对于一张任务图像而言，若作业人员检测后发现目标均检测正确并且所有标注框和分类也正确，则可以确定该任务图像标注信息没有错误的检测结果。
作业人员在第一节点对任务图像中的标注信息检测，对AI预标注错误的标注信息进行修正后流转至第二节点，若没有错误，则可以直接流转至第二节点。因此，所述方法中进一步的还可以包括：S2：第一节点接收所述任务图像的检查结果，将检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果。
第二节点处的作业人员可以对第一节点进行第一检测处理后的任务图像进行复查。该节点的作业人员主要是对第一节点的作业任务的标识检测作业结果的对错做出判断，具体的应用中，标注处理界面可以与第一节点作业人员的处理界面相似，不同是可以单独给出第一节点作业人员标注作业处理错误的错误类型。如图3所示，当第二节点的作业人员复查任务图像P1的标注信息时，判断标注信息是否存在错误，若有则可以选出第一节点作业人员在进行第一检测处理时得到的第一检测结果的错误类型，若没有，则可以直接通过。例如图3中，没有错误时，可以在第二节点的终端设备的标注处理界面上勾选“A：正确”，若存在错误，则可以根据相应的错误类型勾选“B1：遗漏标记框”、“B2：分类错误”、“B3误检(无损伤判断为有损伤)”等等中的一个或多个错误类型。在第二节点处，若作业人员复查到认为图像的标注信息存在错误，则可以将该图片的复查结果退回给第一节点，使第一节点的作业人员重新进行检查，修正标注信息(在此可以称为第一重检查处理)。因此，所述方法进一步的可以包括：
S4：所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像 进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
S6：所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。
当第二节点的作业人员进行第二检测发现第一节点的检测结果出现错误时，可以将错误的信息如本实施例中所示的错误类型反馈给第一节点。第一节点可以将该复查结果展示在第一节点终端设备的展示界面上，或者以通知、提醒的信息方式展示，使得第一节点的作业人员根据反馈的复查结果对检测错误的任务图像的标注信息进行重新检查处理。
一种实施方式中，第二节点返回给第一节点的复查结果可以包括第一检测结果出现错误的错误类型，而不包括错误对应的任务图像，这种情况下第一节点可以使用缓存或者备用的任务图像进行重新检查处理，这样可以减少第二节点发送给第一节点是数据量，节约网络开销。当然，本说明书的其他实施例中，所述的复查结果也可以包括复查中出现标注信息错误的任务图像，将错误类型连通相应的任务图像一同反馈给第一节点，这样可以使第一节点的作业人员快速定位重新检查的图像，及时进行处理，提高错误修正处理效率。
需要说明是，上述中所述第一检查处理、第二检查处理、第一重检查处理，甚至包括下述实施例中所述的第二重检查处理，可以为相同的对图像标注信息检查的处理方式，如相同的标注信息检查项目或相同的检查作业流程、要求等。当然，也可以设置第二检查处理与第二检查处理不同，由于第二检查主要实现对第二节点作业人员的检测结果进行复查，因此可以根据实际作业场景设置针对性的第二检测处理的操作。
第一节点的作业人员根据复查结果对出现错误的任务图像进行重新修正处理后确定第一重检结果，然后可以将对应任务图像的第一重检结果再次发送给第二节点，由第二节点的作业人员再次进行第二检查处理。重新修正处理后，如果标注信息还出现错误，本实施例应用场景中可以再次反馈复查结果给第一节点进行处理；如果修正后第二检查处理没有发现错误，则标注信息在第二节点的复查通过，可以流转至下一处理节点。
样本图像标注信息的处理是一项基础且重要的业务处理，对后续线上产品的目标检测、识别，以及相关联业务如产品定位、搜索、推送等的影响十分重大。在本说明书的 一个或多个实施例中，通过对其中至少两个节点的作业人员的交互和作业结果反馈处理，可以有效并及时的发现和反馈标错误的标注信息。通常本实施例方案中作业人员与各个节点的信息交互反馈，可以使各个节点作业人员不断的意识到自己的薄弱环节，进而辅助其针对性的逐步改进作业能力，提高整个样本图像标注信息的处理质量。
上述实施例中经过第二节点复查处理后的任务图像可以作为样本图像，放入相应的样本图像集合中，也可以对第二节点处理后的任务图像进行其他处理后再标记为样本图像。本说明书提供的所述方法的另一个实施例中，还可以增加第三节的与作业人员交互反馈处理。所述的第三节点可以对第二节点的复查结果进行抽检处理，验证第二节点作业人员处理的任务图像的标注信息是否正确。如果抽检的图像中发现标注信息存在错误，一种实施方式中可以将标注信息错误的任务图像发送给第二节点进行重新检查，另一种实施方式中可以将标注信息错误的任务图像所在的那一批次的任务图像发送给第二节点。第三节点的作业人员可以包括内部的质检人员，或者专门设置的定期或不定期对任务图像的标注信息进行抽检处理的作业人员，可以是内部的作业人员，也可以是委托的第三方机构。因此，如图4所示，图4是本说明提供的所述方法的另一个实施例，所述方法还可以包括：
S80：将所述复查结果中所述标注信息正确的任务图像发送至第三节点；
S82：所述第三节点接收抽检结果，若所述抽检结果包括标注信息存在错误，则将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；
S84：所述第二节点接收第二重检查结果，将所述第二重检查结果发送给所述第三节点，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
第三节点的作业人员可以随机抽取任务图像，也可以基于“检查人”或“复检人”、“检查日期”中的一个或多个来抽取任务图像，为便于描述，这里将按照预设规则从接收的任务图像中选取处理的用于筹集处理的图像称为抽检图像。因此，所述方法的一个实施例中，所述选取抽检图像可以包括：基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。所述的执行日期可以包括上述中第二节点进行复查的复查日期。当然，其他的实施例中，如果是对第一节点的任务图像进行复查的实施场景，则执行日期可以包括作业人员在第一节点进行检查的检查日期。
第二节点将复查中标注信息正确的任务图像发送给第三节点，第三节点可以持久化任务图像。第三节点的作业人员可以从第三节点中获取抽检图像进行标注信息的验证处理。如果抽检图像的标注信息抽检结果为正确，则可以将相应的任务图像或者任务图像对应的批次标记为训练样本。如果所述抽检结果包括标注信息存在错误，则可以将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理。所述的第二检查处理和同上述实施例中所述的第二检查处理相同，或者与第一重检查处理相同。当然，也可以针对抽检结果单独设置标注信息处理的方式。
上述中抽检处理中发现标注信息错误发生给第二节点的抽检信息，一种实施例中可以将标注信息错误的抽检图像发送给第二节点，可以不用发送具体的错误信息和任务图像；另一种实施方式中，可以仅将标识错误信息发送给第二图像，标识错误信息中可以包括抽检的是哪张图像发生的什么错误的具体信息，可以不发送任务图像；其他的实施例中，若标注信息存在错误，则可以将该批次对应的所有图像发送给第二节点进行重新检查。因此，本说明书所述方法的另一个实施例中，所述将相应的抽检图像的抽检信息发送至所述第二节点包括下述中的至少一种方式：
将标注信息存在错误的抽检图像发送给所述第二节点；
若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述第二节点；
将抽检图像的标注错误信息发送给所述第二节点。
当然，一些实施例中也可以结合上述其中多种方式进行处理。如将存在标注信息错误的批次的所有任务图像返回给第二节点，同时返回标注错误信息。所述的批次可以包括按照预定维度划分的任务图像的集合，例如一个车损案件为一个批次，其案件下的所有图像均在一个任务图像集合中，如一个车辆单车碰撞事故的案件中包含100张车损图像，经过AI预标注、第一节点检查修正、第二节点复查后，在第三节点随机抽检该案件的10张图像来验证其标注信息是否正确。如果10张图像的标注信息均正确，则该案件的100张车损图像均加入样本图像训练集，如果抽检的10张图像中有至少一种图像的标注信息不正确，则可以将该案件的100张车损图像全部返回给第二节点(一些实施例中也可以直接返回给第一节点)，由第二节点的作业人员重新检查处理。或者也可以按照第一节点检测人员的身份标识或检查日期划分批次，例如当抽检复查人员A在日期2017年12月20日的复查结果中发现标注信息存在错误，则可以将改复查人员A在2017年12月20日这一天中所有复查处理的任务图像全部返还至第二节点进行重新检查。当然，根据实际的作业需要或质量监控标准，可以相应的设置返回的抽检信息的具体内容 和方式。
本实施例中所述的第三节点的抽检处理具体的实施中可以是对每一批次的任务图像进行抽检处理，在抽检通过之后才能作为训练样本图像。也可以是定期不定期的对第二节点流转来的任务图像中的部分图像进行抽检处理，没有被抽检处理到的任务图像或任务图像集合(批次)可以按照正确的业务流程作为训练样本图像，如持久化3天后没有内抽检处理则默认通过，可以加入到相应的样本图像训练集中。因此，本说明书所述方法的另一个实施例中，还可以包括：将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像。
这样，利用本实施例样本图像标记信息处理方法得到的训练样本图像中的标记信息的准确率更高，标记质量和作业人员水平逐步稳健提高，进而提高基于训练样本图像的算法的准确率。上述所述的抽检图像所对应的任务图像集合可以包括任务图像所在的批次的图像集合，通常包括多张任务图像，但本说明书不排除所述的任务图像集合中包括一张任务图像的实施情况。
本说明书提供的所述方法的另一些实施例中，还可以设置在任务图像中进行埋点，以检测作业人员在工作流中标注信息处理的正确率。设置了埋点信息的任务图像在此可以称为监控图像，所述的监控图像通常包括预先已经识别并确定出的图像中的所有目标、目标所属的类别和目标的标记框大小位置等。可以预先在任务图片中添加一定比例的监控图像，一个实施例中可以在第一节点处根据对监控图像的标注信息的识别结果来确定第一节点作业人员处理的检测结果的准确率。具体的一个实施例中，所述方法还包括：
S102：在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；
S104：获取所述检查结果中所述监控图像的标注信息的识别结果；
S106：比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。
例如一个具体的实施示例如图5所示，可以对比监控图像中已识别出的目标的标注框与作业人员检测处理得到的检查结果中的标注框的面积比值(本示例中可以采用框图交叉面积/两个框的合并面积，图5中实线框和虚线框所示)以及对应的类别。若标记的目标的类别正确，均为车辆前门，且标注框面积比值在误差范围内，则可以认为作业人员处理的检查结果中的标记框为标注正确。对一张图像而言，如果所有框都标注正确则 可以确定该图像的标注信息正确。
在实际应用中，在待标注图片中加入一定比例的正确框图作为埋点，可以监测标注人员工作流中的检查正确率，然后可以设置基于该检查正确率触发相应的消息或动作，有效实现标注信息监督和质量把控。因此，一些实施例中，所述方法还可以包括：当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。
上述一些实施例中描述了可以在任务图像中添加监控图像并在第一节点的检查结果中根据监控图像的标注信息的识别结果来确定作业人员检查准确率。本说明书提供的所述方法的另一个实施例中，也可以通过所述监控图像来埋点检测第二节点复查人员复查结果处理的准确率，实现复查处理的质量监督和反馈。具体的，所述方法还可以包括：
S122：在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；
S124：获取所述复查结果中所述监控图像的标注信息的识别结果；
S126：基于所述识别结果确定所述复查结果的复查准确率。
通过上述方案可以通过实时监控复查准确率。可以基于有标准监控信息监控图像的检查结果，对比复查人员对监控图像标注信息的检查结果，在两者的误差符合预期时可以任务复查人员的复查处理正常，符合岗位要求。
参考检查准确率的处理，所述方法的另一个实施例中还可以包括：当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。
所述的第一预设周期、第二预设周期，以及相应的发出通知的第一阈值、第二阈值可以根据实际需要进行设置。例如若所述复查准确率在第二预设周期内低于第二阈值，则向指定接收方发出调岗建议消息，所述第二阈值可以设置小于所述第一阈值。
例如，对某些时间段准确率低的标注人员进行建议提醒，对长期正确率低的标注人员可以向指定接收方，如管理人终端或人事管理终端发出调岗建议消息。利用本实施例方案还可以获取标注人员标注的准确率时间关系，作为优化管理的数据支撑，提高标注信息处理效率。
需要说明的是，上述所述的通过埋点获得检查准确率、复查准确率的处理可以在指定的节点实现，例如在第一节点计算检查准确率，在第二节点计算复查准确率，也可以单独设置逻辑处理单元实现。本说明书提供的所述方法的另一个实施例中，在所述第三 节点的抽检处理中，可以结合复查准确率和抽检结果来确定任务图像是否可以作为训练样本图像。具体的，所述方法的另一个实施例中，还可以包括：S140：若所述复查准确率在误差范围内，且所述抽检结果通过，则将抽检图像对应的任务图像集合添加至训练样本集合。
可以对比复查人员复查结果和埋点检测结果的一致率，如果内部抽检通过，且一致率符合预期，则可以批量通过该复查人员处理的任务图像，将其添加到相应的训练样本集合中。
上述实施例的不同节点和检查准确率、复查准确率的计算在实际应用中可以布局在不同的处理环节，例如一个应用示例中，第一节点和第二节点可以由外部的作业人员进行处理，而第三节的内部抽查可以由内部作业人员进行处理，这样通过外部和内部两个环节的任务质检，可以避免外部作业人员串通导致大批任务图像的标注处理任务放水。同时还可以在内部通过埋点检测作业人员处理的准确率，及时发现问题，反馈给作业人员或提醒更换作业人员等。通过本说明书提供的一个或多个实施例的节点交互和反馈处理，可以有效提高最终落入训练样本集中图像标注信息的准确率，相比于常规的不断强调标注规则和内容培训，可以从另一个角度使得整个样本图像标注信息处理实现边做边学边进步，有效的保证了标注质量，并提供了作业流中及时、有效的信息反馈，提高样本图像标注信息作业效率。
上述实施例描述了可以以不同逻辑处理节点来实现样本图像标注信息处理方法的实施方式，具体不同的处理节点可以为系统中不同的终端设备实现，如第一节点的第一服务器、第二节点的第二服务器、第三节点的第三服务器，或者第一节点和第二节点的实施步骤由相同的服务器或服务器系统(应用)实现。本说明书提供的所述方法也可以由同一物理终端设备实现，或者成套的多个终端设备实现，如样本图像标注信息系统服务器，该系统服务器中不同的作业人员可以与之进行信息交互，例如作业人员A可以在该系统服务器上对任务图像的标注信息进行检查，修正AI的标注信息，确定并持久化检查结果。作业人员B可以在该系统服务器上对作业人员A的检查结果进行复查，如果发现标注信息错误，则可以进行标记并通过系统服务器反馈给作业人员A标注信息错误的错误类型。相应的，作业人员C也可以通过该系统服务器对作业人员B的复查结果进行抽查，当然一些实施场景中也可以实现对作业人员A的检查结果进行抽查。因此，本说明书提供的一种样本图像标注信息处理方法的另一个实施例中，可以包括：
S100：接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像 中的目标所对应的类别，以及所述目标的标注框；
S200：接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
S300：接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
S400：接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
图6是本说明书提供的所述方法另一种实施例的方法流程示意图。当然，如前述实施例描述，所述方法的另一个实施例中，还可以实现对任务图像的抽检，以进一步保障训练样本图像的标注信息的准确率。因此，所述方法还可以包括：
S500：接收所述任务图像的抽检结果，所述抽检结果包括：按照预设规则从复查结果为所述标注信息正确的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；
S502：若所述抽检结果包括标注信息存在错误，则反馈相应的抽检图像的抽检信息；
S504：接收第二重检查结果，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
需要说明的是，本说明书上述实施例所述的可以应用到同一系统服务器的样本图像标注信息处理方法，根据前述划分多个节点、设置相应节点终端设备的方法实施例的描述还可以包括其他的实施方式，例如设置埋点监测不同处理节点作业人员标注信息处理的正确率等。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是本发明实施例的一种训练样本图 像标注信息处理服务器的硬件结构框图。如图7所示，服务器10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图7中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如GPU(Graphics Processing Unit，图像处理器)，或者具有与图7所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的搜索方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述导航交互界面内容展示的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
基于上述所述的样本图像标注信息处理方法，本说明书还提供一种样本图像标注信息处理装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的设备装置。基于同一创新构思，本说明书提供的一种实施例中的处理装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的处理装置的实施可以参见前述方法的实施，重复之处不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。具体的，如图8所示，图8是本说明书提供的一种样本图像标注信息处理装置实施例的模块结构示意图，具体的可以包括：
图像接收模块201，可以用于接收任务图像，所述任务图像中至少包括下述标注信 息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；
标注检查交互模块202，可以用于接收所述任务图像的检查结果，将检查处理后的任务图像发送给标注复查交互模块203，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还可以用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块103进行第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；
标注复查交互模块203，可以用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块102进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。
如图9所示，图9是本说明书提供的一种样本图像标注信息处理装置另一种实施例的模块结构示意图，所述装置还可以包括：标注抽查交互模块104，可以用于所述标注复查交互模块103发送的标注信息正确的任务图像，还可以用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述标注复查交互模块103进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。
相应的，所述标注复查交互模块103还可以用于接收第二重检查结果，将所述第二重检查结果发送给所述标注抽查交互模块104，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
所述装置的另一个实施例中，所述标注抽查交互模块104选取抽检图像具体的可以包括：基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。
所述装置的另一个实施例中，所述标注抽查交互模块104将相应的抽检图像的抽检信息发送至所述标注复查交互模块103可以包括下述中的至少一种方式：
将标注信息存在错误的抽检图像发送给所述标注复查交互模块103；
若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述标注复查交互模块103；
将抽检图像的标注错误信息发送给所述标注复查交互模块103。
所述装置的另一个实施例中，可以将抽检通过的任务图像或者任务图像对应的图像集合加入到对应的训练样本集合中，这样得到的训练样本集合中的图像的标注信息更加准确，使得后续基于训练样本图像的算法处理准确率更高。具体的，另一个实施例中，所述装置还可以包括：输出模块205，可以用于将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像，存入至相应的训练样本集合中。
本说明书提供的所述装置另一种实施例中还可以包括：第一埋点处理模块206，可以用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还可以用于获取所述检查结果中所述监控图像的标注信息的识别结果；还可以用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。
图10是本说明书提供的所述装置另一种实施例的模块结构示意图，如图10所示，所述装置的另一个实施例中还可以对第二节点的作业人员的复查结果进行埋点监测。此处埋点监测使用的监控图像可以与第一节点或第一埋点处理模块106使用的监控图像相同，即可以使用同一批监控图像来计算不同作业人员标注信息处理的正确率，当然，也可以使用不同的监控图像。具体的，所述装置的另一个实施例中，还可以包括：第二埋点处理模块207，可以用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还可以用于获取所述检查结果中所述监控图像的标注信息的识别结果；还可以用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。
所述装置的另一个实施例中，还可以根据埋点计算得到的检测准确率或复查准确率相应的发出通知消息。例如作业人员A检查准确率在一周内处于第一阈值区间时，可以向作业人员A发出“标注信息准确率较低，请检查原因，慎重处理”。若作业人员A在10个工作日的检查准确率平均低于最低考核阈值，则可以向指定的监督终端发出通知消息，例如向标注抽查交互模块104或专用的终端设备发出消息，甚至可以附带建议调岗或者统计错误类型等信息一同反馈给指定接收方。因此，本说明书提供的所述装置的另一个实施例中，还可以包括：第一通知模块2082，可以用于当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。
相应的，所述装置的另一个实施例中，还可以包括：第二通知模块2084，可以用于当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。
图11是本说明书提供的所述装置另一种实施例的模块结构示意图。
所述装置的另一个实施例中，所述输出模块105可以结合抽检结果和埋点计算得到的复查准确率来确定抽检的任务图像或任务图像集合是否通过。具体的，所述装置的另一个实施例中，所述输出模块105在所述复查准确率在误差范围内，且所述抽检结果通过时，将对应的任务图像集合添加至训练样本集合。
本说明书实施例提供的样本图像标注信息处理方法可以在计算机中由处理器执行相应的程序指令来实现，如使用windows、Linux操作系统的应用编程语言在PC端实现，或其他例如android、iOS系统相对应的应用设计语言集合必要的硬件实现，或者基于量子计算机的处理逻辑实现等。具体的，本说明书提供的一种服务器实现上述方法的实施例中，所述服务器可以包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：
接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；
接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
所述的服务器可以为单独的服务器，也可以为服务器集群，或者分布式系统中的服务器，其分布在不同处理节点的服务器终端可以被视为同一服务器。
基于上述所述的方法、装置或服务器，本说明书还提供一种样本图像标注信息处理系统，图12是本说明书提供的所述系统一种实施例的框架结构示意图，如图11所示，可以包括：
第一处理终端，可以用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息 进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述第一终端进行第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；
第二处理终端，可以用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；还可以用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果；
第三处理终端，可以用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。
上述的指令可以存储在多种计算机可读存储介质中。所述计算机可读存储介质可以包括用于存储信息的物理装置，可以将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。下述所述的装置或服务器或客户端或系统中的指令同上描述。
需要说明的是，本说明书实施例上述所述的装置、服务器、系统，根据相关方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。 在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供多处作业节点不同处理结果的交互判断处理逻辑，当图像标注信息出错时可以自动返回使作业人员进行重新审查、修改等处理。这样可以在不断的反馈交互中提升作业人员的业务能力，逐渐提高标注效率，有效提高训练样本图像标注信息的准确率。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
尽管本说明书实施例内容中提到通过标注框面积计算检查准确率/复查准确率、第三节点对第二节点进行抽查等之类的数据获取、交互、计算、判断等操作和数据描述，但是，本说明书实施例并不局限于必须是符合行业通信标准、标准图像数据处理协议、通信协议和标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与 程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器 或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (24)

  1. 一种图像标注信息处理方法，所述方法包括：
    第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
    第一节点接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
    所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
    所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。
  2. 如权利要求1所述的方法，所述方法还包括：
    将所述复查结果中所述标注信息正确的任务图像发送至第三节点；
    所述第三节点接收抽检结果，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；
    若所述抽检结果包括标注信息存在错误，则将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理；
    相应的，所述第二节点接收第二重检查结果，将所述第二重检查结果发送给所述第三节点，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
  3. 如权利要求2所述的方法，所述选取抽检图像包括：
    基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。
  4. 如权利要求2所述的方法，所述将相应的抽检图像的抽检信息发送至所述第二节点包括下述中的至少一种方式：
    将标注信息存在错误的抽检图像发送给所述第二节点；
    若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述第二节点；
    将抽检图像的标注错误信息发送给所述第二节点。
  5. 如权利要求2所述的方法，所述方法还包括：
    将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图 像。
  6. 如权利要求1所述的方法，所述方法还包括：
    在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；
    获取所述检查结果中所述监控图像的标注信息的识别结果；
    比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。
  7. 如权利要求6所述的方法，所述方法还包括：
    当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。
  8. 如权利要求2所述的方法，所述方法还包括：
    在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；
    获取所述复查结果中所述监控图像的标注信息的识别结果；
    比较所述识别结果与所述已知标注信息，确定所述复查结果的复查准确率。
  9. 如权利要求8所述的方法，所述方法还包括：
    当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。
  10. 权利要求8所述的方法，所述方法还包括：
    若所述复查准确率在误差范围内，且所述抽检结果通过，则将抽检图像对应的任务图像集合添加至训练样本集合。
  11. 一种图像标注信息处理方法，所述方法包括：
    接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
    接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
    接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
    接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
  12. 如权利要求11所述的方法，所述方法还包括：
    接收所述任务图像的抽检结果，所述抽检结果包括：按照预设规则从复查结果为所 述标注信息正确的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；
    若所述抽检结果包括标注信息存在错误，则反馈相应的抽检图像的抽检信息；
    接收第二重检查结果，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
  13. 一种样本图像标注信息处理装置，所述装置包括：
    图像接收模块，用于接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；
    标注检查交互模块，用于接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给标注复查交互模块，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块进行第二检查处理，所述第一重检查结果包括基于复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；
    标注复查交互模块，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。
  14. 如权利要求13所述的装置，所述装置还包括：
    标注抽查交互模块，用于接收所述标注复查交互模块发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述标注复查交互模块进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；
    相应的，所述标注复查交互模块还用于接收第二重检查结果，将所述第二重检查结果发送给所述标注抽查交互模块，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。
  15. 如权利要求14所述的装置，所述标注抽查交互模块选取抽检图像包括：
    基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。
  16. 如权利要求14所述的装置，所述标注抽查交互模块将相应的抽检图像的抽检信息发送至所述标注复查交互模块包括下述中的至少一种方式：
    将标注信息存在错误的抽检图像发送给所述标注复查交互模块；
    若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述标注复查交互模块；
    将抽检图像的标注错误信息发送给所述标注复查交互模块。
  17. 如权利要求14所述的装置，所述装置还包括：
    输出模块，用于将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像，存入至相应的训练样本集合中。
  18. 如权利要求13所述的装置，所述装置还包括：
    第一埋点处理模块，用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还用于获取所述检查结果中所述监控图像的标注信息的识别结果；还用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。
  19. 如权利要求14所述的装置，所述装置还包括：
    第二埋点处理模块，用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还用于获取所述复查结果中所述监控图像的标注信息的识别结果；还用于比较所述识别结果与所述已知标注信息，确定所述复查结果的检查准确率。
  20. 如权利要求18所述的装置，还包括：
    第一通知模块，用于当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。
  21. 如权利要求19所述的装置，还包括：
    第二通知模块，用于当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。
  22. 如权利要求21所述的装置，其中，所述装置还包括输出模块，用于在所述复查准确率在误差范围内，且所述抽检结果通过时，将对应的任务图像集合添加至训练样本集合。
  23. 一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：
    接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；
    接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进 行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；
    接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；
    接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。
  24. 一种图像标注信息处理系统，包括：
    第一处理终端，用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端；还用于接收第一重检查结果，将所述第一重检查结果发送第二终端进行第二检查处理，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；
    第二处理终端，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理；还用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果；
    第三处理终端，用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。
PCT/CN2018/123297 2018-01-11 2018-12-25 图像标注信息助理方法、装置、服务器及系统 WO2019137196A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810026329.3 2018-01-11
CN201810026329.3A CN108197658B (zh) 2018-01-11 2018-01-11 图像标注信息处理方法、装置、服务器及系统

Publications (1)

Publication Number Publication Date
WO2019137196A1 true WO2019137196A1 (zh) 2019-07-18

Family

ID=62589126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/123297 WO2019137196A1 (zh) 2018-01-11 2018-12-25 图像标注信息助理方法、装置、服务器及系统

Country Status (3)

Country Link
CN (1) CN108197658B (zh)
TW (1) TWI729331B (zh)
WO (1) WO2019137196A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111027640A (zh) * 2019-12-25 2020-04-17 厦门市美亚柏科信息股份有限公司 一种视频数据的标注方法、装置、终端设备及存储介质
CN111046927A (zh) * 2019-11-26 2020-04-21 北京达佳互联信息技术有限公司 标注数据的处理方法、装置、电子设备及存储介质
CN111159167A (zh) * 2019-12-30 2020-05-15 上海依图网络科技有限公司 标注质量检测装置和方法
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111368902A (zh) * 2020-02-28 2020-07-03 北京三快在线科技有限公司 一种数据标注的方法及装置
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质
CN111598410A (zh) * 2020-04-24 2020-08-28 Oppo（重庆）智能科技有限公司 产品抽检方法及装置、计算机可读介质及终端设备
CN111860302A (zh) * 2020-07-17 2020-10-30 北京百度网讯科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN111950618A (zh) * 2020-08-05 2020-11-17 中国建设银行股份有限公司 水域图像数据标注方法、装置、设备和存储介质
CN112036441A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 机器学习物体检测结果的反馈标注方法和装置、存储介质
CN112084755A (zh) * 2020-07-31 2020-12-15 武汉光庭信息技术股份有限公司 一种基于web的图片标注系统实现方法及系统
CN112241445A (zh) * 2020-10-26 2021-01-19 竹间智能科技（上海）有限公司 一种标注方法及装置、电子设备、存储介质
CN112270532A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112288696A (zh) * 2020-10-20 2021-01-29 北京百度网讯科技有限公司 一种辅助质检方法、装置、电子设备及存储介质
CN112632350A (zh) * 2020-12-07 2021-04-09 肇庆学院 一种基于在线教育大数据的深度学习样本标注方法及系统
CN112836732A (zh) * 2021-01-25 2021-05-25 深圳市声扬科技有限公司 数据标注的校验方法、装置、电子设备及存储介质
CN112906375A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN112926677A (zh) * 2021-03-24 2021-06-08 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统
CN112990293A (zh) * 2021-03-10 2021-06-18 深圳一清创新科技有限公司 一种点云标注方法、装置和电子设备
CN113034025A (zh) * 2021-04-08 2021-06-25 成都国星宇航科技有限公司 一种遥感图像标注系统和方法
CN113221999A (zh) * 2021-05-06 2021-08-06 北京百度网讯科技有限公司 图片标注的正确率获取方法、装置和电子设备
CN113297888A (zh) * 2020-09-18 2021-08-24 阿里巴巴集团控股有限公司 一种图像内容检测结果核查方法及装置
CN113380384A (zh) * 2021-05-01 2021-09-10 首都医科大学宣武医院 人机协同训练医学影像标注模型的方法、标注方法及系统
CN113642416A (zh) * 2021-07-20 2021-11-12 武汉光庭信息技术股份有限公司 一种用于ai标注的测试云平台和ai标注测试方法
WO2023126280A1 (en) 2021-12-30 2023-07-06 Robert Bosch Gmbh A system and method for quality check of labelled images
CN116912603A (zh) * 2023-09-12 2023-10-20 浙江大华技术股份有限公司 预标注筛选方法及相关装置、设备和介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197658B (zh) * 2018-01-11 2020-08-14 阿里巴巴集团控股有限公司 图像标注信息处理方法、装置、服务器及系统
JP7308421B2 (ja) * 2018-07-02 2023-07-14 パナソニックＩｐマネジメント株式会社 学習装置、学習システム、及び学習方法
CN109035187B (zh) * 2018-07-10 2021-11-09 杭州依图医疗技术有限公司 一种医学图像的标注方法及装置
CN110569856B (zh) 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN109409260A (zh) * 2018-10-10 2019-03-01 北京旷视科技有限公司 数据标注方法、装置、设备及存储介质
CN111104832B (zh) * 2018-10-29 2023-05-26 百度在线网络技术（北京）有限公司 图像标签获取方法、图像标签获取装置以及电子设备
CN109492997A (zh) * 2018-10-31 2019-03-19 四川长虹电器股份有限公司 一种基于SpringBoot的图像标注平台系统
CN109684947B (zh) * 2018-12-11 2021-03-30 广州景骐科技有限公司 标注质量监控方法、装置、计算机设备和存储介质
CN109739644B (zh) * 2018-12-18 2021-06-11 创新奇智(南京)科技有限公司 一种基于计算机的数据图片标注方法、系统及装置
CN109711319B (zh) * 2018-12-24 2023-04-07 安徽高哲信息技术有限公司 一种粮食不完善粒图像识别样本库建立的方法及系统
CN109784381A (zh) * 2018-12-27 2019-05-21 广州华多网络科技有限公司 标注信息处理方法、装置及电子设备
CN109784382A (zh) * 2018-12-27 2019-05-21 广州华多网络科技有限公司 标注信息处理方法、装置以及服务器
CN109803176B (zh) * 2018-12-28 2021-05-21 广州华多网络科技有限公司 审核监控方法、装置、电子设备及存储介质
CN110189343B (zh) * 2019-04-16 2023-05-05 创新先进技术有限公司 图像标注方法、装置及系统
US10885625B2 (en) 2019-05-10 2021-01-05 Advanced New Technologies Co., Ltd. Recognizing damage through image analysis
CN110569703B (zh) * 2019-05-10 2020-09-01 阿里巴巴集团控股有限公司 计算机执行的从图片中识别损伤的方法及装置
CN110348507A (zh) * 2019-07-03 2019-10-18 创新奇智(南京)科技有限公司 一种图像标注的防作弊方法、系统及电子设备
CN110399933B (zh) * 2019-07-31 2021-05-07 北京字节跳动网络技术有限公司 数据标注修正方法、装置、计算机可读介质及电子设备
CN111027543B (zh) * 2019-11-25 2023-04-07 北京云测信息技术有限公司 一种图像标注方法及装置
CN111078908B (zh) * 2019-11-28 2023-06-09 北京云聚智慧科技有限公司 一种数据标注的检测方法和装置
CN113408997B (zh) * 2020-03-17 2024-04-30 北京四维图新科技股份有限公司 高精度地图绘制任务的处理方法、装置与系统
CN111401571A (zh) * 2020-04-24 2020-07-10 南京莱科智能工程研究院有限公司 基于交互式数据标注的自学习系统
CN112418263A (zh) * 2020-10-10 2021-02-26 上海鹰瞳医疗科技有限公司 一种医学图像病灶分割标注方法及系统
CN113313195B (zh) * 2021-06-17 2023-09-29 北京百度网讯科技有限公司 标注任务处理方法、装置、设备、存储介质及程序产品
CN114119976B (zh) * 2021-11-30 2024-05-14 广州文远知行科技有限公司 语义分割模型训练、语义分割的方法、装置及相关设备
CN114529782A (zh) * 2022-01-12 2022-05-24 南方电网深圳数字电网研究院有限公司 基于电网的模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419606A (zh) * 2008-11-13 2009-04-29 浙江大学 一种基于语义和内容的半自动图像标注方法
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
CN107492135A (zh) * 2017-08-21 2017-12-19 维沃移动通信有限公司 一种图像分割标注方法、装置及计算机可读存储介质
CN108197658A (zh) * 2018-01-11 2018-06-22 阿里巴巴集团控股有限公司 图像标注信息处理方法、装置、服务器及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060112332A1 (en) * 2004-11-22 2006-05-25 Karl Kemp System and method for design checking
CN103971415B (zh) * 2014-05-23 2016-06-15 南京大学 一种三维模型构件的在线标注方法
CN105740248B (zh) * 2014-12-09 2019-11-12 华为软件技术有限公司 一种数据同步方法、装置及系统
JP6466277B2 (ja) * 2015-07-27 2019-02-06 株式会社Ｓｃｒｅｅｎホールディングス データ補正装置、描画装置、検査装置、データ補正方法、描画方法、検査方法およびプログラム
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419606A (zh) * 2008-11-13 2009-04-29 浙江大学 一种基于语义和内容的半自动图像标注方法
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
CN107492135A (zh) * 2017-08-21 2017-12-19 维沃移动通信有限公司 一种图像分割标注方法、装置及计算机可读存储介质
CN108197658A (zh) * 2018-01-11 2018-06-22 阿里巴巴集团控股有限公司 图像标注信息处理方法、装置、服务器及系统

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991486B (zh) * 2019-11-07 2023-12-29 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111046927B (zh) * 2019-11-26 2023-05-30 北京达佳互联信息技术有限公司 标注数据的处理方法、装置、电子设备及存储介质
CN111046927A (zh) * 2019-11-26 2020-04-21 北京达佳互联信息技术有限公司 标注数据的处理方法、装置、电子设备及存储介质
CN111027640A (zh) * 2019-12-25 2020-04-17 厦门市美亚柏科信息股份有限公司 一种视频数据的标注方法、装置、终端设备及存储介质
CN111159167A (zh) * 2019-12-30 2020-05-15 上海依图网络科技有限公司 标注质量检测装置和方法
CN111159167B (zh) * 2019-12-30 2024-02-23 上海依图网络科技有限公司 标注质量检测装置和方法
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111368902A (zh) * 2020-02-28 2020-07-03 北京三快在线科技有限公司 一种数据标注的方法及装置
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质
CN111583199B (zh) * 2020-04-24 2023-05-26 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质
CN111598410B (zh) * 2020-04-24 2023-09-29 Oppo（重庆）智能科技有限公司 产品抽检方法及装置、计算机可读介质及终端设备
CN111598410A (zh) * 2020-04-24 2020-08-28 Oppo（重庆）智能科技有限公司 产品抽检方法及装置、计算机可读介质及终端设备
CN111860302A (zh) * 2020-07-17 2020-10-30 北京百度网讯科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN111860302B (zh) * 2020-07-17 2024-03-01 北京百度网讯科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN112084755A (zh) * 2020-07-31 2020-12-15 武汉光庭信息技术股份有限公司 一种基于web的图片标注系统实现方法及系统
CN112036441A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 机器学习物体检测结果的反馈标注方法和装置、存储介质
CN111950618A (zh) * 2020-08-05 2020-11-17 中国建设银行股份有限公司 水域图像数据标注方法、装置、设备和存储介质
CN113297888A (zh) * 2020-09-18 2021-08-24 阿里巴巴集团控股有限公司 一种图像内容检测结果核查方法及装置
CN112288696B (zh) * 2020-10-20 2024-03-08 北京百度网讯科技有限公司 一种辅助质检方法、装置、电子设备及存储介质
CN112288696A (zh) * 2020-10-20 2021-01-29 北京百度网讯科技有限公司 一种辅助质检方法、装置、电子设备及存储介质
CN112241445B (zh) * 2020-10-26 2023-11-07 竹间智能科技（上海）有限公司 一种标注方法及装置、电子设备、存储介质
CN112241445A (zh) * 2020-10-26 2021-01-19 竹间智能科技（上海）有限公司 一种标注方法及装置、电子设备、存储介质
CN112270532A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112270532B (zh) * 2020-11-12 2023-07-28 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112632350A (zh) * 2020-12-07 2021-04-09 肇庆学院 一种基于在线教育大数据的深度学习样本标注方法及系统
CN112632350B (zh) * 2020-12-07 2023-12-05 肇庆学院 一种基于在线教育大数据的深度学习样本标注方法及系统
CN112836732B (zh) * 2021-01-25 2024-04-19 深圳市声扬科技有限公司 数据标注的校验方法、装置、电子设备及存储介质
CN112836732A (zh) * 2021-01-25 2021-05-25 深圳市声扬科技有限公司 数据标注的校验方法、装置、电子设备及存储介质
CN112990293B (zh) * 2021-03-10 2024-03-29 深圳一清创新科技有限公司 一种点云标注方法、装置和电子设备
CN112990293A (zh) * 2021-03-10 2021-06-18 深圳一清创新科技有限公司 一种点云标注方法、装置和电子设备
CN112906375A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN112926677B (zh) * 2021-03-24 2024-02-02 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统
CN112926677A (zh) * 2021-03-24 2021-06-08 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统
CN112906375B (zh) * 2021-03-24 2024-05-14 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN113034025B (zh) * 2021-04-08 2023-12-01 成都国星宇航科技股份有限公司 一种遥感图像标注系统和方法
CN113034025A (zh) * 2021-04-08 2021-06-25 成都国星宇航科技有限公司 一种遥感图像标注系统和方法
CN113380384A (zh) * 2021-05-01 2021-09-10 首都医科大学宣武医院 人机协同训练医学影像标注模型的方法、标注方法及系统
CN113221999B (zh) * 2021-05-06 2024-01-12 北京百度网讯科技有限公司 图片标注的正确率获取方法、装置和电子设备
CN113221999A (zh) * 2021-05-06 2021-08-06 北京百度网讯科技有限公司 图片标注的正确率获取方法、装置和电子设备
CN113642416A (zh) * 2021-07-20 2021-11-12 武汉光庭信息技术股份有限公司 一种用于ai标注的测试云平台和ai标注测试方法
WO2023126280A1 (en) 2021-12-30 2023-07-06 Robert Bosch Gmbh A system and method for quality check of labelled images
CN116912603A (zh) * 2023-09-12 2023-10-20 浙江大华技术股份有限公司 预标注筛选方法及相关装置、设备和介质
CN116912603B (zh) * 2023-09-12 2023-12-15 浙江大华技术股份有限公司 预标注筛选方法及相关装置、设备和介质

Also Published As

Publication number Publication date
TWI729331B (zh) 2021-06-01
CN108197658B (zh) 2020-08-14
TW201931151A (zh) 2019-08-01
CN108197658A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
WO2019137196A1 (zh) 图像标注信息助理方法、装置、服务器及系统
TWI709919B (zh) 車險圖像處理方法、裝置、伺服器及系統
WO2019214320A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
US20200349466A1 (en) Providing performance views associated with performance of a machine learning system
US20170185913A1 (en) System and method for comparing training data with test data
CN109657675B (zh) 图像标注方法、装置、计算机设备和可读存储介质
US10945888B2 (en) Intelligent blind guide method and apparatus
CN110826494A (zh) 标注数据质量评价方法、装置、计算机设备及存储介质
CN114428677B (zh) 任务处理方法、处理装置、电子设备及存储介质
CN112137591A (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
CN111159167B (zh) 标注质量检测装置和方法
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN112183321A (zh) 机器学习模型优化的方法、装置、计算机设备和存储介质
CN109298783B (zh) 基于表情识别的标注监控方法、装置及电子设备
CN109903308B (zh) 用于获取信息的方法及装置
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN110751055B (zh) 一种智能制造系统
CN107861931B (zh) 模板文件处理方法、装置、计算机设备和存储介质
CN110705633B (zh) 目标物检测、目标物检测模型的建立方法及装置
CN110084298B (zh) 用于检测图像相似度的方法及装置
CN111723767A (zh) 一种图像处理方法、装置及计算机存储介质
CN112036441A (zh) 机器学习物体检测结果的反馈标注方法和装置、存储介质
CN112528079A (zh) 系统检测方法、装置、电子设备、存储介质和程序产品
CN113378802B (zh) 报警信息发送方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18899840

Country of ref document: EP

Kind code of ref document: A1