WO2018119684A1 - 一种图像识别系统及图像识别方法 - Google Patents

一种图像识别系统及图像识别方法 Download PDF

Info

Publication number
WO2018119684A1
WO2018119684A1 PCT/CN2016/112432 CN2016112432W WO2018119684A1 WO 2018119684 A1 WO2018119684 A1 WO 2018119684A1 CN 2016112432 W CN2016112432 W CN 2016112432W WO 2018119684 A1 WO2018119684 A1 WO 2018119684A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sample
recognition
training
samples
Prior art date
Application number
PCT/CN2016/112432
Other languages
English (en)
French (fr)
Inventor
柴伦绍
廉士国
Original Assignee
深圳前海达闼云端智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海达闼云端智能科技有限公司 filed Critical 深圳前海达闼云端智能科技有限公司
Priority to CN201680006923.5A priority Critical patent/CN107690659B/zh
Priority to PCT/CN2016/112432 priority patent/WO2018119684A1/zh
Publication of WO2018119684A1 publication Critical patent/WO2018119684A1/zh
Priority to US16/454,488 priority patent/US11270166B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Definitions

  • the present invention relates to the field of identification technologies, and in particular, to an image recognition system and an image recognition method.
  • Machine intelligence (English: Artificial Intelligence, referred to as AI) is also called machine intelligence, which refers to the intelligence expressed by the system that is artificially manufactured.
  • Machine learning algorithms are an important way to obtain artificial intelligence. Machine learning algorithms learn specific models by analyzing existing data, and then make judgments and predictions on actual scenes.
  • a machine learning algorithm such as an SVM classification algorithm, a deep convolutional network algorithm, etc.
  • SVM classification algorithm a machine learning algorithm
  • a deep convolutional network algorithm etc.
  • Embodiments of the present invention provide an image recognition system and an image recognition method for improving classification accuracy of an existing image classification model.
  • an image recognition system comprising:
  • An identification module configured to identify the image sample by using an image classification model, to obtain an image category confidence of the image sample
  • a retrieval module configured to retrieve a similar artificial recognition example of the image sample when determining that the image category confidence obtained by the identification module is less than a first predetermined threshold, and to establish a confidence in the similar artificial recognition example The highest target artificial recognition sample recognition result as the recognition result of the image sample;
  • the training module is configured to train the image classification model according to the training samples in the training sample library; wherein the training samples include a manual recognition sample and a high confidence image retrieval example; the high confidence image
  • the retrieval example is a manual recognition example retrieved by the retrieval module.
  • an image recognition method including:
  • the similar artificial recognition example of the image sample is retrieved, and the recognition result of the target artificial recognition example with the highest confidence in the similar artificial recognition example is As a result of the recognition of the image sample.
  • the solution provided by the embodiment of the present invention introduces an image retrieval technology on the existing image recognition technology, so that the image classification technology can directly adopt the image retrieval technology when the image type confidence of the image sample identified based on the image classification model is less than a predetermined threshold.
  • a similar artificial recognition example is retrieved for the image sample, and the recognition result of the target artificial recognition example with the highest confidence in the similar artificial recognition example is used as the recognition result of the image sample, and the retrieved high confidence image sample is retrieved. It is stored in the training sample library as a training sample for subsequent re-training of the image classification module based on these training samples.
  • FIG. 1 is a system structural diagram of an image recognition system according to an embodiment of the present invention.
  • FIG. 2 is a system structural diagram of another image recognition system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for an image recognition method according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a method for training an image classification model according to an embodiment of the present invention
  • FIG. 5 is a system structural diagram of still another image recognition system according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of another image recognition system according to an embodiment of the present invention.
  • the execution body of the image recognition method provided by the embodiment of the present invention may be an image recognition system or an electronic device that can be used to execute the image recognition method described above.
  • the image recognition system may be an electronic device integrated with an identification module, a retrieval module, and a training module.
  • the electronic device may be a personal computer that analyzes an image sample by using the method provided by the embodiment of the present invention or performs model update on an image recognition model (such as the image classification model mentioned in the embodiment of the present invention) (( Personal computer, PC), netbook, personal digital assistant (PDA: PDA), server, etc., or the above electronic device may be installed with software that can process image samples by using the method provided by the embodiment of the present invention.
  • Client or software system or software application PC, server, etc., the specific hardware implementation environment can be a general computer form, or an ASIC way, or an FPGA, or some programmable extension platform such as Tensilica's Xtensa platform, etc.
  • the above-described electronic device can be integrated in a device or instrument that requires identification of a front object such as an unmanned aerial vehicle, a blind navigator, an unmanned vehicle, a smart vehicle, a smart phone, or the like.
  • the basic principle of the technical solution provided by the embodiment of the present invention is: by introducing an image retrieval technology, the image classification model-based recognition method is combined with the content-based image retrieval method, and the image classification model is recognized in the image classification model.
  • the image category confidence is less than the predetermined threshold
  • the similar artificial recognition example of the image sample is retrieved by the content-based image retrieval method, and the recognition result of the image sample is obtained, and the high-confidence image retrieval sample is stored as the training sample.
  • the image classification model is retrained to improve the recognition ability of the image classification model.
  • the image classification model in the application is used for extracting image features of image samples, and identifying image categories to which the image samples belong according to image features of the image templates, and Don't leave out the confidence of the image category of the image sample.
  • a deep convolutional network is a multi-layer neural network.
  • the last layer of the network is generally a fully connected layer, which can be regarded as a multi-classifier, corresponding to the previous network.
  • the layer can be regarded as a feature extraction layer.
  • the features extracted by the deep convolution network generally have a higher abstraction level, contain more semantic information, and have fewer image feature dimensions and faster retrieval speed.
  • an embodiment of the present invention provides an image recognition system.
  • the system includes an identification module 11, a retrieval module 12, and a training module 13, wherein:
  • the identification module 11 is configured to identify the image sample by using an image classification model to obtain an image category confidence of the image sample.
  • the image sample in the present application may be an image captured by an electronic device (for example, a camera, a mobile phone, or the like) having an image capturing function, or may be an image acquired by an image capturing module provided by the image recognition module in real time. .
  • an electronic device for example, a camera, a mobile phone, or the like
  • an image capturing module provided by the image recognition module in real time.
  • the image recognition system in the present application can be applied to different application systems in different application scenarios, such as an auxiliary medical image diagnosis system, a navigation system, a blind assist system, an intelligent assisted driving system production line defective product detection system and the like, and an actual intelligent application system.
  • an auxiliary medical image diagnosis system the image sample is a medical image.
  • the image recognition system in the present application is applied to a navigation system or a blind assistant system, the image sample is Real-time images captured in front of the user in real time.
  • the image category confidence of the image samples in this application is used to characterize the accuracy of the identified image categories.
  • the retrieval module 12 is configured to retrieve a similar artificial recognition example of the image sample when determining that the image category confidence obtained by the identification module 11 is less than the first predetermined threshold, and the target artificial with the highest confidence in the similar artificial recognition example The recognition result of the sample is identified as the recognition result of the image sample.
  • the training module 13 is configured to train the image classification model according to the training samples in the training sample library; wherein the training samples include a manual recognition sample and a high confidence image retrieval example; the high confidence image retrieval example is the retrieval module 12 Retrieved artificial identification sample example.
  • the retrieval module 12 is further configured to store the image samples as a high-confidence image retrieval example into the training sample library when the image sample image category confidence is greater than or equal to the first predetermined threshold.
  • the foregoing identification module 11 is further configured to:
  • the recognition result of the recognized image sample is output.
  • the above identification module 11 is further configured to obtain image features of the image samples.
  • the retrieval module 12 is specifically configured to:
  • the image sample library in this application is used to store one or more artificial identification samples of known recognition results.
  • the output is directly output.
  • the system automatically turns to the retrieval module 12, and the image module is retrieved by the retrieval module 12.
  • a similar example is retrieved from the library.
  • the similar samples are analyzed, and the sample with the highest similarity is obtained as the similar image of the image sample, and the sample is taken.
  • the recognition result is used as the recognition result of the image sample; if the retrieval module 12 does not retrieve the sample with high similarity, the processing may be performed by the manual customer service, and the artificial analysis result and the image data of the image sample are taken as one sample. It is saved in the image sample library to supplement the search samples in the image sample library as a search sample.
  • the retrieval module 12 in order to improve the prediction ability of the image classification model, the retrieval module 12 usually checks the retrieved image with high confidence.
  • the sample sample is stored as a training sample in the training sample library as a training sample of the training image classification model, thereby training the image classification model to improve the recognition ability and recognition accuracy of the image classification model.
  • the image classification model is used to identify the image, and it is determined whether the image type confidence of the image is reached.
  • the recognized threshold value if the image type confidence of the image is low (for example, if the smog is severe, the degree of recognition of the traffic light state information in the image is low), the image recognition system automatically transfers to the retrieval module 12, from A similar image similar to the image is retrieved from the image sample library, and the recognition result of the similar image is fed back to the image recognition system.
  • the manual customer service can be transferred, and the blind customer can be assisted by the manual customer service;
  • the recognition result identified based on the image classification model can be directly output.
  • the sample of the manual customer service is saved, the exact type of the object may not be directly obtained from the information of the manual customer service, and the necessary analysis and processing is performed, for example, if the red and green are identified in the case of fog, if The manual customer service guides the blind person to cross the road, then the current traffic light should be green light, that is, the recognition result is green light. If the artificial customer service allows the blind person to wait and cross the road, the current traffic light should be non-green light, that is, the recognition result is non-green light.
  • the image classification technology can be directly used when the image type confidence of the image category of the image sample identified based on the image classification model is less than a predetermined threshold.
  • the image sample retrieves a similar artificial recognition example, and the recognition result of the target artificial recognition example with the highest confidence in the similar artificial recognition example is used as the recognition result of the image sample, and the retrieved high confidence image sample is stored.
  • the training sample library as training samples, so that the image classification module is retrained based on these training samples.
  • the image classification model can be retrained based on these preset samples to make the image classification model.
  • the predictive ability is constantly increasing.
  • the training module 13 in the image recognition system monitors the number of samples of the training samples stored in the training sample library in real time, and performs heavy training when determining that the number of samples of the training samples meets the criteria of the heavy training.
  • the training module 13 is specifically configured to:
  • the automatic training update of the image classification model has certain starting conditions, such as determining whether the sample number of the preset sample of the known image category stored in the training sample library reaches a preset threshold, or may be in the new sample storage. Time or time to check whether the sample in the database has reached the starting condition of the model update. If it is reached, the machine learning model retraining process is started, and the current model is fine-tuned to produce a more predictive model. Finally, The model is updated to the online system.
  • the existing image is based on the recognition result of the training sample.
  • the classification model is trained to perform image recognition on the image samples through the trained image classification model.
  • the image classification model is retrained by the image retrieval technology, which is more in line with the actual scene and the high quality training samples, so that the model with higher recognition accuracy can be trained, and the model obtained by the heavy training can be effectively improved.
  • the model recognizes the ability to recognize images. At the same time, with the continuous increase of training samples, the recognition ability of the model is continuously improved, and the excessive investment of human resources is avoided.
  • An embodiment of the present invention provides an image recognition method, which is applied to the image recognition system described in the foregoing embodiment. As shown in FIG. 3, the method includes the following steps:
  • S201 Identifying image samples by using an image classification model, and obtaining image category confidence of the image samples.
  • the recognition result of the recognized image sample is output.
  • the method further includes the following steps:
  • step S202 specifically includes the following steps:
  • the training process for the image classification model is further included, which specifically includes the following steps:
  • step S204 specifically includes the following steps:
  • the solution provided by the embodiment of the present invention is mainly introduced from the perspective of an image recognition system. It can be understood that in order to implement the above functions, the system includes corresponding hardware structures and/or software modules for performing various functions.
  • the present invention can be implemented in a combination of hardware or hardware and computer software in combination with the elements and algorithm steps of the various examples described in the embodiments disclosed herein. Whether a function is implemented in hardware or computer software to drive hardware depends on the specific application and design constraints of the solution. A person skilled in the art can use different methods for implementing the described functions for each particular application, but such implementation should not be considered to be beyond the scope of the present invention.
  • each module in the system is as follows: the identification module 11 is configured to support the image recognition system to perform step S201 in FIG. 3; the retrieval module 12 is configured to support the image recognition system to perform step S202 in FIG. 3; The training module 13 is for supporting the image recognition system to perform step S203 in FIG. Further, the identification module 11 is configured to support the image recognition system to perform step S201a above, and the retrieval module 12 is specifically configured to support the image recognition system to perform steps S202a, S202b above. Further, the retrieval module 12 is specifically configured to support the image recognition system to perform step S203 above, and the training module 13 is configured to support the image recognition system to perform step S204 above.
  • the training module 13 is configured to support the image recognition system to perform steps S204a, S204b above. All the related content of the steps involved in the foregoing method embodiments may be referred to the functional descriptions of the corresponding functional modules, and details are not described herein again.
  • the embodiments of the present invention may divide the function modules of the functions of the modules of the image recognition system according to the foregoing method examples.
  • each function module may be divided according to each function, or two or more functions may be integrated into one process.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules. It should be noted that the division of the module in the embodiment of the present invention is schematic, and is only a logical function division, and the actual implementation may have another division manner.
  • the above identification module 11, retrieval module 12, and training module 13 may be processors.
  • the programs corresponding to the actions performed by the above modules may be stored in software in a memory connected to the processor, so that the processor calls to perform operations corresponding to the above modules.
  • FIG. 5 shows a possible structural diagram of the image recognition system involved in the above embodiment.
  • the system 3 includes a processor 31, a memory 32, a system bus 33, and a communication interface 34.
  • the memory 32 is used to store computer execution code
  • the processor 31 is connected to the memory 32 through the system bus 33.
  • the processor 31 is configured to execute the computer execution code stored in the memory 32 to execute any one of the embodiments provided by the embodiments of the present invention.
  • An image recognition method such as the processor 31 for supporting the apparatus to perform all the steps in FIG. 3, and/or other processes for the techniques described herein, the specific image recognition method may be referred to above and in the accompanying drawings. The related description is not repeated here.
  • the embodiment of the invention further provides a storage medium, which may include a memory 32.
  • the embodiment of the invention further provides a computer program product, which can be directly loaded into the memory 32 and contains software code, and the image recognition method can be implemented after the computer program is loaded and executed by the computer.
  • the processor 31 can be a processor or a collective name for a plurality of processing elements.
  • the processor 31 can be a central processing unit (CPU).
  • the processor 31 can also be other general purpose processors, digital signal processing (DSP), application specific integrated circuit (ASIC), field-programmable gate array (FPGA) or Other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc., which can implement or perform the various aspects described in connection with the present disclosure Exemplary logic blocks, modules and circuits.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the processor 31 may also be a dedicated processor, which may include at least one of a baseband processing chip, a radio frequency processing chip, and the like.
  • the processor may also be a combination of computing functions, for example, including one or more microprocessor combinations, a combination of a DSP and a microprocessor, and the like. Further, the dedicated processor may also include a chip having other specialized processing functions of the device.
  • the steps of the method described in connection with the present disclosure may be implemented in a hardware manner, or may be implemented by a processor executing software instructions.
  • the software instructions may be composed of corresponding software modules, which may be stored in random access memory (English: random access memory, abbreviation: RAM), flash memory, read only memory (English: read only memory, abbreviation: ROM), Erase programmable read-only memory (English: erasable programmable ROM, abbreviation: EPROM), electrically erasable programmable read-only memory (English: electrical EPROM, abbreviation: EEPROM), registers, hard disk, mobile hard disk, CD-ROM (CD) - ROM) or any other form of storage medium known in the art.
  • RAM random access memory
  • ROM read only memory
  • EPROM Erase programmable read-only memory
  • EPROM electrically erasable programmable read-only memory
  • registers hard disk, mobile hard disk, CD-ROM (CD) - ROM) or any other form of storage
  • An exemplary storage medium is coupled to the processor to enable the processor to read information from, and write information to, the storage medium.
  • the storage medium can also be an integral part of the processor.
  • the processor and the storage medium can be located in an ASIC. Additionally, the ASIC can be located in the terminal device.
  • the processor and the storage medium can also exist as discrete components in the terminal device.
  • the system bus 33 can include a data bus, a power bus, a control bus, and a signal status bus. For the sake of clarity in the present embodiment, various buses are illustrated as the system bus 33 in FIG.
  • Communication interface 34 may specifically be a transceiver on the device.
  • the transceiver can be a wireless transceiver.
  • the wireless transceiver can be an antenna or the like of the device.
  • the processor 31 communicates with other devices via the communication interface 34, for example, if the device is a module or component of the terminal device, the device is for data interaction with other modules in the terminal device.
  • the image recognition system includes: a front end device 41, a backend server 42, and a background artificial client 43.
  • the foregoing front-end device 41 is configured to collect image samples;
  • the background server 42 is configured to implement the image recognition method provided by the application, the background server includes an identification module, a retrieval module, and a training module; when the background server 42 is not trusted When the degree is high or the similarity is not retrieved, the image sample is transmitted to the background artificial client 43, and processed by the manual customer service.
  • the foregoing front-end device 41 may be an electronic device such as a mobile terminal and a blind intelligent robot with image capturing function;
  • the background server 42 may be an image recognition system provided by the present application, or may be integrated with the present application. The image recognition system of the server.
  • the functions described herein can be implemented in hardware, software, firmware, or any combination thereof.
  • the functions may be stored in a computer readable medium or transmitted as one or more instructions or code on a computer readable medium.
  • Computer readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one location to another.
  • a storage medium may be any available media that can be accessed by a general purpose or special purpose computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像识别系统及图像识别方法，涉及识别技术领域，用以提升现有的图像分类模型的分类准确度。该系统包括：识别模块(11)、检索模块(12)以及训练模块(13)，其中：识别模块(11)，用于采用图像分类模型对所述图像样本进行识别，得到图像样本的图像类别置信度；检索模块(12)，用于当确定该图像类别置信度小于第一预定阈值时，检索出该图像样本的相似人工识别样例，将相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为图像样本的识别结果；训练模块(13)，用于根据训练样本库中的训练样本训练图像分类模型；该训练样本包括人工识别样例和高置信度图像检索样例，该高置信度图像检索样例为检索模块检索到的人工识别样例。

Description

一种图像识别系统及图像识别方法 技术领域
本发明涉及识别技术领域，尤其涉及一种图像识别系统及图像识别方法。
背景技术
人工智能(英文：Artificial Intelligence，简称AI)也称机器智能，是指由人工制造出来的系统所表现出来的智能。机器学习算法是目前获得人工智能的重要途径，机器学习算法通过对现有数据的分析学习出特定模型，随后对实际场景作出判断和预测。例如，以图像识别为例，在现有技术中，可以通常机器学习算法(如SVM分类算法、深度卷积网络算法等)来对已知图像类别的训练样本进行分类训练，训练出专用于识别图像的图像分类模型。
现有的图像分类模型的分类准确度取决于训练样本的数量和质量。然而，在实际应用中，获取高质量的、足够数量的训练样本往往是困难和代价巨大的。
发明内容
本发明的实施例提供一种图像识别系统及图像识别方法，用以提升现有的图像分类模型的分类准确度。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种图像识别系统，包括：
识别模块，用于采用图像分类模型对所述图像样本进行识别，得到所述图像样本的图像类别置信度；
检索模块，用于当确定所述识别模块得到的所述图像类别置信度小于第一预定阈值时，检索出所述图像样本的相似人工识别样例，将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果；
所述训练模块，用于根据所述训练样本库中的训练样本训练所述图像分类模型；其中，所述训练样本包括人工识别样例和高置信度图像检索样例；所述高置信度图像检索样例为所述检索模块检索到的人工识别样例。
第二方面，提供一种图像识别方法，包括：
采用图像分类模型对所述图像样本进行识别，得到所述图像样本的图像类别置信度；
当确定所述图像类别置信度小于第一预定阈值时，检索出所述图像样本的相似人工识别样例，将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果。
本发明实施例提供的方案，通过在现有的图像识别技术上引入图像检索技术，从而可以在基于图像分类模型所识别出的图像样本的图像类别置信度小于预定阈值时，采用图像检索技术直接为图像样本检索出相似人工识别样例，将相似人工识别样例中置信度最高的目标人工识别样例的识别结果作为该图像样本的识别结果，并将检索出的高置信度的图像样例存储至训练样本库中，作为训练样本，以便后续基于这些训练样本对图像分类模块进行重训练。这样通过图像识别、图像检索来积累高质量的样本，通过图像训练来对图像分类模型进行训练，使得图像识别、图像检索以及图像训练在整个图像识别系统中构成一个完整的闭环，随着得到的训练样本的不断增加，积累样本和重训练过程的不断循环，迭代地提升图像分类模型的识别能力和识别模块的识别准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像识别系统的系统结构图；
图2为本发明实施例提供的另一种图像识别系统的系统结构图；
图3为本发明实施例提供的一种图像识别方法的方法流程图；
图4为本发明实施例提供的一种图像分类模型的训练方法的流程示意图；
图5为本发明实施例提供的又一种图像识别系统的系统结构图；
图6为本发明实施例提供的另一种图像识别系统的结构示意图。
具体实施方式
下面对本申请中所涉及的部分术语进行解释，以方便读者理解：
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。如果不加说明，本文中的“多个”是指两个或两个以上。
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
需要说明的是，本发明实施例中，除非另有说明，“多个”的含义是指两个或两个以上。
需要说明的是，本发明实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
下面将结合本发明实施例的说明书附图，对本发明实施例提供的技术方案进行说明。显然，所描述的是本发明的一部分实施例，而不是全部的实施例。需要说明的是，下文所提供的任意多个技术方案中的部分或全部技术特征在不冲突的情况下，可以结合使用，形成新的技术方案。
本发明实施例提供的图像识别方法的执行主体可以为图像识别系统或者可以用于执行上述图像识别方法的电子设备。其中，该图像识别系统可以为某一集成有识别模块、检索模块以及训练模块的电子设备。
示例性的，上述电子设备可以为采用本发明实施例提供的方法对图像样本进行分析或对图像识别模型(如，本发明实施例中提及的图像分类模型)进行模型更新的个人计算机((personal computer，PC)、上网本、个人数字助理(英文：Personal Digital Assistant，简称：PDA)、服务器等，或者上述电子设备可以为安装有可以采用本发明实施例提供的方法对图像样本进行处理的软件客户端或软件系统或软件应用的PC、服务器等，具体的硬件实现环境可以通用计算机形式，或者是ASIC的方式，也可以是FPGA，或者是一些可编程的扩展平台例如Tensilica的Xtensa平台等等。例如，上述的电子设备可集成在无人驾驶机、盲人导航仪、无人驾驶车辆、智能车辆、智能手机等需要对前方物体进行识别的设备或仪器中。
本发明实施例所提供的技术方案的基本原理为：通过引入图像检索技术，从而将基于图像分类模型的识别方法与基于内容的图像检索方法相结合，并在图像分类模型所识别出的图像类别的图像类别置信度小于预定阈值时，通过基于内容的图像检索方法检索出图像样本的相似人工识别样例进行分析，得到该图像样本的识别结果，将高置信度图像检索样例作为训练样本存储至训练样本库中，来对图像分类模型进行重训练，以提高图像分类模型的识别能力。
本申请中的图像分类模型，用于提取图像样本的图像特征，并根据图像赝本的图像特征识别该图像样本所属的图像类别，以及识 别出图像样本的图像类别的置信度。例如，以深度卷积网络为例，深度卷积网络是一个多层的神经网络，该网络的最后一层一般是一个全连接层，可以看作是一个多分类器，相应的，之前的网络层可以看作特征抽取层，深度卷积网络抽取的特征一般具有比较高的抽象层次，包含更多语义信息，而且图像特征维数较少，检索速度快。
基于上述内容，本发明的实施例提供一种图像识别系统，如图1所示，该系统包括识别模块11、检索模块12以及训练模块13，其中：
识别模块11，用于采用图像分类模型对所述图像样本进行识别，得到图像样本的图像类别置信度。
本申请中的图像样本可以为当前用户通过具有图像采集功能的电子设备(例如，照相机、手机等)所采集的图像，也可以为通过该图像识别模块自带的图像采集模块实时采集到的图像。
本申请中的图像识别系统可以应用于不同应用场景下的不同应用系统中，如辅助医学图像诊断系统、导航系统、盲人辅助系统、智能辅助驾驶系统生产线残次品检测系统等实际智能应用系统。例如，当本申请中的图像识别系统应用于辅助医学图像诊断系统中，则该图像样本为医疗图像，当本申请中的图像识别系统应用于导航系统或盲人辅助系统中，则该图像样本为实时采集的用户前方实时图像。
本申请中的图像样本的图像类别置信度用于表征识别出的图像类别的准确程度。
检索模块12，用于当确定识别模块11得到的图像类别置信度小于第一预定阈值时，检索出图像样本的相似人工识别样例，将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果。
训练模块13，用于根据训练样本库中的训练样本训练图像分类模型；其中，该训练样本包括人工识别样例和高置信度图像检索样例；该高置信度图像检索样例为检索模块12检索到的人工识别样 例。
可选的，检索模块12，还用于当图像样本图像类别置信度大于等于第一预定阈值时，将图像样本作为高置信度图像检索样例存储至训练样本库中。
可选的，上述的识别模块11，还用于：
在确定图像样本的图像类型置信度大于等于第一预定阈值，则输出识别出的图像样本的识别结果。
可选的，上述的识别模块11还用于得到图像样本的图像特征。
检索模块12，具体用于：
根据识别模块11得到的图像样本的图像特征，从图像样本库中检索出图像样本的相似人工识别样例；其中，该相似人工识别样例的识别结果中包含的图像特征与图像样本的图像特征间的相似度大于第二预定阈值。
本申请中的图像样本库用于存储一个或多个已知识别结果的人工识别样。
示例性的，参照图2所示的图像识别系统框图所示，若识别模块11识别出的图像样本的图像类别置信度较高，即图像样本的图像类型置信度大于等于预定阈值，则直接输出识别结果；反之，若识别模块11识别出的图像样本的图像类别置信度较低，即图像样本的图像类型置信度小于预定阈值，则系统会自动转向检索模块12，通过检索模块12从图像样本库中检索类似的样例，如果检索到一个或多个相似度较高的样例，则分析这些相似样例，得到相似度最高的样例作为该图像样本的相似图像，并将该样例的识别结果作为该图像样本的识别结果；若检索模块12检索不到相似度较高样例，则可以交由人工客服来进行处理，并将人工分析结果以及该图像样本的图像数据作为一个样本保存在图像样本库中，以便作为检索样本，对图像样本库中的检索样本进行补充。
同时，参照图2所示的图像识别系统框图，为了提高图像分类模型的预测能力，检索模块12通常会将检索到的高置信度的图像检 索样例作为训练样本存储至训练样本库中，作为训练图像分类模型的训练样本，从而对图像分类模型进行训练，以提高该图像分类模型的识别能力和识别精度。
例如，以盲人辅助系统为例(例如，帮助盲人识别红绿灯)，当获取到包含红绿灯信息的图像时，首先，利用图像分类模型对该图像进行识别，并确定该图像的图像类别置信度是否达到识别的阈值，若该图像的图像类别置信度较低时(如由于雾霾严重，使得图像中的红绿灯状态信息识别程度较低的情况下)，图像识别系统会自动转到检索模块12，从图像样本库中检索出与该图像相似的相似图像，并将该相似图像的识别结果反馈给图像识别系统，若不能检索到相似图片，则可以转到人工客服，由人工客服帮助盲人；若该图像的图像类别置信度较高时，则可以直接输出基于图像分类模型识别出的识别结果。需要说明的是，当对人工客服的样本进行保存时，可能无法由人工客服的信息直接得到物体的确切种类，则进行必要的分析处理，如，以雾霾情况下识别红绿为例，如果人工客服指导盲人过马路，那么当前红绿灯应该是绿灯亮状态，即识别结果为绿灯，如果人工客服让盲人等候再过马路，那么当前红绿灯应该是非绿灯状态，即识别结果为非绿灯。
上述方案中，通过在现有的图像识别技术上引入图像检索技术，从而可以在基于图像分类模型所识别出的图像样本的图像类别的图像类别置信度小于预定阈值时，采用图像检索技术直接为图像样本检索出相似人工识别样例，将相似人工识别样例中置信度最高的目标人工识别样例的识别结果作为该图像样本的识别结果，并将检索出的高置信度的图像样例存储至训练样本库中，作为训练样本，以便后续基于这些训练样本对图像分类模块进行重训练。这样通过图像识别、图像检索来积累高质量的样本，通过图像训练来对图像分类模型进行重训练，使得图像识别、图像检索以及图像训练在整个图像识别系统中构成一个完整的闭环，随着得到的训练样本的不断增加，积累样本和重训练过程的不断循环，迭代地提升图像分类模 型的识别能力和识别模块的识别准确度。
另一方面，随着检索得到的识别结果的不断增多，训练样本库中的训练样本的不断增多，本方案中的还可以基于这些预设样本来对图像分类模型进行重训练，使得图像分类模型的预测能力不断得到增高。
可选的，图像识别系统中的训练模块13对训练样本库中存储的训练样本的样本数量进行实时监控，并在确定该训练样本的样本数量满足重训练的标准时进行重训练。
具体的，训练模块13，具体用于：
判定训练样本库中存储的训练样本的样本数量是否满足第二预定阈值；若满足，则从训练样本库中获取训练样本的识别结果，对识别模块11中的图像分类模型进行训练。
示例性的，图像分类模型的自动训练更新有一定的启动条件，例如判定训练样本库中存储的已知图像类别的预设样本的样本数量是否达到预设阈值，或者，可以在新样本入库时或者定时检查数据库中样本是否达到了模型更新的启动条件，如果达到则启动机器学习模型重训练过程，在当前的模型基础上进行微调(fine-tuning)产生预测能力更强的模型，最后将模型更新到线上系统。
上述方案，通过对训练样本库中存储的来自检索模块的预设标注样本进行监控，并在该训练样本库中存储的训练样本满足预定条件时，基于该训练样本的识别结果对现有的图像分类模型进行训练，通过训练后的图像分类模型对图像样本进行图像识别。这样通过借助图像检索技术得到的更符合实际场景以及高质量的训练样本，来对图像分类模型进行重新训练，从而可以训练出识别准确度更高的模型，而重训练得到的模型可以有效地提高模型识别图像的识别能力。同时，随着训练样本的不断增加，使得模型的识别能力得到不断提升，避免人力资源的过大投入。
下面将基于图1、2所示的图像识别系统的各模块的功能描述以及其他相关描述，对本发明实施例提供的图像识别方法进行介绍。 以下实施例中与上述实施例相关的技术术语、概念等的说明可以参照上述的实施例，这里不再赘述。
本发明的实施例提供一种图像识别方法，应用于上述实施例描述的图像识别系统，如图3所示，该方法包括如下步骤：
S201、采用图像分类模型对图像样本进行识别，得到图像样本的图像类别置信度。
S202、当确定所述图像类别置信度小于第一预定阈值时，检索出所述图像样本的相似人工识别样例，将该相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为图像样本的识别结果。
然后，若确定该图像样本的图像类型置信度大于等于第一预定阈值，则输出识别出的图像样本的识别结果。
可选的，在执行步骤S201的同时，还包括如下步骤：
S201a、采用图像分类模型对图像样本进行识别后得到图像样本的图像特征。
进一步的，基于步骤S201a，上述步骤S202具体包括如下步骤：
S202a、根据图像样本的图像特征，从图像样本库中检索出图像样本的相似人工识别样例；其中，相似人工识别样例的识别结果中包含的图像特征与图像样本的图像特征间的相似度大于第二预定阈值；该图像样本库用于存储一个或多个人工识别样例。
可选的，在步骤S202之后，还包括对图像分类模型的训练过程，具体包括如下步骤：
S203、当该图像样本的图像类别置信度大于等于第一预定阈值时，将图像样本作为高置信度图像检索样例存储至训练样本库中；其中，该训练样本包括人工识别样例和高置信度图像检索样例。
S204、根据训练样本库中的训练样本训练图像分类模型；其中，该训练样本包括人工识别样例和高置信度图像检索样例。
可选的，如图4所示，步骤S204具体包括如下步骤：
S204a、判定训练样本库中存储的训练样本的样本数量是否满足 第二预定阈值。
S204b、若满足，则从训练样本库中获取训练样本的识别结果，对图像分类模型进行训练。
上述主要从图像识别系统角度对本发明实施例提供的方案进行了介绍。可以理解的是，该系统为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
下面说明本发明实施例提供的与上文所提供的方法实施例相对应的装置实施例。需要说明的是，下述装置实施例中相关内容的解释，均可以参考上述方法实施例。
该系统中的各模块具体所能实现的功能如下所述：识别模块11用于支持图像识别系统执行图3中的步骤S201；检索模块12用于支持图像识别系统执行图3中的步骤S202；训练模块13用于支持图像识别系统执行图3中的步骤S203。进一步的，识别模块11用于支持图像识别系统执行上文中的步骤S201a，检索模块12具体用于支持图像识别系统执行上文中的步骤S202a、S202b。进一步的，检索模块12具体用于支持图像识别系统执行上文中的步骤S203，训练模块13用于支持图像识别系统执行上文中的步骤S204。更进一步的，训练模块13用于支持图像识别系统执行上文中的步骤S204a、S204b。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本发明实施例可以根据上述方法示例对图像识别系统的各个模块的功能进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。 上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在硬件实现上，上述的识别模块11、检索模块12、训练模块13可以是处理器。上述模块所执行的动作所对应的程序均可以以软件形式存储于与该处理器相连的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在采用集成的单元的情况下，图5示出了上述实施例中所涉及的图像识别系统的一种可能的结构示意图。该系统3包括：处理器31、存储器32、系统总线33和通信接口34。存储器32用于存储计算机执行代码，处理器31与存储器32通过系统总线33连接，当装置运行时，处理器31用于执行存储器32存储的计算机执行代码，以执行本发明实施例提供的任意一种图像识别方法，如，处理器31用于支持该装置执行图3中的全部步骤，和/或用于本文所描述的技术的其它过程，具体的图像识别方法可参考上文及附图中的相关描述，此处不再赘述。
本发明实施例还提供一种存储介质，该存储介质可以包括存储器32。
本发明实施例还提供一种计算机程序产品，该计算机程序可直接加载到存储器32中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述的图像识别方法。
处理器31可以是一个处理器，也可以是多个处理元件的统称。例如，处理器31可以为中央处理器(central processing unit，CPU)。处理器31也可以为其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其可以实现或执行结合本发明公开内容所描述的各 种示例性的逻辑方框，模块和电路。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器31还可以为专用处理器，该专用处理器可以包括基带处理芯片、射频处理芯片等中的至少一个。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。进一步地，该专用处理器还可以包括具有该装置其他专用处理功能的芯片。
结合本发明公开内容所描述的方法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(英文：random access memory，缩写：RAM)、闪存、只读存储器(英文：read only memory，缩写：ROM)、可擦除可编程只读存储器(英文：erasable programmable ROM，缩写：EPROM)、电可擦可编程只读存储器(英文：electrically EPROM，缩写：EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于终端设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。
系统总线33可以包括数据总线、电源总线、控制总线和信号状态总线等。本实施例中为了清楚说明，在图5中将各种总线都示意为系统总线33。
通信接口34具体可以是该装置上的收发器。该收发器可以为无线收发器。例如，无线收发器可以是该装置的天线等。处理器31通过通信接口34与其他设备，例如，若该装置为该终端设备中的一个模块或组件时，该装置用于与该终端设备中的其他模块之间进行数据交互。
本发明实施例还提供一种图像识别系统，如图6所示，该图像识别系统包括：前端设备41、后端服务器42和后台人工客户端43， 其中：上述的前端设备41用于采集图像样本；上述的后台服务器42用于实现本申请所提供的图像识别方法，该后台服务器包括识别模块、检索模块以及训练模块；当后台服务器42未得到置信度较高或未检索到相似度较高的样例时，将该图像样本传送至后台人工客户端43，交由人工客服进行处理。示例性的，上述的前端设备41可以为具备图像采集功能的移动终端、导盲智能机器人等电子设备；上述的后台服务器42可以为本申请提供的图像识别系统，也可以为集成有本申请提供的图像识别系统的服务器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
最后应说明的是：以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (14)

  1. 一种图像识别系统，其特征在于，包括：
    识别模块，用于采用图像分类模型对所述图像样本进行识别，得到所述图像样本的图像类别置信度；
    检索模块，用于当确定所述识别模块得到的所述图像类别置信度小于第一预定阈值时，检索出所述图像样本的相似人工识别样例，将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果；
    所述训练模块，用于根据所述训练样本库中的训练样本训练所述图像分类模型；其中，所述训练样本包括人工识别样例和高置信度图像检索样例；所述高置信度图像检索样例为所述检索模块检索到的人工识别样例。
  2. 根据权利要求1所述的系统，其特征在于，所述检索模块，还用于：
    当所述图像样本的图像类别置信度大于等于所述第一预定阈值时，将所述图像样本作为高置信度图像检索样例存储至训练样本库中。
  3. 根据权利要求1或2所述的系统，其特征在于，所述识别模块还用于得到所述图像样本的图像特征；
    所述检索模块，具体用于：
    根据所述识别模块得到的所述图像样本的图像特征，从图像样本库中检索出所述图像样本的相似人工识别样例；其中，所述相似人工识别样例的识别结果中包含的图像特征与所述图像样本的图像特征间的相似度大于第二预定阈值；其中，所述图像样本库用于存储一个或多个人工识别样例。
  4. 根据权利要求1-3任一项所述的系统，其特征在于，所述训练模块，其中：
    训练模块，用于：
    判定所述训练样本库中存储的训练样本的样本数量是否满足第 二预定阈值；
    若满足，则从所述训练样本库中获取所述训练样本的识别结果，对所述识别模块中的图像分类模型进行训练。
  5. 根据权利要求1-4任一项所述的系统，其特征在于，所述识别模块，还用于：
    在确定识所述图像样本的图像类型置信度大于等于所述第一预定阈值，则输出识别出的所述图像样本的识别结果。
  6. 一种图像识别方法，其特征在于，包括：
    采用图像分类模型对所述图像样本进行识别，得到所述图像样本的图像类别置信度；
    当确定所述图像类别置信度小于第一预定阈值时，检索出所述图像样本的相似人工识别样例，将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果。
  7. 根据权利要求6所述的方法，其特征在于，所述将所述相似人工识别样例中置信度最高的目标人工识别样例的识别结果，作为所述图像样本的识别结果之后，还包括：
    当所述图像样本的图像类别置信度大于等于所述第一预定阈值时，将所述图像样本作为高置信度图像检索样例存储至训练样本库中；
    其中，所述训练样本包括人工识别样例和所述高置信度图像检索样例。
  8. 根据权利要求6或7所述的方法，其特征在于，还包括：采用图像分类模型对所述图像样本进行识别后得到所述图像样本的图像特征；
    所述检索出所述图像样本的相似人工识别样例进行分析，得到所述图像样本的识别结果，包括：
    根据所述识别模块得到的所述图像样本的图像特征，从图像样本库中检索出所述图像样本的相似人工识别样例；其中，所述相似人工识别样例的识别结果中包含的图像特征与所述图像样本的图像特征 间的相似度大于第二预定阈值；所述图像样本库用于存储一个或多个人工识别样例。
  9. 根据权利要求7所述的方法，其特征在于，所述方法还包括：
    根据所述训练样本库中的训练样本训练所述图像分类模型；其中，所述训练样本包括人工识别样例和高置信度图像检索样例。
  10. 根据权利要求9所述的方法，其特征在于，所述方法还包括：
    判定所述训练样本库中存储的训练样本的样本数量是否满足第二预定阈值；
    若满足，则从所述训练样本库中获取所述训练样本的识别结果，对所述识别模块中的图像分类模型进行训练。
  11. 根据权利要求6-10任一项所述的方法，其特征在于，所述采用图像分类模型对所述图像样本进行识别，得到识别结果之后，还包括：
    在确定识所述图像样本的图像类型置信度大于等于所述第一预定阈值，则输出识别出的所述图像样本的识别结果。
  12. 一种图像识别系统，其特征在于，所述系统包括：存储器和处理器，所述存储器用于存储计算机执行代码，所述计算机执行代码用于控制所述处理器执行权利要求6-11任一项所述的图像识别方法。
  13. 一种计算机存储介质，其特征在于，用于储存为图像识别系统所用的计算机软件指令，其包含执行权利要求6-11任一项所述的图像识别方法所设计的程序代码。
  14. 一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现权利要求6-11任一项所述的图像识别方法。
PCT/CN2016/112432 2016-12-27 2016-12-27 一种图像识别系统及图像识别方法 WO2018119684A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680006923.5A CN107690659B (zh) 2016-12-27 2016-12-27 一种图像识别系统及图像识别方法
PCT/CN2016/112432 WO2018119684A1 (zh) 2016-12-27 2016-12-27 一种图像识别系统及图像识别方法
US16/454,488 US11270166B2 (en) 2016-12-27 2019-06-27 Image identification system and image identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/112432 WO2018119684A1 (zh) 2016-12-27 2016-12-27 一种图像识别系统及图像识别方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/454,488 Continuation US11270166B2 (en) 2016-12-27 2019-06-27 Image identification system and image identification method

Publications (1)

Publication Number Publication Date
WO2018119684A1 true WO2018119684A1 (zh) 2018-07-05

Family

ID=61152337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/112432 WO2018119684A1 (zh) 2016-12-27 2016-12-27 一种图像识别系统及图像识别方法

Country Status (3)

Country Link
US (1) US11270166B2 (zh)
CN (1) CN107690659B (zh)
WO (1) WO2018119684A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN110895691A (zh) * 2018-09-12 2020-03-20 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN111401456A (zh) * 2020-03-20 2020-07-10 杭州涂鸦信息技术有限公司 人脸姿态识别模型的训练方法及其系统和装置
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
WO2020253741A1 (zh) * 2019-06-20 2020-12-24 杭州睿琪软件有限公司 利用错误样本检查人工客户端状态的方法及装置
WO2020253742A1 (zh) * 2019-06-20 2020-12-24 杭州睿琪软件有限公司 样本标注审核方法及装置
CN112528447A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 电网模型分类标识方法、系统、电子设备及存储介质
CN112649780A (zh) * 2020-12-17 2021-04-13 泰安轻松信息科技有限公司 一种智能仪表电路识别检测设备
CN112819815A (zh) * 2021-02-25 2021-05-18 汇鸿智能科技(辽宁)有限公司 金相组织识别方法、装置、计算机设备及存储介质
CN112861567A (zh) * 2019-11-12 2021-05-28 上海高德威智能交通系统有限公司 一种车型分类方法及装置
CN116778477A (zh) * 2023-06-20 2023-09-19 上海市农业科学院 一种基于图像处理的玉米果穗性状指标计算方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
CN108491773B (zh) * 2018-03-12 2022-11-08 中国工商银行股份有限公司 一种识别方法及系统
CN110377670B (zh) * 2018-04-11 2021-11-26 腾讯大地通途（北京）科技有限公司 一种确定道路要素信息的方法、装置、介质及设备
CN110827099B (zh) * 2018-08-07 2022-05-13 阿里巴巴（中国）有限公司 一种家居商品推荐方法、客户端及服务器
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
CN109035831B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
CN110924052A (zh) * 2018-09-20 2020-03-27 格力电器（武汉）有限公司 洗衣机控制方法及装置
CN109492675B (zh) * 2018-10-22 2021-02-05 深圳前海达闼云端智能科技有限公司 医学影像的识别方法、装置、存储介质和电子设备
CN109583492A (zh) * 2018-11-26 2019-04-05 平安科技（深圳）有限公司 一种识别对抗性图像的方法及终端
CN109740671B (zh) * 2019-01-03 2021-02-23 北京妙医佳信息技术有限公司 一种图像识别方法及装置
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN110110115B (zh) * 2019-03-28 2023-05-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 人机交互筛选识别机载目标图像的方法
CN111814514A (zh) * 2019-04-11 2020-10-23 富士通株式会社 号码识别装置、方法以及电子设备
CN110070076B (zh) * 2019-05-08 2021-05-18 北京字节跳动网络技术有限公司 用于选取训练用样本的方法和装置
CN110097140A (zh) * 2019-05-13 2019-08-06 招商局重庆交通科研设计院有限公司 一种用于隧道巡检机器人的数据处理系统
CN110309821B (zh) * 2019-05-24 2023-04-18 创新先进技术有限公司 图像采集检测方法以及装置
CN110705360A (zh) * 2019-09-05 2020-01-17 上海零眸智能科技有限公司 一种人机结合高效处理分类数据的方法
CN110889411B (zh) * 2019-09-27 2023-12-08 武汉创想外码科技有限公司 基于ai芯片的通用图像识别模型
TWI772700B (zh) * 2019-10-29 2022-08-01 財團法人資訊工業策進會 影像辨識系統及其更新方法
CN110889357B (zh) * 2019-11-19 2023-10-27 湖南国奥电力设备有限公司 基于标注区域的地下电缆故障检测方法和装置
CN112861892B (zh) * 2019-11-27 2023-09-01 杭州海康威视数字技术股份有限公司 图片中目标的属性的确定方法和装置
CN111160148A (zh) * 2019-12-16 2020-05-15 上海聪育智能科技有限公司 一种基于像素差异的教学考勤识别系统及方法
CN111104988B (zh) * 2019-12-28 2023-09-29 Oppo广东移动通信有限公司 图像识别方法及相关装置
CN113128260A (zh) * 2019-12-30 2021-07-16 苏州快乐脑信息技术有限公司 一种教学管理系统及方法
CN111598168B (zh) * 2020-05-18 2022-06-24 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及介质
CN111930980B (zh) * 2020-08-21 2023-07-07 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN112036280A (zh) * 2020-08-24 2020-12-04 方海涛 水鸟种群动态监测方法、装置和设备
CN112084241A (zh) * 2020-09-23 2020-12-15 北京金山云网络技术有限公司 一种标注数据筛选方法、装置及电子设备
CN112541550B (zh) * 2020-12-16 2023-03-24 南京掌控网络科技有限公司 一种基于图像分类的冰箱完整性判断方法及电子设备
CN112733669A (zh) * 2020-12-30 2021-04-30 中国移动通信集团江苏有限公司 人工智能ai的识别方法、装置、设备及计算机存储介质
CN112733916B (zh) * 2020-12-31 2023-04-07 五八有限公司 虚假证件图片的识别方法、装置、电子设备及存储介质
CN112329896B (zh) * 2021-01-05 2021-05-14 武汉精测电子集团股份有限公司 模型训练方法及装置
CN113239804B (zh) * 2021-05-13 2023-06-02 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
CN113627248A (zh) * 2021-07-05 2021-11-09 深圳拓邦股份有限公司 自动选择识别模型的方法、系统、割草机及存储介质
CN113610138A (zh) * 2021-08-02 2021-11-05 典基网络科技(上海)有限公司 基于深度学习模型的图像分类识别方法、装置及存储介质
CN113722509B (zh) * 2021-09-07 2022-03-01 中国人民解放军32801部队 一种基于实体属性相似度的知识图谱数据融合方法
CN113808116A (zh) * 2021-09-24 2021-12-17 无锡精质视觉科技有限公司 基于图像识别的智能检测方法、系统及产品检测系统
CN114238679A (zh) * 2021-11-23 2022-03-25 广东佛斯伯智能设备有限公司 一种纸板生产线翘曲纸板模板库的构建方法
CN114627098A (zh) * 2022-03-28 2022-06-14 上海商汤智能科技有限公司 检测结果处理方法和装置、设备、介质
CN114677578A (zh) * 2022-03-30 2022-06-28 腾讯科技（深圳）有限公司 确定训练样本数据的方法和装置
CN114511748B (zh) * 2022-04-19 2022-06-24 山东第一医科大学附属省立医院(山东省立医院) 一种pcr方舱废料收纳装置的信息扫描系统及方法
CN114861937A (zh) * 2022-05-10 2022-08-05 深圳市千乘机器人有限公司 一种数据的识别和训练方法
CN117218356A (zh) * 2022-06-01 2023-12-12 深圳先进技术研究院 图像识别方法及装置
CN115376094B (zh) * 2022-10-27 2023-02-03 山东聚祥机械股份有限公司 基于尺度感知神经网络的无人清扫车路面识别方法及系统
CN115512348B (zh) * 2022-11-08 2023-03-28 浪潮金融信息技术有限公司 一种基于双识别技术的物体识别方法、系统、设备及介质
CN116416522A (zh) * 2022-12-22 2023-07-11 杭州睿胜软件有限公司 植物物种确定方法、装置及计算机可读存储介质
CN115965875B (zh) * 2023-03-16 2023-06-20 德阳稷农农业科技有限公司 一种农作物病虫害智能监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501855B1 (en) * 1999-07-20 2002-12-31 Parascript, Llc Manual-search restriction on documents not having an ASCII index
CN101299762A (zh) * 2008-06-20 2008-11-05 北京中星微电子有限公司 一种身份认证方法及装置
CN103324937A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 标注目标的方法和装置
CN103425693A (zh) * 2012-05-23 2013-12-04 富士通株式会社 图像处理装置、图像处理方法以及电子设备

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319232A (ja) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd 類似画像検索装置および類似画像検索方法
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7471832B2 (en) * 2004-02-24 2008-12-30 Trw Automotive U.S. Llc Method and apparatus for arbitrating outputs from multiple pattern recognition classifiers
US7457808B2 (en) * 2004-12-17 2008-11-25 Xerox Corporation Method and apparatus for explaining categorization decisions
US7756341B2 (en) * 2005-06-30 2010-07-13 Xerox Corporation Generic visual categorization method and system
US7720848B2 (en) * 2006-03-29 2010-05-18 Xerox Corporation Hierarchical clustering with real-time updating
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US7711747B2 (en) * 2007-04-06 2010-05-04 Xerox Corporation Interactive cleaning for automatic document clustering and categorization
US20080294514A1 (en) * 2007-05-23 2008-11-27 Calman Matthew A System and method for remote deposit capture and customer information gathering
EP2211275B1 (en) * 2007-11-06 2018-04-04 National University Corporation Hokkaido University Similar image retrieving device
US7885794B2 (en) * 2007-11-30 2011-02-08 Xerox Corporation Object comparison, retrieval, and categorization methods and apparatuses
US9514355B2 (en) * 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
US8165974B2 (en) * 2009-06-08 2012-04-24 Xerox Corporation System and method for assisted document review
US8380647B2 (en) * 2009-08-14 2013-02-19 Xerox Corporation Training a classifier by dimension-wise embedding of training data
JP4806101B2 (ja) * 2010-02-01 2011-11-02 株式会社モルフォ 物体検出装置及び物体検出方法
US8566746B2 (en) * 2010-08-30 2013-10-22 Xerox Corporation Parameterization of a categorizer for adjusting image categorization and retrieval
JP5214760B2 (ja) * 2011-03-23 2013-06-19 株式会社東芝 学習装置、方法及びプログラム
JP2012243180A (ja) * 2011-05-23 2012-12-10 Sony Corp 学習装置および方法、並びにプログラム
US8903198B2 (en) * 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
EP2962101A4 (en) * 2013-02-28 2016-10-19 Progyny Inc APPARATUS, METHOD AND SYSTEM FOR CLASSIFYING HUMAN EMBRYONIC CELLS FROM IMAGES
US8923608B2 (en) * 2013-03-04 2014-12-30 Xerox Corporation Pre-screening training data for classifiers
AU2015212984A1 (en) * 2014-01-28 2016-06-23 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
JP6433187B2 (ja) * 2014-08-07 2018-12-05 キヤノン株式会社 情報処理装置、その制御方法およびコンピュータプログラム
US20170262478A1 (en) * 2014-09-09 2017-09-14 Thomson Licensing Method and apparatus for image retrieval with feature learning
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
EP3156952A1 (en) * 2015-10-17 2017-04-19 Tata Consultancy Services Limited Goals standardization for performance appraisal
US9990561B2 (en) * 2015-11-23 2018-06-05 Lexmark International, Inc. Identifying consumer products in images
CN105844287B (zh) * 2016-03-15 2019-06-07 民政部国家减灾中心 一种遥感影像分类的域自适应方法及系统
AU2017350945B2 (en) * 2016-10-28 2021-11-11 Verily Life Sciences Llc Predictive models for visually classifying insects
JP6837376B2 (ja) * 2017-04-10 2021-03-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN109191382B (zh) * 2018-10-18 2023-12-05 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501855B1 (en) * 1999-07-20 2002-12-31 Parascript, Llc Manual-search restriction on documents not having an ASCII index
CN101299762A (zh) * 2008-06-20 2008-11-05 北京中星微电子有限公司 一种身份认证方法及装置
CN103324937A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 标注目标的方法和装置
CN103425693A (zh) * 2012-05-23 2013-12-04 富士通株式会社 图像处理装置、图像处理方法以及电子设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895691A (zh) * 2018-09-12 2020-03-20 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN110895691B (zh) * 2018-09-12 2023-06-23 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
WO2020253741A1 (zh) * 2019-06-20 2020-12-24 杭州睿琪软件有限公司 利用错误样本检查人工客户端状态的方法及装置
WO2020253742A1 (zh) * 2019-06-20 2020-12-24 杭州睿琪软件有限公司 样本标注审核方法及装置
CN110458107B (zh) * 2019-08-13 2023-06-16 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN112861567B (zh) * 2019-11-12 2024-01-05 上海高德威智能交通系统有限公司 一种车型分类方法及装置
CN112861567A (zh) * 2019-11-12 2021-05-28 上海高德威智能交通系统有限公司 一种车型分类方法及装置
CN111401456A (zh) * 2020-03-20 2020-07-10 杭州涂鸦信息技术有限公司 人脸姿态识别模型的训练方法及其系统和装置
CN111401456B (zh) * 2020-03-20 2023-08-22 杭州涂鸦信息技术有限公司 人脸姿态识别模型的训练方法及其系统和装置
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN112649780A (zh) * 2020-12-17 2021-04-13 泰安轻松信息科技有限公司 一种智能仪表电路识别检测设备
CN112528447A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 电网模型分类标识方法、系统、电子设备及存储介质
CN112528447B (zh) * 2020-12-18 2024-04-12 中国南方电网有限责任公司 电网模型分类标识方法、系统、电子设备及存储介质
CN112819815A (zh) * 2021-02-25 2021-05-18 汇鸿智能科技(辽宁)有限公司 金相组织识别方法、装置、计算机设备及存储介质
CN116778477A (zh) * 2023-06-20 2023-09-19 上海市农业科学院 一种基于图像处理的玉米果穗性状指标计算方法
CN116778477B (zh) * 2023-06-20 2024-05-17 上海市农业科学院 一种基于图像处理的玉米果穗性状指标计算方法

Also Published As

Publication number Publication date
US11270166B2 (en) 2022-03-08
CN107690659B (zh) 2021-08-10
CN107690659A (zh) 2018-02-13
US20190318208A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
WO2018119684A1 (zh) 一种图像识别系统及图像识别方法
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2020238293A1 (zh) 图像分类方法、神经网络的训练方法及装置
WO2022033150A1 (zh) 图像识别方法、装置、电子设备及存储介质
US10311704B1 (en) Passenger-related item loss mitigation
CN110795595B (zh) 基于边缘计算的视频结构化存储方法、装置、设备及介质
US11755641B2 (en) Image searches based on word vectors and image vectors
CN111931859B (zh) 一种多标签图像识别方法和装置
WO2023178930A1 (zh) 图像识别方法、训练方法、装置、系统及存储介质
US20220415023A1 (en) Model update method and related apparatus
WO2023038574A1 (en) Method and system for processing a target image
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
US11551084B2 (en) System and method of robust active learning method using noisy labels and domain adaptation
Mar et al. Cow detection and tracking system utilizing multi-feature tracking algorithm
CN113140012A (zh) 图像处理方法、装置、介质及电子设备
CN111814813A (zh) 神经网络训练和图像分类方法与装置
CN117216249A (zh) 数据分类方法、装置、电子设备、介质及车辆
CN113705643A (zh) 一种目标物检测方法、装置以及电子设备
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质
CN117437425B (zh) 语义分割方法、装置、计算机设备及计算机可读存储介质
US20240096119A1 (en) Depth Based Image Tagging
US20210201043A1 (en) Video sampling method and apparatus using the same
CN117893961A (zh) 目标识别方法、装置、电子设备及存储介质
CN117746348A (zh) 一种非法运营车辆的识别方法、装置、电子设备及介质
CN115984304A (zh) 一种实例分割方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16925451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/10/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16925451

Country of ref document: EP

Kind code of ref document: A1