WO2021012508A1 - Ai影像识别方法、装置、设备及存储介质 - Google Patents

Ai影像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021012508A1
WO2021012508A1 PCT/CN2019/117571 CN2019117571W WO2021012508A1 WO 2021012508 A1 WO2021012508 A1 WO 2021012508A1 CN 2019117571 W CN2019117571 W CN 2019117571W WO 2021012508 A1 WO2021012508 A1 WO 2021012508A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing result
preset
recognition
target
Prior art date
Application number
PCT/CN2019/117571
Other languages
English (en)
French (fr)
Inventor
吴海萍
吕传峰
陶蓉
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021012508A1 publication Critical patent/WO2021012508A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06T5/80—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • This application relates to the field of image processing technology, and in particular to an AI image recognition method, device, equipment and storage medium.
  • AI image lesions correspond to multiple symptom features, and the same symptom features distributed in different positions may belong to different lesions, which causes the technical problems of low recognition accuracy and low recognition efficiency of existing clinical AI images.
  • the main purpose of this application is to provide an AI image recognition method, device, equipment, and storage medium, aiming to solve the technical problems of low recognition accuracy and low recognition efficiency of clinical AI images in the prior art.
  • this application provides an AI image recognition method, the AI image recognition method includes:
  • preprocessing including preset contrast stretching and first preset size adjustment is performed on the AI image to be recognized to obtain a preprocessed image
  • the pre-processed images after the layering are respectively subjected to the recognition processing of the target sign category, and the target sign location and the corresponding target sign category are taken as the processing result and output.
  • the step of performing layering processing on the pre-processed image according to a preset AI image model, and determining the location of the target layered sign corresponding to the AI image to be recognized includes:
  • the image weight matrix of the AI image where the hierarchical sign position of the AI image is different, and the corresponding sign category is different;
  • the second use case is used as a test case to test the basic recognition network model after adjustment and training, to finally obtain the AI image model.
  • the step of performing the recognition processing of the target sign category on the layered preprocessed image, and the step of using the target layered sign position and the corresponding target sign category as the processing result and outputting includes:
  • the initial processing result is classified to obtain the target sign category of the preprocessed image after the layering, and the target layered sign position and the corresponding target sign category are taken as the processing result and output.
  • the step of performing a preset number of alternate processing of convolution and maximum pooling on the layered preprocessed image to obtain an initial processing result includes:
  • the maximum pooling processing result is again subjected to corresponding times of convolution and maximum pooling alternate processing, and the activation processing of the preset activation function is performed to obtain the initial processing result.
  • the step of performing maximum pooling processing on the convolution processing result to obtain the maximum pooling processing result includes:
  • the step of classifying the initial processing result to obtain the target sign category of the layered preprocessed image includes:
  • the probability prediction values corresponding to the initial processing result are determined, and the probability prediction values are fused to obtain the target sign category of the preprocessed image after the layering.
  • the step of performing the recognition processing of the target sign category on the layered preprocessed image, and the step of using the target layered sign position and the corresponding target sign category as the processing result and outputting includes:
  • a recognition report of the AI image is generated according to the processing result, and the recognition report is sent to the preset AI image personnel in the form of an email.
  • the present application also provides an AI image recognition device, and the AI image recognition device includes:
  • the detection module is configured to perform preprocessing including preset contrast stretching and first preset size adjustment on the AI image to be recognized when the AI image to be recognized is detected, to obtain a preprocessed image;
  • the layering module is configured to perform layered processing on the pre-processed image according to a preset AI image model, and determine the location of the target layered sign corresponding to the AI image to be recognized;
  • the recognition processing module is configured to perform the recognition processing of the target sign category on the layered preprocessed image, and output the target sign position and the corresponding target sign category as the processing result.
  • the AI image recognition device further includes:
  • the acquisition layer module is used to acquire a preset image use case of the AI image, select the image use case of the preset ratio as the first use case, and set the other use cases except the first use in the image use cases as the second Example;
  • the training module is configured to use the first use case as a training use case to perform adjustment training of the basic recognition network model corresponding to the AI image model, so as to adjust the training of the basic recognition network model for the multiple sign categories of the AI image
  • the test module is configured to use the second use case as a test case to test the basic recognition network model after adjustment and training, to finally obtain the AI image model.
  • the identification processing module includes:
  • An alternate processing unit configured to perform a preset number of convolution and maximum pooling alternate processing on the layered preprocessed image to obtain an initial processing result
  • An output unit configured to classify the initial processing result to obtain the target sign category of the preprocessed image after the layering, and use the target layered sign position and the corresponding target sign category as the processing result And output.
  • the alternate processing unit includes:
  • a convolution processing subunit configured to perform convolution processing on the layered preprocessed image according to the image weight matrix to obtain a convolution processing result
  • the maximum pooling processing subunit is configured to perform maximum pooling processing on the convolution processing result to obtain the maximum pooling processing result
  • the alternate processing subunit is configured to perform a corresponding number of convolution and maximum pooling alternate processing on the maximum pooling processing result again according to the preset number of times, and perform activation processing of the preset activation function to obtain the initial processing result .
  • the maximum pooling processing subunit is used to implement:
  • the output unit includes:
  • a prediction subunit configured to respectively predict the initial processing result through at least two prediction submodels in the AI image model, wherein the preset thresholds for prediction in each prediction submodel are different;
  • the fusion subunit is used to determine each probability prediction value corresponding to the initial processing result according to the various preset threshold values, and to merge and process the various probability prediction values to obtain the layered preprocessed image The target sign category.
  • the AI image recognition device further includes:
  • the sending module is configured to generate an AI image recognition report according to the processing result, and send the recognition report to a preset AI imager in the form of an email.
  • the present application also provides an AI image recognition device, the AI image recognition device includes: a memory, a processor, a communication bus, and computer-readable instructions stored on the memory,
  • the communication bus is used to realize the communication connection between the processor and the memory
  • the processor is configured to execute the computer-readable instructions to implement the following steps:
  • preprocessing including preset contrast stretching and first preset size adjustment is performed on the AI image to be recognized to obtain a preprocessed image
  • the pre-processed images after the layering are respectively subjected to the recognition processing of the target sign category, and the target sign location and the corresponding target sign category are taken as the processing result and output.
  • this application also provides a storage medium that stores one or more computer-readable instructions, and the one or more computer-readable instructions can be used by one or more processors. Execute for:
  • preprocessing including preset contrast stretching and first preset size adjustment is performed on the AI image to be recognized to obtain a preprocessed image
  • the pre-processed images after the layering are respectively subjected to the recognition processing of the target sign category, and the target sign location and the corresponding target sign category are taken as the processing result and output.
  • the AI image to be recognized when the AI image to be recognized is detected, the AI image to be recognized is preprocessed including preset contrast stretching and first preset size adjustment to obtain the preprocessed image; according to the preset AI image
  • the model performs layered processing on the preprocessed image, and determines the location of the target layered sign corresponding to the AI image to be recognized; performs the recognition processing of the target sign category on the preprocessed image after layering, and the target The position of the hierarchical sign and the corresponding target sign category are used as the processing result and output.
  • the AI image model is a model that can accurately identify the location of the sign and the sign category of the AI image after training. Therefore, in this embodiment, the AI image to be recognized is automatically recognized, thus improving It improves the recognition accuracy of clinical AI images and improves the recognition efficiency of existing clinical AI images. It solves the technical problems of low recognition accuracy and low recognition efficiency of existing clinical AI images.
  • FIG. 1 is a schematic flowchart of the first embodiment of the AI image recognition method of this application
  • FIG. 2 is a schematic diagram of the refinement process before the step of performing layering processing on the pre-processed image according to a preset AI image model in the AI image recognition method of the application to determine the target layered feature position corresponding to the AI image to be recognized;
  • FIG. 3 is a schematic diagram of the device structure of the hardware operating environment involved in the method of the embodiment of the present application.
  • the AI image recognition method includes:
  • Step S10 when the AI image to be recognized is detected, preprocessing including preset contrast stretching and first preset size adjustment is performed on the AI image to be recognized to obtain a preprocessed image;
  • Step S20 Perform hierarchical processing on the preprocessed image according to the preset AI image model, and determine the target hierarchical sign position corresponding to the AI image to be recognized;
  • Step S30 Recognizing the target sign category is performed on the pre-processed image after layering, and the target sign position and the corresponding target sign category are taken as the processing result and output.
  • Step S10 when the AI image to be recognized is detected, preprocessing including preset contrast stretching and first preset size adjustment is performed on the AI image to be recognized to obtain a preprocessed image;
  • the AI image recognition method is applied to an AI image recognition device.
  • an AI image to be recognized is detected, the AI image to be recognized is subjected to a preset contrast stretching and a first preset size adjustment.
  • Preprocessing to obtain a preprocessed image.
  • the purpose of preprocessing the AI image to be recognized is to ensure that AI images of different specifications to be recognized conform to the initial input rules of the AI image model.
  • the preset contrast stretching includes stretching of the brightness contrast between the image image and the image background of the AI image to be recognized.
  • the preset contrast can be 4 times the contrast stretching of different brightness.
  • the first preset size adjustment includes such as size Operations such as shrinking and expanding the size.
  • one of the AI images to be recognized is a small tile with a size of 128*128*128, the other is the size of the AI image to be recognized It is a small block of 64*64*64, and when the initial input image block of the AI image model is 90*90*90, the small block of 128*128*128 will be reduced to 64*64* 64 small tiles are enlarged.
  • pretreatment process also includes other pretreatment methods, which are specifically adjusted according to actual processing requirements.
  • Step S20 Perform hierarchical processing on the preprocessed image according to the preset AI image model, and determine the target hierarchical sign position corresponding to the AI image to be recognized;
  • the adaptive threshold maximum between-class variance method is to divide the image to be processed into two types of image and background according to gray-scale features to extract feature information to obtain the tissue area. After organizing the area, the entire tissue area is recognized hierarchically. Hierarchical recognition is to compare the regional features of the tissue area with the preset regional features of each layer to determine the target score corresponding to the AI image to be recognized. Location of layer signs.
  • Step S30 Recognizing the target sign category is performed on the pre-processed image after layering, and the target sign position and the corresponding target sign category are taken as the processing result and output.
  • the pre-processed images after the stratification are respectively subjected to target sign category recognition processing, and the target sign position and the corresponding target sign category are taken as the processing result and output.
  • the target sign position includes the category Position 1 and category position 2.
  • the category position 1 corresponds to the first target sign category
  • the category position 2 corresponds to the second target sign category. Then the first target sign category and the category position are respectively combined in the output preprocessed image 1 as the processing result and output, and the second target sign category and category position 2 as the processing result and output.
  • the recognition processing of the pre-processed image after the layering by the preset AI image model involves convolution, pooling, activation, and classification processing.
  • the pre-processed image is layered according to the preset AI image model to determine the location of the target layered sign corresponding to the AI image to be recognized Before the steps include:
  • Step A1 Obtain a preset image use case of the AI image, select the image use case of the preset ratio as a first use case, and set other use cases except the first use case in the image use case as a second use case;
  • image use cases with AI images are pre-stored, the image use case with a preset ratio is selected as the first use case, and other use cases except for the first use in the image use cases are set as the second use cases ,
  • the imaging use case can be composed of multiple first use cases and corresponding multiple second use cases through a replacement method. For example, there are N imaging use cases, and 70% of the imaging use cases are randomly selected as the first each time. Use cases, the remaining 30% of the image use cases are used as the first use cases to obtain multiple first use cases and multiple second use cases, and the purpose of obtaining multiple first use cases and corresponding multiple second use cases is to ensure that the model is trained in the process The objectivity.
  • Step A2 Use the first use case as a training use case to perform adjustment training of the basic recognition network model corresponding to the AI image model, so as to adjust the training of the basic recognition network model corresponding to the multiple symptom categories of the AI image
  • the sign categories include lumbar disc bulging, lumbar disc compression fracture, lumbar disc softening, lumbar disc herniation, etc.
  • the position of the layered sign of the AI image is different, and the corresponding sign category is different, for example, waist
  • the lumbar disc bulge 1 in 1 is different from the lumbar disc bulge 2 in the waist 2.
  • the signs and characteristics refer to the specific lumbar disc bulge 1.
  • Image statistics characteristics are generally multiple, therefore, lumbar disc bulging 1 corresponds to multiple sign categories, the specific proportion of each sign category is different, and it can be accurate after obtaining the proportion of each sign category Recognizing lumbar disc bulging 1 and obtaining the proportion of each sign category of lumbar disc bulging 1 requires continuous adjustment and training.
  • This proportion is the image weight matrix of each sign category of the lumbar disc bulging.
  • the image weight matrix is continuously increased or reduced, and the image weight matrix of lumbar disc bulge 1 in waist 1 is finally obtained.
  • the images of lumbar disc bulge 2 in waist 2 are obtained.
  • the weight matrix obtains the image weight matrix of the sign features corresponding to multiple sign categories such as lumbar disc compression fracture, lumbar disc softening, and lumbar disc herniation.
  • Step A3 Use the second use case as a test case to test the basic recognition network model after adjustment and training, to finally obtain the AI image model.
  • the second use case is used as a test case to test the basic recognition network model after adjustment training. If the test determines that the test accuracy of the basic recognition network model after adjustment training is greater than expected When the accuracy is set, the basic recognition network model after the adjustment training is used as the target recognition type, wherein if the test determines that the test accuracy of the basic recognition network model after the adjustment training is less than the preset accuracy At this time, continue to train and adjust the basic recognition network model after the adjustment and training, so as to finally obtain an AI image model through training.
  • the AI image to be recognized is processed according to the AI image model. Specifically, the pre-processed image after the layering is subjected to the recognition processing of the target sign category, and the target sign is divided into layers.
  • the position and corresponding target sign category as the processing result and output steps include:
  • Step S31 performing alternate processing of convolution and maximum pooling for a preset number of times on the preprocessed image after the layering to obtain an initial processing result
  • the pre-processed image after the layering is subjected to a preset number of alternate processing of convolution and maximum pooling to obtain an initial processing result, wherein the preset number of times may be 3 times.
  • the step of performing a preset number of alternate processing of convolution and maximum pooling on the layered preprocessed image to obtain an initial processing result includes:
  • Step B1 performing convolution processing on the layered preprocessed image according to the image weight matrix to obtain a convolution processing result
  • the convolution process can be understood as: the sign feature of one part of the image is the same as the other part, that is, the sign feature learned in this part can also appear on the corresponding other part, so the learned sign feature is used as the detector , Applied to any place of this image, that is, the characteristic features learned from a small-scale image are convolved with the original large-size image.
  • the convolution can be the characteristic matrix of the corresponding image and the pre-multiple The corresponding detection matrices are multiplied by the corresponding sign features, and finally the image weights are summed to obtain the convolution processing result.
  • the pixel matrix corresponding to the layered preprocessed image is multiplied by the detection matrix or the pixel matrix corresponding to the preset feature feature, and finally the image weight is summed, Obtain the convolution processing result.
  • Step B2 performing maximum pooling processing on the convolution processing result to obtain a maximum pooling processing result
  • the maximum pooling processing is continued instead of the average pooling processing.
  • the step of performing maximum pooling processing on the convolution processing result to obtain the maximum pooling processing result includes:
  • Step C1 dividing the convolution processing result into a plurality of image matrices with the same size of the second preset size
  • the convolution processing result is divided into multiple 5*5*5 dimensional image matrices.
  • Step C2 obtaining the maximum pixel value in the image matrix of the second preset size, and substituting the maximum pixel value for the image matrix of the second preset size to obtain a new image matrix;
  • the maximum pixel value in the second preset size image matrix and replace the second preset size image matrix with the maximum pixel value to obtain a new image matrix, such as a 5*5*5 dimension If the maximum pixel value in the image matrix is 1, then 1 will replace the 5*5*5 dimensional image matrix. Since the convolution processing result includes multiple 5*5*5 dimensional image matrices, a new The image matrix.
  • Step C3 Set the new image matrix as the maximum pooling processing result.
  • the new image matrix is set as the maximum pooling processing result.
  • Step B3 According to the preset number of times, the maximum pooling processing result is again subjected to corresponding times of convolution and maximum pooling alternate processing, and the activation processing of the preset activation function is performed to obtain the initial processing result.
  • the above C1-C3 are one-time convolution and maximum pooling alternate processing procedures.
  • Step S32 Perform classification processing on the initial processing result to obtain the target sign category of the preprocessed image after the layering, and use the target layered sign position and the corresponding target sign category as the processing result and output .
  • the initial processing result is classified to obtain the target sign category of the preprocessed image after the stratification, and the target hierarchical sign position and the corresponding target sign category are taken as Process the results and output.
  • the AI image to be recognized when the AI image to be recognized is detected, the AI image to be recognized is preprocessed including preset contrast stretching and first preset size adjustment to obtain the preprocessed image; according to the preset AI image
  • the model performs layered processing on the preprocessed image, and determines the location of the target layered sign corresponding to the AI image to be recognized; performs the recognition processing of the target sign category on the preprocessed image after layering, and the target The position of the hierarchical sign and the corresponding target sign category are used as the processing result and output.
  • the AI image model is a model that can accurately identify the location of the sign and the sign category of the AI image after training. Therefore, in this embodiment, the AI image to be recognized is automatically recognized, thus improving It improves the recognition accuracy of clinical AI images and improves the recognition efficiency of existing clinical AI images. It solves the technical problems of low recognition accuracy and low recognition efficiency of existing clinical AI images.
  • this application provides another embodiment of an AI image recognition method.
  • the initial processing result is classified to obtain the target feature of the layered preprocessed image
  • the category steps include:
  • Step D1 Predict the initial processing result respectively through at least two predictive sub-models in the AI image model, wherein the preset thresholds for prediction in the predictive sub-models are different;
  • the initial processing results are respectively predicted through at least two predictive sub-models in the AI image model. Specifically, it may be through two predictive sub-models (in each predictive sub-model).
  • the preset thresholds for prediction are different), that is, the initial processing result is predicted by the fusion method of two prediction sub-models.
  • Step D2 Determine each probability prediction value corresponding to the initial processing result according to the various preset threshold values, and process the various probability prediction values together to obtain the target signs of the layered preprocessed image category.
  • the two probability prediction values corresponding to the initial processing result can be determined according to the two preset thresholds. Specifically, the initial processing result is compared with the corresponding preset thresholds to obtain different differences. The value of the two probability prediction values is obtained, and the two probability prediction values are merged to determine whether the probability prediction value after the fusion processing is within the probability prediction value interval of the corresponding sign category to obtain the stratified The target sign category of the preprocessed image.
  • the initial processing results are respectively predicted through at least two predictive sub-models in the AI image model, wherein the preset thresholds for prediction in each predictive sub-model are different According to each preset threshold, determine each probability prediction value corresponding to the initial processing result, and process the each probability prediction value fusion to obtain the target symptom category of the layered preprocessed image.
  • the sporadicity in the prediction process is eliminated, and the accuracy of the prediction is improved.
  • the present application provides another embodiment of an image recognition method based on deep learning.
  • the layered preprocessed images are respectively subjected to target sign category recognition processing, and the target
  • the hierarchical sign position and the corresponding target sign category as the processing result and output step include:
  • Step S40 Generate an AI image recognition recognition report according to the processing result, and send the recognition report to a preset AI image recognition personnel in the form of an email.
  • a recognition report for AI image recognition is generated according to the processing result, and the recognition report is sent to a preset AI image recognition personnel in the form of an email for subsequent processing by the AI image recognition personnel. Sending the recognition report to the preset AI image recognition personnel in the form of mail can leave a record of the transmission, which is convenient for subsequent queries.
  • the AI image recognition recognition report is generated according to the processing result, and the recognition report is sent to the preset AI image recognition personnel in the form of an email, which improves the query efficiency of subsequent queries.
  • FIG. 3 is a schematic diagram of the device structure of the hardware operating environment involved in the solution of the embodiment of the present application.
  • the AI image recognition device in the embodiment of this application can be a PC, or a smart phone, a tablet computer, an e-book reader, MP3 (Moving Picture Experts Group Audio Layer III, moving picture experts compress standard audio layer 3) player, MP4 (Moving Picture Experts Group Audio Layer IV, the standard audio layer compressed by the dynamic image experts 4) Players, portable computers and other terminal equipment.
  • MP3 Moving Picture Experts Group Audio Layer III, moving picture experts compress standard audio layer 3
  • MP4 Moving Picture Experts Group Audio Layer IV, the standard audio layer compressed by the dynamic image experts
  • the AI image recognition device may include a processor 1001, such as a CPU, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection and communication between the processor 1001 and the memory 1005.
  • the memory 1005 can be a high-speed RAM memory or a stable memory (non-volatile memory), such as disk storage.
  • the memory 1005 may also be a storage device independent of the foregoing processor 1001.
  • the AI image recognition device may also include a target user interface, network interface, camera, RF (Radio Frequency (radio frequency) circuits, sensors, audio circuits, WiFi modules, etc.
  • the target user interface may include a display screen (Display) and an input unit such as a keyboard (Keyboard), and the optional target user interface may also include a standard wired interface and a wireless interface.
  • the optional network interface can include standard wired interface and wireless interface (such as WI-FI interface).
  • the structure of the AI image recognition device shown in FIG. 3 does not constitute a limitation on the AI image recognition device, and may include more or fewer components than shown, or a combination of certain components, or different The layout of the components.
  • the memory 1005 as a computer storage medium may include an operating system, a network communication module, and computer readable instructions.
  • the operating system is a computer-readable instruction that manages and controls the hardware and software resources of the AI image recognition device, and supports the operation of computer-readable instructions and other software and/or computer-readable instructions.
  • the network communication module is used to implement communication between various components in the memory 1005, and communication with other hardware and software in the AI image recognition device.
  • the processor 1001 is configured to execute computer-readable instructions stored in the memory 1005 to implement the steps of the AI image recognition method described in any one of the above.
  • the specific implementation manner of the AI image recognition device of the present application is basically the same as the foregoing embodiments of the AI image recognition method, and will not be repeated here.
  • the present application also provides an AI image recognition device, and the AI image recognition device includes:
  • the detection module is configured to perform preprocessing including preset contrast stretching and first preset size adjustment on the AI image to be recognized when the AI image to be recognized is detected, to obtain a preprocessed image;
  • the layering module is configured to perform layered processing on the pre-processed image according to a preset AI image model, and determine the location of the target layered sign corresponding to the AI image to be recognized;
  • the recognition processing module is configured to perform the recognition processing of the target sign category on the layered preprocessed image, and output the target sign position and the corresponding target sign category as the processing result.
  • the specific implementation of the AI image recognition device of the present application is basically the same as each embodiment of the above AI image recognition method, and will not be repeated here.
  • the storage medium may be a non-volatile storage medium.
  • the storage medium stores one or more computer-readable instructions, and the one or more computer-readable instructions may also be One or more processors are executed to implement the steps of the AI image recognition method described in any one of the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种AI影像识别方法、装置、设备及存储介质，该方法包括：在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像（S10）；根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置（S20）；对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出（S30）。本方法基于智能决策方式解决现有技术中，临床AI影像的识别准确度低，识别效率低的技术问题。

Description

AI影像识别方法、装置、设备及存储介质
本申请要求于2019年07月19日提交中国专利局、申请号为201910664161.3、发明名称为“AI影像识别方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种AI影像识别方法、装置、设备及存储介质。
背景技术
在临床AI影像识别中，常常需要不同的AI影像医生人为结合AI影像征象，患者年龄等多种信息综合判断，才能给出精准的识别结果，然而，由于AI影像医生的人手以及经验严重不足，且AI影像病灶对应多个征象特征，而同种征象特征分布在不同位置可能属于不同的病灶，因而造成现有临床AI影像的识别准确度低，识别效率低的技术问题。
发明内容
本申请的主要目的在于提供一种AI影像识别方法、装置、设备及存储介质，旨在解决现有技术中，临床AI影像的识别准确度低，识别效率低的技术问题。
为实现上述目的，本申请提供一种AI影像识别方法，所述AI影像识别方法包括：
在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
可选地，所述根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前包括：
获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
可选地，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤包括：
对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
可选地，所述对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果步骤包括：
根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
可选地，所述对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果步骤包括：
将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述最大池化处理结果。
可选地，所述对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别步骤包括：
通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
可选地，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤之后包括：
根据所述处理结果生成AI影像的识别报告，以邮件形式将所述识别报告发送给预设的AI影像人员。
本申请还提供一种AI影像识别装置，所述AI影像识别装置包括：
检测模块，用于在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
分层模块，用于根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
识别处理模块，用于对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
可选地，所述AI影像识别装置还包括：
获取层模块，用于获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
训练模块，用于将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
测试模块，用于将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
可选地，所述识别处理模块包括：
交替处理单元，用于对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
输出单元，用于对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
可选地，所述交替处理单元包括：
卷积处理子单元，用于根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
最大池化处理子单元，用于对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
交替处理子单元，用于根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
可选地，所述最大池化处理子单元用于实现：
将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述最大池化处理结果。
可选地，所述输出单元包括：
预测子单元，用于通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
融合子单元，用于根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
可选地，所述AI影像识别装置还包括：
发送模块，用于根据所述处理结果生成AI影像的识别报告，以邮件形式将所述识别报告发送给预设的AI影像人员。
此外，为实现上述目的，本申请还提供一种AI影像识别设备，所述AI影像识别设备包括：存储器、处理器，通信总线以及存储在所述存储器上的计算机可读指令，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述计算机可读指令，以实现以下步骤：
在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质存储有一个或者一个以上计算机可读指令，所述一个或者一个以上计算机可读指令可被一个或者一个以上的处理器执行以用于：
在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
本申请通过在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。在本申请中，不再需要将临床AI影像发送给AI影像医生进行人为识别，而是在检测到待识别AI影像时，进行相应的预处理，然后将预处理图像分发至对应的AI影像模型中，而AI影像模型都是经过训练后能够对应对AI影像进行征象位置以及征象类别的准确识别的模型，因而，在本实施例中实现自动对所述待识别AI影像进行识别，因而，提升了临床AI影像的识别准确度，提升了现有临床AI影像的识别效率。解决了现有临床AI影像的识别准确度低，识别效率低的技术问题。
附图说明
图1为本申请AI影像识别方法第一实施例的流程示意图；
图2为本申请AI影像识别方法中根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前的细化流程示意图；
图3是本申请实施例方法涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种AI影像识别方法，在本申请AI影像识别方法的第一实施例中，参照图1，所述AI影像识别方法包括：
步骤S10，在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
步骤S20，根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
步骤S30，对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
具体步骤如下：
步骤S10，在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
在本实施例中，AI影像识别方法应用于AI影像识别装置中，在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像，对所述待识别AI影像进行预处理的目的在于确保不同规格的待识别AI影像符合AI影像模型的初始输入规则。
预设对比度拉伸包括对待识别AI影像的影像图像与影像背景的亮度对比度的拉伸，该预设对比度可以是4倍不同亮度的对比度拉伸，另外，第一预设尺寸大小调整包括如大小缩小、大小扩大等操作。
用以具体实施例进行说明，在检测到两张不同大小的待识别AI影像时，若其中一张待识别AI影像大小为128*128*128的小图块，另一张待识别AI影像大小为64*64*64的小图块，而AI影像模型的初始输入图像块是90*90*90的规格要求时，对128*128*128的小图块进行缩小处理，对64*64*64的小图块进行扩大处理。
需要说明的是，预处理过程还包括其他预处理方式，具体根据实际处理需求进行调整。
步骤S20，根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
在得到预处理图像后，根据所述AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置，具体地，分层处理过程中可以使用自适应阈值最大类间方差法，其中，自适应阈值最大类间方差法，即是将所述待处理图像按照灰度特征分成图像和背景两类，以提取特征信息，以得到组织区域，在得到组织区域后，将整个组织区域进行分层识别，分层识别即是将组织区域的区域特征与预设的各个分层的区域特征进行比对，以确定所述待识别AI影像对应的目标分层征象位置。
步骤S30，对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
在分层后，对分层后的所述预处理图像分别进行目标征象类别识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出，需要说明的是，在对分层后的所述预处理图像分别进行目标征象类别识别处理过程中，根据得到目标征象类别的具体图像的类别位置，进行同步输出，用以具体实施例进行说明，目标分层征象位置包括类别位置1以及类别位置2，该类别位置1中对应的是第一目标征象类别，该类别位置2对应的是第二目标征象类别，则在输出预处理图像分别将第一目标征象类别与类别位置1作为处理结果并输出，将第二目标征象类别与类别位置2作为处理结果并输出。
具体地，预设的AI影像模型对分层后的所述预处理图像的识别处理涉及卷积、池化、激活以及分类处理过程。
参照图2，在预设的AI影像模型对分层后的所述预处理图像进行卷积、池化、激活以及分类处理前，是需要得到该预设的AI影像模型的，以实现能够对分层后的所述预处理图像进行准确识别处理，因而，所述根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前包括：
步骤A1，获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
在本实施例中，预先存储有AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例，需要说明的是，该影像用例可以通过有放回方式组成多个第一用例以及对应多个第二用例，例如，共有N个影像用例，每次从中随机挑选70%的影像用例作为第一用例，剩下的30%的影像用例作为第一用例，以得到多个第一用例与多个第二用例，得到多个第一用例以及对应多个第二用例的目的在于确保训练模型过程中的客观性。
步骤A2，将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，例如，所述征象类别包括腰椎间盘膨出、腰椎间盘压缩骨折，腰椎间盘软化，腰椎间盘突出等，AI影像的分层征象位置不同，对应的征象类别不同，例如，腰1中的腰椎间盘膨出1与腰2中的腰椎间盘膨出2不同，具体地，针对该腰1中的腰椎间盘膨出1而言，征象特征指的是具体的腰椎间盘膨出1的图像统计特性，该图像统计特性一般为多个，因而，腰椎间盘膨出1对应有多个征象类别，具体每个征象类别的占比不同，在得到每个征象类别的占比后，才能准确识别腰椎间盘膨出1，而得到腰椎间盘膨出1具体每个征象类别的占比需要不断进行调整训练，该占比即是所述腰椎间盘膨出的每个征象类别的图像权值矩阵，在调整训练过程中，不断进行图像权值矩阵增大或者缩小等调整处理，最终得到腰1中腰椎间盘膨出1的各个图像权值矩阵，同样地，得到腰2中腰椎间盘膨出2的各个图像权值矩阵，得到腰椎间盘压缩骨折，腰椎间盘软化，腰椎间盘突出等分别对应的多个征象类别所分别对应的征象特征的图像权值矩阵。
步骤A3，将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
在训练完成后，将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，若测试确定该调整训练后的所述基础识别网络模型的测试的测试准确度大于预设准确度时，将所述调整训练后的所述基础识别网络模型作为目标识别型，其中，若测试确定该调整训练后的所述基础识别网络模型的测试的测试准确度小于预设准确度时，继续训练调整所述调整训练后的所述基础识别网络模型，以最终训练得到AI影像模型。
在得到AI影像模型后，根据该AI影像模型对待识别AI影像进行处理，具体地，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤包括：
步骤S31，对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
在本实施例中，对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果，其中，预设次数可以为3次。
具体地，所述对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果步骤包括：
步骤B1，根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
其中，卷积过程可以理解为：图像的一部分的征象特征与其他部分是一样的，即是在这一部分学习的征象特征也能出现在相应另一部分上，因而将学习到的征象特征作为探测器，应用到这个图像的任意地方中去，即通过小范围图像所学习到的征象特征跟原本的大尺寸的图像作卷积，在数学上，卷积可以是相应图像的特性矩阵与预先的多个征象特征对应探测矩阵相乘最后再图像权值求和，得到卷积处理结果。
在本实施例中，根据所述图像权值矩阵，将分层后的所述预处理图像对应的像素矩阵与预设征象特征对应的探测矩阵或者像素矩阵相乘，最后图像权值求和，得到卷积处理结果。
步骤B2，对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
在得到卷积处理结果后，继续进行最大池化处理而不是平均池化处理。
所述对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果步骤包括：
步骤C1，将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
例如将所述卷积处理结果分割为多个5*5*5维的图像矩阵。
步骤C2，获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵，如5*5*5维的图像矩阵中最大像素值为1，则将1代替所述5*5*5维的图像矩阵，由于卷积处理结果中包括多个5*5*5维的图像矩阵，因而，最后能够得到新的图像矩阵。
步骤C3，将所述新的图像矩阵设为所述最大池化处理结果。
在得到新的图像矩阵后，将所述新的图像矩阵设为所述最大池化处理结果。
步骤B3，根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
上述C1-C3为一次卷积以及最大池化交替处理过程，在本实施例中，需要进行预设次数的卷积以及最大池化的交替处理过程，并进行预设激活函数的激活处理以得到初始处理结果，其中，激活函数可以为为sigmoid函数。
步骤S32，对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
在得到初始处理结果后，对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
本申请通过在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。在本申请中，不再需要将临床AI影像发送给AI影像医生进行人为识别，而是在检测到待识别AI影像时，进行相应的预处理，然后将预处理图像分发至对应的AI影像模型中，而AI影像模型都是经过训练后能够对应对AI影像进行征象位置以及征象类别的准确识别的模型，因而，在本实施例中实现自动对所述待识别AI影像进行识别，因而，提升了临床AI影像的识别准确度，提升了现有临床AI影像的识别效率。解决了现有临床AI影像的识别准确度低，识别效率低的技术问题。
进一步地，本申请提供AI影像识别方法的另一实施例，在该实施例中，所述对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别步骤包括：
步骤D1，通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
在本实施例中，通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，具体地，可以是通过2个预测子模型（各个预测子模型中进行预测的预设阀值不同），即采用2个预测子模型融合方式对所述初始处理结果进行预测。
步骤D2，根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
可以根据2个预设阀值，确定所述初始处理结果对应的2个概率预测值，具体地，将初始处理结果与对应各个预设阀值进行比对，得到不同的差值，根据该差值的大小，得到2个概率预测值，融合处理所述2个概率预测值，判断融合处理后的概率预测值是否在对应的征象类别的概率预测值区间内，以得到所述分层后的所述预处理图像的目标征象类别。
在本实施例中，通过通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。在本实施例中，消除预测过程中的偶发性，提升了预测的准确性。
进一步地，本申请提供基于深度学习的影像识别方法的另一实施例，在该实施例中，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤之后包括：
步骤S40，根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员。
在本实施例中，根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员，以供AI影像识别人员进行后续处理，其中，以邮件形式将所述识别报告发送给预设的AI影像识别人员能够留下发送记录，便于后续查询。
在本实施例中，根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员，提升了后续查询的查询效率。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请实施例AI影像识别设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、便携计算机等终端设备。
如图3所示，该AI影像识别设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该AI影像识别设备还可以包括目标用户接口、网络接口、摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。目标用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选目标用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
本领域技术人员可以理解，图3中示出的AI影像识别设备结构并不构成对AI影像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及计算机可读指令。操作系统是管理和控制AI影像识别设备硬件和软件资源的计算机可读指令，支持计算机可读指令以及其它软件和/或计算机可读指令的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与AI影像识别设备中其它硬件和软件之间通信。
在图3所示的AI影像识别设备中，处理器1001用于执行存储器1005中存储的计算机可读指令，实现上述任一项所述的AI影像识别方法的步骤。
本申请AI影像识别设备具体实施方式与上述AI影像识别方法各实施例基本相同，在此不再赘述。
本申请还提供一种AI影像识别装置，所述AI影像识别装置包括：
检测模块，用于在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
分层模块，用于根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
识别处理模块，用于对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
本申请AI影像识别装置具体实施方式与上述AI影像识别方法各实施例基本相同，在此不再赘述。
本申请提供了一种存储介质，所述存储介质可以为非易失性存储介质，所述存储介质存储有一个或者一个以上计算机可读指令，所述一个或者一个以上计算机可读指令还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的AI影像识别方法的步骤。
本申请存储介质具体实施方式与上述AI影像识别方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (20)

  1. 一种AI影像识别方法，其中，所述AI影像识别方法包括：
    在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
    根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
    对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出；
    根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员。
  2. 如权利要求1所述的AI影像识别方法，其中，所述根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前包括：
    获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
    将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
    将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
  3. 如权利要求1所述的AI影像识别方法，其中，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤包括：
    对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
    对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
  4. 如权利要求3所述的AI影像识别方法，其中，所述对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果步骤包括：
    根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
    对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
    根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
  5. 如权利要求4所述的AI影像识别方法，其中，所述对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果步骤包括：
    将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
    获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
    将所述新的图像矩阵设为所述最大池化处理结果。
  6. 如权利要求3所述的AI影像识别方法，其中，所述对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别步骤包括：
    通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
    根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
  7. 一种AI影像识别装置，其中，所述AI影像识别装置包括：
    检测模块，用于在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
    分层模块，用于根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
    识别处理模块，用于对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出；
    发送模块，用于根据所述处理结果生成AI影像的识别报告，以邮件形式将所述识别报告发送给预设的AI影像人员。
  8. 如权利要求7所述的AI影像识别装置，其中，所述AI影像识别装置还包括：
    获取层模块，用于获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
    训练模块，用于将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
    测试模块，用于将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
  9. 一种AI影像识别设备，其中，所述AI影像识别设备包括：存储器、处理器，通信总线以及存储在所述存储器上的计算机可读指令，
    所述通信总线用于实现处理器与存储器间的通信连接；
    所述处理器用于执行所述计算机可读指令，以实现如下步骤：
    在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
    根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
    对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出；
    根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员。
  10. 如权利要求9所述的AI影像识别设备，其中，所述根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前包括：
    获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
    将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
    将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
  11. 如权利要求9所述的AI影像识别设备，其中，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤包括：
    对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
    对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
  12. 如权利要求11所述的AI影像识别设备，其中，所述对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果步骤包括：
    根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
    对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
    根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
  13. 如权利要求12所述的AI影像识别设备，其中，所述对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果步骤包括：
    将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
    获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
    将所述新的图像矩阵设为所述最大池化处理结果。
  14. 如权利要求11所述的AI影像识别设备，其中，所述对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别步骤包括：
    通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
    根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
  15. 一种存储介质，其中，所述存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
    在检测到待识别AI影像时，对所述待识别AI影像进行包括预设对比度拉伸以及第一预设尺寸大小调整的预处理，以得到预处理图像；
    根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置；
    对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出；
    根据所述处理结果生成AI影像识别的识别报告，以邮件形式将所述识别报告发送给预设的AI影像识别人员。
  16. 如权利要求15所述的存储介质，其中，所述根据预设的AI影像模型对所述预处理图像进行分层处理，确定所述待识别AI影像对应的目标分层征象位置步骤之前包括：
    获取预设的AI影像的影像用例，挑选预设比例的所述影像用例设为第一用例，将所述影像用例中所述第一用例外的其他用例设为第二用例；
    将所述第一用例作为训练用例进行所述AI影像模型对应基础识别网络模型的调整训练，以调整训练所述基础识别网络模型中针对所述AI影像的多个征象类别所分别对应的征象特征的图像权值矩阵，其中，AI影像的分层征象位置不同，对应的征象类别不同；
    将所述第二用例作为测试用例进行调整训练后的所述基础识别网络模型的测试，以最终得到所述AI影像模型。
  17. 如权利要求15所述的存储介质，其中，所述对分层后的所述预处理图像分别进行目标征象类别的识别处理，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出步骤包括：
    对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果；
    对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别，将所述目标分层征象位置以及对应的目标征象类别作为处理结果并输出。
  18. 如权利要求17所述的存储介质，其中，所述对所述分层后的所述预处理图像进行预设次数的卷积与最大池化交替处理，得到初始处理结果步骤包括：
    根据所述图像权值矩阵，对所述分层后的所述预处理图像进行卷积处理，得到卷积处理结果；
    对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果；
    根据所述预设次数，对所述最大池化处理结果再次进行相应次数的卷积与最大池化交替处理，并进行预设激活函数的激活处理以得到初始处理结果。
  19. 如权利要求18所述的存储介质，其中，所述对所述卷积处理结果进行最大池化处理，以得到最大池化处理结果步骤包括：
    将所述卷积处理结果分割为多个大小一致的第二预设尺寸的图像矩阵；
    获取所述第二预设尺寸的图像矩阵中的最大像素值，将所述最大像素值代替所述第二预设尺寸的图像矩阵，以得到新的图像矩阵；
    将所述新的图像矩阵设为所述最大池化处理结果。
  20. 如权利要求15所述的存储介质，其中，所述对所述初始处理结果进行分类处理，以得到所述分层后的所述预处理图像的目标征象类别步骤包括：
    通过所述AI影像模型中至少两个以上的各预测子模型分别对所述初始处理结果进行预测，其中，所述各个预测子模型中进行预测的预设阀值不同；
    根据所述各个预设阀值，确定所述初始处理结果对应的各个概率预测值，融合处理所述各个概率预测值，以得到所述分层后的所述预处理图像的目标征象类别。
PCT/CN2019/117571 2019-07-19 2019-11-12 Ai影像识别方法、装置、设备及存储介质 WO2021012508A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910664161.3A CN110517225B (zh) 2019-07-19 2019-07-19 Ai影像识别方法、装置、设备及存储介质
CN201910664161.3 2019-07-19

Publications (1)

Publication Number Publication Date
WO2021012508A1 true WO2021012508A1 (zh) 2021-01-28

Family

ID=68623319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117571 WO2021012508A1 (zh) 2019-07-19 2019-11-12 Ai影像识别方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110517225B (zh)
WO (1) WO2021012508A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312979A (zh) * 2021-04-30 2021-08-27 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、路侧设备及云控平台

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275558B (zh) * 2020-01-13 2024-02-27 上海维跃信息科技有限公司 用于确定保险数据的方法和装置
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113744845A (zh) * 2021-09-17 2021-12-03 平安好医投资管理有限公司 基于人工智能的医学影像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3246875A2 (en) * 2016-05-18 2017-11-22 Siemens Healthcare GmbH Method and system for image registration using an intelligent artificial agent
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN109977832A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测系统及方法
CN109919928B (zh) * 2019-03-06 2021-08-03 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3246875A2 (en) * 2016-05-18 2017-11-22 Siemens Healthcare GmbH Method and system for image registration using an intelligent artificial agent
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN109977832A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312979A (zh) * 2021-04-30 2021-08-27 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、路侧设备及云控平台
CN113312979B (zh) * 2021-04-30 2024-04-16 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、路侧设备及云控平台

Also Published As

Publication number Publication date
CN110517225A (zh) 2019-11-29
CN110517225B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
WO2021012508A1 (zh) Ai影像识别方法、装置、设备及存储介质
WO2020000643A1 (zh) Ct图像肺结节检测方法、设备及可读存储介质
WO2020253048A1 (zh) 基于深度学习的影像识别方法、装置、设备及存储介质
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2020034526A1 (zh) 保险录音的质检方法、装置、设备和计算机存储介质
WO2021132927A1 (en) Computing device and method of classifying category of data
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2011081379A2 (en) Display device and control method thereof
WO2020207038A1 (zh) 基于人脸识别的人数统计方法、装置、设备及存储介质
WO2018164378A1 (en) Electronic apparatus for compressing language model, electronic apparatus for providing recommendation word and operation methods thereof
WO2020017875A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
EP3707906A1 (en) Electronic apparatus and control method thereof
WO2020119369A1 (zh) 智能it运维故障定位方法、装置、设备及可读存储介质
WO2020015060A1 (zh) 用电量异常评估方法、装置、设备和计算机存储介质
WO2020107762A1 (zh) Ctr预估方法、装置及计算机可读存储介质
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2018131875A1 (en) Display apparatus and method for providing service thereof
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2020107591A1 (zh) 重复投保限制方法、装置、设备及可读存储介质
EP3577571A1 (en) Electronic apparatus for compressing language model, electronic apparatus for providing recommendation word and operation methods thereof
WO2020168606A1 (zh) 广告视频优化方法、装置、设备及计算机可读存储介质
WO2020258672A1 (zh) 网络访问的异常检测方法和装置
WO2020062615A1 (zh) 显示面板的伽马值调节方法、装置及显示设备
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938610

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938610

Country of ref document: EP

Kind code of ref document: A1