WO2020227794A1 - Automatic method and system for analysing mammography images and method for deep neural network training - Google Patents

Automatic method and system for analysing mammography images and method for deep neural network training Download PDF

Info

Publication number
WO2020227794A1
WO2020227794A1 PCT/BR2020/050159 BR2020050159W WO2020227794A1 WO 2020227794 A1 WO2020227794 A1 WO 2020227794A1 BR 2020050159 W BR2020050159 W BR 2020050159W WO 2020227794 A1 WO2020227794 A1 WO 2020227794A1
Authority
WO
WIPO (PCT)
Prior art keywords
breast
mammography
image
density
mammography image
Prior art date
Application number
PCT/BR2020/050159
Other languages
French (fr)
Portuguese (pt)
Inventor
Roberto de Alencar LOTUFO
Eduardo De Faria Castro FLEURY
Erick Machado SEOLIN
Original Assignee
Dl4Med Inteligencia Artificial Para Medicina Ltda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dl4Med Inteligencia Artificial Para Medicina Ltda filed Critical Dl4Med Inteligencia Artificial Para Medicina Ltda
Publication of WO2020227794A1 publication Critical patent/WO2020227794A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Definitions

  • the present invention describes a solution for faster evaluation of mammography images, from the prediction of breast density, in order to assess and classify the risk of breast density to mask a diagnosis of an injury, and the prediction the quality of breast positioning in the mammography image, these predictions being made through a previously trained deep neural network.
  • the present invention is located in the fields of image processing, artificial intelligence, medicine, computer engineering, information technology, biomedical engineering and mammography.
  • the mediolateral oblique projection is more important, because when positioned and performed correctly, it is able to show almost all the breast tissue, encompassing the upper outer quadrant, where the most cases of pathologies.
  • breast densities were classified into four categories: 1. Breast formed practically only from fat ( ⁇ 25% glandular); 2. Scattered fibroglandular densities (approximately 25% - 50% glandular); 3. Breast tissue with heterogeneous density that can hide the detection of small masses (approximately 51% - 75% glandular); 4. Extremely dense breast tissue, which may decrease the sensitivity of the mammogram (> 75% glandular).
  • the document US9008382 B2 reveals a method and system of analysis of breast images that aims to establish a reference value and automatically calibrate the image to estimate the overall density. This document, however, aims to estimate the global breast density, which differs from the applications of the present invention, which performs the classification of the breast based on the risk that the breast density will obstruct the visualization and mask a diagnosis and, moreover, the method proposed in US9008382 B2 does not provide a rating for the quality of breast positioning.
  • US9361683 B2 discloses a prediction technique in an image system that performs an automatic evaluation of quantitative measurement (s) and properties of an image using image processing techniques.
  • the solution proposed in US9361683 B2 is limited in application since it does not use machine learning techniques, and does not propose a classification of breast density according to the BI-RADS classification fifth version nor classify the quality of breast positioning.
  • US9536054 B1 discloses a method and means for using machine learning to train a device to generate a confidence level indicator (CLI) associated with clinical actions following the lexicon of the BI-RADS recommendation.
  • the device is a CAD system that was initially trained using initial machine learning to recommend classifications for imaging resources.
  • Probabilistic classification is used to incorporate intermediate values, given by an operator, to indicate the best level of confidence in the CAD system recommendations on which classes should be associated with certain image resources.
  • This method seeks to make a complete diagnosis of mammography examination, while the invention proposed here is a tool to assist in the automatic classification of breast density according to BI-RADS classification 5 th Edition. This document also does not classify the quality of the positioning of the breast, which is done in the invention proposed here.
  • WO2018015911 A1 discloses a system and apparatus comprising automated analysis and feedback on soft tissue image quality, including analysis and feedback in real time and accordingly with key parameters and metrics that affect the quality of an image.
  • the system is willing to implement a method in which it provides a qualitative and / or quantitative assessment of an image including several steps.
  • the steps include using an imaging device to obtain at least one image of a patient's soft tissue and at least one image of a test object; deriving a soft tissue image parameter and statistical data from soft tissue image data.
  • the system and the method are characterized using a metric for the evaluation in comparison with the parameter and statistical data, in which the metric is obtained from the soft tissue image data, data obtained from at least one image of the object of test and device image data.
  • this method classifies breast density using statistical methods while the present invention uses deep machine learning.
  • the method proposed in the present invention in addition to estimating the quality of breast positioning, also forms simultaneously an estimated density of the breast according to the BI-RADS classification fifth version, characteristics that are not found in W02018015911 A1.
  • US8218850 B2 discloses a method of processing a mammography image to derive a value for a parameter useful in detecting differences in breast tissue in subsequent images of the same breast or in relation to a control group of such images, being said derived parameter an aggregated probability index that reflects the likelihood that the image is a member of a predefined class of mammography images, said method comprising computing for each of a multitude of pixels within a large region of interest within of the image a pixel probability score attributed by a trained statistical classifier according to the probability that said pixel belonging to an image belonging to that class, said pixel probability being calculated based on a selected plurality of characteristics of said pixels and calculating the referred parameter aggregating the pixel probability scores on the said region of interest.
  • This method seeks to estimate the associated differences in breast density variations to estimate the risk of cancer.
  • the method of US8218850 B2 does not allow a classification of breast density, considering the risk of density obstructing a lesion and, thus, hindering a diagnosis. Furthermore, this document does not carry out a classification of the quality of breast positioning.
  • the present invention solves the problems of the state of the art from an automatic analysis of the mammography image, in order to provide an estimate on the quality of the positioning of the breast in the image, in an attempt to prevent the exams have to be redone, and also a prediction on breast density, classifying it as to the risks of density obstructing an injury and disrupting a diagnosis, so that the present invention makes it possible to assist in the diagnosis of breast cancer.
  • the present invention presents a method of automatic image analysis of mammography, which has steps such as training deep neural networks to assess breast positioning, improving image quality and directing to a correct diagnosis and classification of breast density, for example, according to edition 5 a of the BI-RADS (Breast Imaging Reporting and Data System) of 2013, where as previously said, high breast density, as seen in studies, has high probability of incidence of breast cancer, thus alerting the specialist or even in the case of a low-density breast, that has a cluster that prevents the visualization of a possible injury. Therefore, this solution makes it possible to reduce subjectivity in mammography diagnoses and to make diagnosis more accurate, reducing the time needed and providing subsidies for the correct diagnosis.
  • steps such as training deep neural networks to assess breast positioning, improving image quality and directing to a correct diagnosis and classification of breast density, for example, according to edition 5 a of the BI-RADS (Breast Imaging Reporting and Data System) of 2013, where as previously said, high breast density, as seen in studies, has high probability of incidence of breast cancer
  • the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting the quality of breast positioning in the image of mammography; and prediction of breast density in the mammography image based on the risk of breast density masking the diagnosis of an injury.
  • an automatic method of mammography image analysis comprises the steps of: receiving at least one mammography image to be analyzed, by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of the breast positioning (1) in the image; display, by the processing unit, of the breast density prediction (2) in the image.
  • the present invention presents a training method of deep neural network for image analysis of mammography and prediction of the quality of breast positioning, which comprises the steps of: selecting a plurality of images of baseline mammograms containing a statistical sample profile previously identified as good, medium and bad; qualitative classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, medium or bad; and insertion of the classified images in an input channel of the deep neural network and verification of errors, based on comparisons with the defined sample profile.
  • the present invention features an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier with at least: a predictor of the quality of the positioning of the breast in the mammography image; and a predictor of breast density in the mammography image, making it possible to classify the risk of density preventing the visualization of a lesion.
  • Figure 1 shows an embodiment of the capture quality classifier flowchart for classification of breast positioning (1) and breast density for classification of breast density (2), where this classifier is based on deep neural networks ( 3) (Deep Learning).
  • Figure 2 shows an embodiment of the flowchart of an operation of the mammography image analysis system by means of the image capture machine, a local computer (hospital), a remote or local server and a local computer (doctor ).
  • Figures 3 to 6 show examples of results obtained by tests carried out from the teachings of the present invention. Detailed Description of the Invention
  • a mammography image is any image captured from a patient's breast, for example, during the performance of a mammography examination or any other imaging examination to assess diseases related to the mammary region.
  • the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting breast positioning quality (1) on the mammography image; and prediction of breast density (2) on the mammography image, based on the risk of breast density masking the diagnosis of an injury.
  • the stage of quality prediction of breast positioning (1) comprises a previous stage of training and classification of mammography images in the deep learning system.
  • the deep learning system comprises a deep neural network (3).
  • the classifier comprises architecture of deep neural networks (3) (deep learning) comprising layers of convolutional networks and layers of dense networks.
  • the layers of convolutional networks are responsible for extracting characteristics to make the classification and the layers of dense networks are responsible for making the final classification in 3 categories: positioning quality: good, medium or bad.
  • the previous training stage is performed by means of a set of mammography images previously selected and / or previously annotated, both in the quality of the positioning of the breast (1) in the image and in the estimate of the breast density ( two).
  • the classifier is able to provide a doctor / specialist / radiologist with the result of the prediction made for quality of breast positioning (1) and breast density (2) in the mammographic image.
  • mammography images previously annotated are images used for training that have already been analyzed by radiologists and / or mammography specialists.
  • the neural network (3) is trained with the annotated data using a cross-entropy loss function, in order to achieve an acceptable final error. This training is done based on the recorded data.
  • the neural network (3) is able to calculate and provide the quality indexes for breast positioning (1) and breast density (2) based on the training performed.
  • the pixel matrix of the breast image is fed as input to the deep neural network algorithm, which has been trained to return as a result the two indices: the quality of the breast position and the breast density.
  • the quality prediction stage has a display of the results related to the image quality, where the image quality is classified, for example, by bad, medium or good.
  • the breast density prediction step (2) is performed in order to identify the risk of breast density masking or obstructing any possible injury to the patient, which may interfere / hinder a doctor's diagnosis. Based on this, the method of the invention classifies breast density according to pre-defined indexes and provides this information to the doctor, so that he can make the decision.
  • the breast density prediction step (2) in the mammography image is implemented in a hybrid system comprising the deep neural network (3) and at least one analytical system for extracting characteristics.
  • the calculation of breast density (2) is performed using screening assessment right after image capture.
  • the prediction of breast density (2) comprises the steps of: dividing the mammography image into areas circulars of predefined sizes; calculation of average density associated with each pixel centered on the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighborhood pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of average intensity at the maximum and minimum points on the density map and calculation of the breast density estimate (2).
  • the luminous intensity of the pixels is proportional to the degree of opacity of the breast tissue to the X-ray beam emitted by the mammograph.
  • N pre-defined circular areas of the mammography image of higher average densities in relation to their neighboring areas are selected.
  • Each of the N regions generates two values: the maximum average density and the minimum average density.
  • the breast density (2) can be calculated using a neural network (3) made up of dense layers that receive these N values of maximum and minimum mean densities. This network is trained with images already classified by doctors, specialists, etc.
  • the prediction of breast density on the image is performed according to the BI-RADS orientation 5th edition 2013.
  • the present invention presents an automatic method of mammography image analysis that comprises the steps of: receiving at least one mammography image to be analyzed, by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of the breast positioning (1) in the image; and display, by the processing unit, of the breast density prediction (2) in the image.
  • the processing step is equipped with automatic classification of the mammographic image, in which it is responsible for performing the prediction of quality of the positioning of the breast (1) on the mammography image and to predict the breast density (2) on the mammography image.
  • the step of predicting the quality of breast positioning is performed by means of deep neural network architecture (3) comprising layers of convolutional networks and layers of dense networks.
  • the deep neural network (3) was trained with a set of mammography images previously selected and / or previously classified by a specialist health professional.
  • the mammography image quality prediction stage comprises displaying results, being classified, for example, as bad, medium or good. Based on this automatic result, a health professional who performs the exam can, at the same time, verify the need to repeat the exam or not.
  • the breast density prediction step is performed by the processing unit and comprises the steps of: dividing the mammography image into circular areas of predefined sizes; calculation of average density associated with each pixel centered on the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighborhood pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of average intensity at the maximum and minimum points on the density map and calculation of the breast density estimate (2).
  • the calculation of breast density can be performed by another neural network of dense layers that receives these maximum and minimum values of mean values from the circular regions as input. This network is trained with data recorded by specialists.
  • the quality of the positioning of the breast (1) and the breast density (2) of the mammography image provided by the classifier are provided.
  • the classifier provides i) the quality of the positioning of the breast, according to previously defined indices, such as bad, medium or good; and ii) the classification of breast density could obstruct the view of an injury, which is previously set classification, as exemplified by BI-RADS 5th edition.
  • the present invention presents a training method of deep neural network for image analysis of mammography and prediction of the quality of breast positioning, which comprises the steps of: selecting a plurality of images of mammograms of base containing previously identified statistical sample profile; classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, medium or bad; and insertion of classified images in an input channel of the deep neural network and error checking, using annotated data.
  • a deep neural network (3) comprising layers of convolutional networks and layers of dense networks is used.
  • a plurality of images is selected that have an acceptable statistical sample profile for the analysis, that is, images that have the same or similar characteristics sufficient to trace mathematical patterns, in addition to images with different characteristics, in such a way that the learning system is able to recognize the differences between different event situations.
  • a specialist capable of classifying the mammography images, checks the quality of the breast positioning of the selected images and then classifies them according to a previously defined standard.
  • the classification can be of the type: good, average or bad.
  • the classified images are inserted in the input channel of the neural network. From the results obtained in the output layer, the errors obtained when compared with the image classifications are verified. In this way, the neural network is able to update the weights of the layers by executing the learning and improving the output result through the optimization of the gradient gradient method.
  • the specialist doctor also receives the estimate of breast density (2) made by the classifier and decides the classification of breast density (2) to be inserted in a medical report.
  • the present invention features an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier with at least: quality predictor of breast positioning (1) in the mammography image ; and breast density predictor (2) on the mammography image.
  • the quality predictor has the function of analyzing the quality of the positioning of said mammography image, that is, if the image is positioned correctly, sharp and / or susceptible to be interpreted by a professional.
  • the breast density predictor (2) on the mammography image has the function of determining the breast density (2) from the mammography image, through a calculation and making the result available to a professional.
  • the automatic mammography image analysis system also includes: means of receiving mammography images; at least one processor comprising: at least one mammography image reader; an automatic mammographic image classifier; at least one tool for making results available; in which the automatic mammographic image classifier included in the processor communicates with the results delivery tool and the mammography image reader included in the processor communicates with the environment receiving mammography image.
  • the mammography image receiving medium comprises association with the processor, so that the image received by the mammography image receiving medium is forwarded to the processor.
  • the processor comprises an image reader and said automatic mammographic image classifier, which comprises said predictors of breast quality and density (2).
  • the image reader sends the image to the classifier that automatically analyzes the quality of the breast position (1) (quality predictor) and performs the calculation to determine the breast density (2) in the mammography image.
  • the classifier comprises architecture of deep neural networks (3) (deep learning) comprising layers of convolutional networks and layers of dense networks.
  • the automatic mammographic image classifier comprises at least one hybrid system composed of at least one deep neural network (3) and at least one analytical system of analysis of breast density (2) maximum and minimum of at least one image.
  • the breast density classifier (2) in the mammographic image comprises at least one means of directing the circular area to be scanned for breast density prediction pixels (2).
  • Tests of the method were carried out on a web platform, in which several images had density and quality of positioning calculated by the methods using described deep neural networks.
  • the platform features links for high-resolution visualization of images, which can be opened in professional software for viewing medical images. All positions of patients' breasts and their classifications of quality and density can be visualized, as shown in figures 3 to 6.
  • an automatic mammography image analysis system was used, where a deep learning method using deep neural networks (3) was used to estimate the mammography image quality in an automated way, therefore after capturing the image. It was also used, an automatic goal computational method for the breast density classification (2), where the set of standards is met the criteria established in BI-RADS 5 edition of 2013. A decision on the need for additional tests is based on this classification, where this classification is given: A. the breast is almost entirely fat; B. there are scattered areas of fibroglandular density; C. the breasts are heterogeneously dense, being able to obstruct small masses; and D. the breasts are extremely dense, which reduces the sensitivity of the mammogram.
  • a means of receiving mammography images a processor with a mammography image reader and automatic mammographic image classifier and a tool for making results available were used.
  • an image evaluation system (HEI) was taken into account and fixed criteria were taken into account.
  • HAI image evaluation system
  • the system might be able to follow the same criteria as the experts, resulting in faithful predictions to those criteria.
  • the training images were classified into one of the three levels (bad, medium or good) by specialists and the deep neural network (3) learned to make the quality prediction in other mammography images that were presented to him, adapting them if so, the prediction to classification.
  • a good classification indicates that the image can be safely used by the specialist for analysis.
  • a medium quality indicates that the image can be used for analysis despite minor positioning problems.
  • a low quality indicates that the image cannot be safely analyzed by the specialist and needs to be retrieved.
  • the system used deep neural networks (3). The system evaluated the screening right after the image was captured and assisted the doctors in making the decision.
  • the images obtained were analyzed, so that the values of maximum, minimum and average intensity of the neighborhood of each pixel of the image were extracted in the divided circular areas, checking the luminous intensity of all the pixels in your neighborhood (defined as pixels at a distance R from the centered pixel), including being able to define several neighborhood distances.
  • Each extracted density map (the density map being the matrix of maximum, minimum or average intensity values extracted using a distance value Ri for the neighborhood distance) is then used as an attribute to train a second deep neural network, which is capable of to estimate breast density (using density maps as input parameter and estimated breast density as output).
  • figures 3 to 6 show the quality estimates of the breast positioning and the breast densities, where the indexes attributed to each image can be checked from the scales provided.
  • figure 3 indicated that the quality of breast positioning was “good” and for density, an index was assigned ⁇ '.
  • the index for the quality of the breast positioning and an estimated density 'C' were assigned as “average” quality.
  • the “good” estimation index for the positioning quality and estimated density index 'B' was assigned.
  • the index “good” was attributed to the quality of the breast position and the estimated density 'B'.

Abstract

The present invention describes a system and method for analysing mammography images. Specifically, the present invention comprises a device for classifying the quality of the position of the breast in the mammography image and a device for classifying the breast density in the mammography image, classifying the risk of the breast density preventing diagnosis of a possible lesion, in which these classification devices are calibrated by training a deep neural network using training mammography images and assessing said images using image generation quality reports. The present invention pertains to the fields of image processing, artificial intelligence, medicine, computer engineering, information technology, biomedical engineering and mammography.

Description

Relatório Descritivo de Patente de Invenção Invention Patent Descriptive Report
MÉTODO E SISTEMA AUTOMÁTICO DE ANÁLISE DE IMAGEM DE MAMOGRAFIA E MÉTODO DE TREINAMENTO DE REDE NEURAL PROFUNDA METHOD AND AUTOMATIC SYSTEM OF MAMOGRAPHY IMAGE ANALYSIS AND METHOD OF DEEP NEURAL NETWORK TRAINING
Campo da Invenção Field of the Invention
[0001] A presente invenção descreve uma solução para avaliações de forma mais rápida de imagens de mamografia, a partir da predição da densidade mamária, de forma a avaliar e classificar o risco de a densidade mamária mascarar um diagnóstico de uma lesão, e da predição da qualidade de posicionamento da mama na imagem de mamografia, sendo estas predições realizadas por meio de rede neural profunda previamente treinada. A presente invenção se situa nos campos de processamento de imagens, inteligência artificial, medicina, engenharia da computação, tecnologia da informação, engenharia biomédica e mamografia. [0001] The present invention describes a solution for faster evaluation of mammography images, from the prediction of breast density, in order to assess and classify the risk of breast density to mask a diagnosis of an injury, and the prediction the quality of breast positioning in the mammography image, these predictions being made through a previously trained deep neural network. The present invention is located in the fields of image processing, artificial intelligence, medicine, computer engineering, information technology, biomedical engineering and mammography.
Antecedentes da Invenção Background of the Invention
[0002] Ao longo das pesquisas médicas, é sabido que um diagnóstico precoce de indícios de câncer de mama acarreta em seu tratamento mais imediato e eficaz. É sabido, também, que conforme o tempo passa, o câncer acaba se desenvolvendo e se alastrando cada vez mais, e sua cura fica dificultada. Dentre os métodos de detecção precoce de câncer de mama, o método mais eficaz é a mamografia. Para uma maior precisão na detecção precoce do câncer de mama, é necessária a produção de imagens mamográficas de alta qualidade, onde o posicionamento para captura dessas imagens tem um papel fundamental na qualidade das imagens. São compreendidas no estado da técnica duas projeções de rotina na mamografia: a projeção crânio-caudal e a oblíquo mediolateral. [0002] Throughout medical research, it is known that an early diagnosis of evidence of breast cancer results in its most immediate and effective treatment. It is also known that as time passes, cancer ends up developing and spreading more and more, and its cure is difficult. Among the methods of early detection of breast cancer, the most effective method is mammography. For greater precision in the early detection of breast cancer, it is necessary to produce high quality mammographic images, where the positioning for capturing these images has a fundamental role in the quality of the images. Two routine projections on mammography are understood in the state of the art: the cranio-caudal projection and the mediolateral oblique projection.
[0003] A projeção oblíquo mediolateral possui maior importância, pois ao ser posicionada e realizada corretamente, é capaz de mostrar quase todo o tecido da mama, englobando o quadrante exterior superior, onde ocorre a maioria dos casos de patologias. Há uma enorme preocupação nos sistemas de avaliação de imagens para determinar o modo correto de incluir todo o tecido da mama na projeção oblíquo mediolateral, porém critérios para o músculo peitoral não são bem definidos e estão sujeitos a interpretações subjetivas, diminuindo sua confiabilidade como método preciso. [0003] The mediolateral oblique projection is more important, because when positioned and performed correctly, it is able to show almost all the breast tissue, encompassing the upper outer quadrant, where the most cases of pathologies. There is a huge concern in image evaluation systems to determine the correct way to include all breast tissue in the mediolateral oblique projection, but criteria for the pectoral muscle are not well defined and are subject to subjective interpretations, decreasing its reliability as an accurate method. .
[0004] Por meio das projeções, podem ser investigadas informações sobre a densidade mamária dos pacientes, sendo que este fator tem sido apontado em diversos estudos como um importante fator de risco para o desenvolvimento do câncer de mama, onde mulheres com as mamas densas apresentam um maior risco entre quatro a seis vezes do que mulheres com mamas predominantemente adiposas. Adicionalmente, o tecido denso fibroglandular pode ocultar a visualização de nódulos e diminuir a sensibilidade da mamografia, ocasionando na necessidade de exames suplementares de ultrassonografia ou ressonância magnética, denotando a importância na realização das projeções. [0004] Through the projections, information on the breast density of patients can be investigated, and this factor has been pointed out in several studies as an important risk factor for the development of breast cancer, where women with dense breasts present a four to six times greater risk than women with predominantly adipose breasts. Additionally, the dense fibroglandular tissue can hide the visualization of nodules and decrease the sensitivity of the mammography, causing the need for additional ultrasound or magnetic resonance exams, denoting the importance of making the projections.
[0005] Dessa forma, é evidente que o posicionamento errado da mama do paciente pode ocasionar em má qualidade de imagem de exame e pode ocasionar até em um diagnóstico incorreto, por não ser possível para um profissional interpretar a imagem de maneira correta, implicando até na necessidade de repetir o exame para que uma imagem com maior qualidade seja adquirida. Em consequência, um paciente terá que remarcar o exame, que evidentemente demanda tempo, e como já foi dito, caso o paciente tenha câncer de mama, provavelmente este vai se alastrar mais e como já foi dito, as chances de cura diminuem conforme o tempo passa. [0005] Thus, it is evident that the wrong positioning of the patient's breast can cause poor quality of the exam image and can even lead to an incorrect diagnosis, as it is not possible for a professional to interpret the image correctly, even implying in the need to repeat the exam so that a higher quality image is acquired. As a consequence, a patient will have to reschedule the exam, which evidently takes time, and as has already been said, if the patient has breast cancer, it will probably spread further and as already said, the chances of cure decrease with time goes by.
[0006] Uma grande limitação, também, das avaliações visuais da densidade mamária é a variabilidade intra e interobservador, independente da escala utilizada, pois os métodos qualitativos existentes para análise visual são subjetivos, não sendo reprodutíveis com confiabilidade e ocasionando em maior tempo de análise. [0006] A major limitation, also, of the visual assessments of breast density is the intra and interobserver variability, regardless of the scale used, as the existing qualitative methods for visual analysis are subjective, not being reproducible with reliability and causing a longer analysis time. .
[0007] Na 4a versão do BI-RADS ( Breast Imaging Reporting and Data System), as densidades mamárias eram classificadas em quatro categorias: 1. Mama formada praticamente apenas de gordura (<25% glandular); 2. Densidades fibroglandular espalhadas (aproximadamente 25% - 50% glandular); 3. Tecido mamário com densidade heterogénea podendo ocultar a detecção de massas pequenas (aproximadamente 51 % - 75% glandular); 4. Tecido mamário extremamente denso, podendo diminuir a sensitividade do mamograma (>75% glandular). [0007] In the fourth version of the BI-RADS (Breast Imaging and Data Reporting System), breast densities were classified into four categories: 1. Breast formed practically only from fat (<25% glandular); 2. Scattered fibroglandular densities (approximately 25% - 50% glandular); 3. Breast tissue with heterogeneous density that can hide the detection of small masses (approximately 51% - 75% glandular); 4. Extremely dense breast tissue, which may decrease the sensitivity of the mammogram (> 75% glandular).
[0008] Já a revisão feita na 5a edição em 2013, continua com as quatro classificações, porém elimina totalmente os quartis relacionados à quantidade de tecido glandular. Isto significa que na 5a edição não apenas a densidade é importante, mas principalmente se a densidade causar uma dificuldade de diagnóstico pela visualização da mamografia, por exemplo, caso ocorra um caso de densidade fibroglandular espalhada, porém podendo ocultar a detecção de massas pequenas, na 4a versão do sistema Bi-RADS a mama seria classificada como categoria 2, já na 5a versão do sistema Bi-RADS, a mama deve ser classificada como categoria 3. [0008] Since the revision made in the 5th edition in 2013, continues with the four classifications, but eliminates the quartiles related to the amount of glandular tissue. This means that the 5th edition not only the density is important, but especially if the density cause a difficulty of diagnosis by mammography viewing, for example, if an event of scattered fibro glandular density, but can hide the detection of small masses, 4 in the version of the BI-RADS system breast would be classified as category 2, as in the version 5 of the BI-RADS system, the breast should be classified as category 3.
[0009] Dessa forma, é possível observar que é necessária uma solução que afira a qualidade em uma projeção de mamografia e que determine de imediato o nível de densidade mamária, evitando atrasos e erros nos diagnósticos de patologias como o câncer e indicar com precisão se há necessidade de realizar exames complementares como ressonância magnética ou ultrassonografia, favorecendo, assim, em seu tratamento e probabilidade de cura. [0009] In this way, it is possible to observe that a solution is needed that affects the quality of a mammography projection and that immediately determines the level of breast density, avoiding delays and errors in the diagnosis of pathologies such as cancer and indicating precisely whether there is a need to perform complementary exams such as magnetic resonance or ultrasonography, thus favoring its treatment and probability of cure.
[0010] Na busca pelo estado da técnica em literaturas científica e patentária, foram encontrados os seguintes documentos que tratam sobre o tema: [0010] In the search for the state of the art in scientific and patent literature, the following documents dealing with the topic were found:
[0011] O documento US9008382 B2 revela um método e sistema de análise de imagens de mama que tem por objetivo estabelecer um valor de referência e calibrar automaticamente a imagem para fazer a estimativa da densidade global. Este documento, contudo, visa realizar a estimativa da densidade global da mama, o que diferencia das aplicações da presente invenção, a qual realiza a classificação da mama com base no risco de a densidade mamária obstruir a visualização e mascarar um diagnóstico e, além do mais, o método proposto em US9008382 B2 não prevê uma classificação para a qualidade do posicionamento da mama. [0011] The document US9008382 B2 reveals a method and system of analysis of breast images that aims to establish a reference value and automatically calibrate the image to estimate the overall density. This document, however, aims to estimate the global breast density, which differs from the applications of the present invention, which performs the classification of the breast based on the risk that the breast density will obstruct the visualization and mask a diagnosis and, moreover, the method proposed in US9008382 B2 does not provide a rating for the quality of breast positioning.
[0012] O documento US9361683 B2 revela uma técnica de predição em um sistema de imagem que realiza uma avaliação automática de medida(s) quantitativa(s) e propriedades de uma imagem usando técnicas de processamento de imagens. Contudo, a solução proposta em US9361683 B2 é limitada em aplicação uma vez que não utiliza de técnicas de aprendizagem de máquina, além de não propor uma classificação da densidade mamária de acordo com a classificação BI-RADS 5a versão e nem classifica a qualidade do posicionamento da mama. [0012] US9361683 B2 discloses a prediction technique in an image system that performs an automatic evaluation of quantitative measurement (s) and properties of an image using image processing techniques. However, the solution proposed in US9361683 B2 is limited in application since it does not use machine learning techniques, and does not propose a classification of breast density according to the BI-RADS classification fifth version nor classify the quality of breast positioning.
[0013] O documento US9536054 B1 revela um método e meios para utilizar a aprendizagem de máquina para treinar um dispositivo para gerar um indicador de nível de confiança (CLI) associados a ações clínicas seguindo o lexicon da recomendação BI-RADS. O dispositivo é um sistema de CAD que foi inicialmente treinado usando aprendizado inicial da máquina para recomendar classificações para recursos de imagem. Classificação probabilística é utilizada para incorporar valores intermediários, dados por um operador, para indicar o melhor nível de confiança das recomendações do sistema CAD sobre quais classes devem ser associadas a determinados recursos de imagem. Este método procura fazer um diagnóstico completo do exame de mamografia, enquanto que a invenção aqui proposta é uma ferramenta que visa auxiliar na classificação automática da densidade mamária de acordo com a classificação BI-RADS 5a Edição. Este documento também não classifica a qualidade do posicionamento da mama, o que é feito na invenção aqui proposta. [0013] US9536054 B1 discloses a method and means for using machine learning to train a device to generate a confidence level indicator (CLI) associated with clinical actions following the lexicon of the BI-RADS recommendation. The device is a CAD system that was initially trained using initial machine learning to recommend classifications for imaging resources. Probabilistic classification is used to incorporate intermediate values, given by an operator, to indicate the best level of confidence in the CAD system recommendations on which classes should be associated with certain image resources. This method seeks to make a complete diagnosis of mammography examination, while the invention proposed here is a tool to assist in the automatic classification of breast density according to BI-RADS classification 5 th Edition. This document also does not classify the quality of the positioning of the breast, which is done in the invention proposed here.
[0014] O documento WO2018015911 A1 revela um sistema e aparelho que compreende análise automatizada e feedback sobre qualidade de imagem de tecido mole, incluindo análise e feedback em tempo real e em conformidade com parâmetros e métricas chave que afetam a qualidade de uma imagem. O sistema é disposto para implementar um método em que proporciona uma avaliação qualitativa e/ou quantitativa de uma imagem incluindo várias etapas. As etapas incluem o uso de um aparelho de imagem para obter pelo menos uma imagem de tecido mole de um paciente e pelo menos uma imagem de objeto de teste; derivando um parâmetro de imagem de tecido macio e dados estatísticos de dados de imagem da imagem de tecido mole. O sistema e o método são caracterizados empregando uma métrica para a avaliação em comparação com o parâmetro e dados estatísticos, em que a métrica é obtida a partir dos dados da imagem do tecido mole, dados obtidos a partir de pelo menos uma imagem do objeto de teste e dados da imagem aparelho. Porém este método classifica a densidade mamária utilizando métodos estatísticos enquanto que a presente invenção utiliza de aprendizagem profunda de máquina. O método proposto na presente invenção, além de estimar a qualidade do posicionamento da mama, também faz de forma simultânea a estimativa da densidade da mama de acordo com a classificação BI-RADS 5a versão, características tais que não são encontradas em W02018015911 A1. [0014] WO2018015911 A1 discloses a system and apparatus comprising automated analysis and feedback on soft tissue image quality, including analysis and feedback in real time and accordingly with key parameters and metrics that affect the quality of an image. The system is willing to implement a method in which it provides a qualitative and / or quantitative assessment of an image including several steps. The steps include using an imaging device to obtain at least one image of a patient's soft tissue and at least one image of a test object; deriving a soft tissue image parameter and statistical data from soft tissue image data. The system and the method are characterized using a metric for the evaluation in comparison with the parameter and statistical data, in which the metric is obtained from the soft tissue image data, data obtained from at least one image of the object of test and device image data. However, this method classifies breast density using statistical methods while the present invention uses deep machine learning. The method proposed in the present invention, in addition to estimating the quality of breast positioning, also forms simultaneously an estimated density of the breast according to the BI-RADS classification fifth version, characteristics that are not found in W02018015911 A1.
[0015] O documento US8218850 B2 revela um método de processamento de uma imagem de mamografia para derivar um valor para um parâmetro útil na detecção de diferenças no tecido mamário em imagens subsequentes da mesma mama ou em relação a um grupo controle de tais imagens, sendo o referido parâmetro derivado um índice de probabilidade agregado que reflete à probabilidade de a imagem ser um membro de uma classe predefinida de imagens de mamografia, o referido método compreendendo a computação para cada uma de uma multidão de pixels dentro de uma grande região de interesse dentro da imagem um escore de probabilidade de pixel atribuído por um classificador estatístico treinado de acordo com a probabilidade de o referido pixel pertencente a uma imagem pertencente à referida classe, sendo a referida probabilidade de pixel calculada com base em uma pluralidade selecionada de características dos referidos pixels e calculando o referido parâmetro agregando os escores de probabilidade de pixel sobre a referida região de interesse. Este método procura estimar as diferenças associadas em variações de densidade da mama para estimar o risco de haver câncer. O método de US8218850 B2, contudo, não viabiliza uma classificação da densidade mamária, considerando o risco da densidade obstruir uma lesão e, com isso, atrapalhar um diagnóstico. Ademais, este documento não realiza a classificação da qualidade do posicionamento da mama. [0015] US8218850 B2 discloses a method of processing a mammography image to derive a value for a parameter useful in detecting differences in breast tissue in subsequent images of the same breast or in relation to a control group of such images, being said derived parameter an aggregated probability index that reflects the likelihood that the image is a member of a predefined class of mammography images, said method comprising computing for each of a multitude of pixels within a large region of interest within of the image a pixel probability score attributed by a trained statistical classifier according to the probability that said pixel belonging to an image belonging to that class, said pixel probability being calculated based on a selected plurality of characteristics of said pixels and calculating the referred parameter aggregating the pixel probability scores on the said region of interest. This method seeks to estimate the associated differences in breast density variations to estimate the risk of cancer. The method of US8218850 B2, however, does not allow a classification of breast density, considering the risk of density obstructing a lesion and, thus, hindering a diagnosis. Furthermore, this document does not carry out a classification of the quality of breast positioning.
[0016] Assim, do que se depreende da literatura pesquisada, não foram encontrados documentos antecipando ou sugerindo os ensinamentos da presente invenção, de forma que a solução aqui proposta possui novidade e atividade inventiva frente ao estado da técnica. [0016] Thus, from what can be inferred from the researched literature, no documents were found anticipating or suggesting the teachings of the present invention, so that the solution proposed here has novelty and inventive activity in view of the state of the art.
[0017] Diante disso, é possível observar que o estado da técnica carece de uma detecção não subjetiva da densidade mamária, a partir do risco de esta não obstruir ou atrapalhar um diagnóstico, e do posicionamento da mama no momento do exame, que auxilie os profissionais no diagnóstico correto, perdendo o menor tempo possível e identificando precocemente patologias. [0017] Therefore, it is possible to observe that the state of the art lacks a non-subjective detection of breast density, based on the risk that it will not obstruct or hinder a diagnosis, and the positioning of the breast at the time of the examination, which helps the professionals in the correct diagnosis, wasting the shortest possible time and identifying pathologies early.
Sumário da Invenção Summary of the Invention
[0018] Dessa forma, a presente invenção resolve os problemas do estado da técnica a partir de uma análise automática da imagem de mamografia, de modo a prover uma estimativa sobre a qualidade do posicionamento da mama na imagem, na tentativa de evitar que os exames tenham de ser refeitos, e também uma predição sobre a densidade mamária, classificando-a quanto aos riscos de a densidade obstruir uma lesão e atrapalhar um diagnóstico, de forma que a presente invenção possibilita auxiliar no diagnóstico de câncer de mama. Com isso, a presente invenção apresenta um método de análise automática de imagem de mamografia, que possui etapas como treinamento de redes neurais profundas de avaliação do posicionamento da mama, melhorando a qualidade da imagem e direcionando a um diagnóstico correto e classificação de densidade mamária, por exemplo, conforme a edição 5a do BI-RADS ( Breast Imaging Reporting and Data System) de 2013, onde como dito anteriormente, a alta densidade mamária, como visto em estudos, possui alta probabilidade de incidência de câncer de mama, alertando, assim, o especialista ou mesmo no caso de uma mama de baixa densidade, que apresente algum aglomerado que impeça a visualização de uma possível lesão. Logo, esta solução possibilita diminuir a subjetividade nos diagnósticos de mamografia e uma maior precisão em seu diagnóstico, diminuindo o tempo necessário e fornecendo subsídios para o diagnóstico correto. [0018] Thus, the present invention solves the problems of the state of the art from an automatic analysis of the mammography image, in order to provide an estimate on the quality of the positioning of the breast in the image, in an attempt to prevent the exams have to be redone, and also a prediction on breast density, classifying it as to the risks of density obstructing an injury and disrupting a diagnosis, so that the present invention makes it possible to assist in the diagnosis of breast cancer. With this, the present invention presents a method of automatic image analysis of mammography, which has steps such as training deep neural networks to assess breast positioning, improving image quality and directing to a correct diagnosis and classification of breast density, for example, according to edition 5 a of the BI-RADS (Breast Imaging Reporting and Data System) of 2013, where as previously said, high breast density, as seen in studies, has high probability of incidence of breast cancer, thus alerting the specialist or even in the case of a low-density breast, that has a cluster that prevents the visualization of a possible injury. Therefore, this solution makes it possible to reduce subjectivity in mammography diagnoses and to make diagnosis more accurate, reducing the time needed and providing subsidies for the correct diagnosis.
[0019] Em um primeiro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, que compreende as etapas de: predição de qualidade de posicionamento de mama na imagem de mamografia; e predição de densidade mamária na imagem de mamografia a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. [0019] In a first object, the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting the quality of breast positioning in the image of mammography; and prediction of breast density in the mammography image based on the risk of breast density masking the diagnosis of an injury.
[0020] É, também, um objeto da invenção, um método automático de análise de imagem de mamografia que compreende as etapas de: recebimento de ao menos uma imagem de mamografia a ser analisada, por uma unidade de processamento; processamento da imagem de mamografia, compreendendo predição da qualidade do posicionamento da mama (1 ) na imagem e predição de densidade mamária (2); exibição, pela unidade de processamento, da predição da qualidade do posicionamento da mama (1 ) na imagem; exibição, pela unidade de processamento, da predição da densidade mamária (2) na imagem. [0020] It is also an object of the invention, an automatic method of mammography image analysis that comprises the steps of: receiving at least one mammography image to be analyzed, by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of the breast positioning (1) in the image; display, by the processing unit, of the breast density prediction (2) in the image.
[0021] Em um terceiro objeto, a presente invenção apresenta um método de treinamento de rede neural profunda para análise de imagem de mamografia e predição da qualidade de posicionamento da mama, que compreende as etapas de: seleção de uma pluralidade de imagens de mamografias de base contendo perfil amostrai estatístico previamente identificado como boa, média e ruim; classificação qualitativa do posicionamento da mama (1 ) na imagem de mamografia da pluralidade de imagens de mamografia por meio de classificação, do tipo: boa, média ou ruim; e inserção das imagens classificadas em um canal de entrada da rede neural profunda e verificação de erros, a partir de comparações com o perfil amostrai definidos. [0021] In a third object, the present invention presents a training method of deep neural network for image analysis of mammography and prediction of the quality of breast positioning, which comprises the steps of: selecting a plurality of images of baseline mammograms containing a statistical sample profile previously identified as good, medium and bad; qualitative classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, medium or bad; and insertion of the classified images in an input channel of the deep neural network and verification of errors, based on comparisons with the defined sample profile.
[0022] Em um quarto objeto, a presente invenção apresenta um sistema automático de análise de imagem de mamografia que compreende ao menos um classificador automático da imagem mamográfica dotado de ao menos: um preditor de qualidade do posicionamento da mama na imagem de mamografia; e um preditor de densidade mamária na imagem de mamografia, possibilitando classificar o risco de a densidade impedir a visualização de uma lesão. [0022] In a fourth object, the present invention features an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier with at least: a predictor of the quality of the positioning of the breast in the mammography image; and a predictor of breast density in the mammography image, making it possible to classify the risk of density preventing the visualization of a lesion.
[0023] Estes e outros objetos da invenção serão imediatamente valorizados pelos versados na arte e serão descritos detalhadamente a seguir. [0023] These and other objects of the invention will be immediately valued by those skilled in the art and will be described in detail below.
Breve Descrição das Figuras Brief Description of the Figures
[0024] São apresentadas as seguintes figuras: [0024] The following figures are presented:
[0025] A figura 1 mostra uma concretização do fluxograma do classificador de qualidade de captura para classificação de posicionamento da mama (1 ) e de densidade de mama para classificação de densidade mamária (2), onde esse classificador é baseado em redes neurais profundas (3) ( Deep Learning ). [0025] Figure 1 shows an embodiment of the capture quality classifier flowchart for classification of breast positioning (1) and breast density for classification of breast density (2), where this classifier is based on deep neural networks ( 3) (Deep Learning).
[0026] A figura 2 mostra uma concretização do fluxograma de um funcionamento do sistema de análise de imagem de mamografia por meio da máquina de captura de imagem, de um computador local (hospital), um servidor remoto ou local e um computador local (médico). [0026] Figure 2 shows an embodiment of the flowchart of an operation of the mammography image analysis system by means of the image capture machine, a local computer (hospital), a remote or local server and a local computer (doctor ).
[0027] As figuras de 3 a 6 mostram exemplos de resultados obtidos por testes realizados a partir dos ensinamentos da presente invenção. Descrição Detalhada da Invenção [0027] Figures 3 to 6 show examples of results obtained by tests carried out from the teachings of the present invention. Detailed Description of the Invention
[0028] As descrições que se seguem são apresentadas a título de exemplo e não limitativas ao escopo da invenção e farão compreender de forma mais clara o objeto do presente pedido de patente. [0028] The following descriptions are presented by way of example and are not limited to the scope of the invention and will make the object of the present patent application more clearly understood.
[0029] Para fins da presente invenção, imagem de mamografia é qualquer imagem capturada da mama de uma paciente, por exemplo, durante a execução de um exame de mamografia ou qualquer outro exame por imagens para avaliação de doenças relacionadas à região mamária. [0029] For the purposes of the present invention, a mammography image is any image captured from a patient's breast, for example, during the performance of a mammography examination or any other imaging examination to assess diseases related to the mammary region.
[0030] Em um primeiro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, que compreende as etapas de: predição de qualidade de posicionamento de mama (1 ) na imagem de mamografia; e predição de densidade mamária (2) na imagem de mamografia, a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. [0030] In a first object, the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting breast positioning quality (1) on the mammography image; and prediction of breast density (2) on the mammography image, based on the risk of breast density masking the diagnosis of an injury.
[0031] A etapa de predição de qualidade de posicionamento da mama (1 ) compreende etapa prévia de treinamento e classificação de imagens de mamografia no sistema de aprendizado profundo. O sistema de aprendizado profundo compreende uma rede neural profunda (3). Em uma concretização, o classificador compreende arquitetura de redes neurais profundas (3) ( deep learning) compreendendo camadas de redes convolucionais e camadas de redes densas. As camadas de redes convolucionais são responsáveis por extrair características para se fazer a classificação e as camadas de redes densas são as responsáveis para se fazer a classificação final em 3 categorias: qualidade do posicionamento: bom, médio ou ruim. [0031] The stage of quality prediction of breast positioning (1) comprises a previous stage of training and classification of mammography images in the deep learning system. The deep learning system comprises a deep neural network (3). In one embodiment, the classifier comprises architecture of deep neural networks (3) (deep learning) comprising layers of convolutional networks and layers of dense networks. The layers of convolutional networks are responsible for extracting characteristics to make the classification and the layers of dense networks are responsible for making the final classification in 3 categories: positioning quality: good, medium or bad.
[0032] Em outra concretização, a etapa prévia de treinamento é realizada por meio de um conjunto de imagens de mamografia previamente selecionadas e/ou previamente anotadas, tanto na qualidade do posicionamento da mama (1 ) na imagem quanto na estimativa da densidade mamária (2). Deste modo, o classificador é capaz de disponibilizar a um médico/especialista/radiologista o resultado da predição realizada para qualidade do posicionamento da mama (1 ) e da densidade mamária (2) na imagem mamográfica. [0032] In another embodiment, the previous training stage is performed by means of a set of mammography images previously selected and / or previously annotated, both in the quality of the positioning of the breast (1) in the image and in the estimate of the breast density ( two). In this way, the classifier is able to provide a doctor / specialist / radiologist with the result of the prediction made for quality of breast positioning (1) and breast density (2) in the mammographic image.
[0033] Para fins da presente invenção, imagens de mamografia previamente anotadas são imagens usadas para treinamento que já foram analisadas por médicos radiologistas e/ou especialistas em mamografia. [0033] For the purposes of the present invention, mammography images previously annotated are images used for training that have already been analyzed by radiologists and / or mammography specialists.
[0034] Em uma concretização, a rede neural (3) é treinada com os dados anotados utilizando-se uma função de perda de entropia cruzada, de modo a conseguir um erro final aceitável. Esse treinamento é feito com base nos dados anotados. Com isso, a rede neural (3) é capaz de calcular e fornecer os índices de qualidade do posicionamento da mama (1 ) e densidade mamária (2) com base no treinamento realizado. Em uma concretização, a matriz de pixels da imagem da mama é alimentada como entrada do algoritmo da rede neural profunda, que foi treinada para retornar como resultado os dois índices: a qualidade do posicionamento da mama e a densidade mamária. [0034] In one embodiment, the neural network (3) is trained with the annotated data using a cross-entropy loss function, in order to achieve an acceptable final error. This training is done based on the recorded data. Thus, the neural network (3) is able to calculate and provide the quality indexes for breast positioning (1) and breast density (2) based on the training performed. In one embodiment, the pixel matrix of the breast image is fed as input to the deep neural network algorithm, which has been trained to return as a result the two indices: the quality of the breast position and the breast density.
[0035] Em uma concretização, a etapa de predição de qualidade possui exibição dos resultados referentes à qualidade da imagem, onde a qualidade da imagem é classificada, por exemplo, por ruim, média ou boa. [0035] In one embodiment, the quality prediction stage has a display of the results related to the image quality, where the image quality is classified, for example, by bad, medium or good.
[0036] A etapa de predição da densidade mamária (2) é realizada a fim de identificar o risco de a densidade mamária mascarar ou obstruir alguma possível lesão no paciente, podendo interferir/atrapalhar o diagnóstico de um médico. Com base nisso, o método da invenção classifica a densidade mamária de acordo com índices pré-definidos e fornece essas informações ao médico, para que o mesmo realize a tomada de decisão. [0036] The breast density prediction step (2) is performed in order to identify the risk of breast density masking or obstructing any possible injury to the patient, which may interfere / hinder a doctor's diagnosis. Based on this, the method of the invention classifies breast density according to pre-defined indexes and provides this information to the doctor, so that he can make the decision.
[0037] A etapa de predição de densidade mamária (2) na imagem de mamografia é implementada em um sistema híbrido compreendendo a rede neural profunda (3) e ao menos um sistema analítico de extração de características. Em uma concretização, o cálculo da densidade mamária (2) é realizado utilizando avaliação do screening logo após a captura da imagem. [0037] The breast density prediction step (2) in the mammography image is implemented in a hybrid system comprising the deep neural network (3) and at least one analytical system for extracting characteristics. In one embodiment, the calculation of breast density (2) is performed using screening assessment right after image capture.
[0038] Em uma concretização, a predição da densidade mamária (2) compreende as etapas de: divisão da imagem de mamografia em áreas circulares de tamanhos pré-definidos; cálculo de densidade média associada a cada pixel centrado nas áreas circulares divididas, sendo este cálculo realizado com base nas intensidades luminosas identificada nos pixels de vizinhança em cada área dividida; geração de mapa de densidades, com pontos de máximo e mínimo em cada área dividida; e definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). Para fins de exemplificação, a intensidade luminosa dos pixels é proporcional ao grau de opacidade do tecido mamário ao feixe de raios X emitido pelo mamógrafo. [0038] In one embodiment, the prediction of breast density (2) comprises the steps of: dividing the mammography image into areas circulars of predefined sizes; calculation of average density associated with each pixel centered on the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighborhood pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of average intensity at the maximum and minimum points on the density map and calculation of the breast density estimate (2). For purposes of example, the luminous intensity of the pixels is proportional to the degree of opacity of the breast tissue to the X-ray beam emitted by the mammograph.
[0039] Em uma concretização, são selecionados N (pré-definido) áreas circulares da imagem de mamografia de maiores densidades médias em relação às suas áreas vizinhas. Cada uma das N regiões geram dois valores: a densidade média máxima e a densidade média mínima. Em uma concretização, a densidade mamária (2) pode ser calculada utilizando uma rede neural (3) feita de camadas densas que recebe esses N valores de densidades médias máximas e mínimas. Esta rede é treinada com imagens já classificadas por médicos, especialista, etc. [0039] In one embodiment, N (pre-defined) circular areas of the mammography image of higher average densities in relation to their neighboring areas are selected. Each of the N regions generates two values: the maximum average density and the minimum average density. In one embodiment, the breast density (2) can be calculated using a neural network (3) made up of dense layers that receive these N values of maximum and minimum mean densities. This network is trained with images already classified by doctors, specialists, etc.
[0040] Em uma concretização, a predição da densidade mamária na imagem é realizada de acordo com a orientação BI-RADS 5a edição de 2013. [0040] In one embodiment, the prediction of breast density on the image is performed according to the BI-RADS orientation 5th edition 2013.
[0041] Em um outro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia que compreende as etapas de: recebimento de ao menos uma imagem de mamografia a ser analisada, por uma unidade de processamento; processamento da imagem de mamografia, compreendendo predição da qualidade do posicionamento da mama (1 ) na imagem e predição de densidade mamária (2); exibição, pela unidade de processamento, da predição da qualidade do posicionamento da mama (1 ) na imagem; e exibição, pela unidade de processamento, da predição da densidade mamária (2) na imagem. [0041] In another object, the present invention presents an automatic method of mammography image analysis that comprises the steps of: receiving at least one mammography image to be analyzed, by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of the breast positioning (1) in the image; and display, by the processing unit, of the breast density prediction (2) in the image.
[0042] A etapa de processamento é dotada da classificação automática da imagem mamográfica, no qual é responsável por realizar a predição da qualidade do posicionamento da mama (1 ) na imagem de mamografia e realizar a predição da densidade mamária (2) na imagem de mamografia. Em uma concretização, a etapa a predição da qualidade do posicionamento da mama é realizada por meio de arquitetura de redes neurais profundas (3) compreendendo camadas de redes convolucionais e camadas de redes densas. Em uma concretização, a rede neural profunda (3) foi treinada com um conjunto de imagens de mamografia previamente selecionadas e/ou previamente classificadas por um profissional de saúde especialista. [0042] The processing step is equipped with automatic classification of the mammographic image, in which it is responsible for performing the prediction of quality of the positioning of the breast (1) on the mammography image and to predict the breast density (2) on the mammography image. In one embodiment, the step of predicting the quality of breast positioning is performed by means of deep neural network architecture (3) comprising layers of convolutional networks and layers of dense networks. In one embodiment, the deep neural network (3) was trained with a set of mammography images previously selected and / or previously classified by a specialist health professional.
[0043] Em uma concretização, a etapa de predição da qualidade da imagem de mamografia compreende exibição de resultados, sendo classificados, por exemplo, como ruim, média ou boa. Com base neste resultado automático, um profissional de saúde que executa o exame pode, no mesmo momento, verificar a necessidade de se repetir o exame ou não. [0043] In one embodiment, the mammography image quality prediction stage comprises displaying results, being classified, for example, as bad, medium or good. Based on this automatic result, a health professional who performs the exam can, at the same time, verify the need to repeat the exam or not.
[0044] Em uma concretização, a etapa de predição da densidade mamária é realizada pela unidade de processamento e compreende as etapas de: divisão da imagem de mamografia em áreas circulares de tamanhos pré- definidos; cálculo de densidade média associada a cada pixel centrado nas áreas circulares divididas, sendo este cálculo realizado com base nas intensidades luminosas identificada nos pixels de vizinhança em cada área dividida; geração de mapa de densidades, com pontos de máximo e mínimo em cada área dividida; e definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). Em uma concretização, o cálculo da densidade mamária pode ser executado por uma outra rede neural de camadas densas que recebe como entrada esses valores de máximos e mínimos de valores médios das regiões circulares. Esta rede é treinada com os dados anotados por especialistas. [0044] In one embodiment, the breast density prediction step is performed by the processing unit and comprises the steps of: dividing the mammography image into circular areas of predefined sizes; calculation of average density associated with each pixel centered on the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighborhood pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of average intensity at the maximum and minimum points on the density map and calculation of the breast density estimate (2). In one embodiment, the calculation of breast density can be performed by another neural network of dense layers that receives these maximum and minimum values of mean values from the circular regions as input. This network is trained with data recorded by specialists.
[0045] Em uma concretização, ao término da etapa de processamento são fornecidas a qualidade de posicionamento da mama (1 ) e a densidade mamária (2) da imagem de mamografia prevista pelo classificador. Em uma concretização, o classificador fornece i) a qualidade do posicionamento da mama, segundo índices previamente definidos, tais como ruim, média ou boa; e ii) a classificação de a densidade mamária poder obstruir a visualização de alguma lesão, sendo esta classificação previamente definida, tal como exemplificado pela BI-RADS 5a edição. Estes dois resultados são disponibilizados a um médico/especialista/radiologista para auxiliá-lo nas tomadas de decisão após a realização do exame no paciente. [0045] In one embodiment, at the end of the processing step, the quality of the positioning of the breast (1) and the breast density (2) of the mammography image provided by the classifier are provided. In one embodiment, the classifier provides i) the quality of the positioning of the breast, according to previously defined indices, such as bad, medium or good; and ii) the classification of breast density could obstruct the view of an injury, which is previously set classification, as exemplified by BI-RADS 5th edition. These two results are available to a doctor / specialist / radiologist to assist you in making decisions after the examination is performed on the patient.
[0046] Em um terceiro objeto, a presente invenção apresenta um método de treinamento de rede neural profunda para análise de imagem de mamografia e predição da qualidade de posicionamento da mama, que compreende as etapas de: seleção de uma pluralidade de imagens de mamografias de base contendo perfil amostrai estatístico previamente identificado; classificação do posicionamento da mama (1 ) na imagem de mamografia da pluralidade de imagens de mamografia por meio de classificação, do tipo: boa, média ou ruim; e inserção das imagens classificadas em um canal de entrada da rede neural profunda e verificação de erros, a partir de dados anotados. [0046] In a third object, the present invention presents a training method of deep neural network for image analysis of mammography and prediction of the quality of breast positioning, which comprises the steps of: selecting a plurality of images of mammograms of base containing previously identified statistical sample profile; classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, medium or bad; and insertion of classified images in an input channel of the deep neural network and error checking, using annotated data.
[0047] Em uma concretização, é utilizada uma rede neural profunda (3) compreendendo camadas de redes convolucionais e camadas de redes densas. [0047] In one embodiment, a deep neural network (3) comprising layers of convolutional networks and layers of dense networks is used.
[0048] Assim, para o treinamento da rede neural profunda, é selecionada uma pluralidade de imagens que possuam um perfil amostrai estatístico aceitável para a análise, ou seja, imagens que possuam características iguais ou semelhantes o suficientes para se traçar padrões matemáticos, além de imagens com características distintas, de tal modo que o sistema de aprendizado seja capaz de reconhecer as diferenças entre situações de eventos diversos. [0048] Thus, for the training of the deep neural network, a plurality of images is selected that have an acceptable statistical sample profile for the analysis, that is, images that have the same or similar characteristics sufficient to trace mathematical patterns, in addition to images with different characteristics, in such a way that the learning system is able to recognize the differences between different event situations.
[0049] Em seguida, um especialista, capaz de classificar as imagens de mamografia, verifica a qualidade do posicionamento da mama das imagens selecionadas e, então, as classifica de acordo com um padrão previamente definido. Em uma concretização, a classificação pode ser do tipo: boa, média ou ruim. [0049] Then, a specialist, capable of classifying the mammography images, checks the quality of the breast positioning of the selected images and then classifies them according to a previously defined standard. In one embodiment, the classification can be of the type: good, average or bad.
[0050] Com isso, as imagens classificadas são inseridas no canal de entrada da rede neural. A partir dos resultados obtidos na camada de saída, são verificados os erros obtidos quando comparados com as classificações das imagens. Deste modo, a rede neural é capaz de atualizar os pesos das camadas executando a aprendizagem e aprimorando o resultado de saída através da otimização do método do gradiente descendente. [0050] With that, the classified images are inserted in the input channel of the neural network. From the results obtained in the output layer, the errors obtained when compared with the image classifications are verified. In this way, the neural network is able to update the weights of the layers by executing the learning and improving the output result through the optimization of the gradient gradient method.
[0051] Ainda, o médico especialista também recebe a estimativa da densidade mamária (2) feita pelo classificador e decide a classificação da densidade mamária (2) a ser inserida em um laudo médico. [0051] Still, the specialist doctor also receives the estimate of breast density (2) made by the classifier and decides the classification of breast density (2) to be inserted in a medical report.
[0052] Em um quarto objeto, a presente invenção apresenta um sistema automático de análise de imagem de mamografia que compreende ao menos um classificador automático da imagem mamográfica dotado de ao menos: preditor de qualidade do posicionamento da mama (1 ) na imagem de mamografia; e preditor de densidade mamária (2) na imagem de mamografia. [0052] In a fourth object, the present invention features an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier with at least: quality predictor of breast positioning (1) in the mammography image ; and breast density predictor (2) on the mammography image.
[0053] Em uma concretização, o preditor de qualidade tem como função analisar a qualidade do posicionamento da dita imagem de mamografia, isto é, se a imagem está posicionada corretamente, nítida e/ou suscetível para ser interpretada por um profissional. Em uma concretização, o preditor de densidade mamária (2) na imagem de mamografia tem como função determinar a densidade mamária (2) a partir da imagem de mamografia, através de um cálculo e disponibilizar o resultado para um profissional. [0053] In one embodiment, the quality predictor has the function of analyzing the quality of the positioning of said mammography image, that is, if the image is positioned correctly, sharp and / or susceptible to be interpreted by a professional. In one embodiment, the breast density predictor (2) on the mammography image has the function of determining the breast density (2) from the mammography image, through a calculation and making the result available to a professional.
[0054] O sistema automático de análise de imagem de mamografia compreende também: meio de recebimento de imagem de mamografia; ao menos um processador compreendendo: ao menos um leitor de imagem de mamografia; um classificador automático da imagem mamográfica; ao menos uma ferramenta de disponibilização de resultados; em que o classificador automático de imagem mamográfica compreendido no processador é comunicante à ferramenta de disponibilização de resultados e o leitor de imagem de mamografia compreendido no processador é comunicante ao meio de recebimento de imagem de mamografia. [0054] The automatic mammography image analysis system also includes: means of receiving mammography images; at least one processor comprising: at least one mammography image reader; an automatic mammographic image classifier; at least one tool for making results available; in which the automatic mammographic image classifier included in the processor communicates with the results delivery tool and the mammography image reader included in the processor communicates with the environment receiving mammography image.
[0055] Em uma concretização, o meio de recebimento de imagem de mamografia compreende associação com o processador, de modo que a imagem recebida pelo meio de recebimento de imagem de mamografia seja encaminhada ao processador. Em uma concretização, o processador compreende um leitor de imagem e o dito classificador automático de imagem mamográfica, que compreende os referidos preditores de qualidade e de densidade mamária (2). Em outra concretização, o leitor de imagem envia a imagem para o classificador que analisa automaticamente a qualidade do posicionamento da mama (1 ) (preditor de qualidade) e realiza o cálculo para a determinação da densidade mamária (2) na imagem de mamografia. Em outra concretização, o classificador compreende arquitetura de redes neurais profundas (3) ( deep learning) compreendendo camadas de redes convolucionais e camadas de redes densas. [0055] In one embodiment, the mammography image receiving medium comprises association with the processor, so that the image received by the mammography image receiving medium is forwarded to the processor. In one embodiment, the processor comprises an image reader and said automatic mammographic image classifier, which comprises said predictors of breast quality and density (2). In another embodiment, the image reader sends the image to the classifier that automatically analyzes the quality of the breast position (1) (quality predictor) and performs the calculation to determine the breast density (2) in the mammography image. In another embodiment, the classifier comprises architecture of deep neural networks (3) (deep learning) comprising layers of convolutional networks and layers of dense networks.
[0056] O classificador automático da imagem mamográfica compreende ao menos um sistema híbrido composto de ao menos uma rede neural profunda (3) e ao menos um sistema analítico de análise de densidade mamária (2) máxima e mínima de ao menos uma imagem. [0056] The automatic mammographic image classifier comprises at least one hybrid system composed of at least one deep neural network (3) and at least one analytical system of analysis of breast density (2) maximum and minimum of at least one image.
[0057] O classificador de densidade mamária (2) na imagem mamográfica compreende ao menos um meio de direcionamento da área circular a ser feita a varredura de pixels de predição de densidade mamária (2). [0057] The breast density classifier (2) in the mammographic image comprises at least one means of directing the circular area to be scanned for breast density prediction pixels (2).
[0058] O uso do sistema possibilita o ganho de tempo em realização de uma imagem de mamografia de boa qualidade. Além disso, a etapa de predição da qualidade do posicionamento da mama (1 ) na imagem de mamografia permite beneficiar um paciente, visto que o exame apresenta um resultado mais acelerado. [0058] The use of the system makes it possible to save time in carrying out a good quality mammography image. In addition, the stage of predicting the quality of breast positioning (1) on the mammography image allows the benefit of a patient, since the exam presents a more accelerated result.
Exemplo - Análise automática de imagem de mamografia Example - Automatic mammography image analysis
[0059] Os exemplos aqui mostrados têm o intuito somente de exemplificar uma das inúmeras maneiras de se realizar a invenção, contudo sem limitar, o escopo da mesma. [0059] The examples shown here are intended only to exemplify one of the countless ways of carrying out the invention, however without limiting its scope.
[0060] Foram realizados testes do método em uma plataforma web, em que várias imagens tiveram densidade e qualidade do posicionamento calculadas pelos métodos que utilizam redes neurais profundas descritos. A plataforma apresenta links para visualização de alta resolução das imagens, que podem ser abertas em softwares profissionais de visualização de imagens médicas. Podem ser visualizadas todas as posições das mamas dos pacientes e suas classificações de qualidade e densidade, como mostrado nas figuras 3 a 6. [0060] Tests of the method were carried out on a web platform, in which several images had density and quality of positioning calculated by the methods using described deep neural networks. The platform features links for high-resolution visualization of images, which can be opened in professional software for viewing medical images. All positions of patients' breasts and their classifications of quality and density can be visualized, as shown in figures 3 to 6.
[0061] Para isso, foi utilizado um sistema automático de análise de imagem de mamografia, onde foi utilizado um método de deep learning por meio de redes neurais profundas (3) para realizar a estimativa de qualidade da imagem de mamografia de forma automatizada, logo após a captura da imagem. Foi utilizado, também, um método computacional automático objetivo para a classificação da densidade mamária (2), em que o conjunto de padrões é concretizado nos critérios estabelecidos no BI-RADS 5a edição de 2013. A decisão sobre a necessidade de exames complementares é baseada nesta classificação, onde esta classificação é dada: A. a mama é quase totalmente gordurosa; B. existem áreas dispersas de densidade fibroglandular; C. as mamas estão heterogeneamente densas, podendo obstruir massas pequenas; e D. as mamas estão extremamente densas, o que diminui a sensibilidade da mamografia. [0061] For this, an automatic mammography image analysis system was used, where a deep learning method using deep neural networks (3) was used to estimate the mammography image quality in an automated way, therefore after capturing the image. It was also used, an automatic goal computational method for the breast density classification (2), where the set of standards is met the criteria established in BI-RADS 5 edition of 2013. A decision on the need for additional tests is based on this classification, where this classification is given: A. the breast is almost entirely fat; B. there are scattered areas of fibroglandular density; C. the breasts are heterogeneously dense, being able to obstruct small masses; and D. the breasts are extremely dense, which reduces the sensitivity of the mammogram.
[0062] Neste exemplo, foi utilizado um meio de recebimento de imagem de mamografia, um processador com leitor de imagem de mamografia e classificador automático da imagem mamográfica e uma ferramenta de disponibilização de resultados. [0062] In this example, a means of receiving mammography images, a processor with a mammography image reader and automatic mammographic image classifier and a tool for making results available were used.
[0063] Foi obtida uma averiguação de forma rápida e possibilitou prever a necessidade de uma nova captura de imagem com um melhor posicionamento da mama (1 ) no mamógrafo. Foi possível uma análise da qualidade do posicionamento da mama (1 ) menos subjetiva, sendo esta realizada pelo processador. Imagens de mamografia foram alimentadas como entrada da rede da rede neural profunda (3) que extraiu parâmetros baseados em atributos, e assim, possibilitou a predição da qualidade para as imagens de mamografia como ruim, média ou boa. [0063] An investigation was obtained quickly and made it possible to foresee the need for a new image capture with a better positioning of the breast (1) on the mammograph. It was possible to analyze the quality of the breast positioning (1) less subjective, this being performed by the processor. Mammography images were fed as input from the network of the deep neural network (3) which extracted parameters based on attributes, and thus, made it possible to predict the quality for mammography images as bad, medium or good.
[0064] Na avaliação da qualidade da imagem de mamografia, foi levado em conta um sistema de avaliação da imagem (IES) e foram levados em consideração critérios fixos. Para o treinamento das redes neurais profundas (3) foram utilizadas imagens apresentando classificações concordantes por vários especialistas e diminuiu, assim, a subjetividade. O sistema pôde ser capaz de seguir os mesmos critérios dos especialistas, resultando em predições fiéis a esses critérios. [0064] In evaluating the quality of the mammography image, an image evaluation system (HEI) was taken into account and fixed criteria were taken into account. For the training of the deep neural networks (3), images showing concordant classifications by several specialists were used, thus reducing subjectivity. The system might be able to follow the same criteria as the experts, resulting in faithful predictions to those criteria.
[0065] As imagens de treinamento foram classificadas em um dos três níveis (ruim, média ou boa) por especialistas e a rede neural profunda (3) aprendeu a fazer a predição da qualidade em outras imagens de mamografia que lhe foram apresentados, adaptando-se, assim, a predição à classificação. [0065] The training images were classified into one of the three levels (bad, medium or good) by specialists and the deep neural network (3) learned to make the quality prediction in other mammography images that were presented to him, adapting them if so, the prediction to classification.
[0066] Para fins de entendimento das classificações utilizadas, sem limitação ao exemplo/testes realizados e, muito menos, ao escopo da invenção, uma classificação boa indica que a imagem pode ser utilizada com segurança pelo especialista para análise. Uma qualidade média indica que a imagem pode ser utilizada para a análise apesar de pequenos problemas de posicionamento. Uma qualidade baixa, por outro lado, indica que a imagem não pode ser analisada com segurança pelo especialista e necessita ser reobtida. [0066] For the purpose of understanding the classifications used, without limitation to the example / tests performed and, much less, the scope of the invention, a good classification indicates that the image can be safely used by the specialist for analysis. A medium quality indicates that the image can be used for analysis despite minor positioning problems. A low quality, on the other hand, indicates that the image cannot be safely analyzed by the specialist and needs to be retrieved.
[0067] Para a classificação da densidade mamária (2), o sistema utilizou- se das redes neurais profundas (3). O sistema avaliou o screening logo após a captura da imagem e auxiliou os médicos na tomada de decisão. [0067] For the classification of breast density (2), the system used deep neural networks (3). The system evaluated the screening right after the image was captured and assisted the doctors in making the decision.
[0068] Para a predição da densidade mamária (2), foram utilizados critérios estabelecidos no BI-RADS 5a edição de 2013 e foi levado em consideração um banco de imagens obtidas em uma rotina clínica. Estas imagens são das quatro categorias de densidade mamária (2) estabelecidas pelo BI-RADS com classificação já realizada por especialistas e o sistema utilizou a rede neural profunda (3), fazendo-a aprender como fazer a predição da categoria em outras imagens que sejam apresentadas e pôde, assim, adaptar a predição de forma eficiente à classificação e excluiu a subjetividade do processo. [0068] For the prediction of breast density (2) were used criteria in BI-RADS 5th edition 2013 , and has been taken into consideration a database of images obtained in a clinical setting. These images are from the four breast density categories (2) established by BI-RADS with classification already performed by specialists and the system used the deep neural network (3), making her learn how to make the category prediction in other images that are presented and was thus able to adapt the prediction efficiently to the classification and excluded subjectivity from the process.
[0069] Assim, para a realização do cálculo foram -se analisadas as imagens obtidas, de modo que foi realizada a extração dos valores de intensidade máxima, mínima e média da vizinhança de cada pixel da imagem nas áreas circulares divididas, verificando a intensidade luminosa de todos os pixels de sua vizinhança (definida como pixels a uma distância R do pixel centrado), inclusive podendo definir várias distâncias de vizinhança. Cada mapa de densidade extraído (sendo mapa de densidade a matriz de valores de intensidade máxima, mínima ou média extraído usando um valor de distância Ri para a distância de vizinhança) é então usado como atributo para treinar uma segunda rede neural profunda, que é capaz de estimar a densidade da mama (tendo como parâmetro de entrada os mapas de densidade e como saída a densidade mamária estimada). [0069] Thus, to perform the calculation the images obtained were analyzed, so that the values of maximum, minimum and average intensity of the neighborhood of each pixel of the image were extracted in the divided circular areas, checking the luminous intensity of all the pixels in your neighborhood (defined as pixels at a distance R from the centered pixel), including being able to define several neighborhood distances. Each extracted density map (the density map being the matrix of maximum, minimum or average intensity values extracted using a distance value Ri for the neighborhood distance) is then used as an attribute to train a second deep neural network, which is capable of to estimate breast density (using density maps as input parameter and estimated breast density as output).
[0070] Para exemplificar, para cada valor Ri de distância de vizinhança podem ser extraídos 3 mapas de densidade, uma com intensidades luminosas máximas, um com as mínimas e um com as médias. A utilização de vários valores de distância de vizinhança podem tornar o sistema mais robusto, por exemplo utilizando R igual a 5, 10 e 20 pixels, nesse caso poderia resultar em 9 diferentes mapas de densidade. Os valores de R utilizados neste exemplo de treinamento da rede foram 5, 15, 25 e 40. [0070] For example, for each Ri value of neighborhood distance, 3 density maps can be extracted, one with maximum light intensities, one with minimum and one with averages. The use of various neighborhood distance values can make the system more robust, for example using R equal to 5, 10 and 20 pixels, in which case it could result in 9 different density maps. The R values used in this example of training the network were 5, 15, 25 and 40.
[0071] A partir disso, foi possível realizar as predições/classificações apresentadas nas figuras 3 a 6. Como pode ser observado, as figuras 3 a 6 apresentam as estimativas de qualidade do posicionamento da mama e as densidades mamárias, onde os índices atribuídos a cada imagem podem ser verificados a partir das escalas fornecidas. [0071] From this, it was possible to make the predictions / classifications presented in figures 3 to 6. As can be seen, figures 3 to 6 show the quality estimates of the breast positioning and the breast densities, where the indexes attributed to each image can be checked from the scales provided.
[0072] Neste exemplo, a figura 3 indicou que a qualidade de posicionamento da mama foi“boa” e para a densidade foi atribuído um índice Ή’. Para a figura 4, foi atribuído como qualidade “média” o índice para a qualidade do posicionamento da mama e uma densidade estimada‘C’. Na figura 5, foi atribuído o índice de estimação “boa” para a qualidade do posicionamento e índice de densidade estimada‘B’. Na figura 6, foi atribuído o índice “boa” para a qualidade do posicionamento da mama e densidade estimada‘B’. [0072] In this example, figure 3 indicated that the quality of breast positioning was “good” and for density, an index was assigned Ή '. For figure 4, the index for the quality of the breast positioning and an estimated density 'C' were assigned as “average” quality. In figure 5, the “good” estimation index for the positioning quality and estimated density index 'B' was assigned. In figure 6, the index “good” was attributed to the quality of the breast position and the estimated density 'B'.
[0073] Os versados na arte valorizarão os conhecimentos aqui apresentados e poderão reproduzir a invenção nas modalidades apresentadas e em outras variantes e alternativas, abrangidas pelo escopo das reivindicações a seguir. [0073] Those skilled in the art will value the knowledge presented here and will be able to reproduce the invention in the modalities presented and in other variants and alternatives, covered by the scope of the following claims.

Claims

Reivindicações Claims
1. Método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, caracterizado por compreender as etapas de: 1. Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, characterized by understanding the steps of:
a. predição de qualidade de posicionamento de mama (1 ) na imagem de mamografia; e The. quality prediction of breast positioning (1) on mammography image; and
b. predição de densidade mamária (2) na imagem de mamografia, a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. B. prediction of breast density (2) on mammography image, based on the risk of breast density masking the diagnosis of an injury.
2. Método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, de acordo com a reivindicação 1 , caracterizado por ser implementado em um sistema de aprendizado profundo, que compreende ao menos uma rede neural (3) profunda treinada, em que a rede neural (3) profunda é alimentada com imagem de mamografia e retorna índices de predição de qualidade de posicionamento de mama (1 ) e predição de densidade mamária (2). 2. Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 1, characterized by being implemented in a deep learning system, which comprises at least one neural network (3 ) trained deep, in which the deep neural network (3) is fed with mammography image and returns indexes of quality prediction of breast positioning (1) and prediction of breast density (2).
3. Método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, de acordo com a reivindicação 2, caracterizado pela etapa de predição de qualidade de posicionamento de mama (1 ) ser realizada pela rede neural profunda (3) compreendendo camadas de redes convolucionais e camadas de redes densas. 3. Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 2, characterized by the breast positioning quality prediction step (1) to be performed by the deep neural network (3) comprising layers of convolutional networks and layers of dense networks.
4. Método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, de acordo com a reivindicação 2, caracterizado pela predição de densidade mamária (2) na imagem de mamografia ser implementada em ao menos um sistema híbrido compreendendo a rede neural profunda (3) e ao menos um sistema analítico de extração de características. 4. Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 2, characterized by the prediction of breast density (2) in the mammography image being implemented in at least one system hybrid comprising the deep neural network (3) and at least one analytical system for extracting characteristics.
5. Método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, de acordo com a reivindicação 4, caracterizado pela predição da densidade mamária (2) compreender as etapas de: 5. Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 4, characterized by the prediction of breast density (2) comprising the steps of:
a. divisão da imagem de mamografia em áreas circulares de tamanhos pré-definidos; The. division of the mammography image into circular areas of predefined sizes;
b. cálculo de densidade média associada em cada pixel das áreas divididas, a partir de uma intensidade luminosa identificada nos pixels de vizinhança em cada área dividida; B. calculation of associated average density in each pixel of the divided areas, from a luminous intensity identified in the neighborhood pixels in each divided area;
c. geração de mapa de densidades com pontos de máximo e mínimo em cada área dividida; e ç. generation of density map with maximum and minimum points in each divided area; and
d. definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). d. definition of average intensity in the maximum and minimum points of the density map and calculation of the breast density estimate (2).
6. Método automático de análise de imagem de mamografia caracterizado por compreender as etapas de: 6. Automatic mammography image analysis method characterized by understanding the steps of:
a. recebimento de ao menos uma imagem de mamografia a ser analisada, por uma unidade de processamento; The. receiving at least one mammography image to be analyzed, by a processing unit;
b. processamento da imagem de mamografia, compreendendo predição da qualidade do posicionamento da mama (1 ) na imagem e predição de densidade mamária (2); B. mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2);
c. exibição, pela unidade de processamento, da predição da qualidade do posicionamento da mama (1 ) na imagem; e ç. display, by the processing unit, of the prediction of the quality of the breast positioning (1) in the image; and
d. exibição, pela unidade de processamento, da predição da densidade mamária (2) na imagem. d. display, by the processing unit, of the breast density prediction (2) in the image.
7. Método automático de análise de imagem de mamografia, de acordo com a reivindicação 6, caracterizado pelo fato de a predição da qualidade do posicionamento da mama ser realizada por rede neural profunda (3), implementada na unidade de processamento, compreendendo camadas de redes convolucionais e camadas de redes densas. 7. Automatic mammography image analysis method, according to claim 6, characterized by the fact that the quality of the breast positioning is predicted by a deep neural network (3), implemented in the processing unit, comprising layers of networks convolutional and layers of dense networks.
8. Método automático de análise de imagem de mamografia, de acordo com a reivindicação 6, caracterizado pelo fato de a predição da densidade mamária (2) ser realizada pela unidade de processamento compreendendo as etapas de: 8. Automatic mammography image analysis method, according to with claim 6, characterized by the fact that the prediction of breast density (2) is performed by the processing unit comprising the steps of:
a. divisão da imagem de mamografia em áreas circulares de tamanhos pré-definidos; The. division of the mammography image into circular areas of predefined sizes;
b. cálculo de densidade média associada em cada pixel das áreas divididas, a partir de uma intensidade luminosa identificada nos pixels de vizinhança em cada área dividida; B. calculation of associated average density in each pixel of the divided areas, from a luminous intensity identified in the neighborhood pixels in each divided area;
c. geração de mapa de densidades com pontos de máximo e mínimo em cada área dividida; e ç. generation of density map with maximum and minimum points in each divided area; and
d. definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). d. definition of average intensity in the maximum and minimum points of the density map and calculation of the breast density estimate (2).
9. Método de treinamento de rede neural profunda para análise de imagem de mamografia e predição da qualidade de posicionamento da mama, caracterizado por compreender as etapas de: 9. Deep neural network training method for mammography image analysis and prediction of breast positioning quality, characterized by understanding the steps of:
a. seleção de uma pluralidade de imagens de mamografias de base contendo perfil amostrai estatístico previamente identificado; The. selection of a plurality of basic mammography images containing a previously identified statistical sample profile;
b. classificação qualitativa do posicionamento da mama (1 ) na imagem de mamografia da pluralidade de imagens de mamografia feita por especialistas, por meio de classificação, do tipo: boa, média ou ruim; e B. qualitative classification of breast positioning (1) in the mammography image of the plurality of mammography images made by specialists, by means of classification, of the type: good, medium or bad; and
c. inserção das imagens classificadas pelos especialistas em um canal de entrada da rede neural profunda e verificação de erros, a partir de comparações com o perfil amostrai estatístico identificado. ç. insertion of the images classified by specialists in an input channel of the deep neural network and verification of errors, based on comparisons with the identified statistical sample profile.
10. Método de treinamento de rede neural profunda para análise de imagem de mamografia, de acordo com a reivindicação 9, caracterizado por a rede neural ser treinada com dados anotados a partir de uma função de perda de entropia cruzada. 10. Deep neural network training method for mammography image analysis, according to claim 9, characterized in that the neural network is trained with annotated data from a cross entropy loss function.
11. Sistema automático de análise de imagem de mamografia caracterizado por compreender ao menos um classificador automático da imagem mamográfica dotado de ao menos: 11. Automatic mammography image analysis system characterized by comprising at least one automatic mammographic image classifier with at least:
a. um preditor de qualidade do posicionamento da mama (1 ) na imagem de mamografia; e The. a predictor of quality of breast positioning (1) on the mammography image; and
b. um preditor de densidade mamária (2) na imagem de mamografia, sendo a densidade predita a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. B. a predictor of breast density (2) on the mammography image, with density being predicted from the risk that breast density will mask the diagnosis of an injury.
12. Sistema de análise de imagem de mamografia, de acordo com a reivindicação 11 , caracterizado por compreender: 12. Mammography image analysis system, according to claim 11, characterized by comprising:
a. ao menos um meio de recebimento de imagem de mamografia; b. ao menos um processador compreendendo: The. at least one means of receiving a mammogram image; B. at least one processor comprising:
i. ao menos um leitor de imagem de mamografia; i. at least one mammography image reader;
ii. um classificador automático da imagem mamográfica; c. ao menos uma ferramenta de disponibilização de resultados; ii. an automatic mammographic image classifier; ç. at least one tool for making results available;
em que, on what,
o classificador automático de imagem mamográfica compreendido no processador é comunicante à ferramenta de disponibilização de resultados; e o leitor de imagem de mamografia compreendido no processador é comunicante ao meio de recebimento de imagem de mamografia. the automatic mammographic image classifier included in the processor is connected to the results delivery tool; and the mammography image reader included in the processor communicates with the mammography image receiving medium.
13. Sistema automático de análise de imagem de mamografia, de acordo com a reivindicação 11 , caracterizado pelo fato do classificador automático da imagem mamográfica compreender ao menos um sistema híbrido composto de ao menos uma rede neural profunda (3) e ao menos um sistema analítico de análise de densidade mamária (2) máxima e mínima de ao menos uma imagem. 13. Automatic mammography image analysis system, according to claim 11, characterized in that the automatic mammographic image classifier comprises at least one hybrid system composed of at least one deep neural network (3) and at least one analytical system analysis of breast density (2) maximum and minimum of at least one image.
14. Sistema automático de análise de imagem de mamografia, de acordo com a reivindicação 11 , caracterizado pelo fato do classificador de densidade mamária (2) na imagem mamográfica compreender ao menos um meio de direcionamento da área circular a ser feita a varredura de pixels de predição de densidade mamária (2). 14. Automatic mammography image analysis system, according to claim 11, characterized by the fact that the breast density classifier (2) in the mammographic image comprises at least one means of directing the circular area to be scanned by pixels. prediction of breast density (2).
PCT/BR2020/050159 2019-05-13 2020-05-13 Automatic method and system for analysing mammography images and method for deep neural network training WO2020227794A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
BR102019009693A BR102019009693A2 (en) 2019-05-13 2019-05-13 automatic mammography image analysis system and method and system use
BR102019009693-4 2019-05-13

Publications (1)

Publication Number Publication Date
WO2020227794A1 true WO2020227794A1 (en) 2020-11-19

Family

ID=73289049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/BR2020/050159 WO2020227794A1 (en) 2019-05-13 2020-05-13 Automatic method and system for analysing mammography images and method for deep neural network training

Country Status (2)

Country Link
BR (1) BR102019009693A2 (en)
WO (1) WO2020227794A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024406A1 (en) 2020-12-30 2022-07-06 Kazaam Lab s.r.l. Analytical platform for the provision of software services on the cloud

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903861B2 (en) * 2006-12-28 2011-03-08 Carestream Health, Inc. Method for classifying breast tissue density using computed image features
US8285019B2 (en) * 2006-02-10 2012-10-09 Synarc Inc. Breast tissue density measure
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285019B2 (en) * 2006-02-10 2012-10-09 Synarc Inc. Breast tissue density measure
US7903861B2 (en) * 2006-12-28 2011-03-08 Carestream Health, Inc. Method for classifying breast tissue density using computed image features
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CARNEIRO, P. C.: "Analise de atributos de intensidade e textura na classificação de densidade mamaria", ANAIS DO XXIV CONGRESSO BRASILEIRO DE ENGENHARIA BIOMEDICA - CBEB 2014, 13 October 2014 (2014-10-13), Uberlandia, MG, pages 634 - 637, XP055760422 *
FERNANDES, I. M. M. ET AL.: "Classificação de mamografias utilizando extração de atributos de textura e redes neurais artificiais", ANAIS DO XXIV CONGRESSO BRASILEIRO DE ENGENHARIA BIOMEDICA - CBEB 2014, 13 October 2014 (2014-10-13), Uberlandia, MG, pages 2244 - 2247, XP055760428 *
SALES. R.V.S. ET AL.: "Analise da distribuição de microcalcificações em imagem de mamografia com base na detecção por wavelets", ANAIS DO XXIV CONGRESSO BRASILEIRO DE ENGENHARIA BIOMEDICA - CBEB 2014, 13 October 2014 (2014-10-13), Uberlandia, MG, pages 1313 - 1316, XP055760424 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024406A1 (en) 2020-12-30 2022-07-06 Kazaam Lab s.r.l. Analytical platform for the provision of software services on the cloud

Also Published As

Publication number Publication date
BR102019009693A2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
Bhalodia et al. Quantifying the severity of metopic craniosynostosis: a pilot study application of machine learning in craniofacial surgery
ES2914873T3 (en) second reading suggestion
JP4652023B2 (en) Image data processing method and apparatus useful for disease detection
JP2020126598A (en) Systems and methods to determine disease progression from artificial intelligence detection output
Zhang et al. Clinical application of artificial intelligence-assisted diagnosis using anteroposterior pelvic radiographs in children with developmental dysplasia of the hip
US20170018075A1 (en) Method and apparatus for adaptive Computer-Aided Diagnosis
KR20200077852A (en) Medical image diagnosis assistance apparatus and method generating evaluation score about a plurality of medical image diagnosis algorithm
Ding et al. Evaluating the effectiveness of using standard mammogram form to predict breast cancer risk: case-control study
US10130323B2 (en) Method and apparatus for planning computer-aided diagnosis
US20120177260A1 (en) System and methods for detecting liver disease
US7873196B2 (en) Medical imaging visibility index system and method for cancer lesions
Lin et al. Using deep learning in ultrasound imaging of bicipital peritendinous effusion to grade inflammation severity
US10957038B2 (en) Machine learning to determine clinical change from prior images
WO2020227794A1 (en) Automatic method and system for analysing mammography images and method for deep neural network training
Caesarendra et al. AutoSpine-Net: Spine detection using convolutional neural networks for Cobb angle classification in adolescent idiopathic scoliosis
Lu et al. Computing mammographic density from a multiple regression model constructed with image-acquisition parameters from a full-field digital mammographic unit
BR102020009547A2 (en) METHOD AND AUTOMATIC SYSTEM FOR MAMMOGRAPHY IMAGE ANALYSIS AND DEEP NEURAL NETWORK TRAINING METHOD
Tomic et al. Development and evaluation of a method for tumor growth simulation in virtual clinical trials of breast cancer screening
US11955243B2 (en) Using unstructured temporal medical data for disease prediction
KR102360615B1 (en) Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images
WO2021103623A1 (en) Sepsis early warning apparatus and device, and storage medium
Lensink et al. Segmentation of pulmonary opacification in chest ct scans of covid-19 patients
Kumar et al. Uses of AI in Field of Radiology-What is State of Doctor & Pateints Communication in Different Disease for Diagnosis Purpose
CN116798611B (en) Device, method, equipment and medium for predicting benign and malignant quality of liver cirrhosis nodule
KR102595106B1 (en) Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20806542

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03.05.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20806542

Country of ref document: EP

Kind code of ref document: A1