PT116894B - Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula - Google Patents
Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula Download PDFInfo
- Publication number
- PT116894B PT116894B PT116894A PT11689420A PT116894B PT 116894 B PT116894 B PT 116894B PT 116894 A PT116894 A PT 116894A PT 11689420 A PT11689420 A PT 11689420A PT 116894 B PT116894 B PT 116894B
- Authority
- PT
- Portugal
- Prior art keywords
- training
- lesions
- computer
- classification
- implemented method
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 67
- 239000002775 capsule Substances 0.000 title claims abstract description 40
- 238000001839 endoscopy Methods 0.000 title abstract description 37
- 210000000813 small intestine Anatomy 0.000 title abstract description 15
- 238000001514 detection method Methods 0.000 title abstract description 11
- 230000004069 differentiation Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims description 69
- 208000032843 Hemorrhage Diseases 0.000 claims description 18
- 230000000740 bleeding effect Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000010200 validation analysis Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 208000025865 Ulcer Diseases 0.000 claims description 7
- 231100000397 ulcer Toxicity 0.000 claims description 7
- 206010025210 Lymphangiectasia Diseases 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 5
- 210000004369 blood Anatomy 0.000 claims description 5
- 230000003628 erosive effect Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 206010037549 Purpura Diseases 0.000 claims description 2
- 206010048211 Xanthelasma Diseases 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 206010034754 petechiae Diseases 0.000 claims description 2
- 230000002792 vascular Effects 0.000 claims description 2
- 238000002052 colonoscopy Methods 0.000 claims 2
- 238000000205 computational method Methods 0.000 claims 1
- 208000027418 Wounds and injury Diseases 0.000 abstract description 13
- 208000014674 injury Diseases 0.000 abstract description 13
- 230000006378 damage Effects 0.000 abstract description 12
- 238000000605 extraction Methods 0.000 abstract description 7
- 208000034158 bleeding Diseases 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013526 transfer learning Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 210000004877 mucosa Anatomy 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 208000012671 Gastrointestinal haemorrhages Diseases 0.000 description 4
- ZVHPYMRQVUPXNX-UHFFFAOYSA-N Saurin Natural products OCC1C2CC(O)C(=C)C3C(C2OC1=O)C(=C)CC3=O ZVHPYMRQVUPXNX-UHFFFAOYSA-N 0.000 description 4
- 230000002496 gastric effect Effects 0.000 description 4
- 208000030304 gastrointestinal bleeding Diseases 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 102100025189 E3 ubiquitin-protein ligase RBBP6 Human genes 0.000 description 3
- 101100033036 Homo sapiens RBBP6 gene Proteins 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 206010046996 Varicose vein Diseases 0.000 description 2
- 241000212749 Zesius chrysomallus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000027185 varicose disease Diseases 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000011231 Crohn disease Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 206010061297 Mucosal erosion Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 206010048215 Xanthomatosis Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002497 edematous effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000005469 granulation Methods 0.000 description 1
- 230000003179 granulation Effects 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 208000022131 polyp of large intestine Diseases 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6861—Capsules, e.g. for swallowing or implanting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
A PRESENTE INVENÇÃO REFERE-SE A UM MÉTODO IMPLEMENTADO POR COMPUTADOR, CAPAZ DE CARACTERIZAR AUTOMATICAMENTE AS LESÕES DO INTESTINO DELGADO EM IMAGENS DE ENDOSCOPIA POR CÁPSULA, COMPREENDENDO A DETECÇÃO DE LESÕES DO INTESTINO DELGADO EM IMAGENS MÉDICAS ATRAVÉS DA CLASSIFICAÇÃO DOS PIXEIS COMO LESÃO OU NÃO LESÃO, USANDO UMA ETAPA DE EXTRACÇÃO DA CARACTERÍSTICA DA IMAGEM CONVOLUCIONAL, SEGUIDA POR UMA ARQUITECTURA DE CLASSIFICAÇÃO E INDEXAÇÃO NUMA OU MAIS CLASSES.
Description
DESCRIÇÃO
EPÍGRAFE: | DETECÇÃO AUTOMÁTICA E DIFERENCIAÇÃO DE LESÕES DO INTESTINO DELGADO EM ENDOSCOPIA POR CÁPSULA |
Antecedentes da invenção
A presente invenção refere-se à detecção e classificação de lesões em dados de imagens médicas. Mais particularmente, à identificação automatizada de lesões do intestino delgado em imagens de endoscopia por cápsula para avaliar a gravidade da lesão e subsequente tratamento médico.
A endoscopia por cápsula tornou-se a modalidade endoscópica principal para os exames do intestino delgado. Ao examinar cuidadosamente as imagens de vídeo da cápsula, os médicos são capazes de detectar, identificar e caracterizar as lesões das paredes internas do tracto gastrointestinal. Esse exame de vídeo de endoscopia por cápsula é, no entanto, significativamente demorado para os gastrenterologistas e está sujeito a erro humano e lapsos. Por outro lado, na endoscopia por cápsula, o registo dessas imagens está prontamente disponível e pode ser armazenado digitalmente para posterior revisão e comparação. Neste contexto, os dados da imagem criam uma base forte para o diagnóstico auxiliado por computador, utilizando sistemas de machine learning (aprendizagem de máquina) para a caracterização das lesões e, consequentemente, a tomada de decisões. 0 objectivo da detecção e classificação das lesões do intestino delgado é fornecer uma caracterização mais precisa e totalmente automatizada da gravidade da lesão e auxiliar no diagnóstico e tratamento médico.
Valério, Maria Teresa, et al. em Lesions Multiclass Classification in Endoscopic Capsule Frames. Procedia Computer Science 164 (2019): 637-645 chamou a atenção para a identificação demorada e propensa a erros das lesões do intestino delgado por especialistas médicos. Além disso, os autores propuseram uma abordagem automática para identificar essas lesões, com base em redes de deep learning (aprendizagem profunda), em imagens de endoscopia por cápsula, sem fios, com anotações médicas.
Li, Xiuli, et al. em Exploring transfer learning for gastrointestinal bleeding detection on small-size imbalanced endoscopy images. 2017 39a Conferência Internacional Anual do IEEE Engineering in Medicine and Biology Society (EMBC). IEEE, 2017 explorou o transfer learning (aprendizagem por transferência) para a detecção de sangramento gastrointestinal num corte de pequena dimensão de imagens endoscópicas com o uso de redes neuronais em representações de imagens em grande escala.
O documento CN 110705440 filtra a imagem em três canais e insereos separadamente num modelo de rede convolucional, treinado com o dataset (conjunto de dados tabulados) Kvasir.
documento US 2020/065961 Al usa uma rede convolucional para classificar dados em diferentes escalas de granulação para detectar lesões em tecido biológico. Os dados requerem a identificação na imagem da zona de defeito/lesão.
documento CN 111127412 A fornece um dispositivo de reconhecimento de imagem patológica baseado numa rede de contramedidas de geração, com o objectivo de resolver os problemas de dependência da experiência, custo de rotulagem manual demorado, baixa eficiência de reconhecimento e baixa precisão dos outros métodos de reconhecimento patológico existentes. 0 método é avaliado para as lesões da doença de Crohn, mas não distingue qual o tipo de lesão que cada imagem apresenta.
documento CN 107730489 A divulga um endoscópio de cápsula sem fios com um medidor de lesão do intestino delgado, para detectar lesões do intestino delgado, com eficiência e precisão. A classificação e o posicionamento das lesões do intestino delgado são obtidos por meio de um algoritmo de segmentação de imagens. O documento não usa o transfer learning, não diferencia os tipos de lesão nem actualiza activamente o traning data (dados de treino) com os novos dados para a próxima geração de treino.
O documento CN 111739007 A divulga um identificador de área de bolha treinado por uma rede neural convolucional que não considera a classificação das lesões do intestino delgado.
As doenças gastrointestinais, tais como as lesões internas do intestino delgado, são doenças epidemiologicamente comuns. Muitas vezes, quando essas lesões não são diagnosticadas e tratadas podem ter um resultado clínico desfavorável. A endoscopia gastrointestinal tem um papel fundamental no diagnóstico e tratamento do câncer digestivo, da doença inflamatória intestinal e outras patologias gastrointestinais. Por exemplo, se detectado precocemente, o pólipo colo rectal pode ser removido com segurança e prevenir o cancro colo rectal. Portanto, é imperativo detectar todos os pólipos. Outro exemplo do papel crítico da endoscopia gastrointestinal é a avaliação endoscópica da atividade inflamatória intestinal por meio da detecção de úlceras e erosões no intestino delgado e no cólon. É fundamental avaliar a atividade inflamatória intestinal para diagnosticar, tratar e controlar os pacientes com doença inflamatória intestinal. No entanto, a endoscopia gastrointestinal é uma tarefa em que se despende muito tempo e recursos e é desafiante. Ocasionalmente, o médico de endoscopia pode apresentar sinais de fadiga ou sofrer de déficit de atenção, não conseguindo identificar com precisão todos os achados endoscópicos relevantes. Mais especificamente, a endoscopia por cápsula é uma alternativa minimamente invasiva para avaliação do tracto gastrointestinal, particularmente para o exame endoscópico do intestino delgado. Na verdade, a endoscopia por cápsula é o exame padrão e de primeira linha para avaliar o intestino delgado, nomeadamente em casos de sangramento gastrointestinal obscuro e patologias do intestino delgado.
As aquisições de imagens endoscópicas são a técnica mais avançada no ramo para uma introspecção do tracto intestinal dos pacientes. Normalmente, os elementos endoscópicos são fornecidos com um dispositivo portátil de gravação de imagens e meios para converter estas capturas numa representação digitalizada e capaz de ser armazenada num computador pessoal.
As imagens endoscópicas, devido à natureza da sua aquisição, muitas vezes carecem de luz ou outras condições fotográficas que permitam a classificação do intestino delgado executada de forma directa. Dentro deste contexto, foram apresentadas técnicas de machine learning (aprendizagem de máquina) para executar automaticamente tal tarefa, mas até agora, estas falharam em termos de apresentação de uma taxa de precisão total ou de falso-negativo e consequentemente, quando usada na prática clinica, resultam num tratamento inadequado.
Breve sumário da invenção
A presente invenção fornece um método para a identificação baseada no deep learning (aprendizagem profunda) de lesões prevalentes do intestino delgado, em imagens endoscópicas, e a sua diferenciação com precisão. Tal identificação automática, classificação e estimativa de risco hemorrágico das lesões do intestino delgado são utilizadas na prática clínica para o diagnóstico e planeamento do tratamento.
Inicialmente, ao utilizar as camadas convolucionais treinadas de uma determinada arquitetura com o set ImageNet1, e testando-as posteriormente usando um subconjunto de imagens de endoscopia por cápsula, é mostrado o potencial para detectar lesões. A natureza disruptiva clínica da presente invenção é apoiada pela capacidade do sistema de inteligência artificial para não apenas detectar, mas também diferenciar com precisão todos os achados/lesões endoscópicos relevantes. De facto, a capacidade da rede neural de diferenciar lesões de natureza pleomórfica subtil é de extrema importância na prática clínica, permitindo um diagnóstico completo da endoscopia por cápsula. Além disso, a estratificação do potencial hemorrágico de cada lesão é uma novidade relevante introduzida por esta invenção no que respeita ao estado da técnica actual. Uma das indicações mais importantes e frequentes para a realização da endoscopia por cápsula é o sangramento gastrointestinal obscuro, e a avaliação correcta do potencial hemorrágico dos achados endoscópicos é fundamental para a gestão do acompanhamento clínico. Portanto, a presente invenção, ao prever com precisão o potencial hemorrágico dos achados/lesões da endoscopia por cápsula, ajuda a equipe clínica a definir melhor o diagnóstico e a gestão terapêutica do paciente, o que pode traduzir-se em resultados clínicos optimizados.
Esta tecnologia pode ser aplicada em software de endoscopia por cápsula, a fim de auxiliar o gastrenterologista na detecção de lesões do intestino delgado. Além disso, a endoscopia por cápsula é um exame caro, com relevância e aplicação crescentes na prática clínica.
seguinte foi considerado relevante para destacar o problema resolvido pela presente invenção, a partir dos métodos conhecidos na técnica para detectar e diferenciar lesões do intestino delgado, na endoscopia por cápsula.
É preferido um método em que são usadas técnicas de machine learning para classificar uma imagem. 0 deep learning usa algoritmos para modelar abstrações de alto nível em dados, usando um gráfico profundo com processamento múltiplo. Usando uma arquitectura de várias camadas, as máquinas que utilizam técnicas de deep learning processam dados brutos para encontrar grupos de valores altamente correlacionados ou temas distintivos.
método detecta lesões relevantes do intestino delgado, em imagens de endoscopia por cápsula, e diferencia-as de acordo com seu potencial de sangramento usando o sistema de classificação de Saurin. 0 sistema de classificação de Saurin mede o potencial de sangramento de uma lesão do intestino delgado. É uma ferramenta útil para a avaliação e estratégia de tratamento dos pacientes. A sua utilização tem um impacto directo no diagnóstico clínico e na tomada de decisão. Tal modalidade da presente invenção usa o transfer learning e o semi-active learning (aprendizagem semiactiva). 0 transfer learning permite a extracção das características e a classificação de alta precisão usando dimensões de datasets razoáveis. A implementação semi-activa permite uma melhoria contínua no sistema de classificação. A modalidade preferida da presente invenção pode, de preferência, utilizar o transfer learning para extracção de características em imagens de endoscopia por cápsula, de acordo com o sistema de classificação de Saurin, ou a estratégia de semi-active learning (aprendizagem semi-activa) para imagens de endoscopia por cápsula.
Subsequentemente o método divide o dataset numa série de dobras estratificadas, de preferência em que as imagens relativas a um determinado paciente são incluídas apenas numa dobra. Além disso, adicionalmente ou alternativamente, tais dados são treinados e validados com o agrupamento de pacientes numa dobra aleatória, ou seja, as imagens de um paciente arbitrário pertencem ao conjunto de treino ou ao conjunto de validação.
É preferido um método que utiliza os conjuntos de treino e de validação escolhidos para treinar adicionalmente uma série de combinações de arquitecturas de rede, que incluem, entre outras, uma extracção de caracteristicas e um componente de classificação.
A série de redes neurais convolucionais para treinar inclui, mas não está limitada a: VGG16, InceptionV3, Xception EfficientNetB5, EfficientNetB7, Resnet50 e Resnetl25. De preferência, os seus pesos são congelados, com excepção das camadas de BatchNormalization, e são acoplados com um componente de classificação. 0 componente de classificação compreende, pelo menos, duas camadas densas, de preferência de tamanhos 2048 e 1024, e pelo menos uma camada dropout de, preferencialmente, 0,1 entre elas.
Alternativamente, mas não preferencialmente, o componente de classificação pode ser usado com camadas mais densas ou com camadas densas de diferentes tamanhos.
Alternativamente, mas não preferencialmente, o componente de classificação também pode ser usado sem camadas dropout.
Além disso, adicionalmente, a arquitectura de melhor desempenho é escolhida de acordo com a precisão e sensibilidade totais. As métricas de desempenho incluem, mas não se limitam à métrica fl. Além disso, o método usa preferencialmente a arquitectura de melhor desempenho para treinar uma série de combinações do componente de classificação que incluem, de preferência, mas não estão limitadas de duas até quatro camadas densas, em sequência, começando com 4096 e diminuindo pela metade até 512. Entre as duas últimas camadas, há uma camada dropout de taxa de abandono de 0,1.
Por fim, a solução de melhor desempenho é treinada usando todo o dataset com o agrupamento de pacientes.
Outras modalidades da presente invenção podem incluir redes de classificação semelhantes, pesos de treino e hiper-parâmetros.
Estes podem incluir o uso de qualquer rede de classificação de imagens, nova ou ainda não criada.
Em geral, o método inclui dois módulos que forneceram os dados requeridos para os restantes: previsão e output collector (colector de saída). 0 módulo de previsão lê os vídeos e selecciona as imagens com achados. 0 output collector passa essas imagens com achados para processamento.
Exemplos de efeitos vantajosos da presente invenção incluem: treino usando parâmetros de resultados de machine learning de datasets diários crescentes baseados na cloud; previsão automática da imagem da endoscopia usando um método de deep learning, para que as lesões do intestino delgado, da entrada de imagens, do endoscópio de cápsula, possam ser identificadas e diferenciadas de acordo com o sistema de classificação de Saurin; o uso do transfer learning melhora a velocidade de classificação da imagem e a precisão da classificação correspondente.
Breve descrição dos desenhos
A FIG. 1 ilustra um método para a classificação de lesões do intestino delgado na endoscopia por cápsula, de acordo com uma modalidade da presente invenção.
A FIG. 2 ilustra o método para a detecção automática e diferenciação de lesões do intestino delgado, no exame de endoscopia por cápsula.
A FIG. 3 ilustra os processos principais para a detecção automática e diferenciação de lesões do intestino delgado, no exame de endoscopia por cápsula.
A FIG. 4 ilustra a estrutura da rede de classificação para distinguir de acordo com o potencial de sangramento.
A FIG. 5 representa uma modalidade da rede de classificação para classificar de acordo com o potencial de sangramento.
A FIG. 6 ilustra uma modalidade preferencial da presente invenção, na qual as curvas de precisão para o treino num pequeno subconjunto de imagens e dados rotulados são mostradas. Exemplo de resultados de uma iteração do método 8000.
A FIG. 7 ilustra curvas de precisão exemplificativas durante o treino, num pequeno subconjunto de imagens e dados rotulados, e de acordo com uma modalidade da presente invenção. Exemplo de resultados de uma iteração do método 8000.
A FIG. 8 ilustra curvas ROC exemplificativas e valores de AUC obtidos após o treino num pequeno subconjunto de imagens e dados rotulados, de acordo com uma modalidade da presente invenção. Os resultados são usados para a seleção do modelo. Exemplo de resultados de uma iteração do método 8000 e um zoom das curvas ROC.
A FIG. 9 ilustra uma matriz de confusão exemplificativa após o treino num pequeno subconjunto de imagens e dados rotulados, de acordo com uma modalidade da presente invenção. Os resultados são usados para a seleção do modelo. O número de imagens do pequeno subconjunto de dados e respectiva proporção de classe entre parênteses.
A FIG. 10 ilustra exemplos de classificação de lesões, de acordo com uma modalidade da presente invenção.
A FIG. 11 ilustra um resultado da realização da classificação de lesão baseada em deep learning, no volume de dados 240 e 250, de acordo com uma modalidade da presente invenção.
A FIG. 12 ilustra um exemplo de uma lesão classificada aguardando a confirmação do especialista.
Descrição detalhada
A presente invenção divulga um novo método e sistema capaz de detectar e diferenciar lesões em imagens adquiridas durante um exame de endoscopia por cápsula.
Algumas modalidades preferenciais serão descritas em maior detalhe com referência aos desenhos anexos, nos quais foram ilustradas as modalidades da presente descrição. No entanto, a presente descrição pode ser implementada de várias formas e, assim, não deve ser interpretada como limitada às modalidades aqui divulgadas.
Deve ser entendido que, embora esta divulgação inclua uma descrição detalhada sobre computação em cloud, a implementação dos ensinamentos aqui enumerados não está limitada a um ambiente de computação em cloud. Em vez disso, as modalidades da presente invenção são capazes de ser implementadas em conjunto com qualquer outro tipo de ambiente de computação conhecido agora ou desenvolvido posteriormente.
termo deep learning é uma técnica de machine learning (aprendizagem de máquina) que usa várias camadas de processamento de dados para classificar os conjuntos de dados com elevada precisão. Pode ser uma rede de treino (modelo ou dispositivo) que aprende com base numa pluralidade de inputs (entradas) e outputs (saídas). Uma rede de deep learning pode ser uma rede implantada (modelo ou dispositivo), gerada a partir da rede de treino, e fornece uma resposta de output (saída) a um input (entrada).
termo supervised learning (aprendizagem supervisionada) é um método de treino de deep learning no qual são fornecidos à máquina dados já classificados por fontes humanas. No deep learning (aprendizagem supervisionada), as características são aprendidas através de um input (entrada) rotulado.
termo redes neurais convolucionais ou CNNs (Convolutional Neural Networks) são redes que interconectam dados usados no deep learning para reconhecer objectos e regiões em conjuntos de dados (datasets). As CNN avaliam os dados brutos numa série de etapas para avaliar as caracteristicas aprendidas.
termo transfer learning é um armazenamento em máquina das informações aprendidas quando se tenta resolver um problema para resolver outro problema de natureza semelhante ao primeiro.
Utiliza-se o termo semi-active learning (aprendizagem semiactiva) como um processo de machine learning. Antes de executar o processo de aprendizagem seguinte, a rede de treino anexa um conjunto de dados rotulados ao dataset de treino de uma entidade externa confiável. Por exemplo, à medida que uma máquina colecta mais amostras de etapas de uma equipe especializada, menos propensa ela fica a prever erroneamente imagens de caracteristicas idênticas.
termo diagnóstico auxiliado por computador refere-se a máquinas que analisam imagens médicas para sugerir um possível diagnóstico.
termo linfangiectasia representa capilares linfáticos obstruídos e dilatados. Pode ser funcional (sem associação à patologia), primário ou secundário a outras condições. Definimos linfangiectasia de acordo com material publicado anteriormente como manchas esbranquiçadas espalhadas da mucosa intestinal. Essas alterações da mucosa podem ser difusas ou irregulares.
termo xantomas resulta da acumulação de material rico em colesterol nos macrófagos da mucosa entérica. 0 achado endoscópico na cápsula endoscópica foi definido como lesões em placa de aspecto esbranquiçado/amarelado.
Os termos ulceras e erosões representam rupturas da mucosa do intestino delgado. Essas lesões são diferenciadas com base no tamanho estimado e na profundidade de penetração. As Úlceras foram definidas como perda deprimida da cobertura epitelial, com uma base esbranquiçada e mucosa circundante edemaciada com diâmetro > 5mm. Por outro lado, as erosões da mucosa foram definidas como uma perda mínima de camadas epiteliais circundadas por mucosa normal.
termo lesões vasculares do intestino delgado inclui uma grande variedade de lesões individuais, especificamente manchas vermelhas, angiectasia, varizes e flebectasia. As manchas vermelhas foram definidas como lesões planas pontuadas (clmm), com área vermelho-vivo, dentro da camada da mucosa, sem a aparência de vaso. As angiectasias foram definidas como lesões vermelho-vivo bem demarcadas consistindo em dilatações capilares tortuosas e agrupadas, dentro da camada da mucosa. As varizes foram definidas como dilatação venosa elevada com aparência serpiginosa. As flebectasias foram identificadas no caso de uma dilatação venosa azulada regular que corre abaixo da mucosa for detectada.
termo lesões protuberantes abrange lesões que se projetam em direção ao lúmen do intestino delgado. Estas lesões podem ter etiologias distintas e incluir pólipos, tumores epiteliais, lesões subepiteliais e nódulos.
termo Sangue é usado para representar a presença de sangue brilhante ocupando parte ou a seção total do lúmen entérico. Representa sangramento ativo ou recente. Resíduos hemáticos representam coágulos de sangue fragmentados ou inteiros vistos como resíduos vermelho-escuros ou castanhos na luz do intestino delgado ou aderentes à mucosa. Isolados, esses resíduos representam sangramento prévio.
A presente invenção refere-se a um método para classificação de lesões do intestino delgado com base no deep learning, em imagens de endoscopia por cápsula, de acordo com seu potencial de sangramento (Fig.l). Muitas vezes, as modalidades da presente invenção fornecem uma compreensão visual do método de deep learning de classificação de lesões do intestino delgado. A classificação automática das lesões de imagens do intestino delgado, na endoscopia por cápsula, é uma tarefa desafiante visto que as lesões com diferente potencial de sangramento têm forma e contraste semelhantes. As grandes variações na preparação do intestino delgado, antes da ingestão da cápsula, complicam ainda mais a classificação automática das lesões do intestino delgado. Embora os tempos de treino automático e classificação sejam rápidos (em média 10 segundos para um dataset de teste de 2000 imagens) , o output não é satisfatório para um diagnóstico rápido pelos especialistas.
O método compreende um módulo de aquisição de imagens; um módulo de armazenamento; um módulo de input de treino; um módulo de processamento; um módulo de input de exame; um módulo de treino; um módulo de previsão; um módulo output collector.
O módulo de aquisição de imagem 1000 recebe volumes de input de exame de fornecedores de endoscopia por cápsula. Sendo meramente exemplificativos, os fornecedores podem ser, mas não apenas, OMOM, Given, Mirocam e Fujifilm. As imagens 1000 e as correspondentes marcas são carregadas no módulo de armazenamento 2000. 0 módulo de armazenamento 2000 inclui uma multiplicidade de arquitecturas de rede de classificação 100, arquitecturas de redes convolucionais treinadas 110 e hiper-parâmetros para/de treino. O módulo de armazenamento 2000 pode ser um servidor local ou em cloud. O módulo de armazenamento contém dados rotulados de input de treino proveniente das imagens de endoscopia por cápsula, e os metadados necessários para executar o módulo de processamento 3000, o módulo de treino 4000, o módulo de previsão 5000, um segundo módulo de previsão 6000, e um módulo output collector 7000. Os dados rotulados de entrada (input) incluem, mas não apenas, imagens e a correspondente classificação da lesão. O metadados incluem, mas não apenas, uma multiplicidade de arquitecturas de redes de classificação 100, exemplificadas na FIG. 4, uma multiplicidade de arquitecturas de redes neurais convolucionais treinadas 110, hiper-parâmetros de treino, métricas de treino, modelos totalmente treinados, e modelos seleccionados totalmente treinados.
As imagens 1000 e os dados rotulados no módulo de armazenamento 2000 são processados no módulo de processamento 3000, antes de se executar o treino optimizado no módulo de treino 4000. O módulo de processamento normaliza as imagens de acordo com a arquitectura do modelo profundo, a ser treinado em 3000 ou avaliado em 4000. Por solicitação manual ou programada, o módulo de processamento normaliza os dados da imagem no módulo de armazenamento 2000, de acordo com as arquitecturas de modelo profundo que serão executadas no módulo de treino 4000. Opcionalmente, por solicitação manual ou programada, o módulo de processamento gera os indicadores de dados para o módulo de armazenamento 2000, para formar as imagens parciais ou totais e os rótulos de ground-truth necessários para executar o módulo de treino 3000. Para preparar cada sessão de treino, um dataset é dividido em dobras, onde as imagens específicas do paciente são exclusivas a uma e apenas uma dobra, para treino e teste. O conjunto de treino é dividido para o treino de modelo para gerar os indicadores de dados de todas as imagens e rótulos de ground-truth necessários para executar o processo de treino 9000. A dobra k é opcionalmente aplicada com o agrupamento estratificado por paciente no conjunto de treino, para gerar os indicadores de dados das imagens parciais e os rótulos de groundtruth necessários para executar o processo de verificação de modelo 8000 do módulo de treino 4000. Os rácios de divisão e número de dobras estão disponíveis nos metadados do módulo de armazenamento. Os operadores incluem, mas não estão limitados aos utilizadores, uma rede neural convolucional treinada para optimizar a dobra k ou uma mera rotina computacional, adaptada para efectuar a tarefa.
Meramente como um exemplo, o dataset é dividido com a divisão do paciente em 90% para o treino e 10% para o teste. Opcionalmente, as imagens seleccionadas para o treino podem ser divididas em 80% para o treino e 20% para validação durante o treino. Um agrupamento estratificado de 5 dobras por paciente é aplicado nas imagens seleccionadas para o treino. Por solicitação manual ou programada, o módulo de processamento normaliza os dados de volume de exame 5000, de acordo com a arquitectura de modelo profundo para executar no módulo de previsão 6000.
Como visto na Fig. 2, o módulo de treino 4000 tem um processo de verificação de modelo 8000, uma etapa de selecção de modelo 400 e uma etapa de treino de modelo 9000. A parte de verificação de modelo selecciona iterativamente combinações de arquitecturas de classificação 100 e redes convolucionais 110, para treinar um modelo profundo para a classificação de lesões do intestino delgado. A rede de classificação 100 possui camadas Densas e Dropout para classificar as lesões do intestino delgado, de acordo com o seu potencial hemorrágico. Uma rede convolucional neural 110, treinada em grandes datasets, é acoplada à referida rede de classificação 100 para treinar um modelo profundo 300. Imagens de treino parcial 200 e rótulos de ground-truth (verdade básica) 210 treinam o referido modelo profundo 300. As métricas de desempenho do modelo profundo treinado 120 são calculadas usando uma pluralidade de imagens de treino parciais 220 e rótulos de Ground truth (verdade básica) 230. A etapa de selecção de modelo 400 é baseada nas métricas de desempenho calculadas. A parte de treino de modelo 9000 treina a arquitectura de modelo profundo seleccionada 130, no processo 310, usando todos os dados das imagens de treino 240 e rótulos de Ground-truth (verdade básica) 250. No módulo de previsão 6000, o modelo profundo treinado 140 produz a classificação da lesão do intestino delgado 270 de uma determinada imagem de avaliação 260. Um volume de exame de dados
5000 compreendendo as imagens do vídeo de endoscopia por cápsula é a entrada do módulo de previsão 6000. O módulo de previsão 6000 classifica os volumes de imagem do volume de exame 5000, usando o modelo profundo treinado com melhor desempenho a partir de 4000 (ver Fig. 3) . Um módulo output collector 7000 recebe os volumes classifiçados e carrega-os no módulo de armazenamento após a validação, realizada por uma rede neural ou qualquer outro sistema computacional adaptado para realizar a tarefa de validação ou opcionalmente um clínico especializado em imagens gastroenterológicas.
As modalidades da presente invenção fornecem um método baseado no deep learning para classificação automática de lesões em imagens do intestino delgado, em endoscopias por cápsula. Tais métodos aqui descritos alcançam qualidade de reconhecimento e utilidade de diagnóstico melhoradas quando comparados com os métodos baseados em computador existentes, descritos acima, para classificação de lesões em imagens de endoscopia por cápsula. Os métodos existentes para classificação das lesões do intestino delgado não utilizam transfer learning nem semi-active training (treino semi-activo). Este modelo de classificação aperfeiçoado resulta de um pipeline de treino optimizado numa multiplicidade de arquitecturas de deep model.
A título meramente exemplificativo, a invenção compreende um servidor que contém resultados de treino para arquitecturas nas quais estão disponíveis resultados de treino de grandes datasets (conjuntos de dados) baseados na cloud, tal como, mas não apenas, ImageNet, ILSVRC e JFT. As variantes de arquitectura incluem, mas não apenas, VGG, ResNet, Inception, Xception ou Mobile, EfficientNets, entre outras. Todos os dados e metadados podem ser armazenados numa solução baseada na cloud ou num computador local. As modalidades da presente invenção também fornecem várias abordagens para fazer uma selecção mais rápida de modelo profundo.
A FIG. 2 ilustra um método para classificação de lesões do intestino delgado por deep learning, de acordo com uma modalidade da presente invenção. 0 método da FIG. 2 inclui uma fase de prétreino 8000, e uma fase de treino 9000. A fase de treino 8000 é realizada com a paragem precoce em pequenos subconjuntos de dados, para seleccionar a rede neural profunda com melhor desempenho para a classificação de lesões do intestino delgado, entre várias combinações de partes de convolução e de classificação. Por exemplo, uma rede de classificação de duas camadas densas de tamanho 512 é acoplada ao modelo Xception para treinar num conjunto aleatório resultante da validação cruzada k-fold com o agrupamento de pacientes. Outro conjunto aleatório é seleccionado como o conjunto de teste.
O processo de treino 8000 com paragem precoce e testagem em subconjuntos aleatórios é repetido num loop de optimização para combinações de (i) redes de classificação e redes neurais profundas aprendidas por transferência; (ii) hiper-parâmetros de treino. O componente de extracção das caracteristicas da imagem da rede neural profunda é qualquer variante de arquitectura sem as camadas superiores acessíveis a partir do módulo de armazenamento. As camadas do componente de extracção de caracteristicas permanecem congeladas, mas estão acessíveis no momento do treino através do módulo de armazenamento mencionado. As camadas de BatchNormalization do componente de extracção de caracteristicas são descongeladas, de modo a que o sistema treine de forma eficiente com imagens de cápsula endoscópica, apresentando caracteristicas distintas das imagens da cloud. 0 componente de classificação tem, pelo menos, dois blocos, cada um possuindo, entre outros, uma camada Densa seguida de uma camada Dropout. 0 bloco final do componente de classificação possui uma camada de BatchNormalization seguida por uma camada Densa com o tamanho de profundidade igual ao número de lesões do tipo que se deseja classificar.
A adequação do procedimento de optimização é calculada para (i) garantir uma precisão e sensibilidade mínimas em todas as classes, definidas por um limite (ii) minimizar diferenças entre treino, validação e perdas de teste; (iii) maximizar a aprendizagem na última camada convolucional. Por exemplo, se um treino apresenta provas de overfitting (sobreajuste), é seleccionada uma combinação de um modelo menos profundo para avaliação.
A etapa de treino 9000 é aplicada na rede neural profunda com melhor desempenho usando todo o dataset.
O modelo profundo 140 totalmente treinado pode ser implantado no módulo de previsão 6000. Cada imagem de avaliação 2 60 é então classificada para produzir uma classificação de lesão 270. O módulo output collector (colector de saída) tem meios de comunicação com outros sistemas para realizar a validação de especialista e confirmação sobre volumes de dados de previsão recentes chegando aos 270. Tais meios de comunicação incluem um módulo de exibição para input do utilizador, uma rede neural totalmente treinada para a tomada de decisões ou qualquer processo computacional programável para executar tal tarefa. As classificações validadas são carregadas no módulo de armazenamento para fazerem parte dos datasets (conjuntos de dados) necessários para executar as pipelines 8000 e 9000, seja por solicitações manuais ou agendadas.
Uma modalidade da rede de classificação 100, como visto na Fig. 5, pode classificar de acordo com o potencial de sangramento como N: normal, POL: linfangiectasia, P0X: Xantelasma, PIE: erosão, P1PE: petéquias, P1U e P2U: úlceras, P1PR e P2PR: protuberância, P2V: vascular, P3: sangue, são mostrados e agrupados em conformidade. Numa determinada iteração do método 8000 (Fig. 7, 8 e 9) , a pipeline de optimização aqui descrita usa curvas de precisão, curvas ROC e valores AUC e a matriz de confusão do treino, num pequeno subconjunto de imagens e dados rotulados.
A FIG. 8 ilustra curvas ROC exemplificativas e valores de AUC obtidos após o treino, num pequeno subconjunto de imagens e dados rotulados, em que 10 (P3 - AUC:1,00), 12 (POX - AUC:0,99), 14 (P2U - AUC:0,99), e 16 (P1PE - AUC:0,99), 18 (P1E - AUC:0,99), 20 (N AUC:0,99), 22 (P1U - AUC:0,99), 24 (P2V - AUC:l,00), 26 (P1PR AUC:0,99), 28 (P2PR - AUC:l,00), 30 (P0L - AUC:0,99), e 32 representam a Estimativa Aleatória.
A FIG. 9 ilustra uma matriz de confusão exemplificativa após o treino, num pequeno subconjunto de imagens e dados rotulados. Resultados usados para a selecção do modelo. Número de imagens do pequeno subconjunto de dados e respectiva proporção de classe entre parênteses.
A Fig. 10 mostra exemplos de classificação de lesões, de acordo com uma modalidade da presente invenção, em que em 500 há potencial de sangramento; linfangiectasia, em 510 há potencial de sangramento Baixo, em 520 há potencial de sangramento Elevado, úlcera, em 530 há Sangue e em 540 há potencial de sangramento Baixo, úlcera.
A Figura 11 mostra um resultado da realização da classificação de lesões com base no deep learning, no volume de dados 240 e 250, de acordo com uma modalidade da presente invenção. Os resultados da classificação do intestino delgado usando o método de treino 8000, da presente invenção, são significativamente melhorados em comparação com os resultados usando os métodos existentes (sem o método 8000).
A Fig 12 mostra um exemplo de uma lesão classificada aguardando a validação pelo módulo output collector (colector de saída) 7000. Meramente como um exemplo, o clínico especialista em imagiologia gastroenterológica identifica lesões do intestino delgado analisando a imagem rotulada classificada pelo modelo profundo 140. As opções para a reclassificação da imagem na última camada da rede de classificação 100 são representadas na figura 5.
Opcionalmente, a confirmação ou reclassificação são enviadas para o módulo de armazenamento.
A Descrição Detalhada anterior deve ser entendida como sendo em todos os aspectos ilustrativa e exemplificativa, mas não restritiva, e o âmbito da invenção aqui divulgado não deve ser determinado a partir da Descrição Detalhada, mas sim a partir das reivindicações interpretadas de acordo com a total abrangência permitida pelas leis de patentes. Deve ser entendido que as modalidades mostradas e descritas neste documento são apenas ilustrativas dos princípios da presente invenção e que várias modificações podem ser implementadas pelos especialistas na técnica, dentro do âmbito das reivindicações anexas.
Claims (11)
- REIVINDICAÇÕES1. Um método implementado por computador capaz de identificar e caracterizar automaticamente as lesões do intestino delgado, em imagens médicas de colonoscopia por cápsula, caracterizado por classificar os pixels das imagens como lesões do intestino delgado, compreendendo os passos:- selecção de um número de amostras de imagens onde as imagens de cada paciente se encontram numa e numa só destas amostras;- selecção de um segundo grupo de amostras para validação;treino de cada um dos grupos de amostras, numa pluralidade de combinações de redes neuronais convolucionais, seguidas de uma rede neuronal de classificação adaptadas para classificar grupos de pixels como lesão, onde o treino:- pára quando a métrica escolhida não melhora durante um número de iterações, nomeadamente três;- avalia a performance das diferentes combinações;- repete-se em grupos de amostras diferentes, com diferentes combinações de redes neuronais e parâmetros de treino, onde as novas combinações consideram um número maior de camadas caso fl ser baixa ou menos camadas caso a fl sugira overfitting;- selecção (400) da combinação de arquitecturas que apresenta a melhor performance durante o treino, conforme descrito no passo anterior;treino e respectiva validação (9000), a arquitectura seleccionada usando a totalidade de imagens de colonoscopia por cápsula;- previsão (6000) da presença e caracterização de lesões do intestino delgado;- recepção de uma classificação (270) de uma previsão (6000), por um módulo colector, com meios de comunicação para um método externo capaz de validar ou corrigir a previsão (6000), onde o método inclui pelo menos um dos seguintes: outra rede neuronal treinada para o efeito, um outro método computacional adaptado para a tarefa de validação ou, opcionalmente, um humano perito em gastroenterologia;- armazenar a previsão corrigida no módulo de armazenamento.
- 2. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a rede neuronal de classificação conter pelo menos dois blocos, cada um contendo uma camada Dense seguida por uma camada de Dropout.
- 3. Um método implementado por computador, de acordo com as reivindicações N°.2 e N°.3, caracterizado por o último bloco da componente de classificação incluir uma camada BatchNormalization seguida por uma camada Dense, onde a profundidade é igual ao número de lesões distintas que se deseja classificar.
- 4. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por o treino de avaliação da performance das combinações inclui as seguintes: VGG16, InceptionV3, Xception, EfficientNetB5, EfficientNetB7, Resnet50 e Resnetl25.
- 5. Um método implementado por computador, de acordo com as reivindicações N°.1 e N°.4, caracterizado por o treino para escolha da melhor combinação de redes neuronais compreender duas a quatro camadas Dense em sequência, a começar com 4096 e de forma incremental decrescer pelo factor de 2 até 512.
- 6. Um método implementado por computador, de acordo com as reivindicações N°.l, N° . 4 e N°.5, caracterizado por entre as duas últimas camadas da combinação escolhida figurar uma camada de Dropout com uma taxa de drop de 0.1.
- 7. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a relação do grupo de amostras de treino para validação ser 10%-90%.
- 8. Um método implementado por computador, de acordo com reivindicações N°.l e N°.7, caracterizado por as classificações estarem de acordo com seu potencial de sangramento como normal, linfangiectasia, xantelasma, erosão, petéquias, úlceras, protuberância, vascular e sangue.
- 9. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a validação ser feita por um utilizador externo.
- 10. Um método implementado por computador, de acordo com as reivindicações N°.1 e N°.9, caracterizado por utilizar imagens previamente previstas e validadas pelo mesmo método aqui reivindicado.
- 11. Um dispositivo endoscópico portátil caracterizado por estar adaptado através de um processador a desempenhar os passos do método descrito nas reivindicações N°.l a N°.1O.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PT116894A PT116894B (pt) | 2020-11-19 | 2020-11-19 | Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula |
CN202180091176.0A CN116830148A (zh) | 2020-11-19 | 2021-11-18 | 胶囊式内窥镜检查中小肠病变的自动检测和区分 |
GB2306799.4A GB2615274A (en) | 2020-11-19 | 2021-11-18 | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
CA3199518A CA3199518A1 (en) | 2020-11-19 | 2021-11-18 | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
US18/037,963 US20240013377A1 (en) | 2020-11-19 | 2021-11-18 | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
EP21824703.9A EP4252183A1 (en) | 2020-11-19 | 2021-11-18 | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
PCT/PT2021/050039 WO2022108464A1 (en) | 2020-11-19 | 2021-11-18 | Automatic detection and differentiation of small bowel lesions in capsule endoscopy |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PT116894A PT116894B (pt) | 2020-11-19 | 2020-11-19 | Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula |
Publications (2)
Publication Number | Publication Date |
---|---|
PT116894A PT116894A (pt) | 2022-05-19 |
PT116894B true PT116894B (pt) | 2023-01-10 |
Family
ID=78916923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PT116894A PT116894B (pt) | 2020-11-19 | 2020-11-19 | Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240013377A1 (pt) |
EP (1) | EP4252183A1 (pt) |
CN (1) | CN116830148A (pt) |
CA (1) | CA3199518A1 (pt) |
GB (1) | GB2615274A (pt) |
PT (1) | PT116894B (pt) |
WO (1) | WO2022108464A1 (pt) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118039136A (zh) * | 2024-04-12 | 2024-05-14 | 中国医学科学院北京协和医院 | 结肠炎诊断系统、装置以及存储介质 |
CN118397380B (zh) * | 2024-06-28 | 2024-09-20 | 北京大学第三医院(北京大学第三临床医学院) | 甲状腺结节性病变分类模型训练方法、分类方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730489A (zh) | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
US11276164B2 (en) | 2018-08-21 | 2022-03-15 | International Business Machines Corporation | Classifier trained with data of different granularity |
CN110705440B (zh) | 2019-09-27 | 2022-11-01 | 贵州大学 | 一种基于神经网络特征融合的胶囊内镜图像识别模型 |
CN111127412B (zh) | 2019-12-18 | 2021-05-28 | 广东工业大学 | 一种基于生成对抗网络的病理图像识别装置 |
CN111739007B (zh) | 2020-06-22 | 2024-01-26 | 中南民族大学 | 内窥镜图像识别方法、设备、存储介质及装置 |
-
2020
- 2020-11-19 PT PT116894A patent/PT116894B/pt active IP Right Grant
-
2021
- 2021-11-18 CN CN202180091176.0A patent/CN116830148A/zh active Pending
- 2021-11-18 GB GB2306799.4A patent/GB2615274A/en active Pending
- 2021-11-18 US US18/037,963 patent/US20240013377A1/en active Pending
- 2021-11-18 CA CA3199518A patent/CA3199518A1/en active Pending
- 2021-11-18 WO PCT/PT2021/050039 patent/WO2022108464A1/en active Application Filing
- 2021-11-18 EP EP21824703.9A patent/EP4252183A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240013377A1 (en) | 2024-01-11 |
PT116894A (pt) | 2022-05-19 |
CN116830148A (zh) | 2023-09-29 |
GB2615274A (en) | 2023-08-02 |
WO2022108464A1 (en) | 2022-05-27 |
CA3199518A1 (en) | 2022-05-27 |
EP4252183A1 (en) | 2023-10-04 |
GB202306799D0 (en) | 2023-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Canayaz | MH-COVIDNet: Diagnosis of COVID-19 using deep neural networks and meta-heuristic-based feature selection on X-ray images | |
Köse et al. | Effect of missing data imputation on deep learning prediction performance for vesicoureteral reflux and recurrent urinary tract infection clinical study | |
CN111681219A (zh) | 基于深度学习的新冠肺炎ct图像分类方法、系统及设备 | |
US20240013377A1 (en) | Automatic detection and differentiation of small bowel lesions in capsule endoscopy | |
Rezaee et al. | A hybrid deep transfer learning based approach for COVID-19 classification in chest X-ray images | |
Tashk et al. | An innovative polyp detection method from colon capsule endoscopy images based on a novel combination of RCNN and DRLSE | |
Jiang et al. | Automatic classification of heterogeneous slit-illumination images using an ensemble of cost-sensitive convolutional neural networks | |
US20240020829A1 (en) | Automatic detection of erosions and ulcers in crohn's capsule endoscopy | |
US20230410295A1 (en) | Automatic detection of colon lesions and blood in colon capsule endoscopy | |
Padmavathi et al. | Wireless Capsule Endoscopy Infected Images Detection and Classification Using MobileNetV2-BiLSTM Model | |
WO2023018344A1 (en) | Automatic detection and differentiation/classification of the esophagus, stomach, small bowel and colon lesions in device-assisted enteroscopy using a convolutional neuronal network | |
US20240233122A9 (en) | Automatic detection and differentiation of biliary lesions in cholangioscopy images | |
WO2023018343A1 (en) | Automatic detection and differentiation of pancreatic cystic lesions in endoscopic ultrasonography | |
Lin et al. | Lesion detection of chest X-Ray based on scalable attention residual CNN | |
Jusman et al. | Machine Learning Performances for Covid-19 Images Classification based Histogram of Oriented Gradients Features | |
Sabuncu et al. | Performance evaluation for various deep learning (DL) methods applied to kidney stone diseases | |
Stancilas et al. | Detection of Pathological Markers in Colonoscopy Images using YOLOv7 | |
EP4298593A1 (en) | Automatic detection and differentiation of biliary lesions in cholangioscopy images | |
Acharya et al. | SRC 2: a novel deep learning based technique for identifying COVID-19 using images of chest x-ray | |
Phongchit et al. | Prediction performance and explainability of Covid-19 classification models | |
Nagaveni et al. | ABC Optimised CNN model for classifying Alzheimer's Disease stages | |
Prince et al. | Multi-Classification and Segmentation of Esophageal Lesions Using an Improved Deep Learning Model from Endoscopic Images | |
Farin et al. | COVID-19 detection using lightweight CNN architecture on chest X-ray images | |
Liu et al. | Point based weakly semi-supervised biomarker detection with cross-scale and label assignment in retinal OCT images | |
Kulkarni et al. | Intra-Oral Periapical Dental Classification using Convolution Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
BB1A | Laying open of patent application |
Effective date: 20220329 |
|
FG3A | Patent granted, date of granting |
Effective date: 20230105 |