PT116894B

PT116894B - Detecção automática e diferenciação de lesões do intestino delgado em endoscopia por cápsula

Info

Publication number: PT116894B
Application number: PT116894A
Authority: PT
Inventors: José Da Quinta E Costa De Mascarenhas Saraiva Miguel; Pedro Sousa Ferreira João; Manuel Casal Cardoso Hélder; Guilherme Gonçalves De Macedo Manuel; Pedro Lima Afonso João; Patricia Ribeiro Andrade Ana; Manuel Natal Jorge Renato; Paulo Lages Parente Marco
Original assignee: Digestaid Artificial Intelligence Dev Lda
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2023-01-10
Also published as: US20240013377A1; PT116894A; CN116830148A; GB2615274A; WO2022108464A1; CA3199518A1; EP4252183A1; GB202306799D0

Abstract

A PRESENTE INVENÇÃO REFERE-SE A UM MÉTODO IMPLEMENTADO POR COMPUTADOR, CAPAZ DE CARACTERIZAR AUTOMATICAMENTE AS LESÕES DO INTESTINO DELGADO EM IMAGENS DE ENDOSCOPIA POR CÁPSULA, COMPREENDENDO A DETECÇÃO DE LESÕES DO INTESTINO DELGADO EM IMAGENS MÉDICAS ATRAVÉS DA CLASSIFICAÇÃO DOS PIXEIS COMO LESÃO OU NÃO LESÃO, USANDO UMA ETAPA DE EXTRACÇÃO DA CARACTERÍSTICA DA IMAGEM CONVOLUCIONAL, SEGUIDA POR UMA ARQUITECTURA DE CLASSIFICAÇÃO E INDEXAÇÃO NUMA OU MAIS CLASSES.

Description

DESCRIÇÃO


EPÍGRAFE:	DETECÇÃO AUTOMÁTICA E DIFERENCIAÇÃO DE LESÕES DO INTESTINO DELGADO EM ENDOSCOPIA POR CÁPSULA

Antecedentes da invenção

A presente invenção refere-se à detecção e classificação de lesões em dados de imagens médicas. Mais particularmente, à identificação automatizada de lesões do intestino delgado em imagens de endoscopia por cápsula para avaliar a gravidade da lesão e subsequente tratamento médico.

A endoscopia por cápsula tornou-se a modalidade endoscópica principal para os exames do intestino delgado. Ao examinar cuidadosamente as imagens de vídeo da cápsula, os médicos são capazes de detectar, identificar e caracterizar as lesões das paredes internas do tracto gastrointestinal. Esse exame de vídeo de endoscopia por cápsula é, no entanto, significativamente demorado para os gastrenterologistas e está sujeito a erro humano e lapsos. Por outro lado, na endoscopia por cápsula, o registo dessas imagens está prontamente disponível e pode ser armazenado digitalmente para posterior revisão e comparação. Neste contexto, os dados da imagem criam uma base forte para o diagnóstico auxiliado por computador, utilizando sistemas de machine learning (aprendizagem de máquina) para a caracterização das lesões e, consequentemente, a tomada de decisões. 0 objectivo da detecção e classificação das lesões do intestino delgado é fornecer uma caracterização mais precisa e totalmente automatizada da gravidade da lesão e auxiliar no diagnóstico e tratamento médico.

Valério, Maria Teresa, et al. em Lesions Multiclass Classification in Endoscopic Capsule Frames. Procedia Computer Science 164 (2019): 637-645 chamou a atenção para a identificação demorada e propensa a erros das lesões do intestino delgado por especialistas médicos. Além disso, os autores propuseram uma abordagem automática para identificar essas lesões, com base em redes de deep learning (aprendizagem profunda), em imagens de endoscopia por cápsula, sem fios, com anotações médicas.

Li, Xiuli, et al. em Exploring transfer learning for gastrointestinal bleeding detection on small-size imbalanced endoscopy images. 2017 39^a Conferência Internacional Anual do IEEE Engineering in Medicine and Biology Society (EMBC). IEEE, 2017 explorou o transfer learning (aprendizagem por transferência) para a detecção de sangramento gastrointestinal num corte de pequena dimensão de imagens endoscópicas com o uso de redes neuronais em representações de imagens em grande escala.

O documento CN 110705440 filtra a imagem em três canais e insereos separadamente num modelo de rede convolucional, treinado com o dataset (conjunto de dados tabulados) Kvasir.

documento US 2020/065961 Al usa uma rede convolucional para classificar dados em diferentes escalas de granulação para detectar lesões em tecido biológico. Os dados requerem a identificação na imagem da zona de defeito/lesão.

documento CN 111127412 A fornece um dispositivo de reconhecimento de imagem patológica baseado numa rede de contramedidas de geração, com o objectivo de resolver os problemas de dependência da experiência, custo de rotulagem manual demorado, baixa eficiência de reconhecimento e baixa precisão dos outros métodos de reconhecimento patológico existentes. 0 método é avaliado para as lesões da doença de Crohn, mas não distingue qual o tipo de lesão que cada imagem apresenta.

documento CN 107730489 A divulga um endoscópio de cápsula sem fios com um medidor de lesão do intestino delgado, para detectar lesões do intestino delgado, com eficiência e precisão. A classificação e o posicionamento das lesões do intestino delgado são obtidos por meio de um algoritmo de segmentação de imagens. O documento não usa o transfer learning, não diferencia os tipos de lesão nem actualiza activamente o traning data (dados de treino) com os novos dados para a próxima geração de treino.

O documento CN 111739007 A divulga um identificador de área de bolha treinado por uma rede neural convolucional que não considera a classificação das lesões do intestino delgado.

As doenças gastrointestinais, tais como as lesões internas do intestino delgado, são doenças epidemiologicamente comuns. Muitas vezes, quando essas lesões não são diagnosticadas e tratadas podem ter um resultado clínico desfavorável. A endoscopia gastrointestinal tem um papel fundamental no diagnóstico e tratamento do câncer digestivo, da doença inflamatória intestinal e outras patologias gastrointestinais. Por exemplo, se detectado precocemente, o pólipo colo rectal pode ser removido com segurança e prevenir o cancro colo rectal. Portanto, é imperativo detectar todos os pólipos. Outro exemplo do papel crítico da endoscopia gastrointestinal é a avaliação endoscópica da atividade inflamatória intestinal por meio da detecção de úlceras e erosões no intestino delgado e no cólon. É fundamental avaliar a atividade inflamatória intestinal para diagnosticar, tratar e controlar os pacientes com doença inflamatória intestinal. No entanto, a endoscopia gastrointestinal é uma tarefa em que se despende muito tempo e recursos e é desafiante. Ocasionalmente, o médico de endoscopia pode apresentar sinais de fadiga ou sofrer de déficit de atenção, não conseguindo identificar com precisão todos os achados endoscópicos relevantes. Mais especificamente, a endoscopia por cápsula é uma alternativa minimamente invasiva para avaliação do tracto gastrointestinal, particularmente para o exame endoscópico do intestino delgado. Na verdade, a endoscopia por cápsula é o exame padrão e de primeira linha para avaliar o intestino delgado, nomeadamente em casos de sangramento gastrointestinal obscuro e patologias do intestino delgado.

As aquisições de imagens endoscópicas são a técnica mais avançada no ramo para uma introspecção do tracto intestinal dos pacientes. Normalmente, os elementos endoscópicos são fornecidos com um dispositivo portátil de gravação de imagens e meios para converter estas capturas numa representação digitalizada e capaz de ser armazenada num computador pessoal.

As imagens endoscópicas, devido à natureza da sua aquisição, muitas vezes carecem de luz ou outras condições fotográficas que permitam a classificação do intestino delgado executada de forma directa. Dentro deste contexto, foram apresentadas técnicas de machine learning (aprendizagem de máquina) para executar automaticamente tal tarefa, mas até agora, estas falharam em termos de apresentação de uma taxa de precisão total ou de falso-negativo e consequentemente, quando usada na prática clinica, resultam num tratamento inadequado.

Breve sumário da invenção

A presente invenção fornece um método para a identificação baseada no deep learning (aprendizagem profunda) de lesões prevalentes do intestino delgado, em imagens endoscópicas, e a sua diferenciação com precisão. Tal identificação automática, classificação e estimativa de risco hemorrágico das lesões do intestino delgado são utilizadas na prática clínica para o diagnóstico e planeamento do tratamento.

Inicialmente, ao utilizar as camadas convolucionais treinadas de uma determinada arquitetura com o set ImageNet¹, e testando-as posteriormente usando um subconjunto de imagens de endoscopia por cápsula, é mostrado o potencial para detectar lesões. A natureza disruptiva clínica da presente invenção é apoiada pela capacidade do sistema de inteligência artificial para não apenas detectar, mas também diferenciar com precisão todos os achados/lesões endoscópicos relevantes. De facto, a capacidade da rede neural de diferenciar lesões de natureza pleomórfica subtil é de extrema importância na prática clínica, permitindo um diagnóstico completo da endoscopia por cápsula. Além disso, a estratificação do potencial hemorrágico de cada lesão é uma novidade relevante introduzida por esta invenção no que respeita ao estado da técnica actual. Uma das indicações mais importantes e frequentes para a realização da endoscopia por cápsula é o sangramento gastrointestinal obscuro, e a avaliação correcta do potencial hemorrágico dos achados endoscópicos é fundamental para a gestão do acompanhamento clínico. Portanto, a presente invenção, ao prever com precisão o potencial hemorrágico dos achados/lesões da endoscopia por cápsula, ajuda a equipe clínica a definir melhor o diagnóstico e a gestão terapêutica do paciente, o que pode traduzir-se em resultados clínicos optimizados.

Esta tecnologia pode ser aplicada em software de endoscopia por cápsula, a fim de auxiliar o gastrenterologista na detecção de lesões do intestino delgado. Além disso, a endoscopia por cápsula é um exame caro, com relevância e aplicação crescentes na prática clínica.

seguinte foi considerado relevante para destacar o problema resolvido pela presente invenção, a partir dos métodos conhecidos na técnica para detectar e diferenciar lesões do intestino delgado, na endoscopia por cápsula.

É preferido um método em que são usadas técnicas de machine learning para classificar uma imagem. 0 deep learning usa algoritmos para modelar abstrações de alto nível em dados, usando um gráfico profundo com processamento múltiplo. Usando uma arquitectura de várias camadas, as máquinas que utilizam técnicas de deep learning processam dados brutos para encontrar grupos de valores altamente correlacionados ou temas distintivos.

método detecta lesões relevantes do intestino delgado, em imagens de endoscopia por cápsula, e diferencia-as de acordo com seu potencial de sangramento usando o sistema de classificação de Saurin. 0 sistema de classificação de Saurin mede o potencial de sangramento de uma lesão do intestino delgado. É uma ferramenta útil para a avaliação e estratégia de tratamento dos pacientes. A sua utilização tem um impacto directo no diagnóstico clínico e na tomada de decisão. Tal modalidade da presente invenção usa o transfer learning e o semi-active learning (aprendizagem semiactiva). 0 transfer learning permite a extracção das características e a classificação de alta precisão usando dimensões de datasets razoáveis. A implementação semi-activa permite uma melhoria contínua no sistema de classificação. A modalidade preferida da presente invenção pode, de preferência, utilizar o transfer learning para extracção de características em imagens de endoscopia por cápsula, de acordo com o sistema de classificação de Saurin, ou a estratégia de semi-active learning (aprendizagem semi-activa) para imagens de endoscopia por cápsula.

Subsequentemente o método divide o dataset numa série de dobras estratificadas, de preferência em que as imagens relativas a um determinado paciente são incluídas apenas numa dobra. Além disso, adicionalmente ou alternativamente, tais dados são treinados e validados com o agrupamento de pacientes numa dobra aleatória, ou seja, as imagens de um paciente arbitrário pertencem ao conjunto de treino ou ao conjunto de validação.

É preferido um método que utiliza os conjuntos de treino e de validação escolhidos para treinar adicionalmente uma série de combinações de arquitecturas de rede, que incluem, entre outras, uma extracção de caracteristicas e um componente de classificação.

A série de redes neurais convolucionais para treinar inclui, mas não está limitada a: VGG16, InceptionV3, Xception EfficientNetB5, EfficientNetB7, Resnet50 e Resnetl25. De preferência, os seus pesos são congelados, com excepção das camadas de BatchNormalization, e são acoplados com um componente de classificação. 0 componente de classificação compreende, pelo menos, duas camadas densas, de preferência de tamanhos 2048 e 1024, e pelo menos uma camada dropout de, preferencialmente, 0,1 entre elas.

Alternativamente, mas não preferencialmente, o componente de classificação pode ser usado com camadas mais densas ou com camadas densas de diferentes tamanhos.

Alternativamente, mas não preferencialmente, o componente de classificação também pode ser usado sem camadas dropout.

Além disso, adicionalmente, a arquitectura de melhor desempenho é escolhida de acordo com a precisão e sensibilidade totais. As métricas de desempenho incluem, mas não se limitam à métrica fl. Além disso, o método usa preferencialmente a arquitectura de melhor desempenho para treinar uma série de combinações do componente de classificação que incluem, de preferência, mas não estão limitadas de duas até quatro camadas densas, em sequência, começando com 4096 e diminuindo pela metade até 512. Entre as duas últimas camadas, há uma camada dropout de taxa de abandono de 0,1.

Por fim, a solução de melhor desempenho é treinada usando todo o dataset com o agrupamento de pacientes.

Outras modalidades da presente invenção podem incluir redes de classificação semelhantes, pesos de treino e hiper-parâmetros.

Estes podem incluir o uso de qualquer rede de classificação de imagens, nova ou ainda não criada.

Em geral, o método inclui dois módulos que forneceram os dados requeridos para os restantes: previsão e output collector (colector de saída). 0 módulo de previsão lê os vídeos e selecciona as imagens com achados. 0 output collector passa essas imagens com achados para processamento.

Exemplos de efeitos vantajosos da presente invenção incluem: treino usando parâmetros de resultados de machine learning de datasets diários crescentes baseados na cloud; previsão automática da imagem da endoscopia usando um método de deep learning, para que as lesões do intestino delgado, da entrada de imagens, do endoscópio de cápsula, possam ser identificadas e diferenciadas de acordo com o sistema de classificação de Saurin; o uso do transfer learning melhora a velocidade de classificação da imagem e a precisão da classificação correspondente.

Breve descrição dos desenhos

A FIG. 1 ilustra um método para a classificação de lesões do intestino delgado na endoscopia por cápsula, de acordo com uma modalidade da presente invenção.

A FIG. 2 ilustra o método para a detecção automática e diferenciação de lesões do intestino delgado, no exame de endoscopia por cápsula.

A FIG. 3 ilustra os processos principais para a detecção automática e diferenciação de lesões do intestino delgado, no exame de endoscopia por cápsula.

A FIG. 4 ilustra a estrutura da rede de classificação para distinguir de acordo com o potencial de sangramento.

A FIG. 5 representa uma modalidade da rede de classificação para classificar de acordo com o potencial de sangramento.

A FIG. 6 ilustra uma modalidade preferencial da presente invenção, na qual as curvas de precisão para o treino num pequeno subconjunto de imagens e dados rotulados são mostradas. Exemplo de resultados de uma iteração do método 8000.

A FIG. 7 ilustra curvas de precisão exemplificativas durante o treino, num pequeno subconjunto de imagens e dados rotulados, e de acordo com uma modalidade da presente invenção. Exemplo de resultados de uma iteração do método 8000.

A FIG. 8 ilustra curvas ROC exemplificativas e valores de AUC obtidos após o treino num pequeno subconjunto de imagens e dados rotulados, de acordo com uma modalidade da presente invenção. Os resultados são usados para a seleção do modelo. Exemplo de resultados de uma iteração do método 8000 e um zoom das curvas ROC.

A FIG. 9 ilustra uma matriz de confusão exemplificativa após o treino num pequeno subconjunto de imagens e dados rotulados, de acordo com uma modalidade da presente invenção. Os resultados são usados para a seleção do modelo. O número de imagens do pequeno subconjunto de dados e respectiva proporção de classe entre parênteses.

A FIG. 10 ilustra exemplos de classificação de lesões, de acordo com uma modalidade da presente invenção.

A FIG. 11 ilustra um resultado da realização da classificação de lesão baseada em deep learning, no volume de dados 240 e 250, de acordo com uma modalidade da presente invenção.

A FIG. 12 ilustra um exemplo de uma lesão classificada aguardando a confirmação do especialista.

Descrição detalhada

A presente invenção divulga um novo método e sistema capaz de detectar e diferenciar lesões em imagens adquiridas durante um exame de endoscopia por cápsula.

Algumas modalidades preferenciais serão descritas em maior detalhe com referência aos desenhos anexos, nos quais foram ilustradas as modalidades da presente descrição. No entanto, a presente descrição pode ser implementada de várias formas e, assim, não deve ser interpretada como limitada às modalidades aqui divulgadas.

Deve ser entendido que, embora esta divulgação inclua uma descrição detalhada sobre computação em cloud, a implementação dos ensinamentos aqui enumerados não está limitada a um ambiente de computação em cloud. Em vez disso, as modalidades da presente invenção são capazes de ser implementadas em conjunto com qualquer outro tipo de ambiente de computação conhecido agora ou desenvolvido posteriormente.

termo deep learning é uma técnica de machine learning (aprendizagem de máquina) que usa várias camadas de processamento de dados para classificar os conjuntos de dados com elevada precisão. Pode ser uma rede de treino (modelo ou dispositivo) que aprende com base numa pluralidade de inputs (entradas) e outputs (saídas). Uma rede de deep learning pode ser uma rede implantada (modelo ou dispositivo), gerada a partir da rede de treino, e fornece uma resposta de output (saída) a um input (entrada).

termo supervised learning (aprendizagem supervisionada) é um método de treino de deep learning no qual são fornecidos à máquina dados já classificados por fontes humanas. No deep learning (aprendizagem supervisionada), as características são aprendidas através de um input (entrada) rotulado.

termo redes neurais convolucionais ou CNNs (Convolutional Neural Networks) são redes que interconectam dados usados no deep learning para reconhecer objectos e regiões em conjuntos de dados (datasets). As CNN avaliam os dados brutos numa série de etapas para avaliar as caracteristicas aprendidas.

termo transfer learning é um armazenamento em máquina das informações aprendidas quando se tenta resolver um problema para resolver outro problema de natureza semelhante ao primeiro.

Utiliza-se o termo semi-active learning (aprendizagem semiactiva) como um processo de machine learning. Antes de executar o processo de aprendizagem seguinte, a rede de treino anexa um conjunto de dados rotulados ao dataset de treino de uma entidade externa confiável. Por exemplo, à medida que uma máquina colecta mais amostras de etapas de uma equipe especializada, menos propensa ela fica a prever erroneamente imagens de caracteristicas idênticas.

termo diagnóstico auxiliado por computador refere-se a máquinas que analisam imagens médicas para sugerir um possível diagnóstico.

termo linfangiectasia representa capilares linfáticos obstruídos e dilatados. Pode ser funcional (sem associação à patologia), primário ou secundário a outras condições. Definimos linfangiectasia de acordo com material publicado anteriormente como manchas esbranquiçadas espalhadas da mucosa intestinal. Essas alterações da mucosa podem ser difusas ou irregulares.

termo xantomas resulta da acumulação de material rico em colesterol nos macrófagos da mucosa entérica. 0 achado endoscópico na cápsula endoscópica foi definido como lesões em placa de aspecto esbranquiçado/amarelado.

Os termos ulceras e erosões representam rupturas da mucosa do intestino delgado. Essas lesões são diferenciadas com base no tamanho estimado e na profundidade de penetração. As Úlceras foram definidas como perda deprimida da cobertura epitelial, com uma base esbranquiçada e mucosa circundante edemaciada com diâmetro > 5mm. Por outro lado, as erosões da mucosa foram definidas como uma perda mínima de camadas epiteliais circundadas por mucosa normal.

termo lesões vasculares do intestino delgado inclui uma grande variedade de lesões individuais, especificamente manchas vermelhas, angiectasia, varizes e flebectasia. As manchas vermelhas foram definidas como lesões planas pontuadas (clmm), com área vermelho-vivo, dentro da camada da mucosa, sem a aparência de vaso. As angiectasias foram definidas como lesões vermelho-vivo bem demarcadas consistindo em dilatações capilares tortuosas e agrupadas, dentro da camada da mucosa. As varizes foram definidas como dilatação venosa elevada com aparência serpiginosa. As flebectasias foram identificadas no caso de uma dilatação venosa azulada regular que corre abaixo da mucosa for detectada.

termo lesões protuberantes abrange lesões que se projetam em direção ao lúmen do intestino delgado. Estas lesões podem ter etiologias distintas e incluir pólipos, tumores epiteliais, lesões subepiteliais e nódulos.

termo Sangue é usado para representar a presença de sangue brilhante ocupando parte ou a seção total do lúmen entérico. Representa sangramento ativo ou recente. Resíduos hemáticos representam coágulos de sangue fragmentados ou inteiros vistos como resíduos vermelho-escuros ou castanhos na luz do intestino delgado ou aderentes à mucosa. Isolados, esses resíduos representam sangramento prévio.

A presente invenção refere-se a um método para classificação de lesões do intestino delgado com base no deep learning, em imagens de endoscopia por cápsula, de acordo com seu potencial de sangramento (Fig.l). Muitas vezes, as modalidades da presente invenção fornecem uma compreensão visual do método de deep learning de classificação de lesões do intestino delgado. A classificação automática das lesões de imagens do intestino delgado, na endoscopia por cápsula, é uma tarefa desafiante visto que as lesões com diferente potencial de sangramento têm forma e contraste semelhantes. As grandes variações na preparação do intestino delgado, antes da ingestão da cápsula, complicam ainda mais a classificação automática das lesões do intestino delgado. Embora os tempos de treino automático e classificação sejam rápidos (em média 10 segundos para um dataset de teste de 2000 imagens) , o output não é satisfatório para um diagnóstico rápido pelos especialistas.

O método compreende um módulo de aquisição de imagens; um módulo de armazenamento; um módulo de input de treino; um módulo de processamento; um módulo de input de exame; um módulo de treino; um módulo de previsão; um módulo output collector.

O módulo de aquisição de imagem 1000 recebe volumes de input de exame de fornecedores de endoscopia por cápsula. Sendo meramente exemplificativos, os fornecedores podem ser, mas não apenas, OMOM, Given, Mirocam e Fujifilm. As imagens 1000 e as correspondentes marcas são carregadas no módulo de armazenamento 2000. 0 módulo de armazenamento 2000 inclui uma multiplicidade de arquitecturas de rede de classificação 100, arquitecturas de redes convolucionais treinadas 110 e hiper-parâmetros para/de treino. O módulo de armazenamento 2000 pode ser um servidor local ou em cloud. O módulo de armazenamento contém dados rotulados de input de treino proveniente das imagens de endoscopia por cápsula, e os metadados necessários para executar o módulo de processamento 3000, o módulo de treino 4000, o módulo de previsão 5000, um segundo módulo de previsão 6000, e um módulo output collector 7000. Os dados rotulados de entrada (input) incluem, mas não apenas, imagens e a correspondente classificação da lesão. O metadados incluem, mas não apenas, uma multiplicidade de arquitecturas de redes de classificação 100, exemplificadas na FIG. 4, uma multiplicidade de arquitecturas de redes neurais convolucionais treinadas 110, hiper-parâmetros de treino, métricas de treino, modelos totalmente treinados, e modelos seleccionados totalmente treinados.

As imagens 1000 e os dados rotulados no módulo de armazenamento 2000 são processados no módulo de processamento 3000, antes de se executar o treino optimizado no módulo de treino 4000. O módulo de processamento normaliza as imagens de acordo com a arquitectura do modelo profundo, a ser treinado em 3000 ou avaliado em 4000. Por solicitação manual ou programada, o módulo de processamento normaliza os dados da imagem no módulo de armazenamento 2000, de acordo com as arquitecturas de modelo profundo que serão executadas no módulo de treino 4000. Opcionalmente, por solicitação manual ou programada, o módulo de processamento gera os indicadores de dados para o módulo de armazenamento 2000, para formar as imagens parciais ou totais e os rótulos de ground-truth necessários para executar o módulo de treino 3000. Para preparar cada sessão de treino, um dataset é dividido em dobras, onde as imagens específicas do paciente são exclusivas a uma e apenas uma dobra, para treino e teste. O conjunto de treino é dividido para o treino de modelo para gerar os indicadores de dados de todas as imagens e rótulos de ground-truth necessários para executar o processo de treino 9000. A dobra k é opcionalmente aplicada com o agrupamento estratificado por paciente no conjunto de treino, para gerar os indicadores de dados das imagens parciais e os rótulos de groundtruth necessários para executar o processo de verificação de modelo 8000 do módulo de treino 4000. Os rácios de divisão e número de dobras estão disponíveis nos metadados do módulo de armazenamento. Os operadores incluem, mas não estão limitados aos utilizadores, uma rede neural convolucional treinada para optimizar a dobra k ou uma mera rotina computacional, adaptada para efectuar a tarefa.

Meramente como um exemplo, o dataset é dividido com a divisão do paciente em 90% para o treino e 10% para o teste. Opcionalmente, as imagens seleccionadas para o treino podem ser divididas em 80% para o treino e 20% para validação durante o treino. Um agrupamento estratificado de 5 dobras por paciente é aplicado nas imagens seleccionadas para o treino. Por solicitação manual ou programada, o módulo de processamento normaliza os dados de volume de exame 5000, de acordo com a arquitectura de modelo profundo para executar no módulo de previsão 6000.

Como visto na Fig. 2, o módulo de treino 4000 tem um processo de verificação de modelo 8000, uma etapa de selecção de modelo 400 e uma etapa de treino de modelo 9000. A parte de verificação de modelo selecciona iterativamente combinações de arquitecturas de classificação 100 e redes convolucionais 110, para treinar um modelo profundo para a classificação de lesões do intestino delgado. A rede de classificação 100 possui camadas Densas e Dropout para classificar as lesões do intestino delgado, de acordo com o seu potencial hemorrágico. Uma rede convolucional neural 110, treinada em grandes datasets, é acoplada à referida rede de classificação 100 para treinar um modelo profundo 300. Imagens de treino parcial 200 e rótulos de ground-truth (verdade básica) 210 treinam o referido modelo profundo 300. As métricas de desempenho do modelo profundo treinado 120 são calculadas usando uma pluralidade de imagens de treino parciais 220 e rótulos de Ground truth (verdade básica) 230. A etapa de selecção de modelo 400 é baseada nas métricas de desempenho calculadas. A parte de treino de modelo 9000 treina a arquitectura de modelo profundo seleccionada 130, no processo 310, usando todos os dados das imagens de treino 240 e rótulos de Ground-truth (verdade básica) 250. No módulo de previsão 6000, o modelo profundo treinado 140 produz a classificação da lesão do intestino delgado 270 de uma determinada imagem de avaliação 260. Um volume de exame de dados

5000 compreendendo as imagens do vídeo de endoscopia por cápsula é a entrada do módulo de previsão 6000. O módulo de previsão 6000 classifica os volumes de imagem do volume de exame 5000, usando o modelo profundo treinado com melhor desempenho a partir de 4000 (ver Fig. 3) . Um módulo output collector 7000 recebe os volumes classifiçados e carrega-os no módulo de armazenamento após a validação, realizada por uma rede neural ou qualquer outro sistema computacional adaptado para realizar a tarefa de validação ou opcionalmente um clínico especializado em imagens gastroenterológicas.

As modalidades da presente invenção fornecem um método baseado no deep learning para classificação automática de lesões em imagens do intestino delgado, em endoscopias por cápsula. Tais métodos aqui descritos alcançam qualidade de reconhecimento e utilidade de diagnóstico melhoradas quando comparados com os métodos baseados em computador existentes, descritos acima, para classificação de lesões em imagens de endoscopia por cápsula. Os métodos existentes para classificação das lesões do intestino delgado não utilizam transfer learning nem semi-active training (treino semi-activo). Este modelo de classificação aperfeiçoado resulta de um pipeline de treino optimizado numa multiplicidade de arquitecturas de deep model.

A título meramente exemplificativo, a invenção compreende um servidor que contém resultados de treino para arquitecturas nas quais estão disponíveis resultados de treino de grandes datasets (conjuntos de dados) baseados na cloud, tal como, mas não apenas, ImageNet, ILSVRC e JFT. As variantes de arquitectura incluem, mas não apenas, VGG, ResNet, Inception, Xception ou Mobile, EfficientNets, entre outras. Todos os dados e metadados podem ser armazenados numa solução baseada na cloud ou num computador local. As modalidades da presente invenção também fornecem várias abordagens para fazer uma selecção mais rápida de modelo profundo.

A FIG. 2 ilustra um método para classificação de lesões do intestino delgado por deep learning, de acordo com uma modalidade da presente invenção. 0 método da FIG. 2 inclui uma fase de prétreino 8000, e uma fase de treino 9000. A fase de treino 8000 é realizada com a paragem precoce em pequenos subconjuntos de dados, para seleccionar a rede neural profunda com melhor desempenho para a classificação de lesões do intestino delgado, entre várias combinações de partes de convolução e de classificação. Por exemplo, uma rede de classificação de duas camadas densas de tamanho 512 é acoplada ao modelo Xception para treinar num conjunto aleatório resultante da validação cruzada k-fold com o agrupamento de pacientes. Outro conjunto aleatório é seleccionado como o conjunto de teste.

O processo de treino 8000 com paragem precoce e testagem em subconjuntos aleatórios é repetido num loop de optimização para combinações de (i) redes de classificação e redes neurais profundas aprendidas por transferência; (ii) hiper-parâmetros de treino. O componente de extracção das caracteristicas da imagem da rede neural profunda é qualquer variante de arquitectura sem as camadas superiores acessíveis a partir do módulo de armazenamento. As camadas do componente de extracção de caracteristicas permanecem congeladas, mas estão acessíveis no momento do treino através do módulo de armazenamento mencionado. As camadas de BatchNormalization do componente de extracção de caracteristicas são descongeladas, de modo a que o sistema treine de forma eficiente com imagens de cápsula endoscópica, apresentando caracteristicas distintas das imagens da cloud. 0 componente de classificação tem, pelo menos, dois blocos, cada um possuindo, entre outros, uma camada Densa seguida de uma camada Dropout. 0 bloco final do componente de classificação possui uma camada de BatchNormalization seguida por uma camada Densa com o tamanho de profundidade igual ao número de lesões do tipo que se deseja classificar.

A adequação do procedimento de optimização é calculada para (i) garantir uma precisão e sensibilidade mínimas em todas as classes, definidas por um limite (ii) minimizar diferenças entre treino, validação e perdas de teste; (iii) maximizar a aprendizagem na última camada convolucional. Por exemplo, se um treino apresenta provas de overfitting (sobreajuste), é seleccionada uma combinação de um modelo menos profundo para avaliação.

A etapa de treino 9000 é aplicada na rede neural profunda com melhor desempenho usando todo o dataset.

O modelo profundo 140 totalmente treinado pode ser implantado no módulo de previsão 6000. Cada imagem de avaliação 2 60 é então classificada para produzir uma classificação de lesão 270. O módulo output collector (colector de saída) tem meios de comunicação com outros sistemas para realizar a validação de especialista e confirmação sobre volumes de dados de previsão recentes chegando aos 270. Tais meios de comunicação incluem um módulo de exibição para input do utilizador, uma rede neural totalmente treinada para a tomada de decisões ou qualquer processo computacional programável para executar tal tarefa. As classificações validadas são carregadas no módulo de armazenamento para fazerem parte dos datasets (conjuntos de dados) necessários para executar as pipelines 8000 e 9000, seja por solicitações manuais ou agendadas.

Uma modalidade da rede de classificação 100, como visto na Fig. 5, pode classificar de acordo com o potencial de sangramento como N: normal, POL: linfangiectasia, P0X: Xantelasma, PIE: erosão, P1PE: petéquias, P1U e P2U: úlceras, P1PR e P2PR: protuberância, P2V: vascular, P3: sangue, são mostrados e agrupados em conformidade. Numa determinada iteração do método 8000 (Fig. 7, 8 e 9) , a pipeline de optimização aqui descrita usa curvas de precisão, curvas ROC e valores AUC e a matriz de confusão do treino, num pequeno subconjunto de imagens e dados rotulados.

A FIG. 8 ilustra curvas ROC exemplificativas e valores de AUC obtidos após o treino, num pequeno subconjunto de imagens e dados rotulados, em que 10 (P3 - AUC:1,00), 12 (POX - AUC:0,99), 14 (P2U - AUC:0,99), e 16 (P1PE - AUC:0,99), 18 (P1E - AUC:0,99), 20 (N AUC:0,99), 22 (P1U - AUC:0,99), 24 (P2V - AUC:l,00), 26 (P1PR AUC:0,99), 28 (P2PR - AUC:l,00), 30 (P0L - AUC:0,99), e 32 representam a Estimativa Aleatória.

A FIG. 9 ilustra uma matriz de confusão exemplificativa após o treino, num pequeno subconjunto de imagens e dados rotulados. Resultados usados para a selecção do modelo. Número de imagens do pequeno subconjunto de dados e respectiva proporção de classe entre parênteses.

A Fig. 10 mostra exemplos de classificação de lesões, de acordo com uma modalidade da presente invenção, em que em 500 há potencial de sangramento; linfangiectasia, em 510 há potencial de sangramento Baixo, em 520 há potencial de sangramento Elevado, úlcera, em 530 há Sangue e em 540 há potencial de sangramento Baixo, úlcera.

A Figura 11 mostra um resultado da realização da classificação de lesões com base no deep learning, no volume de dados 240 e 250, de acordo com uma modalidade da presente invenção. Os resultados da classificação do intestino delgado usando o método de treino 8000, da presente invenção, são significativamente melhorados em comparação com os resultados usando os métodos existentes (sem o método 8000).

A Fig 12 mostra um exemplo de uma lesão classificada aguardando a validação pelo módulo output collector (colector de saída) 7000. Meramente como um exemplo, o clínico especialista em imagiologia gastroenterológica identifica lesões do intestino delgado analisando a imagem rotulada classificada pelo modelo profundo 140. As opções para a reclassificação da imagem na última camada da rede de classificação 100 são representadas na figura 5.

Opcionalmente, a confirmação ou reclassificação são enviadas para o módulo de armazenamento.

A Descrição Detalhada anterior deve ser entendida como sendo em todos os aspectos ilustrativa e exemplificativa, mas não restritiva, e o âmbito da invenção aqui divulgado não deve ser determinado a partir da Descrição Detalhada, mas sim a partir das reivindicações interpretadas de acordo com a total abrangência permitida pelas leis de patentes. Deve ser entendido que as modalidades mostradas e descritas neste documento são apenas ilustrativas dos princípios da presente invenção e que várias modificações podem ser implementadas pelos especialistas na técnica, dentro do âmbito das reivindicações anexas.

Claims

REIVINDICAÇÕES

1. Um método implementado por computador capaz de identificar e caracterizar automaticamente as lesões do intestino delgado, em imagens médicas de colonoscopia por cápsula, caracterizado por classificar os pixels das imagens como lesões do intestino delgado, compreendendo os passos:

- selecção de um número de amostras de imagens onde as imagens de cada paciente se encontram numa e numa só destas amostras;

- selecção de um segundo grupo de amostras para validação;

treino de cada um dos grupos de amostras, numa pluralidade de combinações de redes neuronais convolucionais, seguidas de uma rede neuronal de classificação adaptadas para classificar grupos de pixels como lesão, onde o treino:

- pára quando a métrica escolhida não melhora durante um número de iterações, nomeadamente três;

- avalia a performance das diferentes combinações;

- repete-se em grupos de amostras diferentes, com diferentes combinações de redes neuronais e parâmetros de treino, onde as novas combinações consideram um número maior de camadas caso fl ser baixa ou menos camadas caso a fl sugira overfitting;

- selecção (400) da combinação de arquitecturas que apresenta a melhor performance durante o treino, conforme descrito no passo anterior;

treino e respectiva validação (9000), a arquitectura seleccionada usando a totalidade de imagens de colonoscopia por cápsula;

- previsão (6000) da presença e caracterização de lesões do intestino delgado;

- recepção de uma classificação (270) de uma previsão (6000), por um módulo colector, com meios de comunicação para um método externo capaz de validar ou corrigir a previsão (6000), onde o método inclui pelo menos um dos seguintes: outra rede neuronal treinada para o efeito, um outro método computacional adaptado para a tarefa de validação ou, opcionalmente, um humano perito em gastroenterologia;

- armazenar a previsão corrigida no módulo de armazenamento.
2. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a rede neuronal de classificação conter pelo menos dois blocos, cada um contendo uma camada Dense seguida por uma camada de Dropout.
3. Um método implementado por computador, de acordo com as reivindicações N°.2 e N°.3, caracterizado por o último bloco da componente de classificação incluir uma camada BatchNormalization seguida por uma camada Dense, onde a profundidade é igual ao número de lesões distintas que se deseja classificar.
4. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por o treino de avaliação da performance das combinações inclui as seguintes: VGG16, InceptionV3, Xception, EfficientNetB5, EfficientNetB7, Resnet50 e Resnetl25.
5. Um método implementado por computador, de acordo com as reivindicações N°.1 e N°.4, caracterizado por o treino para escolha da melhor combinação de redes neuronais compreender duas a quatro camadas Dense em sequência, a começar com 4096 e de forma incremental decrescer pelo factor de 2 até 512.
6. Um método implementado por computador, de acordo com as reivindicações N°.l, N° . 4 e N°.5, caracterizado por entre as duas últimas camadas da combinação escolhida figurar uma camada de Dropout com uma taxa de drop de 0.1.
7. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a relação do grupo de amostras de treino para validação ser 10%-90%.
8. Um método implementado por computador, de acordo com reivindicações N°.l e N°.7, caracterizado por as classificações estarem de acordo com seu potencial de sangramento como normal, linfangiectasia, xantelasma, erosão, petéquias, úlceras, protuberância, vascular e sangue.
9. Um método implementado por computador, de acordo com a reivindicação N°.l, caracterizado por a validação ser feita por um utilizador externo.
10. Um método implementado por computador, de acordo com as reivindicações N°.1 e N°.9, caracterizado por utilizar imagens previamente previstas e validadas pelo mesmo método aqui reivindicado.
11. Um dispositivo endoscópico portátil caracterizado por estar adaptado através de um processador a desempenhar os passos do método descrito nas reivindicações N°.l a N°.1O.