WO2023168506A1

WO2023168506A1 - Método e sistema de análise e processamento de imagens para estimativa de cobertura vegetal por meio de software em aprendizagem de máquina

Info

Publication number: WO2023168506A1
Application number: PCT/BR2023/050081
Authority: WO
Inventors: Ivan Carlos PERISSINI; André Luiz Carvalho Silva SANTOS; André Carmona HERNANDES; Leandro Martins BARBERO; Carlos GROSSKLAUS; Mauricio Scoton IGARASI
Original assignee: Fundação Universidade Federal De São Carlos; Universidade Federal De Uberlândia - Ufu; Pasture View Serviços De Agropecuária Ltda
Priority date: 2022-03-11
Filing date: 2023-03-08
Publication date: 2023-09-14

Abstract

A presente invenção pertence ao campo da engenharia, contendo aprimoramentos aplicáveis à agroindústria, em utilização de softwares inteligentes para estimativas de massa de forragem. A invenção refere-se a um método para identificar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional capturada por fotografias de veículos em solo, veículos aéreos ou satélite. O método e o sistema aqui reivindicados são capazes de subdividir a imagem em microrregiões e identificar para cada uma, a existência ou não do material vegetal de interesse, se diferenciando de materiais como solo, vegetação invasora e objetos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação. Uma das características dessa invenção é a classificação de elemento sombra individualmente, possibilitando a otimização da análise da imagem.

Description

"MÉTODO E SISTEMA DE ANÁLISE E PROCESSAMENTO DE IMAGENS PARA ESTIMATIVA DE COBERTURA VEGETAL POR MEIO DE SOFTWARE EM APRENDIZAGEM DE MÁQUINA" .

CAMPO DA INVENÇÃO

[ 001 ] A presente invenção pertence ao campo da engenharia, contendo aprimoramentos aplicáveis à agroindústria, em utili zação de so ftwares inteligentes para estimativas de massa de forragem . A invenção refere-se a um método para identi ficar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional capturada por fotografias de veículos em solo , veículos aéreos ou satélite . O método e o sistema ora propostos são capazes de subdividir a imagem em microrregiões e identi ficar para cada uma, a exi stência ou não do material vegetal de interesse , se di ferenciando de materiais como solo , vegetação invasora e obj etos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação .

DESCRIÇÃO DO ESTADO DA TÉCNICA

[ 002 ] O documento JP2019037198A apresenta um método de determinação do grau ou percentual de cobertura vegetal de uma locali zação com o intuito de reali zar o melhor planej amento agricola com reduzido impacto ambiental . Além da apresentação de um método de determinação , JP2019037198A também fornece um dispositivo a ser utili zado nesse processo de determinação . A análise é reali zada em imagens capturadas por câmeras fixadas a drones ou análogos , sendo essas imagens tratadas por filtros de imagem . JP2019037198A apresenta o método de análise desvinculado do drone , deixando como possibilidade de variação a conexão desses elementos , de modo que o drone sej a capaz de contemplar não apenas a câmera fotográfica como também o software embarcado para processamento da imagem obtida . Um di ferencial da invenção deste presente documento em relação a JP2019037198A é o fato de que o sistema de JP2019037198A faz a análise da cobertura vegetal pela remoção de elementos não vegetais da imagem do solo através de filtros de banda, enquanto a presente invenção trata a imagem integralmente , classi ficando cada elemento ali pertencente .

[ 003 ] US20210004594 apresenta um método de medição de dados de vegetação voltado para a otimi zação de rotas de trabalho no processo de plantio dessa vegetação . Esse método consiste na utili zação de um sistema inteligente pré- treinado para identi ficação de rotas otimi zadas de plantio , sem a limitação de aplicação puramente à otimi zação dessa rota . Em uma variação , US20210004594 apresenta a utili zação desse método para acompanhamento/ análise das condições de crescimento dessa vegetação . A análise é feita em uma imagem coletada do local , sendo essa imagem coletada, por exemplo , por câmera acoplada a drone ou análogo . O método de análise não fica explicitado em US20210004594 , sendo aberta a possibilidade de utili zação de algoritmos por reconhecimento de cor ou por reconhecimento de uma determinada imagem, por exemplo . US20210004594 ainda apresenta como dados de entrada fatores históricos associados à região de plantio que , para referência desta presente busca, podem ser compreendidos como dados incorporados durante o treinamento do algoritmo inteligente como , por exemplo , estações do ano , qualidade do solo , vegetação intrusa comum e a associação desses elementos com as imagens do banco de dados de treinamento . US20210004594 utili za rede neural convolucional ( Convolutional Neural Networks - CNN) para essa análise de dados históricos , e deixa aberta a possibilidade de adaptação a outros modelos de reconhecimento de imagem . A segmentação da imagem de US20210004594 é reali zada por meio de modelo FPN ( Feature Pyramid Network) .

[ 004 ] O documento W02020068962 revela um método de análise de imagens digitais para detecção de condições de superfície de solo . Apesar de não estar diretamente relacionado à detecção de vegetação , o grau de detalhamento conferido ao método de W02020068962 é comparável à invenção proposta, com as devidas ressalvas e adaptações . W02020068962 deixa como possibi lidades de aplicação do método à detecção de dano em estacionamentos , calçadas , estradas e quaisquer outras superficies . O método de W02020068962 reali za a análise de imagens digitais , sendo essas imagens obtidas por meios tais como satélite e câmeras acopladas a drones , além de imagens obtidas no solo e por dispositivos sensores . Ainda, W02020068962 deixa em aberto a possibilidade de adaptação de seu modelo a qualquer imagem digital por aqueles versados na técnica . O sistema de análise de danos de W02020068962 utili za o procedimento de geração de um mapa ortomosaico ou através de ortorreti f icação das imagens , reduzindo as distorções existentes e reduzindo os custos de análise por pixels . A fase de pré-processamento de imagem de W02020068962 reali za a rotulação da imagem particionada, sendo o particionamento aparentemente reali zado por malha homogênea, di ferindo do método de análise e rotulação da presente invenção . W02020068962 deixa em aberto a possibilidade de utili zação de outros modelos de rotulação e particionamento de imagem .

[ 005 ] O documento CN102592056 apresenta um método de análise de imagem para determinação de região coberta por vegetação , sendo capaz de identi ficar adicionalmente elementos visuais de solo , de sombra e de água . O método se baseia em um modelo de classi ficação utili zando dados históricos de di ferentes tipos de solo , variações de estação , heterogeneidade e mudanças interanuais . O modelo utili za decomposição SVD ou trans formação SNR na imagem obtida remotamente para definir microrregiões ou subdividir a imagem para posterior análise . Cada um desses membros ou microrregiões é analisado em busca de identi ficação de cobertura vegetal .

[ 006 ] O documento CN108229403 apresenta um modelo hibrido de estimativa de indice de área de cobertura de vegetação para monitoramento de pestes e estimativa de cobertura vegetal . Mais especi ficamente , esse modelo trata da estimativa da área da cobertura vegetal por análise de imagens de alta resolução e dados de satélite , e extrai a região com e sem vegetação através de 8 indices de vegetação .

[ 007 ] O Requerente concebeu, testou e incorporou a presente invenção de forma a superar as de ficiências do estado da técnica e obter os propósitos e vantagens acima mencionados e abaixo explicitados .

SUMÁRIO DA INVENÇÃO

[ 008 ] A presente invenção é apresentada e caracterizada nas reivindicações independentes , enquanto as reivindicações dependentes descrevem outras características da invenção ou modalidades relativas à ideia inventiva principal . [009] Em um primeiro aspecto a presente invenção refere- se a um método de análise e processamento de imagens para estimativa de cobertura vegetal por meio de software com algoritmo inteligente e geração de malha. Os elementos de malha subdividem, identificam e classificam os elementos da imagem em solo (CO) , árvore (Cl) , massa vegetal do tipo daninha ou invasora (C2) , sombra ou região sombreada (C3) , animal (C5) , massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4) , e as identificações e classificações são dadas por treinamento do software e em função dos parâmetros de imagem, que incluem época ano, periodo o dia, dado geoespacial de coleta de imagem, altura em relação ao solo da posição de captura da imagem, condições pluviométricas e periodo de estio. A malha é gerada via software treinado com algoritmo inteligente por aprendizagem de máquina, de modo que os elementos de malha definem uma malha de distribuição heterogênea. Destaca-se que o método desta invenção permite a obtenção da massa de forragem pela análise de uma única imagem, sem necessidade de dados adicionais ou complementares.

[010] A categoria massa vegetal (C6) é representada por uma resposta continua entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível, permitindo a fluidez na determinação de biomassa entre espécies ou diferentes alturas de massa vegetal.

[011] O treinamento do software é realizado por imagens colhidas in situ, em que cada imagem é colhida em tréplica, e são colhidas imagens para diferentes fatores ambientais, diferentes fatores de pasto e diferentes variáveis ruido, de modo que o software com algoritmo IA é configurado para identificação de imagens com minimização de erro de classificação por ruido visual. Entre os fatores ambientais, tem-se época do ano, diferentes horários de coleta, diferentes incidências solares e diferentes condições naturais de iluminação. Nas diferenças nos fatores de pasto, destacam-se a existência de diferentes espécies componentes da massa vegetal, a observação de diferentes alturas e massas de cobertura vegetal. As variáveis ruido incluem elementos intrusivos não-vegetais, presença de animais, terreno acidentado, terreno com alto relevo e elementos intrusivos vegetais ou daninhas.

[012] A imagem é colhida em voo por uma câmera acoplada a um veiculo aéreo do tipo drone, sendo qualquer um dentre manobrado por um operador no local, manobrado por um operador remotamente, semi automatizado ou automatizado. Para estas imagens o software é capaz de processar imagens RGB colhidas em altitude de 10m até 250m, preferencialmente de 30m até 150m, ainda mais preferencialmente de 50m a 100m, através de equipamentos convencionais de captura.

[013] Em um segundo aspecto a presente invenção refere- se a um sistema de coleta de imagens, processamento e análise para estimativa de cobertura vegetal com uma etapa de coleta de imagens, uma etapa de tratamento e rotulação de elementos das imagens e uma etapa de classificação dos dados. A etapa de coleta de imagens é realizada por uma câmera acoplada a um veiculo de direção remota e as etapas de tratamento e rotulação de elementos e de classificação dos dados são realizadas em um software segundo o método de análise desta invenção .

[014] O sistema dessa invenção é aplicado para a estimativa de massa de forragem em pastagens , podendo ser expandido à utili zação de identi ficação de qualquer tipo de imagem RGB de massas verdes e afins .

OBJETIVOS DA INVENÇÃO

[ 015 ] Um obj etivo da presente invenção é o de apresentar um sistema e um método de análise de imagens de pastagens que permita, a partir dos dados de uma única imagem convencional , estimar a massa de forragem e demais dados estatísticos de interesse .

[ 016 ] 0 proj eto e o estudos desenvolvidos tem como motivadores a concepção de uma solução tecnológica adequada ao contexto agropecuário capaz de promover estimativa confiável da massa vegetal e altura, fazendo uso de tecnologias acessíveis e com capacidade de ampla área de amostragem .

[ 017 ] Outro obj etivo da presente invenção é o uso de tecnologias de captura remota de informações e móveis aéreos , tendo o drone de asa rotativa como o melhor compromisso para o transporte dos sistemas de sensores , sendo o principal uma câmera convencional RGB de alta resolução , assegurando assim uma boa relação de custo da tecnologia e área de amostragem/ inferência

[ 018 ] Outro obj etivo é a viabili zação de drones comerciais e profissionais básicos como hardware base e suficiente para de estimativa da massa vegetal no contexto agropecuário .

BREVE DESCRIÇÃO DAS FIGURAS

[ 019 ] Essas e outras características da presente invenção tornar-se-ão evidentes a partir da descrição a seguir de algumas modalidades , dadas como exemplo não restritivo com referência aos desenhos anexos, em que

[020] A Figura 1 apresenta o sistema de quadro de coleta e captura a nivel do solo da região de corte para controle e referência e um detalhe da imagem capturada pelo drone, gerando delimitação clara do ponto de coleta.

[021] A Figura 2 apresenta duas imagens retiradas do mesmo local, sendo uma referente ao periodo de águas e outra realizada no periodo das secas.

[022] A Figura 3 apresenta imagens retiradas no periodo de secas sob diferentes condições ambientais.

[023] A Figura 4 apresenta um exemplo do processo de rotulação para classificação geral (esquerda) e com enfoque apenas na área de coleta (direita) .

[024] A Figura 5 apresenta o fluxo representativo da transformação da informação segundo esta invenção.

[025] A Figura 6 apresenta uma imagem capturada com um voo a 50 metros (esquerda) e em detalhe a observação dos detalhes da seleção (direita) .

[026] A Figura 7 apresenta exemplos de resultados de processamentos de imagens distintos para o destaque do material vegetal.

[027] A Figura 8 traz a composição ilustrativa do indice de seca gerado para classificação de épocas (esquerda) e o indice de foco e exemplos de imagens em cada uma das categorias de qualidade (direita) .

[028] A Figura 9 traz uma sequência ilustrativa das operações sob um recorte de imagem aérea da espécie Marandu na época das águas .

[029] A Figura 10 apresenta uma modalidade da interface de um software utilizando o método desta invenção. [030] A Figura 11 traz o sistema de cores estabelecido para interpretação dos resultados visuais dos modelos, com a régua em escala continua para massa vegetal.

[031] As Figuras 12A a 12F trazem imagens avaliadas segundo o método desta invenção.

[032] As Figuras 13A a 13D trazem imagens representativas da robustez do método desta invenção, e de sua flexibilidade de aplicação.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[033] Os exemplos aqui mostrados têm o intuito somente de exemplificar uma das inúmeras maneiras de se realizar a invenção, contudo sem limitar o escopo da mesma.

[034] A presente invenção refere-se a um MÉTODO para identificar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional (RGB) capturada por fotografias de veículos em solo, veículos aéreos ou satélite. O processo é capaz de subdividir a imagem em microrregiões e identificar para cada uma, a existência ou não do material vegetal de interesse, se diferenciando de materiais como solo, vegetação invasora e objetos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação.

[035] O SISTEMA gera um mapa de biomassa da imagem de entrada que, aliado às informações da captura da imagem, promovem também informações das áreas efetivas de cobertura, assim como o cálculo da massa total pertencente a estas regiões. Esse conjunto de informações confere uma fonte de grande valor para os processos de manejo da pastagem, promovendo ganhos na produção pecuária assim como a sustentabilidade do pasto, reduzindo custos ou gastos com previsões falhas.

[036] Os objetivos específicos do invento buscaram a viabilização de drones comerciais e profissionais básicos como hardware base e suficiente para de estimativa da massa vegetal no contexto agropecuário. Promovendo informações importantes para a o manejo da pastagem como:

- Local e área sob análise;

- Estimativa da massa de forragem; e

- Estimativa da cobertura do solo.

[037] A presente seção contempla os esforços de adquirir e tratar a informação da aplicação, promovendo os insumos criticos para os modelos de aprendizagem de máquina utilizados. As abordagens aqui apresentadas promovem grande importância à construção dos bancos de dados, sendo passo fundamental para o sucesso de aprendizado do algoritmo utilizado no software desenvolvido e participante desta invenção .

[038] O método e o sistema dessa invenção possuem três fases características: (a) coleta e processamento de dados, (b) desenvolvimento da modelagem ou treinamento do algoritmo inteligente, e (c) implementação da interface ou análise e coleta de dados estatísticos desejados das imagens coletadas .

[039] O processo de coleta de imagens, em especial para a captura das imagens em voo e o ideal posicionamento da câmera, do local de marcação no solo e da redução de indicadores visuais, apresentou grande evolução durante o desenvolvimento, tanto em qualidade quanto em logística. Por exemplo, em meados da coleta no periodo de secas, o procedimento formalizado e aqui apresentado se tornou ótimo e representativo da análise realizada in situ . A Figura 1 apresenta o método de coleta de imagens otimi zado , em que são expostos o posicionamento do quadro de coleta e captura a nivel do solo da região de corte , com detalhe da imagem capturada pelo drone . É possível notar a clara delimitação do ponto de coleta, definida pela área de lm² demarcada e o padrão de coleta abaixo explicitado :

- Foto centralizada e perpendicular ao solo : 0 processo de voo e captura das imagens foi sendo refinado , promovendo fotos de melhor qualidade para a observação da cena .

- Repetição da foto : Inicialmente uma única foto de cada região era coletada, um processo de tréplica foi implementado , gerando comparativos e redução dos erros de captura .

- Captura da região de corte ao nivel do solo : De maneira a promover melhor entendimento da condição original da amostra antes do processo de corte , fotos adicionais ao nivel do solo passaram a ser coletadas em conj unto as imagens do drone .

- Padronização da área de corte : 0 processo de coleta era condicionado a categoria da amostra, contudo por questões de padroni zação e simpli ficação das correlações e métricas , a área de coleta foi convencionada para uma área comum quadrada de 1 m² .

- Implementação de um quadro de coleta : Complementando a padroni zação da área discutida, uma das principais melhorias do processo de coleta, reside na utili zação de um quadro com a mesma dimensão da região da coleta, proporcionando para as imagens aéreas a fácil e direta identificação do local de corte. Este artificio, auxiliou muito na definição precisa do local de geração dos dados, facilitando e garantindo a devida correlação das informações.

- Remoção dos marcadores de nivel e de posição de coleta: Como consequência a este novo processo, os demais marcadores de nivel e posição, puderam ser removidos, reduzindo o ruido visual da imagem, além de simplificar a logística em campo para captura dos dados. [040] Um outro ponto importante dessa fase de coleta (a) é a diferença observada devido a fatores ambientais, como estações do ano e estiagem, como apresentado na Figura 2. Em uma mesma localidade, a diferença substancial entre o visual da cobertura vegetal é um fator critico a ser considerado, e o método e o sistema desta invenção transpassam essa dificuldade. Assim, o algoritmo inteligente utilizado pelo software participante nesta invenção leva em consideração fatores ambientais, fatores do pasto e variáveis ruido.

[041] FATORES AMBIENTAIS

[042] Época do ano - A época do ano se mostrou altamente relevante para os resultados, podendo ser dividida essencialmente em 3 períodos: periodo de águas, periodo de secas, e um periodo de transição. Vale notar, ainda, que o periodo de transição ocorre de modo acelerado quando indo das secas para as águas, com um prazo máximo de cerca de algumas semanas, sendo consideravelmente mais lento no sentido inverso.

[043] Horário da coleta - O horário de captura das imagens afeta a cena pela inclinação da fonte luminosa, no nascente e no poente, alterando sua cromaticidade, e modificando de forma considerável as projeções de sombras. Tais fatores são grandes descaracterizadores da imagem e, portanto, esta invenção considera dois niveis distintos de operação para essa variável: o intervalo de operação durante o dia, das 10 às 16 horas, e das extremidades associadas a momentos além dos discutidos.

[044] Presença de sombras - Sombras podem ser geradas na imagem, por árvores, buracos e outros objetos estranhos na cena, ocasionando em dificuldades na classificação e até mesmo oclusões do pasto de interesse. Frente a esta alta descaracterização, atribuiu-se para as regiões de sombra uma classe especifica, possibilitando a identificação da sombra com posterior tratamento isolado, se aplicável, ao invés de tentar inferir o pasto sob ela.

[045] Condição de iluminação - Outro aspecto importante trata-se das variações usuais de iluminação geradas por variações naturais das condições climáticas, destacando-se o tempo aberto, considerada a condição ideal de operação, o tempo nublado, marcada pela mudança de intensidade luminosa na captura, e tempos chuvosos e fechados, que foram descartados por representarem condições em que o drone não poderia levantar voo. Complementando a relação, a Figura 3 exemplifica a influência deste e outros fatores ambientais.

[046] FATORES DO PASTO

[047] Espécies - A separação dos bancos de dados em função de suas espécies evidenciou a grande variedade existente e, principalmente, as suas diferenças quanto à altura, à massa e a aspectos visuais. Visando reduzir o grande espectro de pastos, estes foram organizados em grupos de características similares, sendo proposta uma subdivisão em três grupos, com as espécies de tipo alto, médio e baixo.

[ 048 ] Altura/Massa - Este aspecto da coleta configura um dos principais fatores do planejamento amostrai, dado o objetivo da tecnologia de promover classificação e estimativa das diferentes regiões da imagem. Assim foi necessária uma coleta que promova observações de todos os diferentes niveis de biomassa passíveis de serem visualizados no campo. Este requisito guiou as coletas, visando uma distribuição equilibrada das classes.

[049] Alguns outros fatores, embora não tenham sido manipulados e explicitados na invenção apresentada neste documento, podem ser considerados como facilmente aplicáveis, tais como fatores pluviométricos , inserção de espécies, acidentes ambientais e outros. O conteúdo aqui exposto não deve ser tratado como restritivo, podendo ser expandido, trabalhado e incorporado a diferentes variações e incrementações .

[050] VARIÁVEIS RUÍDO

[051] Locais de coleta - O local de coleta para treinamento do software oferece uma particular variedade de terreno, iluminação, objetos, animais e afins, assegurando a reprodutibilidade da solução.

[052] Relevo - A maior parte dos terrenos tratados possuem uma disposição plana e razoavelmente comportada, gerando imagens de regiões ortogonais de captura. Assim grandes desníveis e variações bruscas de relevo não foram diretamente contabilizadas, podendo ser facilmente adaptados. Por exemplo, a coleta de imagem angulada ou a associação de duas ou mais imagens coletadas em diferentes posições no entorno de uma região acidentada ou de elevado relevo permitiria a utilização da presente invenção.

[053] Condição do pasto - 0 pasto e a sua interação com o terreno podem apresentar diferentes niveis de qualidade, degradação e deficiências, podendo ser tratados com coletas aleatórias de imagem junto a considerações susceptíveis aleatoriamente a estas variações.

[054] Presença de invasoras - O nivel, o tipo de invasão e a sua interação com o pasto também são fatores considerados ruido, podendo ser tratados pela expansão do portfolio de espécies, inclusão de subclasses ou reclassif icação da imagem após análise inicial pelo software.

[055] O conjunto de informações de imagens e dados do campo, após coletados, são compilados, tratados e anotados de forma a compor um banco de dados centralizado, consolidando e catalogando as informações das condições de aplicações propostas. Esta estrutura possibilita o acompanhamento, direcionamento e principalmente os fundamentos para as atividades posteriores de tratamento e treinamento dos modelos desenvolvidos, análise estatística das imagens e obtenção de dados desejados.

[056] Em complemento a essa base centralizadora de dados, outras bases complementares de dados de extrema importância podem ser desenvolvidas e registradas, tendo como insumo as atividades de rotulação realizadas pelos especialistas da área agropecuária. Estas atividades têm o intuito de caracterizar os elementos presentes na cena por classificação em classes. Esse processo visa capturar a interpretação de olhos treinados sobre as condições da imagem, possibilitando o adequado treinamento de modelos de aprendizagem de máquina. [057] A rotulação das regiões configura assim o insumo básico dos modelos tratados em sequência. Para suporte e velocidade, um sistema de realização dos rótulos foi implementado, facilitando a captura da percepção dos especialistas. As atividades de rotulação tiveram em principio duas formas de atuação, denominadas de:

[058] Rotulação das classes: Rotulação manual e supervisionada das diversas regiões nas imagens, fazendo uso de todo conjunto de classes, sendo 5 niveis de biomassa, solo, sombra, árvore, daninha e animal. Esta atividade visa volume e qualidade das anotações, promovendo insumos suficientes para o desenvolvimento dos modelos.

[059] Rotulação das massas: Rotulação apenas das regiões de coleta considerando apenas os 5 niveis de biomassa, com o propósito de avaliar a correlação entre a percepção do especialista e os dados de altura e biomassa coletados. Esta atividade tem como propósito avaliar o desempenho dos anotadores e orientar os estudos de ajuste e calibração das estimativas .

[060] A Figura 4 visa ilustrar e promover maior entendimento das atividades de rotulação para as duas diferentes abordagens de classificação, em que é apresentado à esquerda um exemplo de processo de rotulação para classificação geral e, à direita, um exemplo de processo de rotulação com enfoque apenas na área de coleta.

[061] FUNCIONALIDADES DO SOFTWARE

[062] Quanto ao software de rotulação, destacam-se importantes características que conferem otimizada experiência ao usuário.

- Ferramentas de seleção: Possibilidade de selecionar individualmente os blocos , assim como uma área em formato de caixa que permite ao usuário a seleção de múltiplos componentes .

- Opção de esconder a grade da imagem : Para facilitar a visuali zação da imagem original , foi implementada a opção de esconder ou habilitar a grade de blocos da imagem .

- Botões de avançar e voltar imagem : Considerando a operação em múltiplas imagens , foram implementados dois botões que permitem ao usuário avançar para a próxima imagem ou regredir para a imagem anterior, agili zando o processo de navegação .

- Salvar automaticamente : Para garantir a integridade dos dados e evitar retrabalhos , a cada rotulação do usuário o trabalho é salvo de forma automática .

- Caixa de seleção de espécie : De maneira a associar os apontamentos das classes a sua respectiva espécie , uma caixa de seleção , com algumas espécies inicialmente fornecidas , foi implementada . Este processo permite a classi ficação de múltiplas espécies por imagem .

- Caixa de seleção de usuário : Visto a necessidade de avaliar a consistência e reprodutibilidade das anotações , e consequente melhoria no processo de estimação . Uma lista de usuários foi implementada, possibilitando a identi ficação e resgate automático das atividades do autor .

Campos visuais de referência de bloco : Foram implementados dois campos visuais que permitem ao usuário selecionar dois blocos de sua escolha que sirvam como parâmetros para que possa se referenciar durante as classificações.

- Consistência na marcação: Para garantir consistência nas rotulações, o software só permite que sejam realizadas as marcações das classes quando a imagem estiver com zoom entre 75% ou 100%.

- Sistema de cores e legenda: Para uma melhor gestão visual da anotação, um sistema baseado em um padrão intuitivo de cores foi utilizado para demarcar as classes, alterando a tonalidade das regiões anotadas.

- Contador e legenda de cores: Um campo de visualização das legendas e contagem de classes foi implementado para orientar a anotação.

- Fluxo para rotulação das massas: Para as atividades de rotulação de massa, o sistema aprimora a navegação de maneira a minimizar o tempo de anotação, fixando o zoom em 75% e centralizando a imagem próximo ao ponto de coleta.

[063] FASE DE MODELAGEM

[064] Os desafios técnicos foram divididos e abordados com a concepção de três diferentes modelos, que são utilizados em sequência para obtenção das variáveis resposta desejadas, são eles:

- Modelo de cobertura vegetal: Modelo para promover interpretação aos elementos constituintes da imagem. Promove como saida um mapa de classes, possibilitando entre outras a avaliação da cobertura vegetal da área.

- Modelo de estimativa de biomassa: Modelo capaz de estimar a biomassa em função das classes de biomassa promovidas pelo modelo anterior e do grupo de espécies e época sob análise, em outras palavras, converte a medida compreendida na escala de 0 a 5 em valores reais de massa por área.

Modelo de estimativa de altura: Modelo que correlaciona para cada grupo de espécie e época as informações de massa e altura, isto é, retorna a altura equivalente a um determinado valor de massa.

[065] A interação dos modelos, assim como suas entradas e saldas, podem ser ilustradas através do fluxo da Figura 5.

[066] A Figura 6 apresenta a seleção automática de regiões com um voo à 50 metros, junto a um zoom em destaque da própria imagem para observação dos detalhes da seleção. É possível visualizar a flexibilidade da malha irregular gerada, capaz de contornar os diferentes elementos, adequadamente os separando em cada classificação previamente informada .

[067] A partir da subdivisão discorrida, a segunda etapa de processamento de imagens visa promover descrição matemática a cada um dos blocos, transformando a imagem em conjuntos de números que a descrevem. Assim, uma série de descritores foram implementados e aplicados aos blocos de forma a destacar características de interesse, buscando promoção das diferenças entre as classes. Em sintese, os descritores fizeram uso da estatística descritiva em combinação a processamentos de imagens envolvendo: espaços de cor, indices de cor, formato, textura entre outros. Para exemplificar o potencial dos descritores utilizados, alguns dos processamentos aplicados podem ser visualmente observados nas imagens da Figura 7.

[068] Em um fluxo paralelo, a imagem como um todo é também descrita e classificada por meio de operações de processamento de imagens , com intuito de promover suporte às operações de treinamento e estimativa, aprimorando o desempenho dos métodos de aprendi zagem de máquina, suas operações são as que seguem e podem ser visuali zadas também na Figura 8 .

[ 069 ] Com base nas informações levantadas pelo processamento de imagens , e no direcional definido para a estratégia de aprendi zagem de máquina, uma série de desenvolvimentos , tentativas , melhorias e aj ustes foram reali zados para concepção do modelo , sendo os principais explanados brevemente em sequência :

- Seleção dos dados de treinamento : A anotação dos três rotuladores foram combinadas para formar uma nova referência de treinamento , gerando dados de treinamento aprimorados . Esta combinação considerou a experiência e avaliações de desempenho dos rotuladores .

Balanceamento dos dados : Devido a distribuição natural das classes nas imagens ser altamente desbalanceada, algoritmos de balanceamento foram empregados , reali zando corte de dados excedentes e simulando novos dados para as classes de baixa ocorrência .

Modelo de aprendi zagem selecionado : Ao fim das avaliações o modelo de árvores de decisão aleatórias foi o selecionado , por apresentar o melhor compromisso de adequação a complexidade e volume dos dados de entrada, redução dos efeitos do desbalanceamento e sobre aj uste , além de possibilitar a criação de diversos tipos e variações de modelos de aprendi zagem de máquina .

Combinação de modelos : Visando um melhor aproveitamento do volume de dados de treinamento e maior precisão para as estimativas dos niveis de biomassa, uma abordagem por combinação de modelos foi empregada. Para as principais épocas do ano (secas e águas) um modelo de classificação, denotado como geral, faz uso de todos os dados disponíveis no periodo e tem o objetivo de reconhecer e diferenciar: solo, capim e outros materiais. Já os modelos de regressão definidos como especialistas, são treinados para cada grupo de espécies e tem o objetivo apenas de diferenciar os niveis de biomassa. 0 resultado compreende a combinação seletiva de ambos, substituindo as classes do capim, por um valor continuo, entre 0 e 5, proveniente da regressão ;

Hiperparâmetros do modelo: Trabalhando com os compromissos de complexidade, desempenho, tempo de inferência e sobre ajuste, diversos hiperparâmetros dos modelos de árvores aleatórias foram extensivamente testados e avaliados.

[070] As avaliações que guiaram essa definição de estrutura e parâmetros tiveram como base um extenso conjunto de testes, com mais de 300 configurações distintas, tendo como direcional as respostas quantitativas baseadas nas principais métricas de desempenho de modelos de classificação (acurácia, Fl-score, AUROC e matriz de confusão) e regressão (coeficiente de determinação, erro médio quadrático) , assim como resultados qualitativos com a aplicação dos modelos e avaliação dos especialistas a imagens reais de campo. Os resultados dos modelos escolhidos poderão ser visualizados nas Figuras 12A a 12F e 13A a 13D. [071] A Figura 9 apresenta uma sequência ilustrativa das operações sob um recorte de imagem aérea da espécie Marandu na época das águas, sendo um exemplo de forma a evidenciar as escolhas da arquitetura final para a modelagem da cobertura. Ainda, A Figura 10 traz um protótipo funcional da interface, com destaque aos principais campos de interação, a) Área de visualização da imagem, b) Área de resultados, c) Menu lateral esquerdo, d) Menu de opções. As classificações são realizadas por cores indicativas, segundo o exposto nas Figuras 11A a 11D. As cores são atribuídas aos elementos: solo (CO) , árvore (Cl) , massa vegetal do tipo daninha ou invasora (C2) , sombra ou região sombreada (C3) , animal (C5) , massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4) . A categoria massa vegetal (C6) representa um intervalo continuo de valores entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível .

[072] Para a construção dos modelos de estimativa de massa, algumas alternativas foram exploradas, ponderando o volume de informação e suas condições de obtenção. Dentre os dados disponíveis tem-se para cada imagem catalogada a coleta de uma região delimitada de massa e altura, assim como para algumas imagens sua classificação correspondente pela rotulação. Além disto de forma a complementar e expandir a quantidade de dados, foram consideradas para a concepção do modelo os dados totais da rotulação, isto é, a anotação das classes em múltiplos pontos nas imagens.

[073] Esta adição de informação se mostrou importante devido o relativo baixo volume das informações combinadas de massa e imagens, impedindo pela dimensionalidade do problema a implementação de modelos de regressão complexos regidos por abordagens de aprendi zagem de máquina, tanto de forma direta, com a regressão dos descritores da imagem para os dados de massa, quanto de forma indireta com a correlação das classes com os dados de massa . Vale , contudo , ressaltar que estas abordagens têm potencial para serem reavaliadas em caso de aumento dos dados de coleta em campo .

[ 074 ] Dadas as condições expostas a abordagem adotada considerando cada uma das principais épocas ( secas e águas ) teve como conj unto de premissas e direcionais os seguintes pontos :

- A rotulação por possuir um alto volume de dados (mais de 400 mil pontos ) e ser reali zada sob di ferentes imagens aleatoriamente selecionadas , tendem a refletir a realidade prática da distribuição das classes em cada época ;

- De maneira análoga, o levantamento de dados de massa, apesar de menos recorrentes , visa também acompanhar a distribuição de massa da época ;

- Ao fim do desenvolvimento , estima-se que os modelos de classi ficação terão alta aderência ao rotuladores , tornando as proposições de distribuição válidas ;

Para a regressão dos modelos foi considerada os valores de massa acumulada fornecidos em kg/ha .

[ 075 ] Nas reivindicações apresentadas neste documento , o único obj etivo das referências entre parênteses é facilitar a leitura : elas não podem ser consideradas como fatores restritivos no que di z respeito ao campo de proteção reivindicado nas reivindicações especi ficas .

Claims

REIVINDICAÇÕES

1. MÉTODO DE ANÁLISE E PROCESSAMENTO DE IMAGENS PARA ESTIMATIVA DE COBERTURA VEGETAL POR MEIO DE SOFTWARE E GERAÇÃO DE MALHA, caracterizado por gerar uma malha por Inteligência Artificial, em que os elementos de malha subdividem, identificam e classificam os elementos da imagem em árvore (Cl) , massa vegetal do tipo daninha ou invasora (C2) , sombra ou região sombreada (C3) , animal (C5) , solo (CO) , massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4) , e

- as identificações e classificações são dadas por treinamento do software e em função dos parâmetros de imagem, que incluem época ano, periodo o dia, dado geoespacial de coleta de imagem, altura em relação ao solo da posição de captura da imagem, condições pluviométricas e periodo de estio ; sendo a malha gerada via software treinado com algoritmo inteligente em aprendizagem de máquina, de modo que os elementos de malha definem uma malha de distribuição heterogênea, e

- a massa de forragem pode ser obtida pela análise e processamento de uma única imagem.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a categoria massa vegetal (06) apresenta uma resposta continua entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível, considerando a espécie observada e condições ambientais.

3. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a escala continua da categoria de massa vegetal de 0 a 5 é convertida em uma escala real de biomassa, em que a conversão se dá por utilização de dados históricos das espécies e condições ambientais.

4. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o treinamento do software é realizado por imagens colhidas in situ, em que

- cada imagem é colhida em tréplica, e são colhidas imagens para diferentes fatores ambientais como época do ano, diferentes horários de coleta, com diferentes incidências solares e para diferentes condições naturais de iluminação, e

- para diferentes fatores de pasto, como existência de diferentes espécies componentes da massa vegetal, observação de diferentes alturas e massas de cobertura vegetal, e

- para diferentes variáveis ruido de imagem, como elementos intrusivos não-vegetais, presença de animais, terreno acidentado, terreno com alto relevo e elementos intrusivos vegetais,

- de modo que o software com algoritmo de Inteligência Artificial é configurado para identificação de imagens com minimização de erro de classificação por ruido visual.

5. MÉTODO, de acordo com a reivindicação 4, caracterizado pelo fato de que a imagem é colhida em altitudes de 10m, configurando a imagem colhida no solo, até 250m.

6. MÉTODO, de acordo com as reivindicações 4 e 5, caracterizado pelo fato de que a imagem é colhida por uma câmera acoplada a um veiculo aéreo do tipo drone, sendo qualquer um dentre manobrado por um operador no local, manobrado por um operador remotamente, semiautomatizado ou automatizado .

7. MÉTODO, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de ser aplicado para estimativa de massa verde.

8. SISTEMA DE COLETA DE IMAGENS, PROCESSAMENTO E ANÁLISE PARA ESTIMATIVA DE COBERTURA VEGETAL COM UMA ETAPA DE COLETA DE IMAGENS, UMA ETAPA DE TRATAMENTO E ROTULAÇÃO DE ELEMENTOS DAS IMAGENS E UMA ETAPA DE CLASSIFICAÇÃO DOS DADOS, caracterizado pelo fato de que a etapa de coleta de imagens é realizada por uma câmera acoplada a um veiculo de direção remota, e as etapas de tratamento e rotulação de elementos e de classificação dos dados são realizadas em um software segundo o método de análise da reivindicação 1.

9. SISTEMA, de acordo com a reivindicação 8, caracterizado pelo fato de ser aplicado para a estimativa de massa de forragem em pastagens.