WO2023230687A1

WO2023230687A1 - MÉTODO E SISTEMA DE PROCESSAMENTO LOCAL DE IMAGEM PARA IDENTIFICAÇÃO E CLASSIFICAÇÃO DE OBJETOS E GERAÇÃO DE KPIs

Info

Publication number: WO2023230687A1
Application number: PCT/BR2023/050167
Authority: WO
Inventors: Julio Fabio DE OLIVEIRA CHAGAS
Original assignee: Mc1 Technologies Inc.; Mc1 Tecnologia Ltda
Priority date: 2022-05-31
Filing date: 2023-05-30
Publication date: 2023-12-07

Abstract

A presente invenção refere-se a um método e sistema de processamento local de imagem para identificação e classificação de objetos e geração de KPIs: capturar uma imagem usando um dispositivo móvel (20), sendo que a imagem contém pelo menos um determinado tipo de objeto, atribuir um modelo especializado vinculado à imagem, sendo que o modelo especializado está relacionado ao determinado tipo de objeto presente na imagem, a partir do modelo especializado, reconhecer pelo menos um objeto presente na imagem, informar ao usuário que o objeto foi reconhecido e calcular ao menos um KPI relacionado a dito objeto.

Description

Relatório Descritivo da Patente de Invenção para “MÉTODO E SISTEMA DE PROCESSAMENTO LOCAL DE IMAGEM PARA IDENTIFICAÇÃO E CLASSIFICAÇÃO DE OBJETOS E GERAÇÃO DE KPIs”.

[001] A presente invenção refere-se a um método e sistema de processamento local de imagem para identificação e classificação de objetos e geração de ao menos um KPI. Mais especificamente, a presente invenção está relacionada a um método e sistema capazes de identificar objetos na imagem capturada e gerar localmente ao menos um KPIs, ou seja, fora de um ambiente de nuvem.

Descrição do Estado da Técnica

[002] Empresas compreendem uma ampla gama de produtos que são expostos à venda para os consumidores em geral, por exemplo, em uma variedade de pontos de venda. Existe assim uma necessidade de que tais empresas monitorem que a exposição à venda destes produtos está ocorrendo tal como desejado, tal como um processo de auditoria.

[003] Por exemplo, não é desejável que produtos de uma empresa estejam dispostos em uma geladeira de uma marca concorrente. Ainda, deseja-se que a exposição à venda do produto ocorra de modo adequado, por exemplo, na quantidade previamente acordada entre o fabricante e o ponto de venda.

[004] Assim, há a necessidade que o estado da técnica revele meios para que tais empresas possam realizar, em campo, e a partir da captura de imagens, uma auditoria referente a disposição de seus produtos.

[005] As metodologias conhecidas no estado da técnica realizam todo o processamento da imagem em um ambiente de nuvem, exigindo, portanto, que o usuário que utiliza essa metodologia tenha uma conexão ativa com a Internet e que essa conexão seja rápida e de boa qualidade, para que o processamento ocorra em um período de tempo aceitável. [006] O processamento em nuvem e a dependência de conexão com a Internet apresentam algumas desvantagens para o usuário da metodologia. Por exemplo, há a necessidade de um alto custo de infra- estrutura, causando, assim, ineficiência financeira, além disso, e em razão da necessidade de operação em nuvem e conexão à internet, é necessária a aquisição de dispositivos móveis que apresentem alta capacidade de processamento, dispositivos esses caros, aumentando também os custos.

[007] Obviamente, a dependência da internet é prejudicial por si só, pois se o usuário não estiver online, a metodologia simplesmente não funcionará.

[008] Além disso, o processamento em nuvem acaba gerando um longo tempo de espera para o usuário final, o que também tende a afetar sua produtividade, uma vez que o usuário deve passar por diversos pontos de venda ao longo do dia.

[009] Ademais, a demora causada pelo processamento pela internet em nuvem causa atrasos desnecessários inclusive em outras tarefas eventualmente desempenhadas pelo usuário em seu ambiente de trabalho, até mesmo gerando desistência do mesmo em relação ao reconhecimento de imagem em curso por conta da elevada demora em sua conclusão.

[0010] Outro obstáculo encontrado nas soluções do estado da técnica é que por trabalharem com modelos globais para todas as classes de objetos considerados, os modelos gerados ficam exageradamente grandes e pesados. Isso os torna inviáveis para serem enviados a dispositivos móveis para posterior operação por outros meios que não dependam de conexão com a internet e/ou nuvem.

[0011 ] Outro ponto desfavorável das soluções do estado da técnica é que em se tratando de captura de imagem em pontos de venda específicos, tal como lojas e mercados, por exemplo, por vezes o ambiente a ser registrado na imagem é muito grande, por exemplo com prateleiras de grandes dimensões separadas por corredores estreitos que dificultam a captura de imagem com precisão e qualidade de detalhes.

[0012] Mais especificamente, não é possível, por exemplo, capturar em uma única imagem ainda que em orientação paisagem, uma imagem de prateleira grande e que seja possível identificar produtos pequenos nela dispostos - por exemplo garrafas de bebidas -, com respectivos preços, rótulos e outras informações.

[0013] Nestes casos, é necessário capturar várias imagens e o estado da técnica propõe enviá-las para a nuvem, onde estas várias imagens são processadas. Ou seja, o processamento ocorre na nuvem e envolve várias imagens.

[0014] Para identificação de objetos, o estado da técnica comu- mente propõe realizar esta etapa considerando concomitantemente todos os objetos identificados em uma imagem. Isso torna o processamento muito mais lento e carregado, visto que uma elevada quantidade de objetos pode estar presente em uma única imagem.

[0015] Assim, há uma limitação física de processamento em função da capacidade do dispositivo que está realizando esta etapa, pois não é possível classificar uma ampla quantidade de objetos em um dispositivo com capacidade de processamento limitada pois a memória do dispositivo e sua capacidade de processamento não permitem esta implementação.

[0016] Adicionalmente, uma etapa amplamente difundida e conhecida como “annotation” ou anotações é corriqueiramente realizada online. Este processo refere-se a certas correções de identificação de objeto, na qual informa-se erros de identificação ou confusão de objetos por parte da própria plataforma e é usualmente feita em nuvem por apenas por uma equipe especializada.

[0017] Ainda, caso seja detectada uma lacuna na prateleira, via de regra é possível adquirir o produto faltante de modo online, o que causa dependência de qualidade de conexão e da rede, além de causar demora para finalizar uma eventual transação.

[0018] Outro tipo de solução que é frequentemente apresentada como uma ferramenta separada daquela de identificação de imagem e produtos em prateleiras refere-se a identificação de etiquetas de preço. Reforça-se que estas ferramentas são comumente apresentadas de maneira separada e distinta daquelas de identificação de produtos propriamente dita, o que requere uma etapa adicional de cruzamento de dados de produto e dados de preço para que estas informações sejam posteriormente vinculadas umas às outras.

[0019] Através das soluções conhecidas no estado da técnica, é possível realizar uma alimentação de base de dados “geral” demasiadamente onerosa e demorada, pois todo o processamento ocorre em nuvem. Assim, a alta quantidade de imagens a serem processadas para alimentar assim a base de dados quando realizada em nuvem sobrecarrega esta plataforma.

[0020] Sendo assim, não é vantajoso e tampouco produtivo realizar em nuvem este processamento de dados de imagem e posterior alimentação de base de dados por exemplo para obtenção de certos KPIs e realização de auditorias, justamente pelo altíssimo volume de dados a serem processados em nuvem e/ou rede.

[0021 ] Sendo assim, não se observa no estado da técnica soluções que utilizem arquivos leves e compactos suficiente para permitir que uma plataforma possa ser acessada sem conexão com internet e/ou nuvem, para assim realizar um reconhecimento de objetos específicos em determinado local de comércio através de ao menos uma imagem capturada por um dispositivo.

[0022] Ainda que o estado da técnica possa, em algumas situações, revelar metodologias que possam operar de modo off-line, tais soluções apresentam limitações, tal como a necessidade de utilização de dispositivos high-end ou um número limitado de produtos que podem ser identificados.

Objetivos da Invenção

[0023] Um objetivo da presente invenção é prover um método de processamento local de imagem para identificação e classificação de objetos e geração de KPIs localmente, ou seja, fora de um ambiente de nuvem.

[0024] Um objetivo da presente invenção é prover um sistema de processamento local de imagem para identificação e classificação de objetos e geração de KPIs, localmente, ou seja, fora de um ambiente de nuvem.

[0025] A presente invenção tem ainda como objetivo prover um método e sistema que possa ser operado sem a necessidade de conexão com a Internet.

Breve Descrição da Invenção

[0026] Os objetivos da presente invenção são alcançados por meio de um método e sistema de processamento local de imagem para identificação e classificação de objetos e geração de KPIs. As etapas do método realizadas através de um dispositivo móvel, o método compreendendo ao menos as seguintes etapas: Definição de ao menos um segmento de operação, receber, por meio de uma rede de conexão, no dispositivo móvel, ao menos uma base de dados referente ao segmento de operação, a base de dados compreendendo um conjunto de modelos especializados e sendo fornecida a partir de um conjunto de modelo especializados remotos. O método também compreende a captura de ao menos uma imagem usando o dispositivo móvel, processamento local da imagem no dispositivo móvel, detecção, na imagem capturada, de ao menos um padrão de objeto. [0027] Caso seja detectado ao menos um padrão de objeto, considerar, para o padrão de objeto detectado, um respectivo modelo especializado, em que o modelo especializado compreende ao menos um padrão de reconhecimento. O método compreende ainda a etapa de avaliar o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado. A partir da avaliação entre o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado, classificar o objeto, informar ao usuário que o objeto foi classificado. Gerar, no dispositivo móvel, ao menos um KPI a partir da classificação do objeto.

[0028] Descrição Resumida dos Desenhos

[0029] A presente invenção será, a seguir, mais detalhadamente descrita com base em um exemplo de execução representado nos desenhos. As figuras mostram:

[0030] Figura 1 - é uma representação em blocos de uma metodologia conhecida no estado da técnica;

[0031] Figura 2 - é uma representação simplificada em blocos da metodologia de reconhecimento de imagem de acordo com os ensinamentos da presente invenção;

[0032] Figura 3 - é uma representação em blocos de uma das etapas que integram a metodologia descrita na presente invenção;

[0033] Figura 4 - é uma representação adicional de uma das etapas que integram a metodologia descrita na presente invenção;

[0034] Figura 5 - é uma representação de uma das etapas presentes na metodologia descrita na presente invenção, indicando a geração de um mapa de imagem;

[0035] Figura 6 - é uma representação de uma das etapas presentes na metodologia descrita na presente invenção, indicando a geração de um mapa de imagem; [0036] Figura 7 - é uma representação em blocos de uma das etapas que integram a metodologia descrita na presente invenção;

[0037] Figura 8 - é uma representação em blocos de uma das etapas que integram a metodologia descrita na presente invenção, indicando o recebimento de modelos especializados para uma pluralidade de usuários;

[0038] Figura 9 - é uma representação da etapa de captura de uma imagem de um ponto de venda a partir da utilização de um dispositivo móvel;

[0039] Figura 10 - é uma representação da etapa de detecção de uma pluralidade de objetos em uma imagem;

[0040] Figura 11 - é uma representação em blocos de uma das etapas que integram a metodologia descrita na presente invenção, indicando o processamento independente de uma pluralidade de modelos especializados;

[0041] Figura 12 - é uma representação da etapa de captura de uma imagem de um ponto de venda, indicando a presença de uma lacuna em uma prateleira;

[0042] Figura 13 - é uma representação em blocos de uma das etapas que integram a metodologia descrita na presente invenção, indicando a captura de um dado de preço de um determinado produto [0043] Figura 14 - é uma representação da detecção de um padrão de objeto na imagem capturada;

[0044] Figura 15 - é uma representação em blocos de uma das etapas que integram a metodologia proposta na presente invenção.

[0045] Figura 16 - é uma representação em blocos de etapas que integram a metodologia descrita na presente invenção.

Descrição Detalhada das Figuras

[0046] Em referência as figuras 1 a 16, a presente invenção refere- se a um método e sistema de processamento local de imagem para identificação e classificação de objetos e geração de ao menos um KPI. [0047] Buscando superar os obstáculos do estado da técnica, a presente invenção busca reduzir a quantidade de dados a serem processados, tornando assim a metodologia otimizada para contextos específicos em relação ao estado da técnica.

[0048] Assim sendo, com a metodologia proposta na presente invenção, torna-se possível, por exemplo, identificar objetos e classificá- los localmente em um dispositivo móvel, ou seja, sem a necessidade de recorrer a dados armazenados na nuvem e sem a necessidade de estar conectado à internet (rede de conexão) no momento da execução/cap- tura da foto.

[0049] Além disso, os ensinamentos da presente invenção permitem a entrega de resultados em um curto período de tempo, de modo que a invenção geralmente fornece um resultado ao usuário em questão de segundos, por exemplo menos de cinco segundos. Em alguns casos, o resultado é fornecido imediatamente ao usuário, mesmo sem uma conexão com a Internet.

[0050] Além disso, a presente invenção permite obter e gerar vários indicadores em tempo real que também podem ser fornecidos off-line, tais como a presença de objetos (produtos) por categoria, a presença de objetos por marca, a presença de produtos da concorrência por categoria, marca e produto, a participação na prateleira por categoria, marca e produto, a participação na prateleira da concorrência por categoria, marca e produto, a contagem de frentes de produtos (tanto de seus próprios produtos quanto dos produtos da concorrência), a conformidade da execução do planograma, a localização do produto (se o produto está colocado no lugar certo ou errado e na quantidade esperada). [0051] Assim, a presente invenção permite que múltiplos indicadores sejam entregues ao usuário da presente metodologia, porém, a me- todologia proposta não requer o uso/compra de dispositivos móveis caros, potentes e com alta capacidade de processamento.

[0052] Conforme descrito em detalhes abaixo, os ensinamentos da presente invenção baseiam-se na geração de um modelo especializado pelo, por exemplo, pelo tipo de objeto, de modo que o referido modelo especializado é obtido/gerado a partir de uma imagem previamente conhecida.

[0053] Assim, a presente invenção propõe uma metodologia capaz de ser executada localmente, ou seja, no ambiente do dispositivo móvel utilizado pelo usuário, não necessitando, portanto, de conexão com a internet.

[0054] Dessa forma, com a utilização dos ensinamentos da presente invenção, há um menor custo de infraestrutura e maior eficiência econômica, aumentando a produtividade dos usuários, uma vez que eles não ficam dependentes de uma conexão com a internet nem precisam esperar que o processamento em nuvem seja realizado e concluído.

[0055] Com a presente invenção, excluem-se os riscos de que as atividades do usuário não sejam realizadas devido à ausência de conexão com a internet, problema este normalmente encontrado nas metodologias conhecidas no estado da técnica.

[0056] Várias outras vantagens obtidas com os ensinamentos da presente invenção serão discutidas mais adiante ao longo da presente descrição.

[0057] Com referência inicial às figuras 1 a 16, tem-se que a presente invenção pode ser entendida inicialmente como um método de processamento de imagem e geração de KPI localmente, conforme será detalhadamente explanado a seguir.

[0058] De modo geral, a presente invenção refere-se a um método e sistema para processar uma imagem localmente. Em resumo, os ensinamentos da presente invenção baseiam-se no uso de um dispositivo móvel tal como um telefone celular, tablet, smartwatch, câmera de monitoramento e similares, para capturar uma imagem de um determinado local. A menção a um telefone celular, tablet, smartwatch, câmera de monitoramento e similares não deve ser considerada como uma limitação da presente invenção, de modo que qualquer dispositivo capaz de capturar uma imagem de um determinado local pode ser usado.

[0059] Em uma modalidade válida, a imagem capturada refere-se a uma foto obtida em um ponto de venda, como uma prateleira ou geladeira onde vários produtos são exibidos para venda.

[0060] Em uma modalidade igualmente válida, a imagem capturada refere-se a uma imagem exibida em um material impresso, como a imagem de um cardápio ou de um anúncio (por exemplo, um anúncio de vendas) exibido em um ambiente público.

[0061] A Figura 1 ilustra uma representação em bloco de um método de processamento de imagem conforme conhecido no estado da técnica, ou seja, a Figura 1 ilustra um método conhecido e utilizado atualmente, mas que não alcança por si só as vantagens proporcionadas pela presente invenção.

[0062] Em uma etapa inicial, o método conhecido no estado da técnica baseia-se na captura de uma imagem. A referida imagem pode se referir a uma prateleira em um ponto de venda, como uma prateleira em um supermercado onde diferentes produtos são exibidos. Além disso, a referida imagem pode se referir à parte interna de um refrigerador/free- zer, onde os produtos são expostos para venda.

[0063] Posteriormente, a metodologia conhecida no estado da técnica ensina que a referida imagem será avaliada e os objetos presentes em tal imagem serão detectados. Em uma modalidade do estado da técnica, a avaliação da imagem ocorre através de um processamento em nuvem, ou seja, a imagem capturada é enviada, a partir do dispositivo móvel para um ambiente em nuvem.

[0064] A identificação de objetos na imagem pode ser realizada por meio de ferramentas computacionais especialmente desenvolvidas para este fim.

[0065] Se, por um lado, o estado da técnica revela meios para que um objeto seja identificado a partir do processamento de uma imagem, por outro lado, pode apresentar algumas desvantagens, como a necessidade de alta capacidade de processamento e tempo de processamento igualmente elevado, assim como a demanda de que o processamento da imagem ocorra na nuvem.

[0066] Adicionalmente, além da dependência de que o processamento ocorra na nuvem, o estado da técnica, considera, em seu processamento, informações desnecessárias para que o objeto seja identificado, informações estas que acabam somente retardando, e, em alguns casos, até mesmo impedindo, a identificação do objeto.

[0067] Ainda que o estado da técnica possa, em algumas situações, fornecer métodos de processamento fora da nuvem, este requer a análise e o processamento de uma elevada e desnecessária quantidade de informações para permitir a identificação do objeto.

[0068] Assim, a presente invenção supera as desvantagens encontradas no estado da técnica por meio de um método de processamento local de imagem para identificação e classificação de objetos e geração de KPIs. A Figura 2 é uma representação em bloco do método proposto na presente invenção.

[0069] Em uma etapa preliminar proposta pela presente invenção, tem-se que um usuário define um segmento de operação, definido, por exemplo, com base no local a ser visitado pelo usuário, definido ainda com base em produtos de uma determinada marca ou ainda definido com base em tarefas designadas ao próprio usuário. Este usuário é, por exemplo, um gerente de operações daquele local, um promotor de vendas que representa uma determinada empresa ou ainda um coordenador da metodologia descrita na presente invenção.

[0070] Em outras palavras, esta etapa deve ser entendida, por exemplo, como a definição da natureza daquele ponto de venda ou comércio como, por exemplo, farmácia, supermercado, oficina mecânica, padaria etc. Obviamente estes são apenas exemplos possíveis e não são, portanto, limitativos à presente proposta.

[0071] Feita tal etapa de definição, por um usuário através de seu dispositivo móvel 20, de ao menos um segmento de operação, de modo a classificar dito local em função de sua natureza de atuação, o dispositivo móvel 20 poderá, portanto, receber ao menos uma base de dados referente ao segmento de operação. As bases de dados podem ser fornecidas a partir de um portifólio geral que engloba uma pluralidade de bases de dados.

[0072] Estas etapas são de suma importância para os ensinamentos da presente invenção pois a partir dela, ou seja, a partir da definição da natureza do ponto de venda será estabelecido a natureza da base de dados ou portifólio que o usuário deverá receber em seu dispositivo móvel 20 para realização das demais etapas aqui propostas.

[0073] Na prática isto significa que o usuário irá receber tão somente as bases de dados relacionadas a natureza de atuação de seu ponto de venda ou local, ou seja, se o ponto de venda é uma farmácia o usuário irá receber apenas bases de dados inerentes aos produtos farmacêuticos ali vendidos e não irá receber uma base de dados relacionadas a outros produtos como, por exemplo, a produtos automotivos pois certamente estes produtos não serão encontrados naquele local.

[0074] De qualquer forma, em certas concretizações um único ponto de venda ou local poderá receber bases de dados de naturezas distintas. Por exemplo, se o ponto de venda ou local for um supermercado ou hipermercado que comercializa uma ampla gama de itens, ele poderá receber uma ampla gama de bases de dados como, por exemplo de produtos alimentícios, de itens de higiene pessoal e de eletrônicos.

[0075] Assim, caso o ponto de venda compreenda uma elevada gama de produtos, os ensinamentos da presente invenção permitem que as bases de dados a serem fornecidas ao usuário possam ser ajustadas (formadas) de acordo com as características daquele ponto de venda, por exemplo, agrupando as bases de dados e seus modelos especializados de acordo com as disposições de um determinado corredor daquele ponto de venda.

[0076] No mais, e considerando que os benefícios da presente invenção podem também ser absorvidos por fabricantes de determinados produtos, entende-se assim que pode-se gerar bases de dados específicas para os produtos daquele fabricante.

[0077] Adicionalmente, ao realizar as duas etapas descritas anteriormente (definir o segmento de operação e receber base de dados referente ao segmento de operação), esta característica torna-se bastante vantajosa pois permite atingir uma grande economia processual visto que há uma drástica redução nos dados processados especialmente pelo dispositivo móvel 20 em comparação com o estado da técnica, no qual não há segmentação ou seleção dos dados inicialmente enviados de modo que o usuário recebe integralmente uma base de dados que contempla todos os produtos cadastrados mesmo que não façam parte dos produtos ali comercializados.

[0078] Em uma modalidade, as etapas propostas de definir o segmento de operação e receber a base de dados específica daquele segmento de operação (e consequentemente receber o conjunto de modelos especializados) devem ser realizadas, por exemplo, no início de uma determinada jornada de trabalho. Assim, é sabido que o usuário da presente metodologia (tal como um promotor), ao longo de um turno de trabalho, irá visitar um primeiro ponto de venda que compreende somente os produtos A e B e em seguida irá visitar um segundo ponto de venda que compreende somente os produtos C e D.

[0079] Assim, antes do deslocamento do usuário aos referidos pontos de venda, dito usuário terá a base de dados (e o conjunto de modelos especializados) referente ao primeiro ponto de venda e referente ao segundo ponto de venda carregadas em seu dispositivo móvel. Tais bases de dado podem ser fornecidas, por exemplo, a partir de um sistema remoto, tal como um sistema remoto que gerencia a aplicação da metodologia da presente invenção. Referência é feita ao conteúdo da figura 8.

[0080] Dito sistema remoto é responsável por fornecer a base de dados de cada segmento para uma pluralidade de usuários, tal como uma pluralidade de promotores, referência é feita a figura 8.

[0081] Em uma modalidade, dito sistema remoto é operado por um supervisor dos usuários 1 , 2 e 3 representados na figura 8. Entende-se que dito supervisor, deve, por exemplo, definir quais tipos de produtos (portfolio de produtos) que estão (ou devem estar) dispostos em uma determinada loja e, como tais produtos devem ser dispostos no ponto de venda para gerar uma boa exposição ao cliente. Entende-se assim que o supervisor deve gerar um planograma base para um determinado ponto de venda.

[0082] Adicionalmente, propõe-se que cada um dos usuários 1 , 2 e 3 referenciados na figura 8 receba um determinado planograma base previamente gerado pelo supervisor, de modo que, em cada um do planograma base há os modelos especializados que devem ser utilizados pelo usuário, tal como será melhor descrito adiante.

[0083] Deste modo, ao ser gerado um planograma base a partir do sistema remoto, a base de dados a ser enviada para o usuário contemplará informações a respeito do planograma base que foi gerado. No mais, entende-se que cada ponto de venda compreenderá o seu respectivo planograma base, planograma este que pode ser estabelecido, por exemplo, a partir de requerimentos de um fabricante de um determinado produto.

[0084] Em uma modalidade válida da presente invenção, o conjunto de modelos especializados (e consequentemente a base de dados) pode ser enviado para o dispositivo móvel a partir de um conjunto de modelos especializados remotos de acordo com um determinado critério, tal como um critério de tempo ou localização. Por exemplo, sabe-se que no período da manhã um determinado usuário (tal como um promotor de vendas) irá visitar o ponto de venda A e no período da tarde irá visitar o ponto de venda B. Assim, durante a manhã, pode-se inicialmente somente carregar o dispositivo móvel deste promotor com o modelo especializado referente ao ponto de venda A e não carregar com o modelo especializado do ponto de venda B.

[0085] Ao ser determinado que um determinado critério de tempo foi atingido, o sistema remoto pode então fornecer ao dispositivo móvel o modelo especializado referente ao ponto de venda B e opcionalmente excluir o modelo já utilizado referente ao ponto de venda A. Dito critério de tempo pode ser programado diretamente pela gerência do sistema remoto, ou seja, atribuindo a seguinte instrução: após um determinado horário, deve-se atualizar o dispositivo móvel com o modelo especializado do ponto de venda B.

[0086] Alternativamente, ou adicionalmente, dito critério pode ser um critério de localização, ou seja, o sistema remoto pode criar uma instrução (critério) que indique que o modelo especializado do ponto de venda B deverá somente ser enviado ao usuário ao ser detectada uma mudança de localização do usuário a partir do ponto de venda A e em direção ao ponto de venda B.

[0087] Obviamente a descrição acima deve ser entendida como uma mera exemplificação, de modo que tais critérios podem compreender uma pluralidade de modelos especializados, e não somente os modelos atrelados ao ponto de venda A e B, conforme descrito.

[0088] A presente invenção propõe ainda uma etapa de captura de uma imagem usando um dispositivo móvel (etapa A), ou seja, propõe que uma foto seja tirada usando o dispositivo móvel 20, como um telefone celular.

[0089] Em uma configuração válida da presente invenção, a foto capturada refere-se a uma foto de um ambiente, região ou área específica no ponto de venda, como uma prateleira de supermercado na qual produtos são exibidos para venda. Qualquer local que compreenda um produto pode ser entendido como um ponto de venda.

[0090] Entende-se, portanto, que a imagem capturada incluirá pelo menos um padrão de objeto, de modo que, por padrão de objeto, en- tende-se como a natureza do objeto que foi detectado na imagem capturada pelo usuário.

[0091] Em uma modalidade, pode-se entender como padrão de objeto um determinado produto disposto em uma prateleira. No mais, pode-se entender como padrão de objeto a própria prateleira em que o produto encontra-se disposto.

[0092] Tendo sido capturada a foto, a metodologia proposta na presente invenção compreende a etapa de determinação de ao menos um padrão de objeto presente na foto, conforme demonstrado na etapa B representada na figura 2.

[0093] A designação (determinação) do tipo de objeto que está essencialmente presente na imagem capturada pode ser realizada automaticamente pela proposta da presente invenção, por exemplo, a partir do planograma base, ou, alternativamente, o próprio usuário pode designar o tipo de objeto presente na imagem antes ou depois e capturar a imagem.

[0094] Por exemplo, suponha que o usuário da presente metodologia irá capturar uma foto de uma seção de supermercado contendo uma pluralidade de pacotes de pão. Nesse caso, antes ou depois de capturar a imagem, o usuário pode fornecer informações à metodologia indicando que a foto que será capturada (ou que foi capturada) será composta essencialmente por pacotes de pão. Fazendo tal designação (ou utilizando uma designação automática), a metodologia proposta na presente invenção certamente será mais assertiva. Em uma das modalidades, a referida informação é fornecida pelo usuário por meio da interação do usuário com o dispositivo móvel.

[0095] Assim, na presente invenção, quando a imagem (foto) for capturada por meio do dispositivo móvel, será determinado se a referida imagem compreende ao menos um padrão de objeto.

[0096] Posteriormente, e tal como será melhor descrito adiante, a presente invenção propõe que seja atribuído um modelo especializado vinculado à imagem. Mais especificamente, propõe-se que o modelo especializado seja relacionado ao tipo específico de padrões de objeto presente na imagem. Isso leva à etapa D, conforme mostrado na figura 2.

[0097] Por exemplo, e tomando a Figura 2 como referência, o padrão de objeto presente na imagem refere-se a garrafas, nesse caso, a metodologia descrita na presente invenção recorrerá a um modelo especializado relacionado a garrafas, de modo que este modelo especializado foi especificamente criado de acordo com os tipos de garrafas que eram esperados ser encontrados naquele determinado local

[0098] Assim, entende-se que, de acordo com uma modalidade da presente invenção, cada tipo de objeto compreenderá um modelo especializado equivalente. Ou seja, se o tipo de objeto presente na foto for "latas de refrigerante", existirá um modelo especializado relacionado a "latas de refrigerante".

[0099] No mais, em uma modalidade igualmente válida, cada modelo especializado pode ser criado tendo como critério os produtos que o usuário espera encontrar em um determinado ponto de venda, produtos estes que foram definidos a partir do planograma base gerado pelo sistema remoto.

[00100] Entende-se também que os tipos de objetos (padrão de objeto) e seus respectivos modelos especializados podem ser classificados a partir de uma designação ampla, bem como usando classificações cada vez mais restritivas a partir dessa classificação ampla.

[00101] Por exemplo, há um tipo de objeto e seu respectivo modelo especializado classificado como "latas de refrigerante", mas pode haver um tipo de objeto adicional classificado como "latas de refrigerante de 350mL" junto com seu respectivo modelo especializado. Ainda, um determinado modelo especializado pode conter apenas as latas de refrigerante de uma determinada marca bem como latas de um determinado concorrente, evitando-se assim a necessidade de saber dados de todas as latas de refrigerante.

[00102] Além disso, pode haver um tipo de objeto e um modelo especializado ainda mais restrito, por exemplo, "latas de refrigerante de 350 ml comemorativas de Natal".

[00103] Assim, a partir da imagem capturada, a metodologia proposta na presente invenção atribuirá um modelo especializado, seja um modelo especializado amplo ou restrito, de modo que a determinação de qual modelo especializado será utilizado poderá ser realizada pelo usuário da presente metodologia ou poderá ainda ser fornecida ao usuário de acordo com os locais a serem visitados em um determinado dia de trabalho, considerando ainda, por exemplo, os produtos que o usuário espera encontrar no ponto de venda, produtos estes obtidos a partir do planograma base.

[00104] Assim, entende-se que a presente invenção se baseia em um determinado modelo especializado relacionado a um determinado tipo de objeto, ou seja, a presente invenção se baseia na utilização de modelos especializados específicos relacionados a objetos (produtos) que um usuário espera encontrar em um determinado ponto de venda. [00105] Tomando como base a descrição previamente realizada, destaca-se que o modelo especializado por tipo de objeto será fornecido através da base de dados referente ao segmento de operação. Assim, entende-se que uma única base de dados referente ao segmento de operação pode compreender uma pluralidade de modelos especializados por tipo de objetos, de modo que ditos modelos são independentes entre si.

[00106] Assim, a base de dados referente ao segmento de operação pode ser entendida como o ramo de um determinado ponto de venda, por exemplo, medicamentos (farmácia), artigos esportivos, vestuário, óculos, sapatos, bebidas, entre outros.

[00107] Já o modelo especializado por tipo de objeto refere-se ao tipo de objeto que é disposto naquele ponto de venda, por exemplo, espuma de barbear, bolas de futebol, blusas masculinas, óculos de sol com armação preta, sapatos de salto alto, garrafas de vodka, entre outros. Destaca-se que um determinado modelo especializado pode ser definido de acordo com uma pluralidade de critérios, tal como os produtos de um fabricante específico bem como os produtos dispostos em um ponto de venda.

[00108] Posteriormente, a metodologia descrita na presente invenção propõe que o objeto (ou os objetos) presente (s) na imagem seja classificado (etapa E) a partir do modelo especializado e, em seguida, o usuário seja informado de que o objeto foi classificado, ou seja, obtendo informações sobre o que é o objeto (etapa F). Em uma modalidade, o usuário receberá uma indicação de qual objeto foi reconhecido na tela do dispositivo móvel que capturou a foto.

[00109] A figura 9 ilustra uma exemplificação de uma forma de aplicação dos ensinamentos da presente invenção. Nesta exemplificação, observa-se que um determinado usuário captou uma imagem de um ponto de venda que compreende uma pluralidade de padrões de objeto. [00110] Assim, tomando como base a ilustração da figura 9, tem-se na porção superior da prateleira um primeiro padrão de objeto 30 designado como mostarda, seguido por um segundo padrão de objeto 40 designado como ketchup, seguido por um terceiro tipo de padrão 50 designado como leite, seguido por um quarto padrão de objeto 60 designado por garrafa de suco de uva e seguido por um quinto tipo de padrão 70 designado como garrafa d’água.

[00111 ] Destaca-se que o usuário pode ser apto a realizar ajustes na imagem capturada (ou a ser capturada) de modo a aumentar a acuraci- dade do reconhecimento do objeto, assim, o usuário pode, por exemplo, calibrar a iluminação da imagem captada ou ainda, calibrar a iluminação antes da imagem ser captada. Destaca-se que dito ajuste deve ser realizado pelo usuário através da manipulação do dispositivo móvel. Outros tipos de ajustes podem ser realizados diretamente pelo usuário, como por exemplo, através do corte da imagem captada para assim designar uma área específica a ser considerada pela metodologia.

[00112] Tendo sido captada a imagem, tal como ilustra a figura 9, os objetos presentes na referida imagem serão detectados. Dita etapa é, de modo exemplificative, ilustrada na figura 10. Propõe-se que o usuário receba uma indicação 80 de que os objetos presentes na imagem foram detectados, dita indicação pode ser de qualquer tipo, desde que seja perceptível ao usuário (tal como uma indicação gráfica, sonora e/ou de texto). Assim, nas figuras 10 (a) e 10 (b), tem-se uma indicação 80 gráfica, em que cada objeto detectado é contornado por um retângulo, por exemplo.

[00113] Em uma modalidade não limitativa, o usuário pode seletivamente habilitar a exibição, através do dispositivo móvel 20, para que a indicação gráfica 80 seja gerada apenas para os produtos que fazem parte do planograma base.

[00114] Adicionalmente, além da indicação gráfica 80 referente a detecção do objeto em si, pode-se, adicionalmente, ou opcionalmente, também indicar ao usuário que uma prateleira foi detectada, tal como ilustra a figura 10 (b) a partir da indicação 90. Assim, a presente metodologia é capaz de detectar não somente o objeto, mas também detectar que o referido objeto se encontra efetivamente disposto em uma prateleira.

[00115] A detecção de que o objeto encontra-se efetivamente disposto em uma prateleira é vantajosa pois, tendo sido identificado o produto, pode-se, por exemplo a partir da indicação gráfica 80, estimar o tamanho do referido produto e então calcular a dimensão métrica da área, determinando assim um KPI referenciado como participação de espaço. Destaca-se que, alternativamente, o tamanho do produto poderia ser um dado previamente conhecido.

[00116] Assim, a indicação gráfica 80 atua como um sinalizador ao usuário, indicando a este que um produto (padrão de objeto) foi detectado na foto. Assim, entende-se que cada indicação gráfica 80 remete a um produto, assim, pode-se, por exemplo, somar a quantidade de indicações gráficas 80 para assim determinar a quantidade de produtos dispostos na prateleira. Simplificadamente, pode-se entender a referida indicação gráfica como uma micro imagem ou até mesmo um “recorte” da foto capturada, em que na dita micro imagem (ou seja, dentro da indicação gráfica) há um produto. [00117] Destaca-se que a figura 10 (b) não contem a indicação numérica “80” para todas as indicações gráficas, visando assim não poluir em demasia a figura, de qualquer modo, deve-se entender que todos os retângulos ilustrados na referida figura remetem a uma indicação gráfica, remetendo assim a um produto detectado.

[00118] A figura 11 é uma representação em blocos das etapas consideradas pela metodologia da presente invenção para identificação dos padrões de objetos ilustrados nas figuras 9 e 10.

[00119] Tal como já descrito anteriormente, tem-se as etapas iniciais de captura e ajuste da imagem. Dito ajuste pode ser entendido como a realização de cortes na imagem ou ainda ajustes de iluminação e/ou de perspectiva. Posteriormente, inicia-se o processamento local da referida imagem, ou seja, o processamento da imagem no dispositivo móvel 20.

[00120] A etapa de processamento local da imagem pode ser entendida como a detecção, na imagem capturada, de ao menos um padrão de objeto, ou seja, foi reconhecido que existe um objeto na imagem (mesmo que ainda não se possa classificá-lo).

[00121] Tendo sido detectado que há um padrão de objeto, propõe- se a etapa de gerar, na imagem captada, uma indicação gráfica para cada padrão de objeto detectado. Ou seja, para cada objeto detectado, será designado, na imagem exposta no dispositivo móvel, uma indicação gráfica.

[00122] Destaca-se que a etapa de gerar a indicação gráfica compreende ainda a etapa de registrar as coordenadas da referida indicação gráfica presentes na imagem capturada, tornando assim possível armazenar tais coordenadas e, estabelecendo assim a correta posição da indicação gráfica (e consequentemente do produto) na imagem. Em uma concretização possível, tais coordenadas podem ser do tipo cartesianas e compreender pontos (X, Y) em um plano da dita imagem. [00123] Posteriormente, e a partir da indicação gráfica, deve-se carregar o modelo (ou os modelos) especializado específico que será utilizado para que a classificação do objeto possa ocorrer.

[00124] No caso específico representado na figura 11 , sabe-se que aquele determinado ponto de venda compreende os seguintes produtos: mostarda, ketchup, leite, garrafa suco e garrafa d’água. Assim, estes serão os modelos especializados carregados e utilizados para que a classificação do produto possa ocorrer.

[00125] Para que o reconhecimento do produto possa ocorrer de modo offline e sem qualquer tipo de restrição, propõe-se que cada tipo de objeto será processado de modo independente, ou seja, para cada tipo de objeto, poderá ser criada, no dispositivo móvel, um determinado fluxo de processamento.

[00126] Assim, a metodologia proposta poderá criar fluxos de processamentos independentes para cada tipo de objeto, de modo que tais processamentos serão criados no próprio dispositivo móvel. Destaca-se que no contexto da presente invenção, o modelo especializado deve ser entendido como o tipo de objeto que apresenta determinado conjunto de características (padrão de reconhecimento) que o define. São exemplos de modelos especializados:

- De vestimenta: calçado, camiseta, calça, meias, bermuda;

- Alimentício: pacote de arroz, pacote de feijão, bolacha, suco, barra de cereal;

- Utensílios domésticos: pote, panela, talher, papel toalha, papel alumínio.

[00127] Obviamente estas são apenas citações exemplificativas e não limitativas da presente invenção, aqui apresentadas para ilustrar especialmente uma concretização da mesma e alguns possíveis modelos especializados que podem estar presentes em determinado ponto de venda no qual a presente invenção é implementada. [00128] Adicionalmente, no contexto da presente invenção deve ser entendido que um pipeline representa um fluxo de trabalho geralmente relacionado a um processamento de dados. Mais detalhadamente, tem- se que um pipeline pode ser entendido como, por exemplo, como um fluxo de processamento, para cada tipo de objeto detectado ou reconhecido em cada imagem capturada, ou seja, o pipeline representa o ato de atribuir, determinar ou classificar cada objeto detectado em relação a seu respectivo modelo especializado. Novamente, destaca-se que cada pipeline pode ser realizado individualmente para cada objeto, tal como ilustra a figura 11 . Destaca-se que um pipeline pode ser realizado através da execução de múltiplos modelos, em que seus resultados podem ser combinados ou encadeados.

[00129] Em referência a figura 11 , observa-se a criação de processamentos para cada tipo de objeto (mostarda, ketchup, leite, garrafa suco e garrafa d’água), ou seja, observa-se a criação de fluxos de processamento independentes e localmente no dispositivo móvel 20 sem necessidade de que haja conexão com uma rede de internet.

[00130] Mais especificamente, propõe-se que cada pipeline seja considerado separadamente do pipeline posterior, por exemplo, e tomando como base a representação da figura 1 1 , propõe-se que inicialmente será processado o fluxo referente a mostarda, posteriormente o fluxo referente a ketchup, posteriormente o fluxo referente a leite, e assim por diante.

[00131] Entende-se assim que cada modelo especializado é considerado (processado) em um determinado intervalo de tempo, ou seja, cada modelo especializado é processado de modo independente ao modelo especializado posterior. Ainda de modo mais específico, tem-se que cada modelo especializado é processado separadamente dos demais modelos especializados.

[00132] Tomando como base a ilustração da figura 11 , tem-se que o modelo especializado de mostarda é processado em um instante t=0, o modelo de ketchup é processado em um instante seguinte t=1 , o modelo de leite processado em um próximo instante t=2, o modelo de garrafa de suco processado em t=3 e o modelo de garrafa d’água é processado em t=4.

[00133] Deste modo, processando cada pipeline de modo separado, torna-se possível otimizar a realização de cada processamento no próprio dispositivo móvel visto que em cada instante uma baixa quantidade de informações será processada por fluxo de processamento, sem a necessidade de conexão com a Internet e sem nenhum tipo de restrição referente ao tamanho da imagem ou referente a quantidade de objetos dispostos na imagem. Ou seja, a presente invenção contempla vantajosamente uma execução distribuída de fluxos de processamento independentes utilizando tão somente a capacidade computacional de cada dispositivo móvel 20 de modo local e otimizado.

[00134] Assim, podemos notar que os fluxos de processamentos podem ser implementados, por exemplo, através de threads ou processos. [00135] No mais, destaca-se que os ensinamentos da presente invenção, bem como a descrição previamente realizada para a figura 11 , também englobam o diagrama em blocos ilustrado na figura 16.

[00136] Assim, e tomando como referência a figura 16, após a geração das indicações gráficas, carrega-se um único modelo especializado específico para aquele determinado ponto de venda, modelo especializado este já previamente treinado para identificar e classificar os produtos dispostos naquele ponto de venda, ou seja, no presente caso, mostarda, ketchup, leite, garrafa suco e garrafa d’água.

[00137] Alinhado ao acima, destaca-se que modelo especializado deve ser entendido como um conjunto de dados, tal como um arquivo ou grupo de informações específicas relacionadas ao tipo ou natureza de determinado objeto, apto a ser lido e processado por um computador, ou ainda apto a ser lido e processado por um dispositivo móvel 20, tal como um telefone celular. Ainda, dito modelo especializado é também apto a ser armazenado no referido computador e/ou dispositivo móvel 20.

[00138] Armazenado no referido modelo especializado, deve-se ter ao menos um padrão de reconhecimento atrelado a ao menos um determinado produto. Dito padrão de reconhecimento indica que um determinado produto compreende uma determinada característica, e esta característica permite que, a partir do processamento do modelo especializado, o produto possa ser identificado e classificado.

[00139] Assim, o padrão de reconhecimento armazenado no modelo especializado pode ser entendido como um padrão de forma, ou seja, um conjunto de informações que indique que um determinado produto compreende uma determinada forma. Dito conjunto de informações pode ser entendido como um conjunto de pontos, ou seja, uma determinada disposição de pontos de uma determinada embalagem e que indique que aquela embalagem remete a um determinado produto. Assim, pode-se estabelecer, na criação do modelo especializado, que dita quantidade de pontos é suficiente para detectar o objeto e também é suficiente para que o modelo possa ser carregado e processado localmente no dispositivo móvel.

[00140] Alternativamente, ou adicionalmente, o padrão de reconhecimento pode ser entendido como uma imagem, tal como uma imagem de um produto, ou seja, tal como a imagem delimitada pela indicação gráfica. Assim, pode-se criar o modelo especializado a partir de uma imagem de um produto, de modo preferencial, a partir de mais de uma imagem deste produto, para que assim dito modelo especializado possa ser usado em campo.

[00141] Por exemplo, um determinado fabricante de chocolates pode fornecer um catálogo de produtos que compreenda os produtos do fabricante em questão, em que no referido catálogo existem fotos dos chocolates e a sua respectiva classificação (qual chocolate é). Assim, a equipe gerencial responsável por utilizar a metodologia aqui proposta pode criar modelos especializados para este fabricante a partir das fotos e classificações presentes no catálogo em questão. Neste caso, o padrão de reconhecimento pode ser entendido como a própria foto, ou como uma parte da referida foto que foi disposta no catálogo.

[00142] Em alguns cenários, a criação do modelo especializado a partir da utilização de poucas fotos pode acarretar que, quando colocado em prática, dito modelo não terá uma acuracidade aceitável ou levará um certo tempo para que este venha a ser treinado adequadamente, assim, propõe-se que, nestes casos técnicas de “augmentation” (aumento de dados) possam ser usadas nas imagens inicialmente recebidas.

[00143] Assim, ditas técnicas de “augmentation” são usadas a partir, por exemplo, das fotos dispostas no catálogo, permitindo assim a criação de um modelo especializado que tenha ótima acuracidade e que tenha sido formado a partir de uma pouca quantidade de fotos iniciais.

[00144] De modo exemplificative, pode-se utilizar diferentes formas de aumento de dados nas imagens inicialmente recebidas, tais como: mudança de escala, translação, rotação, flip, noise, dropout, manipulação de contraste, entre outras.

[00145] Alternativamente, ou adicionalmente, o padrão de reconhecimento armazenado no modelo especializado pode ser entendido também como um padrão de cor, ou seja, um conjunto de informações que indique que um determinado produto compreende uma determinada cor, ou uma determinada disposições de cores.

[00146] Alternativamente, ou adicionalmente, o padrão de reconhecimento pode ser entendido também como um padrão de texto, ou seja, um conjunto de informações que indique que um determinado produto compreende um determinado texto em sua embalagem.

[00147] Em outras palavras, algumas características que também podem ser relacionadas ao conjunto de informações estão relacionadas à paleta de cores de determinado objeto bem como a eventuais informações textuais do mesmo, que poderão ser consideradas especialmente para permitir diferenciar objetos potencialmente similares como, por exemplo, um pacote de arroz e um pacote de feijão - que possuem substancialmente mesmo formato e diferem-se majoritariamente pela coloração e texto dos pacotes.

[00148] De qualquer modo, e para que os objetivos da presente invenção possam ser atingidos, não é aconselhável que um determinado modelo especializado compreenda um elevado conjunto de padrões de reconhecimento, mas tão somente os padrões necessários para que o objeto possa ser reconhecido a partir do processamento local do modelo especializado.

[00149] Nota-se que é plenamente possível adaptar o modelo especializado para que este compreenda somente o padrão de reconhecimento necessário para detecção do objeto, já que, a partir dos ensinamentos da presente invenção, cada modelo especializado será transmitido ao usuário a partir da definição do segmento de operação.

[00150] Assim, ao ser captada a imagem de um ponto de venda por um determinado usuário, o processamento da referida imagem pode ser entendido como a detecção de ao menos um padrão de objeto para cada um dos produtos dispostos na prateleira.

[00151] Assim, fazendo referência ao menos às figuras 9 e 14, para o primeiro tipo de objeto 30 será detectado um primeiro padrão de objeto 30A, para o segundo tipo de objeto 40 será detectado um segundo padrão de objeto 40A, para o terceiro tipo de objeto 50 será determinado um padrão de objeto 50A, para o quarto tipo de objeto 60 será detectado um padrão de objeto 60A, e para o quinto tipo de objeto 70 será determinado um padrão de objeto 70A. Por padrão de objeto, pode-se entender, por exemplo, como a imagem do objeto delimitada pela indicação gráfica 80.

[00152] Assim, deve-se avaliar cada um dos padrões de objeto 30A, 40A, 50A, 60A e 70A detectados com o respectivos padrões de reconhecimento contidos em cada um dos modelos especializados. Tal como já descrito quando da abordagem ao menos da figura 11 , propõe- se que cada uma destas avaliações ocorra separadamente, ou seja, inicialmente deve-se avaliar, por exemplo, o primeiro padrão de objeto 30A com o seu respectivo padrão de reconhecimento e, finalizada dita avaliação, deve-se seguir para o processamento seguinte.

[00153] A avaliação entre o padrão de objeto e o padrão de reconhecimento, deve-se entender como a aplicação de uma entrada (neste caso, o padrão de objeto) em uma função (neste caso, o padrão de reconhecimento do modelo especializado) e obter uma saída.

[00154] Assim, e tomando como base também a ilustração da figura 15, caso a comparação do padrão de objeto com o seu respectivo padrão de reconhecimento indique que um produto foi reconhecido, deve- se assim informar ao usuário, indicando qual seria o produto em questão (classificação do produto).

[00155] Em referência ainda a figura 15, caso a classificação do objeto tenha sido realizada corretamente, o usuário poderá emitir uma confirmação, alternativamente, ou seja, caso a classificação tenha sido incorreta, o usuário deverá, através do dispositivo móvel, gerar um dado de atualização, ou seja, emitir um dado de treinamento do modelo, indicando assim que aquele determinado padrão de objeto não refere-se ao produto informado. Destaca-se que detalhamentos adicionais a respeito do dado de atualização serão apresentados adiante. [00156] Consequentemente, tendo sido detectado o objeto na imagem através de um processamento local, a informação referente a qual é o tipo de objeto é fornecida diretamente para o usuário em seu dispositivo móvel, ou seja, não existe a necessidade de realizar qualquer tipo de processamento em nuvem. Com isto, os indicadores (KPIs) são também gerados no próprio dispositivo móvel, ou seja, a partir da geração das indicações gráficas para cada produto detectado e a respectiva classificação do produto, pode-se gerar diversos tipos de KPIs, ainda localmente, ou seja, ainda no dispositivo móvel. Ou seja, com a presente invenção, os KPIs são gerados e visualizados no dispositivo móvel, poucos instantes, por exemplo, 3 segundos após a captura da foto.

[00157] Em um momento posterior, ou seja, quando o usuário estabelecer uma conexão com a Internet, tais KPIs podem ser enviados para a nuvem.

[00158] Ainda em referência a figura 15, caso a comparação entre o padrão do objeto (imagem capturada) e o padrão de reconhecimento de produto (modelo especializado) não detecte um produto (ou prateleira) que deveria ter sido detectado, o usuário poderá, então, indicar que o produto não foi detectado e, caso desejável, deve-se enviar o referido padrão do objeto para o sistema remoto.

[00159] Assim, ao receber o padrão de objeto, o responsável por operar o sistema remoto poderá, caso desejável, criar um novo modelo especializado e que compreenda um novo padrão de reconhecimento de produto que corresponda ao padrão de objeto previamente capturado na imagem. Ainda, o responsável poderá adicionar dito padrão de objeto a um modelo especializado já existente, de modo que dito modelo terá assim a capacidade melhorar a compreensão do padrão de objeto.

[00160] Deste modo, tendo sido criado este novo modelo especializado, o produto em questão será adequadamente identificado e classificado em futuras capturas de imagem. [00161] Destaca-se que a etapa de enviar o padrão do objeto para o sistema remoto deve, preferencialmente, ser realizada no momento em que o dispositivo móvel estabeleça uma conexão com a Internet.

[00162] Para que o objeto na imagem possa ser reconhecido, pode- se utilizar, por exemplo, a ferramenta de código aberto yolovõ, porém, e de acordo com os ensinamentos da presente invenção, propõe-se a utilização de modelos especializados específicos para cada tipo de objeto, em vez de um único modelo para uma pluralidade de objetos. Propõe- se ainda que ditos modelos especializados específicos sejam processados separadamente, tal como descrito anteriormente.

[00163] No mais, entende-se que a presente invenção pode fazer uso de diversas técnicas de reconhecimento de imagem, tal como o uso de modelos baseados em aprendizado de máquina e mais especificamente redes neurais profundas, que podem incluir diferentes tipos de camadas e arquiteturas, como CNN, RNNs e Transformers.

[00164] Entende-se, portanto, que a presente invenção se baseia em modelos especializados relacionados a determinados tipos de objetos, não se baseando em um único modelo geral, o que demandaria um uso excessivo de memória e grande processamento de dados desnecessariamente.

[00165] Mais detalhadamente, deve ser entendido a partir dos presentes ensinamentos que para cada tipo de objeto presente na imagem capturada existirá um respectivo modelo especializado - p. ex.: garrafas, latas de refrigerante, pacote de pão, bem como produtos de uma determinada marca.

[00166] Deste modo, cada modelo especializado poderá ser “processado” individualmente no dispositivo móvel 20, ou seja, de maneira independente para cada modelo especializado sem que esteja de alguma forma relacionado a outros modelos especializados. [00167] Na prática, isso permite que o modelo especializado “garrafas” seja processado separadamente dos modelos especializados “latas de refrigerante” e “pacote de pão”, por exemplo.

[00168] Em outras palavras, esta etapa pode ser entendida como a criação de um único fluxo de trabalho ou “pipeline” para cada modelo especializado, reduzindo drasticamente os requerimentos para processamento de dados uma vez que cada modelo especializado é processado individualmente no próprio dispositivo móvel 20.

[00169] Com relação aos modelos especializados utilizados na presente invenção, estes podem ser obtidos a partir de um conjunto de modelos especializados, de modo que o referido conjunto de modelos especializados pode ser entendido como uma base de armazenamento (como uma memória) que armazena uma série de modelos especializados, sejam esses modelos especializados amplos ou estreitos (restritos).

[00170] Além disso, propõe-se que o conjunto de modelos especializados seja armazenado localmente no dispositivo móvel e obtido a partir de um conjunto de modelos especializados remotos (armazenados na nuvem) utilizado pelo usuário, ou seja, o conjunto de modelos especializados será armazenado no próprio dispositivo móvel e não em um ambiente de nuvem.

[00171] Alinhado ao já discutido previamente, deve ser destacado que, de acordo com a presente proposta, o dispositivo móvel 20 receberá apenas conjuntos de modelos especializados que correspondam a produtos que serão de fato utilizados pelo usuário.

[00172] Por exemplo, caso o usuário esteja em um ambiente que comercializa apenas produtos do gênero alimentício, nesta etapa ele não receberá um conjunto de modelos especializados relacionados a itens de higiene pessoal. Assim, é possível diminuir o uso do próprio dispositivo 20 gerando benéfica economia processual do mesmo. [00173] Além disso, e com referência à figura 3, a metodologia descrita na presente invenção pode ser atualizada em tempo real a partir de dados de atualização fornecidos pelo próprio usuário da presente metodologia.

[00174] Por exemplo, suponha-se que, ao realizar a proposta da presente invenção, o usuário tenha recebido a informação de que o objeto reconhecido é o produto A, quando, na verdade, o referido objeto se refere ao produto B. Nesse caso, o usuário pode indicar, através do dispositivo móvel, que o reconhecimento do objeto foi indevido e atualizar as informações fornecidas, ou seja, atualizar a informação (classificação) de que aquele padrão de objeto refere-se ao produto B, e não ao produto A, de modo que as informações armazenadas previamente serão atualizadas para indicar que o objeto presente na imagem realmente se refere ao produto B. Assim, o usuário fornece um dado de atualização para a proposta da presente invenção, sendo que o referido dado de atualização contém a informação de que a imagem (padrão de objeto) realmente se refere ao produto B, e não ao produto A. Esta etapa é comumente conhecida como “annotation” ou “anotações”.

[00175] No processo de anotação local, quando corrigindo identificações, o usuário pode se limitar a escolher dentre os produtos que estão no planograma base. Com este método, o processo de seleção é simplificado, assim, a indústria tem maior velocidade em produzir anotações, com o processo sendo distribuído entre pessoas.

[00176] Feito isso, os dados de atualização fornecidos pelo usuário a partir de seu dispositivo móvel 20 são automaticamente usados para atualizar o conjunto de modelos especializados remotos bem como atualizar a comparação entre o padrão de objeto e o padrão de reconhecimento do produto, garantindo assim que, em leituras futuras, a comparação entre o referido padrão de objeto com o modelo especializado ob- tido a partir da atualização do modelo especializado remoto seja corretamente indicada ao usuário como produto B.

[00177] Esta etapa permite beneficamente que as classificações realizadas estejam precisamente corretas, pois o próprio usuário tem interesse em que a captura da imagem e os dados obtidos a partir dela sejam feitos de maneira acurada.

[00178] Adicionalmente, como esta etapa pode ser feita pelo próprio usuário, ou seja, como o próprio usuário que realizou a etapa de captura de imagem também realiza a atualização da classificação do objeto, é possível estabelecer um canal de alimentação de aprendizagem da metodologia proposta e escalá-lo bastante vantajosamente por distribuir o processo de anotação (annotation) entre vários usuários, e não concen- trá-lo apenas no back office.

[00179] Isto porque como cada usuário realiza suas próprias atualizações, atualizando assim a comparação entre o conjunto de modelos especializados e o padrão de objeto, todos os demais usuários que também utilizarem os conjuntos de modelos especializados e que venham a detectar o mesmo padrão de objeto irão se beneficiar da atualização feita por aquele usuário. Isso gera um efeito cascata ou dominó, tornando a presente invenção escalável e extremamente vantajosa frente ao estado da técnica.

[00180] Como o conjunto de modelos especializados é armazenado localmente no dispositivo móvel usado pelo usuário, a atualização a partir dos dados de atualização também é realizada localmente, ou seja, no próprio dispositivo móvel.

[00181] Em todo caso, para evitar que essa atualização seja capturada apenas pelo usuário do dispositivo móvel que enviou os dados de atualização, a presente invenção propõe que os referidos dados de atualização sejam enviados, a partir do dispositivo móvel, para um ambiente remoto, tal como um ambiente em nuvem e que compreende um conjunto de modelos especializados remotos. Assim, quando a internet estiver disponível, o dispositivo móvel enviará apenas as partes das imagens que foram corrigidas, ou seja, apenas a parte da imagem (indicação gráfica 80) que remete ao produto alvo da anotação, não sendo necessário o envio da imagem por completa. Deste modo, é utilizado menos largura de banda.

[00182] Assim, a metodologia descrita na presente invenção propõe uma etapa de sincronização do conjunto de modelos especializados remotos a partir dos dados de atualização, de modo que essa sincronização ocorra no momento em que o dispositivo móvel que compreende o conjunto de modelos especializados (e que consequentemente compreenda os dados de atualização) estabeleça uma conexão com a Internet. [00183] Portanto, a sincronização entre os dados de atualização e o conjunto de modelos especializados remotos ocorre de modo que as informações previamente presentes no conjunto de modelos especializados remotos sejam atualizadas com as informações presentes no conjunto de modelos especializados locais.

[00184] Dessa forma, os dados presentes no conjunto de modelos especializados remotos podem ser enviados para uma pluralidade de novos dispositivos móveis que executam a metodologia proposta na presente invenção, ou seja, sendo enviados para o conjunto de modelos especializados de cada um dos dispositivos móveis 20 que executam a metodologia proposta na presente invenção. Note-se que o referido envio ocorrerá quando cada um dos dispositivos móveis 20 for capaz de estabelecer uma conexão com a internet.

[00185] Com isso, garante-se que os dados de atualização recebidos a partir do dispositivo móvel 20 serão retransmitidos para o conjunto de modelos especializados remotos, assegurando, assim, que os dados de atualização fornecidos localmente por um único usuário possam ser recebidos por todos os usuários da metodologia. [00186] Novamente, estas características são de suma importância pois trazem grandes vantagens frente ao estado da técnica, especialmente ao tornar a presente invenção escalável, uma vez que cada usuário por si só poderá realizar dita sincronização e assim beneficiar em escala todos os demais usuários da presente invenção.

[00187] Em resumo, e tomando também a Figura 4 como referência, os dados de atualização vão de um ambiente local (conjunto de modelos especializados de um primeiro dispositivo móvel 20') para um ambiente de nuvem (conjunto de modelos especializados remotos) e, posteriormente, para novos ambientes locais (conjunto de modelos especializados já baseados no modelo especializado remoto atualizado). Assim, é garantido que, caso o mesmo padrão de objeto seja novamente detectado em uma imagem, a classificação será, dessa vez, informada ao usuário com maiores chances de acerto.

[00188] Conforme mencionado acima, a presente invenção baseia- se na captura de uma imagem usando um dispositivo móvel 20, 20', ou seja, na captura de uma foto usando um dispositivo móvel, como um telefone celular.

[00189] Em uma incorporação válida da presente invenção, a etapa de captura de uma imagem pode ser entendida como a captura de uma única foto, que será processada de acordo com os ensinamentos da presente invenção.

[00190] É possível ainda que seja detectado que há um espaço vazio ou lacuna 15 em uma prateleira, tal como ilustra a figura 12 ou seja, há falta de ao menos uma unidade de determinado produto quando da captura daquela imagem.

[00191] Em outras palavras, na prática a presente invenção também se aplica em um cenário possível de que haja falta de determinado produto, seja ela parcial, i. e. falta ou ausência de ao menos uma unidade daquele produto, ou total, i.e. falta ou ausência de todas as unidades daquele produto. Tal falta é denominada, portanto, lacuna 15. A detecção de um produto faltante pode ser realizada, por exemplo, comparando a imagem captada com uma imagem base, tal como um plano- grama base.

[00192] A lacuna detectada também pode ser relacionada a determinado tipo de objeto, uma vez que é sabido pelo usuário que aquela prateleira compreende determinados tipos de objetos específicos.

[00193] Neste caso, é realizada uma etapa adicional de informar ao usuário através do dispositivo móvel 20 que aquele produto está faltando ou ausente na prateleira. Tal informação pode ser realizada por exemplo por texto, aviso sonoro, vibração etc., de modo que o modo de aviso não é uma limitação da presente invenção por poder ser realizado de inúmeras formas.

[00194] Realizada esta etapa, a presente invenção pode contemplar ainda uma etapa que permite que o usuário reponha o produto ausente ou faltante. A reposição poderá ser feita mediante compra ou aquisição de um fornecedor ou através de obtenção daquele produto de um estoque, seja interno ou externo.

[00195] Assim, é possível integrar a presente proposta a uma plataforma de aquisição de produtos faltantes. Em outras palavras, é possível comprar aquele produto detectado como faltante ou ausente através da imagem capturada pelo dispositivo móvel 20 e realizar sua reposição caso assim deseje o usuário.

[00196] Assim, deve ser entendido que o tipo de objeto detectado em etapas anteriores pode também ser relacionado a uma indicação de sua falta ou ausência conforme já aqui detalhado.

[00197] Dita etapa de captura de imagem, detectação de um produto faltante e requisição de compra do produto pode ser realizada, por exemplo, pelo próprio dono (lojista) de um estabelecimento comercial. [00198] Entende-se assim que os ensinamentos da presente invenção podem ser absorvidos por determinado usuário, que pode ser tanto por um promotor que se desloca até um ponto de venda para verificar como determinados produtos de sua marca (ou de marcas concorrentes) estão dispostos no ponto de venda, ou o próprio lojista que é dono de um ponto de venda. De qualquer modo, cumpre citar que os objetos aqui considerados podem ser elencados como “objetos de interesse” e “objetos de não interesse”, sendo assim nomeados de acordo com os interesses do usuário.

[00199] Em outras modalidades igualmente válidas, a metodologia proposta na presente invenção propõe que a imagem capturada pelo usuário possa ser formada a partir de um mapa de imagens 10, de modo que o mapa de imagens 10 consista em um agrupamento de uma pluralidade de imagens (duas ou mais imagens) capturadas utilizando o dispositivo móvel 20 ou 20'. A Figura 5 ilustra um mapa de imagens 10 composto pelas imagens 10A, 10B, 10C, 10D, 10E e 10F.

[00200] A proposta de utilização do mapa de imagens 10 é vantajosa nos casos em que a metodologia da presente invenção precisa ser utilizada em um ambiente muito amplo, ou seja, onde não é possível capturar uma única imagem (foto) de todo o ambiente.

[00201] Nesse caso, o usuário deverá capturar diversas imagens 10A, 10B, 10C, 10D, 10E e 10F do ambiente e adicioná-las ao mapa de imagem 10, ou seja, o usuário adicionará cada uma das fotos que comporão o mapa de imagem 10 ao dispositivo móvel 20, 20', de modo que tal adição poderá ocorrer tanto na horizontal quanto na vertical, ou seja, tanto no eixo X quanto no eixo Y do mapa de imagem 10 ou, ainda em jargão mais usual, em orientação retrato ou paisagem.

[00202] Assim, entende-se que o mapa de imagens 10 pode ser entendido como um mapa 2D, de modo que o usuário pode adicionar várias fotos no dispositivo móvel 20, 20' para montar o mapa de imagens 10 e, então, gerar uma única imagem a ser processada. Entende-se também que o usuário pode mover, por exemplo, com os dedos, cada uma das fotos no mapa de imagens 10 para gerar um mapa de imagens 10 considerado adequado. Assim, o usuário interage com o dispositivo móvel 20,20' para gerar o mapa de imagens.

[00203] Tendo gerado o referido mapa de imagens 10, ou seja, tendo agrupado todas as fotos que comporão o mapa conforme determinado pelo usuário, o referido mapa de imagens 10 é convertido, localmente, em uma única foto e a metodologia descrita na presente invenção pode prosseguir. Esta etapa é chamada também de “mash” das diversas imagens.

[00204] A geração do referido mapa de imagens 10 também traz inúmeras vantagens em relação ao estado da técnica, por exemplo, suponha que o usuário precise capturar imagens de um corredor de 5 metros de comprimento. No estado da técnica, o usuário deverá basicamente capturar uma foto por metro e cada uma dessas fotos será enviada para a nuvem para ser processada independentemente uma da outra, de modo que os indicadores do cliente sejam gerados por foto, mas não para o espaço total.

[00205] Na presente invenção, e como já descrito, o usuário obtém uma pluralidade de fotos para compor os mesmos 5 metros, gerando assim o referido mapa de imagens 10, e todas as fotos capturadas são convertidas localmente (no dispositivo móvel) em uma única foto, gerando assim indicadores muito mais precisos e também proporcionando maior eficiência de processamento, uma vez que apenas uma única imagem será processada ao invés de várias.

[00206] Entende-se, portanto, que na presente invenção o mapa de imagens 10 é gerado pelo próprio usuário e localmente no dispositivo móvel, ou seja, não necessitando de um ambiente de nuvem. Da mesma forma, o referido mapa de imagens 10 é convertido em uma única foto, de modo que tal conversão também ocorre localmente no dispositivo móvel.

[00207] A Figura 5 exemplifica o mapa de imagens 10, que é formado pelo agrupamento de cada uma das imagens 10A, 10B, 10C, 10D, 10E e 10F que são capturadas pelo usuário. Entende-se ainda que o mapa de imagens 10 deve ser exibido na tela do dispositivo móvel 20, 20', conforme mostrado na figura 6.

[00208] Em relação às imagens capturadas, a presente invenção propõe ainda uma ferramenta de detecção de qualidade de imagem, uma vez que a imagem capturada pode estar borrada, excessivamente escura ou ilegível. Neste caso, a presente invenção contempla uma etapa de sugestão de nova captura de imagem.

[00209] Outra ferramenta proposta na presente invenção e também relacionada a edição da imagem já capturada é chamada “autocrop” ou “corte automático”. Esta ferramenta permite que com um único comando no dispositivo 20, a imagem capturada seja cortada de modo a excluir imagens que não sejam úteis em função de uma determinada área de interesse, como por exemplo excluindo-se teto ou piso do ambiente e mantendo apenas uma prateleira a ser identificada.

[00210] De todo modo, a presente invenção baseia-se no uso de um modelo especializado relacionado a um determinado tipo de objeto presente na imagem capturada pelo usuário.

[00211] Dessa forma, a precisão da metodologia na tarefa de reconhecimento de objetos é aumentada, uma vez que cada tipo de objeto terá seu próprio modelo especializado. Assim, trabalhando com um modelo especializado para cada tipo de objeto (ao contrário do estado da técnica que considera um único modelo para uma pluralidade de objetos), o tamanho do modelo pode ser reduzido, permitindo que as vantagens da invenção sejam alcançadas.

[00212] Por exemplo, e tomando como referência a Figura 2, em que o modelo especializado se refere ao tipo de objeto entendido como "garrafas", ao utilizar os ensinamentos da presente invenção, a precisão no reconhecimento desse tipo de objeto é aumentada, ou seja, a precisão do modelo em reconhecer garrafas presentes em uma imagem é aumentada.

[00213] Assim, com o uso de vários modelos especializados para diferentes tipos de objetos, a precisão da metodologia é aprimorada como um todo.

[00214] Uma característica adicional da presente invenção reside no fato de que cada modelo especializado ainda deve ser associado a uma classe de ruído, assim, cada um dos modelos especializados do conjunto de modelos especializados será associado a uma respectiva classe de ruído, como mostra a figura 7.

[00215] Assim, entende-se que cada modelo especializado associado a um determinado tipo de objeto será associado a uma classe de ruído.

[00216] O objetivo da classe de ruído é melhorar a precisão da metodologia proposta, de modo que, se a utilização de um modelo especializado relacionado a um determinado tipo de objeto reconhecer um objeto de forma inadequada, gerando um resultado incorreto, a esse resultado incorreto será adicionada a classe de ruído vinculada a esse modelo especializado, permitindo que a metodologia proposta seja constantemente aprimorada.

[00217] Assim, entende-se que a classe de ruído pode ser modificada, gerada e atualizada caso a caso, ou seja, de acordo com o modelo especializado ao qual a referida classe de ruído está associada.

[00218] Em uma exemplificação, pode-se entender como ruído como qualquer tipo de informação presente na imagem capturada e que atrapalhe a identificação e classificação do objeto nela presente. Por exem- pio, uma placa de merchandising que se sobrepõe ao menos parcialmente a um produto é considerada um ruído, bem como um vidro de uma geladeira que encontra-se embaçado. Ou seja, de modo geral um ruído pode ser entendido como qualquer informação alheia ao objeto e que esteja presente na imagem capturada de modo a atrapalhar ou prejudicar sua identificação de acordo com os presentes ensinamentos.

[00219] Em uma concretização da presente invenção, tem-se que após a captura de imagem, é possível obter características geométricas do produto como, por exemplo, suas dimensões do produto e sua embalagem. É possível ainda identificar outras informações visuais relevantes, tal como paleta de cores, fontes textuais, etc. Entende-se assim que a presente invenção compreende a etapa de detectar as dimensões de uma embalagem do produto. Por dimensões da embalagem, deve- se entender como as dimensões do objeto que é capturado pela câmera do dispositivo móvel. Ainda, em uma modalidade igualmente válida, as características geométricas do produto podem também, por exemplo, serem obtidas a partir dos planogramas.

[00220] Com base nas características geométricas, pode-se calcular a área e volume do produto, aferindo assim o espaço que ele ocupa naquela disposição na prateleira de modo a obter indicadores relevantes denominados KPIs - Key Performance Indicators.

[00221] Dentre estes, exemplifica-se um importante indicador chamado “participação de espaço” que poderá ser vantajosamente obtido. Este indicador relaciona-se ao espaço que determinado produto ocupa, por exemplo, em uma prateleira, e permite avaliar se é benéfico mantê- lo em determinada posição e disposição ou se são necessárias alterações de disposição ou posicionamento.

[00222] Em uma configuração possível da presente invenção, é proposto ainda que mediante a etapa de captura de imagem usando um dispositivo móvel, sejam detectadas além dos produtos e embalagens já descritas acima, áreas informativas relacionadas a ditas embalagens. [00223] Estas áreas informativas podem corresponder a uma pluralidade de dados relevantes sobre os produtos e suas embalagens como, por exemplo, etiquetas de preço, promoções, informações textuais alfanuméricas, ativações interativas, códigos de barras, QR Codes, NFCs, tags etc.

[00224] Para estas áreas informativas, propõe-se que sejam capturadas em imagem e devidamente identificadas, de modo que posteriormente é possível que informações adicionais como por exemplo, de preço e promoções sejam atreladas aos respectivos produtos também capturados em imagem de acordo com os ensinamentos acima.

[00225] Em uma modalidade válida, a presente invenção propõe ainda a realização da etapa de inserir, no modelo especializado relacionado ao tipo de objeto, dados atrelados às áreas informativas.

[00226] De modo mais específico, pode-se entender tais dados atrelados às áreas informativas como sendo o preço de um determinado tipo de objeto. Assim, o modelo especializado por tipo de objeto não compreenderá somente dados que indiquem qual é aquele objeto específico, mas também compreenderá dados que indiquem o preço daquele objeto específico em um determinado ponto de venda.

[00227] Em uma modalidade, e fazendo referência ao menos a ilustração da figura 13, metodologia proposta na presente invenção ensina que, tendo sido o objeto classificado na imagem (etapa E1), o usuário será informado, na tela do dispositivo eletrônico, qual foi o objeto reconhecido (etapa E2). Posteriormente, será solicitado ao usuário a captura de um dado referente ao preço do produto reconhecido, tal como indica a etapa E3.

[00228] Sendo assim, o usuário deverá, através da utilização do dispositivo eletrônico, realizar a captura de uma imagem da etiqueta de preço daquele produto. Posteriormente, e tal como indica a etapa E4, o preço fotografado daquele determinado produto será associado ao produto em questão, por exemplo, será associado que um determinado produto (suco de uva) tem o preço de R$ 10,00 naquele determinado estabelecimento. Assim, é gerado um dado consolidado de produto e preço, tal como indica a etapa E5. Adicionalmente, destaca-se que grupos de produtos podem ser pré-definidos, de maneira que o preço seja compartilhado entre eles, reduzindo assim a quantidade de fotos de preços a serem tiradas. Como exemplo, todos os sucos de 50g podem estar em um grupo, de forma que seja necessário apenas tirar foto do suco de uva para obter preço do suco de limão e demais.

[00229] Destaca-se que não necessariamente o usuário deverá capturar a foto da etiqueta de preço do produto, de modo que, em algumas modalidades, a própria foto capturada pelo usuário da prateleira do ponto de venda permite a identificação de qual é o produto e qual é o preço daquele produto, assim, pode-se associar, automaticamente, o preço ao produto, gerando assim o dado consolidado abordado na etapa E5.

[00230] Em uma modalidade válida da presente invenção, a metodologia descrita compreende ainda a etapa de gerar um relatório de orientação a partir dos KPIs gerados. Mais especificamente, dito relatório de orientação deve ser entendido como o fornecimento de uma indicação ao usuário, preferencialmente através de uma mensagem em texto, indicando ao usuário se ocorreu uma conformidade nos planogramas detectados em campo a partir de uma comparação com o planograma base, bem como indicando ao usuário, através de uma mensagem de texto, qual o motivo da não conformidade nos planogramas detectados bem como qual é o plano de ação a ser tomado pelo usuário para correção das não conformidades.

[00231] Propõe-se que dito relatório de orientação seja gerado, por exemplo, através de uma inteligência artificial estilo GPT ou LLMs, de modo que a referida inteligência artificial será responsável por interpretar os KPIs e fornecer o relatório de orientação ao usuário. Destaca-se que não necessariamente o relatório de orientação deve ser gerado a partir de inteligência artificial.

[00232] É também objeto da presente invenção um sistema de processamento local de imagem para identificação e classificação de objetos e geração de KPIs, o qual compreende ao menos um dispositivo móvel que pode ser conectado a uma rede tal como internet fixa ou móvel, rede local etc. e uma base de dados remota que possui um portifólio geral.

[00233] Deve ser entendido que o sistema ora proposto é integralmente compatível com o método já descrito previamente, de modo que as características do método aplicam-se mutatis mutandis ao sistema também objeto da presente invenção.

[00234] De qualquer forma, para atingir os objetivos da presente invenção, tem-se que o dispositivo móvel 20 é dotado de ao menos uma unidade de memória, uma unidade de comparação e uma unidade de processamento.

[00235] Neste contexto, tem-se que o dispositivo móvel 20 é configurado para inicialmente permitir que um usuário defina ao menos um segmento de operação de modo a classificar dito local em função de sua natureza de atuação.

[00236] O dispositivo móvel 20 é configurado para receber na unidade de memória ao menos uma base de dados referente ao segmento de operação, em que a base de dados compreende um conjunto de modelos especializados e sendo fornecida a partir do portifólio geral, tal como um planograma base.

[00237] Como já citado, a base de dados recebida no dispositivo móvel 20 é diretamente relacionada ao campo de atuação daquele local, ou seja, se o local for uma loja de artigos esportivos o dispositivo móvel 20 receberá ao menos uma base de dados relacionada a artigos esportivos, sem receber, portanto, bases de dados relacionadas a produtos de higiene pessoal, por exemplo.

[00238] O dispositivo móvel 20 é dotado de meios de captura de imagem como, por exemplo, uma câmera e permite assim capturar ao menos uma imagem e tratar dita imagem, em que dito tratamento pode contemplar ao menos um dentre edição e armazenamento local da mesma.

[00239] A edição de imagem pode contemplar uma série de ferramentas, tais como luminosidade, sombra, foco, brilho, nitidez, calor, corte, seleção, pintura, exclusão, etc. Destaca-se que o usuário pode escolher uma região da foto, selecionando, por exemplo, um polígono de ao menos três pontos, em que a perspectiva da região escolhida é alterada para compensar variações de perspectiva, deixando assim a imagem como se tivesse sido capturada frontalmente.

[00240] De qualquer modo, caso seja detectada uma lacuna na imagem capturada, o dispositivo móvel 20 irá informar ao usuário tal reconhecimento de lacuna e poderá permitir aquisição do objeto faltante. Para tal aquisição, a conexão com rede pode se fazer necessária.

[00241] Caso seja detectada a presença de um objeto na imagem capturada, o dispositivo 20 atribui um modelo especializado vinculado à imagem capturada e vinculado aos objetos presentes na imagem.

[00242] Ou seja, o modelo especializado está, por exemplo, relacionado a um tipo de objeto presente na imagem, e é fornecido a partir da base de dados já armazenada no dispositivo local 20 e relacionada ao ramo de atuação daquele local.

[00243] Por exemplo, no caso de artigos esportivos, o modelo especializado poderá ser de capacetes de ciclismo.

[00244] Com a imagem capturada, o dispositivo móvel 20 é configu- rado para processar a imagem capturada e comparar localmente o objeto reconhecido com a base de dados e classificá-lo quanto a seu tipo, permitindo assim classificar aquele objeto.

[00245] No exemplo citado anteriormente, podem ter sido detectados e classificados, por exemplo, capacetes de ciclismo de estrada, mountain bike e urbanos.

[00246] Para tal, o dispositivo móvel 20 é configurado para comparar os objetos detectados com a base de dados e informar ao usuário o resultado de tal comparação e reconhecimento.

[00247] Caso a comparação com a base de dados não corresponda com o tipo de objeto ali presente, permitir que o usuário corrija o tipo de objeto reconhecido no próprio dispositivo móvel 20, e gerar um tipo de objeto corrigido.

[00248] No mesmo exemplo, suponha-se que um capacete de ciclismo de estrada aerodinâmico tenha sido classificado como capacete urbano. O usuário saberá que tal classificação está equivocada e poderá informar esta ocorrência de erro por meio do próprio dispositivo móvel 20, gerando assim um tipo de objeto corrigido.

[00249] O tipo de objeto corrigido é então enviado de volta para a base de dados através do dispositivo móvel 20, de modo a atualizar dita base de dados tal como um envio de feedback ao sistema em uma malha fechada.

[00250] Esta característica pode ser entendida como uma realimen- tação do próprio sistema com esta informação corrigida, ou seja, o sistema recebe a informação já corrigida pelo usuário e atualiza a base de dados e portifólio geral.

[00251 ] Portanto, em outras palavras o sistema armazena o conjunto de modelos especializados e quando conectado à rede, o permite que o conjunto de modelos especializados remoto seja atualizado.

[00252] Com isso, em uma concretização o dispositivo móvel 20 é configurado para sincronizar um conjunto de modelos especializados remotos a partir do conjunto de modelos especializados. Cada modelo especializado é associado ainda a uma classe de ruído.

[00253] O sistema pode ainda gerar, localmente, com base em uma série de cálculos, ao menos um KPI relacionado ao objeto reconhecido, armazená-lo na unidade de memória o KPI gerado e exibi-lo posteriormente em um display ou tela, por exemplo.

[00254] Adicionalmente, quando da captura de imagem, o dispositivo móvel é configurado para detectar também uma área informativa, em que dita área informativa pode corresponder a uma pluralidade de dados relevantes sobre o objeto detectado na dita imagem, tal como preço, código de barras, QR Code, etc.

[00255] Cumpre notar também que a imagem capturada pode ser formada a partir de um mapa de imagens 10, sendo que o mapa de imagens 10 consiste em um agrupamento de uma pluralidade de imagens 10A, 10B, 10C, 10D, 10E, 10F.

[00256] A pluralidade de imagens 10A, 10B, 10C, 10D, 10E, 10F também é obtida por meio do dispositivo móvel 20, o qual é configurado para agrupá-las adicionando horizontal ou verticalmente cada imagem da pluralidade de imagens 10A, 10B, 10C, 10D, 10E, 10F ao mapa de imagens 10 por ação do usuário no dispositivo.

[00257] De qualquer modo, o mapa de imagens 10 é gerado localmente no dispositivo móvel 20, o qual é convertido também localmente no dispositivo móvel 20. Ou seja, a partir de uma pluralidade de imagens, gera-se uma única imagem no próprio dispositivo móvel 20 permitindo processar esta única imagem posteriormente ao invés das várias imagens capturadas.

[00258] O sistema é configurado ainda para designar automaticamente o tipo específico de objeto presente na imagem com base em aprendizado de máquina tal como descrito previamente, podendo assim indicar o tipo específico de objeto presente na imagem depois de capturar dita imagem pelo dispositivo móvel 20. O sistema pode ainda designar automaticamente o tipo específico de objeto a partir de informações contidas em um planograma base.

[00259] Observa-se que, de acordo com a presente invenção, a imagem capturada refere-se à imagem de um ponto de venda e/ou refere- se a uma imagem em um material impresso, tal como um folheto, cartaz, banner, outdoor e afins.

[00260] No mais, propõe-se que o sistema, e consequentemente o dispositivo móvel, seja apto a gerar uma indicação gráfica na imagem captada, destacando assim para o usuário os objetos detectados. Dita indicação gráfica pode ser entendida como uma micro imagem da imagem captada.

[00261] Entende-se que dita indicação gráfica (micro imagem) possa ser armazenada, processada e transmitida de/para um dispositivo móvel.

[00262] Por fim, ao menos os seguintes KPIs podem ser gerados a partir da metodologia descrita na presente invenção: identificação de presença ou ausência de produtos (out of stock), contagem de faces, participação na prateleira (share of shelf) por metragem e quantidade, espaço vazio, presença de invasores, contagem de invasores, participação de invasores no espaço, full compliance (completude do planograma), posicionamento como planejado no planograma, price-gap (diferença de preço aplicado e sugerido) e mix de produtos.

[00263] Entende-se ainda que um determinado modelo especializado pode ser criado a partir de produtos de um fabricante e também a partir de produtos de seu concorrente. Assim, ao ser captada a foto, será possível detectar e classificar se existe algum produto do concorrente indevidamente disposto no ponto de venda.

[00264] É válido destacar ainda que os ensinamentos da presente invenção também podem ser concretizados com base em uma rede neural que pode ser “treinada” para permitir atingir os avanços e vantagens aqui propostos, ou seja, a presente invenção é plenamente compatível e pode ser implementada com base em redes neurais.

[00265] Entende-se assim que uma das vantagens da presente invenção decorre do fato de que os modelos são especializados, ou seja, podendo considerar uma menor gama de produtos, sendo assim, tais modelos fornecem maior acuracidade dentro do seu contexto, já que tais modelos não precisam considerar contextos desnecessários.

[00266] Assim, de acordo com os ensinamentos descritos, entende- se que a invenção pode ser implementada em um aplicativo móvel de um dispositivo eletrônico, tal como um telefone celular.

[00267] Ainda, e conforme descrito, a invenção se baseia também no uso de servidores que se comunicam com o respectivo dispositivo eletrônico, tal como servidores dispostos em nuvem.

[00268] Entende-se assim que a invenção também aborda um meio não transitório legível por computador que compreende um conjunto de instruções apto a executar as etapas do método previamente descrito bem como executar as funcionalidades do sistema descrito.

[00269] Tendo sido descrito um exemplo de concretização preferido, deve ser entendido que o escopo da presente invenção abrange outras possíveis variações, sendo limitado tão somente pelo teor das reivindicações apensas, aí incluídos os possíveis equivalentes.

Claims

REIVINDICAÇÕES

1 . Método de processamento local de imagem para identificação e classificação de objetos e geração de KPIs sendo as etapas do método realizadas através de um dispositivo móvel (20), o método sendo caracterizado por compreender ao menos as seguintes etapas:

- Definição de ao menos um segmento de operação,

- Receber, por meio de uma rede de conexão, no dispositivo móvel (20), ao menos uma base de dados referente ao segmento de operação, a base de dados compreendendo um conjunto de modelos especializados e sendo fornecida a partir de um conjunto de modelo especializados remotos;

- Captura de ao menos uma imagem usando o dispositivo móvel (20);

- Processamento local da imagem no dispositivo móvel (20);

- Detecção, na imagem capturada, de ao menos um padrão de objeto;

- Caso seja detectado ao menos um padrão de objeto, considerar, para o padrão de objeto detectado, um respectivo modelo especializado, em que o modelo especializado compreende ao menos um padrão de reconhecimento,

- Avaliar o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado,

- A partir da avaliação entre o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado, classificar o objeto,

- Informar ao usuário que o objeto foi classificado;

- Gerar, no dispositivo móvel (20), ao menos um KPI a partir da classificação do objeto.

2. Método de acordo com a reivindicação 1 , caracterizado pelo fato de que o modelo especializado é considerado a partir de um conjunto de modelos especializados, em que cada modelo especializado do con- junto de modelos especializados é relacionado a ao menos um determinado padrão de objeto e armazenado localmente no dispositivo móvel (20).

3. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que cada modelo especializado compreende ao menos um padrão de reconhecimento, o padrão de reconhecimento sendo configurado de modo a indicar que um objeto compreende uma determinada característica, de modo que dita característica permite a identificação do objeto.

4. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o padrão de reconhecimento é configurado como ao menos um entre: padrão de forma, padrão de imagem, padrão de cor, padrão de texto e suas combinações.

5. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o conjunto de modelos especializados é enviado para o dispositivo móvel de acordo com ao menos um critério, tal como um critério de tempo e de localização.

6. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que caso na imagem captada seja detectada uma pluralidade de padrões de objeto, em que cada padrão de objeto compreende o seu respectivo modelo especializado, realizar uma etapa de processar separadamente cada um dos modelos especializados.

7. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o modelo especializado compreende ao menos um padrão de reconhecimento, em que a etapa de processamento local da imagem compreende processar separadamente cada padrão de reconhecimento do modelo especializado.

8. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que caso a comparação entre o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado não permita classificar o objeto, realizar uma etapa de enviar o padrão de objeto da imagem para um sistema remoto e criar um novo modelo especializado a partir do padrão de objeto, em que no novo modelo especializado o padrão de reconhecimento será o padrão de objeto, de modo a atualizar o conjunto de modelos especializados remotos.

9. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a etapa de informar ao usuário que o objeto foi classificado ainda compreende a etapa de receber uma confirmação do usuário, em que dita confirmação pode ser uma confirmação positiva ou negativa, de modo que, caso a confirmação do usuário seja uma confirmação negativa, realizar uma etapa de gerar um dado de atualização e estabelecer um canal de alimentação de aprendizagem, em que o dado de atualização atualiza a classificação do objeto, em que o dado de atualização é um dado de aprendizagem relacionado a avaliação entre o padrão de objeto e o padrão de reconhecimento.

10. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o conjunto de modelos especializados remotos é atualizado a partir de ao menos um dentre os dados de atualização e o novo modelo especializado.

11. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a etapa de captura de imagem usando um dispositivo móvel pode incluir ainda detecção de uma área informativa, em que dita área informativa pode corresponder a uma pluralidade de dados relevantes sobre o objeto detectado na dita imagem.

12. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a imagem capturada na etapa de captura de imagem pode ser formada a partir de um mapa de imagens (10), sendo que o mapa de imagens (10) consiste em um agrupamento de uma pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F), sendo que a pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) é obtida por meio do dispositivo móvel (20, 20'), em que o agrupamento da pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) é realizado pelo usuário do dispositivo móvel (20, 20') adicionando cada imagem da pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) ao mapa de imagens (10), sendo que essa adição ao mapa de imagens (10) pode ser realizada horizontal ou verticalmente.

13. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que compreende ainda as etapas de:

- Gerar o mapa de imagens (10) localmente no dispositivo móvel (20) e

- Converter o mapa de imagens (10) em uma única imagem, sendo que essa conversão ocorre localmente no dispositivo móvel (20,20').

14. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a etapa de detectar ao menos um padrão de objeto ainda compreende as etapas de:

- Gerar uma indicação gráfica para cada padrão de objeto detectado, e

- Registrar as coordenadas na imagem capturada de cada padrão de objeto detectado.

15. Sistema para processamento local de imagem para identificação e classificação de objetos e geração de KPIs, o sistema compreendendo ao menos um dispositivo móvel (20) e uma base de dados remota que possui um portifólio geral, em que o dispositivo móvel (20) é dotado de ao menos uma unidade de memória e de uma unidade de comparação e pode ser conectado a uma rede, o sistema sendo caracterizado pelo fato de que o dispositivo móvel (20) é configurado para:

- definir ao menos um segmento de operação; - Receber na unidade de memória ao menos uma base de dados referente ao segmento de operação, em que a base de dados compreende um conjunto de modelos especializados e sendo fornecida a partir de um conjunto de modelo especializados remotos;

- Capturar ao menos uma imagem;

- Processar localmente a imagem capturada;

- Detectar, na imagem capturada, ao menos um padrão de objeto;

- Caso seja detectado ao menos um padrão de objeto, considerar, para o padrão de objeto detectado, um respectivo modelo especializado, em que o modelo especializado compreende ao menos um padrão de reconhecimento;

- Avaliar o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado;

- A partir da avaliação entre o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado, classificar o objeto;

- Informar ao usuário que o objeto foi classificado;

16. Sistema de acordo com a reivindicação 15, caracterizado pelo fato de que o modelo especializado é considerado a partir de um conjunto de modelos especializados, em que cada modelo especializado do conjunto de modelos especializados é relacionado a ao menos um determinado padrão de objeto e armazenado localmente no dispositivo móvel (20).

17. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que cada modelo especializado compreende ao menos um padrão de reconhecimento, o padrão de reconhecimento sendo configurado de modo a indicar que um objeto compreende uma determinada característica, de modo que dita característica permite a identificação do objeto.

18. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o padrão de reconhecimento é configurado como ao menos um entre: padrão de forma, padrão de imagem, padrão de cor, padrão de texto e suas combinações.

19. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o conjunto de modelos especializados é enviado para o dispositivo móvel de acordo com ao menos um critério, tal como um critério de tempo e de localização.

20. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que caso na imagem captada seja detectada uma pluralidade de padrões de objeto, em que cada padrão de objeto compreende o seu respectivo modelo especializado, o dispositivo móvel (20) é configurado para processar separadamente cada um dos modelos especializados.

21. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o modelo especializado compreende ao menos um padrão de reconhecimento, em que o processamento local da imagem compreende processar separadamente cada padrão de reconhecimento do modelo especializado.

22. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que, caso a comparação entre o padrão de objeto da imagem com o respectivo padrão de reconhecimento do modelo especializado não permita classificar o objeto, é configurado para enviar o padrão de objeto da imagem para um sistema remoto e criar um novo modelo especializado a partir do padrão de objeto, em que no novo modelo especializado o padrão de reconhecimento será o padrão de objeto, de modo a atualizar o conjunto de modelos especializados remotos.

23. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que é configurado para, ao informar ao usuário que o objeto foi classificado, ainda receber uma confirmação do usuário, em que dita confirmação pode ser uma confirmação positiva ou negativa, de modo que, caso a confirmação do usuário seja uma confirmação negativa, gere um dado de atualização e estabeleça um canal de alimentação de aprendizagem, em que o dado de atualização atualiza a classificação do objeto, em que o dado de atualização é um dado de aprendizagem relacionado a avaliação entre o padrão de objeto e o padrão de reconhecimento.

24. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o conjunto de modelos especializados remotos é atualizado a partir de ao menos um dentre os dados de atualização e o novo modelo especializado.

25. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o dispositivo móvel (20) é configurado para, quando da captura de imagem, realizar ainda uma detecção de uma área informativa, em que dita área informativa pode corresponder a uma pluralidade de dados relevantes sobre o objeto detectado na dita imagem.

26. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a imagem capturada pode ser formada a partir de um mapa de imagens (10), sendo que o mapa de imagens (10) consiste em um agrupamento de uma pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F), sendo que a pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) é obtida por meio do dispositivo móvel (20, 20'), em que o agrupamento da pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) é realizado pelo usuário do dispositivo móvel (20, 20') adicionando cada imagem da pluralidade de imagens (10A, 10B, 10C, 10D, 10E, 10F) ao mapa de imagens (10), sendo que essa adição ao mapa de imagens (10) pode ser realizada horizontal ou verticalmente.

27. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o mapa de imagens (10) é gerado no dispositivo móvel (20), o mapa de imagens (10) sendo convertido localmente em uma única imagem também no dito dispositivo móvel (20, 20’).

28. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que é configurado para gerar uma indicação gráfica para cada padrão de objeto detectado e registrar as coordenadas na imagem capturada de cada padrão de objeto detectado.

29. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que é configurado para indicar o tipo específico de objeto presente na imagem antes ou depois de capturar uma imagem pelo dispositivo móvel (20).

30. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que é configurado de modo que cada modelo especializado é associado ainda a uma classe de ruído.

31. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a imagem capturada re- fere-se à imagem de um ponto de venda e/ou refere-se a uma imagem em um material impresso.

32. Sistema de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que é compatível com o método da reivindicação 1.

33. Objeto disposto em uma prateleira e presente em uma imagem capturada em dispositivo móvel (20) caracterizado pelo fato de que é reconhecido através do método da reivindicação 1 com base no sistema da reivindicação 15.

34. Meio não transitório legível por computador caracterizado pelo fato de que compreende um conjunto de instruções configurado para executar o método definido na reivindicação 1 e baseado no sistema da reivindicação 15.