WO2017180003A2 - Sistema para medição de pescado usando uma câmara e um projector de luz estruturada - Google Patents
Sistema para medição de pescado usando uma câmara e um projector de luz estruturada Download PDFInfo
- Publication number
- WO2017180003A2 WO2017180003A2 PCT/PT2017/050012 PT2017050012W WO2017180003A2 WO 2017180003 A2 WO2017180003 A2 WO 2017180003A2 PT 2017050012 W PT2017050012 W PT 2017050012W WO 2017180003 A2 WO2017180003 A2 WO 2017180003A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- fish
- dimensional
- camera
- acquisition
- mesh
- Prior art date
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 122
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims description 12
- 241000894007 species Species 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000003562 morphometric effect Effects 0.000 claims description 9
- 238000013425 morphometry Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000009360 aquaculture Methods 0.000 claims description 3
- 244000144974 aquaculture Species 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims 4
- 230000003750 conditioning effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001483 mobilizing effect Effects 0.000 description 1
- 238000007491 morphometric analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
- G01G19/60—Weighing apparatus combined with other objects, e.g. furniture combined with fishing equipment, e.g. with fishing rods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
Definitions
- the field of invention of the present invention is the measurement of fish by means of a computer vision system with application in the areas of biometrics, measurement, inspection and sampling of fish.
- the size composition of fish landed or caught by the fishing fleets is one of the main biological data used in the assessment and management of fishery resources.
- fish trade, scientific analysis. often related to morphometric studies, fish growth control in aquaculture are still other relevant reasons that underline the importance of measuring fish.
- the present invention is an automatic fish measurement system comprising three central elements: a structured light projector, a camera and a surface on which the fish is positioned which is ideally flat and can be a scale or a treadmill.
- a structured light projector a camera
- a surface on which the fish is positioned which is ideally flat and can be a scale or a treadmill.
- the incidence of structured light on an object and its reading through a camera allows the system to obtain a three-dimensional map of an object by triangulating multiple light rays. This three-dimensional mesh makes it possible to calculate distances between any two points of the object.
- an automatic fish measurement collection system which selects and stores in a database only one three-dimensional mesh for each new fish or fish box placed on the surface. This is essential to have one and one three-dimensional map for each fish sample, to optimize not only the information provided in the measurement process but also the memory needed to host the database.
- the major problem is dealing with unstructured auction or boat environments, where operators manually and sequentially place fish (or fish boxes) on a scale or other equivalent surface.
- the system and method we propose in the present invention is intended to deal with this problem by automatically detecting the existence of fish and saving only a three dimensional mesh thereof.
- the proposed method consists of sequential acquisition of three-dimensional meshes of the fish and, through a comparative analysis between the obtained meshes, store the relevant information only when the fish is present on the surface viewed by the camera, as well as when it is in a stable position.
- the major problem in obtaining data from fish measures is mainly the small amount of information that is obtained due to its very high cost and the difficulty of meeting basic statistical sampling assumptions in order to obtain unbiased samples. .
- an automated catch measurement system selects and stores in its database only one three-dimensional mesh for each new sample of interest. This is essential to have one and one three-dimensional map for each fish sample, not a massive set of three-dimensional maps without any criteria, producing too much information for the downstream measurement process and making the database memory needs unbearable. .
- An automatic measurement system must be able to detect fish, store the three-dimensional mesh only once, and wait for a valid new fish to occur.
- Our system and method proposes to perform this task automatically, and it is not known to us that a similar system exists.
- Figure 1 shows the different components that comprise the apparatus for obtaining fish measurements.
- FIG. 2 shows the different steps of the catch measurement method.
- Figure 3 represents a possible image corresponding to an acquisition made by the apparatus, where are characteristic points of the fish, called fiducial points.
- Figure 4 represents two moments of acquisition by the apparatus, a first moment corresponding to obtaining the three-dimensional reference mesh and a second moment obtaining a three-dimensional mesh corresponding to an acquisition in the presence of fish.
- the present invention is a method and apparatus for measuring fish.
- the method utilizes a structured infrared light projector (101), a camera (100) that detects infrared light, where the observed scene focuses on an ideally planar fish support surface (106) which can be, for example, a scale or a treadmill.
- Step (200) is the calibration of the chamber (100) relative to the structured light projector (101). Calibration is performed by placing an object of known size on the surface [5], a chessboard with multiple black and white squares in its preferred configuration. The projector's rays are projected onto the object and the camera acquires an image of the set. Looking at the projected points on the camera, the position of the projector relative to the camera is inferred. This transformation between the camera and the projector allows for the calculation of the triangulation described in b) and d).
- Step 201 is the calculation of the three-dimensional reference mesh 400.
- Step (202) corresponds to multiple consecutive acquisitions of said support surface (106). Each acquisition corresponds to the emission by the projector (101) of multiple structured light rays (102) and the subsequent uptake of light rays. (103) by the camera.
- Step 203 is motion detection by calculating the difference between consecutive three-dimensional meshes. This step serves to detect the transitory moments (placing or withdrawing the fish on the support surface), when objects are moving and where three-dimensional information is of little interest to the measurement process. Consecutive obtaining of three-dimensional meshes allows to determine whether there was movement of placing or removing fish on the support surface (106), or generally, if there was movement on said surface (106).
- Step 204 consists of determining the presence of fish. Fish is identified by comparing the three-dimensional mesh (401) with the reference (400) obtained in step b) (201). If the three-dimensional coordinates of the acquired mesh differ from the reference mesh, the presence of fish shall be identified.
- Step 205 consists of detecting the presence of new fish based on the three-dimensional mesh of the last fish stored in the database.
- This step (206) is to save the three-dimensional mesh of a given acquisition only when the following three conditions are met simultaneously: there is fish (208) as detected in f); this fish is different from the last fish stored in database (209) as detected in g); the scenario is not at a transitional moment, ie there is no movement (207) as detected in e).
- Step 211 consists of measuring distances between points belonging to a three-dimensional mesh (401) stored in database (105). Once in possession of a three-dimensional mesh with the 3D point coordinates of the scene observed by the camera (100), of which the fish (107) is part, it is possible, by selecting two points, to obtain measurements of the fish by Euclidean distance calculation between these points.
- Claims 2 and 3 refer to how the fish is placed on the support surface.
- the former refers to the manual mode, while the latter refers to a mechanical mode, the preferred mode of which is the treadmill. In either case it is crucial that the fish is temporarily immobile on the surface so that step h is activated and the respective metric information is stored in the database.
- Temporary immobilization is usual as the support surface is often a balance and therefore some immobilization of the sample is required to weigh it.
- Claim 4 concerns the use of a box to condition the weight, and the segmentation or detection of the rectangle corresponding to the shape surrounding the box.
- the use of boxes is usual. It is therefore interesting to select and save only the part of the mesh corresponding to the object of interest, which in this case is only the mesh inscribed within the rectangle.
- Claim 5 refers to the fact that we may store also the image obtained by the camera, in addition to the three-dimensional map that is stored in the database. Thus, photometric information is stored for each sample, which may be useful both for cataloging the samples and for image analysis.
- Claim 6 refers to the fact that we use image points to make measurements, which points are projected onto the three-dimensional mesh to obtain the respective three-dimensional coordinates and thus to obtain accurate distances between the points.
- the information contained in the three-dimensional mesh of the fish and its image can be used for purposes other than simply obtaining measurements.
- One possibility is the identification of the fish (Claim 7) by comparison exercise between observed samples and a list of standard models of known fish species. These standard models have the metric information (the biometric measurements of the species) and the photometric information (color and texture characteristics) needed to determine the species observed in the sample.
- a distance that can be calculated using the method described is the total length (301) of the fish.
- fiducial points (302) concern characteristic points of fish, whose importance is relevant for biometric analysis and calculating certain measurements, for example the distance between the start and end points of a fish's fin or the eye diameter. Distances calculated between two fiducial points give a characterization of the fish in question.
- CT is the total length and coefficients A and B are determined in morphometric studies and vary according to species and habitat [6].
- Claim 11 relates to the calculation of weight by measurements of fish, also using morphometric equations of the species.
- Claim 12 describes the apparatus implementing the method proposed in the preceding claims.
- This apparatus comprises a processor communicating with a memory with instructions to be executed, a structured light projector and a camera.
- the projector and camera focus on a surface that supports fish whose measurements are want to do.
- Claim 14 relates to the apparatus wherein the preferred embodiment is an infrared light emitting projector and an infrared light sensitive camera. This configuration allows you to use structured light in an area of the spectrum outside visible light, which facilitates the actual implementation of light in auction or boat.
- this patent proposes the use of the apparatus in any of the following applications: fish measurement and sampling; fish identification; inspection and inspection of fish in boats and fish auctions; achieving compliance with legal directives; scientific studies; fish size control in aquaculture; ecological studies in intertidal areas; field work to obtain measurements in various scientific disciplines.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marine Sciences & Fisheries (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Este invento propõe num sistema para tirar medidas de pescado, que compreende três elementos centrais: um projetor de luz estruturada, uma câmara e uma superfície onde o pescado está posicionado. Por via da triangulação dos raios de luz projetados e observados pela câmara, o sistema produz sucessivos mapas tridimensionais do que observa. Contudo, o sistema apenas seleciona e guarda uma malha tridimensional por cada nova amostra de interesse. Isso é essencial para se ter um e um só mapa tridimensional por cada amostra de pescado, e não um conjunto massivo de mapas tridimensionais, desnecessário para o processo de medição. Este invento propõe saber, de forma automática, a cada instante, se existe pescado sobre a superfície visualizada pela câmara e guardar apenas uma vez a malha tridimensional do pescado. A informação disponibilizada na malha tridimensional permite a determinação de distâncias rigorosas entre quaisquer dois pontos sobre a superfície do pescado.
Description
DESCRIÇÃO
Sistema para Medição de Pescado usando uma câmara e um projector de luz estruturada
Domínio técnico da invenção
0 campo de invenção do presente invento consiste na medição de pescado, através de um sistema de visão por computador, com aplicação nas áreas da biometria, medição, inspeção e amostragem de pescado.
Enquadramento
0 controlo dos stocks de pescado e a sobre-exploração dos mesmos tem surgido nos últimos anos como um problema ecológico e ambiental. A diminuição das populações de certas espécies aquáticas põe em causa a sua sustentabilidade, bem como o bom estado ambiental dos ecossistemas. Aliado a este problema, surgem também questões de natureza económica relacionadas com a economia do mar, da qual fazem parte não só pescadores, mas também armadores, lotas, intermediários e vendedores.
A composição de tamanhos do pescado desembarcado ou capturado pelas frotas de pesca constitui um dos principais dados biológicos utilizados na avaliação e gestão dos recursos pesqueiros. No entanto, existem ainda outras razões relevantes que salientam a importância de medir pescado, tais como: comércio de peixe, análises cientificas
muitas vezes relacionadas com estudos de morfometria, controlo do crescimento de peixes em aquicultura.
O presente invento consiste num sistema automático para efetuar medições de pescado, que compreende três elementos centrais: um projetor de luz estruturada, uma câmara e uma superfície onde o pescado está posicionado, que é idealmente plana e pode ser uma balança ou um tapete rolante. A incidência da luz estruturada sobre um objecto e a sua leitura através de uma câmara permite ao sistema obter um mapa tridimensional de um objeto por triangulação de múltiplos raios de luz. Esta malha tridimensional possibilita o cálculo de distâncias entre quaisquer dois pontos do objeto.
No presente invento, propõe-se um sistema automático de recolha de medidas de pescado que seleciona e guarda numa base de dados apenas uma malha tridimensional por cada nova pescado ou caixa de pescado colocado sobre a superfície. Isso é essencial para ter um e um só mapa tridimensional por cada amostra de pescado, para optimizar não só a informação oferecida no processo de medição mas também a memória necessária para alojar a base de dados.
Para além do problema de obter informação tridimensional, resolvido pelo par câmara/proj etor, o problema maior é lidar com ambientes não estruturados em lotas ou barcos, nos quais os operadores colocam de forma manual e sequencial pescado (ou caixas de pescado) sobre uma balança ou outra superfície equivalente. O sistema e método que propomos no presente invento pretende lidar com esse problema, porquanto detecta automaticamente a existência de pescado e guarda apenas uma malha tridimensional do mesmo.
Assim, o método proposto consiste na aquisição sequencial de malhas tridimensionais do pescado e, através de uma análise comparativa entre as malhas obtidas, armazenar a informação relevante apenas quando o pescado está presente na superfície visualizada pela câmara, bem como quando está numa posição estável.
Estado da Arte
A amostragem e inspeção de pescado tornaram-se problemas internacionais, tendo sido criadas diretivas e legislação para regular estas atividades. Na União Europeia são vários os institutos estatais responsáveis por organizar programas de recolha de dados para análise de recursos e cumprimento da legislação.
O grande problema da obtenção de dados de medidas de pescado centra-se, fundamentalmente, na reduzida quantidade de informação que é obtida, devido ao seu custo muito elevado e à dificuldade em cumprir com pressupostos básicos de amostragem estatística de modo a obter amostras não enviesadas .
Atualmente, a amostragem de pescado é efetuada principalmente em lotas ou a bordo de embarcações. Mobilizar amostradores para estar a bordo de navios pesqueiros representa sempre um custo relevante. Noutros casos, a amostragem em lotas pode também ser pouco representativa das populações aquáticas, ou do tamanho do pescado que é desembarcado, pois está muito dependente da disponibilidade dos amostradores, dado a grande quantidade de lotas a inspecionar e a dificuldade inerente em cumprir
os critérios ou pressupostos estatísticos da amostragem de modo a obter amostras dos tamanhos do pescado que sejam representativas do universo desembarcado ou capturado de cada espécie.
A reduzida quantidade de dados e muitas vezes a forma como as amostras são obtidas conduz, naturalmente, ao enviesamento das amostras e impossibilita a utilização de técnicas avançadas de análise estatística, como a amostragem estratificada.
Estes problemas conduzem frequentemente a avaliações erradas ou enviesadas das abundâncias das populações ou stocks pesqueiros e consequentemente à tomada de medidas de gestão das pescarias necessariamente menos adequadas.
Os métodos atualmente utilizados para medição são, em alguns casos, manifestamente rudimentares, sendo baseados na utilização manual de réguas. As invenções "US5339532" e "US20120324751" são exemplos do referido, cu a utilização é lenta, ineficiente e propensa à geração de erros de medição e de representatividade estatística da amostragem . Outra desvantagem na utilização deste tipo de objetos relaciona- se com a necessidade de manipular manualmente o pescado, o que implica em muitos casos a desvalorização do produto e uma menor colaboração dos pescadores e amadores para com os programas de amostragem.
Alguns sistemas eletrónicos, tais como "US7408125", tentam minimizar a manipulação manual do pescado, não o conseguindo totalmente. Para além disto, possuem ainda outra desvantagem: o facto de não conseguirem registar as medições e de não as conseguirem repetir. No caso de
existirem erros sistemáticos no processo amostrai, estes nunca serão verificáveis senão posteriormente, depois de as medidas não poderem ser reprodutíveis.
Outros equipamentos, tais como "US20150316367" e [1], resolvem o problema importante de registo automático de medidas em bases de dados especializadas para o efeito e permitem também o controlo de outras variáveis, como por exemplo o peso do peixe e o local de captura. Contudo, continua por resolver o problema na lentidão da obtenção das medidas, a necessidade de manipulação do pescado e a representatividade estatística da amostragem.
Para além dos aparelhos e equipamentos já exemplificados, existem alguns trabalhos de índole académica ([2], [3] e [4]) onde foram desenvolvidos projetos de equipamentos destinados à medição de peixe com auxílio de câmaras. Estes sistemas são, no entanto, pouco especializados, pois usam apenas informação de uma ou duas câmaras de luz visível.
No caso dos sistemas com uma câmara, estes sistemas não lidam com informação tridimensional, admitindo que o pescado está projetado num plano da superfície de suporte.
No caso dos sistemas de duas câmaras, usando visão estéreo, estes sistemas fazem reconstrução tridimensional com base na correspondência entre pontos das duas imagens do par estéreo. Contudo este processo normalmente é difícil, lento, sujeito a erros e exige a intervenção do utilizador.
O nosso sistema, usando um projetor e uma câmara, obtém a informação tridimensional de forma automática e rápida, com a frequência equivalente à taxa de aquisição usual de uma
câmara vídeo. Esta performance não é possível nos sistemas estéreo, como descrito, por exemplo, no invento "US 20130223693".
Existem outros sistemas de aquisição tridimensional com luz estruturada, tais como "US 6549288 B" aplicados a outras áreas que não especificamente à medição de pescado. Estes sistemas adquirem múltiplas malhas tridimensionais, mas não aplicam qualquer critério de seleção das malhas tridimensionais que adquirem, tendo em conta os objetos que observam.
Contudo, é importante que um sistema automático de recolha de medidas de pescado selecione e guarde na sua base de dados apenas uma malha tridimensional por cada nova amostra de interesse. Isso é essencial para ter um e um só mapa tridimensional por cada amostra de pescado, e não um conjunto massivo de mapas tridimensionais sem qualquer critério, produzindo informação excessiva para o processo de medição a jusante e tornando incomportáveis as necessidades de memória da base de dados.
Por outro lado, é essencial que os mapas tridimensionais sejam selecionados de forma automática, sem qualquer intervenção humana. O problema é assim lidar com ambientes não estruturados (como em lotas ou barcos), nos quais os operadores colocam de forma sequencial pescado (ou caixas de pescado) sobre uma balança ou superfície equivalente.
Um sistema de medição automática tem que ser capaz de detectar a existência de pescado, guardar apenas uma vez a malha tridimensional do mesmo, e aguardar por uma nova ocorrência válida de pescado. O nosso sistema e método
propõe realizar esta tarefa de forma automática, e não é do nosso conhecimento que exista um sistema semelhante.
Descrição das figuras
A Figura 1 mostra os diferentes componentes que compreendem o aparato para obtenção de medidas de pescado.
A Figura 2 mostra os diferentes passos do método de captura de medidas de pescado.
A Figura 3 representa uma possível imagem correspondente a uma aquisição efetuada pelo aparato, onde estão representados pontos característicos do pescado, denominados pontos fiduciais.
A Figura 4 representa dois momentos de aquisição pelo aparato, um primeiro momento correspondente à obtenção da malha tridimensional de referência e um segundo momento onde se obtém uma malha tridimensional correspondente a uma aquisição na presença de pescado.
Descrição detalhada
O presente invento consiste num método e num aparato para medir pescado. Na configuração preferida deste invento, o método utiliza um projetor (101) de luz infravermelha estruturada, uma câmara (100) que deteta luz infravermelha, cu a cena observada se centra numa superfície de suporte de pescado (106), idealmente planar, que pode ser, por exemplo, uma balança ou um tapete rolante.
Na configuração preferida, o método, como referido na
Reivindicação 1, compreende os seguintes passos: a) O passo (200) consiste na calibração da câmara (100) relativamente ao projetor de luz estruturada (101) . A calibração é realizada colocando sobre a superfície um objeto com dimensão conhecida [5], um xadrez com múltiplas quadrículas pretas e brancas na sua configuração preferida. Os raios do projetor são projetados sobre o objeto e a câmara adquire uma imagem do conjunto. Observando na câmara os pontos projetados sobre o objeto, infere-se a posição do projetor relativamente à câmara. Esta transformação entre a câmara e o projetor permite efetuar o cálculo da triangulação descrito em b) e d) . b) O passo (201) consiste no cálculo da malha tridimensional de referência (400) . Múltiplos raios de luz (102) são projetados pelo projetor (101) sobre a referida superfície (106) e recebidos (103) pela câmara (100) por via de aquisição de imagem. Conhecida a transformação geométrica entre a câmara e o projetor (em a), é geometricamente simples proceder à interseção do raio de luz do projetor com o raio de projeção da câmara, processo denominado triangulação. A triangulação permite calcular as coordenadas tridimensionais do pontos de interseção. O conjunto destes pontos projetados sobre a superfície de suporte, interligados pelas relações de vizinhança, corresponde à malha tridimensional de referência (400) . c) O passo (202) corresponde a múltiplas aquisições consecutivas da referida superfície de suporte (106) .Cada aquisição corresponde à emissão, pelo projetor (101), de múltiplos raios de luz estruturada (102) e a subsequente captação de raios de luz (103) por parte da câmara.
Múltiplas aquisições significa que o sistema que implementa o método está continuamente a adquirir imagens da superfície de suporte (106), onde o pescado (107) vai sendo colocado e retirado sequencialmente. d) Este passo calcula a malha tridimensional (401) para cada aquisição, pelo mesmo processo de triangulação descrito em b) . e) O passo (203) consiste na deteção de movimento através do cálculo da diferença entre malhas tridimensionais consecutivas. Este passo serve para detetar os momentos transitórios (de colocação ou retirada do pescado sobre a superfície de suporte), nos quais os objetos estão em movimento e cu a informação tridimensional tem pouco interesse para o processo de medida. A obtenção consecutiva de malhas tridimensionais permite determinar se houve movimento de colocação ou retirada de pescado sobre a superfície de suporte (106), ou de um modo geral, se houve movimento sobre a dita superfície (106) . A comparação entre malhas tridimensionais consecutivas é feita através de uma análise das coordenadas tridimensionais dos pontos da malha tridimensional. Se as coordenadas tridimensionais se alterarem para os mesmos pontos projetados, considera-se que terá havido movimento de um objeto sobre a superfície. Caso as coordenadas tridimensionais se mantiverem estáticas, no seu conjunto, em duas aquisições sucessivas, considera- se que a cena visualizada está estática durante esse período . f) O passo (204) consiste na determinação da presença de pescado. A identificação de pescado é efetuada através de uma comparação da malha tridimensional (401) com a malha de
referência (400) obtida no passo b) (201) . Caso as coordenadas tridimensionais da malha adquirida forem diferentes da malha de referência, identifica-se a presença de pescado. g) O passo (205) consiste na deteção da presença de novo pescado tendo por base a malha tridimensional do último pescado guardado na base de dados. Como iremos ver, apenas algumas malhas tridimensionais são guardadas. Para além da malha tridimensional de referência (em b) (400), são guardadas as malhas tridimensionais relevantes do pescado a medir, como iremos ver no passo seguinte. Assim, neste passo, o sistema compara a malha tridimensional de cada aquisição com a última malha relevante adquirida, de forma a garantir que não é a mesma malha tridimensional e não seja guardada de forma redundante. h) Este passo (206) consiste em guardar a malha tridimensional de uma dada aquisição apenas quando as três condições seguintes se verificarem simultaneamente: existe pescado (208) conforme detetado em f ) ; esse pescado é diferente do último pescado guardado na base de dados (209) conforme detetado em g) ; o cenário não está num momento transitório, ou seja, não existe movimento (207), conforme detetado em e) . Reunidas estas condições, a malha tridimensional (401) é guardada na base de dados (105) . Deste modo, existe armazenamento de um mapa tridimensional apenas quando um novo pescado está imobilizado durante duas aquisições consecutivas. Isto reduz significativamente a quantidade de dados guardados na base de dados, já que guarda os dados estritamente relevantes para o processo de medida. Caso quaisquer das condições enunciadas não se verifiquem, o mapa tridimensional é descartado.
Seguidamente, é adquirida nova malha tridimensional (210) . i) O passo (211) consiste na medição de distâncias entre pontos pertencentes à uma malha tridimensional (401) guardada na base de dados (105) . Uma vez estando na posse de uma malha tridimensional com as coordenadas 3D de pontos da cena observada pela câmara (100), da qual o pescado (107) faz parte, é possível, através da seleção de dois pontos, obter medidas do pescado, pelo cálculo de distância euclideana entre os referidos pontos.
As Reivindicações 2 e 3 referem-se à forma como o pescado é colocado sobre a superfície de suporte. A primeira refere- se ao modo manual, enquanto a última refere-se a um modo mecânico, cujo modo preferido é o tapete rolante. Em qualquer dos casos é determinante que o pescado fique temporariamente imóvel sobre a superfície, de forma a que o passo h seja ativado e a respetiva informação métrica seja guardada na base de dados. A imobilização temporária é usual, já que muitas vezes a superfície de suporte é uma balança, e, por conseguinte, é necessária alguma imobilização da amostra para que se proceda à pesagem da mesma .
A Reivindicação 4 refere-se à utilização de uma caixa para condicionar o peso, e ao facto de se proceder à segmentação ou deteção do retângulo correspondente à forma que envolve a caixa. A utilização de caixas é usual. Por isso, é interessante selecionar e guardar apenas a parte da malha correspondente ao objeto de interesse, que, neste caso, é apenas a malha inscrita dentro do retângulo.
A Reivindicação 5 refere-se ao facto de podermos guardar
também a imagem obtida pela câmara, complementarmente ao mapa tridimensional que é guardado na base de dados. Assim, guarda-se informação fotométrica de cada amostra, que poderá ser útil quer para catalogação das amostras, quer para análise de imagem.
A imagem pode ser utilizada para seleção dos pontos a medir A visualização do pescado torna mais simples a seleção dos pontos de interesse sobre o pescado. A Reivindicação 6 refere-se ao facto de usarmos pontos da imagem para efetuar medidas, pontos esses que são projetados sobre a malha tridimensional para obter as respetivas coordenadas tridimensionais e, assim, obter distâncias rigorosas entre os pontos.
A informação contida nas malhas tridimensionais do pescado e na imagem do mesmo pode ser utilizada para outros fins além da simples obtenção de medidas. Uma possibilidade é a identificação do pescado (Reivindicação 7) por exercício de comparação entre as amostras observadas e uma lista de modelos-padrão de espécies de pescado conhecidas. Estes modelos-padrão têm a informação métrica (as medidas biométricas da espécie) e a informação fotométrica ( caraterísticas de cor e textura) necessárias para determinar a espécie observada na amostra.
Uma distância passível de ser calculada utilizando o método descrito é o comprimento total (301) do pescado
(Reivindicação 8) . No entanto, pode-se proceder à seleção de quaisquer dois pontos fiduciais (302) do objeto
(Reivindicação 9) . Tais pontos fiduciais (302) dizem respeito a pontos característicos do pescado, cu a importância é relevante para análise biométrica e para o
cálculo de certas medidas, por exemplo a distância entre os pontos inicial e final da barbatana de um peixe ou o diâmetro ocular. Distâncias calculadas entre dois pontos fiduciais permitem obter uma caracterização do pescado em questão .
Algumas distâncias entre pontos fiduciais do pescado, permitem, inclusive, computar o comprimento total (301) do mesmo, através de relações morfométricas conhecidas relativas à espécie do pescado em questão (Reivindicação 10) . As relações morfométricas são fórmulas de cálculo que definem o comprimento total do pescado com base numa relação linear do tipo CT = AX + B, em que o valor X corresponde a uma certa distância característica do pescado, como por exemplo, o comprimento da barbatana dorsal, CT é o comprimento total e os coeficientes A e B são determinados em estudos de morfometria e variam de acordo com a espécie e o respetivo habitat [6] .
A Reivindicação 11 refere-se ao cálculo do peso através de medidas do pescado, usando igualmente equações morfométricas da espécie. As equações morfométricas que estimam o peso do pescado são normalmente relações à potência, do tipo PESO = A*CTAB. em que CT é o comprimento total e A e B são coeficientes determinados por estudos de morfometria e também variam de espécie para espécie [6] .
Na Reivindicação 12 descreve-se o aparato que implementa o método proposto nas reivindicações anteriores. Este aparato compreende um processador em comunicação com uma memória com as instruções a executar, um projetor de luz estruturada e uma câmara. O projetor e a câmara focam-se numa superfície que suporta o pescado cujas medição se
pretende efetuar.
Na Reivindicação 13, propõe-se um realização especifica para a dita superfície, que consiste no prato de uma balança, pois, nos ambientes onde a amostragem de pescado tipicamente ocorre, é um local onde o pescado, ou as caixas de pescado tem, a certo momento, de estar fixas para se proceder à respetiva pesagem. Esta ocorrência cria as condições ideais para a aplicação do método proposto neste invento .
A Reivindicação 14 refere-se ao aparato cu a configuração preferida consiste num projetor emissor de luz infravermelha e numa câmara sensível à luz infravermelha. Esta configuração permite usar luz estruturada numa zona do espectro fora da luz visível, o que facilita a implementação real do mesmo em lotas ou embarcações.
Tal como descrito na Reivindicação 15, esta patente propõe a utilização do aparato em qualquer das seguintes aplicações: medição e amostragem de pescado; identificação de pescado; inspeção e fiscalização de pescado em barcos e lotas; obtenção de conformidade com diretivas legais; estudos de carácter científico; controlo do tamanho do pescado em aquicultura; estudos ecológicos em zonas entremarés; trabalhos de campo para obtenção de medidas em várias disciplinas científicas.
REFERÊNCIAS
[1] Scantol Fishmeter System
[2] FiLeDI Framework for Measuring Fish Length from Digital Images, Mohd Rahim Mohd Shafry, Am ad Rehman, Rosely Kum
[3] D White, C. Svellingen, N Strachan, "Automated measurement of species and length of fish by computer vision." Fisheries Research, Vol. 80, No. 2-3. (2006), pp . 203-210, doi : 10.1016/j . fishres .2006.04.009
[4] Ching-Lu Hsieh, Hsiang-Yun Chang, Fei-Hung Chen, Jhao- Huei Liou, Shui-Kai Chang, and Ta-Te Lin, "A simple and effective digital imaging approach for tuna fish length measurement compatible with fishing operations," Computers and Electronics in Agriculture, 75.1: 44-51, 2011.
[5] Herrera, C, Juho Kannala, and Janne Heikkilá. "Joint depth and color camera calibration with distortion correction, " IEEE Transactions on Pattern Analysis and Machine Intelligence, 34.10: 2058-2064, 2012.
[6] Mojekwu TO, Anumudu Cl (2015) Advanced Techniques for Morphometric Analysis in Fish. J Aquac Res Development 6: 354. doi : 10.4172/2155-9546.1000354
Claims
1. Método automático usando um sistema computacional ligado a uma base de dados (105), a um projetor de luz estruturada (101) e a uma câmara (100), para obtenção de medidas de pescado colocado de forma sequencial sobre uma superfície plana de suporte (106), caracterizado por compreender os seguintes passos:
a) (200) calibração prévia da câmara (100) relativamente ao projetor de luz estruturada (101) ;
b) (201) aquisição da superfície de suporte e cálculo da malha tridimensional de referência (400) através da triangulação de múltiplos raios de luz (102) projetados pelo projetor (101) sobre a referida superfície (106) e recebidos (103) pela câmara (100) por via de aquisição de imagem;
c) (202) e (210) múltiplas aquisições consecutivas da referida superfície de suporte (106) ;
d) (202) para cada aquisição de c, cálculo de uma malha tridimensional (401) através da triangulação de múltiplos raios de luz (102) projetados pelo projetor (101) e recebidos pela câmara (100) ;
e) (203) para cada par de aquisições consecutivas de c, detectar movimento através do cálculo da diferença entre malhas tridimensionais das duas aquisições consecutivas ;
f) (204) para cada aquisição de c, identificar a presença de pescado através da diferença entre a malha tridimensional (401) da aquisição e a malha de referência (400) da superfície de suporte (106) ;
(205) para cada aquisição de c, identificar a presença de novo pescado através da diferença entre a malha tridimensional (401) da aquisição e a malha tridimensional do último pescado detectado guardado na base de dados (105) ;
(206) para cada aquisição de c, guardar a malha tridimensional (401) da aquisição na base de dados apenas no caso em que:
(208) se detete a presença de pescado, detetado em f;
(209) o pescado não se encontra ainda na base de dados, detetado em g;
(207) não houver movimento relativamente à aquisição anterior, detectado em e;
(211) utilização das referidas malhas tridimensionais guardadas no passo anterior para medir a distância entre dois pontos do pescado;
Método de acordo com a Reivindicação 1, caracterizado pelo facto de o pescado ser colocado de forma manual e sucessiva sobre a superfície de suporte (106), com imobilização temporária de pescado sobre a superfície para permitir o passo h;
Método de acordo com a Reivindicação 1, caracterizado pelo facto de o pescado ser colocado de forma mecânica e sucessiva sobre a superfície de suporte (106), cu a configuração preferida é o tapete rolante, com imobilização temporária de pescado sobre a superfície para permitir o passo h;
Método de acordo com a Reivindicação 1, caracterizado por calcular o retângulo envolvente à caixa retangular
que condiciona múltiplos indivíduos de pescado (107) através da comparação do mapa tridimensional adquirido no passo d com o mapa de referência da superfície (400) ;
5. Método de acordo com a Reivindicação 1, caracterizado pelo facto de o processo de armazenamento do passo h incluir a imagem captada pela câmara (100);
6. Método de acordo com as Reivindicações 1 e 5, caracterizado pelo facto de o passo i de determinação de distâncias ser efetuado entre pontos selecionados na imagem captada pela câmara (100), usando a informação métrica da malha tridimensional (401) correspondente ;
7. Método de acordo com as Reivindicações 1 e 5, caracterizado por identificar a espécie do pescado (300), por comparação da informação métrica da malha tridimensional (401) e da imagem recolhidas com uma lista de múltiplos modelos métricos e fotométricos de pescado ;
8. Método de acordo com a Reivindicação 1, caracterizado por medir o comprimento total (301) do pescado (300);
9. Método de acordo com a Reivindicação 1, caracterizado por medir a distância entre múltiplos pontos fiduciais (302) do pescado (300) ;
10. Método de acordo com as Reivindicações 1 e 9, caracterizado por calcular as medidas do comprimento total (301) a partir da distância entre pontos
fiduciais (302) do pescado (300), usando a relação morfométrica relativa à espécie do pescado;
11. Método de acordo com as Reivindicações 1 e 9, caracterizado por calcular o peso total a partir da distância entre pontos fiduciais (302) do pescado, usando a relação morfométrica relativa à espécie do pescado ;
12. Aparato para obtenção de medidas de pescado, caracterizado por compreender:
um processador (104) ;
memória em comunicação com o processador;
uma câmara (100) em comunicação com o processador (104) ;
um projetor de luz estruturada (101) em comunicação com o processador (104) ; uma base de dados (105) em comunicação com o processador (104) ;
uma superfície de suporte de pescado (106) ; instruções computacionais guardadas na memória que permitem processar o método que compreende: (200) calibrar a câmara (100) relativamente ao projetor de luz estruturada (101) ; (201) calcular uma malha tridimensional de referência (400) da superfície de suporte (106) ; (202) e (210) a câmara (100) adquirir múltiplas aquisições consecutivas da referida superfície de suporte (106) ; calcular uma malha tridimensional (401) para cada aquisição; (203) detectar movimento através da diferença entre malhas tridimensionais consecutivas;
(204) detectar a presença de pescado através da malha tridimensional; (205) detectar a presença de novo pescado tendo por base a malha tridimensional (401) do último pescado guardado na base de dados; (206) guardar a malha para cada aquisição apenas no caso em que se detecte uma nova presença de pescado e não houver movimento; (211) medir distâncias entre pontos sobre as malhas tridimensionais guardadas na base de dados (105);
13. Aparato de acordo com a Reivindicação anterior, caracterizado pelo facto de a referida superfície de suporte (106) de pescado ser o prato de uma balança e por essa via calcular o peso do pescado;
14. Aparato de acordo com a Reivindicação 12, caracterizado pelo facto de o referido projetor de luz estruturada emitir luz infravermelha e a câmara ser sensível a luz infravermelha;
15. Utilização do aparato de acordo com as Reinvindicações 12, 13 e 14, caracterizada por se destinar a qualquer das seguintes aplicações: medição e amostragem de pescado; identificação de pescado; inspeção e fiscalização de pescado em barcos e lotas; obtenção de conformidade com diretivas legais; estudos de carácter científico; controlo do tamanho do pescado em aquicultura; estudos ecológicos em zonas entremarés; trabalhos de campo para obtenção de medidas em várias disciplinas científicas.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PT109333A PT109333B (pt) | 2016-04-16 | 2016-04-16 | Sistema para medição de pescado usando uma câmara e um projector de luz estruturada |
| PT109333 | 2016-04-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2017180003A2 true WO2017180003A2 (pt) | 2017-10-19 |
| WO2017180003A3 WO2017180003A3 (pt) | 2017-12-07 |
Family
ID=59772678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/PT2017/050012 WO2017180003A2 (pt) | 2016-04-16 | 2017-04-13 | Sistema para medição de pescado usando uma câmara e um projector de luz estruturada |
Country Status (2)
| Country | Link |
|---|---|
| PT (1) | PT109333B (pt) |
| WO (1) | WO2017180003A2 (pt) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11040452B2 (en) | 2018-05-29 | 2021-06-22 | Abb Schweiz Ag | Depth sensing robotic hand-eye camera using structured light |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108592803B (zh) * | 2018-07-27 | 2024-05-28 | 河南省水产科学研究院 | 一种透明双夹板鱼体表面图像采集系统 |
| CN109631755A (zh) * | 2018-12-03 | 2019-04-16 | 成都理工大学 | 大型隧洞结构面迹线激光测量仪 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5339532A (en) | 1993-03-29 | 1994-08-23 | Keefe John G O | Fish length measuring device |
| US6549288B1 (en) | 1998-05-14 | 2003-04-15 | Viewpoint Corp. | Structured-light, triangulation-based three-dimensional digitizer |
| US7408125B2 (en) | 2006-08-02 | 2008-08-05 | Lentine Gregory E | Fish scale and length measuring sensor |
| US20120324751A1 (en) | 2011-06-22 | 2012-12-27 | Kevin Wakeman | Fish measurement device |
| US20130223693A1 (en) | 2010-08-31 | 2013-08-29 | Glenn Chamberlain | Methods and systems for determining fish catches |
| US20150316367A1 (en) | 2012-06-18 | 2015-11-05 | Spfm, L.P. | Systems and methods for electronically obtaining a fish length |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6922652B2 (en) * | 2003-09-19 | 2005-07-26 | Jim Edwards | Automated quality assurance method and apparatus and method of conducting business |
| AU2010218298A1 (en) * | 2009-02-27 | 2011-10-13 | Body Surface Translations, Inc. | Estimating physical parameters using three dimensional representations |
| NO337305B1 (no) * | 2012-12-20 | 2016-03-07 | Ebtech As | System og fremgangsmåte for beregning av fysiske størrelser for fritt bevegelige objekter i vann |
-
2016
- 2016-04-16 PT PT109333A patent/PT109333B/pt active IP Right Grant
-
2017
- 2017-04-13 WO PCT/PT2017/050012 patent/WO2017180003A2/pt active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5339532A (en) | 1993-03-29 | 1994-08-23 | Keefe John G O | Fish length measuring device |
| US6549288B1 (en) | 1998-05-14 | 2003-04-15 | Viewpoint Corp. | Structured-light, triangulation-based three-dimensional digitizer |
| US7408125B2 (en) | 2006-08-02 | 2008-08-05 | Lentine Gregory E | Fish scale and length measuring sensor |
| US20130223693A1 (en) | 2010-08-31 | 2013-08-29 | Glenn Chamberlain | Methods and systems for determining fish catches |
| US20120324751A1 (en) | 2011-06-22 | 2012-12-27 | Kevin Wakeman | Fish measurement device |
| US20150316367A1 (en) | 2012-06-18 | 2015-11-05 | Spfm, L.P. | Systems and methods for electronically obtaining a fish length |
Non-Patent Citations (6)
| Title |
|---|
| CHING-LU HSIEH; HSIANG-YUN CHANG; FEI-HUNG CHEN; JHAO-HUEI LIOU; SHUI-KAI CHANG; TA-TE LIN: "A simple and effective digital imaging approach for tuna fish length measurement compatible with fishing operations", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 75.1, 2011, pages 44 - 51, XP027572063 |
| D WHITE; C. SVELLINGEN; N STRACHAN: "Automated measurement of species and length of fish by computer vision", FISHERIES RESEARCH, vol. 80, no. 2-3, 2006, pages 203 - 210, XP025029666, DOI: doi:10.1016/j.fishres.2006.04.009 |
| HERRERA, C.; JUHO KANNALA; JANNE HEIKKILA: "Joint depth and color camera calibration with distortion correction", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 34.10, 2012, pages 2058 - 2064, XP011490734, DOI: doi:10.1109/TPAMI.2012.125 |
| MOHD RAHIM MOHD SHAFRY; AMJAD REHMAN; ROSELY KUM, FILEDI FRAMEWORK FOR MEASURING FISH LENGTH FROM DIGITAL IMAGES |
| MOJEKWU TO; ANUMUDU CI: "Advanced Techniques for Morphometric Analysis in Fish.", J AQUAC RES DEVELOPMENT, vol. 6, 2015, pages 354 |
| SCANTOL FISHMETER SYSTEM, Retrieved from the Internet <URL:http://www.scantrol.com/fishmeter-electronic-fish-measuring-board> |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11040452B2 (en) | 2018-05-29 | 2021-06-22 | Abb Schweiz Ag | Depth sensing robotic hand-eye camera using structured light |
Also Published As
| Publication number | Publication date |
|---|---|
| PT109333B (pt) | 2020-10-02 |
| WO2017180003A3 (pt) | 2017-12-07 |
| PT109333A (pt) | 2017-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Burnett et al. | Estimating morphometric attributes of baleen whales with photogrammetry from small UASs: A case study with blue and gray whales | |
| TWI528019B (zh) | 用於物件包裝之物件三維尺寸估測系統及方法 | |
| Boutros et al. | A comparison of calibration methods and system configurations of underwater stereo‐video systems for applications in marine ecology | |
| Golbach et al. | Validation of plant part measurements using a 3D reconstruction method suitable for high-throughput seedling phenotyping | |
| Harvey et al. | A system for stereo-video measurement of sub-tidal organisms | |
| Shortis et al. | Design and calibration of an underwater stereo-video system for the monitoring of marine fauna populations | |
| KR101194936B1 (ko) | 3차원 계측 장치 및 그 방법 | |
| CN109816724B (zh) | 基于机器视觉的三维特征提取方法及装置 | |
| JP6740033B2 (ja) | 情報処理装置、計測システム、情報処理方法及びプログラム | |
| JP5396484B2 (ja) | 植物の葉片の成長を測定するための方法およびそれに適した装置 | |
| JP2003130621A (ja) | ３次元形状計測方法およびその装置 | |
| JP7057971B2 (ja) | 動物体の体重推定装置及び体重推定方法 | |
| WO2017180003A2 (pt) | Sistema para medição de pescado usando uma câmara e um projector de luz estruturada | |
| Lati et al. | Plant growth parameter estimation from sparse 3D reconstruction based on highly-textured feature points | |
| CN111325217B (zh) | 数据处理方法、装置、系统和介质 | |
| CN111179351B (zh) | 一种参数标定方法及其装置、处理设备 | |
| JP2019194573A (ja) | 体重推定装置 | |
| Salau et al. | Extrinsic calibration of a multi-Kinect camera scanning passage for measuring functional traits in dairy cows | |
| CN115170629A (zh) | 一种伤口信息获取方法、装置、设备及存储介质 | |
| JP2022019593A (ja) | 水中３次元復元装置および水中３次元復元方法 | |
| Wang et al. | Non-contact sensing of hog weights by machine vision | |
| JP2021063774A (ja) | 体重推定装置 | |
| WO2019132783A1 (en) | Method for assessing slip resistance of a surface | |
| KR101475742B1 (ko) | 사진 계측 장치 및 방법 | |
| Chéné et al. | Shape descriptors to characterize the shoot of entire plant from multiple side views of a motorized depth sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17761607 Country of ref document: EP Kind code of ref document: A2 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17761607 Country of ref document: EP Kind code of ref document: A2 |