WO2018115542A1 - Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad - Google Patents

Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad Download PDF

Info

Publication number
WO2018115542A1
WO2018115542A1 PCT/ES2017/070122 ES2017070122W WO2018115542A1 WO 2018115542 A1 WO2018115542 A1 WO 2018115542A1 ES 2017070122 W ES2017070122 W ES 2017070122W WO 2018115542 A1 WO2018115542 A1 WO 2018115542A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
color
cell
black
palette
Prior art date
Application number
PCT/ES2017/070122
Other languages
English (en)
French (fr)
Inventor
Juan Manuel SAEZ MARTÍNEZ
Francisco Escolano Ruiz
Miguel Ángel LOZANO ORTEGA
Javier PITA LOZANO
Original Assignee
Universidad De Alicante
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to BR112019012244A priority Critical patent/BR112019012244A8/pt
Application filed by Universidad De Alicante filed Critical Universidad De Alicante
Priority to JP2019533044A priority patent/JP6856956B2/ja
Priority to DK17884557.4T priority patent/DK3561729T3/da
Priority to AU2017380263A priority patent/AU2017380263B2/en
Priority to CA3045391A priority patent/CA3045391C/en
Priority to CN201780077316.2A priority patent/CN110114781B/zh
Priority to RU2019123132A priority patent/RU2729399C1/ru
Priority to KR1020197019785A priority patent/KR102375325B1/ko
Priority to MX2019006764A priority patent/MX2019006764A/es
Priority to US16/463,873 priority patent/US10956799B2/en
Priority to EP17884557.4A priority patent/EP3561729B1/en
Publication of WO2018115542A1 publication Critical patent/WO2018115542A1/es
Priority to IL267201A priority patent/IL267201B/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K2019/06215—Aspects not covered by other subgroups
    • G06K2019/06225—Aspects not covered by other subgroups using wavelength selection, e.g. colour code

Definitions

  • the object of the present invention is an efficient system of long range and high density visual markers.
  • the present invention presents a new type of visual markers and a method for detecting and recognizing them by means of the camera of a mobile device, in order to guide the visually impaired.
  • An artificial marker is an element that is intentionally introduced into a scene and that contains some type of information to label or signal it.
  • the dialer When the dialer is configured so that its information is captured and interpreted through the digital camera of a portable electronic device (eg phone or tablet), it is referred to as "visual markers".
  • visual markers Unlike other one-dimensional markers, such as bar codes, visual markers usually arrange the information in two-dimensional form.
  • dense markers are discussed. To house such information, dense markers are usually composed of a large number of visual elements. This causes that, to achieve a correct reading, the image must be clear, well lit and sufficiently close to the lens (typically 20-50 cm).
  • markers are not indicated to be captured over long distances or in unfavorable optical conditions, such as poor lighting of the environment, blurring by sudden camera movements, among others.
  • QR codes http: / www.qrcode.com
  • Datamatrix system [R. Stevenson, "Laser Marking Matrix Codes on PCBs", Printed Circuit Design and Manufacture, 2007].
  • HCCB High Capacity Color Barcodes, high capacity color barcodes
  • long distance markers are also known in the state of the art, designed to be captured quickly and over large distances, typically of the order of 5 to 7 meters and in different lighting conditions. These long distance markers are very widespread in augmented reality applications, although they are also used in other contexts, such as mobile robotics, as landmarks (literally, landmarks). This type of markers usually houses much less information than dense ones, since adding information complicates the geometry of the marker, which seriously affects its remote detection.
  • ARToolkit is the most widespread and is used in augmented reality applications, as explained in [H. Kato, M. Billinghurst, "Marker tracking and hmd calibration for a video-based augmented reality conferencing system", IEEE and ACM International Workshop on Augmented Reality (IWAR), October 1999] as well as in [H. Kato, "ARToolKit: library for Vision-Based augmented reality", Institute of Electronics, Information and Communication Engineers Technical Report, 2002].
  • These markers are composed of a black frame on a white background that contains a black and white drawing, which serves to distinguish one marker from another.
  • the marker location system in these cases is the same, black frame on a white background, and they differ basically in the coding they use to house the information.
  • a grid of 6x6 dichromatic elements is used. These 36 elements contain a binary code that contains both the message and an error detection / correction code that allows you, discarding symmetries and ambiguities, to generate 500 different codes.
  • the second, which uses one more fabric small (5x5) applies a variation of the Hamming codes with which 10 bits of information (1024 combinations) are achieved, the rest being occupied by the error detector / corrector code.
  • the technical problem that the present invention solves is that between the different types of markers there is no intermediate system that allows the marker to be detected at great distances and to hold enough information.
  • the current visual markers are very useful, because they provide information of the environment that can be collected through the camera of a mobile device, however, they are not fully useful for the group of blind people: informational markers need to make a camera framing very difficult for a blind person to reach and long-range ones are very limited in terms of quantity of information, such as labeling prices in a supermarket or indications at an airport.
  • An objective of the present invention is a hybrid visual marker (dense and long range) for mobile devices in the context of the guidance of the blind.
  • the present invention proposes a method that collects the best of each family, that is, that houses a sufficient amount of information and that can be detected efficiently in different lighting conditions and at a reasonable distance.
  • the marker object of the present invention shares structural similarities with some long range markers such as those described in [E. Olson, “AprilTag: A robust and flexible visual fiducial system", IEEE International Conference on Robotics and Automation (ICRA), 2011] and in [S. Garrido, R. Mu ⁇ oz, FJ Madrid, MJ Mar ⁇ n, "Automatic generation and detection of highly reliable fiducial markers under occlusion” Pattern Recognition, 2014]. In this sense, it has the same location system (black frame on white background) widely used in the family of long-range markers. Within this framework a grid will be housed that contains the data.
  • the basic difference between the marker proposed in the present invention and those known in the state of the art is that the framework is composed of elements of four states (four shades) while the methods described above use a framework of two states (black and white). Thanks to this characteristic, and given the same grid size, the marker model object of the present invention works with twice the code density.
  • the marker of the present invention handles 4 n combinations versus the 2 "combinations of a two-state marker. This difference does not modify the resolution of the marker elements, so it maintains its features such as long range marker, but with a much higher code density.
  • the present invention is defined on any combination of four colors, without necessarily being four specific colors, since the marker design includes the color palette used by each marker.
  • the four tones chosen for the palette can be any, it is convenient that they are very distinguishable from each other to avoid ambiguities and thus improve the reading of the marker.
  • a preferred embodiment of the invention is the CMYK combination (cyan, magenta, yellow and black) which correspond to the four most distant corners in the cube defined by the RGB color space (red, green, blue).
  • the palette In the four corners of the fabric the palette is included, ie in each corner of the fabric there is a basic color of the color palette, so, for example, in the case of the CMYK combination, in each of the corners there will be a color (in a first cyan corner, in a second magenta, in a yellow third and in a fourth black).
  • the darkest element is the last value of the palette.
  • the central element determines the size of the fabric between four possible ones (5x5, 7x7, 9x9, 1 1x1 1). The choice of size will depend on the needs of each application.
  • the CRC is calculated from the message and is included in the bookmark. In the detection stage of the marker, the message is extracted, the CRC is recalculated and contrasted with the one that accompanies the marker to validate the integrity of the message.
  • the method of detection and recognition thereof within a digital image comprises the steps of:
  • a first object of the present invention is to combine high density and long range, thus overcoming the difficulty that existing systems present in not offering these two characteristics simultaneously.
  • a second object of the present invention is to establish a method with low computational complexity, which allows the marker to be detected very efficiently on devices with low computational capacity, such as mobile phones or smartphones.
  • a third object of the present invention is to perform a robust color treatment through the inclusion of the palette and white balance, resulting in the ability of the invention to detect visual markers.
  • FIG. 1 shows a scheme of the proposed marker, where the localization frames (1) and a framework of N x N elements (2) are observed that houses the data (5x5 in this practical embodiment labeled with the acronyms C, M, And, K representing the color of each cell, cyan, magenta, yellow and black respectively).
  • Both the elements of the fabric and the location frames are the same size and have a square shape, whereby 1 is the side size of a cell of the fabric (3), the total area of the marker (4) is (l ( N + 4)) 2 .
  • the type of marker S determines its size N and is placed in the central grid cell.
  • FIG. 3 shows examples of markers of the four defined sizes. From bottom to top: 5x5, 7x7, 9x9, 11x11.
  • FIG. 4 shows an original image (FIG. 4 left). With the detection of frames, the four corners that define the location frame are obtained (FIG. 4 center). A framework with QV + 4) x QV + 4) coordinates is obtained from the frame coordinates, covering both the information cells and the frames (FIG.4 right).
  • FIG. 5 shows several applications of visual markers for the blind.
  • Product labeling left
  • signage in an urban context right
  • the proposed marker is based on a grid of N x N elements that can take up to four different colors within a black frame that, in turn, is within a white frame, as best seen in the FIG. 1.
  • N x N elements that can take up to four different colors within a black frame that, in turn, is within a white frame, as best seen in the FIG. 1.
  • the color palette consists of the four colors that will be used in the marker:
  • This central cell can take any of the values of the palette S e ⁇ p 0 , p 1 , p 2> p- ⁇ that correspond, respectively, with the possible sizes ⁇ 5 , 7,9,1 1 ⁇ of the fabric (see FIG. 3).
  • N x N elements contains 2N 2 - 4N - 6 bits of data and 4N - 4 bits of CRC. Therefore, the length of the CRC grows according to the length of the message. Table 1 shows for each marker size, the message length, the CRC length and the generator polynomial used for the calculation. In this sense, standard generating polynomials (and proven effectiveness) according to each length have been used. N x N Long. Long message. CRC CRC polynomial
  • a frame detection algorithm is applied on the image to detect the first set of T markers contained in said image.
  • a set of frames M ⁇ m 0 , m 1 is obtained; ..., ⁇ ⁇ - ⁇ contained in the same.
  • This framework contains the coordinates of the centers of the N x N marker information cells 4N + 4 coordinates on the black frame and 4JV + 12 coordinates on the white frame (see FIG. 4 right).
  • Rf and Rf play an essential role in the present invention, since they represent the black and white reference of the marker. Therefore, the location frames not only serve to locate the marker but also to be able to perform a white balance and thus be able to treat the color in a robust manner.
  • C is taken and selected, from its 4 possible orientations, the one that leaves in C [(0, N - 1) the darkest element (least luminance) of the four corners, obtaining C ".
  • the labeling Ei (x, y) of the marker is obtained, that is, a matrix that indicates for each cell the index value of the palette to which it corresponds.
  • a classification is made by the nearest neighbor (assigning the index of the palette with the color value closest to the color of the cell):
  • the labeling of the cells is obtained, it should be checked if the marker being analyzed is from the family of markers that are searched. To do this, you must verify that the size specified in the central cell matches the size of the marker you are looking for, that is: Otherwise, the current frame is discarded as a possible marker.
  • the integrity of the message is checked by calculating the cyclic redundancy code of I 1 with the appropriate polynomial (see Table 1) and comparing it with the CRC that has been read If. If both codes match, the message is considered valid and If 1 is added to the set of T markers detected in the current image l ⁇ x, y).
  • the generator manages a database of bookmarks and their information (bookmark code, text associated with the bookmark, actual print size, etc.) and allows creating, deleting, searching and printing said bookmarks with the selected physical size.
  • the detector is responsible for detecting the markers on the images obtained from the camera of the device.
  • the system consults its code in the database and vocalizes (using Text To Speech) its content.
  • vocalizes using Text To Speech
  • the system is capable of processing an average of 18.6fps. This data differs depending on the device and the camera resolution.
  • a Samsung Galaxy S6 (SM-G920F) equipped with a Cortex A57 octa-core processor at 2.1 GHz and 3Gb of RAM has been used.
  • a camera resolution of 1280x720 has been used and the detection of frames has been carried out with version 2.0 of the library described in [S. Garrido, R.
  • the detection distance it depends on the camera resolution, the lighting conditions and the size and type of the marker. Under favorable lighting conditions (daylight) and with the resolution mentioned above (1280x720), a 5x5 type marker printed in a size of 20x20cm (typical A4 print size) is detected at a maximum distance of 8, 12 meters .
  • markers would allow to cover applications in which both the scope and the density of the code play a relevant role (see FIG. 6 where visual marker applications for blind people are shown) such as, for example, product labeling (left) and the signs in an urban context (right).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

La propuesta consiste en un sistema de marcadores visuales completo (diseño del marcador y procedimiento de detección) de largo alcance y alta densidad. En el diseño se utiliza un sistema de localización tradicional propio de los marcadores de largo alcance. La propuesta se centra por tanto en el sistema de codificación de la información, que en nuestro caso es un código de cuatro estados basado en color, lo cual duplica la densidad de código con respecto a los sistemas tradicionales en blanco y negro. Por otro lado, el procedimiento de detección requiere muy pocos recursos computacionales, lo cual hace que resulte muy eficiente y especialmente indicado para dispositivos móviles. El éxito de la técnica reside en gran medida en los procedimientos propuestos para el tratamiento del color.

Description

MÉTODO DE DETECCIÓN Y RECONOCIMIENTO DE MARCADORES VISUALES DE
LARGO ALCANCE Y ALTA DENSIDAD
Objeto de la invención
El objeto de la presente invención es un sistema eficiente de marcadores visuales de largo alcance y alta densidad. La presente invención presenta un nuevo tipo de marcadores visuales y un método para detectarlos y reconocerlos mediante la cámara de un dispositivo móvil, con el objeto de servir de guía a discapacitados visuales.
Estado de la técnica
Un marcador artificial es un elemento que se introduce intencionadamente en una escena y que contiene algún tipo de información para etiquetarla o señalizarla. Cuando el marcador está configurado para que su información sea captada e interpretada a través de la cámara digital de un dispositivo electrónico portátil (ej. teléfono o tableta) se habla de "marcadores visuales". A diferencia de otros marcadores unidimensionales, como los códigos de barras, los marcadores visuales suelen disponer la información en forma bidimensional. Cuando un marcador visual está ideado para albergar gran cantidad de información, se habla de marcadores densos. Para albergar dicha información, los marcadores densos suelen estar compuestos por una gran cantidad de elementos visuales. Esto provoca que, para lograr una lectura correcta, la imagen deba ser nítida, estar bien iluminada y encontrarse suficientemente cerca del objetivo (típicamente 20-50 cm). Dicho de otro modo, estos marcadores no están indicados para ser captados a largas distancias ni en condiciones ópticas desfavorables, como mala iluminación del entorno, emborronamiento por movimientos bruscos de cámara, entre otros. En este grupo de marcadores se encuentran muchos ejemplos cotidianos como los códigos QR (http:/ www.qrcode.com) o el sistema Datamatrix [R. Stevenson, "Láser Marking Matrix Codes on PCBs", Printed Circuit Design and Manufacture, 2007]. Estos códigos suelen ser dicromáticos, i.e. compuestos por elementos en blanco y negro, aunque existen excepciones como los llamados HCCB (High Capacity Color Barcodes, códigos de barras de color de alta capacidad), unos marcadores bidimensionales en color desarrollados por Microsoft [D. Paríkh, G. Jancke, "Localization and segmentation of a 2d high capacity color barcode", IEEE Applications of Computer Vision, 2008]. En este último caso, el color aporta una mayor densidad de información, pero también provoca mayores dificultades a la hora de leer el código, ya que el usuario debe centrar correctamente el marcador en una zona de la imagen para que el algoritmo pueda captarlo correctamente.
Por otro lado, en el estado de la técnica también se conocen los "marcadores de larga distancia", ideados para ser captados rápidamente y a grandes distancias, típicamente del orden de los 5 a 7 metros y en distintas condiciones de iluminación. Estos marcadores de larga distancia están muy generalizados en aplicaciones de realidad aumentada, aunque también se utilizan en otros contextos, como es el de la robótica móvil, a modo de landmarks (literalmente, marcas terrestres). Este tipo de marcadores suele albergar mucha menos información que los densos, ya que al añadir información se complica la geometría del marcador, lo cual afecta gravemente a su detección a distancia.
En el estado del arte son conocidos, principalmente, tres tipos de marcadores de larga distancia. ARToolkit es el más extendido y se utiliza en aplicaciones de realidad aumentada, tal y como se explica en [H. Kato, M. Billinghurst, "Marker tracking and hmd calibration for a video-based augmented reality conferencing system", IEEE and ACM International Workshop on Augmented Reality (IWAR), October 1999] así como en [H. Kato, "ARToolKit: library for Vision-Based augmented reality", Institute of Electronics, Information and Communication Engineers Technical Report, 2002]. Estos marcadores se componen de un marco negro sobre fondo blanco que contiene un dibujo en blanco y negro, que sirve para distinguir un marcador de otro. Esta forma de distinción entre marcadores no es muy efectiva y se aplica, básicamente, para distinguir un marcador de cualquier otro marco negro de la escena, no para distinguir muchos marcadores entre sí. Por tanto, está básicamente limitado para aplicaciones con un único marcador. La evolución de este tipo de marcadores nos ha llevado a sistemas que incorporan información, como en [E. Olson, "AprilTag: A robust and flexible visual fiducial system", IEEE International Conference on Robotics and Automation (ICRA), 2011] y en [S. Garrido, R. Muñoz, F.J. Madrid, M.J. Marín, "Automatic generation and detection of highly reliable fiducial markers under occlusion" Pattern Recognition, 2014].
El sistema de localización del marcador en estos casos es el mismo, marco negro sobre fondo blanco, y difieren básicamente en la codificación que utilizan para albergar la información. En el primero se utiliza un entramado (grid) de 6x6 elementos dicromáticos. En estos 36 elementos se aloja un código en binario que contiene tanto el mensaje como un código de detección/corrección de errores que le permite, descartando simetrías y ambigüedades, generar 500 códigos distintos. El segundo, que utiliza un entramado más pequeño (5x5) aplica una variación de los códigos Hamming con la que se consiguen 10 bits de información (1024 combinaciones) siendo el resto ocupado por el código detector/corrector de errores. El problema técnico que resuelve la presente invención reside en que entre los distintos tipos de marcadores no hay ningún sistema intermedio que permita detectar el marcador a grandes distancias y albergar suficiente cantidad de información.
Los marcadores visuales actuales son muy útiles, porque proporcionan información del entorno que se puede recoger a través de la cámara de un dispositivo móvil, sin embargo, no son plenamente útiles para el colectivo de invidentes: los marcadores informativos necesitan realizar un encuadre de cámara muy difícil de conseguir para un invidente y los de largo alcance están muy limitados en cuanto a cantidad de información como, por ejemplo, etiquetar los precios en un supermercado o las indicaciones en un aeropuerto.
No es la primera vez que se intenta crear un sistema de marcadores artificiales para dispositivos móviles en el marco de aplicaciones para invidentes. En [J. Coughlan, R. Manduchi, M. Mutsuzaki, H. Shen, "Rapid and Robust Algorithms for Detecting Colour Targets", Congress of the International Colour Association, Spain, May 2005] se encuentra un modelo de marcador propuesto exclusivamente para aplicaciones móviles para este colectivo. En este caso se trata de un modelo de marcador único que no alberga información, lo cual limita en gran medida sus aplicaciones.
Explicación de la invención
Es un objetivo de la presente invención un marcador visual híbrido (densos y de largo alcance) para dispositivos móviles en el contexto de guiado de invidentes. En la presente invención se plantea un método que recoja lo mejor de cada familia, esto es, que albergue una cantidad de información suficiente y que pueda ser detectado de forma eficiente en distintas condiciones de iluminación y a una distancia razonable.
El marcador objeto de la presente invención comparte similitudes estructurales con algunos marcadores de largo alcance como los descritos en [E. Olson, "AprilTag: A robust and flexible visual fiducial system", IEEE International Conference on Robotics and Automation (ICRA), 2011] y en [S. Garrido, R. Muñoz, F.J. Madrid, M.J. Marín, "Automatic generation and detection of highly reliable fiducial markers under occlusion" Pattern Recognition, 2014]. En este sentido, posee el mismo sistema de localización (marco negro sobre fondo blanco) ampliamente utilizado en la familia de marcadores de largo alcance. Dentro de dicho marco quedará alojado un entramado (grid) que contiene los datos. No obstante, la diferencia básica entre el marcador que se propone en la presente invención y los conocidos en el estado del arte es que el entramado se compone de elementos de cuatro estados (cuatro tonalidades) mientras que los métodos anteriormente descritos utilizan un entramado de dos estados (blanco y negro). Gracias a esta característica, y dado un mismo tamaño de entramado, el modelo de marcador objeto de la presente invención trabaja con el doble de densidad de código.
Así pues, si el código tiene n elementos, el marcador de la presente invención maneja 4n combinaciones frente a las 2" combinaciones de un marcador de dos estados. Esta diferencia no modifica la resolución de los elementos del marcador, por lo que mantiene sus características como marcador de largo alcance, pero con una densidad de código mucho mayor.
La presente invención queda definida sobre cualquier combinación de cuatro colores, sin que necesariamente sean cuatro colores específicos, ya que el diseño del marcador incluye la paleta de colores que utiliza cada marcador. No obstante, aunque los cuatro tonos elegidos para la paleta pueden ser cualesquiera, es conveniente que sean muy distinguibles entre sí para evitar ambigüedades y mejorar así la lectura del marcador. Así pues, una realización preferida de la invención es la combinación CMYK (cian, magenta, amarillo y negro) que se corresponden con las cuatro esquinas más distantes en el cubo definido por el espacio de color RGB (rojo, verde, azul).
En el entramado se encuentran los siguientes elementos:
(a) En las cuatro esquinas del entramado se incluye la paleta, i.e. en cada esquina del entramado hay un color básico de la paleta de colores, así, por ejemplo, en caso de la combinación CMYK, en cada una de las esquinas habrá un color (en una primera esquina cian, en una segunda magenta, en una tercera amarilla y en una cuarta negro). Para hacer el marcador invariante a la rotación, se considera que, siempre, el elemento más oscuro es el último valor de la paleta. La introducción de la paleta resuelve el problema de la identificación de los colores del marcador, evitando los efectos de la degradación del color, ya que una vez extraída se obtiene una referencia de cada color y se puede utilizar para etiquetar el resto del entramado de datos mediante un criterio de proximidad.
(b) El elemento central determina el tamaño del entramado entre cuatro posibles (5x5, 7x7, 9x9, 1 1x1 1). La elección del tamaño dependerá de las necesidades de cada aplicación.
(c) La fila y columna centrales, excepto la celda central, definen el código de redundancia cíclico (CRC). El CRC se calcula a partir del mensaje y se incluye en el marcador. En la etapa de detección del marcador, se extrae el mensaje, se recalcula el CRC y se contrasta con el que acompaña al marcador para validar la integridad del mensaje.
(d) El resto de elementos se dedican al mensaje.
Una vez determinado el diseño del marcador de acuerdo con la presente invención, el método de detección y reconocimiento del mismo dentro de una imagen digital comprende las etapas de:
(i) Detectar los marcos negro y blanco, localizándose las coordenadas de sus esquinas. Para este primer paso se aplica un algoritmo de detección de marcos sobre la imagen para detectar un primer conjunto de candidatos. En el estado del arte se describe una pluralidad de algoritmos que aproximan este problema. No obstante, en una realización particular se ha propuesto el algoritmo descrito en [S. Garrido, R. Muñoz, F.J. Madrid, M.J. Marín, "Automatic generation and detection of highly reliable fiducial markers under occlusion ", Pattern Recognition, 2014] aunque puede utilizarse cualquier otro método con la misma finalidad.
(ii) Obtener de cada marco detectado un entramado mediante la interpolación bilineal, con las coordenadas del centro de cada celda, teniendo también en cuenta las casillas de los marcos negro y blanco.
(iii) Obtener el color de cada celda. Dado que dicho centro está en coordenadas reales y la imagen en coordenadas discretas, para obtener dicho valor se realiza una interpolación bilineal de los 4-vecinos.
(iv) Calcular la media aritmética de los colores de los marcos blanco y negro para la obtención de un blanco y un negro de referencia.
(v) Normalizar el color de cada celda a partir del negro y blanco de referencia obtenidos en la etapa anterior estableciéndose un balance de blancos.
(vi) Corregir la orientación del marcador teniendo en cuenta que la esquina más oscura debe estar en la última posición de la paleta.
(vii) Obtener la paleta a partir de las esquinas realizando un etiquetado del marcador e indicando qué valor de la paleta se corresponde a cada celda.
(viii) Comprobar que el marcador pertenece a la familia buscada analizando si la etiqueta central es la esperada (el procedimiento se ejecuta para buscar marcadores de un tamaño concreto definido por la aplicación, por lo que esta etapa es necesaria para descartar marcadores de cualquier otro tamaño que puedan estar contenidos en la escena). Hay que tener en cuenta que conforme se describe el algoritmo, se lanza para un tamaño concreto (no detecta múltiples tamaños a la vez). Por ejemplo, una aplicación para señalizar pasos de cebra usaría el tamaño 5x5 que tiene poca combinatoria, pero una aplicación para etiquetar productos en un supermercado utilizaría el de 7x7. Cada algoritmo solo es capaz de detectar 1 tipo de marcador.
(ix) Composición del mensaje y el CRC.
(x) Comprobación de la integridad del mensaje, recalculando el CRC a partir de él y comparándolo con el CRC leído del código.
Un primer objeto de la presente invención es conjugar alta densidad y largo alcance, superando así la dificultad que presentan los sistemas existentes al no ofrecer estas dos características simultáneamente.
Un segundo objeto de la presente invención es establecer un método con una baja complejidad computacional, lo cual permite detectar el marcador de forma muy eficiente sobre dispositivos con baja capacidad de cómputo, tales como los teléfonos móviles o smartphones.
Un tercer objeto de la presente invención es realizar un tratamiento robusto del color a través de la inclusión de la paleta y el balance de blancos, lo que resulta en la capacidad de la invención en detectar los marcadores visuales.
Todo ello de acuerdo con las reivindicaciones independientes que acompañan a la presente memoria descriptiva. Las realizaciones particulares de la invención se indican en las reivindicaciones dependientes de aquellas, incorporándose todas ellas por referencia en este mismo apartado.
A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración, y no se pretende que restrinjan la presente invención. Además, la presente invención cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí indicadas.
Breve descripción de las figuras
A continuación, se pasa a describir de manera muy breve una serie de dibujos que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.
La FIG.1 muestra un esquema del marcador propuesto, donde se observan los marcos de localización (1) y un entramado de N x N elementos (2) que alberga los datos (5x5 en esta realización práctica etiquetados con las siglas C, M, Y, K que representa el color de cada celda, cian, magenta, amarillo y negro respectivamente).
Tanto los elementos del entramado como los marcos de localización tienen el mismo tamaño y presentan forma cuadrada, por lo que siendo 1 el tamaño de lado de una celda del entramado (3), el área total del marcador (4) es de (l(N + 4))2. La FIG.2 muestra la inclusión de la paleta P = [p0, Pi, P2< P3] en e' propio marcador, situada en las esquinas del grid de datos en orden dextrógiro y con referencia en el elemento con menor luminancia (el negro en el caso CMYK) que determina p3. El tipo del marcador S determina su tamaño N y se coloca en la celda central del grid. La FIG.3 muestra ejemplos de marcadores de los cuatro tamaños definidos. De abajo a arriba: 5x5, 7x7, 9x9, 11x11. Al haberse utilizado la paleta CMYK, el elemento central del entramado toma el valor cian en el tamaño 5x5, magenta en el 7x7, amarillo en el 9x9 y negro en el 1 1x1 1. La FIG.4 muestra una imagen original (FIG.4 izquierda). Con la detección de marcos se obtienen las cuatro esquinas que definen el marco de localización (FIG.4 centro). A partir de las coordenadas del marco se obtiene un entramado con QV + 4) x QV + 4) coordenadas que abarca tanto a las celdas de información como a los marcos (FIG.4 derecha).
La FIG.5 muestra varias aplicaciones de marcadores visuales para invidentes. Etiquetado de productos (izquierda) y señalizaciones en un contexto urbano (derecha).
Exposición detallada de un modo de realización de la invención
Para el diseño del marcador propuesto se parte de un entramado (grid) de N x N elementos que pueden tomar hasta cuatro colores distintos dentro de un marco negro que, a su vez, está dentro de un marco blanco, como mejor se observa en la FIG.1. Como es posible observar el tamaño del lado l de las celdas del entramado de datos determina el ancho de los marcos de localización y, por tanto, el tamaño total del marcador.
La paleta de colores está compuesta por los cuatro colores que se van a utilizar en el marcador:
P = [Po. Pi. Pz. Ps] Dicha paleta se introduce en el propio marcador, concretamente en las cuatro esquinas del entramado de datos, tal y como se observa mejor en la FIG.2. La paleta se introduce en orden dextrogiro y su referencia (último elemento p3) viene marcada por el elemento más oscuro (menor luminancia). Es posible tener entramados (grids) de tamaño N e {5,7,9,11} según las necesidades de la aplicación. Para determinar de qué tamaño es el entramado del marcador actual, se consulta la celda en posición central del entramado. Obsérvese que los cuatro tamaños que puede tomar el entramado (i.e. N = {5,7,9, 11}) son impares, luego siempre existe una posición central clara. Dicha celda central, como el resto de las celdas del entramado, puede tomar cualquiera de los valores de la paleta S e {p0, p1, p2> p-í} que se corresponden, respectivamente, con los posibles tamaños {5,7,9,1 1} del entramado (ver FIG.3).
Teniendo en cuenta que cada celda alberga 2 bits (i.e. cuatro combinaciones) un marcador de N x N elementos contiene 2N2 - 4N - 6 bits de datos y 4N - 4 bits de CRC. Por tanto, la longitud del CRC crece acorde con la longitud del mensaje. En la Tabla 1 se muestra para cada tamaño de marcador, la longitud del mensaje, la longitud del CRC y el polinomio generador utilizado para el cálculo. En este sentido, se han utilizado polinomios generadores estándar (y de probada efectividad) acordes con cada longitud. N x N Long. mensaje Long. CRC Polinomio CRC
5 x 5 24 bits 16 bits CRC-16-CDMA2000
7 x 7 64 bits 24 bits CRC-24-Radix-64
9 x 9 120 bits 32 bits CRC-32Q
11 X 11 192 bits 40 bits CRC-40-GSM
Tabla 1
Para observar el efecto de la inclusión del color sobre la densidad del mensaje y como dato comparativo, el sistema descrito en [S. Garrido, R. Muñoz, F.J. Madrid, M.J. Marín, "Automatic generation and detection of highly reliable fiducial markers under occlusion", Pattern Recognition, 2014] de 5x5 proporciona 1024 combinaciones y el sistema descrito en [E. Olson, "AprilTag: A robust and flexible visual fiducial system", IEEE International Conference on Robotics and Automation (ICRA), 2011] de 6x6 tan solo 500, mientras que en la presente invención, en su versión menos densa (5x5), es capaz de manejar 24 bits de mensaje, esto es, 16.777.216 combinaciones.
A continuación, se resumen los pasos del procedimiento de detección del marcador. Dada una imagen l(x, y) y un tamaño de marcador N £ {5,7,9,11} , extraer los marcos M = {mQ. m^ .... rrik-i} de 7(x, y) y para cada m¿ £ M:
1 ) Obtener coordenadas G¿ (x, y) de QV + 4) x QV + 4) a partir de m¿
2) Obtener los colores de los datos (x, y) y las referencias de blanco Rf y negro Rf a partir de d
3) Normalizar Q'(x, y) = (Q (x, y) - Rf)/(Rf - Rf)
4) Obtener c" orientando C[ con su esquina de referencia.
5) Obtener paleta P¿ = [p0, Pi, P2> P3] a partir de las esquinas de c"
6) Etiquetado £" ¿ (x, y) por vecino más próximo de Q"(x, y) a P¿
7) Si se cumple Εί([Ν/2], [N/2]) = (N - 5)/2 entonces:
Extraer mensaje I 1 y CRC If a partir de Et
Calcular CRC de If1. Si concuerda con If añadir /™ a T
Así pues, dada una imagen digital en color I(x, y) capturada por la cámara del dispositivo y el tamaño del marcador a buscar JV £ {5,7,9,11} en primer lugar se aplica un algoritmo de detección de marcos sobre la imagen para detectar el primer conjunto de marcadores T contenidos en dicha imagen. Como resultado del algoritmo de detección de marcos sobre la imagen /(x, y) se obtiene un conjunto de marcos M = {m0, m1; ... , τη^-^} contenido en la misma. Cada marco viene definido por cuatro coordenadas m¿ = (c0, ct, c2, c3) sobre el espacio de la imagen, que se corresponden con las esquinas exteriores del marco en orden dextrógiro (ver FIG.4 centro). Cada marco detectado m¿ representa un posible marcador. Tomando como referencia las cuatro coordenadas del marco m¿ = (c0, ct, c2, c3) , se realiza una interpolación bilineal para obtener un entramado G¿ (x, y) de QV + 4) x QV + 4) coordenadas equidistantes. Dicho entramado contiene las coordenadas de los centros de las N x N celdas de información del marcador 4N + 4 coordenadas sobre el marco negro y 4JV + 12 coordenadas sobre el marco blanco (ver FIG.4 derecha).
Para cada coordenada de G¿ se obtiene el color correspondiente en imagen 7(G¿ (x, y)) (teniendo en cuenta que G¿ está en coordenadas reales y la imagen en coordenadas discretas, dicho color se obtiene por interpolación bilineal de los 4-vecinos). Con los QV + 4) x QV + 4) colores obtenidos, se toma Q como los N x N colores pertenecientes a los datos del marcador y Rf y Rf como las medias aritméticas de los colores pertenecientes a los marcos blanco y negro respectivamente.
Las variables Rf y Rf juegan un papel imprescindible en la presente invención, ya que representan la referencia de blanco y negro del marcador. Por tanto, los marcos de localización no solo sirven para localizar el marcador sino también para poder realizar un balance de blancos y poder así tratar el color de manera robusta. Para ello, se forma C[ a partir de Q normalizando cada una de sus celdas: Q'(x, y) = (Q (x, y) - Rf)/(Rf - Rf) .
Aunque C[ contiene una referencia normalizada del color de las N x N celdas del marcador, desconocemos su orientación, ya que el algoritmo de detección de marcos no proporciona dicha información (el marco no contiene información de orientación). Para resolverlo, se debe tener en cuenta que las esquinas del marcador:
{C¿'(0,0), C[ (N - 1,0), C[ (N - 1, N - 1), Q'(0, N - 1)}
Contienen la paleta en orden dextrógiro, con referencia en el elemento más oscuro en su última posición. Por tanto, se toma C[ y se selecciona, de sus 4 orientaciones posibles, aquella que deje en C[ (0, N - 1) el elemento más oscuro (menor luminancia) de las cuatro esquinas, obteniendo C" .
Utilizando las muestras de color ordenadas, se obtiene la paleta de color de sus cuatro esquinas:
Pt =
Figure imgf000012_0001
= [Q" (O,O), C¿" GV - i,o), q"Gv - I, N - i), q"(o, ÍV - 1)]
A partir de la paleta, se procede a obtener el etiquetado Ei (x, y) del marcador, esto es, una matriz que indique para cada celda el valor del índice de la paleta al que corresponde. Para ello, se realiza una clasificación por el vecino más cercano (asignando el índice de la paleta con el valor de color más próximo al color de la celda):
Ei {x, y = argmin ke[0 2i3] \\ C" (x, y) - pk \\ . Para calcular la distancia euclídea || . || entre dos colores se recomienda utilizar el espacio de color CI E 1976 L*a*b*, ya que dicho espacio es isotrópico (a diferencia de otros espacios como el RGB), lo cual justifica la utilización de dicha función de distancia.
Una vez obtenido el etiquetado de las celdas, se debe comprobar si el marcador que se está analizando es de la familia de marcadores que se buscan. Para ello, se debe comprobar que el tamaño especificado en la celda central coincide con el tamaño de marcador que se está buscando, esto es:
Figure imgf000012_0002
En caso contrario, el marco actual se descarta como posible marcador.
Llegados a este punto es el momento de extraer la información del marcador, esto es, el mensaje I 1 y el código de redundancia cíclico If . Para obtener If tomamos las celdas de la columna y fila centrales (a excepción de la celda central que determina el tipo de marcador) y se forma un único número de 4N - 4 bits con las etiquetas de las celdas en binario (las etiquetas [0,1,2,3,4] se corresponden con los códigos binarios [00,01,10,11] ) siguiendo el orden de lectura sobre la matriz (de izquierda a derecha y de arriba a abajo).
De igual forma, obtenemos If1 componiendo las celdas del mensaje (aquellas que no se corresponden con la paleta, ni con el CRC ni con el tipo de marcador), formando un número binario de 2N2 - 4N - 6 bits.
Para finalizar con la detección, se comprueba la integridad del mensaje, calculando el código de redundancia cíclico de I 1 con el polinomio adecuado (ver Tabla 1) y comparándolo con el CRC que se ha leído If . Si ambos códigos coinciden, el mensaje se da por válido y se añade If1 al conjunto de marcadores T detectados en la imagen actual l{x, y).
Ejemplo 1. Resultados del método.
Con el fin de asegurar el correcto funcionamiento de los marcadores y el método de detección propuestos en la presente invención, se ha desarrollado un prototipo funcional que consta de dos aplicaciones: un generador y un detector de marcadores. Ambas aplicaciones se han desarrollado en C++ bajo el entorno de programación multiplataforma de alto rendimiento Qt SDK (http:/Avww.qt-proiect.org).
El generador gestiona una base de datos de marcadores y la información de los mismos (código de marcador, texto asociado al marcador, tamaño real de impresión, etc.) y permite crear, eliminar, buscar e imprimir dichos marcadores con el tamaño físico seleccionado.
Por otro lado, el detector es el encargado de detectar los marcadores sobre las imágenes obtenidas de la cámara del dispositivo. En este caso, ha sido desarrollado para dispositivos Android. Cuando se detecta un marcador, el sistema consulta su código en la base de datos y vocaliza (utilizando Text To Speech) su contenido. Además, también vocaliza la distancia real a la que se encuentra dicho marcador, ya que en la base de datos se almacena el tamaño de impresión de cada marcador, que junto a la información de cámara (distancia focal y apertura) se utiliza para recuperar la escala real del mismo.
En cuanto al rendimiento, el sistema es capaz de procesar una media de 18,6fps. Este dato difiere en función del dispositivo y de la resolución de cámara. En nuestro caso, se ha utilizado un Samsung Galaxy S6 (SM-G920F) equipado con un procesador Cortex A57 octa- core a 2,1 GHz y 3Gb de memoria RAM. En cuanto a la configuración, se ha utilizado una resolución de cámara de 1280x720 y la detección de marcos se ha realizado con la versión 2.0 de la librería descrita en [S. Garrido, R. Muñoz, F.J. Madrid, M.J. Marín, "Automatic generation and detection of highly relia ble fiducial markers under occlusion", Pattern Recognition, 2014] y que es accesible en el siguiente enlace: http://www.uco.es/investiga/grupos/ava/node/26.
Teniendo en cuenta que la cámara del dispositivo sirve las imágenes a 30fps, eliminando los tiempos de acceso a cámara el sistema es capaz de procesar cada frame en una media de 20,43 milisegundos en este dispositivo.
En cuanto a la distancia de detección, depende de la resolución de cámara, de las condiciones de iluminación y del tamaño y tipo del marcador. Bajo unas condiciones de iluminación favorables (luz día) y con la resolución mencionada anteriormente (1280x720), un marcador de tipo 5x5 impreso en un tamaño de 20x20cm (tamaño típico de impresión en A4) se detecta a una distancia máxima de 8, 12 metros.
Este tipo de marcadores permitiría abarcar aplicaciones en las que tanto el alcance como la densidad del código juegan un papel relevante (ver FIG.6 donde se muestran aplicaciones de marcadores visuales para invidentes) como son, por ejemplo, el etiquetado de productos (izquierda) y las señalizaciones en un contexto urbano (derecha).

Claims

REIVINDICACIONES
1 - Un marcador visual denso y de largo alcance que comprende:
un marco negro sobre fondo blanco;
un entramado cuadrangular alojado dentro de dicho marco;
y donde el entramado está dividido en filas longitudinales y columnas verticales que componen una pluralidad de celdas, en donde cada celda corresponde a un dato distinto;
y donde dicho entramado se compone de elementos de cuatro tonos de color distintos, siendo los cuatro tonos de color distinguibles entre sí y conforman una paleta de color;
y que se caracteriza por que dicho marcador, además, comprende:
en cada una de las cuatro celdas que conforman las esquinas del entramado se incluye un tono de color, al menos un tono de color por cada celda de cada esquina, de tal forma que el elemento más oscuro se considera el último valor que conforma la paleta de color;
y donde la celda central del entramado determina el tamaño de dicho entramado; y donde las celdas que se corresponden con la fila y columna centrales, exceptuando la celda central, definen un código de redundancia cíclico;
y donde el resto de celdas que conforman el entramado son elementos dedicados al mensaje transmisible por el marcador visual.
2- El marcador de la reivindicación 1 donde los cuatro tonos de color se corresponden con la combinación cian, magenta, amarillo y negro.
3- Un método de detección de un marcador visual de acuerdo con cualquiera de las reivindicaciones 1-2 que se caracteriza por que comprende las etapas de:
Detectar los marcos negro y blanco, localizándose las coordenadas de sus esquinas;
Obtener de cada marco detectado un entramado mediante una interpolación bilineal, Obtener el color de cada celda;
Calcular la media aritmética de los colores de los marcos blanco y negro para la obtención de un blanco y un negro de referencia;
Normalizar el color de cada celda a partir del negro y blanco de referencia obtenidos en la etapa anterior estableciéndose un balance de blancos;
Corregir la orientación del marcador teniendo en cuenta que la celda de la esquina más oscura debe estar en la última posición de la paleta; Obtener la paleta a partir de las esquinas realizando un etiquetado del marcador e indicando qué valor de la paleta se corresponde a cada celda;
Comprobar que el marcador pertenece a la familia buscada analizando si la etiqueta central es la esperada;
Composición del mensaje y el código de redundancia cíclico;
Comprobación de la integridad del mensaje, recalculando el código de redundancia cíclico a partir de él y comparándolo con el código de redundancia cíclico leído del código.
4 - El método de acuerdo con la reivindicación 3 donde en la interpolación bilineal se emplean las coordenadas del centro de cada celda, teniendo también en cuenta los marcos negro y blanco.
5 - El método de acuerdo con cualquiera de las reivindicaciones 3-4 donde en la obtención del color de cada celda y dado que dicho centro está en coordenadas reales y la imagen en coordenadas discretas, para obtener dicho valor se realiza una interpolación bilineal de los 4-vecinos.
PCT/ES2017/070122 2016-12-20 2017-03-03 Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad WO2018115542A1 (es)

Priority Applications (12)

Application Number Priority Date Filing Date Title
CN201780077316.2A CN110114781B (zh) 2016-12-20 2017-03-03 用于检测和识别远程高密度视觉标记的方法
JP2019533044A JP6856956B2 (ja) 2016-12-20 2017-03-03 長距離高密度視覚マーカの検出および認識方法
DK17884557.4T DK3561729T3 (da) 2016-12-20 2017-03-03 Fremgangsmåde til detektering og genkendelse af visuel markører med lang rækkevidde og høj tæthed
AU2017380263A AU2017380263B2 (en) 2016-12-20 2017-03-03 Method for detecting and recognising long-range high-density visual markers
CA3045391A CA3045391C (en) 2016-12-20 2017-03-03 Method for detection and recognition of long-range high-density visual markers
BR112019012244A BR112019012244A8 (pt) 2016-12-20 2017-03-03 Método de detecção e reconhecimento de marcadores visuais de grande alcance e alta densidade
RU2019123132A RU2729399C1 (ru) 2016-12-20 2017-03-03 Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности
US16/463,873 US10956799B2 (en) 2016-12-20 2017-03-03 Method for detecting and recognizing long-range high-density visual markers
MX2019006764A MX2019006764A (es) 2016-12-20 2017-03-03 Metodo de deteccion y reconocimiento de marcadores visuales de largo alcance y alta densidad.
KR1020197019785A KR102375325B1 (ko) 2016-12-20 2017-03-03 원거리 고밀도 시각적 마커의 검출 및 인식 방법
EP17884557.4A EP3561729B1 (en) 2016-12-20 2017-03-03 Method for detecting and recognising long-range high-density visual markers
IL267201A IL267201B (en) 2016-12-20 2019-06-10 A method for the detection and recognition of long-range high-density visual markers

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP201631625 2016-12-20
ES201631625A ES2616146B2 (es) 2016-12-20 2016-12-20 Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad

Publications (1)

Publication Number Publication Date
WO2018115542A1 true WO2018115542A1 (es) 2018-06-28

Family

ID=58873921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2017/070122 WO2018115542A1 (es) 2016-12-20 2017-03-03 Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad

Country Status (15)

Country Link
US (1) US10956799B2 (es)
EP (1) EP3561729B1 (es)
JP (1) JP6856956B2 (es)
KR (1) KR102375325B1 (es)
CN (1) CN110114781B (es)
AU (1) AU2017380263B2 (es)
BR (1) BR112019012244A8 (es)
CA (1) CA3045391C (es)
DK (1) DK3561729T3 (es)
ES (1) ES2616146B2 (es)
IL (1) IL267201B (es)
MA (1) MA47132A (es)
MX (1) MX2019006764A (es)
RU (1) RU2729399C1 (es)
WO (1) WO2018115542A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
IT202100004982A1 (it) * 2021-03-03 2022-09-03 Goatai S R L Marker per reti neurali artificiali, relativo metodo implementato mediante computer di riconoscimento e interpretazione e relativo sistema
ES1295251Y (es) * 2022-04-08 2023-01-16 Nuevos Sist Tecnologicos S L Envase para producto de consumo con codigo visible y sistema que comprende el envase
ES1295494Y (es) * 2022-05-17 2023-02-01 Nuevos Sist Tecnologicos S L Producto de consumo, que comprende un envase externo con codigo visible y sistema que incluye al producto
ES2933648B2 (es) * 2022-07-12 2023-05-23 4I Intelligent Insights S L Sistema y procedimiento de codificacion y decodificacion de informacion a traves de imagenes con decodificacion robusta a media distancia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032823B2 (en) * 2003-01-30 2006-04-25 Denso Wave Incorporated Two-dimensional code, methods and apparatuses for generating, displaying and reading the same
US20140270511A1 (en) * 2013-03-15 2014-09-18 Pictech Management Limited Image fragmentation for distortion correction of color space encoded image

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051618A (ja) * 1996-07-29 1998-02-20 Minolta Co Ltd 画像編集装置
US6215526B1 (en) * 1998-11-06 2001-04-10 Tivo, Inc. Analog video tagging and encoding system
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
EP1807796B1 (en) * 2004-11-05 2014-12-17 Colorzip Media, Inc. Mixed code, and method and apparatus for generating the same, and method and appratus for decoding the same
CA2566260C (en) * 2005-10-31 2013-10-01 National Research Council Of Canada Marker and method for detecting said marker
JP4838387B2 (ja) * 2008-05-29 2011-12-14 カラーコード・テクノロジーズ株式会社 情報コード及び情報コード復号方法
JP2011186613A (ja) * 2010-03-05 2011-09-22 Colour Code Technologies Co Ltd ２次元カラーコードの作成方法および復号方法
IN2014CN02941A (es) * 2011-10-10 2015-07-03 Yewon Comm Co Ltd
US9161061B2 (en) * 2013-03-15 2015-10-13 Pictech Management Limited Data storage and exchange device for color space encoded images
CN104657698B (zh) * 2015-02-10 2017-09-19 浙江科技学院 一种可承载多幅黑白二维码的彩色二维码编解码方法
CN104866859B (zh) * 2015-05-29 2018-08-21 南京信息工程大学 一种高鲁棒性的视觉图形标志及其识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032823B2 (en) * 2003-01-30 2006-04-25 Denso Wave Incorporated Two-dimensional code, methods and apparatuses for generating, displaying and reading the same
US20140270511A1 (en) * 2013-03-15 2014-09-18 Pictech Management Limited Image fragmentation for distortion correction of color space encoded image

Also Published As

Publication number Publication date
JP2020507831A (ja) 2020-03-12
MA47132A (fr) 2019-10-30
CN110114781B (zh) 2023-09-29
ES2616146B2 (es) 2018-04-27
EP3561729A4 (en) 2020-11-11
KR20190098996A (ko) 2019-08-23
RU2729399C1 (ru) 2020-08-06
EP3561729A1 (en) 2019-10-30
BR112019012244A2 (pt) 2019-11-05
ES2616146A1 (es) 2017-06-09
CN110114781A (zh) 2019-08-09
IL267201B (en) 2022-05-01
BR112019012244A8 (pt) 2023-04-04
DK3561729T3 (da) 2022-10-03
EP3561729B1 (en) 2022-07-27
KR102375325B1 (ko) 2022-03-16
US20190294936A1 (en) 2019-09-26
AU2017380263B2 (en) 2022-06-30
MX2019006764A (es) 2019-08-21
IL267201A (en) 2019-11-28
AU2017380263A1 (en) 2019-06-20
CA3045391A1 (en) 2018-06-28
US10956799B2 (en) 2021-03-23
JP6856956B2 (ja) 2021-04-14
CA3045391C (en) 2023-08-22

Similar Documents

Publication Publication Date Title
ES2616146B2 (es) Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad
ES2256106T3 (es) Metodo y aparato para leer un simbolo de codigo de barra bidimensional y medio de almacenamiento de datos.
EP3023905A1 (en) Systems and methods for decoding two-dimensional matrix symbols
KR101821087B1 (ko) 이차원 코드, 이차원 코드의 해석 시스템
WO2014014678A1 (en) Feature extraction and use with a probability density function and divergence|metric
CN112307786B (zh) 一种多个不规则二维码批量定位识别方法
ES2649573T3 (es) Procedimiento de detección de un marcador colocado en la superficie de un objeto y sistema de aplicación
WO2013027234A1 (ja) サテライトドット方式による二次元コードとその読み取り方法
ES2817652B2 (es) Codigo visual, procedimiento para generar un codigo visual y procedimiento para decodificar un codigo visual
Han et al. L-split marker for augmented reality in aircraft assembly
JP2006331322A (ja) 検索用タグ及びこれを使用した情報検索システム
CN112184803A (zh) 一种标定板和标定方法
BR102018003125B1 (pt) Método para reconhecimento ótico de marcadores em ambiente externo
ES2933648B2 (es) Sistema y procedimiento de codificacion y decodificacion de informacion a traves de imagenes con decodificacion robusta a media distancia
WO2012035552A2 (en) Generating a code system using haar wavelets
US11157787B2 (en) Apparatus and method of creating fiducial marker image
Sáez et al. An efficient, dense and long-range marker system for the guidance of the visually impaired
WO2021064273A1 (es) Código visual y procedimiento para codificar y decodificar una imagen bidimensional
Sáez Martínez et al. An efficient, dense and long-range marker system for the guidance of the visually impaired
TW202223728A (zh) 信息碼元與定向碼元分離雙向可讀二維條形碼
JP2015232873A (ja) 二次元コード、二次元コードの解析システム及び二次元コードの作成システム
SCALISE et al. A library for simultaneous localization and mapping using data matrix visual markers
Chauhan et al. INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES & RESEARCH TECHNOLOGY AUGMENTED REALITY MARKERS, IT’S DIFFERENT TYPES, CRITERION FOR BEST FIDUCIALLY MARKER AND NECESSARY REQUIREMENTS TO SELECTING APPLICATION ORIENTED MARKERS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3045391

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2019533044

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017380263

Country of ref document: AU

Date of ref document: 20170303

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019012244

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20197019785

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017884557

Country of ref document: EP

Effective date: 20190722

ENP Entry into the national phase

Ref document number: 112019012244

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20190614