WO2019207189A1 - Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota - Google Patents

Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota Download PDF

Info

Publication number
WO2019207189A1
WO2019207189A1 PCT/ES2019/070274 ES2019070274W WO2019207189A1 WO 2019207189 A1 WO2019207189 A1 WO 2019207189A1 ES 2019070274 W ES2019070274 W ES 2019070274W WO 2019207189 A1 WO2019207189 A1 WO 2019207189A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
light
shadows
creating
modulating
Prior art date
Application number
PCT/ES2019/070274
Other languages
English (en)
French (fr)
Inventor
Alberto Adarve Lozano
Original Assignee
Defensya Ingeniería Internacional, S.L.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Defensya Ingeniería Internacional, S.L. filed Critical Defensya Ingeniería Internacional, S.L.
Publication of WO2019207189A1 publication Critical patent/WO2019207189A1/es

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • B64D39/06—Connecting hose to aircraft; Disconnecting hose therefrom

Definitions

  • the shadows that are generated by the different objects and that appear in the images created by them are indicative of distance and proximity.
  • the distance we see in the images, between the tip of the crane and the shadow of the tip of the same they are a clear indication of how close this tip is (of the crane), of that wall on which its shadow is cast. The closer both points (crane tip and shadow tip) are visualized, the closer the crane tip is to the wall. And precisely at the moment when both coincide is when the collision occurs against said wall.
  • this auxiliary information provided by the shadows is important and therefore it is also possible to generate them, as is the main objective of this invention.
  • This must be able to be done in any light condition (even in daylight). Thing that this invention performs. It is also important to be able to detect them electronically to precisely acquire the above information automatically and be able to use it in calculations to determine distances and warn of certain situations.
  • this invention allows the shadows generated in intensity to be modulated, which in turn allows a simple procedure to accurately detect its contour in order to obtain the information indicated above. This is also one of the achievements of this invention.
  • the projected object the shadow generating object whose movement we wish to consider.
  • the tip of the crane And we will call the object on which the shadow of the first one is projected (in our example, the wall). Obviously, the projected object must be in front of the projection object with respect to the light, so that the shadow of the first appears over the second.
  • the sun is not in an auspicious place of the sky and its shadow does not appear or does not allow obtaining the above information because, for example, the shadow of the tanker masks the shadow of the boom on the surface of the boot receiver plane In any case, depending on the time of day and in the best case, the shadow of the boom appears differently depending on that time and it is the operator's experience that tells you how to interpret it.
  • Shadow shielding detector has height adjusting rod fixed between first angle adjusting device and second angle adjusting device for adjusting height of first and second angle adjusting devices according to control instruction.
  • Shadow protection detector has a height adjustment rod fixed between the first angle adjustment device and the second angle adjustment device to adjust the height of the first and second angle adjustment devices according to the instruction of control.
  • Projector for electronic device has laser-beam scanning part which scans laser beam to projection surface and photon detection part detects reflected light which is scanned by laser-beam scanning part and reflected by detection target.
  • Apparatus for detecting vehicle using laser scanner sensor has control unit which outputs speed control command that reduces speed of specific target vehicle, when specific target vehicle enter into estimated shadow area.
  • Laser-based shadow plasma density distribution detecting device has mono-color laser for generating monochromatic light after passing through beam expand system, and data processing module for determining density distribution condition.
  • Another obvious improvement to minimize the intensity of the light power required to our source is to use a pointing system that allows us to move the lighting direction in elevation and in a plane parallel to the base of the same, with which we will aim at the area of interest exclusively, reducing the need to illuminate the entire work scenario.
  • pre-existing shadows can be “colored” with the wavelength of our intense light source and thus our recognition system will be able to see those previous colored shadows and exclude those shadows that are “colored”, making it easier still detecting the new shadows created.
  • the previous system can be improved, if instead of a laser we use the sum of two that we will join by means of a semi-transparent mirror that on one side will let the light of one of them pass and on the other hand it will reflect the incident light of the other, spatially adding both sources and thus generating a light source of two narrow ranges of wavelengths.
  • the above can be done with a single source of intense light, but if we use two or more and if we also modulate their intensities we can create different shades of different colors (or spectral ranges).
  • the procedure consists in alternating different intensities of the light sources in consecutive moments of time in order to obtain a kind of blinking shadow in intensity similar to that obtained previously but with better results and with the possibility of generating different colored shadows whose treatment by An image processing system is progressively facilitated.
  • We can also create a shadow that appears successively with different intensities of darkness independently of other leftovers that may already exist in the image and, as in the previous case, facilitate its detection by electronic means to obtain data that improves the information of distances within our work scenario. And this so that both day and night or in darkness, the shadow created always behaves in the same way for each relative position of the projected object with respect to the projection.
  • the shadow creation procedure very basically, consists of:
  • one of the curiosities of the result of this invention is that the shadows together with the other effects achieved may not be visible to the naked eye. It would be necessary to have the appropriate filters to make the human eye patent the results obtained by applying the indications of this invention. That has a certain strategic interest by not generating any kind of visual indication that can raise suspicions.
  • Another advantage of this invention is that it simultaneously achieves all the effects that are pursued in a remote environment or scenario controlled by means of a visualization system.
  • Figure 2 shows a detail of the spectra involved in this invention, both of the light sources used and the filters required for proper operation thereof.
  • Figure 3 shows the images before and after turning on our light sources on a display system monitor.
  • Figure 4 schematically shows the assembly of two matching light sources in the space so that they can generate a single shadow.
  • Figure 5 shows schematically the assembly of two matching image sensors in space so that they can generate two different views of the same area of our work scenario depending on the sensitivities of each of them.
  • the implementation of the invention detailed here is the particularization of a system to create, modulate and detect shadows in systems with control based on remote viewing systems, which consists of the elements detailed below. . Some of these elements may be optional depending on the intended effect and the manner in which it is obtained, thus giving rise to different claims within the invention itself.
  • the values used in this preferred implementation for wavelengths, power, etc. they do not imply that it cannot be implemented with equal validity with other values, as long as the concepts established here are respected and also constituting said implementation (with other values) another of the possible implementations of this same invention.
  • the system includes:
  • a remote vision system composed of at least one camera (1) with its corresponding focusing lenses (2) to focus the photons coming from the environment, on the image sensor of the at least one camera (1).
  • the high intensity Light source (3) can optionally have a diffuser / concentrator (9) to obtain the appropriate projection field.
  • the system creates a shadow (6) of a projected object (5) on a projection object (7) even in the worst ambient light conditions.
  • the sun (14) generates a shadow (13) from the projected object (5) on the projection object (7) (such as the floor, a wall, etc. or in the case of refueling with boom the outer surface of the receiving plane) when the projected object (5) is interposed, between the sun (14) and the projection object (7).
  • the shadow creation procedure performed with the system described above comprises the steps of:
  • the procedure is therefore to start generating a light of high intensity within a narrow spectrum that we have chosen, within which we will compete with the sun to create our shadow. If the light we use for our source within that range (which should be as narrow as possible) is much more intense than that of the sun in that same range, then we will succeed in the task of creating our shadow.
  • a first element to be added, optional and complementary, is a pair of polarization filters.
  • the objective is to re-tithe the sun's power to eliminate the light of the sun that is not of a certain polarization, and thus facilitate even more competition with that remaining solar power when creating a shadow. Not only will we have enough energy to create the desired shadow, but we could even eliminate the adverse effect of any previous shadow that could mask it.
  • the polarization filters will be placed, one at the output of the high intensity light source (3) that we use, and another at the entrance to the sensor where we place the filtering element (4) of our vision camera (1). So the light we emit will be of a certain polarization that will be the same as we will look for with our camera by putting another polarizing filter in front of it. Now we will only compete with sunlight that has the same polarization within the range of the selected spectrum.
  • a second element to be added, in a complementary and optional way, to improve the system, is a pointing subsystem (10) as indicated in Figure 1. It is a subsystem composed of a platform that can rotate, in a parallel plane to the ground with respect to a vertical axis and with respect to a horizontal axis using a control electronics and a pair of motors. .
  • This subsystem allows the high intensity light source (3) to be pointed when rotating with respect to a horizontal axis by modifying its elevation (12) and being able to make a rotation with respect to a vertical axis by performing a rotation (11) parallel to the base and modifying its orientation, which will allow addressing to almost any part of the surrounding space and will save, for that reason, energy when creating different areas where you want to generate the above effects.
  • FIG. 2 Another way to create the shadows in a similar way to that explained is to use a light source that emits in two ranges of the spectrum simultaneously ( Figure 2) and use an optical filtering element with two pass bands corresponding to the previous spectra of the light that generates them.
  • the camera (1) When emitting in two ranges of different wavelengths, the camera (1) will be able to add the photons of both ranges, which will allow it Compete with the sun more easily.
  • a first laser generator (23) and a second laser generator (24) can be used as in Figure 4, which inject their light simultaneously into a semi-transparent mirror (25) where the lasers are mixed in the same point of space and thanks to a lens (26) are introduced in an optical fiber (27).
  • the outgoing light is molded with a diffuser / optical concentrator element (28) to a certain projection field to illuminate the appropriate area of our stage where the two spectral components of the two lasers used will be mixed.
  • a diffuser / optical concentrator element (28) to modulate the relative intensity of each laser we get the "color" of the shadow to vary accordingly.
  • Said attenuator may consist of a variable polarization system located in the concentrator diffuser (9) that can be controlled electronically.
  • the amplification / attenuation can consist of a supply of greater energy to the source by means of an amplifier / attenuator (21) or (33) that would increase / attenuate the generation of photons to intensify the energy emitted by our light source.
  • the shadows generated by the sun will be of the same size as the objects that generate them due to the geometry of their rays, while the shadows generated by our high intensity sources (except for a specific design for some very specific case). particular) will be larger than the objects that generate them, also due to the geometry of the rays that emerge from a more concentrated area.
  • the shadows generated by our source and the sun they do not violate the validity of the initial statements of this invention that will remain valid and it will remain true that the point where an object and their shadow converge will be when both are close to the collision of the first object with the one where their shadow appears.
  • the high intensity light source (3) generates a series of pulses of varying amplitude (of different intensity) in order to generate, alternatively, a shadow of high intensity and another of less intensity.
  • the images of consecutive frames of image corresponding to shadows of different intensity are obtained to find the difference between them and thus determine their contour and locate the generated shadow.
  • the location of the projected real object that creates the shadow is obtained by interposing with the high intensity light source, using alternative image recognition techniques.
  • the distances between real object and its shadow are determined.
  • two light sources can be used to alternatively create shadows of different wavelengths that will be detected with a camera with a filter with two narrow-band passages or with a camera Dual sensor like the one in figure 5, each with its corresponding bandpass filter.
  • markers can be passive reflective elements or active light elements (22) such as LEDs in this preferred implementation. This greatly facilitates the previous recognition work to locate the position of the projected object (5) carried out by the image processor (19).
  • This active element of light that, as mentioned, could also be a passive reflector, facilitates the task of locating the situation of the projected object (5) by using two or more cameras such as (1) placed in different positions of space . The cameras will allow a 3D triangulation that will give us the position of the markers.
  • the wavelength of the light emitted by the markers, if they are active, must be within the range of the optical bandpass filters used for the visualization of the shadows, already described above.
  • a first camera (29) and a second camera (30) in a special assembly that will facilitate the task of determining its contour.
  • the cameras in Figure 5, (29) and (30) will be used in an assembly that allows them to see the same region of space.
  • a spatial divider (32) which is a semi-silver mirror that allows, together with a common lens (31) where the bandpass filter, referred to previously, will also be located.
  • the images of the shadows created by the two necessary light generating sources coincide precisely in space when viewed from the same point and generated equally from a single spatial point.
  • the system in a complementary embodiment includes a structured light source that is sent coincidentally with the light from the intense source (3) and subsequently recognized by the image processing system (19) in order to determine the points of intersection between real image and shadow and thus be able to create an overlay on the image indicating the point of intersection of both.
  • Said structured lighting is obtained using a diffraction lens in which a specific pattern has been engraved and which, when crossed by a laser, generates the projection of said pattern on the projection object of our stage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Sistema para crear, modular y detectar sombras que se consigue mediante la proyección de una luz desde una fuente de luz de alta intensidad (3) en dirección a dos objetos en acción dentro de un rango de longitudes de onda dentro de las cuales superará a la luz del sol, y una posterior captación de las imágenes en la zona de emisión de la fuente de luz de alta intensidad (3), empleando para la captación al menos un sistema de visión remota compuesto por al menos una cámara (1) y sus correspondientes lentes de enfoque (2) y uno o varios elementos de filtrado óptico (4) que dejen pasar solamente la luz del rango que hayamos elegido. La creación de dichas sombras permite proporcionar información valiosa de la distancia entre el objeto que la crea y el objeto sobre el que se crea dicha sombra. De tal forma que, cuando sombra y objeto coinciden, se produce una colisión entre los objetos mencionados.

Description

SISTEMA Y PROCEDIMIENTO PARA CREAR. MODULAR Y DETECTAR SOMBRAS EN SISTEMAS CON CONTROL BASADO EN UN SISTEMA DE VISUALIZACION
REMOTA
DESCRIPCION
INTRODUCCIÓN
Existen entornos de trabajo en los que por razones obvias, se opera de forma remota gracias a la acción de unos controles capaces de manejar a distancia ciertos elementos de los mismos. Para obtener la información de supervisión o monitorización, que ayude a realizar las distintas tareas, se emplean una o más cámaras que envían imágenes al monitor (o a los monitores) del operador. A este conjunto de medios que incluyen las cámaras, monitores, etc. y que proporcionan esa información visual al operador, se le denomina sistema de visualización remota. La calidad y nitidez de las imágenes que estos proporcionan son propiedades fundamentales para tener una precisa información de la escena que permita el desempeño del trabajo de una forma segura y adecuada.
En dichos entornos, en los que se trabaja con sistemas de visualización remota, las sombras que son generadas por los distintos objetos y que aparecen en las imágenes creadas por estos, son indicadoras de distancia y proximidad. Así por ejemplo, cuando se emplea una cámara para visualizar imágenes del funcionamiento de una grúa y el extremo de la misma se aproxima a un objeto como puede ser una pared, la distancia que vemos en las imágenes, entre la punta de la grúa y la sombra de la punta de la misma, son una clara indicación de cuán cerca se halla dicha punta (de la grúa), de esa pared sobre la que se proyecta su sombra. Cuanto más cerca se visualizan ambas puntas (punta de la grúa y punta de su sombra), más cerca se encuentra dicha punta de la grúa, de la pared. Y precisamente en el momento en que ambas coinciden es cuando se produce la colisión contra dicha pared.
Por esto es importante esta información auxiliar que proporcionan las sombras y por ende también lo es, el poderlas generar, como es el objetivo principal de esta invención. Esto debe de poder hacerse en cualquier condición de luminosidad (incluso a la luz del día). Cosa que esta invención realiza. También es importante poderlas detectar por medios electrónicos para precisamente adquirir la información anterior de forma automática y poderla emplear en cálculos para determinar distancias y avisar de ciertas situaciones. Para ello, esta invención permite modular las sombras generadas en intensidad, lo cual a su vez permite con un procedimiento sencillo, detectar con precisión su contorno con los fines de obtener la información señalada anteriormente. Este también es uno de los logros de esta invención.
Al objeto generador de la sombra cuyo movimiento deseamos considerar lo vamos a denominar el objeto proyectado. En nuestro ejemplo la punta de la grúa. Y al objeto sobre el que se proyecta la sombra del primero lo denominaremos objeto de proyección (en nuestro ejemplo, la pared). Como es obvio, el objeto proyectado deberá estar delante del objeto de proyección con respecto a la luz, para que la sombra del primero aparezca sobre el segundo.
También es interesante señalar que en ciertas ocasiones, la aparición de sombras de forma natural, sobre ciertas zonas de la imagen proporcionada por el sistema de visualización remota, constituye un serio problema ya que las mismas crean una zona oscura en la imagen dentro de la cual no solamente no se pueden ver otras sombras sino que no se pueden distinguir ni siquiera los detalles de los objetos que se hallan dentro de las mismas. Esto representa un grave inconveniente no solo por esa bajada en la nitidez de las imágenes sino también por la pérdida de la información adicional que proporcionan las sombras, cosa que se desprende del párrafo anterior. Otras de la las ventajas del empleo del sistema y procedimiento de esta invención es que al crear la sombra o sombras deseadas, evita estos efectos adversos referidos y las sombras que se crean con él, no se ven influenciadas por cualesquiera sombras anteriores que pudieran existir y al mismo tiempo eliminan los efectos no deseados de las zonas oscuras creadas por estas.
Además existen condiciones (determinadas por ciertas ubicaciones del sol y de los objetos respecto a este) en las que las sobras o no aparecen o aparecen de forma inadecuada, debido a los ángulos que forma de la luz procedente del sol y los elementos de nuestro escenario de trabajo. Obviamente, en la actualidad, no se puede esperar para realizar la operación hasta que estas condiciones de iluminación sean favorables y por tanto, no cabe sino realizar dicha operación (o al menos intentarlo), sin la ayuda de las sombras. El sistema de la presente invención puede crear las sombras nuevas deseadas y conseguir además que estas sean siempre homogéneas de esta forma que el operador siempre tenga el mismo tipo de referencias para los fines ya señalados anteriormente. Todos los objetivos señalados con anterioridad pueden ser obtenidos de forma simultánea con el sistema descrito en esta invención aportando una información de gran valor en el desempeño de las operaciones de control en base a las sombras creadas. También, se pueden emplear varias fuentes de luz y otros medios ópticos para facilitar la generación de las sombras y simplificar todavía más la detección de sombras como se explicará en una descripción detallada de esta invención.
Como ejemplo y sin pérdida de generalidad, podemos fijarnos en las circunstancias que envuelven al repostaje de combustible en vuelo con botalón (o boom en anglosajón). En este tipo de escenarios, la sombra del extremo del botalón sobre el fuselaje o superficie externa del avión receptor, así como la distancia de esta al extremo del verdadero botalón, es una información crucial en el repostaje de esta modalidad, ya que dicha distancia indica con precisión cuán próximo se está de la colisión entre botalón y avión receptor. El operador del botalón busca esta sombra para asegurarse de que no se produce la colisión y para hallar la distancia de dicho botalón al receptor. Pero en muchas ocasiones, el sol no se halla en un lugar propicio del firmamento y su sombra no aparece o no permite obtener la información anterior debido a que, por ejemplo, la propia sombra del tanquero enmascara a la sombra del botalón sobre la superficie del avión receptor. En cualquier caso, dependiendo de la hora del día y en el mejor de los casos, la sombra del botalón aparece de forma diferente dependiente de dicha hora y es la experiencia del operador la que le indica cómo interpretarla.
Son los casos descritos en el párrafo anterior los que pueden beneficiarse del sistema de la presente invención que permitirá crear un sombra del botalón en la superficie del receptor sin que ninguna sombra ni luz anterior pueda perjudicarle y además esa sombra creada será siempre la misma (independientemente de la hora del día). Además, y para mayor suerte desde un punto de vista estratégico, la sombra creada, puede hacerse invisible a simple o para una cámara que no tenga el elemento o elementos adecuados que se indican en la descripción y reivindicaciones de la presente invención. Además, esa sobra creada y la forma en la que puede observarse, permite a un sistema de visión determinar su contorno con precisión, de forma que el cálculo de la distancia entre punta del botalón y la punta de su sombra puedan obtenerse con exactitud e igualmente la cercanía a una posible colisión del botalón con ese receptor.
ANTECEDENTES DE LA INVENCIÓN
En el estado de la técnica se conocen los siguientes documentos de patentes relacionados con el objeto de la invención, en particular o bien con la creación de sombras, o su modulación o bien su detección. CN 106708102
Shadow shielding detector, has height adjusting rod fixed between first angle adjusting device and second angle adjusting device for adjusting height of first and second angle adjusting devices according to control instruction.
Detector de protección de sombras, tiene una varilla de ajuste de altura fijada entre el primer dispositivo de ajuste de ángulo y el segundo dispositivo de ajuste de ángulo para ajustar la altura de los dispositivos de ajuste de ángulo primero y segundo de acuerdo con la instrucción de control.
JP2014164377
Projector for electronic device, has laser-beam scanning part which scans láser beam to projection surface and photon detection part detects reflected light which is scanned by laser-beam scanning part and reflected by detection target.
US2012136510
Apparatus for detecting vehicle using láser scanner sensor, has control unit which outputs speed control command that reduce speed of specific target vehicle, when specific target vehicle enter into estimated shadow area.
CN205902186U
Laser-based shadow plasma density distribution detecting device, has mono-color láser for generating monochromatic light after passing through beam expander system, and data processing module for determining density distribution condition.
ARTÍCULOS DE LITERATURA NO PATENTE
Mo Nan; Zhu Ruixi; Yan Li; Zhao Zhan
Deshadowing of Urban Airborne Imagery Based on Object-Oriented Automatic Shadow Detection and Regional Matching Co pensation
IEEE Journal of Selected Topics in Applied Earth Observations and Remóte Sensing,
Zhu Hongmei; Yin Jihao; Yuan Ding; Liu Xiang; Zhang Guangyun
Dem-based shadow detection and removal for lunar craters
2016 IEEE International Geoscience and Remóte Sensing Symposium (IGARSS),
Meng JinSong
An accurate and robust adaptive motion shadow detection algorithm
2016 12th World Congress on Intelligent Control and Automation (WCICA),
Gao Jin; Dai Jiangyan; Zhang Peng
Region-Based Moving Shadow Detection Using Watershed Algorithm
2016 International Symposium on Computer, Consumer and Control (IS3C),
Tolt G; Shimoni M; Ahlberg J
A shadow detection method for remóte sensing images using VHR hyperspectral and LIDAR data
Geoscience and Remóte Sensing Symposium (IGARSS), 2011 IEEE International, Xin Liu; Bin Dai; Hangen He
Real-Time On-Road Vehicle Detection Combining Specific Shadow Segmentation and SVM Classification
Digital Manufacturing and Automation (ICDMA), 2011 Second International Conference on,
Qi Wu; Wende Zhang; Vijaya Kumar B V K
Strong shadow removal vía patch-based shadow edge detection
Robotics and Automation (ICRA), 2012 IEEE International Conference on,
Lúea Lorenzi; Farid Melgani; GrÁ CR goire Mercier
A Complete Processing Chain for Shadow Detection and Reconstruction in VHR Images IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING,
Hui LUO; Zhenfeng Shao
A Shadow Detection Method from Urban High Resolution Remóte Sensing I age Based on Color Features of Shadow
Information Science and Engineering (ISISE), 2012 International Symposium on
Prashanth C R; Sagar T; Bhat Naresh; Naveen D; Rupanagudi Sudhir Rao; Kumar R Ashok
Obstacle detection & elimination of shadows for an image Processing based automated vehicle
2013 International Conference on Advances in Computing, Communications and Informatics (ICACCI),
Mtz de Agirre A; Malpica J A
Detecting shadows in a segmented Land Use Land Cover image with LIDAR data Geoscience and Remóte Sensing Symposium (IGARSS), 2012 IEEE International,
Giulietti A; Vaselli M; Giammanco F
Shadowgraphic detection of spherical implosive shock fronts produced by láser pulses Optics Communications,
Movía A; Beinat A; Crosilla F
Shadow detection and removal in RGB VHR images for land use unsupervised classification
ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING,
- 20160528
DESCRIPCIÓN DE LA INVENCIÓN
El procedimiento para obtener los resultados descritos en la introducción es simple y sencillo si se analizan detenidamente y si se conoce el“truco” como sucede en magia. De modo que vamos a proceder a su análisis con el fin de desentrañar el origen o la causa del curioso efecto que se produce al emplear los medios descritos en esta invención. Se trata básicamente de crear sombras y poder modular su grado de intensidad.
Para crear una sombra debemos generar un haz de luz que se proyecte en el objeto de proyección tras chocar antes con el objeto proyectado. Pero realizar eso a la luz del sol no es obvio porque la intensidad de este no permite crear sombras nuevas (sin introducir nuevos objetos), en nuestro escenario de trabajo.
Para poderlo hacer sin introducir nuevos objetos, necesitaríamos, en principio, una fuente de luz tan potente como el propio sol aquí en la tierra. Sin embargo, disponer de eso, aun incluso al nivel de intensidad de la luz del sol que llega a la tierra una vez atenuado por todo el espacio que media entre ambos, es una gran exigencia.
Por eso, en esta invención explotamos la ventaja de poder competir dentro de un margen de condiciones que le vamos a imponer a nuestra fuente de luz y que nos permitirá competir con la luz del sol dentro de ese mismo margen de condiciones.
Lo que hacemos es iluminar con una fuente intensa de luz como puede ser un láser o fuente similar (sin pérdida de generalidad) que además deberá tener (como sucede con los láseres) un grado elevado de coherencia temporal. Esto significa que la luz emitida está dentro de un rango estrecho de longitudes de onda, en el espectro que puede captar el sensor de imagen que vayamos a emplear en el sistema de visualización remota de nuestro escenario de trabajo. Vamos a considerar y definir un rango espectral como “estrecho” y como una fuente de luz como“intensa” si tienen unos valores tales que combinados implican que la energía lumínica generada por la fuente dentro del rango de longitudes de onda elegido cumple con la condición de ser bastante mayor que aquella energía lumínica generada por el sol dentro de ese mismo rango de longitudes de onda. Según esto, una fuente de luz puede tener un rango más amplio si la energía que emite en el mismo es mucha y deberá tener un rango de emisión más estrecho si la energía lumínica emitida es menor. Se trata pues de términos relacionados de forma que el cociente:
Q = (Energía lumínica emitida)/(rango espectral de la energía lumínica)
Sea mayor que dicho valor para el sol si consideramos el mismo rango del espectro.
En general esto será cierto para fuentes de decenas watios con rangos espectrales de menos de un nanómetro, pero si la luz ambiental ha disminuido por razones atmosféricas, esos valores deben ajustarse adecuadamente. También es importante, la amplitud de la zona a la que apunta la fuente. A mayor cobertura espacial mayor energía será necesaria. Por otro lado, es también de consideración que el total de energía emitida no sea superior a un valor determinado para evitar que el ojo o una cámara sin el filtro adecuado puedan verlos bajo la luz del sol.
Con eso como premisa de partida, sucederá que dentro del rango de longitudes de onda seleccionado en virtud de la luz emitida por nuestro láser, la energía lumínica emitida por este, sí podrá ser ya superior a la que emite el sol en ese mismo rango espectral y por tanto se creará una sombra del objeto proyectado sobre el de proyección que podrá tener un contorno nítido y claro.
No obstante creada la sombra, podemos conseguir que ni a simple vista ni con una cámara cualquiera pueda verse, al igual que su contorno. Y que para poder verlos se necesite un filtro paso banda colocado sobre la cámara que tenga un ancho de ese rango, citado con anterioridad, en el que la luz de nuestro láser puede perfectamente competir con la del sol. El filtro elimina las longitudes de onda que no están dentro del rango seleccionado y la imagen de la sombra aparece así como la de su fiel contorno.
Para poder reducir la potencia requerida de nuestra fuente lumínica y en cualquier caso ver mejor esa sombra creada y su contorno podemos emplear dos filtros polarizadores iguales que dispondremos, uno delante de la fuente de luz que empleemos y otro delante de la cámara de nuestro sistema de visualización. De esta forma, estamos eliminando la luz del sol que no posea la misma polarización que hayamos seleccionado y por ende tendremos menos luz solar entrando en nuestra cámara, mientras que la reducción de luz que hemos realizado al polarizar nuestro láser no es de la misma magnitud.
Otra mejora evidente para minimizar la intensidad de la potencia luminosa requerida a nuestra fuente, es emplear un sistema de apuntamiento que nos permita mover la dirección de iluminación en elevación y en un plano paralelo a la base del mismo, con lo que apuntaremos a la zona de interés exclusivamente, reduciendo la necesidad de iluminar todo el escenario de trabajo.
Pero además, podemos modular la intensidad de nuestro láser de forma que en un primer instante tenga una determinada potencia de salida y al instante siguiente otra diferente y así sucesivamente. El resultado obtenido es una sombra parpadeante del objeto de interés sobre el objeto de proyección. También el objeto proyectado parpadeará con mayor y menor intensidad. Esto es muy interesante porque mediante el empleo de un sistema de reconocimiento de imágenes basado en la diferencia de una imagen y la siguiente podemos obtener el contorno preciso de la sombra generada y a partir de la misma y del objeto proyectado real obtener un valor de distancia que será muy útil a la hora de evitar colisiones o de avisar de la proximidad de estas. Además, si se desea, las sombras preexistentes pueden ser“coloreadas” con la longitud de onda de nuestra fuente intensa de luz y así nuestro sistema de reconocimiento podrá ver esas sombras anteriores coloreadas y excluir aquellas sombras que estén“coloreadas”, haciendo más sencillo aún el detectar las nuevas sombras creadas.
El sistema anterior se puede mejorar, si en vez de un láser empleamos la suma de dos que uniremos mediante un espejo semitransparente que por un lado dejará pasar la luz de uno de ellos y por otro lado reflejará la luz incidente del otro, sumando espacialmente ambas fuentes y generando así una fuente de luz de dos rangos estrechos de longitudes de onda.
Si ahora empleamos un filtro multi-banda que deje pasar la luz de los láseres y atenúe toda la demás, podremos mejorar en un factor importante los resultados de nuestra invención.
Lo anterior puede realizarse con una sola fuente de luz intensa, pero si empleamos dos o más y si además modulamos sus intensidades podremos crear diferentes sombras de diferentes colores (o rangos espectrales). El procedimiento consiste en alternar distintas intensidades de las fuentes de luz en instantes consecutivos del tiempo con el fin de obtener una especie de sombra parpadeante en intensidad similar a la obtenida anteriormente pero con mejores resultados y con la posibilidad de generar diferentes sombras coloreadas cuyo tratamiento por un sistema de procesamiento de imagen se facilita progresivamente. También podremos, crear una sombra que aparezca sucesivamente con diferentes intensidades de oscuridad de forma independiente de otras sobras que pudieran ya existir en la imagen y que, al igual que en el caso anterior, facilite su detección por medios electrónicos para obtener unos datos que mejoren la información de distancias dentro de nuestro escenario de trabajo. Y esto de forma que tanto de día como de noche o en penumbra, la sombra creada se comporta siempre de la misma forma para cada posición relativa del objeto proyectado con respecto al de proyección. El procedimiento de creación de la sombra, muy básicamente, consiste en:
1.- Colocamos una fuente de alta intensidad y coherencia temporal en un punto adecuado de nuestro entorno de trabajo.
2.- Apuntamos un intenso rayo de luz de la misma de uno o más rangos estrechos del espectro, pudiéndolos hacer pasar por un difusor, hacia nuestra zona de interés.
3.- Empleamos un filtro paso banda con muy estrecha banda de paso o con varias bandas de paso también estrechas para situarlo delante de la lente de la cámara empleada para la visualización.
4 También nos ayudaremos opcionalmente de un filtro polarizador y de un mecanismo apuntador de la luz que permitirá concentrar la intensidad de la luz en una determinada zona de interés.
5.- Además si empleamos varias fuentes de luz de diferentes rangos podemos modularlas en intensidad siguiendo cierto patrón que dará lugar a un coloreado alternativo de sombras.
6.- Empleamos un procesador de imágenes que puede emplear algoritmos como es la detección de contornos, la diferencia de cuadros consecutivos y la detección de zonas de color para delimitar con precisión la ubicación de las sombras creadas en nuestra imagen y así emplearlas como indicadores numéricos como la proximidad en distancia.
Todos estos elementos auxiliares están principalmente enfocados a reducir las exigencias de luz que debemos aportar para conseguir competir con la luz del sol. En definitiva, vamos a competir con el sol en una estrecha banda del espectro, con una cierta polarización y en una zona localizada del espacio. Con esas ventajas adicionales, la sombra ya sí podrá ser creada.
De esta forma y gracias a la ayuda de los elementos enumerados podemos crear sombras especiales durante el día (y la noche) compitiendo con la luz solar y todo ello junto con la ventaja de poder eliminar los efectos de aquellas sombras generadas por el sol y que impiden ver tanto las nuestras como otros elementos que se encuentren en el interior de las mismas siempre que se elijan correctamente las intensidades y rangos de las fuentes de luz de nuestro sistema así como los elementos auxiliares.
Como ya se ha indicado anteriormente, una de las curiosidades del resultado de esta invención es que las sombras junto con los demás efectos conseguidos pueden no ser visibles a simple vista. Habría que disponer de los filtros apropiados para hacer patentes al ojo humano los resultados que se obtienen al aplicar las indicaciones de esta invención. Eso tiene un cierto interés estratégico al no generar ningún tipo de indicación visual que pueda levantar sospechas.
Si se hace correctamente, tampoco unas las cámaras de cualquier sistema de visión tendrán la capacidad de verlas salvo que la dotemos del filtro paso banda o paso bandas estrecho-s indicado. Pero nuestro sistema de visión sí será capaz de verlas, gracias a la ayuda del mencionado filtro. En cierto modo es como si tuviéramos una llave para poder ver las sombras que nos interesan.
Otra ventaja de esta invención es que de forma simultánea consigue todos los efectos que se persiguen en un entorno o escenario remoto controlado por medio de un sistema de visualización.
Es importante observar que las sombras generadas por el sol, y las sombras creadas por nuestra fuente intensa de luz no estarán espacialmente en el mismo lugar. Esto es obvio y es debido a que nuestra fuente no está en el mismo lugar que el sol, aparte de no presentar las mismas características que la luz de este. Las sombras generadas serán más grandes que el objeto que las genera, mientras que las sombras del sol y que eliminamos son de igual tamaño que el del objeto que las crea.
EXPLICACIÓN DE LAS FIGURAS
A la vista de las figuras se describe seguidamente un modo de realización preferente de la invención propuesta.
En la figura 1 podemos observar una representación esquemática del sistema para realzar, crear o eliminar sombras reales o virtuales de acuerdo a la invención.
En la figura 2, se muestra un detalle de los espectros involucrados en esta invención, tanto de las fuentes de luz empleadas como de los filtros requeridos para un buen funcionamiento de la misma.
En la figura 3 se muestran las imágenes antes y después de encender nuestras fuentes de luz en un monitor del sistema de visualización.
En la figura 4 se muestra esquemáticamente el montaje de dos fuentes de luz coincidentes en el espacio para que puedan generar una única sombra.
En la figura 5 se muestra esquemáticamente el montaje de dos sensores de imagen coincidentes en el espacio para que puedan generar dos vistas diferentes de una misma zona de nuestro escenario de trabajo en función de las sensibilidades de cada una de ellas.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Sin pérdida de generalidad, la implementación de la invención que aquí se detalla, consiste en la particularización de un sistema para crear, modular y detectar sombras en sistemas con control basado en sistemas de visualización remota, que consta de los elementos que se detallan a continuación. Algunos de estos elementos, pueden ser opcionales dependiendo del efecto que se pretenda y de la manera de obtenerlo que se persiga, dando de esta forma lugar a diferentes reivindicaciones dentro de la propia invención. Los valores empleados en esta implementación preferente para longitudes de onda, potencia, etc. no implican que la misma no pueda ser implementada con igual validez con otros valores, siempre que se respeten los conceptos que se establecen aquí y constituyendo también dicha implementación (con otros valores) otra de las posibles implementaciones de esta misma invención.
El sistema comprende:
• Un sistema de visión remota compuesto por al menos una cámara (1) con sus correspondientes lentes de enfoque (2) para enfocar los fotones procedentes del entorno, sobre el sensor de imagen de la al menos una cámara (1).
• Un elemento de filtrado óptico (4) de fotones montado sobre el sistema de visión remota, del tipo paso banda o pasos banda de forma que, deje o dejen pasar con baja atenuación, los fotones dentro de esa banda o bandas espectrales y no deje pasar o dejen pasar con una alta atenuación los fotones cuyas frecuencias espectrales estén fuera de la banda o bandas anteriores.
• Una fuente de luz de alta intensidad (3) y alta coherencia temporal.
• Un sistema de alimentación de energía para alimentar al sistema o sistemas generadores de fotones y demás elementos activos del sistema. En una posible forma de realización, y en ningún caso con carácter limitativo, la fuente de luz de alta intensidad (3) puede ser un láser de potencia de unos 50W y con una apertura de salida de unos 25 grados (3) con una longitud de onda de 800nm y un ancho de banda menor de 1nm con una atenuación OD=7 fuera de banda
La fuente de Luz de alta intensidad (3) de manera opcional puede contar con un difusor/concentrador (9) para obtener el campo de proyección adecuado.
El sistema básico representado por los elementos anteriores permite obtener los efectos objeto de esta invención con diferentes variaciones, conforme se le vayan sumando otros elementos que aquí también se especificarán y que irán formando parte de implementaciones más complejas de esta invención.
Como función fundamental, el sistema crea una sombra (6) de un objeto proyectado (5) sobre un objeto de proyección (7) incluso en las peores condiciones de luz ambiente. Por otro lado, el sol (14) genera una sombra (13) a partir del objeto proyectado (5) sobre el objeto de proyección (7) (como puede ser el suelo, una pared, etc. o en el caso del repostaje con botalón la superficie externa del avión receptor) al estar interpuesto el objeto proyectado (5), entre el sol (14) y el objeto de proyección (7). Por lo tanto, para que el sistema que se propone en esta invención funcione correctamente, deberá de ser capaz de crear una sombra (6) cuando el sol (14) genera toda su luz sin interposición de las nubes, sin que la sombra (13), creada por el sol (14) o incluso la propia luz (8) del sol (14) proyectada sobre el objeto de proyección (7) mediante su radiación (15), le perjudique.
Para crear la sombra nueva bajo la luz del sol, en las condiciones descritas en el párrafo anterior, emitimos luz suficiente para superar al sol. Esto significa que generamos luz superior a la intensidad generada por este, sobre la superficie del objeto de proyección (7). De no ser así, en principio, la propia luz del sol enmascararía esa sombra e impediría su aparición.
Pero es difícil disponer de una luz similar a la del sol, incluso con la intensidad con la que llega a la Tierra, después de atravesar el espacio que los separa. Así que dividimos la intensidad de esa luz solar entre las distintas partes del espectro. Y en una de esas partes del espectro es donde vamos a competir con ella. Así conseguiremos diezmar la potencia de este sol y reducirla para poder competir contra ella.
El procedimiento de creación de sombras realizado con el sistema anteriormente descrito comprende las etapas de:
1. Proyectar una luz desde una fuente de luz de alta intensidad (3) en dirección a los dos objetos en acción; el proyectado (5) que genera la sombra al interponerse con respecto al otro y el objeto de proyección (7) donde aparece la sombra como resultado de la inhibición de fotones dentro de su contorno por causa del primero. Si la luz tiene intensidad suficiente para superar a la del sol dentro de un rango de longitudes de onda, iluminará al objeto por encima de lo que el sol lo iluminaba (en ese rango lumínico). Así al interponerse el primer objeto en ese haz lumínico procedente de nuestra fuente, creará una sombra sobre el objeto de proyección.
2. Obtener las imágenes en la zona de emisión de la fuente de luz de alta intensidad (3), empleando para la captación al menos una cámara (1) y sus correspondientes lentes de enfoque (2).
3. Emplear un elemento de filtrado (4) que es un filtro paso banda con objeto de visualizar solamente la luz de longitud de onda dentro del rango seleccionado, poniéndolo delante de la cámara (1) de visión. Así, si los valores son los adecuados, podremos ver con toda claridad, la sombra generada. Existen valores para el ancho de banda del filtro y la atenuación que produce, así como de la potencia del láser y su longitud de onda de emisión para los cuales las sombras generadas pueden verse a simple vista. Si bien la funcionalidad que se obtiene con esos valores es la misma, sin embargo, se pierde la propiedad estratégica de invisibilidad cuando no se mira a través del filtro.
El procedimiento es por tanto, empezar generando una luz de alta intensidad dentro de un estrecho espectro que hayamos elegido, dentro del cual vamos a competir con el sol para crear nuestra sombra. Si la luz que empleamos para nuestra fuente dentro de ese rango (que deberá ser lo más estrecho posible) es bastante más intensa que la del sol en ese mismo rango, entonces tendremos éxito en la tarea de crear nuestra sombra. (Incluso podríamos emplear más de un rango para crear varias sombras o para reforzar el efecto.) Aunque es obvio, se debe resaltar que la aparición de la sombra se produce ante nuestros ojos si el rango elegido de luz intensa a proyectar, está dentro del espectro visible. Si no fuera así, y hubiésemos elegido un rango infrarrojo como es en nuestro caso en esta implementación preferida, esa sombra no aparecerá salvo que miremos la escena con una cámara cuyo sensor tenga sensibilidad en esa zona espectral. La luz emitida debe ser bastante superior en energía lumínica, al sol en la banda seleccionada y debe ser muy inferior al resto de energía emitida por el sol en el resto de bandas para que esta última la enmascare.
Podemos mejorar el sistema básico aquí descrito añadiendo elementos que pueden hacerlo más efectivo y útil.
Un primer elemento a añadir, manera opcional y complementaria, es una pareja de filtros de polarización. El objetivo que se pretende es volver a diezmar la potencia del sol para eliminar la luz de este que no sea de una determinada polarización, y así facilitar todavía más la competencia con esa potencia solar restante a la hora de crear una sombra. No sólo tendremos energía suficiente para crear la sombra deseada sino que incluso podríamos eliminar el efecto adverso consecuencia de cualquier sombra anterior que pudiera enmascararla. Los filtros de polarización serán colocados, uno en la salida de la fuente de luz de alta intensidad (3) que empleamos, y otro en la entrada al sensor donde colocamos el elemento de filtrado (4) de nuestra cámara de visión (1). Así la luz que emitimos será de una cierta polarización que será la misma que buscaremos con nuestra cámara al poner otro filtro polarizador delante de ella. Ahora sólo competiremos con la luz del sol que posea esa misma polarización dentro del rango del espectro seleccionado.
Un segundo elemento a añadir, de manera complementaria y opcional, para mejorar el sistema, es un subsistema de apuntamiento (10) como el indicado en las figura 1. Se trata de un subsistema compuesto por una plataforma que puede girar, en un plano paralelo al suelo respecto de un eje vertical y respecto de un eje horizontal empleando para ello una electrónica de control y un par de motores. . Este subsistema permite a la fuente de luz de alta intensidad (3) ser apuntada al girar respecto de un eje horizontal modificando su elevación (12) y poder realizar un giro respecto de un eje vertical realizando un giro (11) paralelo a la base y modificando su orientación, que permitirá el direccionamiento a casi cualquier parte del espacio circundante y permitirá ahorrar, por ese motivo, energía a la hora de crear distintas zonas donde se deseen generar los efectos anteriores.
Otra manera de crear las sombras de forma similar a la explicada es emplear una fuente de luz que emita en dos rangos del espectro de forma simultánea (figura 2) y emplear un elemento de filtrado óptico con dos bandas de paso correspondientes a los espectros anteriores de la luz que los genera. Al emitir en dos rangos de longitudes de onda diferentes, la cámara (1) podrá añadir los fotones de ambos rangos, lo que le permitirá competir con el sol más fácilmente. Para obtener esto, se pueden emplear un primer generador láser (23) y un segundo generador láser (24) como en la figura 4, que inyectan su luz de forma simultánea en un espejo semitransparente (25) donde los láseres se mezclan en un mismo punto del espacio y gracias a una lente (26) se introducen en una fibra óptica (27). Desde ella la luz saliente es moldeada con un elemento difusor/concentrador óptico (28) a un determinado campo de proyección para iluminar la zona apropiada de nuestro escenario en el tendrá mezcladas las dos componentes espectrales de los dos láseres empleados. Además, modulando la intensidad relativa de cada láser conseguimos que el“color” de la sombra varíe correspondientemente.
También podemos modular la intensidad de la sombra o sombras creadas, cambiando la intensidad de nuestra fuente o fuentes de luz, mediante el empleo de un atenuador o amplificador de luz a la salida del foco difusor. Dicho atenuador puede consistir en un sistema de polarización variable ubicado en el difusor concentrador (9) que se puede controlar electrónicamente. La amplificación / atenuación puede consistir en un suministro de mayor energía a la fuente mediante un amplificador /atenuador (21) ó (33) que aumentaría / atenuaría la generación de fotones para intensificar la energía emitida por nuestra fuente de luz. Valiendo los anteriores como ejemplos sin perjuicio de poder emplear otros híbridos y similares con igual funcionalidad.
A título informativo cabe destacar que las sombras generadas por el sol serán de igual tamaño que los objetos que las generen debido a la geometría de sus rayos, mientras que las sombras generadas por nuestras fuentes de alta intensidad (salvo algún diseño específico para algún caso muy particular) serán de mayor tamaño que los objetos que las generan, también debido a la geometría de los rayos que emergen de una zona más concentrada. Sin embargo, es importante indicar que aunque existen diferencias entre las sombras generadas por nuestra fuente y por el sol, no vulneran ni un ápice la validez de los enunciados iniciales de esta invención que seguirán siendo válidos y seguirá siendo cierto que el punto donde un objeto y su sombra converjan será cuando ambos estén próximos a la colisión del primer objeto con aquel donde aparece su sombra.
Puede resultar de gran utilidad, añadir al sistema básico descrito, al menos una cámara adicional y un procesador de imagen (19) asociado a uno o varios monitores (20) donde pueden visualizarse las imágenes. Al procesador de imagen (19) llegan las imágenes de la cámara o cámaras (1) y junto con un procedimiento como el que se describe en el párrafo siguiente podemos obtener con facilidad las ubicaciones de las sombras y a partir del contorno de éstas, la ubicación espacial del objeto y por su proximidad a su sombra (6), la distancia entre objeto proyectado (5) y objeto de proyección (7) donde estas aparecen. También podemos determinar el punto previsto de colisión y generar una indicación visual generada artificialmente por nuestro procesador de imagen. También podremos intensificar las sombras de forma virtual, creando un dibujo de sombra sobre el objeto de proyección (7) que añadiremos mediante un mezclado de imagen real y virtual con la sombra real generada.
El procedimiento para detectar el contorno de la sombra generada con el fin de tener localizada su situación y poder emplearla para la obtención de las medidas de interés es el siguiente:
1. Generamos la sombra (6) del objeto de proyectado (5) sobre el objeto de proyección (7).
2. Hacemos parpadear esta sombra en diferentes cuadros de imagen apagando y
encendiendo La fuente de luz de alta intensidad (3)
3. Comparamos los distintos cuadros de imagen obtenidas por las cámaras (1) para encontrar las diferencias entre ellos, encontrando así las sombras generadas. En definitiva las particularidades que presente el sistema serían:
La o las fuentes de luz de alta intensidad (3) generan una serie de pulsos de amplitud variable (de diferentes intensidad) para conseguir generar de forma alternativa, una sombra de alta intensidad y otra de intensidad menor.
Se obtienen las imágenes de cuadros consecutivos de imagen correspondientes a sombras de diferente intensidad para hallar la diferencia entre ambos y así determinar su contorno y localizar la sombra generada.
Se obtiene la localización del objeto real proyectado que crea la sombra al interponerse con la fuente de luz de alta intensidad, mediante técnicas alternativas de reconocimiento de imagen.
Se determinan las distancias entre objeto real y su sombra.
Se indican las distancias anteriores como información de interés en la prevención de colisiones.
En vez de generar de forma alternativa sombras de diferente intensidad, se pueden emplear dos fuentes de luz para crear de forma alternativa sombras de diferentes longitudes de onda que serán detectadas con una cámara con un filtros con dos pasos de banda estrecha o bien con una cámara de doble sensor como el de la figura 5, cada uno con su correspondiente filtro paso banda.
Determinados con exactitud los píxeles de la imagen que corresponden a las sombras creadas, procedemos a bien intensificar las sobras, a definir sus contornos, a calcular las distancias al objeto que las crea, así como a escribir (overlay) en la imagen las distancias calculadas o incluso avisar de la cercanía a una posible colisión entre los objetos de proyección y proyectado en función de esos parámetros.
Si el tipo de aplicación nos lo permite, como sucede en el repostaje en vuelo con botalón, añadimos al objeto proyectado (5) uno o más marcadores. Estos pueden ser elementos reflectantes pasivos o elementos activos de luz (22) como pueden ser unos LEDs en esta implementación preferida. Esto facilita mucho el trabajo de reconocimiento anterior para ubicar la posición del objeto proyectado (5) que lleva a cabo el procesador de imagen (19). Este elemento activo de luz que como se ha dicho, también podría ser un reflector pasivo, facilita la tarea de localizar la situación del objeto proyectado (5) mediante el empleo de dos o más cámaras como la (1) colocadas en diferentes posiciones del espacio. Las cámaras permitirán realizar una triangulación 3D que nos dará la posición de los marcadores. La longitud de onda de la luz emitida por los marcadores, si son activos, debe estar dentro del rango de paso de los filtros ópticos paso banda empleados para la visualización de las sombras, ya descritos con anterioridad.
Para la detección de las sombras también podemos emplear dos cámaras, una primera cámara (29) y una segunda cámara (30) en un montaje especial que nos facilitará la tarea de determinar su contorno. Las cámaras de la figura 5, (29) y (30) se emplearán en un montaje que les permite ver la misma región del espacio. Para ello emplean un divisor espacial (32) que es un espejo semi-plateado que permite, junto con una lente común (31) donde también irá ubicado el filtro paso banda, referido con anterioridad. Esto permite por un lado emplear un filtro paso banda para cada cámara, asignado a cada una un rango específico del espectro. Por otro, que las imágenes de las sombras creadas por las dos fuentes generadoras de luz necesarias, coincidan con precisión en el espacio al ser vistas desde el mismo punto y generadas igualmente desde un único punto espacial.
El sistema en una realización complementaria incluye una fuente de luz estructurada que es enviada de forma coincidente con la luz de la fuente intensa (3) y posteriormente reconocida por el sistema de procesamiento de imagen (19) con el fin de determinar los puntos de intersección entre imagen real y sombra y así poder crear un overlay sobre la imagen que indique el punto de intersección de ambas. Dicha iluminación estructurada se obtiene empleando una lente de difracción en la que se ha grabado un patrón específico y que al ser atravesada por un láser genera la proyección de dicho patrón sobre el objeto de proyección de nuestro escenario. Un procesamiento adecuado de las imágenes y la determinación precisa del objeto (5), permitirá, junto con la sombra, determinar los parámetros de distancia y proximidad a la colisión que ya se han indicado anteriormente.
Finalmente, para el caso en que sea difícil encontrar un filtro paso banda en la banda exacta del láser empleado, podemos generar, aunque con un peor rendimiento, la luz de alta intensidad y alta coherencia temporal mediante una luz de alta intensidad que incluya las longitudes de onda a las que vayamos a trabajar a la que le añadimos en su salida, un filtro paso banda similar al que le ponemos a la cámara (1). Así, luz emitida y recibida por la cámara estarán en el mismo rango del espectro como se desea.

Claims

REIVINDICACIONES
1.- Un sistema para crear, modular y detectar sombras en sistemas con control, basado en un sistema de visualización remota, sobre un objeto de proyección (7) caracterizado porque comprende:
Un sistema de visión remota compuesto al menos por una cámara (1) y sus correspondientes lentes de enfoque (2).
Una o más fuentes de luz de alta intensidad (3) generadora de gran cantidad de fotones de luz dentro de un rango espectral estrecho que proyectan los fotones sobre un objeto de proyección (7) en la que crear las nuevas las sombras (13) de un objeto proyectado (5) .
Uno o varios elementos de filtrado óptico (4) montados sobre el sistema de visión remota, donde el o los elementos de filtrado óptico (4) de fotones son del tipo paso banda estrecho o pasos banda estrechos de forma que, deje o dejen pasar con baja atenuación, los fotones dentro de esas bandas espectrales y no deje pasar o dejen pasar con una alta atenuación, los fotones cuyas frecuencias espectrales estén fuera de la banda o bandas de paso anteriores.
Un sistema de alimentación de energía para proporcionársela al sistema o sistemas generadores de fotones y demás elementos activos del sistema.
Donde
El rango espectral estrecho y la fuente de luz de alta intensidad tienen unos valores tales que combinados implican que la energía lumínica generada por la fuente dentro del rango de longitudes de onda elegido cumple con la condición de poder distinguirse de aquella energía lumínica generada por el sol dentro de ese mismo rango de longitudes de onda.
2.- Un sistema para crear, modular y detectar sombras en sistemas con control, basado en un sistema de visualización remota según la reivindicación 1 caracterizado porque la o las fuentes de luz de alta intensidad (3) de fotones de luz cuentan con un filtro de polarización mientras que la cámara o cámaras (1) de su sistema de visualización cuentan igualmente con polarizadores.
3.- Un sistema para crear, modular y detectar sombras en sistemas con control, basado en un sistema de visualización remota según la reivindicación 2, caracterizado porque los polarizadores son variables y son controlados por un controlador de la polarización de los mismos.
4 Un sistema para crear, modular y detectar sombras en sistemas con control, basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque la o las fuentes de luz de alta intensidad (3) están montadas sobre una plataforma que puede girar en un plano paralelo al suelo respecto de un eje vertical y respecto de un eje horizontal siendo modificable su elevación (12) y realizar un giro (11) paralelo a la base.
5.- Un sistema para crear, modular y detectar sombras en sistemas con control, basado en sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque la o las fuentes de luz de alta intensidad (3) de fotones, generan luz de distintos rangos muy estrechos de longitudes de onda y el elemento de filtrado óptico (4) es un elemento paso banda multi-banda que deja pasar las longitudes de onda de los estrechos rangos anteriores y no deja pasar (o deja pasar con mucha atenuación) las longitudes de onda que están fuera de los rangos anteriores.
6.- Un sistema para crear, modular y detectar sombras en sistemas con control, basado en un sistema de visualización remota según cualquiera de las reivindicaciones 3 a 5, caracterizado porque el controlador de polarización de la o las fuentes de luz de alta intensidad (3) están en conexión con un amplificador/atenuador (21) de atenuación y amplificación de la luz generada.
7.- Un sistema para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores caracterizado por comprender la o las fuentes de luz de alta intensidad (3) además de un elemento difusor/concentrador óptico (9) que permite aumentar o reducir el campo de proyección de la luz generada.
8.- Un sistema para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque asociado al sistema de visualización remota se disponen uno o varios monitores (20) donde pueden visualizarse las imágenes.
9.- Un sistema para crear, modular y detectar sombras en sistemas con control basados en un sistema de visualización remota según la reivindicación 8, caracterizado porque que entre el o los monitores (20) y el sistema de visualización remota se incluye además un subsistema de procesamiento de imagen (19) con la capacidad de reconocer los distintos elementos del escenario de trabajo, determinar sus contornos y crear sombras virtuales en aquellos lugares de interés.
10.- Un sistema para crear, modular y detectar sombras en sistemas con control basados en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque el sistema comprende al menos de dos cámaras (1) con sus correspondientes lentes de enfoque (2), ambas independientes y colocadas apuntando a un punto de interés fijo en el espacio y separadas entre sí una distancia fija, lo que les permite generar una imagen en 3D.
11.- Un sistema para crear, modular y detectar sombras en sistemas con control basados en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque el sistema cuenta sobre el objeto proyectado (5) con uno o más puntos de luz (22) o marcadores activos que la cámara o cámaras (1) de su sistema de visualización captan y mediante una triangulación determinar sus coordenadas espaciales con exactitud facilitando la determinación de la posición del objeto proyectado (5) con respecto al objeto de proyección (7).
12.- Un sistema para crear, modular y detectar sombras en sistemas con control basados en un sistema de visualización remota según la reivindicación anterior, caracterizado porque el o los puntos de luz (22) o marcadores activos están sincronizados con la cámara o cámaras por medio de un subsistema electrónico de sincronismo.
13.- Un sistema para crear, modular y detectar sombras en sistemas con control basados en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores 1 a 10, caracterizado porque el sistema el sistema cuenta sobre el objeto proyectado (5) con uno o más puntos reflectantes de luz o marcadores pasivos que la cámara o cámaras (1) de su sistema de visualización captan y mediante una triangulación determinar sus coordenadas espaciales con exactitud facilitando la determinación de la posición del objeto proyectado (5) con respecto al objeto de proyección (7).
14.- Un sistema para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores, caracterizado porque el sistema de visualización remota cuenta con dos cámaras (1) donde cada cámara (1) del sistema comprende: • Dos cámaras, una primera cámara (29) y una segunda cámara (30) en un montaje que les permite ver la misma región del espacio.
• un divisor espacial (32) que es un espejo semi-plateado
• una lente común (31)
• Dos filtros independientes paso-banda colocados delante de cada sensor de imagen cada uno con una banda diferente.
De esa forma, cada cámara podría recibir información espectral distinta, simplificando los filtros paso banda sin perder la capacidad para observar el escenario de trabajo desde el mismo punto geométrico el espacio lo que facilita la detección y digitalización de las sombras generadas.
15.- Un sistema para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores caracterizada porque incluye una fuente de luz estructurada que es enviada de forma coincidente con la luz de la fuente intensa (3) y posteriormente reconocida por el sistema de procesamiento de imagen (19) con el fin de determinar los puntos de intersección entre imagen real y sombra y así poder crear un overlay sobre la imagen que indique el punto de intersección de ambas.
16.- Un sistema para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota según cualquiera de las reivindicaciones anteriores caracterizada porque incluye un filtro paso-banda adicional para emplearlo con la fuente de alta intensidad que en este caso necesitará mayor potencia pero que tendrá el mismo rango de funcionamiento que la cámara del sistema de visualización que se emplee.
17.- Procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota que emplea un sistema según cualquiera de las reivindicaciones 1 a 16 caracterizado porque comprende las etapas de:
proyectar una luz desde una fuente de luz de alta intensidad (3) en dirección a dos objetos en acción; un objeto proyectado (5) que genera la sombra al interponerse con respecto al otro y un objeto de proyección (7) donde aparece la sombra como resultado de la inhibición de fotones dentro de su contorno por causa del primero. La luz proyectada por el objeto proyectado (5) está dentro de un rango de longitudes de onda dentro de las cuales superará a la luz del sol y por tanto sobre iluminará al objeto más de lo que estaba (en ese rango lumínico). Así al interponerse el primer objeto en ese haz lumínico procedente de nuestra fuente, creará esa sombra que podrá ser solamente visible en el rango de luz que hayamos elegido.
Captación de las imágenes en la zona de emisión de la fuente de luz de alta intensidad (3), empleando para la captación al menos un sistema de visión remota compuesto por al menos una cámara (1) y sus correspondientes lentes de enfoque (2) y uno o varios elementos de filtrado óptico (4) que deje pasar solamente la luz del rango que hayamos elegido (o incluso menos). De esa manera, aparecerá ante nuestros ojos dicha sombra oculta y así habremos obtenido otra parte del objetivo de esta invención.
18.- Procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota que emplea un sistema según la reivindicación 17 caracterizado porque:
La o las fuentes de luz de alta intensidad (3) Generan una serie de pulsos de amplitud variable (de diferentes intensidad) para conseguir generar de forma alternativa, una sombra de alta intensidad y otra de intensidad menor.
Se obtienen las imágenes de cuadros consecutivos de imagen correspondientes a sombras de diferente intensidad para hallar la diferencia entre ambos y así determinar su contorno y localizar la sombra generada. Se obtiene la localización del objeto real proyectado que crea la sombra al interponerse con la fuente de luz de alta intensidad, mediante técnicas alternativas de reconocimiento de imagen.
Se determinan las distancias entre objeto real y su sombra.
- Se indican las distancias anteriores como información de interés en la prevención de colisiones.
19.- Procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota que emplea un sistema según la reivindicación 17 caracterizado porque
la o las fuentes de luz de alta intensidad (3) son dos fuentes de luz y generan una serie de pulsos de diferentes longitudes de onda
Se obtienen las imágenes detectadas con una cámara con un filtros con dos pasos de banda estrecha o bien con una cámara de doble sensor cada uno con su correspondiente filtro paso banda.
Se obtiene la localización del objeto real proyectado que crea la sombra al interponerse con la fuente de luz de alta intensidad, mediante técnicas alternativas de reconocimiento de imagen.
Se determinan las distancias entre objeto real y su sombra.
- Se indican las distancias anteriores como información de interés en la prevención de colisiones.
PCT/ES2019/070274 2018-04-25 2019-04-23 Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota WO2019207189A1 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201830413A ES2728787B2 (es) 2018-04-25 2018-04-25 Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualizacion remota
ESP201830413 2018-04-25

Publications (1)

Publication Number Publication Date
WO2019207189A1 true WO2019207189A1 (es) 2019-10-31

Family

ID=66676559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2019/070274 WO2019207189A1 (es) 2018-04-25 2019-04-23 Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualización remota

Country Status (2)

Country Link
ES (1) ES2728787B2 (es)
WO (1) WO2019207189A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631356A (zh) * 2022-11-28 2023-01-20 北京闪马智建科技有限公司 道路设施缺失识别方法、装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186221A1 (en) * 2001-06-05 2002-12-12 Reactrix Systems, Inc. Interactive video display system
US20110292251A1 (en) * 2010-06-01 2011-12-01 Samsung Electronics Co., Ltd. Camera and method of displaying image thereon
WO2012160913A1 (ja) * 2011-05-23 2012-11-29 パナソニック株式会社 光投影装置
US20170078645A1 (en) * 2015-09-16 2017-03-16 Andrew Neil Aurigema Vision enhancing system and method
WO2017178683A1 (es) * 2016-04-14 2017-10-19 Defensya Ingeniería Internacional, S.L. Sistema doble 3d y procedimiento para obtener una imagen aumentada del sector de interés de la escena de trabajo en las operaciones de control basadas en imágenes 3d

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4934273A (en) * 1989-06-20 1990-06-19 Spectra Diode Laboratories, Inc. Laser flare
US7475852B2 (en) * 2004-06-04 2009-01-13 The Boeing Company Illuminating system, device, and method for in-flight refueling
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2570841B1 (en) * 2010-04-20 2016-04-13 Airbus Defence and Space SA System for night vision from distant observation places
ES2584231B2 (es) * 2015-10-09 2017-06-02 Defensya Ingeniería Internacional, S.L. Sistema de localización del extremo del boom, de la boca del receptáculo de repostaje y del tanquero

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186221A1 (en) * 2001-06-05 2002-12-12 Reactrix Systems, Inc. Interactive video display system
US20110292251A1 (en) * 2010-06-01 2011-12-01 Samsung Electronics Co., Ltd. Camera and method of displaying image thereon
WO2012160913A1 (ja) * 2011-05-23 2012-11-29 パナソニック株式会社 光投影装置
US20170078645A1 (en) * 2015-09-16 2017-03-16 Andrew Neil Aurigema Vision enhancing system and method
WO2017178683A1 (es) * 2016-04-14 2017-10-19 Defensya Ingeniería Internacional, S.L. Sistema doble 3d y procedimiento para obtener una imagen aumentada del sector de interés de la escena de trabajo en las operaciones de control basadas en imágenes 3d

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631356A (zh) * 2022-11-28 2023-01-20 北京闪马智建科技有限公司 道路设施缺失识别方法、装置、存储介质及电子装置
CN115631356B (zh) * 2022-11-28 2023-08-08 北京闪马智建科技有限公司 道路设施缺失识别方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
ES2728787B2 (es) 2021-02-09
ES2728787A1 (es) 2019-10-28

Similar Documents

Publication Publication Date Title
ES2459748T3 (es) Sistema y método de formación de imágenes con cámara con desbloqueo periódico con un láser
RU2452033C2 (ru) Системы и способы наблюдения в ночное время
ES2627017T3 (es) Procedimiento y sistema para facilitar el aterrizaje autónomo de vehículos aéreos sobre una superficie
JP5128285B2 (ja) 粒子検出方法およびシステム
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达系统
CN110268283A (zh) 激光雷达系统和方法
BR102017006726A2 (pt) Aircraft collision alert system, and, a method for generating an alert signal of a potential aircraft collision
ES2572689T3 (es) Espejo de probador
ES2847523T3 (es) Robot de limpieza de piscinas y método para representar la imagen de una piscina
US20140009611A1 (en) Camera System and Method for Observing Objects at Great Distances, in Particular for Monitoring Target Objects at Night, in Mist, Dust or Rain
US11275288B2 (en) Ballistic light modulations for image enhancement through fog
ES2380322T3 (es) Aparato y cámara de visión UV insensibles a la luz solar
CA2955858C (en) Night vision device
US20200021786A1 (en) Projection system
ES2584554A1 (es) Sistema de detección de punta de la pértiga y boca de receptáculo, automatización progresiva del repostaje aéreo con botalón y procedimiento de repostaje
ES2728787B2 (es) Sistema y procedimiento para crear, modular y detectar sombras en sistemas con control basado en un sistema de visualizacion remota
RU2223515C1 (ru) Устройство обнаружения оптических и оптико-электронных объектов
TWI755234B (zh) 智慧型遠距離紅外線補光燈組
JPH074967A (ja) 測量装置
JP2021525026A (ja) プロジェクタコントローラおよび関連方法
US20210147077A1 (en) Localization Device and Localization Method for Unmanned Aerial Vehicle
Eberle et al. NATO SET-249 joint measurement campaign on laser dazzle effects in airborne scenarios
JP2012015638A (ja) 無人空間表示システムおよびそれを備えた移動体
WO2022153126A1 (en) Synchronization of multiple lidar systems
WO2008113872A1 (es) Sistema de mejora artificial de contraste para visualización de imágenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19727440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19727440

Country of ref document: EP

Kind code of ref document: A1