WO2018111072A1 - Método de captura dinámica de imágenes aéreas para incrementar la resolución - Google Patents

Método de captura dinámica de imágenes aéreas para incrementar la resolución Download PDF

Info

Publication number
WO2018111072A1
WO2018111072A1 PCT/MX2016/000154 MX2016000154W WO2018111072A1 WO 2018111072 A1 WO2018111072 A1 WO 2018111072A1 MX 2016000154 W MX2016000154 W MX 2016000154W WO 2018111072 A1 WO2018111072 A1 WO 2018111072A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
axis
images
movement
elements
Prior art date
Application number
PCT/MX2016/000154
Other languages
English (en)
French (fr)
Inventor
Eduardo RODARTE LEYVA
Dino Alejandro Pardo Guzman
Hiram GUTIERREZ LIZARRAGA
Original Assignee
Rodarte Leyva Eduardo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rodarte Leyva Eduardo filed Critical Rodarte Leyva Eduardo
Priority to PCT/MX2016/000154 priority Critical patent/WO2018111072A1/es
Publication of WO2018111072A1 publication Critical patent/WO2018111072A1/es

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Definitions

  • the present invention has its preponderant field of application in increasing image capture quality through increasing its resolution with cameras or relatively medium resolution vision sensors.
  • the patent US20090185760 details in its invention a method and a device for increasing the resolution of an image from a low resolution image, characterized by performing a blur estimation process from sequences of low resolution images that are obtained by sequential shooting operation from a camera. During a period of shooting by the camera a displacement with small vibrations is made on the low resolution image to estimate the blur. Finally, the blur process data is processed in the image processing device to increase the resolution of the image.
  • a high definition imaging device is presented in the invention CN 105357423; It is characterized in that it uses a vision system composed of multiple cameras, to which a structure that generates micro-vibrations is coupled.
  • Independent images of the multiple cameras are controlled by a shot time sequence control, the multiple images generated by the optical system are sent to an imaging module that contains a high resolution reconstructor algorithm.
  • WO / 2006/052029 provides an imaging algorithm to accurately generate a high resolution image using image data having a small number of pixels.
  • An optical system forms an image in an imaging unit, disperses spatially, is sampled, converted into an image signal and stored in a recording unit.
  • US20150193910 describes a method for increasing the resolution of an in-depth image of a scene using a high resolution image of the same scene.
  • Figures 1, 2 and 3 are a schematic of the drone [1] and the spatial orientation of the elements, their dynamic state and the movement of the vision sensor [9].
  • the vector of its velocity [2] goes in the direction of the Y axis [4], in the same way the vector of its acceleration [3] has orientation on the same Y axis [4]. It is then appreciated that the X axis [5] is perpendicular to the direction of movement [4].
  • the vision sensor [9] and the mechanism that allows two-axis rotation [8] are shown in the side view of Figure 2.
  • Said mechanism [8] causes oscillatory rotation in the vision sensor [9] [ 6] on the Y axis with a QT period, which is reflected as a variation on the x axis of the captured images.
  • the mechanism [8] also causes a rotation to said sensor on the X axis [7], which is reflected as a variation on the Y axis of the captured images.
  • Figure 4 describes one of the methods where the present system can be used. Starting from the drone flight scenario [10], the rotational oscillation on the Y axis [11] is started. Images are captured with a capture period T [12].
  • Images [13] are sampled to determine whether the ground on which the drone is has many types of elements or is uniform [14]; if this is the first case, a rotation in the "backward" X axis [15] is generated, to stop the absolute linear advance of the camera in the Y axis. Image capture [12] is continued. When the drone controller detects that it is on a uniform ground, then it gradually returns the mechanism to its original position (if applicable) [16].

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

La presente invención describe un método de captura dinámica para imágenes captadas desde un dron durante el vuelo para aumentar la resolución del sensor de visión empleado. Integra un mecanismo que transmite a dicho sensor un movimiento con dos grados de libertad angulares. El controlador del dron coordina el algoritmo de operación, ordena un movimiento oscilatorio en el sensor de visión para obtener distintas imágenes de la misma sección del terreno. paralelamente, cuando el dron se encuentra sobre una sección de terreno con saturación de distintos tipos de elementos "detiene" el avance de dicho sensor en la dirección de movimiento para tomar un número mayor de imágenes de esa sección de terreno. Al finalizar, las imágenes son procesadas mediante un método de cosido de imagen para construir un mapa con la mayor resolución posible.

Description

MÉTODO DE CAPTURA DINÁMICA DE IMÁGENES AÉREAS
PARA INCREMENTAR LA RESOLUCIÓN
CAMPO TÉCNICO DE LA INVENCIÓN
La presente invención tiene su campo de aplicación preponderante en el incremento de calidad en captura de imágenes a través de aumentar su resolución con cámaras o sensores de visión de resolución relativamente media.
ANTECEDENTES DE LA INVENCIÓN
Hoy en día las cámaras digitales que producen imágenes de alta resolución representan un gasto alto contra las que producen imágenes de baja resolución, por lo que sensores de bajo grado que se encuentran en dispositivos móviles y sistemas de vigilancia siguen siendo los más comunes en múltiples aplicaciones. La resolución de las cámaras puede variar de miles a millones de píxeles y determina el nivel de detalle de una imagen, así las cámaras de alta resolución normalmente mejoran la apariencia de las imágenes. Sin embargo, muchos usuarios desean encontrar un medio para que una cámara u otro dispositivo de captura de imágenes digitales ofrezcan una apariencia mejorada sin necesidad de cambiarlos. Actualmente existen sistemas, métodos y algoritmos que pueden aumentar la resolución de una imagen de baja resolución, se enlistan patentes que se han encontrado recientemente con el tema de aumento de resolución.
La patente US20090185760, detalla en su invención un método y un dispositivo de aumento de resolución de una imagen a partir de una imagen de baja resolución, caracterizado por realizar un proceso de estimación de desenfoque a partir de secuencias de imágenes de baja resolución que se obtienen mediante una operación de disparo secuencial desde una cámara. Durante un periodo de disparo por la cámara se realiza un desplazamiento con pequeñas vibraciones sobre la imagen de baja resolución para estimar el desenfoque. Finalmente, los datos del proceso de desenfoque se procesan en el dispositivo de procesamiento de imagen para aumentar la resolución de la imagen. Un dispositivo de formación de imágenes de alta definición se presenta en la invención CN 105357423; se caracteriza porque utiliza un sistema de visión compuesto por múltiples cámaras, al cual se le acopla una estructura que genera micro-vibraciones. Imágenes independientes de las múltiples cámaras son controladas por un control de secuencia de tiempo de disparo, las múltiples imágenes generadas por el sistema óptico son enviadas a un módulo de formación de imágenes que contiene un algoritmo reconstructor de alta resolución. La patente WO/2006/052029, proporciona un algoritmo de formación de imágenes para generar con precisión una imagen de alta resolución utilizando datos de imágenes que tienen un número pequeño de píxeles. Un sistema óptico forma una imagen en una unidad de formación de imágenes, se dispersa espacíalmente, se muestrea, se convierte en una señal de imagen y se guarda en una unidad de grabación. La patente US20150193910 describe un método para aumentar la resolución de una imagen en profundidad de una escena utilizando una imagen de alta resolución de la misma escena.
DESCRIPCION DETALLADA DE LA INVENCIÓN
Los detalles característicos de la presente invención se muestran claramente en la siguiente descripción y en las figuras que se acompañan, las cuales se mencionan a manera de ejemplo por lo que no deben considerarse como una limitante para dicha invención.
Las figuras 1, 2 y 3, son un esquemático del dron [1] y la orientación espacial de los elementos su estado dinámico y el movimiento del sensor de visión [9]. El vector de su velocidad [2] va en dirección del eje Y [4], de igual forma el vector de su aceleración [3] tiene orientación en el mismo eje Y [4]. Se aprecia entonces que el eje X [5] es perpendicular a la dirección de movimiento [4]. El sensor de visión [9] y el mecanismo que le permite rotación en dos ejes [8] se muestran en la vista lateral de la Figura 2. Dicho mecanismo [8] le provoca en el sensor de visión [9] una rotación oscilatoria [6] en el eje Y con un periodo QT, que se refleja como variación en el eje x de las imágenes capturadas. El mecanismo [8] también provoca una rotación a dicho sensor en el eje X [7], lo que se ve reflejado como variación en el eje Y de las imágenes capturadas. La figura 4 describe uno de los métodos donde se puede utilizar el presente sistema. Partiendo del escenario de vuelo del dron [10], se comienza la oscilación rotativa en el eje Y [11]. Se capturan imágenes con un periodo de captura T [12]. Se muestrean imágenes [13] para determinar si en el terreno sobre el cual se encuentra el dron cuenta con muchos tipos de elementos o es uniforme [14]; de ser el primer caso, se genera una rotación en el eje X "hacia atrás" [15], para detener el avance lineal absoluto de la cámara en el eje Y. Se continúa con la captura de imágenes [12]. Cuando el controlador del dron detecta que se encuentra sobre un terreno uniforme, entonces devuelve gradualmente el mecanismo a su posición original (si aplica) [16].

Claims

REIVINDICACIONES
La presente invención reclama: 1.
Un método de captura dinámica para imágenes captadas desde un dron durante el vuelo, con el objetivo de incrementar la resolución en zonas de saturación de elementos ya sea un gran número árboles y arbustos, piedras, construcciones, terreno no uniforme, entre otros casos, constituido por los siguientes elementos y etapas:
a. Un mecanismo tipo cardán para acoplamiento mecánico entre un sensor de visión y el dron permite dos grados de libertad angulares, mediante actuadores para controlar el movimiento de dicho sensor. Una unidad de medición inercial (UMI) mide los desplazamientos angulares y lineales resultantes en el soporte del sensor de visión para indicar al mecanismo la estabilización de dicho sensor. Adicional a esto, un elemento de amortiguamiento viscoso rotativo es implementado para disminuir el momento de reacción ocasionado por la rotación en el eje Y (paralelo a la dirección de movimiento del vehículo). b. El sensor de visión captura fotos con un periodo T, mientras el mecanismo cardán genera en la cámara un momento angular oscilatorio en el eje "Y" (paralelo a la dirección de movimiento del vehículo aéreo) con un periodo QJ, de tal forma que el sensor de visión realiza capturas en O. posiciones diferentes del eje "X" durante cada oscilación.
c. El controlador del dron está adicionado con un procesador que se dedica a analizar una de cada 3Q imágenes capturadas (es decir una cada 3 oscilaciones), ejecuta una Transformada Rápida de Fourier para distinguir elementos dentro de dicha imagen, donde determinará si existen muchos tipos de elementos o es una imagen uniforme; de ser el primero de los casos el mecanismo cardán genera un momento angular en el eje "X" (perpendicular a la dirección de movimiento del vehículo aéreo) a una velocidad y aceleración equivalentes a las que desarrolla el dron para "detener" el desplazamiento lineal absoluto del sensor de visión en el eje "Y" y tomar una o más fotografías adicionales en otro punto del eje "X" en esa misma posición para Ύ".
d. Cuando el controlador detecta que se encuentra sobre un área con elementos uniformes, entonces se permite avanzar gradualmente en el eje "Y", hasta llegar a su posición original.
e. Finalmente las imágenes obtenidas son analizadas por una computadora para ejecutar un algoritmo de cosido de imágenes con el que se seleccione, por cada fracción de fotografía, la que mejor defina los elementos que ahí se encuentran.
2. Un método para incremento de resolución en imágenes captadas durante el vuelo como el de la Reivindicación 1, donde el dron cuenta con LEDs RGB y LEDs IR para adecuarse a las condiciones climatológicas del escenario de interés para capturar imágenes.
3. Un sistema como el especificado en Reivindicación 1, donde los datos del dron son cargados a un servidor de red para poder desplegar el estado de la captura de imágenes mediante alguna de las siguientes interfaces: i) una aplicación multi-dispositivo, ii) una página web, iii) una pantalla posicionada en la misma plataforma de aterrizaje.
4. Un sistema como el especificado en la Reivindicación 1, donde el método se ejecuta en tierra a través del seguimiento de comunicación de dron mediante una antena de panel plano.
PCT/MX2016/000154 2016-12-16 2016-12-16 Método de captura dinámica de imágenes aéreas para incrementar la resolución WO2018111072A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/MX2016/000154 WO2018111072A1 (es) 2016-12-16 2016-12-16 Método de captura dinámica de imágenes aéreas para incrementar la resolución

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/MX2016/000154 WO2018111072A1 (es) 2016-12-16 2016-12-16 Método de captura dinámica de imágenes aéreas para incrementar la resolución

Publications (1)

Publication Number Publication Date
WO2018111072A1 true WO2018111072A1 (es) 2018-06-21

Family

ID=62559055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/MX2016/000154 WO2018111072A1 (es) 2016-12-16 2016-12-16 Método de captura dinámica de imágenes aéreas para incrementar la resolución

Country Status (1)

Country Link
WO (1) WO2018111072A1 (es)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702078A (zh) * 2019-10-25 2020-01-17 中山大学 一种基于视觉的室内外一体化地图构建系统及其构建方法
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995000820A1 (fr) * 1993-06-28 1995-01-05 Isnav S.A. Dispositif de prise de vue a grand champ et a haute resolution pour vehicule aerien
US20050177307A1 (en) * 2002-05-30 2005-08-11 Rafael-Armament Development Authority Ltd Airborne reconnaissance system
WO2008075335A1 (en) * 2006-12-20 2008-06-26 Elbit Systems Electro-Optics Elop Ltd. Airborne photogrammetric imaging system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995000820A1 (fr) * 1993-06-28 1995-01-05 Isnav S.A. Dispositif de prise de vue a grand champ et a haute resolution pour vehicule aerien
US20050177307A1 (en) * 2002-05-30 2005-08-11 Rafael-Armament Development Authority Ltd Airborne reconnaissance system
WO2008075335A1 (en) * 2006-12-20 2008-06-26 Elbit Systems Electro-Optics Elop Ltd. Airborne photogrammetric imaging system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702078A (zh) * 2019-10-25 2020-01-17 中山大学 一种基于视觉的室内外一体化地图构建系统及其构建方法
CN110702078B (zh) * 2019-10-25 2021-04-09 中山大学 一种基于视觉的室内外一体化地图构建方法
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection

Similar Documents

Publication Publication Date Title
US10401872B2 (en) Method and system for collision avoidance
US9409656B2 (en) Aerial photographing system
US10257400B2 (en) Method and apparatus for imaging
US7071970B2 (en) Video augmented orientation sensor
US8896697B2 (en) Video motion compensation and stabilization gimbaled imaging system
CN108605098B (zh) 用于卷帘快门校正的系统和方法
CN109792543B (zh) 根据可移动物捕获的图像数据创建视频抽象的方法和系统
US7417210B2 (en) Multi-spectral sensor system and methods
US20130278715A1 (en) System and method for discreetly collecting 3d immersive/panoramic imagery
US10589860B2 (en) Spherical infrared emitter
US7466343B2 (en) General line of sight stabilization system
KR20170047230A (ko) 원격 이미지의 안정화 및 디스플레이
US10896520B2 (en) System and method for moment capturing
IL264714A (en) Gao-Video detection
US9300872B2 (en) Hybrid stabilizer with optimized resonant and control loop frequencies
WO2018111072A1 (es) Método de captura dinámica de imágenes aéreas para incrementar la resolución
WO2013105084A1 (en) Method and apparatus for aerial surveillance
US20160224842A1 (en) Method and apparatus for aerial surveillance and targeting
US9894276B2 (en) System and method for supporting three-dimensional display in first person view (FPV)
Coury Development of a Real-Time Electro-Optical Reconnaissance System
EP3607528A1 (en) System and method for increasing coverage of an area captured by an image capturing device
KR101762475B1 (ko) 직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923823

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923823

Country of ref document: EP

Kind code of ref document: A1