WO2012140294A1 - Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen - Google Patents

Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen Download PDF

Info

Publication number
WO2012140294A1
WO2012140294A1 PCT/ES2012/070207 ES2012070207W WO2012140294A1 WO 2012140294 A1 WO2012140294 A1 WO 2012140294A1 ES 2012070207 W ES2012070207 W ES 2012070207W WO 2012140294 A1 WO2012140294 A1 WO 2012140294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
video
input
freezing
Prior art date
Application number
PCT/ES2012/070207
Other languages
English (en)
French (fr)
Inventor
Alberto Adarve Lozano
Original Assignee
Alberto Adarve Lozano
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alberto Adarve Lozano filed Critical Alberto Adarve Lozano
Priority to EP12770651.3A priority Critical patent/EP2753057A4/en
Priority to US14/112,034 priority patent/US20140104421A1/en
Publication of WO2012140294A1 publication Critical patent/WO2012140294A1/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • the present invention relates to a real-time video monitoring system, for the supervision of critical operations such as resupply in flight or any other by remote control or supervision of operations where the time lag between the actual action and the remote viewing of it is absolutely essential for the success of the operation.
  • the video signal if it is of quality, is normally acquired by means of high-resolution video cameras or photon sensors located at the end of the device controlled by the operator, which facilitate the decision making on position, distance and other parameters necessary for the correct completion of the operation successfully.
  • the signal emitted by cameras and / or sensors travels through a set of digital lines to transmit the data to the place of presentation, be it the panel, the screen or the corresponding presentation device.
  • a typical example of these operations is the refueling of aircraft in flight.
  • the signal is collected in sensors that receive the impact of photons from surrounding objects to produce an electrical signal that travels through channels to an image processing point where it is treated to be sent back to through said channels to at least one monitor whose electronics receive it and send to at least one display device.
  • the refueling systems in flight are based on the use of three types of devices such as:
  • Hose and Drogue consisting of the use of a hose terminated in a funnel-shaped basket as an interconnection device between a tanker plane and a receiving device or several, in flight.
  • FRU Fiber Refueling Unit
  • Boom device consisting basically of a telescopic and extensible tube attached to the bottom of the tanker plane by means of an articulated element that can be moved by means of fins until the nozzle or tube tip is inserted into the receptacle of the receiving plane for subsequently supply fuel. All of them are intended to facilitate the passage of fuel from the tanker to the receiving aircraft.
  • This type of refueling operations as well as other so-called real-time operations are characterized by requiring low latency between real events and their remote display on the corresponding monitor.
  • a memory buffer is used to temporarily store the data and be able to repeat them until reaching the desired frequency.
  • Another optional improvement introduced in this invention consists precisely in that use of several alternative video signal sources from different sensors. Once the freezing or loss of video is detected, the system can switch between them to ensure that there is always a live image in real time with which to work.
  • What is proposed in this invention is a monitoring system that in its most basic version would be reduced to a simple, redundant and robust monitor from the type of functional view that solves all the potential risks mentioned above.
  • several display elements will be available that will facilitate a 3D view of the events, being able to switch to 2D in case of failure in any of the input video signals.
  • the object of the present invention is to solve all these potential problems, based on an electronic design, for such purposes, which provides the desired characteristics. At the same time a method or procedure to detect freezing is proposed.
  • the present invention is directed to a monitoring system of critical operations in which the loss or freezing of images is not acceptable and may compromise the success of the mission or task.
  • istema consists of all or some of the following elements:
  • One or more video image acquisition devices preferably cameras or photon sensors.
  • Subsystem for generating overlays or graphic indications on the screen or display panel • Subsystem for generating overlays or graphic indications on the screen or display panel.
  • Auxiliary signaling elements such as lights or sound (based on LEDs or similar).
  • the images sent to the display device will not have, under the design itself, the possibility of freezing, but if this happened due to an error in the input of a video signal from outside the system, the last This stage will be responsible for detecting and switching to another suitable signal that does not present such dysfunction. Likewise, it will inform the operator immediately and in various ways about such a situation so that it can undoubtedly take the corrective actions that may proceed.
  • An obvious advantage of the invention is the possibility that the system automatically selects among the input video signals finding one that does not behave the problems corresponding to the freezing error or lost signal detected. It will be recommended for obvious reasons that the input signals are distinct and independent.
  • a method for performing the functions of freezing detection is proposed through an algorithm encoded for it.
  • Figure 1 shows a detailed schematic view of the components of the system object of the invention.
  • Figure 2 shows a more general schematic view of the vision system from the input sensors where the real world images are collected in cameras (25) are processed in an image processing system (24) and sent to the system final display (1 1) and
  • this invention proposes to obtain and store parts of the image frame that will be compared with those of the following frames and whose result will be used to determine the existence or not of freezing. This detection is performed, as stated, in the last stage of the system, before sending the signal to the final display or display device. If it is not possible to correct the internal freezing this detection will inform us of the existence of freezing at the input of the video signal in use through a panel of lights and / or sounds. This is the basic and fundamental idea of the present invention.
  • an additional electronic selection mechanism activated by an algorithm that once a frozen image is detected, changes to a different input or, alternatively if there is no additional video source, it will proceed to inform the user about this situation in different ways . In that case the operator will proceed according to the established procedures to avoid any negative consequences that could arise from that situation.
  • Electronic mechanisms can be implemented thanks to one or more FPGAs or even with the help of one or more micro-controllers or processors.
  • the proposed but not exclusive ways to inform the operator are the use of overlays generated by the electronics itself and the use of indicative lights and / or sounds. The operator must always take into account the measures to be taken based on this information, and may even abort the operation. It is also important to consider the redundancy of the different resources of the system and in this sense the present invention proposes in one of its claims the redundancy of the rest of the resources that compose it.
  • Another improvement introduced in the monitoring system object of the present invention is the use of redundant serial signals for control and video, regardless of the redundancy of the rest of the elements or functionalities.
  • these formats we would have a preferred implementation based on RS422 for commands and data and an HD SDI for the video signal.
  • These types of formats allow easy selection and also an easy conversion to optical, greatly improving the range of the signals and reducing the probability of error in these channels. This would translate into an additional advantage that allows the display element to be placed at a great distance from the rest of the system that provides the signals to be displayed.
  • Commands to control aspects such as brightness or color intensity can be sent by a serial line or embedded in the same serial video link as auxiliary data which would reduce the input connectors to the system.
  • a video acquisition means (25) that can be cameras or photon sensors or any others that allow obtaining images in real time
  • a conventional image processing system (24)
  • Signal processors (5) and (7) that will be implemented for example with FPGAs, to obtain the information of the image-s that enter through (17) and / or (18) analyze it to detect any symptoms of freezing or loss of image and create an overlay on the s-screen as well as send an indication to the lights (21) to notify the user of this situation. Also the electronics must take control and select another input if it is available that does not present the previous errors. That functionality could be done by means of one or more microcontroller-es (9) or (10) that will behave as one in a master / slave configuration represented in the figure with (8). - Redundant power supplies powered by lines (22) and (23), represented by (1) and (2) that will behave as one (3) to power the rest of the elements and that in the event of a power failure.
  • the warning lights of malfunction (21), which can be LEDs, are redundant for any indication they intend to give and their mission is to report otherwise on any transcendent event.
  • the invention is partly materialized by the implementation of a method to detect freezing and the lack of video that will be implemented by the corresponding algorithm, such that said algorithm comprises the following steps:
  • this algorithm is implemented in an fpga electronics although it could be programmed in a micro-controller or in another similar way.
  • Freezing is detected based on the storage of certain areas of the frame image to later compare them with those of subsequent frames and after determining the number of matches to reach the Conclusion that there have been or not enough to suspect and indicate the existence of freezing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y algoritmo de detección de congelamiento de imagen consistente en un sistema de visualización de imágenes procedentes de un conjunto de sensores en tiempo real con la capacidad para detectar la congelación de parte o la totalidad de la señal de video de entrada y para detectar el fallo o inexistencia de señal de video de entrada para informar al operador mediante sonido, luces indicativas u overlays sobre la visualización así como ser capaz de seleccionar una entrada de señal de video alternativa para evitar que el operador pueda perder de vista las imágenes del mundo real que está visualizando o se produzca un retardo en la visión de tales imágenes. La invención también se refiere a un algoritmo para realizar las funcionalidades anteriores basado en el empleo de una o varias unidades de cómputo.

Description

SISTEMA DE MONITORIZACIÓN PARA LA SUPERVISIÓN Y CONTROL DE OPERACIONES CRÍTICAS EN REMOTO Y MÉTODO DE DETECCIÓN DE
CONGELAMIENTO DE IMAGEN
CAMPO DE LA INVENCIÓN
La presente invención se refiere a un sistema de monitorización de video en tiempo real, para la supervisión de operaciones críticas como la de reabastecimiento en vuelo o de cualquier otro mediante control remoto o supervisión de operaciones donde el lapso de tiempo que hay entre la acción real y la visualización remota de la misma es absolutamente fundamental para el éxito de la operación.
ANTECEDENTES Actualmente los métodos de visualización convencional para operaciones críticas por control remoto están basados en el empleo de elementos de presentación como paneles Icd o similares y proyectores que proporcionan una imagen de la operación en remoto a un operador que debe controlar, a través de la visión obtenida, que la operación se desarrolla y se acaba de forma correcta. Estas operaciones críticas se caracterizan porque el operador carece de visión directa del desarrollo de la operación y obtiene tal visión a través de un sistema complejo de vídeo, que proporciona al operador la visión necesaria para completar la misma. Tales operaciones requieren una visión perfecta en tiempo real ya que no disponer de tal visión puede dar lugar a accidentes. Los sistemas conocidos utilizan un sistema electrónico anexo que por lo general tiene una entrada de señal de vídeo en un formato estandarizado. La señal de vídeo si es de calidad, se adquiere normalmente mediante cámaras de vídeo de alta resolución o sensores de fotones situados en el extremo del dispositivo controlado por el operador, que le facilitan la toma de decisiones sobre posición, distancia y demás parámetros necesarios para la correcta finalización de la operación con éxito. La señal emitida por cámaras y/o sensores viaja a través de un conjunto de líneas digitales para transmitir los datos al lugar de la presentación ya sea el panel, la pantalla o el dispositivo de presentación correspondiente.
Un ejemplo típico de estas operaciones es el reabastecimiento de combustible de aeronaves en vuelo. En el caso de cámaras, la señal se recoge en unos sensores que reciben el impacto de fotones procedentes de los objetos del entorno para producir una señal eléctrica que viaja por unos canales hasta un punto de tratamiento de imagen donde se trata para de nuevo enviarse a través de dichos canales a al menos un monitor cuya electrónica lo recibe y envía a al menos un dispositivo de visualización.
Los sistemas de reabastecimiento de combustible en vuelo se basan en el uso de tres tipos de dispositivos como son:
• Hose and Drogue: consistente en el uso de una manguera terminada en una cesta con forma de embudo como dispositivo de interconexión entre un avión cisterna y un aparato receptor o varios, en vuelo.
• FRU (Fuselage Refueling Unit): similar al anterior donde una manguera central y de tamaño superior generalmente se emplea para el reabastecimiento.
• Boom: dispositivo que consiste básicamente en un tubo telescópico y extensible adjunto a la parte inferior del avión cisterna mediante un elemento articulado y que puede moverse gracias a unas aletas hasta insertar la "nozzle" o punta del tubo en el receptáculo del avión receptor para posteriormente suministrarle combustible. Todos ellos pretenden facilitar el paso de combustible del avión cisterna a la aeronave receptora. Este tipo de operaciones de repostado así como aquellas otras denominadas de tiempo real están caracterizadas por requerir una baja latencia entre los sucesos reales y su visualización remota en el monitor correspondiente.
Se trata de operaciones consideradas como críticas en las que desde una ubicación remota, el operador controla visualmente todos los pasos y procedimientos para garantizar el éxito de la misión, mediante el accionamiento en tiempo real de un conjunto de dispositivos y mandos, y manipula todos estos dispositivos sobre la base de la información visual que recibe, hasta que la operación se lleva a cabo. Este control visual se lleva a cabo de forma indirecta, a través de medios normalmente electrónicos, lo que produce un retardo entre el suceso y la visualización del mismo, debiendo ser tal retardo el mínimo posible
Ya sea en las operaciones de abastecimiento de combustible en vuelo o en cualesquiera otras de semejantes características de exigencia o criticidad, en las que también se requiera considerar y minimizar el retardo entre suceso real y visualización del mismo, es fundamental considerar y evaluar el efecto que una congelación de las imágenes puede tener para operario que las visualiza. El tiempo hasta que éste consigue determinar que realmente existe una congelación y el que subsiguientemente necesita para seguir el procedimiento establecido en tales situaciones puede ser vital o llegar a generar resultados catastróficos. Operaciones similares se realizan también para todo tipo de dispositivos militares o no y que tienen en cierto modo algún tipo de control remoto. No sólo en los casos mencionados anteriormente, utilizando cualquiera de los sistemas que han sido previamente indicados sino también en cualquier otra situación en las operaciones a distancia que requieran de visión en tiempo real lo más ajustada posible al instante en que se produce el hecho real, es fundamental garantizar que la imagen de los fotogramas de vídeo fluirá sin interrupción desde la cámara al dispositivo de presentación final donde el supervisor deberá utilizar esta información para tomar decisiones como qué hacer o cómo manipular los controles de operación. Debido a que en muchos casos no es aceptable un retraso considerable entre el instante en el que ocurren los hechos reales y aquel en que las imágenes de los mismos llegan al operador, se hace necesaria la capacidad para detectar que la señal procedente de los sensores de imagen se ha congelado y la capacidad de conmutar de una señal de entrada a otra en caso de que se disponga de dicha alternativa. Ambas capacidades pertenecen al objeto de esta invención.
En algunas ocasiones se utilizan cámaras con una velocidad de refresco diferente a la requerida para alimentar el monitor, para fines como evitar el parpadeo u otros efectos similares e indeseables en la presentación. Para tener el número correcto de cuadros de imagen necesitados por la pantalla, se utiliza un buffer de memoria para almacenar temporalmente los datos y poderlos repetir hasta alcanzar la frecuencia deseada.
También a veces, las cámaras o los demás dispositivos que se hallan en la ruta hasta la presentación final requieren algún tipo de tratamiento de imagen que necesita del uso de una memoria de almacenaje del cuadro, al que se le aplican una serie de transformaciones matemáticas para obtener los resultados deseados. En otras ocasiones para conseguir aumentar la sensibilidad de los sensores hay que aumentar el tamaño de los pixeles de sensado recurriendo a algún tipo de agrupamiento de los pixeles básicos del sensor o "binning", que termina desembocando en la necesidad de nuevo de recurrir a una memoria para almacenamiento de los pixeles. En cualquiera de los casos anteriores y en otros similares, la existencia de una memoria para almacenar los datos de imagen genera el riesgo de un congelamiento de la imagen en el dispositivo de presentación final. Esto puede traducirse en un mal funcionamiento del sistema que consiste en un bloqueo o congelamiento de toda o parte de la imagen de video lo que produce un retraso indeseado entre el hecho real y la visión que el operador tiene del mismo.
Este retraso podría generar un desastre, por lo que es completamente inaceptable en muchas aplicaciones, desde el punto de vista de la seguridad, que no exista un mecanismo de detección, indicación e incluso posterior selección de una imagen de video alternativa para evitar perder de vista la escena real de trabajo. Otra mejora opcional introducida en esta invención consiste precisamente en ese empleo de varias fuentes de señal de video alternativas procedentes de distintos sensores. Una vez detectada la congelación o la pérdida de vídeo el sistema puede conmutar entre ellas para conseguir que siempre exista una imagen viva en tiempo real con la que poder trabajar.
Incluso en sistemas 3D donde dos imágenes se superponen para obtener una mezcla de dos imágenes correspondientes una a cada ojo y que unas gafas se encargarán de repartir convenientemente, es interesante asegurar que cuando una imagen del sensor que sea quede congelada o desaparezca, el sistema siga generando algo que no moleste ni engañe al usuario. En caso de fallar la imagen de cualquier ojo por pérdida o por congelación el sistema pasa automáticamente a una imagen en 2D a base de repetir para ambos ojos la imagen que todavía siga viva. Esto permite en la mayoría de los casos continuar con la operación sin mayor problema.
Lo importante del sistema es que si no se dispone de señales alternativas de entrada, al menos avisa al usuario del congelamiento permitiéndole ganar un tiempo precioso a la hora de tomar la decisión de cómo proseguir. En este tipo de operaciones críticas de supervisión o control el operador no puede perder tiempo ya que esa pérdida de tiempo puede generar un riesgo en el éxito de la operación y provocar un accidente. Por ello, en situaciones de problemas con la señal como las descritas, un sistema de monitorización que no sólo evite las imágenes congeladas, sino que además informe y también elija la fuente a presentar, son propiedades muy a considerar y constituyen objetivos de esta invención.
Por otro lado, si un cable o medio de transporte de la señal se rompe o se daña el sistema también deberá detectar la pérdida de señal analizando la integridad de ésta.
Lo que se propone en esta invención es un sistema de monitorización que en su versión más básica se reduciría a un simple monitor, redundante y robusto desde el tipo de vista funcional que resuelve todos los riesgos potenciales mencionados anteriormente. En versiones más avanzadas también descritas en esta invención, se dispondrán de varios elementos de visualización que permitirán facilitar una visión en 3D de los sucesos, pudiendo conmutar a 2D en caso de fallo en alguna de las señales de vídeo de entrada.
La presente invención tiene pues por objeto solucionar todos esos problemas potenciales, en base a un diseño electrónico, a dichos fines, que proporcione las características deseadas. Al mismo tiempo se propone un método o procedimiento para detectar el congelamiento.
BREVE DESCRIPCIÓN DE LA INVENCIÓN
En un primer aspecto, la presente invención se dirige a un sistema de supervisión de operaciones críticas en las que la pérdida o la congelación de las imágenes, no es aceptable y puede comprometer el éxito de la misión o de la tarea. istema se compone de todos o algunos de los siguientes elementos:
- Uno o más dispositivos de adquisición de imágenes de vídeo, preferiblemente cámaras o sensores de fotones.
- Uno o más dispositivos convencionales de tratamiento de vídeo.
- Una o más cajas donde alojar todos los dispositivos electrónicos y el sistema de presentación de imágenes si fuera necesario.
- Un panel de visualización o cualquier otro dispositivo de presentación para mostrar las imágenes.
- Alguna electrónica para obtener algunas o todas las características siguientes:
• Fuente de alimentación redundante.
• Varias entradas para el suministro de energía.
• Varias entradas para la señal de video.
· Subsistema de detección de que el video recibido es correcto.
• Subsistema de detención de imágenes o parte de estas congeladas.
• Subsistema de conmutación para la selección de una entrada alternativa de señal de video.
• Subsistema de generación de overlays o indicaciones gráficas sobre la pantalla o panel de visualización.
• Subsistema de información al usuario de cualquier anomalía del sistema.
• Elementos de señalización auxiliar como luces o sonido (basadas en leds o similar).
· Subsistema de comunicaciones con el exterior para el envío de información adicional sobre el estado, errores y funcionamiento del sistema.
- Un algoritmo que controla de forma automática alguna o todas de las características anteriores. La implementación de todos los subsistemas anteriores puede realizarse con elementos que realicen una o más de las funcionalidades anteriores pero es importante que no introduzcan errores como congelación o pérdida de señal de video.
Un ejemplo de implementación de todo lo anterior se recoge en la figura 1 .
De acuerdo a la invención, las imágenes enviadas al dispositivo visualizador no tendrán, en virtud del propio diseño, la posibilidad de congelarse, pero si esto sucediera debido a un error en la entrada de una señal de video procedente de fuera del sistema, la última etapa de éste se encargará de detectar y conmutar a otra señal adecuada que no presente tal disfunción. Igualmente informará inmediatamente y de varias formas al operador sobre tal situación de manera que éste pueda sin lugar a dudas tomar las acciones correctivas que procedan.
Una ventaja evidente de la invención es la posibilidad de que el sistema seleccione de forma automática de entre las señales de video de entrada hallando una que no comporte los problemas correspondientes al error de congelación o de pérdida de señal detectados. Se recomendará por razones obvias que las señales de entrada sean distintas e independientes.
De acuerdo a otro aspecto de la invención se propone un método para la realización de las funciones de detección de congelamiento a través de un algoritmo codificado para ello.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Los objetivos precedentes y muchas de las ventajas de esta invención serán más evidentes y podrán ser apreciadas y entendidas con mayor claridad mediante la descripción detallada de la invención que viene a continuación junto con las figuras y dibujos que se insertan posteriormente en las que:
La figura 1 muestra una vista esquemática detallada de los componentes del sistema objeto de la invención.
La figura 2 muestra una vista esquemática más general del sistema de visión a partir de los sensores de entrada donde las imágenes del mundo real son recogidas en unas cámaras (25) son procesadas en un sistema de tratamiento de imagen (24) y enviadas al sistema de visualización final (1 1 ) y
(12) en el que el usuario obtendrá la información adecuada del entorno o escenario de operación.
El objeto de esta invención vendría representado esquemáticamente en la figura 1 por los elementos numerados a excepción de los elementos de presentación 1 1 y 12 que si bien podrían formar parte del sistema en incluso ir incluidas en la misma-s caja-s (15) y (16) no forman parte de la invención.
DESCRIPCIÓN DETALLADA LA INVENCIÓN
Cuando se emplea un monitor para supervisar operaciones críticas hay requisitos u objetivos que debe cumplir aparte de poder modificar su brillo, su intensidad etc. y que son independientes incluso de su calidad de imagen. El más importante de todos es evitar los riesgos y los daños que podrían producirse como consecuencia de la pérdida o por el congelamiento total o parcial de su imagen. En esta invención, esos objetivos se cumplen gracias a tres características fundamentales: En primer lugar por medio de un diseño fiable que físicamente no pueda congelar las imágenes dentro del sistema. Esto se puede lograr mediante el análisis de la señal que alimenta y controla la memoria de almacenamiento interno y mediante una configuración y uso de la misma por un procedimiento de tipo ping-pong así como con el uso de unos registros auxiliares que nos garanticen el objetivo final de no congelamiento interno.
Pero esa característica, si bien es conveniente e interesante, no constituye el objeto principal de esta invención. En segundo lugar, mediante la creación de un mecanismo electrónico que colocado en la última etapa entre el dispositivo de presentación y el resto del sistema, que detecte cualquier parte congelada de la imagen e informe al usuario acerca de este hecho. Para ello esta invención propone obtener y almacenar partes del cuadro de imagen que se compararán con las de los cuadros siguientes y cuyo resultado se usará para determinar la existencia o no de congelación. Esta detección se realiza, como se ha dicho, en la última etapa del sistema, antes de enviar la señal a la pantalla o dispositivo final de presentación. Si no es posible corregir la congelación interna esta detección nos informará de la existencia de congelación en la entrada de la señal de video en uso mediante un panel de luces y/o sonidos. Esta es la idea básica y fundamental de la presente invención.
En tercer lugar por un mecanismo electrónico adicional de selección accionado por un algoritmo que una vez que se detecta una imagen congelada, cambia a una entrada diferente o, alternativamente si no hay fuente de vídeo adicional procederá a informar sobre esta situación al usuario de diferentes maneras. En ese caso el operario procederá de acuerdo a los procedimientos establecidos para evitar cualquier consecuencia negativa que pudiera derivarse de esa situación. Los mecanismos electrónicos pueden ser implementados gracias a una o más FPGAs o incluso con la ayuda de uno o varios micro-controladores o procesadores. Las maneras propuestas aunque no exclusivas para informar al operario son el uso de overlays generados por la propia electrónica y el uso de luces indicativas y/o sonidos. El operario deberá tener siempre en cuenta las medidas a tomar en función de esta información, pudiendo llegar incluso a abortar la operación. Es importante también considerar la redundancia de los distintos recursos del sistema y en este sentido la presente invención propone en una de sus reivindicaciones la redundancia del resto de los recursos que lo componen.
Otra mejora introducida en el sistema de monitorización objeto de la presente invención es el empleo de señales serie redundadas para control y video, independientemente de la redundancia del resto de elementos o funcionalidades. Como ejemplos de estos formatos tendríamos una implementación preferida basada en RS422 para los comandos y datos y un HD SDI para la señal de video. Este tipo de formatos permiten una fácil selección y también una fácil conversión a óptico, mejorando en gran medida el alcance de las señales y reduciendo la probabilidad de error en dichos canales. Esto se traduciría en una ventaja adicional que permite colocar el elemento de visualización a gran distancia del resto del sistema que le proporciona las señales a visualizar. Los comandos para controlar aspectos como el brillo o la intensidad del color pueden ser enviados por una línea serie o embebidos en el mismo enlace serie de video como datos auxiliares lo que reduciría los conectores de entrada al sistema.
El sistema se basa en el uso de los siguientes elementos: - Unos medios de adquisición de vídeo (25) que pueden ser cámaras o sensores de fotones o cualesquiera otros que permitan obtener imágenes en tiempo real - Un sistema convencional de tratamiento de imágenes (24)
- Una caja o un conjunto de ellas (15) y (16), donde la mayor parte de los elementos estarán alojados y protegidos. - Convertidores de señal (4) y (6) para convertir los datos de imagen de entrada en el formato apropiado a la-s pantalla-s o elementos de visualización (1 1 ) o (12) para ser visualizados.
Procesadores de señal (5) y (7) que se implementará por ejemplo con FPGAs, para obtener la información de la-s imagen-es que entran por (17) y/o (18) analizarla-s para detectar cualquier síntoma de congelación o de pérdida de imagen y crear un overlay en la-s pantalla-s así como enviar una indicación a las luces (21 ) para avisar de esta situación al usuario. También la electrónica deberá tomar el control y seleccionar otra entrada si está disponible que no presente los anteriores errores. Esa funcionalidad podría hacerla por medio de uno o más micro-controlador-es (9) ó (10) que se comportarán como uno solo en una configuración maestro / esclavo representado en la figura con (8). - Fuentes de alimentación redundante alimentada por las líneas (22) y (23), representada por (1 ) y (2) que se comportará como una sola (3) para dar energía al resto de elementos y que en caso de un fallo de cualquiera de ellas no sólo sería detectado y reportado sino que también continuaría dando alimentando al sistema siempre que alguna de ellas siguiera viva. - Entradas de reset (13) y (14) que en casos extremos como cuelgues por radiación gamma o campos electromagnéticos elevados, permitirá reiniciar el sistema desde el exterior. Todos los eventos, incluidos errores y fallos, serán detectados por el hardware y reportados por el bloque (8) formado por uno o más procesadores, a través de dos (por redundancia) interíaces representadas en la figura como (19) y (20).
Las luces de aviso de funcionamiento erróneo (21 ), que pueden ser leds, son redundantes para cualquier indicación que pretendan dar y su misión es informar de otra forma sobre cualquier evento trascendente.
Según un segundo aspecto, la invención queda en parte materializada mediante la implementación de un método para detectar la congelación y la falta de video que será implementada mediante el algoritmo correspondiente, de tal manera que dicho algoritmo comprenda los siguientes pasos:
a) Inicialización de variables.
b) detección de falta de video.
c) detección de congelación.
d) en caso de cualquiera de los dos errores anteriores, selección de una entrada alternativa si existe e indicación tanto acústica y/o luminosa como de generación de overlays sobre la imagen de la-s pantalla-s.
En una realización preferida, este algoritmo está implementado en una electrónica fpga aunque podría estar programado en un micro-controlador o de otra forma similar.
La congelación se detecta en base al almacenamiento de determinadas zonas de la imagen de cuadro para posteriormente compararlas con las correspondientes de cuadros subsiguientes y tras determinar el número de coincidencias llegar a la conclusión de que ha habido o no suficientes como para sospechar e indicar la existencia de congelamiento.
Aunque la presente invención ha sido descrita por completo en un ámbito general y particularizada en algunas ocasiones con opciones, usos o realizaciones preferidos, es evidente que las modificaciones o particularizaciones que se puedan haber introducido dentro de determinado ámbito, no deben considerarse como diferentes implementaciones ni como limitaciones al uso de la misma.

Claims

REVINDICACIONES
1 . Un sistema de electrónico de visualización en tiempo real para evitar el congelamiento total o parcial de imágenes en operaciones críticas, caracterizado porque comprende:
- Al menos un dispositivo de captación de imágenes de vídeo en tiempo real.
- Al menos un sistema convencional de tratamiento de dichas imágenes.
- Al menos un display de visualización tal como un dispositivo de panel de la pantalla (Icd o similar) o un proyector de imágenes para generar imágenes originadas en al menos un dispositivo de captura remota de imágenes (sensor);
- Electrónica, para adaptar la señal de entrada a aquella requerida por el display de visualización, capaz de aplicar un algoritmo de detección de congelación así como de informar de ésta situación al usuario. Este algoritmo estará básicamente estructurado en un procedimiento de almacenaje de información parcial de cuadro y de comparación de la misma con la del cuadro o cuadros siguientes para deducir a partir de ese resultado la existencia de la congelación.
- Una o varias cajas donde alojar los elementos anteriores.
2. Un sistema según la reivindicación 1 , caracterizado por estar configurado para que su electrónica pueda también detectar la pérdida de señal de video.
3. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar compuesto además por más de una entrada de video y con capacidad de selección para poder elegir entre ellas cuando se detecte un fallo de congelación o pérdida de imagen en cualquiera de las mismas.
4. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar configurado para que su electrónica pueda también informar por otros medios como luces o comunicación vía serie de la pérdida y/o congelación de la señal de video de entrada e informar igualmente sobre la misma.
5. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar provisto de redundancia adicional en uno, varios o todos los componentes del sistema: la fuente de alimentación, el sistema de supervisión, el panel LCD o proyector de imagen o el sistema de presentación cualquiera que sea, el selector de señal de entrada, etc.
6. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por que sus entradas de vídeo son del tipo serie para facilitar la multiplexación o selección de entre las mismas y para su fácil conversión a ópticas.
7. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque sus entradas de vídeo y de comunicación con el exterior están incluidas en una única señal quedando de este modo los comandos de control y los datos del sistema multiplexados por este mismo canal de forma que sólo harán falta este tipo de entradas/salidas al sistema (aparte de las de alimentación y reset) para un funcionamiento completo..
8. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por tener entradas de vídeo y datos ópticas.
9. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por tener unos paneles tipo Icd dispuestos adyacentemente en batería de forma que cuando alguno de ellos falle, el otro pueda ocupar su lugar de forma automática por estar detrás de él pudiéndose incluso ver su imagen a través del de delante.
10. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque los medios para visualizar las imágenes son proyectores de imagen más pantallas de proyección.
1 1 . Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por utilizarse para las operaciones de reabastecimiento aéreo en vuelo.
12. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por disponer de una electrónica que pueda dibujar overlays sobre la imagen para proporcionar información adicional al usuario.
13. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque, además, tendrá luces y/o sonido de información auxiliar y redundante para informar al usuario.
14. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque las luces de información redundantes para informar al usuario son leds.
15. Un sistema según cualquiera de las reivindicaciones anteriores dotado además con uno o varios micro-controladores internos para informar al exterior sobre la actividad, el estado y el modo de funcionamiento del sistema.
16. Un sistema según cualquiera de las reivindicaciones anteriores en el que el canal de comunicación se usa también para recibir del exterior comandos e instrucciones para poder modificar su comportamiento.
17. Un sistema según cualquiera de las reivindicaciones anteriores en el cual el canal de comunicaciones esta redundado.
18. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque, además, tendrá una entrada para la reprogramación o reconfiguración de micro-controladores y fpgas de su electrónica desde el exterior.
19. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque emplea dos displays de presentación para generar imagen en 3D y que cuando una imagen de un monitor falla entonces su entrada conmuta a otra imagen y que por tanto tiene la virtud de permitir que el operario siga viendo unas imágenes que no le molesten o que no signifiquen la pérdida de visión en alguno de los ojos.
20. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque está dotado de capacidades suficientes para llevar a cabo un algoritmo para la detección de imágenes congeladas que implementa un método que comprende funcionalidades de las siguientes:
a. Almacenamiento de determinadas partes o conjuntos de píxeles de un cuadro o cuadros de la señal de entrada.
b. Comparación con las partes similares o conjuntos de píxeles del cuadro actual o siguientes almacenados según el punto anterior.
c. Contabilización de las discrepancias obtenidas de la comparación de la información obtenida de los puntos a y b.
d. Selección de una entrada alternativa, opcional, en caso en que ese número de discrepancias no supere un valor determinado.
21 . Un sistema según la reivindicación 20, caracterizado porque el algoritmo para la detección de imágenes congeladas además tiene la capacidad de detectar la existencia o no de una correcta señal de video y de proceder según el apartado c de la reivindicación 20 también en el caso de detectar señales incorrectas de video.
22. Un sistema según las reivindicaciones 20 ó 21 caracterizado porque además tiene la capacidad para conmutar entre las señales de entrada de video.
23. Un sistema según las reivindicaciones 20 a 22 caracterizado porque el algoritmo para la detección de imágenes congeladas tiene la capacidad para generar overlays de información sobreimpuestos a la imagen para informar del estado del sistema.
PCT/ES2012/070207 2011-04-14 2012-03-27 Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen WO2012140294A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12770651.3A EP2753057A4 (en) 2011-04-14 2012-03-27 MONITORING SYSTEM FOR MONITORING AND CONTROLLING REMOTE CRITICAL OPERATIONS AND METHOD FOR DETECTING IMAGE FREEZE
US14/112,034 US20140104421A1 (en) 2011-04-14 2012-03-27 Monitoring system for remotely supervising and controlling critical operations and method for detecting image freezing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201130595A ES2395447B1 (es) 2011-04-14 2011-04-14 Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen
ES201130595 2011-04-14

Publications (1)

Publication Number Publication Date
WO2012140294A1 true WO2012140294A1 (es) 2012-10-18

Family

ID=47008867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2012/070207 WO2012140294A1 (es) 2011-04-14 2012-03-27 Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen

Country Status (4)

Country Link
US (1) US20140104421A1 (es)
EP (1) EP2753057A4 (es)
ES (1) ES2395447B1 (es)
WO (1) WO2012140294A1 (es)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5260837A (en) * 1980-11-21 1993-11-09 Lemelson Jerome H Portable television camera-recorder and method for operating same
EP0802688A2 (en) * 1996-04-17 1997-10-22 Hitachi, Ltd. Apparatus for recording and reproducing digital image and speech

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7245664B1 (en) * 1999-05-20 2007-07-17 Hitachi Kokusai Electric Inc. Transmission control method of coded video signals and transmission system
US6462774B1 (en) * 1999-12-20 2002-10-08 Dale Bildstein Surveillance system method and apparatus
JP3945333B2 (ja) * 2002-07-29 2007-07-18 住友電気工業株式会社 撮像表示システム
US8165226B2 (en) * 2007-12-06 2012-04-24 The Boeing Company Imaging frame freeze detection
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8540183B2 (en) * 2009-12-12 2013-09-24 Heliplane, Llc Aerovehicle system including plurality of autogyro assemblies
JP2011205241A (ja) * 2010-03-24 2011-10-13 Sony Corp シャッタメガネおよびシャッタメガネのシャッタ制御信号取得方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5260837A (en) * 1980-11-21 1993-11-09 Lemelson Jerome H Portable television camera-recorder and method for operating same
US6442336B1 (en) * 1980-11-21 2002-08-27 Jerome H. Lemelson Hand-held video camera-recorder-printer and methods for operating same
EP0802688A2 (en) * 1996-04-17 1997-10-22 Hitachi, Ltd. Apparatus for recording and reproducing digital image and speech

Also Published As

Publication number Publication date
ES2395447B1 (es) 2013-11-07
EP2753057A4 (en) 2015-06-10
ES2395447A1 (es) 2013-02-12
US20140104421A1 (en) 2014-04-17
EP2753057A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
US10416757B2 (en) Telepresence system
ES2728233T3 (es) Filtro de opacidad para pantalla transparente montada en la cabeza
ES2779600T3 (es) Procedimiento para operar un sistema de realidad virtual y sistema de realidad virtual
BR102012015360A2 (pt) Cabine de comando para uma aeronave
BR102016007066A2 (pt) aparelho e sistema para exibir uma visão panorâmica em um visor, e, método de criação de uma visão panorâmica de uma cabine da aeronave
US20140198033A1 (en) Head-mounted display device, control method for head-mounted display device, and image display system
ES2963737T3 (es) Sistema y procedimiento de seguimiento visual
ES2890428T3 (es) Dispositivo de visualización montado en la cabeza y su método
JP2016180866A (ja) 空撮装置
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
KR102538309B1 (ko) 양방향 디스플레이 장치 및 방법
ES2660309T3 (es) Sistema de reproducción estereoscópica por transparencia
ES2395447B1 (es) Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen
ES2436726B2 (es) Sistemas y métodos para el cálculo de la velocidad de aproximación en maniobras de reabastecimiento aéreo de combustible
JP6360752B2 (ja) 照明撮像装置
ES2762466T3 (es) Dispositivo para trazar curvas que van a visualizarse
CN104284068A (zh) 一种红外白光一体式防水高清监控摄像机
CN104113737A (zh) 防止监控视频被替换的系统及其方法
KR101407549B1 (ko) 씨씨티브이
US20210176452A1 (en) Head-mounted display having an image sensor array
ES2545542B1 (es) Sistema de visión panorámica con corrección de imagen en operaciones de repostaje y similares
KR101420305B1 (ko) 차량용 전방향 감시장치
ES1099755U (es) Aparato de detección de robo y alarma coordinado con otros equipos análogos
ES2772125T3 (es) Sistema de visión para el reabastecimiento de combustible en vuelo

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12770651

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012770651

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14112034

Country of ref document: US