WO2001061371A2 - Dispositivo de detección de presencia de objetos - Google Patents

Dispositivo de detección de presencia de objetos

Info

Publication number
WO2001061371A2
WO2001061371A2 PCT/ES2001/000057 ES0100057W WO0161371A2 WO 2001061371 A2 WO2001061371 A2 WO 2001061371A2 ES 0100057 W ES0100057 W ES 0100057W WO 0161371 A2 WO0161371 A2 WO 0161371A2
Authority
WO
WIPO (PCT)
Prior art keywords
detection device
vehicle
photosensor
electronic circuit
image
Prior art date
Application number
PCT/ES2001/000057
Other languages
English (en)
French (fr)
Other versions
WO2001061371A3 (es
Inventor
Alvise Sartori
Giampietro Tecchiolli
Bruno Crespi
José María TARRAGO PUJOL
Francesc Daura Luna
Daniel Bande Martinez
Original Assignee
Fico Mirrors S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fico Mirrors S.A. filed Critical Fico Mirrors S.A.
Priority to AU2001230267A priority Critical patent/AU2001230267A1/en
Priority to JP2001560704A priority patent/JP4235386B2/ja
Priority to EP01902434A priority patent/EP1271179B1/en
Priority to US10/203,503 priority patent/US6911642B2/en
Priority to DE60123936T priority patent/DE60123936T2/de
Priority to ES01902434T priority patent/ES2273802T3/es
Publication of WO2001061371A2 publication Critical patent/WO2001061371A2/es
Publication of WO2001061371A3 publication Critical patent/WO2001061371A3/es

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Definitions

  • the invention relates to an object presence detection device, of the type that is mounted on a motor vehicle, which has at least one dead angle, where the detection device is capable of detecting an object located in the dead angle.
  • Conventional motor vehicles usually have rear-view mirrors, usually one internal and one or two external, which allow the user or driver to look back without the need for the user to turn on himself.
  • rear-view mirrors usually one internal and one or two external, which allow the user or driver to look back without the need for the user to turn on himself.
  • dead angles there are usually some areas, called dead angles, that are not covered by such mirrors.
  • the object of the invention is to overcome these drawbacks.
  • This purpose is achieved by means of a device for detecting the presence of objects of the type indicated at the beginning characterized in that it comprises: [a] a receiver capable of detecting electromagnetic waves, comprising a focusing device, and a photosensor that transforms the Electromagnetic waves received in electrical signals, where the photosensor defines an image surface, [b] an electronic circuit that transforms electrical signals into digitized signals, [c] a logical circuit that analyzes the digitized signals to analyze the presence of objects in the dead angle with a relative movement with respect to the vehicle, and that generates variable output signals depending on the result of the analysis, [d] some indicator elements, activated by the output signals, suitable for being perceived by the driver, the companion or, in general, by any passenger of the vehicle.
  • a detection device of this type captures the image of the dead angle and analyzes it, informing the driver of the analysis result.
  • the driver is not shown the image of the dead angle, so it is not necessary to have space in the cabin for a screen, in addition to the driver is given information of "greater value", in the sense that, by the detection device, an analysis work has already been done, and the result of the analysis is communicated to the driver or user.
  • the detection device requires receivers with a smaller amount of pixels than is necessary to present to the user an image of the dead angle with a minimum quality, so that the detection device can be equipped with cheaper receivers without lose benefits
  • the detection device not only analyzes the presence of an object in the blind spot, but gives a qualitative idea of the relative speed of the object with respect to the vehicle and, therefore, determines whether the object is approaching or moving away, and with a Approximate speed. This allows the information provided to the driver to be more complete, as it can distinguish different levels of risk depending on the relative speed of the object.
  • the sensing device also gives a qualitative idea of the relative distance of the object from the vehicle and, therefore, determines the position of the object with respect to the vehicle. This allows the Information provided to the driver is more complete, as it can distinguish different levels of risk depending on the position of the object.
  • the photosensor is preferably a set of sensor elements, which are advantageously photodiodes, distributed according to a flat, two-dimensional matrix, which defines rows parallel to each other.
  • the array of sensor elements defines the image surface, which is composed of a plurality of pixels, where each pixel corresponds to a sensor element.
  • Photodiodes transform electromagnetic waves into an electric current. This electric current is preferably transformed into an electric voltage and amplified.
  • the saturation threshold is a range of six decades, expressing light intensities in lux.
  • a pixel that at a given moment is receiving the minimum detection value can detect a value that is six decades greater in the next image acquisition, and vice versa. This allows the receiver to work in multiple light conditions, and even in adverse light conditions, with strong light contrasts, such as in night driving.
  • the same sensor element has a dynamic range equal to or greater than six decades between two consecutive images.
  • the electronic circuit can make a selection of each of said sensor elements by activating the corresponding row and the corresponding position in said row, thus being possible to select any sensor element following any sensor element.
  • the electrical signal from each of the sensor elements can be taken and all the pixels that make up the image surface can be amplified and digitized sequentially.
  • the electronic circuit Simultaneously transform all electrical signals in a row of sensor elements to digitized signals. In each specific design, the higher cost of this solution must then be assessed against the faster scanning of the image.
  • one of the objectives of the present invention is to be able to use receivers with low cost photosensors.
  • the array of sensor elements be a maximum of 512 x 512 sensor elements, and most preferably a maximum of 320 x 256 sensor elements.
  • these values refer to the number of active sensors for image processing. That is, it is possible that the array of sensor elements has more sensor elements, but which are not activated for image processing.
  • the logic circuit analyzes the image surface. For this, it preferably performs a mathematical convolution, in particular an appropriate convolution kernel for motion detection, along the entire image surface of the digitized signal or along a part thereof.
  • the logic circuit preferably comprises a specialized electronic circuit that includes: [a] a sequential central processing unit (CPU) of the von Neumann type, [b] a parallel coprocessor, specialized in calculating the convolution over the entire image surface , and that includes at least 32 parallel accumulator multipliers with a high calculation speed capable of calculating the convolution directly on the image surface at a calculation rate such that the convolution is completed before a new image acquisition is initiated, and [ c] a local RAM.
  • the calculation speed is such that it allows calculating a convolution in a time of less than 100 ms.
  • the detection device is capable of distinguishing a vehicle from other objects.
  • a preferred embodiment of the invention envisages dividing the image surface into at least two parts, and employing different analysis techniques in each of said parts.
  • the technique consists in that already indicated in the previous paragraph, that is, in the recognition of the edges, the formation of rectangles, in the comparison of rectangles with patterns and in the comparison of two Consecutive images to calculate the relative speed, while in another of the parts a technique based on a phase difference is used to obtain an estimate of the optical flow in a given direction, specifically in the direction of the street or road through which the vehicle.
  • Another analysis technique consists of detecting clearly marked vertical and / or horizontal edges on the image of the road.
  • this technique also includes the monitoring, along successive images, of the movement of said edges, and the calculation, from said tracking, of the relative speed between the object (vehicle) detected and the carrier vehicle of the detection device . This technique is described in more detail below.
  • the detection device must provide a warning signal when it detects a situation in which there is a risk of collision. This signal should allow the driver time to avoid or correct a dangerous maneuver. In this sense it is clear that the warning signal must be activated with sufficient time for the driver to react properly. If a situation is considered in which a vehicle enters a highway, which represents an extreme situation as regards the relative speed between the incoming vehicle and the vehicles that circulate on the highway, it is understood that the Detection device must have a high radius of action, to be able to notify the driver in sufficient time.
  • the radius of action of the detection device is greater than 15 m, or better yet, greater than 20 m.
  • the detection device covers a larger field of vision than strictly the blind spot.
  • the detection device can detect risk situations and alert the driver even if the risk situation is detectable through the rearview mirror. In this way the detection device collaborates more broadly in the safety of the vehicle while driving.
  • the focusing device may comprise any usual optical element that is evident to a person skilled in the art.
  • it can have a lens or a microlens integrated in the integrated circuit that includes the focusing device.
  • the small dimensions of the detection device allow it to be placed inside a rearview mirror, which constitutes a preferred embodiment, or it is even possible to place a detection device in each of the exterior rearview mirrors of a vehicle.
  • the electronic circuit and the photosensor be CMOS, DMOS, MOS, Si-Ge technology, BICMS or SOI technology (sil ⁇ con on insulator), and that the photosensor and the electronic circuit are physically connected in a multi-chip module (MCM) on a substrate of plastic material, fiberglass (FR4), ceramic or silicon.
  • MCM multi-chip module
  • the ability of the detection device to analyze risk situations can be improved if, to the detection characteristics of an approaching object, the ability to detect if the vehicle in which the detection device is mounted has initialized actions indicating an approach to the object.
  • the detection device it is advantageous for the detection device to be able to detect the start-up of an intermittent light and / or to be able to detect a turn in the steering wheel of the vehicle.
  • the detection device is able to communicate to the user or driver of the vehicle various signals, which allow the warning signal to be qualified according to the risk of collision.
  • the indicator elements include light signals with at least two colors, where each color indicates a different warning level. It is also advantageous to include an output element that allows the representation of pictograms, where said output element is an array of LEDs or a graphic display.
  • the detection device it is advantageous to allow the detection device to act on the closing of the doors. Thus, for example, you can lock a door if it detects a risk situation.
  • driver drowsiness detection device it shares most physical devices with the object presence detection device and emits an alarm signal depending on the relative position between the vehicle carrying the detection device and the marking lines of the lanes of the highway.
  • FIG. 1A - 1 D diagram of the dead angles of a vehicle, the areas of direct vision and through the left rearview mirror, and the area covered by a detection device according to the invention
  • FIG. 1 front elevation view of a rearview mirror showing 5 possible receiver locations
  • Fig 5 the image surface of Fig 4, divided into three parts
  • Fig 6 a block diagram of an algorithm according to the invention
  • Figs 1A to 1 D the visible areas are schematically shown through the rearview mirror 1 on the left side (driver's side), the visible areas thanks to the peripheral side view of the driver 3, and the dead angles 5
  • the areas visible through the rearview mirrors 1 must meet a series of legal requirements, for example those defined in EC 71/127 and in the following directives.
  • the viewing angle must be such that at a distance of 10 m from the rearview mirror, the width of the area seen is at least 2.5 m.
  • Fig 1A a shaded rectangular area corresponding to the legal requirement has been shown, and a corresponding triangular area with real vision through a conventional rearview mirror that meets the legal requirement
  • Fig. 1 D all the above areas have been represented together. It is appreciated that the dead angle is covered almost entirely, as regards the area corresponding to the adjacent lane. There is also an overlap with the areas seen directly or through the rearview mirror.
  • the detection device shown in Figs. 2 to 5, it comprises a receiver 7, which is formed by a matrix of 256 rows of photodiodes, with 320 photodiodes in each row.
  • the receiver 7 receives the electromagnetic waves from outside, in this particular case within the range of visible light, conveniently focused thanks to a lens.
  • a particular photodiode can be selected, which thus transmits the electrical signal to an electronic circuit 9.
  • the electronic circuit 9 has an amplification stage 1 1, and an analog conversion unit- ADC digital, from which a digitized signal is output.
  • the digitized signal is introduced into a logic circuit 15.
  • the logic circuit 15 comprises a Von Neumann type sequential CPU central processing unit, a TOT parallel coprocessor that calculates the convolution and is supported by a MEM auxiliary memory, a permanent memory FLASH and a RAM, quick access (SRAM).
  • the central processing unit CPU also controls the receiver 7, sending the selection signals of row 17 and position within row 19 to the corresponding registers, and to the electronic circuit 9.
  • the receiver 7 captures an image, which includes the dead angle, which is projected onto the image surface formed by the photodiodes. It is this image surface that is transmitted to logic circuit 15 as a series of digitized pixels.
  • the receiver 7 is oriented in such a way that the lateral edge of the image surface is practically flush with the lateral surface of the car 21 and the upper edge of the image surface is flush with the horizon 23.
  • the logic circuit 15 determines the direction of movement along the street or highway, which allows you to determine if a detected movement is in the direction of the road or if it is in another direction, for example vertical. This way you can filter out "noises", such as rain, snow, vehicles in the opposite direction, etc.
  • FIG. 3 Examples of positioning of the receiver 7 or, where appropriate, of the end of the electromagnetic waveguide, in an exterior rearview mirror are shown in Fig. 3.
  • the image surface is divided into two parts 25, 27, which have an overlap zone 29, as shown in Fig. 5.
  • the logic circuit 15 has two independent algorithms: a vehicle detection algorithm, which is applied in part 25, and a motion detector algorithm, which is applied in part 27. In both the overlap zone 29 both algorithms are applied.
  • the vehicle detection algorithm recognizes the edges of existing figures on the image surface, selects the horizontally and vertically arranged edges and compares them with patterns to determine if there is an object with a shape similar to that of a vehicle.
  • the following image obtained by the receiver 7 is analyzed, which allows to determine the direction of the movement, as well as the speed of the object.
  • the motion detector algorithm is based on a phase difference technique to obtain an estimate of the optical flow in the direction of the road. The result is compared with the results obtained in previous images, to eliminate errors and noises by means of a consistency check.
  • Another possible image analysis algorithm is based on the following.
  • the device is designed to detect vehicles that advance the vehicle carrying the device by means of the series of images captured with a digital camera, for example a CMOS camera, arranged in the rearview mirror of a vehicle.
  • the presence of an approaching vehicle is based on the detection and tracking of objects that move along the axis of the road (in general any public road) in the sense of approximation with respect to the vehicle carrying the device. From an image, you can see the presence of a vehicle by the presence of edges (or edges) clearly marked vertically and horizontally on the pavement of the road. In successive images these visual elements (vertical and horizontal edges) move forward if they are part of an approaching vehicle. On the contrary they move backwards if they are part of static objects (such as road elements, protective fences, trees, traffic signs, landmarks, etc.) or if they belong to vehicles that move in the opposite direction than the vehicle carrying the vehicle. device. Therefore a coherent forward movement is interpreted as a vehicle that is advancing.
  • the visual image on a road that is not a highway or similar is much more complex in particular, the turns to the left of the vehicle carrying the device can generate an apparent movement consistent that can generate false alarms. This is particularly common in urban environments, where the visual scene has a large number of objects (parked cars, buildings, various traffic signs, etc.) that have marked edges.
  • the actual distance between the approaching vehicle and the vehicle carrying the device cannot be estimated correctly from its position, since the lanes are not well defined. For this reason it is convenient that the detector device has a specific operating module for when the carrier vehicle turns to the left. In this way, during a left turn, the detection field moves to a position closer to the carrier vehicle and more restrictive requirements are imposed before activating the alarm signal.
  • the camera can have a sensor that is a 320 x 256 CMOS matrix with a high dynamic range (120 dB).
  • the size of the processed images is at least 128 x 128 pixels.
  • the field of view of the camera is approximately 55 °. The camera is positioned in such a way that: - the left vertical edge of the image is close to the side edge of the carrier vehicle.
  • the upper edge of the image is slightly above the horizon line, approximately one eighth of the image.
  • the camera is tilted slightly clockwise so that it aligns the image along the axis of the road.
  • a mask is used, which is controlled from the software, which defines the region of interest of the images.
  • the mask is positioned of such that a car located in the overtaking lane of a straight road and at a great distance is positioned at the upper left end of the mask.
  • the position of the mask in the image can be adjusted to achieve a fine adjustment of the field of view.
  • the image capture speed should preferably be greater than 40 images per second, since in this way the device is able to follow the trajectory of the approaching vehicles with greater precision.
  • the detection device algorithm basically has four main modules:
  • An optical flow detection module uses a technique based on phase difference to produce a dense estimate of the optical flow in the direction of the road axis. For this, a pair of successive images is processed.
  • Visual elements that are not moving forward are filtered and removed.
  • the resulting images are fed to the following modules. This module is optional and may not be used.
  • - Vehicle detection and tracking module In the region delimited by the mask in algorithm calculates the edges of the image and their directions. Vertical edges and horizontal edges are normalized and are integrated along the vertical and horizontal axes respectively. The normalization factor is dynamically adjusted based on the average density of the edge. The unidirectional projection of said edges on the corresponding coordinate axis is used to plot the trajectory along said axis. Approximate objects generate projections with positive velocities, that is, to the right and down of the image. These points are separated from other points that are stationary or that show relative movements based on filters directional. The resulting paths are identified and selected.
  • Vehicle detection module without relative speed. Once the approach of an approaching vehicle has been identified (by moving its corresponding unidirectional projections) the vehicle speed is estimated and monitored. Therefore it is possible to detect situations in which this approaching vehicle reduces its speed and circulates at the same speed as the vehicle carrying the device, staying a short distance from the vehicle carrying the device. In these cases it is possible to emit some type of specific alarm signal until it is observed that the environment of the approaching image of the vehicle undergoes substantial changes (moving away or passing the vehicle carrying the detection device).
  • this module allows the control of traffic situations (for example dense traffic) in which parallel traffic takes place, that is, vehicles traveling on different lanes at practically equal speeds. In these cases, it is relatively common for a vehicle to be positioned in the blind spot of another vehicle, which can create dangerous situations.
  • traffic situations for example dense traffic
  • Detection module during the left turns During the left turns there is a shift of the visual elements contained in different images constant and global. By means of a correlation technique, constant displacements in the upper part of successive images are detected. The coherence of this signal during several successive images is used as an indication that the carrier vehicle is rotating and, therefore, that the left turn detection module must be activated.
  • Figure 6 shows a block diagram showing the stages of the algorithm. The indicated references represent the following blocks:
  • the optical flow module 6.3 performs a coarse filtering of the image flow based on the direction of movement.
  • the left-turn module 6.4 alerts the system if the carrier vehicle is turning.
  • the detection and tracking system 6.5 follows the paths of the moving objects and activates, if appropriate, the corresponding alarm signal. Then, if the alarm is activated, the zero speed module is activated.
  • Two modes of operation can be set. If the carrier vehicle is not turning, only the projections of the trajectories along the horizontal axis are considered. If the tracking module detects a path longer than 15 images, an alarm signal is generated and gives an estimate of the relative distance and relative speed of the approaching vehicle. This indication is reliable in the case of flat and straight roads, such as highways or similar.
  • the requirements for the alarm to be activated are more stringent: First, the images are filtered using the optical flow detector, in order to reduce the noise, and the two projections (along the vertical axis and along the horizontal axis) are taken into consideration. Only if a visual effect is moving forward on both the X axis and the Y axis is activated The alarm signal This is done in this way since during the rotations the visual elements are characterized by having a positive velocity along the X axis, but with an approximately zero velocity along the Y axis, since their height is maintained. Additionally, the mask is lowered and shifted to the right to cover the region of interest (the overtaking lane) of the images.
  • the logic circuit depending on the information obtained (vehicle presence, vehicle distance, and relative speed) activates, for example, a group of three LEDs (not shown in Figs.) Of three different colors (red , orange, green), which allows you to communicate different levels of warning, depending on the danger.
  • a plurality of forms of presentation of the warning levels are possible: from a single red light signal, which is activated to indicate the presence of an object in the detection zone, to complex devices, with various light, acoustic and tactile signals.
  • the detection device has a range of more than 20 m.
  • the driver receives the warning signal with almost 1 s of time.
  • the sleepiness detection device shares all the physical elements of the device for detecting the presence of objects that participate in the capture and processing of images, such as the receiver, the electronic circuit and the logic circuit.
  • the sleepiness detection device has an algorithm that allows the detection of sleepiness in the manner described below.
  • the sleepiness detection device analyzes the image in the immediately rear part of the car, extracts the edges of the marking line (the edges of the car) and follows them over time. The distance between the wheel and the edge of the marking line can be determined and thus it is possible to issue an alarm signal when said marking line is to be transferred.
  • the drowsiness detection device is connected to the turn detection module, which allows it to identify the case in which an approach to the marking line occurs because a curve is being taken.
  • the drowsiness detection device receives information about the possible activation of the flashing lights, which allows it to distinguish between a voluntary crossing of the marking lines of an involuntary or at least not notified crossing. If the sleepiness detection device detects an inadvertent crossing of a marking line, it activates a warning signal. This warning signal can be tactile (for example, steering wheel vibrations), light and / or acoustic.
  • a drowsiness detection device from a single object presence detection device, arranged in a single rearview mirror, although in this case it is likely that the performance thereof, in the sense of quality or Relevance of the warning signals issued, do not be the same.
  • the sleepiness detection device is always focused backwards, and covers exactly the same detection area of the object presence detection device, since it preferably shares with it all physical detection and calculation elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Dispositivo de detección de presencia de objetos, del tipo que van montados en un vehículo automóvil, que presenta por lo menos unángulo muerto, donde el dispositivo de detección es apto para detectar un objeto situado en el ángulo muerto y comprende: un receptor apto para detectar unas ondas electromagnéticas, con un dispositivo focalizador, y un fotosensor que transforma dichas ondas electromagnéticas recibidas en unas señales eléctricas, un circuito electrónico que transforma las señales eléctricas en unas señales digitalizadas, un circuito lógico que analiza las señales digitalizadas para analizar la presencia de objetos en el ángulo muerto con un movimiento relativo respecto de dicho vehículo, y que emite unas señales de salida variables en función del resultado del análisis, [d] unos elementos indicatores, activados mediante las señales de salida, aptos para ser percibidos por el conductor.

Description

DISPOSITIVO DE DETECCIÓN DE PRESENCIA DE OBJETOS
DESCRIPCIÓN
La invención se refiere a un dispositivo de detección de presencia de objetos, del tipo que van montados en un vehículo automóvil, que presenta por lo menos un ángulo muerto, donde el dispositivo de detección es apto para detectar un objeto situado en el ángulo muerto.
Los vehículos automóviles convencionales suelen disponer de unos espejos retrovisores, generalmente uno interno y uno o dos externos, que permiten al usuario o conductor ver hacia atrás sin necesidad de que el usuario se gire sobre sí mismo. Sin embargo, a pesar de disponer de una pluralidad de espejos, suelen quedar unas zonas, llamadas ángulos muertos, que no quedan cubiertas por dichos espejos.
Es conocido el empleo de sistemas que captan una imagen orientada hacía un ángulo muerto medíante una cámara CCD y que la muestran al usuario a través de una pantalla colocada en el habitáculo del vehículo. Estos sistemas permiten que el usuario pueda ver los ángulos muertos sin necesidad de incorporarse, sin embargo, presentan una serie de inconvenientes: requieren unos sistemas de transmisión de imagen con una calidad suficiente para que el usuario perciba una imagen clara, lo que requiere trabajar con una elevada cantidad de pixels, se debe disponer de espacio en el habitáculo para poder colocar la correspondiente pantalla, el sistema no procesa la imagen, sino que únicamente la transmite, etc. Son, por tanto, unos sistemas caros y que no colaboran activamente en la detección de situaciones de riesgo.
La invención tiene por objeto superar estos inconvenientes. Esta finalidad se consigue mediante un dispositivo de detección de presencia de objetos del tipo indicado al principio caracterizado porque comprende: [a] un receptor apto para detectar unas ondas electromagnéticas, que comprende un dispositivo focalizador, y un fotosensor que transforma las ondas electromagnéticas recibidas en unas señales eléctricas, donde el fotosensor define una superficie de imagen, [b] un circuito electrónico que transforma las señales eléctricas en unas señales digitalizadas, [c] un circuito lógico que analiza las señales digitalizadas para analizar la presencia de objetos en el ángulo muerto con un movimiento relativo respecto del vehículo, y que genera unas señales de salida variables en función del resultado del análisis, [d] unos elementos indicadores, activados mediante las señales de salida, aptos para ser percibidos por el conductor, el acompañante o, en general, por cualquier pasajero del vehículo.
Efectivamente, un dispositivo de detección de este tipo capta la imagen del ángulo muerto y la analiza, informando al conductor del resultado del análisis. Ello tiene una serie de ventajas: al conductor no se le muestra la imagen del ángulo muerto, por lo que no es necesario disponer de espacio en el habitáculo para una pantalla, adicionalmente al conductor se le da una información de "mayor valor", en el sentido que, por parte del dispositivo de detección, ya se ha hecho una labor de análisis, y se comunica al conductor o usuario el resultado del análisis. Por otro lado, el dispositivo de detección requiere unos receptores con una cantidad de pixels menor que la necesaria para presentar al usuario una imagen del ángulo muerto con una mínima calidad, por lo que el dispositivo de detección puede ser equipado con receptores más económicos sin que pierda prestaciones.
El dispositivo de detección no analiza únicamente la presencia de un objeto en el ángulo muerto, sino que da una idea cualitativa de la velocidad relativa del objeto respecto del vehículo y, por tanto, determina sí el objeto se acerca o se aleja, y con una ¡dea aproximada de la velocidad. Ello permite que la información que se suministra al conductor sea más completa, ya que puede distinguir diferentes niveles de riesgo en función de la velocidad relativa del objeto.
El dispositivo de detección también da una idea cualitativa de la distancia relativa del objeto respecto del vehículo y, por tanto, determina la posición del objeto con respecto al vehículo. Ello permite que la información que se suministra al conductor sea más completa, ya que puede distinguir diferentes niveles de riesgo en función de la posición del objeto.
El fotosensor es preferentemente un conjunto de elementos sensores, que ventajosamente son fotodiodos, distribuidos según una matriz de dos dimensiones, plana, que define unas filas paralelas entre sí. De esta forma, la matriz de elementos sensores define la superficie de imagen, que está compuesta por una pluralidad de píxels, donde a cada pixel le corresponde un elemento sensor. Los fotodiodos transforman las ondas electromagnéticas en una corriente eléctrica. Esta corriente eléctrica se transforma preferentemente en una tensión eléctrica y se amplifica.
Es preferente que el fotosensor esté constituido por unos elementos sensores activos que presenten un rango dinámico igual o superior a las seis décadas (106 = 120 dB) en una misma superficie de imagen, es decir, que entre el valor umbral mínimo de detección, y el umbral de saturación hay un rango de seis décadas, expresando las intensidades de luz en lux. Asimismo, un pixel que en un instante determinado está recibiendo el valor mínimo de detección, puede detectar en la siguiente adquisición de imagen un valor que sea seis décadas mayor, y viceversa. Ello permite que el receptor pueda trabajar en múltiples condiciones de luz, e incluso en condiciones de luz adversas, con fuertes contrastes de luz, como en la conducción nocturna. Por la misma razón es preferente que un mismo elemento sensor presente un rango dinámico igual o superior a las seis décadas entre dos imágenes consecutivas.
Preferentemente el circuito electrónico puede efectuar una selección de cada uno de dichos elementos sensores activando la correspondiente fila y la correspondiente posición en dicha fila, siendo así posible seleccionar cualquier elemento sensor a continuación de cualquier elemento sensor. De esta manera, se puede tomar la señal eléctrica procedente de cada uno de los elementos sensores y se puede amplificar y digitalizar secuencialmente todos ios pixels que conforman la superficie de imagen. Alternativamente es también posible que el circuito electrónico transforme simultáneamente todas las señales eléctricas de una fila de elementos sensores a señales digitalizadas. En cada diseño concreto se deberá entonces valorar el mayor coste de esta solución frente a la mayor rapidez de digitalizado de la imagen. Como ya se ha indicado anteriormente, uno de los objetivos de la presente invención es poder emplear receptores con unos fotosensores de bajo coste. En este sentido, es preferente que la matriz de elementos sensores sea de cómo máximo 512 x 512 elementos sensores, y muy preferentemente que sea de como máximo 320 x 256 elementos sensores. En general estos valores hacen referencia a la cantidad de sensores activos para el procesado de la imagen. Es decir, es posible que la matriz de elementos sensores disponga de más elementos sensores, pero que no estén activados para el procesado de la imagen.
Una vez digitalizada la imagen el circuito lógico analiza la superficie de imagen. Para ello realiza preferentemente una convolución matemática, en particular un kernel de convolución apropiado para una detección de movimiento, a lo largo de toda la superficie de imagen de la señal digitalizada o a lo largo de una parte de la misma.
El circuito lógico comprende preferentemente un circuito electrónico especializado que incluye: [a] una unidad central de proceso (CPU) secuencial de tipo Von Neumann, [b] un coprocesador en paralelo, especializado en el cálculo de la convolución sobre toda la superficie de imagen, y que incluye por lo menos 32 multiplicadores acumuladores paralelos con una alta velocidad de cálculo aptos para calcular la convolución directamente sobre la superficie de imagen a una velocidad de cálculo tal que la convolución se complete antes de iniciarse una nueva adquisición de imagen, y [c] una memoria RAM local. En particular es preferente que la velocidad de cálculo sea tal que permita calcular una convolución en un tiempo inferior a 100 ms. Preferentemente el dispositivo de detección es apto para distinguir un vehículo de otros objetos. Ello se consigue, por ejemplo, a base de reconocer unos bordes o aristas, formar unos rectángulos con dichos bordes y comparar dichos rectángulos con unos patrones. Cuando ha detectado un vehículo, analiza a partir de la siguiente imagen la velocidad relativa entre el vehículo detectado y el vehículo portador del dispositivo de detección.
Una forma preferente de realización de la invención prevé dividir la superficie de imagen en por lo menos dos partes, y emplear técnicas de análisis diferentes en cada una de dichas partes. Así, en una de dichas partes la técnica consiste en la ya indicada en el párrafo anterior, es decir, en el reconocimiento de los bordes, la formación de unos rectángulos, en la comparación de los rectángulos con unos patrones y en la comparación de dos imágenes consecutivas para calcular la velocidad relativa, mientras que en otra de las partes se emplea una técnica basada en una diferencia de fase para obtener una estimación del flujo óptico en una dirección determinada, concretamente en dirección de la calle o carretera por la que circula el vehículo. Otra técnica de análisis consiste en detectar aristas verticales y/o horizontales claramente marcadas sobre la imagen de la carretera. Ventajosamente esta técnica incluye también el seguimiento, a lo largo de imágenes sucesivas, del movimiento de dichas aristas, y el cálculo, a partir de dicho seguimiento, de la velocidad relativa entre el objeto (vehículo) detectado y el vehículo portador del dispositivo de detección. Esta técnica se describe con más detalle más adelante.
Asimismo es posible que en alguna de las partes en las que se ha dividido la superficie de imagen se hagan servir simultáneamente más de una técnica de análisis. En general, el dispositivo de detección debe suministrar una señal de aviso cuando detecta una situación en la que hay un riesgo de colisión. Esta señal debe servir para que el conductor tenga tiempo de evitar o de corregir una maniobra peligrosa. En este sentido es evidente que la señal de aviso debe de activarse con tiempo suficiente para que el conductor pueda reaccionar adecuadamente. Si se considera una situación en la que un vehículo entra en una autopista, lo que representa una situación extrema por lo que respecta a la velocidad relativa entre el vehículo entrante y los vehículos que circulan por la autopista, se comprende que el dispositivo de detección debe tener un radio de acción elevado, para poder avisar al conductor con tiempo suficiente. Por ello es preferente que el radio de acción del dispositivo de detección sea mayor de 15 m, o mejor aun, mayor de 20 m. En este sentido, el dispositivo de detección cubre un campo de visión más grande que estrictamente el ángulo muerto. Así, el dispositivo de detección puede detectar situaciones de riesgo y alertar al conductor incluso aunque la situación de riesgo fuese detectable a través del espejo retrovisor. De esta manera el dispositivo de detección colabora de una forma más amplia en la seguridad durante la conducción del vehículo.
El dispositivo focalizador puede comprender cualquier elemento óptico habitual y que sea evidente para un experto en la materia. En particular, puede disponer de una lente o de una microlente integrada en el circuito integrado que incluye el dispositivo focalizador. Asimismo es posible incluir una guía de transmisión de ondas electromagnéticas. Ello permitiría, por ejemplo, colocar todo el dispositivo de detección en un punto cualquiera en el interior del vehículo, y conectarlo con el exterior a través de dicha guía. Sin embargo, las reducidas dimensiones del dispositivo de detección permiten colocarlo en el interior de un espejo retrovisor, lo que constituye una forma preferente de realización, o incluso es posible colocar un dispositivo de detección en cada uno de los espejos retrovisores exteriores de un vehículo.
Para conseguir unos tamaños reducidos, al mismo tiempo que unos consumos bajos y una simplificación en las comunicaciones entre los diferentes componentes del dispositivo de detección, es recomendable que el circuito electrónico y el fotosensor sean de tecnología CMOS, DMOS, MOS, Si-Ge, BíCMOS o de tecnología SOI (silícon on insulator), y que el fotosensor y el circuito electrónico estén físicamente unidos en un módulo multi-chip (MCM, multi chip module) sobre un sustrato de material plástico, fibra de vidrio (FR4), cerámico o de silicio.
Opcionalmente se puede mejorar la capacidad del dispositivo de detección de analizar las situaciones de riesgo si, a las características de detección de un objeto que se aproxima, se le añade la capacidad de detectar si el vehículo en el que va montado el dispositivo de detección ha ¡nicializado acciones indicadoras de una aproximación al objeto. En particular, es ventajoso que el dispositivo de detección sea capaz de detectar la puesta en marcha de una luz intermitente y/o que sea capaz de detectar un giro en el volante del vehículo.
También es interesante que el dispositivo de detección sea capaz de comunicar al usuario o conductor del vehículo diversas señales, que permitan matizar la señal de aviso en función del riesgo de colisión. Así es preferible que los elementos indicadores incluyan unas señales luminosas con por lo menos dos colores, donde cada color indica un nivel de aviso diferente. También es ventajoso incluir un elemento de salida que permita la representación de pictogramas, donde dicho elemento de salida es una matriz de LED's o una pantalla gráfica.
Asimismo puede haber una situación de riesgo si un pasajero del vehículo portador del dispositivo de detección abre una puerta sin mirar si se aproxima otro vehículo por detrás. Es, por tanto, ventajoso que el dispositivo de detección indique también a los pasajeros del vehículo dichas situaciones de riesgo.
Es ventajoso permitir que el dispositivo de detección actúe sobre el cierre de las puertas. Así, por ejemplo, puede bloquear una puerta si detecta una situación de riesgo.
Finalmente es ventajoso añadir al dispositivo de detección de presencia de objetos un dispositivo de detección de somnolencia del conductor. Preferentemente en dispositivo de somnolencia comparte la mayoría de los dispositivos físicos con el dispositivo detección de presencia de objetos y emite una señal de alarma en función de la posición relativa entre el vehículo portador del dispositivo de detección y las líneas de marcado de los carriles de la carretera.
Otras ventajas y características de la invención se aprecian a partir de la siguiente descripción, en la que, sin ningún carácter limitativo, se relata un modo preferente de realización de la invención, haciendo mención de los dibujos que se acompañan. Las figuras muestran: Figs 1A - 1 D, esquema de los ángulos muertos de un vehículo, las zonas de visión directa y a través del espejo retrovisor izquierdo, y la zona cubierta por un dispositivo de detección de acuerdo con la invención
Fig 2, esquema simplificado de un dispositivo de detección de acuerdo con la invención
Fig 3, vista en alzado frontal de un espejo retrovisor mostrando 5 posibles ubicaciones del receptor
Fig 4, esquema de una superficie de imagen
Fig 5, la superficie de imagen de la Fig 4, dividida en tres partes Fig 6, un diagrama de bloques de un algoritmo de acuerdo con la invención
A modo de ejemplo, en las Figs 1A a 1 D se muestran esquemáticamente las zonas visibles a través del espejo retrovisor 1 del lado izquierdo (lado conductor), las zonas visibles gracias a la visión periférica lateral del conductor 3, y los ángulos muertos 5 Las zonas visibles a través de los espejos retrovisores 1 deben cumplir una serie de requisitos legales, por ejemplo los definidos en E C 71/127 y en las directivas siguientes En particular, tal como se muestra en la Fig 1A, el ángulo de visión debe ser tal que a una distancia de 10 m del espejo retrovisor, la anchura de la zona vista sea de cómo mínimo 2'5 m En la Fig 1A se ha mostrado un área rectangular sombreada que corresponde con la exigencia legal, y un área triangular que corresponde con la visión real a través de un espejo retrovisor convencional que cumpla con el requisito legal
Estos ángulos muertos 5 son precisamente los que se quieren cubrir con el dispositivo de detección El dispositivo de detección debe, además, solaparse parcialmente con el área vista por el espejo retrovisor, a fin de evitar discontinuidades entre lo que detecta el sensor y lo que aprecia el conductor Por esta misma razón es conveniente que el sensor también cubra parte del área vista directamente por el conductor En este sentido, una posible solución consiste en emplear un dispositivo de detección que cubra un área como la sombreada en la Fig 1 C una zona en forma de triángulo rectángulo cuyos catetos sean ambos de 4'5 m seguido de una zona rectangular de 4'5 m de ancho. La longitud total del área cubierta puede depender, en función de las prestaciones del dispositivo de detección. A modo de ejemplo, en la Fig. 1 C se ha representado un alcance de 20 m, si bien el dispositivo de detección que se describe a continuación tiene un alcance de más de 20 m.
En la Fig. 1 D se han representado todas las zonas anteriores conjuntamente. Se aprecia que el ángulo muerto queda cubierto prácticamente en su totalidad, por lo que se refiere a la zona correspondiente al carril adyacente. Asimismo hay un solape con las zonas vistas directamente o a través del espejo retrovisor.
El dispositivo de detección de acuerdo con la invención que se muestra en las Figs. 2 a 5, comprende un receptor 7, que está formado por una matriz de 256 filas de fotodíodos, con 320 fotodiodos en cada fila. El receptor 7 recibe las ondas electromagnéticas procedentes del exterior, en este caso particular dentro del rango de la luz visible, convenientemente enfocadas gracias a una lente. Al incidir la luz sobre los fotodiodos, éstos generan una corriente eléctrica cuya intensidad es función de la intensidad de luz recibida. Esta corriente eléctrica es convertida a una tensión eléctrica. Seleccionando una fila y una posición dentro de la fila, se puede seleccionar un fotodiodo determinado, el cual transmite así la señal eléctrica a un circuito electrónico 9. El circuito electrónico 9 tiene una etapa de amplificación 1 1 , y una unidad de conversión analógico-digital ADC, de la que sale una señal digitalizada. La señal digitalizada es introducida en un circuito lógico 15. El circuito lógico 15 comprende una unidad central de proceso CPU secuencial de tipo Von Neumann, un coprocesador en paralelo TOT que calcula la convolución y que se apoya en una memoria auxiliar MEM, una memoria permanente FLASH y una memoria RAM, de acceso rápido (SRAM). La unidad central de proceso CPU controla asimismo al receptor 7, enviando las señales de selección de fila 17 y de posición dentro de la fila 19 a los correspondientes registros, y al circuito electrónico 9. El receptor 7 capta una imagen, que incluye el ángulo muerto, que se proyecta sobre la superficie de imagen formada por los fotodiodos. Esta superficie de imagen es la que se transmite al circuito lógico 15 como una serie de pixels digitalizados. El receptor 7 está orientado de tal manera que el borde lateral de la superficie de imagen queda prácticamente enrasada con la superficie lateral del coche 21 y el borde superior de la superficie de imagen está enrasado con el horizonte 23. El circuito lógico 15 determina la dirección de movimiento a lo largo de la calle o carretera, lo que le permite determinar si un movimiento detectado es en la dirección de la carretera o si es en otra dirección, por ejemplo vertical. De esta manera puede filtrar "ruidos", como puede ser la lluvia, la nieve, vehículos en sentido contrario, etc.
En la Fig. 3 se muestran unos ejemplos de posicionamiento del receptor 7 o, en su caso, del extremo de la guía de ondas electromagnéticas, en un espejo retrovisor exterior.
Como ya se ha indicado anteriormente, es posible la realización de diversos algoritmos de análisis de la imagen. En un caso la superficie de imagen es dividida en dos partes 25, 27, que presentan una zona de solape 29, tal como se muestra en la Fig. 5. El circuito lógico 15 dispone de dos algoritmos independientes: un algoritmo detector de vehículos, que se aplica en la parte 25, y un algoritmo detector de movimiento, que se aplica en la parte 27. En la zona de solape 29 se aplican ambos algoritmos. El algoritmo detector de vehículos reconoce los bordes de figuras existentes en la superficie de imagen, selecciona los bordes dispuestos horizontal y verticalmente y se compara con unos patrones para determinar si existe un objeto con una forma similar a la de un vehículo. En caso positivo, se analiza la siguiente imagen obtenida por el receptor 7, lo que permite determinar la dirección del movimiento, así como la velocidad del objeto. El algoritmo detector de movimiento se basa en una técnica de diferencia de fase para obtener una estimación del flujo óptico en la dirección de la carretera. El resultado es comparado con los resultados obtenidos en imágenes anteriores, para eliminar errores y ruidos por medio de una comprobación de consistencia. Otro posible algoritmo de análisis de imágenes se basa en lo siguiente. Como ya se ha dicho el dispositivo está diseñado para detectar vehículos que adelantan al vehículo portador del dispositivo mediante la serie de imágenes capturadas con una cámara digital, por ejemplo una cámara CMOS, dispuesta en el espejo retrovisor de un vehículo.
La presencia de un vehículo que se aproxima se basa en la detección y seguimiento de objetos que se mueven a lo largo del eje de la carretera (en general cualquier vía pública) en sentido de aproximación con respecto del vehículo portador del dispositivo. A partir de una imagen, se puede apreciar la presencia de un vehículo por la presencia de aristas (o bordes) claramente marcadas en sentido vertical y horizontal sobre el pavimento de la carretera. En imágenes sucesivas estos elementos visuales (las aristas verticales y horizontales) se mueven hacia delante si son parte de un vehículo que se aproxima. Por el contrario se mueven hacia atrás si son parte de objetos estáticos (como elementos de la carretera, vallas protectores, árboles, señales de tráfico, hitos, etc.) o si pertenecen a vehículos que se mueven en sentido contrario que el vehículo portador del dispositivo. Por lo tanto un movimiento hacia delante coherente es interpretado como vehículo que está adelantando. Esta interpretación es generalmente correcta en autopistas o carreteras similares, en las que los carriles están claramente definidos y las curvas suelen ser de radios amplios. En estos casos la imagen es una perspectiva sencilla y el carril de adelantamiento puede ser aislado de una forma sencilla del resto del escenario usando una máscara apropiada. Por ello el movimiento hacia delante en el carril de adelantamiento es una indicación clara de un vehículo que se está aproximando. Ruidos e interferencias debido a baches o movimientos bruscos del vehículo portador del dispositivo pueden ser eliminados a base de obligar que el movimiento hacia delante sea coherente a lo largo de diversas imágenes sucesivas.
La imagen visual en una carretera que no sea una autopista o similar es mucho más compleja en particular, los giros a la izquierda del vehículo portador del dispositivo pueden generar un movimiento aparente consistente que puede generar falsas alarmas. Esto es particularmente frecuente en ambientes urbanos, donde la escena visual tiene una gran cantidad de objetos (coches aparcados, edificios, señalizaciones de tráfico diversas, etc.) que presentan aristas marcadas. Además la distancia real entre el vehículo que se aproxima y el vehículo portador del dispositivo no puede ser estimada correctamente a partir de su posición, ya que los carriles no están bien definidos. Por este motivo es conveniente que el dispositivo detector tenga un módulo de funcionamiento específico para cuando el vehículo portador gira a la izquierda. De esta manera, durante un giro a la izquierda, el campo de detección se desplaza hasta una posición más próxima al vehículo portador y se imponen unos requerimientos más restrictivos antes de activar la señal de alarma. Como consecuencia la señal de alarma se activará cuando el vehículo que se aproxima está más cerca del vehículo portador. Sin embargo esto no es un problema porque durante las curvas cerradas las velocidades de los vehículos son más reducidas que en las autopistas u otras vías rápidas. Además dada la configuración de la calle y la frecuente presencia de intersecciones, no es necesario un largo rango de detección en el caso de un entorno urbano. Como ejemplo concreto la cámara puede disponer de un sensor que es una matriz CMOS de 320 x 256 con un rango dinámico elevado (120 dB). El tamaño de las imágenes procesadas es de por lo menos 128 x 128 pixels. El campo de visión de la cámara es de aproximadamente unos 55°. La cámara está posicionada de tal manera que: - el borde vertical izquierdo de la imagen está próximo al borde lateral del vehículo portador.
El borde superior de la imagen está ligeramente por encima de la línea del horizonte, aproximadamente un octavo de la imagen. - La cámara está ligeramente inclinada en sentido horario de manera que alinea la imagen a lo largo del eje de la carretera. Se emplea una máscara, que se controla a partir del software, que delimita la región de interés de las imágenes. La máscara se posiciona de tal manera que un coche situado en el carril de adelantamiento de una carretera recta y a una gran distancia queda posicionado en el extremo superior izquierdo de la máscara. La posición de la máscara en la imagen puede ser ajustada para conseguir un ajuste fino del campo de visión. Para que el dispositivo de detección funcione adecuadamente la velocidad de captación de imágenes debería ser preferentemente superior a las 40 imágenes por segundo, ya que de esta manera el dispositivo es capaz de seguir la trayectoria de los vehículos que se aproximan con una mayor precisión. El algoritmo del dispositivo de detección tiene básicamente cuatro módulos principales:
Un módulo de detección de flujo óptico. El algoritmo usa una técnica basada en la diferencia de fases para producir una estimación densa del flujo óptico en la dirección del eje de la carretera. Para ello se procesa un par de imágenes sucesivas.
Elementos visuales que no se estén moviendo hacia delante son filtrados y eliminados. Las imágenes resultantes son alimentadas a los siguientes módulos. Este módulo es opcional y puede ser no utilizado. - Módulo de detección y seguimiento de vehículos. En la región delimitada por la máscara en algoritmo calcula las aristas de la imagen y sus direcciones. Las aristas verticales y las aristas horizontales son normalizadas y son integradas a lo largo de los ejes vertical y horizontal respectivamente. El factor de normalización es ajustado dinámicamente en base a la densidad promedio de la arista. La proyección unidireccional de dichas aristas sobre el eje de coordenadas correspondiente se emplea para trazar la trayectoria según dicho eje. Objetos que se aproximen generan proyecciones con velocidades positivas, es decir hacia la derecha y hacia abajo de la imagen. Estos puntos son separados de otros puntos que sean estacionarios o que presenten movimientos relativos a base de filtros direccionales. Las trayectorias resultantes son identificadas y seleccionadas.
Módulo de detección de vehículos sin velocidad relativa. Una vez que se ha identificado la trayectoria de un vehículo que se aproxima (mediante el desplazamiento de sus proyecciones unidireccionales correspondientes) se estima y supervisa la velocidad del vehículo. Por lo tanto es posible detectar situaciones en las que éste vehículo que se aproximaba reduce su velocidad y circula a la misma velocidad que el vehículo portador del dispositivo, quedándose a una corta distancia del vehículo portador del dispositivo. En estos casos es posible emitir algún tipo de señal de alarma específico hasta que no se observe que el entorno de la imagen del vehículo que se aproximada sufre cambios sustanciales (alejándose o adelantando al vehículo portador del dispositivo de detección).
Es decir, este módulo permite el control de situaciones de tráfico (por ejemplo tráfico denso) en el que tiene lugar la circulación en paralelo, es decir, vehículos circulando por carriles diferentes a velocidades prácticamente iguales. En estos casos es relativamente frecuente que un vehículo quede posicionado en el ángulo muerto de otro vehículo, lo que puede generar situaciones de peligro.
Módulo de detección durante los giros a la izquierda.- Durante los giros a la izquierda se produce un desplazamiento de los elementos visuales contenidos en diferentes imágenes constante y global. Mediante una técnica en correlaciones se detectan los desplazamientos constantes en la parte superior de imágenes sucesivas. La coherencia de esta señal durante diversas imágenes sucesivas se usa como indicación de que el vehículo portador está girando y, por tanto, que debe ser activado el módulo de detección de giros a la izquierda. La Figura 6 se muestra un diagrama de bloques en el que se muestra las etapas del algoritmo. Las referencias indicadas representan los siguientes bloques:
6.1 - inicio del algoritmo
6.2 - adquisición de imagen
6.3 - estimación del flujo óptico
6.4 - detector de giros a la izquierda
6.5 - detección y seguimiento de vehículos 6.6 - ¿Movimiento hacia delante consistente? ¿Vehículos con velocidad relativa cero?
6.7 - activar alarma
En primer lugar el módulo de flujo óptico 6.3 realiza un filtrado grosero del flujo de imagen basándose en la dirección del movimiento. A continuación el módulo de giro a la izquierda 6.4 avisa al sistema si el vehículo portador está girando. A continuación el sistema de detección y seguimiento 6.5 sigue las trayectorias de los objetos que se mueven y activa, si procede, la señal de alarma correspondiente. A continuación, si la alarma está activada, se activa el módulo de velocidad cero.
Se pueden establecer dos modos de operación. Si el vehículo portador no está girando, únicamente se consideran las proyecciones de las trayectorias a lo largo del eje horizontal. Si el módulo de seguimiento detecta una trayectoria más larga que 15 imágenes, se genera una señal de alarma y da una estimación de la distancia relativa y de velocidad relativa del vehículo que se aproxima. Esta indicación es fiable en el caso de carreteras planas y rectas, como autopistas o similares.
Si el detector de giro a la izquierda está activado los requerimientos para que se active la alarma son más estrictos: Primero se filtran las imágenes utilizando el detector de flujo óptico, a fin de reducir el ruido, y las dos proyecciones (a lo largo del eje vertical y a lo largo del eje horizontal) son tenidas en consideración. Únicamente si un efecto visual se está moviendo hacia adelante tanto en el eje X como en el eje Y se activa la señal de alarma. Ello se realiza de esta manera ya que durante las rotaciones los elementos visuales se caracterizan por tener una velocidad positiva según el eje X, pero con una velocidad aproximadamente nula según el eje Y, ya que se mantiene la altura de los mismos. Adicionalmente la máscara se baja de posición y se desplaza hacia la derecha para cubrir la región de interés (el carril de adelantamiento) de las imágenes.
A continuación, el circuito lógico, en función de la información obtenida (presencia de vehículo, distancia del vehículo, y velocidad relativa) activa, por ejemplo, un grupo de tres LED's (no representados en las Figs.) de tres colores diferentes (rojo, anaranjado, verde), lo que le permite comunicar diferentes niveles de aviso, en función de la peligrosidad. Son posibles una pluralidad de formas de presentación de los niveles de aviso: desde una única señal luminosa roja, que se active para indicar la presencia de un objeto en la zona de detección, hasta dispositivos compiejos, con diversas señales luminosas, acústicas y táctiles.
El dispositivo de detección tiene un alcance de más de 20 m. De esta manera, en la situación indicada anteriormente a modo de ejemplo, en la que un vehículo desea entrar en una autopista, caso en el que puede haber velocidades relativas del orden de 120 km/h, el conductor recibe la señal de aviso con casi 1 s de tiempo.
En el caso de que el dispositivo de detección esté montado simultáneamente en dos espejos retrovisores exteriores del vehículo (uno en cada lado del vehículo), es posible añadirle, adicionalmente, un dispositivo de detección de somnolencia del conductor. Preferentemente el dispositivo de detección de somnolencia comparte todos los elementos físicos del dispositivo de detección de presencia de objetos que participan en la captación y procesado de imágenes, como el receptor, el circuito electrónico y el circuito lógico. Adicionalmente el dispositivo de detección de somnolencia dispone de un algoritmo que permite detectar la somnolencia de la manera que se describe a continuación. Mediante las imágenes obtenidas a través de cada uno de los dispositivos de detección de presencia de objetos dispuestos en cada uno de los retrovisores se detectan las líneas de marcado del carril por el que circula el vehículo portador de los dispositivos de detección. De esta manera se puede detectar cuando el vehículo portador cruza una de dichas líneas de marcado. Efectivamente, como consecuencia de la somnolencia el conductor ya no es capaz de seguir el carril, marcado por las líneas de marcado, y se sale del mismo, creando una situación de peligro. El detector de somnolencia es capaz, por tanto, de detectar esta circunstancia y de emitir una señal de alarma.
Para reconocer dichas líneas de marcado, el dispositivo de detección de somnolencia analiza la imagen en la parte inmediatamente posterior del coche, extrae los bordes de la línea de marcado (las aristas de la misma) y las sigue a lo largo del tiempo. Se puede determinar la distancia entre la rueda y el borde de la linea de marcado y así es posible emitir una señal de alarma cuando dicha línea de marcado va a ser traspasada. Preferentemente el dispositivo de detección de somnolencia está conectado con el módulo de detección de giros, que le permite identificar el caso en el que se produzca una aproximación a la línea de marcado debido a que se está tomando una curva. Asimismo el dispositivo de detección de somnolencia recibe información sobre la posible activación de las luces intermitentes, lo que le permite discernir entre un cruce voluntario de las líneas de marcado de un cruce involuntario o, al menos, no notificado. Si el dispositivo de detección de somnolencia detecta un cruce inadvertido de una línea de marcado, activa una señal de aviso. Esta señal de aviso puede ser táctil (por ejemplo vibraciones en el volante), luminosa y/o acústica.
Es posible asimismo realizar un dispositivo de detección de somnolencia a partir de un dispositivo de detección de presencia de objetos único, dispuesto en un único espejo retrovisor, si bien en este caso es probable que las prestaciones del mismo, en el sentido de la calidad o pertinencia de las señales de aviso que emite, no sean iguales. El dispositivo de detección de somnolencia está enfocado siempre hacia atrás, y cubre exactamente la misma área de detección del dispositivo de detección de presencia de objetos, ya que preferentemente comparte con él todos los elementos físicos de detección y de cálculo.

Claims

REIVIND1CACIONES
1.- Dispositivo de detección de presencia de objetos, del tipo que van montados en un vehículo automóvil, dicho vehículo automóvil presentando por lo menos un ángulo muerto, donde dicho dispositivo de detección es apto para detectar un objeto situado en dicho ángulo muerto caracterizado porque comprende: [a] un receptor (7) apto para detectar unas ondas electromagnéticas, dicho receptor (7) comprendiendo un dispositivo focalizador, y un fotosensor que transforma dichas ondas electromagnéticas recibidas en unas señales eléctricas, dicho fotosensor definiendo una superficie de imagen, [b] un circuito electrónico (9) que transforma dichas señales eléctricas en unas señales digitalizadas, [c] un circuito lógico (15) que analiza dichas señales digitalizadas para analizar la presencia de objetos en dicho ángulo muerto con un movimiento relativo respecto de dicho vehículo, y que genera unas señales de salida variables en función del resultado de dicho análisis, [d] unos elementos indicadores, activados mediante dichas señales de salida.
2.- Dispositivo de detección según la reivindicación 1 , caracterizado porque dicho fotosensor está constituido por unos elementos sensores activos que presentan un rango dinámico igual o superior a las seis décadas en una misma superficie de imagen, y por que un mismo elemento sensor presenta un rango dinámico igual o superior a las seis décadas entre dos imágenes consecutivas.
3.- Dispositivo de detección según una de las reivindicaciones 1 ó 2, caracterizado porque dicho fotosensor está constituido por unos fotodiodos, aptos para transformar dichas ondas electromagnéticas en una corriente eléctrica.
4.- Dispositivo de detección según la reivindicación 3, caracterizado porque dicha corriente eléctrica es transformada en una tensión eléctrica y porque dicha tensión eléctrica es amplificada.
5.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 4, caracterizado porque dicho fotosensor comprende una matriz de dos dimensiones de dichos elementos sensores, que define una serie de filas de elementos sensores, donde cada una de dichas filas se extiende en una primera dirección y es paralela a las restantes filas, y donde el conjunto de filas conforma dicha superficie de imagen.
6.- Dispositivo de detección según la reivindicación 5, caracterizado porque dicho circuito electrónico (9) efectúa una selección de cada uno de dichos elementos sensores activando la correspondiente fila y la correspondiente posición en dicha fila, siendo así posible seleccionar cualquier elemento sensor a continuación de cualquier elemento sensor.
7 '.- Dispositivo de detección según la reivindicación 5, caracterizado porque dicho circuito electrónico (9) transforma simultáneamente todas las señales eléctricas de una fila de elementos sensores a señales digitalizadas.
8.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 7, caracterizado porque dicho circuito electrónico (9) comprende una etapa de amplificación (1 1 ) y una etapa de digitalízación (ADC).
9.- Dispositivo de detección según por lo menos una de las reivindicaciones 5 a 8, caracterizado porque cada fila dispone de como máximo 512 elementos sensores activos para el procesado, y porque dispone de cómo máximo 512 filas de elementos sensores activas para el procesado de la imagen.
10.- Dispositivo de detección según por lo menos una de las reivindicaciones 5 a 8, caracterizado porque cada fita dispone de como máximo 320 elementos sensores activos para el procesado de la imagen, y porque dispone de cómo máximo 256 filas de elementos sensores activas para el procesado de la imagen.
11.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 10, caracterizado porque dicho circuito lógico (15) realiza una convolución matemática a lo largo de toda dicha superficie de imagen de la señal digitalizada.
12.- Dispositivo de detección según la reivindicación 11 , caracterizado porque dicha convolución matemática sobre toda dicha superficie de imagen se realiza mediante un kernel de convolución apropiado para una detección de movimiento.
13.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 12, caracterizado porque dicho circuito lógico (15) es apto para la detección de movimiento en por lo menos una dirección determinada, siendo dicha dirección ajustable en función de la ubicación de dicho dispositivo focalizador, y por que dicho circuito lógico (15) es capaz de determinar la velocidad relativa de dicho movimiento en dicha dirección.
14.- Dispositivo de detección según por lo menos una de las reivindicaciones 11 a 13, caracterizado porque dicho circuito lógico (15) comprende un circuito electrónico especializado que incluye: [a] una unidad central de proceso (CPU) secuencial de tipo Von Neumann, [b] un coprocesador en paralelo (TOT), especializado en el cálculo de dicha convolución sobre toda dicha superficie de imagen, dicho coprocesador incluyendo por lo menos 32 multiplicadores acumuladores paralelos con una alta velocidad de cálculo aptos para calcular dicha convolución directamente sobre dicha superficie de imagen a una velocidad de cálculo, tal que dicha convolución se complete antes de iniciarse una nueva adquisición de imagen, y [c] una memoria RAM (SRAM) local.
15.- Dispositivo de detección según por lo menos una de las reivindicaciones 11 a 14, caracterizado porque dicha convolución se calcula en un tiempo menor o igual a 100 ms.
16.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 15, caracterizado porque es apto para distinguir un vehículo de otros objetos.
17.- Dispositivo de detección según la reivindicación 16, caracterizado porque realiza dicha distinción a base de reconocer unas aristas, claramente marcadas en sentido vertical y horizontal sobre el pavimento de la carretera, en una imagen.
18.- Dispositivo de detección según una de las reivindicaciones 16 ó 17, caracterizado porque si ha detectado un vehículo, analiza a partir de la siguiente imagen dicha velocidad relativa.
19.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 18, caracterizado porque divide dicha superficie de imagen en por lo menos dos partes (25, 27, 29), y porque en cada una de dichas partes (25, 27, 29) emplea técnicas de análisis diferentes.
20.- Dispositivo de detección según la reivindicación 19, caracterizado porque en una de dichas partes (25, 29) dicha técnica consiste en el reconocimiento de dichas aristas y el seguimiento de las mismas a lo largo de diversas imágenes para calcular dicha velocidad relativa.
21.- Dispositivo de detección según una de las reivindicaciones 19 ó 20, caracterizado porque en por lo menos una de dichas partes (27, 29) se emplea una técnica basada en una diferencia de fase para obtener una estimación del flujo óptico en una dirección determinada.
22.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 21 , caracterizado porque tiene un radio de acción de por lo menos 15 metros.
23.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 22, caracterizado porque dicho dispositivo focalizador comprende por lo menos una lente.
24.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 23, caracterizado porque dicho dispositivo focalizador comprende una guía de transmisión de ondas electromagnéticas apta para guiar las ondas electromagnéticas desde una primera zona, encarada hacia dicho ángulo muerto, hasta una segunda zona, en la que se aloja dicho circuito electrónico (9).
25.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 24, caracterizado porque dichas ondas electromagnéticas son ondas visibles.
26.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 25, caracterizado porque dicho circuito electrónico (9) es de tecnología CMOS, DMOS, MOS, Si-Ge o BiCMOS.
27.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 26, caracterizado porque dicho fotosensor es de tecnología CMOS, DMOS, MOS, Si-Ge o BiCMOS.
28.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 27, caracterizado porque dicho circuito electrónico (9) es de tecnología SOI (sílicon on insulator).
29.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 28, caracterizado porque dicho fotosensor es de tecnología SOI (silicon on insulator).
30.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 29, caracterizado porque dicho fotosensor y dicho circuito electrónico (9) están físicamente unidos en un módulo multi-chip
(MCM, multi chip module) sobre un sustrato de material plástico, fibra de vidrio (FR4), cerámico o de silicio.
31 .- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 30, caracterizado porque dicho dispositivo focalizador comprende una microlente integrada en un circuito integrado que incluye dicho dispositivo focalizador.
32.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 31 , caracterizado porque dicho fotosensor está alojado en el interior del conjunto espejo retrovisor exterior del vehículo.
33.- Dispositivo de detección según la reivindicación 32, caracterizado porque dispone de un fotosensor en cada uno de los espejos retrovisores exteriores del vehículo.
34.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 33, caracterizado porque detecta, adicionalmente si dicho vehículo ha inicíalizado acciones indicadoras de una aproximación a dicho objeto.
35.- Dispositivo de detección según la reivindicación 34, caracterizado porque dichas acciones indicadoras comprenden la puesta en marcha de una luz intermitente.
36.- Dispositivo de detección según una de las reivindicaciones 34 ó 35, caracterizado porque dichas acciones comprenden efectuar un giro de un volante.
37.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 36, caracterizado porque dichos elementos indicadores incluyen unas señales luminosas con por lo menos dos colores, donde cada color indica un nivel de aviso diferente.
38.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 37, caracterizado porque dichos elementos indicadores incluyen un elemento de salida que permite la representación de pictogramas, donde dicho elemento de salida es una matriz de LED's o una pantalla.
39.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 38 donde dicho vehículo dispone de unas puertas con un cierre de seguridad, caracterizado porque es apto para actuar sobre dicho cierre.
40.- Dispositivo de detección según por lo menos una de las reivindicaciones 1 a 39, caracterizado porque comprende, adicionalmente, un dispositivo de detección de somnolencia del conductor.
41.- Dispositivo de detección según la reivindicación 40, caracterizado porque dicho dispositivo de somnolencia comparte dicho receptor (7), dicho circuito electrónico (9) y dicho circuito lógico (15) con dicho circuito de detección de presencia de objetos.
42.- dispositivo de detección según una de las reivindicaciones 40 ó 41 , caracterizado porque dicho dispositivo de detección de somnolencia emite una señal de alarma en función de la posición relativa dicho vehículo automóvil y unas líneas de marcado.
PCT/ES2001/000057 2000-02-18 2001-02-16 Dispositivo de detección de presencia de objetos WO2001061371A2 (es)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU2001230267A AU2001230267A1 (en) 2000-02-18 2001-02-16 Device for detecting the presence of objects
JP2001560704A JP4235386B2 (ja) 2000-02-18 2001-02-16 物体存在検出装置
EP01902434A EP1271179B1 (en) 2000-02-18 2001-02-16 Device for detecting the presence of objects
US10/203,503 US6911642B2 (en) 2000-02-18 2001-02-16 Object presence detection method and device
DE60123936T DE60123936T2 (de) 2000-02-18 2001-02-16 Einrichtung zum erkennen der anwesenheit von objekten
ES01902434T ES2273802T3 (es) 2000-02-18 2001-02-16 Dispositivo de deteccion de presencia de objetos.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP200000378 2000-02-18
ES200000378A ES2158827B1 (es) 2000-02-18 2000-02-18 Dispositivo de deteccion de presencia de objetos.

Publications (2)

Publication Number Publication Date
WO2001061371A2 true WO2001061371A2 (es) 2001-08-23
WO2001061371A3 WO2001061371A3 (es) 2002-03-21

Family

ID=8492359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2001/000057 WO2001061371A2 (es) 2000-02-18 2001-02-16 Dispositivo de detección de presencia de objetos

Country Status (8)

Country Link
US (1) US6911642B2 (es)
EP (1) EP1271179B1 (es)
JP (1) JP4235386B2 (es)
AT (1) ATE343144T1 (es)
AU (1) AU2001230267A1 (es)
DE (1) DE60123936T2 (es)
ES (2) ES2158827B1 (es)
WO (1) WO2001061371A2 (es)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1312506A3 (en) * 2001-11-07 2004-05-06 C.R.F. Società Consortile per Azioni A method and system for assisting the driver of a motor vehicle in a lane-change manoeuvre
WO2004104626A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Módulo de adquisición de imagen para aplicaciones de monitorización de entorno exterior de vehículo
WO2004104625A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Sistema de cámara para supervisión de un ambiente exterior aplicable a un espejo retrovisor de vehículos
WO2004105395A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Unidad de adquisición de imagen con dispositivo calefactor para monitorización del exterior de un automóvil
WO2005093686A1 (es) * 2004-02-20 2005-10-06 Fico Mirrors, Sa Sistema de control del funcionamiento de dispositivos detectores de presencia y metodo para su realizacion
US7354166B2 (en) 2003-11-25 2008-04-08 Temic Automotive Of North America, Inc. Automatic viewing of vehicle blind spot
US7378947B2 (en) 2002-07-17 2008-05-27 Fico Mirrors, S.A. Device and method for the active monitoring of the safety perimeter of a motor vehicle
US7392118B2 (en) 2003-08-18 2008-06-24 Fico Mirrors, Sa System and method for monitoring the external environment of a motor vehicle
US7504932B2 (en) 2002-10-10 2009-03-17 Volkswagen Ag Method and device for monitoring blind spots of a motor vehicle
US8040227B2 (en) 2007-05-03 2011-10-18 Sony Deutschland Gmbh Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN112969937A (zh) * 2018-10-19 2021-06-15 创新科技有限公司 Lidar系统和方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
DE20216068U1 (de) * 2002-10-18 2003-03-06 Trw Automotive Safety Sys Gmbh Fahrzeuglenkvorrichtung und Sicherheitssystem
US6674394B1 (en) * 2003-03-28 2004-01-06 Visteon Global Technologies, Inc. Method for determining object location from side-looking sensor data
JP4223320B2 (ja) * 2003-04-17 2009-02-12 富士重工業株式会社 車両用運転支援装置
JP3897305B2 (ja) * 2004-02-06 2007-03-22 シャープ株式会社 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
DE102004060402A1 (de) * 2004-12-14 2006-07-13 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit
FR2896070B1 (fr) * 2006-01-11 2008-02-15 Commissariat Energie Atomique Systeme magnetique de controle de trafic
US20080122607A1 (en) * 2006-04-17 2008-05-29 James Roy Bradley System and Method for Vehicular Communications
US20070242338A1 (en) * 2006-04-17 2007-10-18 James Roy Bradley System and Method for Vehicular Communications
DE102006020888A1 (de) * 2006-05-05 2007-11-08 Robert Bosch Gmbh Einrichtung und Verfahren zur Überwachung des toten Winkels bei Fahrzeugen
DE102006060062A1 (de) * 2006-12-19 2008-07-03 Sick Ag Objektfeststellungssensor
US7908060B2 (en) * 2007-07-31 2011-03-15 International Business Machines Corporation Method and system for blind spot identification and warning utilizing portable and wearable devices
US8310353B2 (en) * 2008-03-31 2012-11-13 Honda Motor Co., Ltd. Vehicle blind spot detection and indicator system
US20100117153A1 (en) * 2008-11-07 2010-05-13 Honeywell International Inc. High voltage soi cmos device and method of manufacture
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
DE102009040003B4 (de) * 2009-09-03 2024-06-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Objektes im Totwinkelbereich eines Kraftfahrzeugs, Fahrerassistenzeinrichtung und Kraftfahrzeug mit Fahrerassistenzeinrichtung
EP2484566A1 (en) 2011-02-08 2012-08-08 Volvo Car Corporation Brake assist system
JP5939401B2 (ja) * 2013-02-26 2016-06-22 株式会社デンソー 制御システム
EP2964485B1 (en) * 2013-03-04 2017-08-16 González Vera, Pedro David System and method for the access to information contained in motor vehicles
AU2013205744B1 (en) * 2013-05-07 2014-10-16 Safemine Ag Improving safety sites with movable objects
AU2013206671B2 (en) 2013-07-03 2015-05-14 Safemine Ag Operator drowsiness detection in surface mines
SE540270C2 (sv) * 2014-04-01 2018-05-22 Scania Cv Ab Förfarande och system för att riskbedöma körfältsbyte vid framförande av ett ledande fordon på en vägbana med åtminstonetvå angränsande körfält
SE540272C2 (sv) * 2014-04-01 2018-05-22 Scania Cv Ab Förfarande och system för att riskbedöma körfältsbyte vid framförande av ett ledande fordon på en vägbana med åtminstonetvå angränsande körfält
US9836966B2 (en) 2014-07-24 2017-12-05 Gentex Corporation Accelerometer integrated with display device
CN108473150B (zh) * 2015-08-26 2019-06-18 泰利斯加拿大公司 导轨安装式车辆定位系统
DE102016201070A1 (de) * 2016-01-26 2017-07-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US11836933B2 (en) * 2019-07-18 2023-12-05 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US20210291866A1 (en) 2020-03-23 2021-09-23 Toyota Motor North America, Inc. Transport item management
US11718288B2 (en) 2020-03-23 2023-08-08 Toyota Motor North America, Inc. Consensus-based transport event severity
US11574543B2 (en) 2020-03-23 2023-02-07 Toyota Motor North America, Inc. Transport dangerous location warning
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0442312A2 (de) * 1990-02-10 1991-08-21 Alcatel SEL Aktiengesellschaft Integrierter optischer Empfänger und/oder Sender
EP0543537A2 (en) * 1991-11-20 1993-05-26 Fujitsu Limited Photodetector having reduced blind area
EP0591743A1 (en) * 1992-10-05 1994-04-13 GILARDINI S.p.A. Device for detecting relative positions between vehicles, principally for anti-collision purposes
US5424952A (en) * 1993-03-26 1995-06-13 Mitsubishi Denki Kabushiki Kaisha Vehicle-surroundings monitoring apparatus
US5521633A (en) * 1992-09-25 1996-05-28 Yazaki Corporation Motor vehicle obstacle monitoring system using optical flow processing
US5625210A (en) * 1995-04-13 1997-04-29 Eastman Kodak Company Active pixel sensor integrated with a pinned photodiode
US5642299A (en) * 1993-09-01 1997-06-24 Hardin; Larry C. Electro-optical range finding and speed detection system
US5699057A (en) * 1995-06-16 1997-12-16 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694295A (en) * 1986-05-15 1987-09-15 Miller Brett A Vehicle blind spot detector
JPH04261290A (ja) * 1991-02-15 1992-09-17 Toshiba Corp 移動物体追跡装置
JP3452268B2 (ja) * 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法
CA2157237A1 (en) * 1995-08-30 1997-03-01 John W. Patchell Thermal emitted radiation detecting device
JP3453952B2 (ja) * 1995-09-29 2003-10-06 株式会社日立製作所 交通流計測装置
JP3588666B2 (ja) * 1996-07-30 2004-11-17 日産自動車株式会社 運転制御装置
JP3473406B2 (ja) * 1998-06-05 2003-12-02 三菱自動車工業株式会社 車両用後方モニタシステム
JP2000020686A (ja) * 1998-06-30 2000-01-21 Yazaki Corp 車両用後側方監視装置
JP3808242B2 (ja) * 1999-07-26 2006-08-09 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
JP3853542B2 (ja) * 1999-07-26 2006-12-06 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
AU2001259640A1 (en) * 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0442312A2 (de) * 1990-02-10 1991-08-21 Alcatel SEL Aktiengesellschaft Integrierter optischer Empfänger und/oder Sender
EP0543537A2 (en) * 1991-11-20 1993-05-26 Fujitsu Limited Photodetector having reduced blind area
US5521633A (en) * 1992-09-25 1996-05-28 Yazaki Corporation Motor vehicle obstacle monitoring system using optical flow processing
EP0591743A1 (en) * 1992-10-05 1994-04-13 GILARDINI S.p.A. Device for detecting relative positions between vehicles, principally for anti-collision purposes
US5424952A (en) * 1993-03-26 1995-06-13 Mitsubishi Denki Kabushiki Kaisha Vehicle-surroundings monitoring apparatus
US5642299A (en) * 1993-09-01 1997-06-24 Hardin; Larry C. Electro-optical range finding and speed detection system
US5625210A (en) * 1995-04-13 1997-04-29 Eastman Kodak Company Active pixel sensor integrated with a pinned photodiode
US5699057A (en) * 1995-06-16 1997-12-16 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1271179A2 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1312506A3 (en) * 2001-11-07 2004-05-06 C.R.F. Società Consortile per Azioni A method and system for assisting the driver of a motor vehicle in a lane-change manoeuvre
US7378947B2 (en) 2002-07-17 2008-05-27 Fico Mirrors, S.A. Device and method for the active monitoring of the safety perimeter of a motor vehicle
US7504932B2 (en) 2002-10-10 2009-03-17 Volkswagen Ag Method and device for monitoring blind spots of a motor vehicle
WO2004105395A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Unidad de adquisición de imagen con dispositivo calefactor para monitorización del exterior de un automóvil
WO2004104625A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Sistema de cámara para supervisión de un ambiente exterior aplicable a un espejo retrovisor de vehículos
WO2004104626A1 (es) * 2003-05-22 2004-12-02 Fico Mirrors, Sa Módulo de adquisición de imagen para aplicaciones de monitorización de entorno exterior de vehículo
US7929048B2 (en) 2003-05-22 2011-04-19 Fico Mirrors, Sa Image acquisition module for monitoring applications of the external surroundings of a vehicle
US7392118B2 (en) 2003-08-18 2008-06-24 Fico Mirrors, Sa System and method for monitoring the external environment of a motor vehicle
US7354166B2 (en) 2003-11-25 2008-04-08 Temic Automotive Of North America, Inc. Automatic viewing of vehicle blind spot
WO2005093686A1 (es) * 2004-02-20 2005-10-06 Fico Mirrors, Sa Sistema de control del funcionamiento de dispositivos detectores de presencia y metodo para su realizacion
US7463166B2 (en) 2004-02-20 2008-12-09 Fico Mirrors, S.A. Control system for the operation of presence detection devices and method therefor
US8040227B2 (en) 2007-05-03 2011-10-18 Sony Deutschland Gmbh Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN112969937A (zh) * 2018-10-19 2021-06-15 创新科技有限公司 Lidar系统和方法

Also Published As

Publication number Publication date
DE60123936D1 (de) 2006-11-30
US20030141762A1 (en) 2003-07-31
AU2001230267A1 (en) 2001-08-27
WO2001061371A3 (es) 2002-03-21
ATE343144T1 (de) 2006-11-15
ES2158827B1 (es) 2002-03-16
US6911642B2 (en) 2005-06-28
JP4235386B2 (ja) 2009-03-11
JP2003523521A (ja) 2003-08-05
EP1271179B1 (en) 2006-10-18
ES2273802T3 (es) 2007-05-16
EP1271179A2 (en) 2003-01-02
DE60123936T2 (de) 2007-06-21
ES2158827A1 (es) 2001-09-01

Similar Documents

Publication Publication Date Title
ES2273802T3 (es) Dispositivo de deteccion de presencia de objetos.
ES2391556T3 (es) Sistema de detección de objetos para vehículo
ES2328676T3 (es) Dispositivo de vigilancia activa en un perimetro de seguridad de un vehiculo automovil.
US11794553B2 (en) Vehicular vision system with enhanced functionality
JP4622928B2 (ja) 車載カメラ制御装置および車載カメラ制御方法。
US8629768B2 (en) Vehicle vision system
ES2779046T3 (es) Procedimiento para, mediante un vehículo motorizado, advertir a otros usuarios de la red vial respecto de la presencia de peatones y vehículo motorizado
ES2258399B1 (es) Metodo y sistema para mejorar la supervision de un ambiente exterior de un vehiculo automovil.
ES2208428T3 (es) Dispositivo sensora de vehiculo automovil para captar parametros ambientales.
ES2704503T3 (es) Procedimiento de control de un sistema de vigilancia de tráfico
US20070290886A1 (en) Imaging system for detecting vehicle and human movement
JP2006185410A (ja) 夜間移動体報知装置及び夜間移動体報知方法
JPH0789059B2 (ja) 視覚センサシステム
KR20210054107A (ko) 차량의 디스플레이 장치 및 방법
ES2259543B1 (es) Sistema para la deteccion de objetos en una zona exterior frontal de un vehiculos, aplicable a vehiculos industriales.
WO2005017554A1 (es) Sistema y método para la supervisión de un ambiente exterior de un vehículo automóvil
ES2344880B1 (es) Sistema y metodo de asistencia al cambio de carril con zona de evaluacion adaptativa.
ES2253485T3 (es) Metodo y sistema para asistir al conductor de un vehiculo automovil en una maniobra de cambio de carril.
ES2296259T3 (es) Procedimiento y dispositivo para la determinacion de una velocidad de impacto de un objeto para un sistema de seguridad de un automovil.
CN217227441U (zh) 一种传感器系统和自动驾驶车辆
ES2270621T3 (es) Sistema para evitar la colision de vehiculos en condiciones de visibilidad reducida.
US20230150534A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
ES2600319B1 (es) Sistema para ayuda en adelantamientos en carretera y método para dicho sistema
ES2441315B1 (es) Dispositivo de asistencia en ángulo muerto para maniobra de salida de aparcamiento en batería o ángulo

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2001 560704

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 2001902434

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10203503

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2001902434

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWG Wipo information: grant in national office

Ref document number: 2001902434

Country of ref document: EP