WO2004074046A1 - Bildverarbeitungssystem für kraftfahrzeuge - Google Patents

Bildverarbeitungssystem für kraftfahrzeuge Download PDF

Info

Publication number
WO2004074046A1
WO2004074046A1 PCT/EP2004/001715 EP2004001715W WO2004074046A1 WO 2004074046 A1 WO2004074046 A1 WO 2004074046A1 EP 2004001715 W EP2004001715 W EP 2004001715W WO 2004074046 A1 WO2004074046 A1 WO 2004074046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing system
vehicle
image
computer
Prior art date
Application number
PCT/EP2004/001715
Other languages
English (en)
French (fr)
Inventor
Emrullah Durucan
Uwe Franke
Axel Gern
Stefan Hahn
Carsten Knöppel
Michael Smuda Von Trzebiatowski
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to US10/546,509 priority Critical patent/US20070147660A1/en
Priority to EP04713064A priority patent/EP1594725A1/de
Priority to DE202004007360U priority patent/DE202004007360U1/de
Priority to PCT/EP2004/008893 priority patent/WO2005090124A1/de
Publication of WO2004074046A1 publication Critical patent/WO2004074046A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/50—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B60K2360/21—
    • B60K2360/828—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the invention relates to an image processing system for motor vehicles according to the features of the preamble of patent claim 1.
  • a system for traffic sign recognition is known from DE 198 52 631 A1, in which those image components in which a traffic sign is depicted are to be identified by the image processing unit in the image data recorded by a camera system. Following the identification, the image processing unit extracts these image areas and presents them to the vehicle driver via a display unit for the final evaluation.
  • a complex image processing method that evaluates the image data of a multi-camera system and displays it is known from DE 199 26 559 AI.
  • a distance-resolved image data material is generated here by the fusion of the image data of the vehicle's surroundings located from different directions of view.
  • the image processing unit estimates the distances to objects and determines their relative speeds.
  • An image processing system which is adapted to the processing of the image data received by a camera sensitive in the infrared wavelength range is described in DE 101 24 005 AI.
  • the image processing system identifies different areas in the image data and, depending on their class affiliation, overlays them with textures familiar to a natural viewer.
  • DE 19749086 C1 describes a device for determining data indicative of the course of a lane.
  • the device comprises a lane detection sensor system, which is formed in particular by an image recording and image processing system, and an object position and vehicle movement sensor system.
  • the measurement data recorded by means of the sensor system are fed to an estimation device which contains a dynamic vehicle movement model in order to determine the course of the lane and / or the position and orientation of detected objects relative to the lane.
  • control units are here with regard to their electromechanical properties, in particular with regard to their temperature resistance. speed and stability to be interpreted in the widely fluctuating operating conditions prevailing in the motor vehicle and which may also be in the extreme range; This means that very high temperatures often arise inside the vehicle, especially in strong sunlight in summer.
  • the individual system components of the control units particularly with regard to the usually rather long service life of a motor vehicle, must also meet high requirements with regard to longevity. The above-mentioned factors in particular result in relatively high development and production costs for camera-based assistance and security systems.
  • the object of the invention is to provide an image processing system for motor vehicles which has comparatively low development and production costs without significant restrictions in functionality and reliability.
  • a driver assistance system and a vehicle with an image processing system must be specified, which is also inexpensive and reliable.
  • an image processing system for motor vehicles which comprises a camera system, an image processing module with a data interface for recording the image data generated by the camera system, and with a storage unit for storing an image processing program and with a processor unit for processing the image data.
  • the image processing system also has a display unit for displaying the processed image data.
  • this Image processing system in this case a small computer, in particular a palm top or personal digital assistant (PDA) or a mobile phone, the processor module and / or the display of which is used as an image processing module and / or as a display unit.
  • PDA personal digital assistant
  • the invention provides an image processing system for motor vehicles which places low demands on the electro-mechanical properties and the longevity of the system components.
  • the invention also provides a vehicle which comprises a plurality of the image processing systems according to the invention.
  • the use of several image processing systems of this type makes it possible in a cost-effective manner to capture several different surrounding areas or even the complete surrounding area of 360 ° around the vehicle.
  • Several image processing systems can also be used to present different information to several passengers.
  • the image processing system is used in a vehicle as part of a driver assistance system.
  • driver assistance systems can be, for example, so-called ACC systems or distance warnings, with obstacle detection being carried out to avoid collisions.
  • Driver assistance systems for traffic sign recognition are also known; the image processing system according to the invention is preferably used in so-called lane assistance systems.
  • lane assistance system warns the driver, for example, when leaving the lane (lane department warning) or controls the vehicle partially or fully automatically (lane keeping) in such a way that it moves within the lane.
  • the detection of the lane course and the Evaluation of the vehicle position relative to the lane can be determined with high accuracy with little hardware expenditure.
  • a holder for holding the microcomputer is located in the passenger compartment of the motor vehicle.
  • the holder is designed and arranged in such a way that the microcomputer can be attached in it, in particular at a point that is visible to at least one of the passengers.
  • a mechanical connection is realized between the microcomputer and the holder, preferably by using a clamping or plug-in mechanism.
  • any other means known to the person skilled in the field of entertainment and communication electronics or vehicle technology are also conceivable, which are suitable for fastening an electronic device, in particular a miniature computer, by means of a holder in a vehicle.
  • a preferred location for the attachment, which can be seen by at least one of the passengers, is, for example, a location in the area of the vehicle cockpit on the dashboard.
  • the driver can display information about the route ahead, e.g. the lane course, the distance to detected objects, the traffic situation or other vehicle surroundings information are presented.
  • An embodiment of the invention is also advantageously possible, in which there is a holder in the passenger compartment of the motor vehicle for receiving the microcomputer, which is designed and arranged in such a way that in the microcomputer at a location that is not visible to any of the passengers.
  • a particularly preferred location is in particular between the windshield and the rear view mirror of the motor vehicle.
  • the microcomputer can be fastened together with the holder on the back of the rearview mirror, alternatively the housing of the rearview mirror can also be designed such that it forms the holder for receiving the microcomputer.
  • Another preferred location is, for example, a location above the dashboard, the microcomputer then lying flat on the dashboard or at least partially embedded in the dashboard by means of a recess or recess. If the camera system is mechanically connected directly to the microcomputer or is integrated into it, the holder and the microcomputer located therein are preferably aligned in such a way that the camera system captures at least part of the vehicle environment, for example the route ahead.
  • the mini-computer Since there is a holder in the passenger compartment of the motor vehicle for receiving the mini-computer, which is designed and arranged in such a way that the mini-computer can be attached in a detachable manner, it is advantageously possible to leave the mini-computer as a mobile companion when leaving the vehicle to take out with.
  • a detachable attachment used or older vehicles in particular can be easily retrofitted with the image processing system according to the invention or expanded by additional microcomputers.
  • microcomputers and, in particular, mobile telephones are already available at very low cost, there is also the possibility of providing an insoluble attachment of such microcomputers in a vehicle.
  • the microcomputer can also at least partially installed behind a mechanical cover in the vehicle interior.
  • the holder for receiving the microcomputer or the mobile telephone has optical and / or mechanical elements, with which the direction of detection of the camera system can be adapted.
  • optical and / or mechanical elements with which the direction of detection of the camera system can be adapted.
  • This makes it possible in a particularly profitable manner to adapt the detection direction to the respective assistance function.
  • environmental information of a specific area can be redirected specifically to the optics of the camera system by means of optical lenses, mirrors and / or mechanical pan / tilt devices located on the holder.
  • the image processing system can be used in addition to the previously mentioned assistance functions or exclusively for occupant monitoring.
  • the occupant observation is used, for example, to detect the direction of view, to determine the head position in connection with the triggering of safety systems or to detect fatigue when falling asleep.
  • the direction of detection can be selected manually by the occupant or automatically, for example depending on the direction of travel.
  • a microcomputer is used in connection with the image processing system according to the invention, which has an integrated camera system, the image data generated of which are processed by the image processing system.
  • Mobile phones and personal digital assistants (PDAs) are particularly suitable for use in motor vehicles. Devices of this type have integrated camera modules which already have sufficient quality with regard to optical and electronic properties, such as resolution and brightness control, for image-assisted assistance functions in motor vehicles.
  • the environmental information recorded and / or evaluated by means of the image processing system can be optically displayed directly on the display of the microcomputer and / or can also be reproduced acoustically using a loudspeaker integrated in the microcomputer.
  • transmitting the information obtained to other in-vehicle systems for example to an already existing multifunction display or to the audio system of the motor vehicle.
  • the transmission can take place both by means of permanently installed wiring and by means of wireless transmission, for example using Bluetooth technology.
  • wireless transmission it is advantageous that in this case wiring is required at most for the purpose of the power supply.
  • a wireless transmission the possibility of exchanging information with systems external to the vehicle.
  • the figure shows the new image processing system for motor vehicles.
  • the image processing system comprises a camera system (2), an image processing module (3) for processing the image data supplied by the camera system, and a display unit (4) for displaying the processed image data.
  • the image processing module consists of a data interface for receiving the image data generated by the camera system, a storage unit for storing an image processing program and a processor unit for processing the image data.
  • the image processing module and the display unit are located in a miniature computer (5), in particular a palmtop or personal digital assistant (PDA) or a mobile phone.
  • the miniature computer is designed in such a way that it can be detachably attached in the passenger compartment of the motor vehicle, at a location visible to at least one of the passengers.
  • the integration of the image processing module (3) in the vehicle interior (1) ensures that it is not exposed to such strong temperature fluctuations or extreme temperatures as is the case for the conventional integration of such units in a control unit in the engine compartment. This is because the passenger compartment (1) of motor vehicles is generally cooled to room or at least outside temperature by air conditioning or targeted ventilation when driving.
  • the image processing module (3) therefore generally does not remain in a motor vehicle parked in the blazing sun.
  • the inventive attachment of the image processing module (3) as part of a miniature computer (5) in the interior (1) of the motor vehicle reduces the requirements for its electromechanical properties in a particularly advantageous manner.
  • the installation of the miniature computer (5) in the interior of the motor vehicle also considerably reduces the effort required to protect the image processing module from the ingress of moisture and condensation.
  • the image processing module (3) and the display (4) of the image processing device are advantageously formed by the processor module and the display of a microcomputer (5), in particular a palmtop or personal digital assistant (PDA) or a mobile phone, can furthermore, the requirements for the longevity of the system are considerably reduced. While the service life of conventional systems, particularly due to their high costs and the considerable effort for a possible exchange, must be ensured for the entire useful life of a motor vehicle (about 12 years), it is now common for owners of microcomputers in comparison with the Exchanging the useful life of a motor vehicle for a relatively short time (2 to 3 years).
  • the image processing module (3) remains in the vehicle interior (1) in addition to the necessary image display (4).
  • the components are compactly integrated in a single housing, a miniature computer (5). Due to the low weight of the miniature computer (5), a mechanically simple bracket is usually sufficient for its secure storage.
  • each of the image processing modules (3) is in contact with the or one of several camera systems via a communication link (6).
  • the detachable integration of the image processing module (3) in the vehicle also offers the advantage that one and the same module can be used in several vehicles.
  • a vehicle driver can thus use it by carrying the appropriately prepared microcomputer in several vehicles.
  • vehicle rental companies no longer need to equip each of the vehicles in their fleet with a special image processing system. If, unexpectedly, more systems than available are then required, additional devices can be procured and made available relatively quickly since there is no need for complex and expensive control device installation.
  • the use of a conventional miniature computer (5) which is also becoming increasingly popular among vehicle owners, results in a continuous increase in processor performance and image display quality during the period of use of the image processing system.
  • the invention offers the possibility of offering a wide range of differently powerful systems in a simple manner by the software optimized for the image processing task is offered on a wide variety of small computers. So it may be sufficient for some tasks to use a monochrome display unit, or on the other hand to offer systems with limited functionality but inexpensively on the smallest computers of the last generation of devices.
  • the use of the image processing system can be improved in a particularly advantageous manner if the microcomputer is provided with a data interface, via which image processing programs can be read into its storage unit. In this way, new and improved algorithms for image processing and image display can be easily installed on the system.
  • the system adapts itself profitably not only through the continuous replacement of the system hardware (small computer), but also through regular adjustment of the system software to the increasing development and the increasing requirements.
  • microcomputer allows it, it is conceivable to install algorithms for different types of image processing in parallel. For example, algorithms for evaluating image data from an infrared system, image data from a multi-camera system or a special algorithm for pedestrian detection in city center scenarios. In general, processor performance will not be sufficient to process all of these complex tasks in parallel. In particular, the microcomputer should therefore be provided in a profitable manner via input means which allow a selection of the processing algorithm or display modes that are best suited to the circumstances. The best way to do this is to navigate through the menu using the standard keyboard on the microcomputer.
  • the camera module assigned to the image processing module and display unit located in the microcomputer can be permanently integrated in the vehicle and connected to the microcomputer via an interface located in the holder. It is conceivable for the camera module to be designed so that it can be separated from the cabling between the camera module and the microcomputer, so that the camera module can be replaced, if necessary, and thus adapted to technical developments. In such a case, a motor vehicle can be inexpensively assembled as standard with cabling, to which a suitable camera can be mounted if required, for example if the optional equipment with an image processing system is desired. On the other hand, this also opens up the possibility for the vehicle user net to use its own existing camera as a camera system for the image processing system.
  • the functionality of the novel image processing system can in particular also be increased by providing the microcomputer with an interface via which data can be transferred to and from in-vehicle systems.
  • in-vehicle systems are in particular:
  • Driver assistance systems that can have a regulating effect on driving dynamics in dangerous situations (for example: braking or avoiding obstacles or warning the driver).

Abstract

Moderne Kraftfahrzeuge werden zunehmend mit Assistenz- und Sicherheitssystemen ausgestattet. Insbesondere Bildverarbeitungssysteme, welche Kamerabilddaten der Umgebung oder des Innenraums eines Fahrzeuges verarbeiten erlangen hierbei zunehmende Bedeutung, wobei die verarbeiteten Bilddaten dem Fahrzeugführer oder fahrzeuginternen Systemen vollständig oder in Ausschnitten zur Verfügung gestellt. Es wird vorgeschlagen, dass das Bildverarbeitungsmodul und die Anzeigeeinheit durch einen Kleinstcomputer (5), insbesondere einen Palmtop oder Personal Digital Assistent (PDA) oder ein Mobiltelefon, gebildet werden . Die Integration des Bildverarbeitungsmoduls (3) im Fahrzeuginnenraum (1) stellt sicher, dass dieses keinen so starken Temperaturschwankungen beziehungsweise Extremtemperaturen ausgesetzt wird. Auch wird durch die Installation des Kleinstcomputers (5) im Innenraum des Kraftfahrzeuges auch der Aufwand das Bildverarbeitungsmodul vor eindringender Feuchtigkeit und Kondensfeuchte zu schützen erheblich reduziert. Dadurch, dass das Bildverarbeitungsmodul (3) und die Anzeige (4) der Bildverarbeitungsvorrichtung durch das Prozessormodul und das Display eines Kleinstcomputers (5), insbesondere eines Palmtop oder Personal Digital Assistent (PDA) oder eines Mobiltelefons, gebildet werden, können die Anforderungen an die elektro-mechanische Stabilität und an die Langlebigkeit des Systems erheblich reduziert werden.

Description

Bildverarbeitungssystem für Kraftfahrzeuge
Die Erfindung betrifft ein Bildverarbeitungssystem für Kraftfahrzeuge nach den Merkmalen des Oberbegriffes des Patentanspruchs 1.
Moderne 'Kraftfahrzeuge werden zunehmend mit Assistenz- und Sicherheitssystemen ausgestattet. Insbesondere Bildverarbeitungssysteme, welche Kamerabilddaten der Umgebung oder des Innenraums eines Fahrzeuges verarbeiten erlangen hierbei zunehmende Bedeutung, wobei die verarbeiteten Bilddaten dem Fahrzeugführer oder fahrzeuginternen Systemen vollständig oder in Ausschnitten zur Verfügung gestellt werden. Beim Einsatz der Bildverarbeitung im Kraftfahrzeug hat diese allerdings unterschiedlichsten Anforderungen zu genügen.
Aus der DE 198 52 631 AI ist ein System zur Verkehrzeichenerkennung bekannt, bei welchem in den von einem Kamerasystem aufgenommenen Bilddaten, durch die Bildverarbeitungseinheit diejenigen Bildbestandteile identifiziert werden sollen, in welchen sich ein Verkehrzeichen abbildet. Im Anschluss an die Identifikation extrahiert die Bildverarbeitungseinheit diese Bildbereiche und stellt sie dem Fahrzeugführer über eine Anzeigeeinheit zur abschließenden Bewertung dar.
Ein komplexes Bildverarbeitungsverfahren, welches die Bilddaten eines Mehrkamerasystems auswertet und zur Anzeige bringt ist aus der DE 199 26 559 AI bekannt. Hierbei wird durch die Fusion der aus unterschiedlichen Blickrichtungen aufgenommenen Bilddaten der vorausliegenden Umgebung eines Fahrzeugs ein entfernungsaufgelöstes Bilddatenmaterial generiert. Auf Grund dieser Daten schätzt die Bildverarbeitungseinheit die Entfernungen zu Objekten und bestimmt deren Relativgeschwindigkeiten.
Ein Bildverarbeitungssystem, welches auf der Verarbeitung der von einer im infraroten Wellenlängenbereich empfindlichen Kamera empfangenen Bilddaten adaptiert ist, wird in der DE 101 24 005 AI beschrieben. Hierbei identifiziert das Bildverarbeitungssystem unter Rückgriff auf Klassifikationsalgorithmen unterschiedliche Bereiche in den Bilddaten, und überlagert diese in Abhängigkeit ihrer Klassenzugehörigkeit mit für einen natürlichen Betrachter gewohnten Texturen.
Aus der DE 19749086 Cl ist eine Vorrichtung zur Ermittlung von für den Verlauf einer Fahrspur indikativen Daten beschrieben. Die Vorrichtung umfasst eine Fahrspurerkennungs- sensorik, welche insbesondere durch ein Bildaufnahme- und Bildverarbeitungssystem gebildet wird, sowie eine Objektposi- tions- und Fahrzeugeigenbewegungssensorik. Die mittels der Sensorik erfassten Meßdaten werden einer hierbei Schätzeinrichtung zugeführt, welche ein dynamisches Fahrzeugbewegungs- modell beinhaltet, um damit den Fahrspurverlauf und/oder die Position und Orientierung von detektierten Objekten relativ zur Fahrspur zur ermitteln.
Diese beispielhaft aufgezeigten, aus dem Stand der Technik bekannten Bildverarbeitungssysteme werden mittels fahrzeugspezifischen Steuergerätelösungen realisiert. Hierbei sind die Steuergeräte in bezug auf ihre elektromechanischen Eigenschaften, insbesondere bezüglich ihrer Temperaturbeständig- keit und -Stabilität, auf im Kraftfahrzeug vorherrschenden stark schwankenden und auch unter Umständen im Extrembereich liegenden Betriebsbedingungen auszulegen; so ergeben sich innerhalb des Fahrzeuges insbesondere bei starker Sonneneinstrahlung im Sommer oft sehr hohe Temperaturen. Auch müssen die einzelnen Systemkomponenten der Steuergeräte, insbesondere im Hinblick auf üblicherweise recht lange Nutzungsdauer eines Kraftfahrzeuges, hohen Anforderungen in Bezug auf die Langlebigkeit genügen. Insbesondere die vorgenannten Faktoren resultieren in relativ hohen Entwicklungs- und Gestehungskosten für kamerabasierte Assistenz- und Sicherheitssysteme.
Aufgabe der Erfindung ist es, ein Bildverarbeitungssystem für Kraftf hrzeuge zu schaffen, welches ohne wesentliche Einschränkung in Funktionalität und Zuverlässigkeit vergleichsweise geringe Entwicklungs- und Gestehungskosten aufweist. In entsprechender Weise ist ein Fahrerassistenzsystem und ein Fahrzeug mit Bildverarbeitungssystem anzugeben, das ebenso kostengünstig und verlässlich ist.
Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Ansprüche 1, 11 und 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschreiben.
Gemäß der Erfindung wird ein Bildverarbeitungssystem für Kraftfahrzeuge vorgeschlagen, welches ein Kamerasystem, ein Bildverarbeitungsmodul mit einer Datenschnittstelle zur Aufnahme der von dem Kamerasystem erzeugten Bilddaten, sowie mit einer Speichereinheit zur Speicherung eines Bildverarbeitungsprogramms und mit einer Prozessoreinheit zur Verarbeitung der Bilddaten umfasst . Weiterhin verfügt das Bildverarbeitungssystem über eine Anzeigeeinheit zur Anzeige der verarbeiteten Bilddaten. In einer erfinderischen Weise weist das Bildverarbeitungssystem hierbei einen Kleinstcomputer auf, insbesondere ein Palmtop oder Personal Digital Assistent (PDA) oder ein Mobiltelefon, dessen Prozessormodul und/oder dessen Display als Bildverarbeitungsmodul und/oder als Anzeigeeinheit verwendet wird. Mit der Erfindung wird ein Bildverarbeitungssystem für Kraftfahrzeuge bereitgestellt, welches geringe Anforderungen hinsichtlich der elektro-mechanischen Eigenschaften und der Langlebigkeit der Systemkomponenten stellt. Weiterhin wird mit der Erfindung ein Fahrzeug bereitgestellt, welches eine Mehrzahl der erfindungsgemäßen Bildverarbeitungssysteme umfasst. Durch den Einsatz mehrerer derartiger Bildverarbeitungssysteme wird es auf kostengünstige Weise möglich, mehrere unterschiedliche Umgebungsbereiche o- der sogar den kompletten Umgebungsbereich von 360° um das Fahrzeug zu erfassen. Weiterhin besteht auch die Möglichkeit UmgebungsInformationen von wenigstens zwei unterschiedlichen Bildverarbeitungssystemen und/oder Kamerasystemen zu kombinieren, um daraus Tiefeninformationen zu generieren. Auch können mehrere Bildverarbeitungssysteme eingesetzt werden, um mehreren Fahrgästen unterschiedliche Informationen darzubieten. In erfinderischer Weise wird das Bildverarbeitungssystem in einem Fahrzeug als Teil eines Fahrerassistenzsystems verwendet. Derartige Fahrerassistenzsysteme können beispielsweise sogenannte ACC-Systeme oder AbStandswarner sein, wobei eine Hinderniserkennung zur Kollisionsvermeidung durchgeführt wird. Auch sind Fahrerassistenzsysteme zur Verkehrszeichenerkennung bekannt, vorzugsweise wird das erfindungsgemäße Bildverarbeitungssystem bei sogenannten Spurassistenzsystemen verwendet. Ein derartiges Spurassistenzsystem warnt beispielsweise den Fahrer beim Verlassen der Fahrspur (Lane De- parture Warning) oder regelt das Fahrzeug teil- oder vollautomatisch (Lane Keeping) derart, dass es sich innerhalb der Fahrspur bewegt. Durch den Einsatz des Bildverarbeitungssystems kann hierbei die Erfassung des Fahrspurverlaufs und die Auswertung der Fahrzeugposition relativ zur Fahrspur bei hoher Genauigkeit mit geringem Hardwareaufwand ermittelt werden.
Bei einer vorteilhaften Ausgestaltung der Erfindung befindet sich im Fahrgastraum des Kraftfahrzeuges eine Halterung zur Aufnahme des Kleinstcomputers. Die Halterung ist dabei derart ausgebildet und angeordnet, dass sich darin der Kleinstcomputer insbesondere an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, anbringen lässt. Zwischen dem Kleinstcomputer und der Halterung wird dabei eine mechanische Verbindung realisiert, indem vorzugsweise ein Klemm- oder Steckmechanismus zum Einsatz kommt. Jedoch sind auch jegliche andere dem Fachmann auf dem Gebiet der Unterhaltungs- und Kommunikationselektronik oder der Fahrzeugtechnik bekannten mittel denkbar, welche zum Befestigen eines elektronischen Geräts insbesondere einem Kleinstcomputer mittels einer Halterung in einem Fahrzeug geeignet sind. Eine zur Anbringung bevorzugte, für wenigstens einen der Fahrgäste einsehbare Stelle, ist hierbei beispielsweise eine Stelle im Bereich des Fahrzeugcockpits an der Armaturentafel . Dem Fahrer wird es hierdurch insbesondere möglich, Informationen direkt vom Display des Kleinstcomputers abzurufen, ohne dabei den Blick zu lange von der Straße abwenden zu müssen. Beispielsweise kann dem Fahrer auf dem Display des Kleinstcomputers Information über die vorausliegende Fahrstrecke, z.B. den Fahrspurverlauf, die Entfernung zu detektierten Objekten, die Verkehrssituation o- der weiteren Fahrzeugumgebungsinformationen dargeboten werden.
Auch ist in vorteilhafter Weise eine Ausgestaltung der Erfindung möglich, bei der sich im Fahrgastraum des Kraftfahrzeuges eine Halterung zur Aufnahme des Kleinstcomputers befindet, welche so ausgebildet und angeordnet ist, dass sich dar- in der Kleinstcomputer an einer für keinen der Fahrgäste einsehbaren Stelle, anbringen lässt. Eine besonders bevorzugte Stelle liegt hierbei insbesondere zwischen der Windschutzscheibe und dem Rückspiegel des Kraftfahrzeugs. Beispielsweise kann der Kleinstcomputer gemeinsam mit der Halterung an der Rückseite des Rückspiegels befestigt werden, wobei alternativ auch das Gehäuse des Rückspiegels derart ausgestaltet sein kann, dass dieses die Halterung zur Aufnahme des Kleinstcomputers bildet. Eine weitere bevorzugte Stelle ist beispielsweise auch eine Stelle oberhalb der Armaturentafel, wobei der Kleinstcomputer dann flach auf der Armaturentafel aufliegt oder auch zumindest teilweise mittels einer Aussparung oder Vertiefung in die Armaturentafel eingelassen ist. Falls das Kamerasystem direkt mit dem KleinstComputer mechanisch verbunden oder in diesen integriert ist, wird die Halterung und der darin befindliche Kleinstcomputer vorzugsweise derart ausgerichtet, dass mit dem Kamerasystem zumindest ein Teil der Fahrzeugumgebung, beispielsweise die vorausliegende Fahrstrecke erfasst wird.
Indem sich im Fahrgastraum des Kraftfahrzeugs eine Halterung zur Aufnahme des Kleinstcomputers befindet, welche so ausgebildet und angeordnet ist, dass sich darin der Kleinstcomputer insbesondere lösbar anbringen lässt, wird es in vorteilhafter Weise möglich, den Kleinstcomputer beim Verlassen des Fahrzeug als mobilen Begleiter aus dem Fahrzeug heraus mit zu nehmen. Mittels einer lösbaren Anbringung können vor allem gebrauchte oder ältere Fahrzeuge auf einfache Weise mit dem erfindungsgemäßen Bildverarbeitungssystem nachgerüstet oder um zusätzliche Kleinstcomputer erweitert werden. Da Kleinstcomputer und insbesondere Mobiltelefone bereits sehr preisgünstig erhältlich sind, besteht jedoch auch die Möglichkeit eine unlösbare Anbringung derartiger Kleinstcomputer in einem Fahrzeug vorzusehen. Dabei kann der Kleinstcomputer auch zu- mindest Teilweise hinter einer mechanischen Abdeckung im Fahrzeuginnenraum angebracht sein.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung weist die Halterung zur Aufnahme des Kleinstcomputers oder des Mobiltelefons optische und/oder mechanische Elemente auf, womit die Erfassungsrichtung des Kamerasystems anpassbar ist . Hierdurch wird es in besonders gewinnbringender Weise möglich, die Erfassungsrichtung an die jeweilige Assistenzfunktion anzupassen. Beispielsweise kann UmgebungsInformation eines bestimmten Bereichs gezielt mittels an der Halterung befindlicher optischer Linsen, Spiegel und/oder mechanischen Schwenk- /Neigeeinrichtungen auf die Optik des Kamerasystems umgelenkt werden. Auch wird es dadurch in vorteilhafter Weise möglich den Kleinstcomputer an einer vor Umweltbedingungen und/oder mechanischen Einflüssen geschützten Stelle hinter einer Abdeckung anzubringen. Falls das Kamerasystem hierbei mechanisch direkt mit dem Kleinstcomputer verbunden ist, muss diese Abdeckung hierbei nur eine kleine Aussparung für die Optik des Kamerasystems aufweisen.
Im Zusammenhang mit dem erfindungsgemäßen Bildverarbeitungssystem besteht in vorteilhafter Weise die Möglichkeit, die Erf ssungsrichtung des Kamerasystems derart zu wählen, daß damit die Fahrzeugumgebung und/oder der Fahrzeuginnenraum erfasst wird. Beispielsweise kann das Bildverarbeitungssystem zusätzlich zu den bisher genannten Assistenzfunktionen oder ausschließlich zur Insassenbeobachtung verwendet werden. Die Insassenbeobachtung dient beispielsweise zur Blickrichtungs- detektion, zur Bestimmung der Kopfpostion im Zusammenhang mit der Auslösung von Sicherheitssystemen oder zur Müdigkeits- detektion bei Einschlaf arnern. Wobei die Erfassungsrichtung grundsätzlich manuell vom Insassen oder automatisch, z.B in Abhängigkeit der Fahrtrichtung, ausgewählt werden kann. In besonders bevorzugter Weise wird im Zusammenhang mit dem erfindungsgemäßen Bildverarbeitungssystem ein Kleinstcomputer eingesetzt, welcher über ein integriertes Kamerasystem verfügt, dessen erzeugte Bilddaten von dem Bildverarbeitungssystem verarbeitet werden. Für den Einsatz in Kraftfahrzeugen eignen sich dabei insbesondere Mobiltelefone und Personal Digital Assistents (PDAs) . Derartige Geräte verfügen über integrierte Kameramodule, welche bereits eine ausreichende Qualität hinsichtlich optischer und elektronischer Eigenschaften, wie z.B. Auflösungsvermögen und Helligkeitssteuerung, für Bildgestützte Assistenzfunktionen in Kraftfahrzeugen aufweisen.
Die mittels dem Bildverarbeitungssystem erfassten und/oder ausgewerteten Umgebungsinformationen können hierbei optisch direkt auf dem Display des Kleinstcomputers dargestellt werden und/oder mittels einem im Kleinstcomputer integrierten Lautsprecher ggf. auch akustisch wiedergegeben werden. Alternativ oder zusätzlich besteht auch die Möglichkeit die gewonnenen Informationen an andere fahrzeuginterne Systeme zu übertragen, beispielsweise an ein bereits vorhandenes Multi- funktionsdisplay oder an die Audioanlage des Kraftfahrzeugs. Es besteht aber auch die Möglichkeit, Informationen von fahrzeuginternen Systemen an das erfindungsgemäße Bildverarbeitungssystem zu übertragen und mit diesem zu nutzen. Die Übertragung kann hierbei sowohl mittels einer fest installierten Verdrahtung als auch mittels kabelloser Übertragung, beispielsweise mittels Bluetooth Technologie erfolgen. Vorteilhaft ist bei einer kabellosen Übertragung, dass hierbei maximal zum Zweck für die Stromversorgung eine Verdrahtung vorhanden sein muss. Es besteht jedoch auch die Möglichkeit, den Kleinstcomputer autark zu betreiben. Zudem besteht mittels einer kabellosen Übertragung auch die Möglichkeit zum Austausch von Informationen mit fahrzeugexternen Systemen.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung eines bevorzugten Ausführungsbeispiels anhand der Figur. Dabei zeigt die Figur das neuartige Bildverarbeitungssystem für Kraftfahrzeuge. Das Bildverarbeitungssystem umfasst ein Kamerasystem (2) , ein Bildverarbeitungsmodul (3) zur Verarbeitung der vom Kamerasystem gelieferten Bilddaten, sowie eine Anzeigeeinheit (4) zur Anzeige der verarbeiteten Bilddaten. Hierbei besteht das Bildverarbeitungsmodul aus einer Datenschnittstelle zur Aufnahme der von dem Kamerasystem erzeugten Bilddaten, einer Speichereinheit zur Speicherung eines Bildverarbeitungsprogramms und einer Prozessoreinheit zur Verarbeitung der Bilddaten. In erfinderischer Weise befindet sich das Bildverarbeitungsmodul und die Anzeigeeinheit in einem Kleinstcomputer (5) , insbesondere einem Palmtop oder Personal Digital Assistent (PDA) oder einem Mobiltelefon. Der Kleinstcomputer ist hierbei so ausgebildet, dass er sich im Fahrgastraum des Kraftfahrzeuges, an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, lösbar anbringen lässt.
Die Integration des Bildverarbeitungsmoduls (3) im Fahrzeuginnenraum (1) stellt sicher, dass dieses keinen so starken Temperaturschwankungen beziehungsweise Extremtemperaturen ausgesetzt wird, wie dies für die herkömmliche Integration solcher Einheiten in einem Steuergerät im Motorraum der Fall ist. Dies deshalb, da der Fahrgastraum (1) von Kraftfahrzeugen bei Fahrbetrieb in der Regel durch Klimatisierung oder gezielte Belüftung auf Zimmer oder zumindest Außentemperatur gekühlt wird. In besonderer Weise wird durch die Verwendung eines Kleinstcomputers (5) in der Funktion als fahrzeuginternes Bildverarbeitungsmodul und Bildanzeigeeinheit, des wei- teren sicher gestellt, dass dieser im geparkten Zustand des Fahrzeugs nicht in diesem verbleibt, sondern auf Grund seiner weiteren Funktionalitäten durch den Fahrzeugführer oder einen anderen Insassen mitgeführt wird. Das Bildverarbeitungsmodul (3) verbleibt somit in der Regel nicht in einem in praller Sonne abgestellten Kraftfahrzeug.
Auf diese Weise reduziert die erfinderische Anbringung des Bildverarbeitungsmoduls (3) als Teil eines Kleinstcomputers (5) im Innenraum (1) des Kraftfahrzeuges in besonders vorteilhafter Weise die Anforderungen an dessen elektromechanischen Eigenschaften. Selbstverständlich wird durch die Installation des Kleinstcomputers (5) im Innenraum des Kraftfahrzeuges auch der Aufwand das Bildverarbeitungsmodul vor eindringender Feuchtigkeit und Kondensfeuchte zu schützen erheblich reduziert.
Dadurch, dass in vorteilhafter Weise das Bildverarbeitungsmodul (3) und die Anzeige (4) der Bildverarbeitungsvorrichtung durch das Prozessormodul und das Display eines Kleinstcomputers (5) , insbesondere eines Palmtop oder Personal Digital Assistent (PDA) oder eines Mobiltelefons, gebildet werden, können des weiteren die Anforderungen an die Langlebigkeit des Systems erheblich reduziert werden. Während die Funktionsdauer herkömmlicher Systeme, insbesondere auf Grund deren hohen Kosten und des erheblichen Aufwandes für einen etwaigen Austausch, möglichst für die gesamte Nutzungsdauer eines Kraftfahrzeuges (etwa 12 Jahre) sichergestellt werden müssen, ist es für Besitzer von Kleinstcomputern mittlerweile üblich, in verglichen mit der Nutzungsdauer eines Kraftfahrzeuges relativ kurzer Zeit (2 bis 3 Jahre) solche Kleinstcomputer auszutauschen. Durch einen diesen Austausch beziehungsweise Ersatz werden nicht nur die Anforderungen an die Langlebigkeit eines Bildverarbeitungssystems erheblich reduziert, sondern es wird in gewinnbringender Weise gleichzeitig auch erreicht, dass sich das Bildverarbeitungssystem kontinuierlich in seiner Leitungsfähigkeit steigert, da jede neue Generation von Kleinstcomputern eine erhebliche Steigerung an Prozessorleistung aufweist. Durch einen Austausch des Kleinstcomputers durch eine moderne Modellvariante erhält der Nutzer des Bildverarbeitungssystems zugleich eine Anpassung seiner Anzeigeeinrichtung an einen modernen Standard. Die Betriebssysteme moderner Kleinstcomputer erlauben dabei eine Modernisierung der Geräte, ohne dass dabei eine Anpassung der Software vorgenommen werden muss .
Aus dem Bereich der Forschung und Entwicklung von Bildverarbeitungssystemen für Kraftfahrzeuge ist es zwar schon bekannt, flexibel konfigurierbare Rechnersysteme mit zugehörigem Display zur Verarbeitung und Anzeige von Bildsignalen zu verwenden. Hierbei handelt es sich jedoch um komplexe, flexibel konfigurierbare Entwicklungssysteme, deren Rechnersystem sich oftmals im Kofferraum des Fahrzeugs befindet, und welche über handelsübliche PC-Tastaturen bedient werden. Zur Visualisierung der Bilddaten kommen hierbei gewöhnliche, meist am Armaturenbrett befestigte LCD-PC-Displays zum Einsatz. In den Fällen, in welchem sich die Entwicklung der Bildverarbeitungssoftware sich schon im fortgeschrittenen Entwicklungsstadium befindet und somit nicht mehr allzu viele Prozessorleistung benötigt, ist es zwar bekannt diese auf im Fahrzeuginneren befindlichen Laptops zu implementieren, doch ergeben sich auf Grund des Gewichtes der Rechner mechanische Probleme bei der erforderlichen vibrationsfreien Lagerung. Aus diesem Grunde wird oft dazu übergegangen die Laptops auf dem Beifahrersitz provisorisch zu befestigen oder im Fahrbetrieb auf dem Schoß oder in der Hand zu halten. All diese aus dem Bereich der Forschung und Entwicklung bekannten Anordnungen stellen wie aufgezeigt Provisorien dar, welche sich nicht für einen Einsatz im Serienfahrzeug eigenen; hierzu aber auch gar nicht vorgesehen sind. Das regelmäßige Vorgehen der Fachwelt zeigt, dass im Anschluss an eine erfolgreiche Erprobungsphase der Bildverarbeitungsalgorithmik diese letztendlich immer im Zusammenhang mit einer speziellen Steuergerätehardware zum Einsatz kommt. Die Übertragung der Bildverarbeitungsalgorithmik auf ein Steuergerät ist für den durchschnittlichen Fachmann nicht nur wegen der auf diesem Arbeitsgebiet üblichen Vorgehensweise naheliegend, sondern ergibt sich auch aus seinem Wissen um die Unhandlichkeit der Entwicklungssysteme und um dem geringen zur Verfügung stehenden Bauraum, welcher von unterschiedlichsten Interessengruppen beansprucht wird.
In Abkehr von dem üblichen, verbleibt bei dem neuartigen, erfinderischen Bildverarbeitungssystem nun doch neben der notwendigen Bildanzeige (4) , auch noch das Bildverarbeitungsmodul (3) im Fahrzeuginnenraum (1) . Im Gegensatz jedoch zu den bekannten Forschungs- und Entwicklungssystemen sind hierbei die Komponenten auf den nötigsten Umfang reduziert in einem einzelnen Gehäuse, einem Kleinstcomputer (5) , kompakt integriert. Durch das geringe Gewicht des Kleinstcomputers (5) ist für dessen sichere Lagerung meist eine mechanisch einfache Halterung ausreichend.
Durch die Erfindung ist es nun auch nicht mehr wie bisher notwendig, im Bereich des Armaturenbrettes fix eine Platz für die Integration einer festinstallierten Bildanzeige zu reservieren, da die Anzeige Teil des Kleinstcomputers (5) ist, dessen Halterung an einer beliebigen einsehbaren Stelle angebracht werden kann. Es ist gar denkbar, dass es dem Nutzer des Bildverarbeitungssystems freigestellt wird, an welcher Stelle des Fahrzeuginnenraums (1) er den Kleinstcomputer (5) anbringen will. Es ist gleichsam auch möglich mehrere alternative Halterungen vorzusehen, so dass je nach Anwendungsfall der Kleistcomputer an unterschiedlichen Stellen positioniert werden kann. So beispielsweise zur Anzeige von Verkehrszeichen für den Fahrzeugführer, oder zur Anzeige von Umgebungs- bildern für Insassen auf den Fahrzeugrücksitzen. In besonders gewinnbringender Weise ist es denkbar nicht nur mehrere Halterungen im Fahrzeug verteilt anzubringen, sondern parallel mehrere Kleinstcomputern mit integrierten Bildverarbeitungsmodulen für unterschiedlichste Anwendungen zu nutzen. Hierzu ist einzig sicherzustellen, dass jeder der Bildverarbeitungs- module (3) mit dem oder einem von mehreren Kamerasystemen ü- ber eine Kommunikationsverbindung (6) in Kontakt steht.
Die lösbare Integration des Bildverarbeitungsmoduls (3) im Fahrzeug bietet des weiteren den Vorteil, dass ein und das selbe Modul in mehreren Fahrzeugen genutzt werden kann. Ein Fahrzeugführer kann somit durch den Kauf eines einzigen Bildverarbeitungsmoduls dieses durch das Mitführen des entsprechend hergerichteten Kleinstcomputers in mehreren Fahrzeugen nutzen. So entfällt beispielsweise auch für Fahrzeugvermiet- firmen die Notwendigkeit jedes einzelne der Fahrzeuge ihres Fuhrparks mit einem speziellen Bildverarbeitungssystem auszustatten. Sollten dann unvorhergesehen doch mehr Systeme als vorhanden benötigt werden, können relativ rasch Zusatzgeräte beschafft und zur Verfügung gestellt werden, da eine aufwändige und teure Steuergeräteinstallation entfällt.
Durch die Verwendung eines herkömmlichen KleinstComputers (5) , welcher zunehmend auch im Kreis von Fahrzeugbesitzern Beliebtheit findet, resultiert somit während der Nutzungszeit des Bildverarbeitungssystems einer kontinuierlichen Erhöhung der Prozessorleistung und Qualität der Bildanzeige. Insbesondere in wirtschaftlicher Hinsicht bietet die Erfindung die Möglichkeit auf einfache Weise eine breite Palette unterschiedlich leistungsfähiger Systeme anzubieten, indem die für die Bildverarbeitungsaufgabe optimierte Software auf unterschiedlichsten Kleinstcomputern angeboten wird. So mag es für einige Aufgaben ausreichend sein, eine monochrome Anzeigeeinheit zu verwenden, oder andererseits Systeme zwar mit eingeschränkter Funktionalität aber kostengünstig auf Kleinstcomputern der letzten Gerätegeneration anzubieten.
In besonders vorteilhafter Weise lässt sich die Nutzung des Bildverarbeitungssystems dann verbessern, wenn der Kleinst- Computer mit einer Datenschnittstelle versehen ist, über welchen Bildverarbeitungsprogramme in seine Speichereinheit eingelesen werden können. Auf diese Weise können auf dem System auf einfache Weise neue und verbesserte Algorithmen zur Bildverarbeitung und Bilddarstellung installiert werden. So passt sich das System in gewinnbringender Weise nicht nur durch den kontinuierlichen Ersatz der Systemhardware (Kleinstcomputer) , sondern auch durch regelmäßige Anpassung der Systemsoftware der zunehmenden Entwicklung und den zunehmenden Anforderungen an.
In besonders gewinnbringender Weise ist es denkbar den Nutzern des Bildverarbeitungssystems in Bezug auf Einsatzzweck und Entwicklungsstand unterschiedlichste Bildverarbeitungsal- gorithmik anzubieten. Auf diese Weise wird eine weitere Wertschöpfungsmöglichkeit für den Hersteller des Bildverarbeitungssystems eröffnet. Es wird diesem Möglich die Bildverar- beitungsalgorithmik im Rahmen eines Softwareproduktes auf unterschiedlichsten Speichermedien zu vertreiben. Auch ist es denkbar als Vertriebsweg, beispielsweise das Internet zu nutzen und die Softwareprodukte als kostenloses oder kostenpflichtiges Download auf der Web-Seite des Herstellers des Bildverarbeitungssystems oder des Fahrzeugherstellers dessen Fahrzeuge zur Aufnahme eines derartigen Systems hergerichtet sind anzubieten. Der Nutzer des neuartigen Bildverarbeitungs- Systems kann somit dieses durch den Erwerb und die Nutzung dieser speziellen Computerprogrammprodukte optimal an seine Anforderungen adaptieren.
Wenn der Speicher des Kleinstcomputers es zulässt, ist es denkbar, Algorithmik für unterschiedlichste Arten der Bildverarbeitung parallel zu installieren. So beispielsweise Algorithmik zur Auswertung von Bilddaten eines Infrarotsystems, von Bilddaten eines Mehrkamerasystems oder eine spezielle Algorithmik zur Fußgängererkennung in Innenstadtszenarios. Im allgemeinen wird die Prozessorleistung nicht ausreichen alle mehrere dieser komplexen Aufgaben parallel zu bearbeiten. Insbesondere deshalb sollte der Kleinstcomputer in gewinnbringender Weise über Eingabemittel versehen sein, welche es erlauben eine Auswahl der bezüglich der Umstände am besten geeigneten Verarbeitungsalgorithmik beziehungsweise Anzeigemodi auszuwählen. Am besten könnte dies über eine Menüführung mittels der standardmäßigen Tastatur des Kleinstcomputers erfolgen.
Das den im Kleinstcomputer befindlichen Bildverarbeitungsmodul und Anzeigeeinheit zugeordnete Kameramodul kann fest im Fahrzeug integriert sein und über eine, in der Halterung des Kleinstcomputers befindliche Schnittstelle mit diesem in Verbindung stehen. Hierbei ist es denkbar das Kameramodul trennbar von der Verkabelung zwischen Kameramodul und Kleinstcomputer auszuführen, so dass gegebenenfalls das Kameramodul ausgetauscht und so an technische Weiterentwicklungen ange- passt werden kann. In einem solchen Fall kann ein Kraftfahrzeug kostengünstig serienmäßig mit einer Verkabelung konfektioniert werden, an welche bei bedarf, beispielsweise bei Wunsch der Sonderausstattung mit einem Bildverarbeitungssystem, eine geeignete Kamera montiert werden kann. Andererseits wird dem Fahrzeugnutzer hierdurch auch die Möglichkeit eröff- net eine eigene, bereits vorhandene Kamera als Kamerasystem für das Bildverarbeitungssystem zu nutzen. Dazu bietet es sich in gewinnbringender Weise an, eine möglichst universell an unterschiedlichste gängige Kameramodule adaptierbare Halterung im Kraftfahrzeug anzubringen. Es ist gleichsam aber auch denkbar, das Kraftfahrzeug abgesehen von einer Aufnahme für den Kleinstcomputer und gegebenenfalls einer universellen Aufnahme für das Kameramodul nicht weiterer vorzukonfektio- nieren. Häufig werden auf dem Markt bereits Bilderfassungssystem bestehend aus Kleinstcomputer und Kameramodul mit zugehörigem Kommunikationspfad (beispielsweise Verbindungslei- tung) angeboten. Solche KomplettSysteme könnten problemlos in im Fahrzeug befindliche Halterungen lösbar eingebracht werden. Wird nun die üblicherweise auf derartigen Kleinstcomputern installierte Software, welche rein zur Bildaufnahme geeignet ist, durch komplexe Bildverarbeitungssoftware ersetzt, ergibt sich entgegen dem ursprünglichen Verwendungszweck der reinen Bildaufnahme (Fotographie) oder Bildübertragung (Bild- telefonie) ein flexibel einsetzbares Bildverarbeitungssystem im Kraftfahrzeug.
Die Funktionalität des neuartigen Bildverarbeitungssystems kann insbesondere auch dadurch gesteigert werden, indem der Kleinstcomputer mit einer Schnittstelle versehen wird, über welche Daten zu und von Fahrzeuginternen Systemen transferiert werden können. Bei solchen fahrzeuginternen Systemen handelt es sich insbesondere um
Fahrerassistenzsysteme, welche in Gefahrensituationen regelnd auf die Fahrdynamik einwirken können (beispielsweise: Abbremsen oder Ausweichen bei Hindernissen oder Warnen des Fahrzeuglenkers) .

Claims

Patentansprüche
1. Bildverarbeitungssystem für Kraftfahrzeuge, welches ein Kamerasystem (2) , ein Bildverarbeitungsmodul (3) , mit einer Datenschnittstelle zur Aufnahme der von dem Kamerasystem erzeugten Bilddaten, mit einer Speichereinheit zur Speicherung eines Bildverarbeitungsprogramms und mit einer Prozessoreinheit zur Verarbeitung der Bilddaten, sowie eine Anzeigeeinheit (4) zur Anzeige der verarbeiten Bilddaten umfasst, dadurch gekennzeichnet, dass das Bildverarbeitungssystem einen Kleinstcomputers (5) , insbesondere ein Palmtop oder Personal Digital Assistent (PDA) oder ein Mobiltelefon aufweist, dessen Prozessormodul und/oder dessen Display als Bildverarbeitungsmodul und/oder als Anzeigeeinheit verwendet wird.
2. Bildverarbeitungssystem für Kraftfahrzeuge nach Anspruch
1, dadurch gekennzeichnet, dass sich im Fahrgastraum des Kraftfahrzeuges (1) eine Halterung zur Aufnahme des Kleinstcomputers befindet, welche so ausgebildet und angeordnet ist, dass sich darin der Kleinst- Computer insbesondere an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, anbringen lässt.
3. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass sich im Fahrgastraum des Kraftfahrzeuges (1) eine Halterung zur Aufnahme des Kleinstcomputers befindet, welche so ausgebildet und angeordnet ist, dass sich darin der Kleinstcomputer an einer für keinen der Fahrgäste einsehbaren Stelle, anbringen lässt, wobei die Stelle insbesondere zwischen der Windschutzscheibe und dem Rückspiegel liegt.
4. Bildverarbeitungssystem für Kraftfahrzeuge nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass sich im Fahrgastraum des Kraftfahrzeuges (1) eine Halterung zur Aufnahme des Kleinstcomputers befindet, welche so ausgebildet und angeordnet ist, dass sich darin der Kleinst- Computer insbesondere lösbar anbringen lässt.
5. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche 2 - 4 , dadurch gekennzeichnet, dass die Halterung zur Aufnahme des Kleinstcomputers oder des Mobiltelefons optische und/oder mechanische Elemente aufweist, womit die Erfassungsrichtung des Kamerasystems (2) anpassbar ist.
6. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass die Erfassungsrichtung des Kamerasystems (2) derart gewählt werden kann, dass damit die Fahrzeugumgebung und/oder der Fahrzeuginnenraum erfasst wird.
7. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass der Kleinstcomputer (5) ein integriertes Kamerasystem aufweist, dessen erzeugte Bilddaten von dem Bildverarbeitungssystem verarbeitet werden.
8. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass der Kleinstcomputer (5) über eine weitere Datenschnittstelle verfügt, über welche Daten zu oder von fahrzeuginternen Systemen transferiert werden können.
9. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass der Kleinstcomputer (5) über eine weitere Datenschnittstelle verfügt, über welche Bildverarbeitungsprogramme in die Speichereinheit eingelesen werden können.
10. Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass der KleinstComputer (5) über Eingabemittel verfügt, mittels welcher die Bildverarbeitung in der Prozessoreinheit be- einflusst werden kann.
11. Fahrzeug umfassend eine Mehrzahl von Bildverarbeitungs- systemen nach einem der Ansprüche 1 bis 10.
12. Verwendung des Bildverarbeitungssystem nach einem oder mehreren der Ansprüche 1 bis 10 in einem Fahrzeug als Teil eines Fahrerassistenzsystems, welches den Fahrzeugführer unterstützt und bei drohenden Gefahren warnt.
PCT/EP2004/001715 2003-02-22 2004-02-20 Bildverarbeitungssystem für kraftfahrzeuge WO2004074046A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/546,509 US20070147660A1 (en) 2003-02-22 2004-02-20 Image processing system for motor vehicles
EP04713064A EP1594725A1 (de) 2003-02-22 2004-02-20 Bildverarbeitungssystem für kraftfahrzeuge
DE202004007360U DE202004007360U1 (de) 2004-02-20 2004-05-05 Bildverarbeitungssystem für Kraftfahrzeuge
PCT/EP2004/008893 WO2005090124A1 (de) 2004-02-20 2004-08-09 Bildverarbeitungssystem für kraftfahrzeuge

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10307607.7 2003-02-22
DE10307607A DE10307607A1 (de) 2003-02-22 2003-02-22 Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge

Publications (1)

Publication Number Publication Date
WO2004074046A1 true WO2004074046A1 (de) 2004-09-02

Family

ID=32841808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/001715 WO2004074046A1 (de) 2003-02-22 2004-02-20 Bildverarbeitungssystem für kraftfahrzeuge

Country Status (4)

Country Link
US (1) US20070147660A1 (de)
EP (1) EP1594725A1 (de)
DE (2) DE10307607A1 (de)
WO (1) WO2004074046A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008041295A1 (de) 2008-08-18 2010-02-25 Robert Bosch Gmbh Mobiles Navigationsgerät und diesbezügliches Verfahren
DE102010055114A1 (de) 2010-12-18 2011-07-28 Daimler AG, 70327 Umgebungserfassungsvorrichtung für ein Fahrzeug
DE102012209496A1 (de) * 2012-06-05 2013-12-05 Bayerische Motoren Werke Aktiengesellschaft Mobiles Endgerät zur Steuerung einer Funktion eines Fahrzeugs

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007025147B4 (de) * 2007-05-30 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102007048373A1 (de) * 2007-10-09 2009-04-23 Continental Automotive Gmbh Portabler Abstandswarner
DE102009005571A1 (de) * 2009-01-21 2010-07-22 Adc Automotive Distance Control Systems Gmbh Nachrüstbares Fahrerassistenzsystem
DE102009006218A1 (de) * 2009-01-27 2010-07-29 Hella Kgaa Hueck & Co. Warnvorrichtung für Verkehrsobjekte, zum Beispiel Fahrzeuge, Sondersignalanlagen an Fahrzeugen, transportable Warnbaken oder Warnschilder
DE102009048493A1 (de) 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102009048492A1 (de) 2009-09-25 2011-03-31 Valeo Schalter Und Sensoren Gmbh Tragbares Kommunikationsgerät, Fahrerassistenzsystem mit einem tragbaren Kommuniktionsgerät und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102009048491A1 (de) 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Nachrüstsystem für ein Fahrzeug, Nachrüstkomponente und Verfahren zum Durchführen einer Funktion zur Fahrerunterstützung
DE102010034262A1 (de) 2010-08-13 2012-02-16 Valeo Schalter Und Sensoren Gmbh Nachrüstsystem für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
US11145215B1 (en) * 2011-03-11 2021-10-12 Sitting Man, Llc Methods, systems, and computer program products for providing feedback to a user of a portable electronic in motion
DE102011103231A1 (de) 2011-06-03 2012-01-19 Daimler Ag Bildverarbeitungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer solchen Bildverarbeitungsvorrichtung und Verfahren zur Darstellung von Bilddaten in einem Fahrzeug
DE102011083745B4 (de) * 2011-09-29 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
CN103832357B (zh) * 2012-11-23 2017-10-13 深圳华一汽车科技有限公司 一种基于机器视觉的车道偏离警告系统及方法
JP5561396B1 (ja) * 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
DE102013203653A1 (de) * 2013-03-04 2014-09-04 Bayerische Motoren Werke Aktiengesellschaft Außenbildeinblendung für Center Display
US10115164B1 (en) 2013-10-04 2018-10-30 State Farm Mutual Automobile Insurance Company Systems and methods to quantify and differentiate individual insurance risk based on actual driving behavior and driving environment
CN103927621A (zh) * 2014-04-17 2014-07-16 国通道路交通管理工程技术研究中心有限公司 一种监管重点运输车辆驾驶员资格的系统及方法
CN103927521A (zh) * 2014-04-17 2014-07-16 国通道路交通管理工程技术研究中心有限公司 一种基于人脸识别的驾驶员资格确认系统及方法
WO2016005779A1 (en) * 2014-07-08 2016-01-14 Umm Al-Qura University Broadcasting of land, water, and air cameras
JP6841159B2 (ja) * 2017-05-24 2021-03-10 トヨタ自動車株式会社 運転支援装置
DE202019002153U1 (de) 2019-05-16 2019-07-02 Kunststoffverarbeitung Hoffmann Gmbh lm Fahrzeugsitz eingelassenes haptisches Signalisierungssystem
DE102021108815A1 (de) 2021-04-08 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren, computerprogrammprodukt und vorrichtung zum ausführen einer funktionalität in einem fahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19917169A1 (de) * 1999-04-16 2000-11-02 Kamecke Keller Orla Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten
WO2000065308A1 (de) * 1999-04-27 2000-11-02 Fink Willi R Mobiles satellitengesteuertes navigationssystem
US20020159270A1 (en) * 2001-01-23 2002-10-31 Lynam Niall R. Vehicular lighting system
WO2002096712A1 (fr) * 2001-05-28 2002-12-05 Mitsubishi Denki Kabushiki Kaisha Appareil de montage de dispositif pour corps mobile
US20030007261A1 (en) * 1999-11-24 2003-01-09 Donnelly Corporation, A Corporation Of The State Of Michigan Rearview mirror assembly with utility functions
US20030020603A1 (en) * 1998-04-08 2003-01-30 Donnelly Corporation Vehicular sound-processing system incorporating an interior mirror user-interaction site for a restricted-range wireless communication system
DE10138129A1 (de) * 2001-08-09 2003-02-20 Bosch Gmbh Robert Fahrerinformationsvorrichtung

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528698A (en) * 1995-03-27 1996-06-18 Rockwell International Corporation Automotive occupant sensing device
US6151065A (en) * 1995-06-20 2000-11-21 Steed; Van P. Concealed integrated vehicular camera safety system
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
US5899956A (en) * 1998-03-31 1999-05-04 Advanced Future Technologies, Inc. Vehicle mounted navigation device
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE19923701A1 (de) * 1999-05-22 2000-11-23 Volkswagen Ag Verfahren zur Fernkommunikation und Fernbeeinflussung eines Kraftfahrzeuges
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
ATE330818T1 (de) * 1999-11-24 2006-07-15 Donnelly Corp Rückblickspiegel mit nutzfunktion
US6580450B1 (en) * 2000-03-22 2003-06-17 Accurate Automation Corporation Vehicle internal image surveillance, recording and selective transmission to an active communications satellite
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
US6909907B1 (en) * 2000-11-10 2005-06-21 Pharos Science & Applications, Inc. Integrated connection assembly for global positioning system (GPS) receiver and personal digital assistance (PDA) device or cellular phones
DE10103608A1 (de) * 2001-01-28 2002-08-14 Audioton Kabelwerk Gmbh Freisprecheinrichtung für den Betrieb von Mobiltelefonen in Kraftfahrzeugen
JP2002325250A (ja) * 2001-02-16 2002-11-08 Ki Sun Kim 車両の映像及び音声記録装置
DE10124005A1 (de) * 2001-05-17 2002-12-05 Daimler Chrysler Ag Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen
JP3636113B2 (ja) * 2001-08-10 2005-04-06 オムロン株式会社 携帯型通信装置、監視装置、監視システム、携帯通信装置の制御プログラム、監視装置の制御プログラム、携帯通信装置の制御プログラムを記録した記録媒体、および監視装置の制御プログラムを記録した記録媒体
US20030041329A1 (en) * 2001-08-24 2003-02-27 Kevin Bassett Automobile camera system
JP2003072426A (ja) * 2001-08-31 2003-03-12 Tokai Rika Co Ltd 車載用赤外線画像表示装置
US20030089832A1 (en) * 2001-11-02 2003-05-15 Gold Robert J. Multi-function accessory for handheld electronics
US7095442B2 (en) * 2002-01-31 2006-08-22 Hewlett-Packard Development Company, L.P. Method and apparatus for capturing an image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020603A1 (en) * 1998-04-08 2003-01-30 Donnelly Corporation Vehicular sound-processing system incorporating an interior mirror user-interaction site for a restricted-range wireless communication system
DE19917169A1 (de) * 1999-04-16 2000-11-02 Kamecke Keller Orla Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten
WO2000065308A1 (de) * 1999-04-27 2000-11-02 Fink Willi R Mobiles satellitengesteuertes navigationssystem
US20030007261A1 (en) * 1999-11-24 2003-01-09 Donnelly Corporation, A Corporation Of The State Of Michigan Rearview mirror assembly with utility functions
US20020159270A1 (en) * 2001-01-23 2002-10-31 Lynam Niall R. Vehicular lighting system
WO2002096712A1 (fr) * 2001-05-28 2002-12-05 Mitsubishi Denki Kabushiki Kaisha Appareil de montage de dispositif pour corps mobile
EP1391349A1 (de) * 2001-05-28 2004-02-25 Mitsubishi Denki Kabushiki Kaisha Montageeinrichtung für eine bewegliche einheit
DE10138129A1 (de) * 2001-08-09 2003-02-20 Bosch Gmbh Robert Fahrerinformationsvorrichtung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008041295A1 (de) 2008-08-18 2010-02-25 Robert Bosch Gmbh Mobiles Navigationsgerät und diesbezügliches Verfahren
DE102010055114A1 (de) 2010-12-18 2011-07-28 Daimler AG, 70327 Umgebungserfassungsvorrichtung für ein Fahrzeug
DE102012209496A1 (de) * 2012-06-05 2013-12-05 Bayerische Motoren Werke Aktiengesellschaft Mobiles Endgerät zur Steuerung einer Funktion eines Fahrzeugs

Also Published As

Publication number Publication date
DE102004008867B4 (de) 2011-04-07
DE102004008867B8 (de) 2011-07-28
DE102004008867A1 (de) 2004-09-09
EP1594725A1 (de) 2005-11-16
US20070147660A1 (en) 2007-06-28
DE10307607A1 (de) 2004-09-09

Similar Documents

Publication Publication Date Title
DE102004008867B4 (de) Bildverarbeitungssystem für Kraftfahrzeuge
DE10203413C2 (de) Automobiles Infrarot-Nachtsichtgerät
EP2197708B1 (de) Geräteanordnung zur ausführung einer fahrerassistenzfunktion
WO2005090124A1 (de) Bildverarbeitungssystem für kraftfahrzeuge
EP1986887B1 (de) Bilderfassungseinrichtung für ein fahrerassistenzsystem
DE102012015398B3 (de) Spiegelersatzsystem für ein Fahrzeug
DE69920290T2 (de) Datenrecorder für ein kraftfahrzeug
DE10144780B4 (de) Steuervorrichtung
US9168869B1 (en) Vehicle with a multi-function auxiliary control system and heads-up display
EP1323591A2 (de) Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
DE102017122261A1 (de) Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs sowie Kamerasystem
EP2316003A1 (de) Mobiles navigationsgerät und diesbezügliches verfahren
DE102021100492A1 (de) Anzeigesteuervorrichtung, anzeigesteuerverfahren und programm
DE102012213132B4 (de) Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen
DE102005008566A1 (de) Sichtgerät für Kraftfahrzeuge
DE202004007360U1 (de) Bildverarbeitungssystem für Kraftfahrzeuge
DE102010033786A1 (de) Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche
DE102018220429A1 (de) Verfahren zum Anzeigen von Ladeinformationen eines Fahrzeugs
CN115103152A (zh) 车载流媒体显示系统和方法
US20210354635A1 (en) Car Safety Camera
DE102011050847A1 (de) Abbildungserzeugungsvorrichtung
DE102009045496B4 (de) Verfahren und Steuergerät zur Nutzung von Bildinformationen einer fahrzeugexternen Bildbereitstellungseinrichtung
US20080186159A1 (en) Enabling Vision Systems in Automobiles
DE102019212343B4 (de) Verfahren zum Betreiben eines mobilen Endgeräts, Kommunikationseinrichtung, Kraftfahrzeug
DE102019133664B4 (de) System zum auditiven Überwachen eines Fahrzeugs

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004713064

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004713064

Country of ref document: EP

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007147660

Country of ref document: US

Ref document number: 10546509

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10546509

Country of ref document: US