WO2019215286A1 - Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug - Google Patents

Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug Download PDF

Info

Publication number
WO2019215286A1
WO2019215286A1 PCT/EP2019/061933 EP2019061933W WO2019215286A1 WO 2019215286 A1 WO2019215286 A1 WO 2019215286A1 EP 2019061933 W EP2019061933 W EP 2019061933W WO 2019215286 A1 WO2019215286 A1 WO 2019215286A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera system
vehicle
motor vehicle
object recognition
vehicle occupant
Prior art date
Application number
PCT/EP2019/061933
Other languages
English (en)
French (fr)
Inventor
Romeo Wieczorek
Original Assignee
Motherson Innovations Company Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motherson Innovations Company Ltd. filed Critical Motherson Innovations Company Ltd.
Priority to EP19725049.1A priority Critical patent/EP3790768B1/de
Priority to US17/053,438 priority patent/US11697381B2/en
Publication of WO2019215286A1 publication Critical patent/WO2019215286A1/de
Priority to US17/675,764 priority patent/US20220172489A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/76—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for spotlighting, e.g. reading lamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Definitions

  • the invention relates to an object recognition device for detecting at least one, in particular moving, object, preferably provided by a vehicle occupant or in the form of at least part of the vehicle occupant in the interior of a motor vehicle, the camera system, the at least one sensor for converting electromagnetic radiation into electrical signals and a humidity device comprising at least one damp source and an optical system, a control or regulating device which is designed to receive the electrical signals from the camera system and / or data from at least one sensor, at least one further device and / or at least one device of the motor vehicle to receive, generate control commands as well as to the camera system, the further device and / or the device of the motor vehicle to send, as well as a method for operating such an object recognition device and a motor vehicle with such a Erkennungsvorric or to carry out said process.
  • US Pat. No. 9,244,527 B2 discloses a camera-based operating device for a gesture direction-dependent gesture control. The viewing direction of the user selects a target device or a function, which should be affected by a subsequent gesture input.
  • a new camera system which has a light source and can actively illuminate the area in front of the camera.
  • So-called time-of-flight cameras are known, in which the time between a light emission of the light source of the TOF camera and the registration of the reflection on the camera sensor of the camera system is measured. From this, the distance of the reflective surface to the respective pixels of the camera system can be determined.
  • the motor vehicle itself can take over the navigation and control of most vehicle equipment as a so-called autonomous motor vehicle.
  • the vehicle occupant can then, depending on the situation, be partially or completely released from the guidance of the motor vehicle.
  • the vehicle occupant can arbitrarily adjust his sitting position and his seat orientation, for example, to lie and / or to other vehicle occupants or display devices.
  • Another common source of error is the non-recognition of a gesture or a head movement.
  • the reason for such errors is above all the lack of illumination of the depth range.
  • the camera system can not provide sufficient data that allow the object recognition system to make a clear statement about the state of the object.
  • the object can not be lit sufficiently and / or the object is not completely within the detection range of the camera system.
  • An increase in the light output of lighting devices is not possible in all cases.
  • the light output that can be provided is limited by various factors. Some of these are the available installation space, the available power supply, the waste heat produced and the power limitation of the lighting device.
  • a vehicle occupant detection system which comprises a single laser assembly mounted on a vehicle structure for generating a first beam directed at a first occupant zone, a second beam directed at a second occupant zone , and a third beam directed at a third occupant zone, the first, second, and third beams all being generated from generally the same position on the vehicle structure.
  • a first sensor arrangement for receiving reflection beams resulting from the first beam impinging on a first portion of an occupant located in the first zone, wherein the first sensor arrangement generates a first signal proportional to the first portion of the first in the first Zone present occupants; a second sensor arrangement for receiving reflection beams resulting from the second beam impinging on a second portion of the occupant in the second zone, the second sensor arrangement generating a second signal proportional to the second portion of the one present in the second zone Represents inmates; and a third sensor arrangement for receiving reflection beams resulting from the third beam impinging on a third portion of the occupant in the third zone, the third sensor arrangement generating a third signal proportional to the third portion of the third zone represents existing inmates; intended.
  • a central processor for receiving the first, second and third signals and combining the signals serves to determine the position of the occupant within the vehicle.
  • a device for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them the same is according to WO 2013/001084 Al arranged in a vehicle interior and comprises at least one lighting unit, a display unit and an optical detection unit, wherein the lighting unit of at least one infrared laser, in particular an infrared laser diode is formed.
  • the lighting unit of at least one infrared laser in particular an infrared laser diode is formed.
  • a movement of a hand or a finger of a vehicle driver is thus detected three-dimensionally, which corresponds for example to a virtual actuation of a display unit in the vehicle.
  • This can be the detection of an operating process with a gesture, such as a back and forth movement of a finger or a swipe or opening the hand as a zoom movement act.
  • the use of infrared laser diodes should provide improved coherence and a higher spectral power density, resulting in a higher modulation bandwidth and more effective optical filtering.
  • US 2008/0048887 A1 relates, inter alia, to a vehicle occupant detection system comprising a photographing system comprising: a first light source for emitting radiant light to a first object; a second light source for emitting radiant light to a second object different from the first object; a drive unit for driving the first light source and the second light source for switching between a first mode in which the amount of light of the first light source is greater than that of the second light source, and a second mode in which the amount of light of the second light source is greater than that of first light source; a photographic unit having an optical system and an imaging chip for projecting images of the first object and the second object, which are completely or partly stacked, onto a predetermined imaging area of the imaging chip by passing the lights reflected at the first object and the second object the optical system can enter the imaging chip; a shadow filter for blocking a portion of the incident lights entering the image chip; and a control / calculation processor for outputting an image projected onto the predetermined image area as image information, wherein when the drive unit
  • the object of the present invention to develop the generic object recognition device such that it overcomes the disadvantages of the prior art.
  • the detection of the condition of objects within the motor vehicle should be made more reliable and thus the operation of display surfaces and assistance systems in the motor vehicle easier.
  • a device in which the humidity device by at least one optical element of the optical system and / or at least one additional humidity device and / or an additional camera system, preferably each positioned in the vicinity of the object, certain areas, in particular a near field and a Femfeld, in the motor vehicle can illuminate so that at least one removal information contained in the electrical signals can be detected by the camera system to a plurality of object points in the areas, the illumination, the object localization and / or recognition and / or the activation of at least one of Moisture devices and / or camera systems of the state of the motor vehicle, determined by speed, acceleration, vehicle seat occupancy, vehicle seat position, vehicle seat orientation and / or lighting, in particular the illumination of the vehicle interior, and / or the state of the environment of the motor vehicle, determined by the weather, day, night, road, traffic sign and / or traffic situation is determined.
  • One embodiment describes an object recognition device in which the humidity device of the camera system, the additional humidity device and / or the humidity device of the additional camera system comprise or comprise more than one damp source, preferably each damp source, in particular independently of one another, depending on the state of the object, of the motor vehicle and / or the environment of Motor vehicle and / or the removal of the object to the camera system, in particular the sensor of the camera system, and / or the additional camera system, in particular the sensor of the additional camera system, can be activated.
  • An object recognition device is characterized in that the control or regulation means the illumination of different areas in the interior of the motor vehicle based on the state of the object, the motor vehicle and / or the environment of the motor vehicle and / or the removal of the object for Camera system, in particular the sensor of the camera system, and / or to the additional camera system, in particular the sensor of the additional camera system, changes.
  • a further object recognition device is characterized in that the illumination, the object localization and / or recognition and / or the activation of at least one of the illumination devices and / or camera systems depends on the state of the object, preferably determined by size, weight, respiration, Heartbeat, temperature, acceleration, movement and / or physical fit of the vehicle occupant is determined.
  • An object recognition device characterized in that the lighting device of the camera system, the lighting device of the additional camera system, the additional lighting device, the camera system and / or the additional camera system in a dashboard, a center console, in particular a retractable or movable center console, a windshield, a roof, a headliner, a grab handle, an A-pillar, a B-pillar, a C-pillar, a door component, above a door, a housing, in particular a dome-shaped housing in the region of the vehicle center on the roof or headliner, a display device, a vehicle occupant seat, in particular a head part, a foot part and / or an armrest of the vehicle occupant seat, a restraint system for the vehicle occupant, a positioning mechanism, in particular a motor-operated positioning mechanism, a panel and / or de m device, in particular in the form of a mobile device of the object, attached or integrated therein.
  • a center console in particular a retractable or movable center console
  • a further object recognition device is characterized in that the lighting device integrated in the display device comprises light sources distributed over a display region of the display device, wherein the light sources of the display device comprise groups of emitters and / or regions with different spectral emission regions designed for this purpose , Light in at least a part be able to provide a spectral range used for the object recognition, and / or additionally comprise spectral emitter for the spectral range of the object recognition.
  • a further object recognition device is characterized in that the optical system comprises guides and / or rotating wheels for exchanging and / or displacing the optical element and / or actuator means for inducing movements, and / or the optical element of the optical system lenses, Includes filters, adaptive optics, active optical elements and / or mirrors.
  • An object recognition device comprises a computer or contra llatti, which is designed for the evaluation of electrical signals and / or data, in particular by an object location algorithm and / or an object detection algorithm.
  • An object recognition device is characterized in that the control or regulating device is adapted to the camera system, the additional camera system, the lighting device of the camera system, the additional lighting device, the lighting device of the additional camera system, at least one sensor, the device and / or to control and / or coordinate the device, in particular comprising the mobile device.
  • An object recognition device is characterized in that the illumination can be determined via the spectral frequency, amplitude, duration, in particular determined by pulse frequency and / or pulse length, polarization and / or intensity of the illumination, preferably the spectral frequency above and / or or below the visible light.
  • a method according to the invention for operating an object recognition device is characterized by a signal and / or data acquisition, object localization, adaptation of the illumination of the object, object recognition and / or control command generation.
  • a recording of background data and / or a connection to the device, the sensor and / or the device is performed before the signal and / or data recording.
  • a motor vehicle according to the invention in particular a self-propelled motor vehicle, is equipped with an object recognition device according to one of the preceding examples and / or suitable for carrying out a method according to one of the preceding examples.
  • An embodiment of the motor vehicle may also be characterized in that the device is designed for autonomous driving, and / or the control or regulating device for adjusting the position of the vehicle occupant in the vehicle interior, in particular via the vehicle occupant seat, the display device, the dashboard, the center console in particular a retractable or movable center console, a vehicle opening, a Wam favorable, a heating device, an air conditioning device, a navigation system, an audio system, a telephone system, a video system, a hologram system and / or the positioning mechanism is designed.
  • a motor vehicle may also be characterized in that the positioning mechanism is operatively connected to the vehicle occupant seat, the display device, the instrument panel, the center console, the vehicle opening, the warning device, the heating device, the air conditioning device, the navigation system, the audio system, the Telephone system, the video system and / or the hologram system is or can be brought.
  • the camera system is preferably a camera system that is designed to be able to transmit removal information for each pixel, so that the object recognition becomes particularly precise.
  • the camera system comprises at least one camera and a humidity device in order to illuminate the environment to be detected.
  • the camera system is preferably a depth image camera system, particularly preferably comprising a TOF camera. By emitting Ficht and measuring the duration of the reflection, the distance of individual pixels to the camera system can thus be determined.
  • the use of other camera systems for spatial, three-dimensional recognition such as stereo cameras, Fichtfeldidios, triangulation systems, interferometry or scanner systems, in particular a stripe light scanner, possible.
  • the commonality of all camera systems used here lies in the additional lighting to better recognize objects at different distances.
  • the lighting device of the camera system and / or an additional lighting device emits light in the invisible spectral range, in particular in the infrared range, a vehicle occupant is not dazzled by the light of the lighting device of the camera system and / or the additional lighting device, while still providing high performance for object recognition can be provided. It is particularly advantageous if different spectral ranges, in the visible and invisible spectral range, can be used for object recognition.
  • the camera system advantageously comprises a sensor, preferably an optical sensor such as a CMOS or CCD sensor, which can convert incident electromagnetic radiation into electrical signals, and an optical system for guiding the electromagnetic radiation to the sensor.
  • a sensor preferably an optical sensor such as a CMOS or CCD sensor, which can convert incident electromagnetic radiation into electrical signals, and an optical system for guiding the electromagnetic radiation to the sensor.
  • a lighting device for example a lighting device of a camera system and / or an additional lighting device, which need not be positioned within or in the vicinity of the camera system, can provide a variable light and brightness distribution, to transmit light to different areas of the vehicle interior, so that the required brightness for object recognition is achieved in the various areas of the vehicle interior.
  • the area to be illuminated or to be observed may include a near field and a field.
  • Near field and Femfeld are here relative terms that are defined by the size and shape of the area to be illuminated, wherein the near field comprises a portion having a shorter distance to the lighting device and / or the camera system and the Femfeld a portion with the further distance to the lighting device and / or to the camera system. Nearfield and Femfeld may also overlap in at least one area.
  • variable light distribution may be provided by an adaptive optical system that includes at least one optical element, such as one or more lenses.
  • an optical element such as one or more lenses.
  • the light emission of the lighting device can be adapted to different spatial and situational circumstances.
  • a lighting device comprising a plurality of independently controllable light sources can be used with an optical system.
  • the light sources are advantageously arranged together, in particular as a matrix.
  • the optics system provides different optics systems for the different light sources so that each light source is configurable by the choice of optical elements to be unique or combined with others Illuminate area in a particularly advantageous manner.
  • the orientation and / or the distance of the optical elements of the optical system does not need to be changed in order to achieve an advantageous for object detection illumination, but the adjustable or variable light distribution is achieved in that the different light sources independently switched on and off and with different parameters, such as power, spectral range, pulse rate, pulse length, polarization and other light source specific parameters, can be operated.
  • the illumination can be determined via the spectral frequency, amplitude, duration, in particular determined by the pulse frequency and / or pulse length, polarization and / or intensity of the illumination, the spectral frequency preferably being above and / or below the visible light.
  • Optical elements include, for example, lenses, filters, adaptive optics such as deformable mirrors, active optical elements, such as an optical modulator, in particular an acousto-optical modulator or an electro-optical modulator, and / or mirrors.
  • the optical system can comprise guides and / or rotating wheels, such as a Lilter wheel, for exchanging and / or displacing optical elements, but also actuator means for inducing movements.
  • the control or regulating device is designed to receive and send data, as well as to generate control commands based on raw and / or processed data and to pass them on to other devices.
  • the control or regulating device is suitable for controlling and coordinating various camera systems, lighting devices, sensors and / or other devices in order to obtain suitable data for object localization and / or recognition.
  • TOL cameras it is necessary to coordinate the light emission from lighting devices with the image pick-up of the camera.
  • a computer or control unit may be provided.
  • the computer or control unit evaluates data supplied by the control unit and then forwards them to the control or regulating device and / or other devices.
  • the computer or control unit can also be a subunit of the control or regulating device and / or already be integrated in it.
  • various evaluation algorithms can be used, in particular an object localization algorithm and an object recognition algorithm.
  • the object location algorithm also performs an object classification.
  • individual areas of the lighting device are activated, depending on the area in which the object to be expected is positioned. For this purpose, it may be provided that a first image or a few first images of the camera system can also be used for coarse object localization.
  • the control unit may selectively activate a number of suitable sensors, camera systems and / or lighting devices and send the received data to the computer or control unit.
  • the computer or control unit can process the data using an object location algorithm and send the result of the object location back to the control unit.
  • a localized object such as a vehicle occupant
  • the areas in which relevant data for object recognition can be obtained can be more closely examined. These may be, for example, the areas around the palms, feet, torso, shoulders and / or head of the vehicle occupant.
  • the humidity device of the camera system and / or the additional humidity devices is activated based on the evaluated data of the object localization in order to illuminate the relevant areas of the object to be detected preferably.
  • vehicle data such as sensor data for seat occupancy, seat position and seat orientation as well as data on physical characteristics and peculiarities of the vehicle occupant.
  • Particularly advantageous data on the orientation, position, acceleration, temperature, the state of the vehicle occupant seat and / or data from the vehicle occupant, such as weight, breathing, heart rate, temperature, acceleration and / or movement can be used to object localization and / or perform or stimulate recognition.
  • the data obtained by sensors such as a weight sensor and / or an acceleration sensor indicating movement and / or weight displacement of a vehicle occupant can be used to start object localization and / or recognition.
  • the object recognition can be carried out by means of an object recognition algorithm by the computer or control unit.
  • sensors may be configured to measure pressure, temperature, acceleration, velocity, electromagnetic fields, gravity, spruce, gas composition, vibrations, ultrasound, radio waves, microwaves, cosmic rays, and their different properties.
  • a particularly advantageous embodiment of the humidity device can also be realized by a display device.
  • a display device is primarily used Provide information for the vehicle occupant, and secondarily, inputs from the vehicle occupant, for example, to control the display device or to control other functions of the vehicle record.
  • the display device can take on several additional functions.
  • a display device can act as a moisture device by emitting spruce and thus illuminating the area in front of the display device. If an object, for example a head of a vehicle occupant, is now located in the illumination field of the display device, then this is additionally illuminated and the camera system can perform the object recognition by means of the additional sprue.
  • the display device can also be equipped with a camera and / or a camera system.
  • the display device and the camera system of the object recognition device can jointly and / or individually perform the object recognition. This is particularly advantageous if the camera system can not perform the object recognition due to the position of the vehicle occupant and / or blocking objects, because the object to be recognized does not face the camera system or is not located completely in the detection area of the camera system.
  • the display device By positioning the display device, it can normally detect at least the area of the head of a vehicle occupant.
  • the display device may have an additionally integrated or externally positioned humidity device.
  • the display device provides moisture sources for object recognition distributed over its display area.
  • additional spectral emitters for the spectral range of the object recognition can be introduced and / or the existing groups of emitters and / regions that can provide at least a portion of the spectral range for object recognition.
  • such an emitter for a display device can also comprise an absorbing region, in which the spectral composition of the sprue emitted by a background light source is determined by the absorbing region.
  • such an emitter may comprise a re-emission induced by the absorption of spruce, in particular the spruce of a background light source, in a spectrum which differs at least in part from the spruce which has been absorbed.
  • a combination, in particular also a stacking, of emitting, absorbing and re-emitting regions is possible.
  • the motor vehicle comprises at least one, advantageously a plurality of different, device, in particular a device for autonomous driving.
  • Devices and / or settings of the motor vehicle that can be controlled, controlled and / or changed their setting and / or state include in particular the position of the vehicle occupant in the vehicle interior, the vehicle occupant seat, the display device, the dashboard, a center console in particular a sunk or movable center console, a vehicle opening, a warning device, a heat device, an air conditioning device, a navigation system, an audio system, a telephone system, a video system, a hologram system and / or a positioning mechanism.
  • the autonomous driving device is designed to autonomously control and operate the vehicle, in particular all the devices of the motor vehicle.
  • the vehicle occupant can also access the control and operation of the devices, in particular via the control unit. It may happen that the control unit can change the settings made by the autonomous driving device. However, it is also possible that the control unit can not change the attitude that the autonomous driving device has made.
  • This situational aspect of vehicle control is intended to prevent operating errors and disasters caused by incorrect or faulty operation. At the same time, however, it also makes it possible to correct errors caused by the autonomous driving device.
  • a method for operating an object recognition device for the interior of a motor vehicle, which comprises in particular a plurality of camera systems and / or dampening devices, in which an object localization and an object recognition is performed to detect at least one first input treatment of a user, such that the object despite distance and / or occlusion is detected by the object recognition device.
  • a motor vehicle according to the invention may be equipped with one or a plurality of display devices, at least one sensor for detecting a non-contact input treatment and a control or regulating device, which is designed for performing a method according to the invention of the type described.
  • Fig. 2 is a partial side sectional view of a motor vehicle with a first
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • Fig. 3 is a partial side sectional view of a motor vehicle with a second
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • Fig. 4 is a partial side sectional view of a motor vehicle with a third
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • Fig. 5 is a partial side sectional view of a motor vehicle with a fourth
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • Fig. 6a-d are each a plan view of a motor vehicle with a fifth to eighth
  • Fig. 7 is a partial side sectional view of a motor vehicle with a ninth
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • Fig. 8 is a partial side sectional view of a motor vehicle with a tenth
  • Embodiment of a device according to the invention and vehicle occupants shows;
  • FIG. 9 shows an illustration of a motor vehicle with an eleventh embodiment of the device according to the invention.
  • Fig. 10 shows an illustration of a motor vehicle with a twelfth embodiment of the device according to the invention
  • 1 l-d each show a plan view of a vehicle occupant seat of a motor vehicle with a thirteenth embodiment of the device according to the invention
  • Figures 2a-c each show an illustration of a vehicle occupant seat of a motor vehicle with a fourteenth embodiment of the device according to the invention.
  • Fig. 13 shows a block diagram of a method according to the invention.
  • Lighting device 2 is shown in Fig. La and lb, with a matrix of light-emitting diodes
  • the lighting device 2 comprises the light sources 3 'to 3 "" shown in the exploded view of FIG. 1a with the respective optical elements 5 ' to 5 "" of an optical system 4 associated with the light sources 3 'to 3 ""
  • the light source 3 ' As a result of the activation of the light source 3 ', a near field is illuminated, and a field is illuminated by the light source 3''.
  • the light beams continue to expand with increasing distance from the light-emitting device 2.
  • the light source 3 'illuminated area is limited here, for example, to the area between two illumination limits A and A', while the area illuminated by the light source 3 '''is limited to the area between illumination limits B and B' by way of example. Because the light intensity provided is distributed over a larger spatial field, the depth illumination decreases at the expense of the illumination field size. Thus, although a large spatial field perpendicular to the direction of light propagation in the near field N can be illuminated with the light source 3 ', the light intensity is no longer sufficient to illuminate the depth range in the field F in order to perform an object detection.
  • the illumination of the depth range in the field F is possible with the light source 3 "', however, the illuminated area in the near field N is smaller than in the light source 3 ' , so that a close object may not be completely detected. and 3 "" can be used at medium distances to achieve increased illumination. Alternatively, at least one of the light sources 3 “, 3””can also be used to illuminate the area or a part area outside the illumination area of the light source 3"'in field F. By using a plurality of light sources can thus be composed of a plurality of light sources additively required spatial illumination additive.
  • the arrangement of the light sources 3 'to 3''''in Figures 1 a and lb is shown in a planar plane and a regular pattern, also a curved or otherwise shaped surface for receiving the light sources 3' to 3 '''' be provided.
  • the direction of the light emission and the distance of the respective light source 3 'to 3 "" to the respective optical element 5' to 5 “" can be preset.
  • the number of light sources can be increased or decreased, depending on how the area to be illuminated and the available space are designed.
  • the optical elements 5 ' to 5 ''''of the optical system 4 can also be arranged on a curved or otherwise shaped surface in order to optimally illuminate the area to be illuminated.
  • a base plate for receiving the light sources and / or the optical elements can be produced in an injection molding process, in particular in a multi-component injection molding process, at least in a 2K injection molding process.
  • a motor vehicle according to the invention shown in FIG. 2 and denoted as a whole by 10 comprises a camera system 12, which is arranged in a dashboard 14, for example.
  • a vehicle occupant 26 is in a normal sitting position, as illustrated for example in FIG. 2 by the driver of the motor vehicle 10, then object recognition can be carried out with the camera system 12.
  • the camera system 12 detects, for example, both the eyes 28 of the vehicle occupant 26 and his entire head 24.
  • the monitoring of the position of the eyes 28 can be done by object recognition of the eyes 28 as a whole. However, a finer analysis may be performed in which the position of pupil or iris of the eyes 28 is observed.
  • the camera system 12 can observe particularly easily recognizable parts of the head, such as the nose 30 of the vehicle occupant 26.
  • the combination of the detection of head position, eye position, facial expressions and gestures of the vehicle occupant 26 enables a particularly precise non-contact control of the motor vehicle 10 and its functions.
  • a camera system 12 is shown with a lighting device that can illuminate different areas analogous to the lighting device shown in Fig. Lb.
  • a lighting device that can illuminate different areas analogous to the lighting device shown in Fig. Lb.
  • three different areas are shown, each of which is defined by the illumination limits A and A ' , B and B 'and C and C' are limited.
  • different light sources can be used with a fixed optical system, but a single light source with an adaptive optics and / or movable optical elements, as well as a combination of both systems are possible.
  • a camera system 12 is shown with a lighting device that can again illuminate different areas analogous to the humidity device shown in Fig. Lb, here the illumination of the depth range in the Femfeld is additively composed by different sources of moisture and / or by moving damp sources and / or optical elements is realized.
  • four different regions are shown here, each being delimited by the illumination limits A and A ', B and B', C and C ', and D and D'
  • spruce can be irradiated into the area by means of a moisture device 16 installed, for example, at the transition between a windshield 17 and the roof 20 of the motor vehicle 10, if necessary, which no longer illuminates sufficiently by the humidity device of the camera system 12 becomes.
  • the camera system 12 and the humidity device 16 are advantageously controlled by a common control or regulating device in order to tune the activation of the humidity devices and the signal and / or data recording.
  • the humidity device 16 may alternatively be integrated into an interior rearview mirror (not shown) of the motor vehicle 10.
  • FIGS. 6a to 6d Another embodiment of the humidity device 16 is shown in FIGS. 6a to 6d.
  • a humidity device 16 at least partially illuminates the vehicle occupant 26 in the vehicle occupant seat 18 from the side. It may be provided, for example, that the humidity device 16, as shown in Fig. 6a, is mounted in a handle 34, for example, above the driver's door. Such a humidity device may also be provided in the other handles 34 'on the passenger side. In addition, it may be provided to install additional handles 34 " in a vehicle interior to facilitate vehicle occupants in an at least partially autonomous motor vehicle, the movement and / or security, which then of course can be provided with appropriate humidity devices 16.
  • the humidity device 16 can also be integrated in a part of the A-pillar 36, the B-pillar 38 and / or the C-pillar 40 of the motor vehicle 10.
  • the light-emitting device 16 can further be integrated in the region of the door, the door frame, the windows, the window frames and the corresponding covers, in particular the cladding, here collectively referred to as door components 42.
  • a lighting device 16 is finally shown, which is arranged in the region of the vehicle center on the ceiling, so the roof 20 or the headliner 22. This positioning makes it possible to illuminate the central area of the motor vehicle interior particularly well.
  • the lighting device 16 is housed within a dome-shaped housing 44, from where the lighting device 16 can illuminate up to 360 ° in a vertical and up to 180 ° in a horizontal plane. This can happen over several fixed lighting fixtures, or the installed lighting fixture can move to change the direction of light propagation.
  • the lighting device 16 is integrated in the headliner 22.
  • this can be done by lighting devices that are arranged distributed over the area of the headliner 22 in some areas, on the other hand, the entire headliner 22 itself may be formed as a lighting device.
  • the sitting or lying positions shown in FIGS. 8 to 10 which can be occupied by vehicle occupants 26 and in connection with autonomous and / or not self-controlled vehicles, can also be illuminated particularly advantageously become.
  • not shown seat positions and / or lying positions can be taken.
  • the vehicle occupants can also align transversely to the direction of travel of the motor vehicle and / or lie on the side or the belly in the vehicle occupant seat.
  • the vehicle occupant seat in particular the head part of the vehicle occupant seat, may have an area, in particular a recess or a hole, for receiving the head of the vehicle occupant without obscuring the face thereof.
  • a possibility is created for the vehicle occupant even in such a position to drop his head without his breathing and / or view are hindered by the vehicle occupant seat.
  • Lighting fixtures, camera systems, devices such as loudspeakers and / or microphones, and / or sensors can also be mounted and / or integrated in the recess or hole.
  • the headliner 22 has a partially at least partially transparent cover for the spectral range of the lighting device 16, so that the lighting device 16 itself is not visible, while the light of the lighting device 16 can illuminate the spatial environment anyway ,
  • the cover for the Spectral range of the lighting device substantially completely transparent, while it is not transparent in the visible spectral range substantially.
  • Lighting devices that can be used in accordance with the invention integrated in or in the form of display devices 46 are shown in FIGS. 11 to 12.
  • FIGS. 1 a to 1 d for example, four different variants of display devices 46 are shown, which can be positioned in the vicinity of or in front of the head 24 of a vehicle occupant 26.
  • the display device 46 is advantageously mounted in or on the head part 48 of the vehicle occupant seat 18 and can be brought via a positioning mechanism 52 manually or automatically in a position to provide the vehicle occupant information 26 and / or the object recognition by the humidity device and / or supported by the camera system.
  • a rotation and / or rotation of the display device 46 and the positioning mechanism 52 for adaptation to the viewing angle and the field of view of the vehicle occupant 26 is also possible.
  • a humidity device without a display device is positioned by a positioning mechanism 52 in such a way that it can support the object recognition.
  • the humidity device can also be positioned on a side facing away from the display device to illuminate, for example, gestures of vehicle occupants.
  • a display device 46 is positioned on the vehicle occupant seat 18, for example beside or on an armrest 50.
  • the vehicle occupant 26 can manually retrieve the display device 46 from a holder and hold it in his hands, as shown in FIG.
  • the display device 46 can also be positioned via a positioning mechanism 52 in the field of vision of the vehicle occupant 26 so that the vehicle occupant 26 does not need any hands to hold the display device 46.
  • the positioning of the display 46 may be manual and / or motor driven.
  • the indicator 46 may also be formed in or attached to a portion of the vehicle occupant seat 18, such as an armrest 50, a headboard 48, a footboard, and / or a restraint system, such as part of a vehicle occupant seat 18 Seat belt system (not shown).
  • the restraint system for the vehicle occupant is accordingly also designed to protect the vehicle occupant in all seats. or to secure lying positions. It can also be provided that a lighting device without display device is positioned by a positioning mechanism 52 such that it can support the object recognition.
  • a positioning mechanism 52 may in this case comprise at least one joint in order to enable and / or execute a rotation about a pivot point. Alternatively or additionally, a positioning mechanism 52 may also facilitate and / or execute a linear movement, for example in the form of a rail or an extendable bar. In particular, a positioning mechanism 52 may enable and / or perform a combination of different movements and / or modes of motion.
  • the positioning mechanism 52 has at least one first end position and a second end position, and can be transferred via at least one movement between the first and the second end position.
  • a first end position may, for example, be a collapsed state in which, for example, the device, the light source, the camera system, the display device and / or the device are positioned in a storage space or an initial position, for example on the vehicle occupant seat, the center console or the headliner , If necessary, then, by making a movement with the positioning mechanism 52, the device, the light source, the camera system, the display device and / or the device can be moved to a second end position. For example, this may result in the device, the light source, the camera system, the display device and / or the device being positioned in the field of vision of a vehicle occupant and remaining there when no further movement is required or required.
  • the positioning mechanism 52 may be in operative connection with the vehicle occupant seat, the display device, the instrument panel, the center console, the vehicle opening, the warning device, the heating device, the air conditioning device, the navigation system, the audio system, the telephone system, the video system and / or the hologram system is thus brought into operative connection.
  • the design of the display device and / or lighting device can also take place particularly advantageously as part of a foot part of the vehicle occupant seat. If the vehicle occupant assumes a reclining position, the object recognition and / or lighting device formed in or attached to the foot part of the vehicle occupant seat can be used to improve and / or carry out the object recognition.
  • the motor vehicle 10 may comprise a plurality of display devices, not shown in the figures, which may be integrated, for example, in the dashboard 14, may be designed as a head-up display on the windshield 18 or in a Headliner 22 or other interior trim parts of the motor vehicle 10, in particular in the area of the vehicle doors, can be installed.
  • the windows of the motor vehicle 10 can also be designed as a display device and / or lighting device.
  • a display device and / or lighting device is advantageously used, which is at least partially substantially transparent in the off state, while providing information and / or light in the turned-on state.
  • OLEDs organic light emitting diodes
  • display devices which completely replace the windows of the motor vehicle and on which, for example, the image of the environment recorded by camera systems can be shown.
  • Further display devices comprise a projection surface, a head-up display, a flexible OLED display, a liquid crystal display, optical fabric and / or photometric films, in particular in the form of a headliner monitor, interior trim part monitor, a left door monitor, a left main monitor, a right main monitor and / or a right door monitor, which can be arranged in a dashboard, on a windshield, in a headliner and / or in the center console.
  • a camera and / or a camera system can also be used at the respective positions in order to carry out and / or improve the object recognition. This is particularly advantageous if the object is no longer in the original detection range of the camera system due to the change of seat position and seat orientation as well as by occlusion.
  • control or regulating device for object recognition accesses data, sensors, cameras and / or humidity devices from other devices, such as external devices and / or other vehicle devices.
  • the controller may access a mobile terminal that is owned and carried by a vehicle occupant to obtain additional data such as control commands, profile data, or sensor data, and / or cameras and / or humidity devices of the mobile Terminal device to use. It is likewise possible to obtain data from vehicle devices or to control vehicle devices in order to be able to support and / or carry out the object recognition.
  • Examples of such vehicle devices may be sensors that are integrated in the vehicle occupant seat, for example, and the orientation, position, acceleration, temperature, the state of the vehicle occupant seat, and / or data of the vehicle occupant, such as weight, for example. Respiration, heart rate, temperature, acceleration and / or movement.
  • Other advantageous vehicle devices may be memory devices, data transmission and / or information interfaces that provide a profile with the data, such as physical data, in particular the facial features and / or preferred settings of the vehicle occupant, and that can be used for the object recognition.
  • a method for operating an object recognition device is shown by way of example in the block diagram in FIG.
  • the method comprises at least the steps of signal and / or data acquisition, object localization and object recognition.
  • the illumination of the motor vehicle interior can then be optimized on the basis of the object localization in order to carry out the object recognition.
  • the commands recognized by the object recognition can then be executed. From the data provided, the object localization and the object recognition are realized by appropriate algorithms.
  • the optimization and / or variation of the illumination can also take place additionally or alternatively before the object localization. This is particularly important if enough data for a first object localization can not be obtained without such a change in illumination.
  • Background data are preferably recorded before or during the activation of the motor vehicle in order to be able to carry out the object localization and object recognition more easily. This may happen, for example, before or while the motor vehicle is being unlocked and a vehicle occupant getting into the vehicle, in particular when receiving a release command, for example via an external control such as a remote control, a smartphone and / or other device for the vehicle Motor vehicle there.
  • an external control such as a remote control, a smartphone and / or other device for the vehicle Motor vehicle there.
  • the object recognition device can search for other devices, preferably active devices, vehicle devices and sensors that can perform and / or support the object recognition.
  • a control signal can be sent regularly, but at least during and after activation of the motor vehicle, looking for changed sensor data, vehicle equipment and / or additional devices.
  • This control signal can be sent both wired and without cable.
  • the found devices, vehicle devices and / or sensors are then included in the object recognition process by the control or regulation device of the object recognition device in order to obtain data and / or to send data. These steps can also be performed before the background data recording is completed or completed.
  • vehicle equipment and / or sensors can supply background data which leads to an improvement of the object recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

Der Erfindung betrifft eine Objekterkennungsvorrichtung zur Erkennung zumindest eines Objekts (26), bereitgestellt von einem Fahrzeuginsassen oder eines Teils des Fahrzeuginsassen, im Innenraum. Die Vorrichtung umfasst ein Kamera System (12), eine Leuchteinrichtung (2) mit einer Leuchtquelle (3) sowie einem Optiksystem (4) und eine Steuereinrichtung. Die Steuereinrichtung empfängt elektrischen Signale vom Kamerasystem (12) und einem weiteren Gerät des Kraftfahrzeugs (10), generiert und sendet Steuerbefehle. Die Leuchteinrichtung (2) kann Bereiche im Kraftfahrzeug (10) so ausleuchten, dass durch das Kamerasystem (12) Objektpunkten erfassbar sind. Ausleuchtung, Objektlokalisierung und -erkennung und Aktivierung der Leuchteinrichtungen (2, 16) und Kamera Systeme (12) sind vom Zustand des Kraftfahrzeugs (10) bestimmt. Der Zustand wird von Geschwindigkeit, Beschleunigung, Fahrzeugsitzbelegung, Fahrzeugsitzposition, Fahrzeugsitzausrichtung und Beleuchtung, Wetter, Tag, Nacht, Fahrbahn, Verkehrszeichen und/oder Verkehrssituation bestimmt.

Description

Vorrichtung und Verfahren zum Betreiben einer Objekterkennung für den Innenraum eines
Kraftfahrzeugs sowie ein Kraftfahrzeug
Beschreibung
Die Erfindung betrifft eine Objekterkennungsvorrichtung zur Erkennung zumindest eines, sich insbesondere bewegenden, Objekts, vorzugsweise bereitgestellt von einem Fahrzeuginsassen oder in Form zumindest eines Teils des Fahrzeuginsassen, im Innenraum eines Kraftfahrzeugs, die ein Kamerasystem, das zumindest einen Sensor zur Umwandlung elektromagnetischer Strahlung in elektrische Signale und eine Feuchteinrichtung mit zumindest einer Feuchtquelle sowie einem Optiksystem umfasst, eine Steuer- oder Regeleinrichtung, die dazu ausgelegt ist, die elektrischen Signale von dem Kamerasystem und/oder Daten von zumindest einem Sensor, zumindest einem weiteren Gerät und/oder zumindest einer Einrichtung des Kraftfahrzeugs zu empfangen, Steuerbefehle zu generieren sowie an das Kamerasystem, das weitere Gerät und/oder die Einrichtung des Kraftfahrzeugs zu senden, umfasst, sowie ein Verfahren zum Betreiben solch einer Objekterkennungsvorrichtung und ein Kraftfahrzeug mit solch einer Erkennungsvorrichtung oder zur Durchführung besagten Verfahrens.
In modernen Kraftfahrzeugen wird eine zunehmende Anzahl elektronischer (digitaler) Anzeigeflächen und Assistenzsysteme verbaut, die zum Einen die klassische analoge Instrumentierung des Kraftfahrzeugs ersetzen und zum Anderen zusätzliche Informationen, wie beispielweise Kartenansichten, Bedienoberflächen für Unterhaltungs- und Telekommunikationssysteme und dergleichen bereitstellen können, sowie die Steuerung und die Kontrolle verschiedener Fahrzeugsysteme, insbesondere basierend auf dem Zustand der Fahrzeuginsassen, übernehmen oder dabei unterstützen.
Es hat sich herausgestellt, dass die Bedienung solcher Anzeigeflächen und Assistenzsysteme durch klassische Eingabegeräte, wie beispielsweise Tasten, Joysticks, Touchpads oder dergleichen, sehr komplex ist und daher einerseits zu Fehleingaben seitens des Fahrers führen kann und andererseits ein hohes Ablenkungsrisiko für den Fahrer mit sich bringt.
Aus diesem Grunde ist es wünschenswert, möglichst einfache berührungsfreie Eingabemethoden bereitzustellen. So ist beispielsweise aus der US 9 244 527 B2 eine kamerabasierte Bedienvorrichtung für eine blickrichtungsabhängige Gestensteuerung bekannt. Die Blickrichtung des Benutzers wählt dabei ein Zielgerät oder eine Funktion aus, welche von einer folgenden Gesteneingabe betroffen sein soll.
Es kommt in Fahrzeugen beispielsweise ein neues Kamerasystem zum Einsatz, das über eine Lichtquelle verfügt und den Bereich vor der Kamera aktiv beleuchten kann. Sogenannte Time-of- flight-Kameras (TOF-Kameras) sind dabei bekannt, bei denen die Zeit zwischen einer Lichtemission der Lichtquelle der TOF-Kamera und die Registrierung der Reflexion am Kamerasensor des Kamerasystems gemessen wird. Daraus lässt sich der Abstand der reflektierenden Oberfläche zu den jeweiligen Pixeln des Kamerasystems bestimmen.
Gerade in modernen und zukünftigen Kraftfahrzeugen kann das Kraftfahrzeug selbst die Navigation und die Steuerung der meisten Fahrzeugeinrichtung als sogenanntes autonomes Kraftfahrzeug übernehmen. Der Fahrzeuginsasse kann dann, je nach Situation, teilweise oder komplett von der Führung des Kraftfahrzeugs entbunden werden. Bei fortgeschrittenen Systemen ist es auch möglich, dass keiner der Fahrzeuginsassen aufmerksam für die in der Umgebung stattfindenden und vom Kraftfahrzeug ausgelösten Vorgänge sein muss. Daher kann sich jeder Fahrzeuginsasse auf andere Sachen, zum Beispiel auf Anzeigeeinrichtungen zur persönlichen Unterhaltung, konzentrieren, sich entspannen oder sogar schlafen. Weiterhin kann der Fahrzeuginsasse seine Sitzposition und seine Sitzausrichtung beliebig einstellen, um zum Beispiel zu liegen und/oder sich anderen Fahrzeuginsassen oder Anzeigeeinrichtungen zuzuwenden.
Es hat sich jedoch herausgestellt, dass für die Objekterkennung mittels TOF-Kamera die Entfernung des zu analysierenden Objekts, wie zum Beispiel die Hand oder der Kopf einer Person, zu dem Kamerasystem eine entscheidende Rolle bei der eindeutigen Identifizierung einer Geste, einer Blickrichtung, einer Kopfposition und -bewegung und/oder einer Mimik spielt. Insbesondere wird mit zunehmendem Abstand zum Kamerasystem die Schwierigkeit erhöht, eine eindeutige Aussage über das Objekt zu treffen, so dass es auch vielfach zu Fehlbedienungen und -erkennungen kommen kann. Insbesondere kann es Vorkommen, dass fälschlicherweise zufällige Gesten, die an sich nicht als Bedieneingaben gedacht sind, als solche erkannt werden, sodass der Inhalt von Anzeigeflächen oder der Zustand von Assistenzsystemen ungewollt durch einen Fahrzeuginsassen, insbesondere den Fahrer des Kraftfahrzeugs, verändert wird. Eine weitere häufige Fehlerquelle ist die Nicht-Erkennung einer Geste oder einer Kopfbewegung. Der Grund für solche Fehler ist vor allem die fehlende Ausleuchtung des Tiefenbereichs. Dadurch kann das Kamerasystem keine ausreichenden Daten liefern, die es dem Objekterkennungssystem erlauben, eine eindeutige Aussage über den Zustand des Objekts zu treffen. Insbesondere durch die vielfältigen Möglichkeiten des Verstellens der Sitzposition kann es dazu kommen, dass das Objekt nicht genügen ausgeleuchtet werden kann und/oder das Objekt nicht vollständig im Erfassungsbereich des Kamerasystems liegt. Eine Erhöhung der Lichtleistung von Leuchteinrichtungen ist nicht in allen Fällen möglich. So wird die Lichtleistung, die zur Verfügung gestellt werden kann, von verschiedenen Faktoren begrenzt. Einige davon sind der zur Verfügung stehende Bauraum, die zur Verfügung stehende Stromversorgung, die produzierte Abwärme und die Leistungsbegrenzung der Leuchteinrichtung.
Aus der US 6,441,363 Bl ist ein Fahrzeuginsassenerfassungssystem bekannt, das eine einzelne Laseranordnung, die an einer Fahrzeugstruktur montiert ist, umfasst, um einen ersten Strahl zu erzeugen, der auf eine erste Insassenzone gerichtet ist, einen zweiten Strahl, der auf eine zweite Insassenzone gerichtet ist, und einen dritten Strahl, der auf eine dritte Insassenzone gerichtet ist, wobei die ersten, zweiten und dritten Strahlen alle von im Allgemeinen der gleichen Position auf der Fahrzeugstruktur erzeugt werden. Ferner sind eine erste Sensoranordnung zum Empfangen von Reflexionsstrahlen, die sich aus dem ersten Strahl ergeben, der auf einen ersten Abschnitt eines in der ersten Zone befindlichen Insassen trifft, wobei die erste Sensoranordnung ein erstes Signal erzeugt, das proportional den ersten Abschnitt des in der ersten Zone vorhandenen Insassen darstellt; eine zweite Sensoranordnung zum Empfangen von Reflexionsstrahlen, die sich aus dem zweiten Strahl ergeben, der auf einen zweiten Abschnitt des in der zweiten Zone befindlichen Insassen trifft, wobei die zweite Sensoranordnung ein zweites Signal erzeugt, das proportional den zweiten Abschnitt des in der zweiten Zone vorhandenen Insassen darstellt; und eine dritte Sensoranordnung zum Empfangen von Reflexionsstrahlen, die sich aus dem dritten Strahl ergeben, der auf einen dritten Abschnitt des in der dritten Zone befindlichen Insassen trifft, wobei die dritte Sensoranordnung ein drittes Signal erzeugt, das proportional den dritten Abschnitt des in der dritten Zone vorhandenen Insassen darstellt; vorgesehen. Ein zentraler Prozessor zum Empfangen der ersten, zweiten und dritten Signale und Kombinieren der Signale dient dazu, die Position des Insassen innerhalb des Fahrzeugs zu bestimmen.
Bei einer Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen ist dieselbe gemäß der WO 2013/001084 Al in einem Fahrzeuginnenraum angeordnet und umfasst zumindest eine Beleuchtungseinheit, eine Anzeigeeinheit und eine optische Erfassungseinheit, wobei die Beleuchtungseinheit aus zumindest einem Infrarot-Laser, insbesondere einer Infrarot-Laser-Diode, gebildet ist. Dabei sind insbesondere mittels der optischen Erfassungseinheit ein Gegenstand und/oder eine Person und/oder von dieser Person ausgeführte Gesten und/oder Bedienvorgänge dreidimensional erfassbar. Beispielsweise wird somit eine Bewegung einer Hand oder eines Fingers eines Fahrzeugführers dreidimensional erfasst, welche beispielweise einer virtuellen Betätigung einer Anzeigeeinheit im Fahrzeug entspricht. Dabei kann es sich um die Erfassung eines Bedienvorgangs mit einer Geste, wie beispielsweise ein Hin- und Herbewegen eines Fingers oder eine Wischbewegung oder Öffnen der Hand als Zoombewegung, handeln. Durch den Einsatz von Infrarot-Laser-Dioden sollen eine verbesserte Kohärenz und eine höhere spektrale Leistungsdichte vorliegen, woraus eine höhere Modulationsbandbreite und eine effektivere optische Filterung resultieren soll.
US 2008/0048887 Al betrifft u.a. ein Fahrzeuginsassenerfassungssystem, umfassend ein Fotografiersystem, umfassend: eine erste Lichtquelle zum Aussenden von Strahlungslicht auf ein erstes Objekt; eine zweite Lichtquelle zum Aussenden von Strahlungslicht auf ein zweites Objekt, das sich vom ersten Objekt unterscheidet; eine Antriebseinheit zum Antreiben der ersten Lichtquelle und der zweiten Lichtquelle zum Umschalten zwischen einer ersten Betriebsart, in der die Lichtmenge der ersten Lichtquelle größer ist als die der zweiten Lichtquelle, und einer zweiten Betriebsart, in der die Lichtmenge der zweiten Lichtquelle größer ist als die der ersten Lichtquelle; eine Fotoeinheit, die ein optisches System und einen Abbildungschip aufweist, um Bilder des ersten Objekts und des zweiten Objekts, die ganz oder teilweise übereinander angeordnet sind, auf einen vorbestimmten Abbildungsbereich des Abbildungschips zu projizieren, indem die am ersten Objekt und zweite Objekt reflektierten Lichter durch das optische System in den Abbildungschip eintreten können; einen Schattenfilter zum Blockieren eines Teils der einfallenden Lichter, die in den Bildchip eintreten; und einen Steuerungs-/Berechnungsprozessor zur Ausgabe eines auf den vorbestimmten Bildbereich projizierten Bildes als Bildinformation, wobei, wenn sich die Antriebseinheit in der ersten Betriebsart befindet, blockiert der Beschattungsfilter Licht mit einer geringeren Menge als das einfallende Licht, das von der ersten Lichtquelle emittiert und am ersten Objekt reflektiert wird, um in den Bildchip einzutreten, und der Steuerungs- /Berechnungsprozessor gibt, basierend auf der Betriebsart der Antriebseinheit, ein auf die vorbestimmte Abbildungsfläche des Bildchips projiziertes Bild als Bildinformation über das erste Objekt aus, und, wenn sich die Antriebseinheit in der zweiten Betriebsart befindet, blockiert der Schattierungsfilter Licht einer geringeren Menge als das einfallende Licht, das von der zweiten Lichtquelle emittiert und am zweiten Objekt reflektiert wird, um in den Bildchip einzutreten, und, basierend auf der Betriebsart der Antriebseinheit, gibt der Steuerungs-/Berechnungsprozessor ein Bild aus, das auf die vorbestimmte Abbildungsfläche des Bildchips projiziert wird, als Bildinformation des zweiten Objekts. Zudem ist ein Erfassungsprozessor zum Erfassen von Informationen über den Fahrzeuginsassen, wie Körperbau, Position oder Haltung des Fahrzeuginsassen, basierend auf den Bildinformationen über entweder den ersten Fahrzeuginsassen oder den zweiten Fahrzeuginsassen, die vom Steuerungs-/ Berechnungsprozessor des Fotosystems ausgegeben werden, vorgesehen.
Es ist die Aufgabe der vorliegenden Erfindung, die gattungsgemäße Objekterkennungseinrichtung derart weiterzuentwickeln, dass sie die Nachteile des Stands der Technik überwindet. Insbesondere soll die Erkennung des Zustands von Objekten innerhalb des Kraftfahrzeugs zuverlässiger und somit die Bedienung von Anzeigeflächen und Assistenzsystemen im Kraftfahrzeug erleichtert werden.
Diese Aufgabe wird durch eine Vorrichtung gelöst, bei der die Feuchteinrichtung durch zumindest ein optisches Element des Optiksystems und/oder zumindest eine zusätzliche Feuchteinrichtung und/oder ein zusätzliches Kamerasystem, vorzugsweise jeweils in der Nähe des Objektes positioniert, bestimmte Bereiche, insbesondere ein Nahfeld und ein Femfeld, im Kraftfahrzeug so ausleuchten kann, dass durch das Kamerasystem zu einer Vielzahl von Objektpunkten in den Bereichen zumindest eine in den elektrischen Signalen enthaltende Entfemungsinformation erfassbar ist, wobei die Ausleuchtung, die Objektlokalisierung und/oder -erkennung und/oder die Aktivierung zumindest einer der Feuchteinrichtungen und/oder Kamerasysteme vom Zustand des Kraftfahrzeugs, bestimmt durch Geschwindigkeit, Beschleunigung, Fahrzeugsitzbelegung, Fahrzeugsitzposition, Fahrzeugsitzausrichtung und/oder Beleuchtung, insbesondere die Beleuchtung des Fahrzeuginnenraums, und/oder vom Zustand der Umgebung des Kraftfahrzeugs, bestimmt durch das Wetter, Tag, Nacht, Fahrbahn, Verkehrszeichen und/oder Verkehrssituation, bestimmt ist.
Weitere vorteilhafte Ausführungsformen sind in den folgenden Beispielen beschrieben:
Eine Ausführungsform beschreibt ein Objekterkennungsvorrichtung, bei der die Feuchteinrichtung des Kamerasystems, die zusätzliche Feuchteinrichtung und/oder die Feuchteinrichtung des zusätzlichen Kamerasystems mehr als eine Feuchtquelle umfasst bzw. umfassen, wobei vorzugsweise jede Feuchtquelle, insbesondere unabhängig voneinander, in Abhängigkeit von dem Zustand des Objekts, des Kraftfahrzeugs und/oder der Umgebung des Kraftfahrzeugs und/oder der Entfernung des Objekts zum Kamerasystem, insbesondere des Sensors des Kamerasystems, und/oder zum zusätzlichen Kamerasystem, insbesondere des Sensors des zusätzlichen Kamerasystems, aktivierbar ist.
Eine Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele ist dadurch gekennzeichnet, dass die Steuer- oder Regeleinrichtung die Ausleuchtung von verschiedenen Bereichen im Innenraum des Kraftfahrzeugs basierend auf dem Zustand des Objekts, des Kraftfahrzeugs und/oder der Umgebung des Kraftfahrzeugs und/oder der Entfernung des Objekts zum Kamerasystem, insbesondere des Sensors des Kamerasystems, und/oder zum zusätzlichen Kamerasystem, insbesondere des Sensors des zusätzlichen Kamerasystems, verändert.
Eine weitere Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele ist dadurch gekennzeichnet, dass die Ausleuchtung, die Objektlokalisierung und/oder -erkennung und/oder die Aktivierung zumindest einer der Leuchteinrichtungen und/oder Kamerasysteme vom Zustand des Objekts, vorzugsweise bestimmt durch Größe, Gewicht, Atmung, Herzschlag, Temperatur, Beschleunigung, Bewegung und/oder körperlichen Fitheit des Fahrzeuginsassen, bestimmt ist.
Eine Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele, dadurch gekennzeichnet, dass die Leuchteinrichtung des Kamerasystems, die Leuchteinrichtung des zusätzlichen Kamerasystems, die zusätzliche Leuchteinrichtung, das Kamerasystem und/oder das zusätzliche Kamerasystem in einem Armaturenbrett, einer Mittelkonsole, insbesondere eine versenk- oder verfahrbaren Mittelkonsole, einer Windschutzscheibe, einem Dach, einem Dachhimmel, einem Haltegriff, einer A-Säule, einer B-Säule, einer C-Säule, einer Türkomponente, oberhalb einer Tür, einem Gehäuse, insbesondere ein kuppelförmiges Gehäuse im Bereich der Fahrzeugmitte am Dach oder Dachhimmel, einer Anzeigeeinrichtung, einem Fahrzeuginsassensitz, insbesondere einem Kopfteil, einem Fußteil und/oder einer Armlehne des Fahrzeuginsassensitzes, einem Rückhaltesystem für den Fahrzeuginsassen, einem Positionierungsmechanismus, insbesondere einem motorbetriebenen Positionierungsmechanismus, einer Verkleidung und/oder dem Gerät, insbesondere in Form eines mobilen Geräts des Objekts, angebracht oder darin integriert ist.
Eine weitere Objekterkennungs Vorrichtung nach dem vorhergehenden Beispiel ist dadurch gekennzeichnet, dass die in der Anzeigeeinrichtung integrierte Leuchteinrichtung über einen Anzeigebereich der Anzeigeeinrichtung verteilte Leuchtquellen umfasst, wobei die Leuchtquellen der Anzeigeeinrichtung Gruppen von Emittern und/oder Regionen mit unterschiedlichen spektralen Emissionsbereichen umfassen, die dazu ausgelegt sind, Licht in zumindest einen Teil eines für die Objekterkennung genutzten Spektralbereichs bereitstellen zu können, und/oder zusätzlich spektrale Emitter für den Spektralbereich der Objekterkennung umfassen.
Eine weitere Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele ist dadurch gekennzeichnet, dass das Optiksystem Führungen und/oder rotierende Räder zum Austauschen und/oder Verschieben des optischen Elements und/oder Aktuatormittel zur Induktion von Bewegungen umfasst, und/oder das optisches Element des Optiksystems Linsen, Filter, adaptive Optiken, aktive optische Elemente und/oder Spiegel umfasst.
Eine Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele umfasst eine Rechner- oder Kontra lleinheit, die zur Auswertung der elektrischen Signale und/oder der Daten, insbesondere durch einen Objektlokalisierungsalgorithmus und/oder einen Objekterkennungsalgorithmus, ausgelegt ist.
Eine Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele ist dadurch gekennzeichnet, dass die Steuer- oder Regeleinrichtung dazu ausgelegt ist, das Kamerasystem, das zusätzliche Kamerasystem, die Leuchteinrichtung des Kamerasystems, die zusätzliche Leuchteinrichtung, die Leuchteinrichtung des zusätzlichen Kamerasystems, zumindest einen Sensor, die Einrichtung und/oder das Gerät, insbesondere umfassend das mobile Gerät, zu steuern und/oder zu koordinieren.
Eine Objekterkennungsvorrichtung nach einem der vorhergehenden Beispiele ist dadurch gekennzeichnet, dass die Ausleuchtung bestimmbar ist über die spektrale Frequenz, Amplitude, Dauer, insbesondere bestimmt durch Pulsfrequenz und/oder Pulslänge, Polarisation und/oder Intensität der Beleuchtung, wobei vorzugsweise die spektrale Frequenz oberhalb und/oder unterhalb des sichtbaren Lichts liegt.
Ein erfindungsgemäßes Verfahren zum Betreiben einer Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche ist gekennzeichnet durch eine Signal- und/oder Datenaufnahme, Objektlokalisierung, Anpassung der Ausleuchtung des Objekts, Objekterkennung und/oder Steuerbefehlerzeugung.
Bei einer Ausführungsform des Verfahrens wird vor der Signal- und/oder Datenaufhahme eine Aufnahme von Hintergrunddaten und/oder eine Verbindung mit dem Gerät, dem Sensor und/oder der Einrichtung durchgeführt. Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein selbstfahrendes Kraftfahrzeug, ist mit einer Objekterkennungsvorrichtung nach einem der vorangehenden Beispiele ausgestattet und/oder zum Durchführen eines Verfahrens nach einem der vorangehenden Beispiele geeignet.
Eine Ausführungsform des Kraftfahrzeugs kann auch dadurch gekennzeichnet sein, dass die Einrichtung zum autonomen Fahren ausgelegt ist, und/oder die Steuer- oder Regeleinrichtung zum Einstellen der Position des Fahrzeuginsassen im Fahrzeuginnenraums, insbesondere über den Fahrzeuginsassensitz, der Anzeigeeinrichtung, des Armaturenbretts, der Mittelkonsole insbesondere einer versenk- oder verfahrbarer Mittelkonsole, einer Fahrzeugöffnung, einer Wameinrichtung, einer Wärmeeinrichtung, einer Klimaeinrichtung, eines Navigationssystems, einer Audioanlage, einer Telefonanlage, einer Videoanlage, einer Hologrammanlage und/oder des Positioniermechanismus ausgelegt ist.
Ein Kraftfahrzeug nach einem der vorangehenden Beispiele kann auch dadurch gekennzeichnet sein, dass der Positioniermechanismus in Wirkverbindung mit dem Fahrzeuginsassensitz, der Anzeigeeinrichtung, dem Armaturenbrett, der Mittelkonsole, der Fahrzeugöffnung, der Wameinrichtung, der Wärmeeinrichtung, der Klimaeinrichtung, dem Navigationssystem, der Audioanlage, der Telefonanlage, der Videoanlage und/oder der Hologrammanlage steht oder bringbar ist.
Vorteilhafterweise umfasst eine erfindungsgemäße Objekterkennungseinrichtung für den Innenraum eines Kraftfahrzeugs zumindest ein Kamerasystem und eine Steuer- oder Regeleinrichtung .
Bei dem Kamerasystem handelt es sich bevorzugt um ein Kamerasystem, das dazu ausgelegt ist, zu jedem Bildpunkt eine Entfemungsinformation mitliefem zu können, sodass die Objekterkennung besonders präzise wird. Dabei umfasst das Kamerasystem zumindest eine Kamera und eine Feuchteinrichtung, um die zu erfassende Umgebung zu beleuchten. Bevorzugt handelt es sich bei dem Kamerasystem um ein Tiefenbildkamerasystem, besonders bevorzugt umfassend eine TOF- Kamera. Durch das Aussenden von Ficht und die Messung der Faufzeit der Reflexion lässt sich somit der Abstand einzelner Pixel zum Kamerasystem bestimmen. Jedoch ist auch die Benutzung andere Kamerasysteme zur räumlichen, dreidimensionalen Erkennung, wie zum Beispiel Stereokameras, Fichtfeldkameras, Triangulationssysteme, Interferometriesysteme oder Scannersysteme, insbesondere ein Streifenlichtscanner, möglich. Die Gemeinsamkeit aller benutzten Kamerasysteme liegt hier in der zusätzlichen Beleuchtung, um Objekte in verschiedenen Abständen besser erkennen zu können. Sendet die Leuchteinrichtung des Kamerasystems und/oder eine zusätzliche Leuchteinrichtung Licht im nicht sichtbaren Spektralbereich, insbesondere im Infrarotbereich, aus, wird ein Fahrzeuginsasse durch das Licht der Leuchteinrichtung des Kamerasystems und/oder der zusätzlichen Leuchteinrichtung nicht geblendet, während trotzdem eine hohe Leistung für die Objekterkennung bereitgestellt werden kann. Besonders vorteilhaft ist es, wenn verschiedene Spektralbereiche, im sichtbaren und im nicht sichtbaren Spektralbereich, für die Objekterkennung genutzt werden können.
Das Kamerasystem umfasst vorteilhafterweise einen Sensor, bevorzugt einen optischen Sensor wie einen CMOS oder CCD-Sensor, der auftreffende elektromagnetische Strahlung in elektrische Signale umwandeln kann, sowie ein Optiksystem, um die elektromagnetische Strahlung auf den Sensor zu leiten.
Um die Tiefenausleuchtung zu verbessern, kann eine Leuchteinrichtung, zum Beispiel eine Leuchteinrichtung eines Kamerasystems und/oder eine zusätzliche Leuchteinrichtung, die nicht innerhalb oder in der Nähe des Kamerasystems positioniert sein muss bzw. müssen, eine anpassbare bzw. variable Licht- und Helligkeitsverteilung bereitstellen, um Licht in verschiedene Bereiche des Fahrzeuginnenraums zu senden, so dass in den verschiedenen Bereichen des Fahrzeuginnenraums die benötigte Helligkeit zur Objekterkennung erreicht wird. Dabei kann der zu beleuchtende bzw. der zu beobachtende Bereich ein Nahfeld und ein Femfeld umfassen. Nahfeld und Femfeld sind hier relative Begriffe, die durch die Größe und die Form des zu beleuchtenden Bereichs definiert werden, wobei das Nahfeld einen Teilbereich mit einem kürzeren Abstand zur Leuchteinrichtung und/oder zum Kamerasystem umfasst und das Femfeld einen Teilbereich mit dem weiteren Abstand zur Leuchteinrichtung und/oder zum Kamerasystem umfasst. Nahfeld und Femfeld können sich auch in zumindest einem Bereich überlappen.
Eine variable Lichtverteilung kann beispielsweise durch ein anpassbares Optiksystem, das mindestens ein optisches Element wie eine oder mehrere Linsen umfasst, hervorgemfen werden. Durch die Verändemng der Ausrichtung und/oder des Abstands der optischen Elemente des Optiksystems kann die Lichtemission der Leuchteinrichtung an verschiedene räumliche und situative Gegebenheiten angepasst werden. Alternativ oder zusätzlich kann auch eine Leuchteinrichtung, die mehrere unabhängig steuerbare Leuchtquellen umfasst, mit einem Optiksystem verwendet werden. Dabei sind die Leuchtquellen vorteilhafterweise gemeinsam angeordnet, insbesondere als Matrix. Das Optiksystem stellt für die verschiedenen Leuchtquellen verschiedene Optiksysteme bereit, so dass jede Leuchtquelle durch die Wahl von optischen Elementen derart konfigurierbar ist, dass sie alleine oder kombiniert mit anderen einen bestimmten Bereich in besonders vorteilhafter Art und Weise ausleuchten kann. Dabei kann es vorgesehen sein, dass die Ausrichtung und/oder der Abstand der optischen Elemente des Optiksystems nicht verändert werden muss, um eine für die Objekterkennung vorteilhafte Ausleuchtung zu erreichen, sondern die anpassbare bzw. variable Lichtverteilung dadurch erreicht wird, dass die verschiedenen Leuchtquellen unabhängig voneinander ein- und ausgeschaltet sowie mit unterschiedlichen Parametern, wie zum Beispiel Leistung, Spektralbereich, Pulsfrequenz, Pulslänge, Polarisation und anderen leuchtquellenspezifischen Parametern, betrieben werden können. Durch die Verwendung mehrerer Leuchtquellen kann man somit die benötigte räumliche Ausleuchtung additiv aus mehreren Leuchtquellen zusammensetzen. Insbesondere ist die Ausleuchtung bestimmbar über die spektrale Lrequenz, Amplitude, Dauer, insbesondere bestimmt durch Pulsfrequenz und/oder Pulslänge, Polarisation und/oder Intensität der Beleuchtung, wobei vorzugsweise die spektrale Lrequenz oberhalb und/oder unterhalb des sichtbaren Lichts liegt.
Optische Elemente umfassen beispielsweise Linsen, Lilter, adaptive Optiken wie zum Beispiel verformbare Spiegel, aktive optische Elemente, wie zum Beispiel einen optischen Modulator, insbesondere einen akustooptischen Modulator oder einen elektrooptischen Modulator, und/oder Spiegel. Weiterhin kann das Optiksystem Lührungen und/oder rotierende Räder, wie beispielsweise ein Lilterrad, zum Austauschen und /oder Verschieben optischer Elemente, aber auch Aktuatormittel zur Induktion von Bewegungen, umfassen.
Die Steuer- oder Regeleinrichtung ist dazu ausgelegt, Daten zu empfangen und zu senden, sowie basierend auf Roh- und/oder verarbeiteten Daten, Steuerbefehle zu generieren und an andere Geräte weiterzugeben. Insbesondere ist die Steuer- oder Regeleinrichtung dazu geeignet, verschiedene Kamerasysteme, Leuchteinrichtungen, Sensoren und/oder andere Geräte zu steuern und zu koordinieren, um geeignete Daten für die Objektlokalisierung und/oder -erkennung zu erhalten. Im Speziellen ist es bei TOL-Kameras erforderlich, die Lichtemission von Leuchteinrichtungen mit der Bildaufhahme der Kamera zu koordinieren.
Weiterhin kann eine Rechner- oder Kontrolleinheit vorgesehen sein. Die Rechner- oder Kontrolleinheit wertet von der Steuereinheit gelieferten Daten aus und gibt diese anschließend an die Steuer- oder Regeleinrichtung und/oder andere Geräte weiter. Die Rechner- oder Kontrolleinheit kann auch eine Untereinheit der Steuer- oder Regeleinrichtung sein und/oder bereits in ihr integriert sein. Zur Auswertung der Daten können verschiedene Auswertealgorithmen angewendet werden, insbesondere ein Objektlokalisierungsalgorithmus und ein Objekterkennungsalgorithmus. Vorteilhafterweise führt der Objektlokalisierungsalgorithmus auch eine Objektklassifizierung durch. Ferner kann es vorgesehen sein, dass einzelne Bereiche der Leuchteinrichtung aktiviert werden, je nachdem, in welchem Bereich das zu erwartende Objekt positioniert ist. Dazu kann es vorgesehen sein, dass auch ein erstes Bild oder ein paar erste Bilder des Kamerasystems für eine grobe Objektlokalisierung benutzt werden können. Die Steuereinheit kann selektiv eine Reihe von geeigneten Sensoren, Kamerasystemen und/oder Leuchteinrichtungen aktivieren und die erhaltenen Daten an die Rechner- oder Kontrolleinheit senden. Die Rechner- oder Kontrolleinheit kann die Daten mithilfe eines Objektlokalisierungsalgorithmus verarbeiten und das Ergebnis der Objektlokalisierung an die Steuereinheit zurück senden. Bei einem lokalisierten Objekt, wie zum Beispiel einem Fahrzeuginsassen, können dann die Bereiche genauer untersucht werden, in denen relevante Daten für die Objekterkennung gewonnen werden können. Dies können zum Beispiel die Bereiche um die Handflächen, die Füße, den Oberkörper, die Schultern und/oder den Kopf des Fahrzeuginsassen herum sein. Dazu wird dann die Feuchteinrichtung des Kamerasystems und/oder die zusätzliche Feuchteinrichtungen basierend auf den ausgewerteten Daten der Objektlokalisierung aktiviert, um die relevanten Bereiche des zu erkennenden Objekts bevorzugt ausleuchten zu können. Weiterhin kann es auch vorgesehen sein, dass basierend auf anderen Fahrzeugdaten, wie zum Beispiel Sensordaten zu Sitzbelegung, Sitzposition und Sitzausrichtung sowie Daten über körperliche Merkmale und Eigenheiten des Fahrzeuginsassen, die Objektlokalisierung und/oder -erkennung durchgeführt und/oder die Feuchteinrichtungen aktiviert werden. Besonders vorteilhaft können Daten über die Ausrichtung, Position, Beschleunigung, Temperatur, den Zustand des Fahrzeuginsassensitzes und/oder Daten vom Fahrzeuginsassen, wie zum Beispiel Gewicht, Atmung, Herzschlag, Temperatur, Beschleunigung und/oder Bewegung benutzt werden, um eine Objektlokalisierung und/oder -erkennung durchzuführen bzw. anzuregen. Gerade die durch Sensoren, wie zum Beispiel einen Gewichtssensor und/oder einen Beschleunigungssensor, gewonnenen Daten, die eine Bewegung und/oder Gewichtsverlagerung eines Fahrzeuginsassen anzeigen, können dazu verwendet werden, eine Objektlokalisierung und/oder -erkennung zu starten. Die Objekterkennung kann mithilfe eines Objekterkennungsalgorithmus von der Rechner- oder Kontrolleinheit durchgeführt werden.
Sensoren können insbesondere dazu ausgelegt sein, Druck, Temperatur, Beschleunigung, Geschwindigkeit, elektromagnetische Felder, Gravitation, Ficht, Gaszusammensetzung, Vibrationen, Ultraschall, Radiowellen, Mikrowellen, kosmische Strahlung sowie deren unterschiedlichen Eigenschaften zu messen.
Eine besonders vorteilhafte Ausgestaltung der Feuchteinrichtung kann auch durch eine Anzeigeeinrichtung realisiert werden. Eine Anzeigeeinrichtung wird primär dafür verwendet, Informationen für den Fahrzeuginsassen bereitzustellen, und sekundär, Eingaben vom Fahrzeuginsassen, zum Beispiel zum Steuern der Anzeigeeinrichtung oder zum Steuern von anderen Funktionen des Fahrzeugs, aufzunehmen. Dabei kann die Anzeigeeinrichtung mehrere zusätzliche Funktionen übernehmen. Zum einen kann eine Anzeigeeinrichtung als Feuchteinrichtung fungieren, indem sie Ficht aussendet und somit der Bereich vor der Anzeigeeinrichtung beleuchtet wird. Befindet sich nun eine Objekt, wie zum Beispiel ein Kopf eines Fahrzeuginsassen, im Beleuchtungsfeld der Anzeigeeinrichtung, dann wird dieses zusätzlich beleuchtet und das Kamerasystem kann die Objekterkennung durch das zusätzliche Ficht durchführen. Zum anderen kann die Anzeigeeinrichtung auch mit einer Kamera und/oder einem Kamerasystem ausgestattet sein. Durch die Steuerung der Steuer- oder Regeleinrichtung können Anzeigevorrichtung und Kamerasystem der Objekterkennungsvorrichtung gemeinsam und/oder einzeln die Objekterkennung durchführen. Dies ist besonders dann vorteilhaft, wenn das Kamerasystem durch die Position des Fahrzeuginsassen und/oder blockierende Objekte die Objekterkennung nicht durchführen kann, weil das zu erkennende Objekt nicht dem Kamerasystem zugewandt ist bzw. nicht vollständig im Erfassungsbereich des Kamerasystems liegt.
Durch die Positionierung der Anzeigeeinrichtung kann diese normalerweise zumindest den Bereich des Kopfes eines Fahrzeuginsassen erfassen. Alternativ oder zusätzlich kann die Anzeigeeinrichtung über eine zusätzlich integrierte oder extern positionierte Feuchteinrichtung verfügen. Hierbei ist es besonders vorteilhaft, wenn die Anzeigeeinrichtung über ihren Anzeigebereich verteilt Feuchtquellen für die Objekterkennung bereitstellt. Im Falle einer Anzeigeeinrichtung, die auf einer matrixartigen Verteilung von Feuchtquellen basiert, wobei die Feuchtquellen Gruppen von Emittern und/oder Regionen mit unterschiedlichen spektralen Emissionsbereichen umfassen, können zusätzlich spektrale Emitter für den Spektralbereich der Objekterkennung eingebracht werden und/oder die vorhandenen Gruppen von Emittern und/oder Regionen, die zumindest einen Teil des Spektralbereichs für die Objekterkennung bereitstellen können, aktiviert werden. Dabei kann ein solcher Emitter für eine Anzeigeeinrichtung auch eine absorbierende Region darstellen bzw. umfassen, bei der die spektrale Zusammensetzung des von einer Hintergrundlichtquelle emittierten Fichts durch die absorbierende Region bestimmt wird. Auch kann ein solcher Emitter eine durch die Absorption von Ficht, insbesondere das Ficht einer Hintergrundlichtquelle, ausgelöste Re-Emission in einem vom absorbierten Ficht zumindest in Teilen unterschiedlichen Spektrum, umfassen. Ebenso ist eine Kombination, insbesondere auch eine Stapelung, von emittierenden, absorbierenden und re-emittierenden Regionen möglich. Das Kraftfahrzeug umfasst dabei zumindest eine, vorteilhafterweise eine Vielzahl an verschiedenen, Einrichtung, insbesondere eine Einrichtung zum autonomen Fahren. Einrichtungen und/oder Einstellungen des Kraftfahrzeugs, die gesteuert, kontrolliert und/oder deren Einstellung und/oder Zustand geändert werden können, umfassen insbesondere die Position des Fahrzeuginsassen im Fahrzeuginnenraums, den Fahrzeuginsassensitz, die Anzeigeeinrichtung, das Armaturenbretts, eine Mittelkonsole insbesondere eine versenk- oder verfahrbare Mittelkonsole, eine Fahrzeugöffnung, eine Wameinrichtung, eine Wärme-einrichtung, eine Klimaeinrichtung, ein Navigationssystems, eine Audioanlage, eine Telefonanlage, eine Videoanlage, eine Hologrammanlage und/oder ein Positioniermechanismus.
Die Einrichtung zum autonomen Fahren ist dafür ausgelegt, das Fahrzeug, insbesondere alle Einrichtungen des Kraftfahrzeugs, autonom zu steuern und zu bedienen. Der Fahrzeuginsasse kann auch auf die Steuerung und Bedienung der Einrichtungen, insbesondere über die Steuer- oder Regeleinheit, zugreifen. Dabei kann es passieren, dass die Steuer- oder Regeleinheit die Einstellungen, die die Einrichtung zum autonomen Fahren gemacht hat, verändern kann. Genauso ist es aber auch möglich, dass die Steuer- oder Regeleinheit die Einstellung, die die Einrichtung zum autonomen Fahren gemacht hat, nicht verändern kann. Dieser situative Aspekt der Fahrzeugkontrolle soll Fehlbedienungen und Katastrophen, die durch falsche oder fehlerhafte Bedienung ausgelöst werden, verhindern. Gleichzeitig eröffnet es aber auch die Möglichkeit, Fehler, die durch die Einrichtung zum autonomen Fahren ausgelöst werden, zu korrigieren. Es wird erfindungsgemäß ein Verfahren zum Betreiben einer Objekterkennungsvorrichtung für den Innenraum eines Kraftfahrzeugs, welches insbesondere eine Mehrzahl von Kamerasystemen und/oder Feuchteinrichtungen umfasst, geliefert, bei dem zum Erkennen zumindest einer ersten Eingabehandlung eines Benutzers eine Objektlokalisierung und eine Objekterkennung durch geführt wird, so dass das Objekt trotz Abstand und/oder Verdeckung von der Objekt erkennungsvorrichtung erkannt wird.
Ein Kraftfahrzeug nach der Erfindung kann mit einer oder einer Mehrzahl von Anzeigevorrichtungen, zumindest einem Sensor zur Erfassung einer berührungslosen Eingabehandlung und einer Steuer- oder Regeleinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens der beschriebenen Art ausgebildet ist, ausgestattet sein.
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezug auf schematische Zeichnungen beispielhaft näher erläutert, in denen Fig. la, lb eine Explosionsansicht und eine Seitenansicht einer beispielhaften Leuchteinrichtung zeigen;
Fig. 2 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem ersten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 3 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem zweiten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 4 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem dritten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 5 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem vierten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 6a-d jeweils eine Draufsicht eines Kraftfahrzeugs mit einem fünften bis achten
Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zeigen;
Fig. 7 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem neunten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 8 eine Teil-Seitenschnittansicht eines Kraftfahrzeugs mit einem zehnten
Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und Fahrzeuginsassen zeigt;
Fig. 9 eine Darstellung eines Kraftfahrzeugs mit einem elften Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zeigt;
Fig. 10 eine Darstellung eines Kraftfahrzeugs mit einem zwölften Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zeigt;
Fig. l la-d jeweils eine Draufsicht eines Fahrzeuginsassensitzes eines Kraftfahrzeugs mit einem dreizehnten Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zeigt;
Fig. l2a-c jeweils eine Darstellung eines Fahrzeuginsassensitzes eines Kraftfahrzeugs mit einem vierzehnten Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zeigt; und
Fig. 13 ein Blockdiagram eines erfindungsgemäßen Verfahrens zeigt.
Eine für den Einsatz in einer erfindungsgemäßen Objekterkennungsvorrichtung geeignete
Leuchteinrichtung 2 ist in Fig. la und lb gezeigt, und zwar mit einer Matrix aus Leuchtdioden
(LED) 3 ' bis 3 ' ' ' ' und somit mit einer Matrixoptik, wie zum Beispiel bei einem Linsenarray . Dabei umfasst die Leuchteinrichtung 2 die in der Explosionsansicht der Fig. la gezeigten Leuchtquellen 3 ' bis 3" " mit den jeweils dazugehörigen und den Leuchtquellen 3 ' bis 3" " nachgeschalteten optischen Elementen 5 ' bis 5" " eines Optiksystems 4. So kann zum Beispiel durch die Aktivierung der Leuchtquelle 3 ' ein Nahfeld beleuchtet werden, und durch die Leuchtquelle 3" ' ein Femfeld. Wie in der Seitenansicht in Fig. lb angedeutet, weiten sich die Lichtstrahlen mit zunehmendem Abstand von der Leuchteinrichtung 2 immer weiter auf. Der von Leuchtquelle 3 ' beleuchtete Bereich ist hier beispielshaft auf den Bereich zwischen zwei Beleuchtungsgrenzen A und A' begrenzt, während der von Leuchtquelle 3" ' beleuchtete Bereich beispielshaft auf den Bereich zwischen Beleuchtungsgrenzen B und B' begrenzt ist. Dadurch, dass sich die zur Verfügung gestellte Lichtintensität auf ein größeres räumliches Feld verteilt, nimmt die Tiefenausleuchtung auf Kosten der Beleuchtungsfeldgröße ab. So kann zwar mit der Leuchtquelle 3 ' ein großes räumliches Feld senkrecht zur Lichtausbreitungsrichtung im Nahfeld N beleuchtet werden, die Lichtintensität reicht jedoch nicht mehr zur Ausleuchtung des Tiefenbereichs im Femfeld F, um eine Objekterkennung durchführen zu können. Im Gegenzug ist zwar mit der Leuchtquelle 3" ' das Ausleuchtung des Tiefenbereichs im Femfeld F möglich, jedoch ist der beleuchtete Bereich im Nahfeld N kleiner als bei Leuchtquelle 3 ', so dass ein nahes Objekt vielleicht nicht vollständig erfasst werden kann. Die Leuchtquellen 3" und 3" " können bei mittleren Distanzen eingesetzt werden, um eine erhöhte Ausleuchtung zu erreichen. Alternativ kann zumindest eine der Leuchtquellen 3" , 3" " auch dazu verwendet werden, den Bereich oder einen Teilbereich außerhalb des Beleuchtungsbereichs der Lichtquelle 3" ' in Femfeld F zu beleuchten. Durch die Verwendung mehrerer Leuchtquellen kann man somit eine jeweils benötigte räumliche Ausleuchtung additiv aus mehreren Leuchtquellen zusammensetzen.
Es ist selbstverständlich, dass eine Lichtausbreitung stets im dreidimensionalen Raum stattfindet, und nicht, wie hier beispielhaft gezeigt, in einer zweidimensionalen Ebene.
Auch wenn die Anordnung der Leuchtquellen 3 ' bis 3 ' ' ' ' in den Figuren 1 a und lb in einer planen Ebene und einem regelmäßigen Muster dargestellt ist, kann auch eine gekrümmte oder anderweitig geformte Fläche zur Aufnahme der Leuchtquellen 3 ' bis 3 ' ' ' ' vorgesehen sein. Dadurch kann die Richtung der Lichtausstrahlung und der Abstand der jeweiligen Leuchtquelle 3 ' bis 3" " zu dem jeweiligen optischen Element 5 ' bis 5" " voreingestellt werden. Auch die Anzahl der Leuchtquellen kann erhöht oder erniedrigt werden, je nachdem, wie der auszuleuchtende Bereich und der vorhandene Bauraum beschaffen sind. Die optischen Elemente 5 ' bis 5 ' ' ' ' des Optiksystems 4 können auch auf einer gekrümmten oder anderweitig geformten Fläche angeordnet sein, um den zu beleuchtenden Bereich optimal ausleuchten zu können.
Vorteilshafterweise kann eine Grundplatte zur Aufnahme der Leuchtquellen und/oder der optischen Elemente in einem Spritzgussverfahren hergestellt werden, insbesondere in einem Mehrkomponenten-Spritzgussverfahren, zumindest in einem 2K-Spritzgussverfahren.
Ein in Fig. 2 gezeigtes und im Ganzen mit 10 bezeichnetes, erfindungsgemäßes Kraftfahrzeug umfasst ein Kamerasystem 12, das zum Beispiel in einem Armaturenbrett 14 angeordnet ist.
Befindet sich ein Fahrzeuginsasse 26 in einer normalen Sitzposition, wie zum Beispiel in Fig. 2 durch den Fahrers des Kraftfahrzeugs 10 dargestellt, dann kann mit dem Kamerasystem 12 eine Objekterkennung durchgeführt werden. So kann sowohl die Position und Bewegung einer Hand 32 des Fahrzeuginsassen 26 als auch die Position und Bewegung eines Kopfes 24 eines Fahrzeuginsassen 26 beobachtet werden. Das Kamerasystem 12 erfasst dabei beispielsweise sowohl die Augen 28 des Fahrzeuginsassen 26 als auch seinen gesamten Kopf 24. Die Überwachung der Position der Augen 28 kann durch Objekterkennung der Augen 28 als Ganzes erfolgen. Es kann jedoch auch eine feinere Analyse durchgeführt werden, bei der die Position von Pupillen oder Iris der Augen 28 beobachtet wird. Zur Bestimmung der Position und Orientierung des Kopfes 24 kann das Kamerasystem 12 besonders leicht zu erkennende Teile des Kopfes, wie beispielsweise die Nase 30 des Fahrzeuginsassen 26, beobachten.
Die Kombination aus der Erfassung von Kopfposition, Augenposition, Mimik und Gesten des Fahrzeuginsassen 26 ermöglicht eine besonders präzise berührungslose Steuerung des Kraftfahrzeugs 10 und dessen Funktionen.
Insbesondere bei großen Fahrzeuginsassen, jedoch auch bei nach hinten geneigten Sitzpositionen, kann es jedoch Vorkommen, dass der Abstand zwischen Fahrzeuginsasse und Kamerasystem 12 so groß wird, dass eine zuverlässige Gesten- und/oder Kopferkennung nicht mehr gewährleistet ist. Insbesondere bei TOF-Kameras, bei denen die Leuchteinrichtung oftmals im Gehäuse mit einer Kamera oder in der unmittelbaren Nähe derselben untergebracht ist, liegt dies häufig an der fehlenden Lichtleistung der Leuchteinrichtung.
In Fig. 3 ist ein Kamerasystem 12 mit einer Leuchteinrichtung gezeigt, die analog zu der in Fig. lb gezeigten Leuchteinrichtung verschiedene Bereiche ausleuchten kann. Beispielhaft werden hier drei verschiedene Bereiche gezeigt, die jeweils durch die Beleuchtungsgrenzen A und A', B und B' sowie C und C' begrenzt werden. Dabei können entweder wie bei dem Beispiel gemäß Fig. lb verschiedene Leuchtquellen mit einem fixen Optiksystem benutzt werden, aber eine einzige Leuchtquelle mit einer adaptiven Optik und/oder verschiebbaren optischen Elementen, sowie auch eine Kombination beider Systeme sind möglich.
In Fig. 4 ist ein Kamerasystem 12 mit einer Leuchteinrichtung gezeigt, die wieder analog zu der in Fig. lb gezeigten Feuchteinrichtung verschiedene Bereiche ausleuchten kann, wobei hier die Ausleuchtung des Tiefenbereichs im Femfeld durch verschiedene Feuchtquellen additiv zusammengesetzt wird und/oder durch bewegliche Feuchtquellen und/oder optische Elemente realisiert wird. Beispielhaft werden hier vier verschiedene Bereiche gezeigt, die jeweils durch die Beleuchtungsgrenzen A und A', B und B', C und C' sowie D und D' begrenzt werden
Wie in Fig. 5 dargestellt, kann durch eine, zum Beispiel am Übergang zwischen einer Windschutzscheibe 17 und dem Dach 20 des Kraftfahrzeugs 10 eingebaute, Feuchteinrichtung 16 bei Bedarf Ficht in den Bereich eingestrahlt werden, der durch die Feuchteinrichtung des Kamerasystems 12 nicht mehr ausreichend beleuchtet wird. Dabei werden Kamerasystem 12 und Feuchteinrichtung 16 vorteilhafterweise von einer gemeinsamen Steuer- oder Regeleinrichtung gesteuert, um die Aktivierung der Feuchteinrichtungen und die Signal- und/oder Datenaufnahme abzustimmen. Durch das Ficht der Feuchteinrichtung 16 wird die Objekterkennung in einem größeren räumlichen Umfeld möglich. Die Feuchteinrichtung 16 kann dabei alternativer Weise auch in einen Innenrückspiegel (nicht gezeigt) des Kraftfahrzeugs 10 integriert werden.
Eine andere Ausgestaltung der Feuchteinrichtung 16 ist in den Fig. 6a bis 6d dargestellt. Dabei beleuchtet eine Feuchteinrichtung 16 den Fahrzeuginsassen 26 im Fahrzeuginsassensitz 18 zumindest teilweise von der Seite. Es kann zum Beispiel vorgesehen sein, dass die Feuchteinrichtung 16, wie in Fig. 6a gezeigt, in einem Haltegriff 34 zum Beispiel über der Fahrertür angebracht ist. Eine derartige Feuchteinrichtung kann auch in den anderen Haltegriffen 34' auf der Beifahrerseite vorgesehen sein. Außerdem kann es vorgesehen sein, zusätzliche Haltegriffe 34” in einem Fahrzeuginnenraum zu installieren, um Fahrzeuginsassen in einem zumindest teilweise autonomen Kraftfahrzeug die Bewegung und/oder Sicherung zu erleichtern, die dann natürlich auch mit entsprechenden Feuchteinrichtungen 16 versehen werden können.
In Fig. 6b wird gezeigt, dass die Feuchteinrichtung 16 auch in einem Teil der A-Säule 36, der B- Säule 38 und/oder der C-Säule 40 des Kraftfahrzeugs 10 integrieren werden kann. In Fig. 6c wird gezeigt, dass die Leuchteinrichtung 16 ferner im Bereich der Tür, der Türrahmen, der Fenster, der Fensterrahmen und den entsprechenden Abdeckungen, insbesondere der Verkleidung, hier kollektiv mit Türkomponenten 42 bezeichnet, integriert werden kann.
In Fig. 6d wird schließlich eine Leuchteinrichtung 16 gezeigt, die im Bereich der Fahrzeugmitte an der Decke, also dem Dach 20 oder dem Dachhimmel 22, angeordnet ist. Durch diese Positionierung ist es möglich, den zentralen Bereich des Kraftfahrzeuginnenraums besonders gut auszuleuchten. Vorteilhafterweise ist die Leuchteinrichtung 16 innerhalb eines kuppelförmigen Gehäuses 44 untergebracht, von wo aus die Leuchteinrichtung 16 bis zu 360 ° in einer vertikalen und bis zu 180 ° in einer horizontalen Ebene ausleuchten kann. Dies kann über mehrere fest installierte Leuchteinrichtungen passieren, oder die installierte Leuchteinrichtung kann eine Bewegung ausführen, um die Richtung der Lichtausbreitung zu verändern.
In den Fig. 7 bis 10 ist die Leuchteinrichtung 16 im Dachhimmel 22 integriert. Einerseits kann dies durch Leuchteinrichtungen geschehen, die bereichsweise über die Fläche des Dachhimmels 22 verteilt angeordnet sind, andererseits kann der gesamte Dachhimmel 22 selbst als Leuchteinrichtung ausgebildet sein. Durch die Integration der Leuchteinrichtung 16 in den Dachhimmel 22 können besonders vorteilhafterweise auch die in den Fig. 8 bis 10 dargestellten Sitz- bzw. Liegepositionen, die von Fahrzeuginsassen 26 und im Zusammenhang mit autonomen und/oder nicht selbst gesteuerten Fahrzeugen eingenommen werden können, beleuchtet werden. Insbesondere können aber auch nicht gezeigte Sitzpositionen und/oder Liegepositionen eingenommen werden. So können sich die Fahrzeuginsassen auch quer zur Fahrtrichtung des Kraftfahrzeugs ausrichten und/oder auf der Seite oder dem Bauch in dem Fahrzeuginsassensitz liegen. Bei der Bauchlage kann der Fahrzeuginsassensitz, insbesondere das Kopfteil des Fahrzeuginsassensitzes, über einen Bereich, insbesondere eine Aussparung oder ein Loch, verfügen, um den Kopf des Fahrzeuginsassen aufzunehmen, ohne dessen Gesicht zu verdecken. So wird für den Fahrzeuginsassen auch in einer solchen Position eine Möglichkeit geschaffen, den Kopf abzulegen, ohne dass dessen Atmung und/oder Ausblick durch den Fahrzeuginsassensitz behindert werden. In der Aussparung bzw. dem Loch können auch Leuchteinrichtungen, Kamerasysteme, Geräte, wie zum Beispiel Lautsprecher und/oder Mikrofone, und/oder Sensoren angebracht und/oder integriert werden.
Dabei kann es auch vorgesehen sein, dass der Dachhimmel 22 über eine für den Spektralbereich der Leuchteinrichtung 16 bereichsweise zumindest teil-transparente Abdeckung verfügt, so dass die Leuchteinrichtung 16 selbst nicht zu sehen ist, während das Licht der Leuchteinrichtung 16 das räumliche Umfeld trotzdem beleuchten kann. Vorteilhafterweise ist die Abdeckung für den Spektralbereich der Leuchteinrichtung im Wesentlichen vollständig transparent, während sie im sichtbaren Spektralbereich im Wesentlichen nicht transparent ist.
Durch die Verwendung mehrerer der obigen Leuchteinrichtungen an verschiedenen Positionen kann eine besonders gute Ausleuchtung des Fahrzeuginnenraumes erfolgen.
Erfindungsgemäß nutzbare Leuchteinrichtungen integriert in oder in Form von Anzeigeeinrichtungen 46 sind in den Fig. 11 bis 12 dargestellt. In den Fig. l la bis l ld sind beispielshaft vier verschiedene V arianten von Anzeigeeinrichtungen 46 dargestellt, die in der Nähe von oder vor den Kopf 24 eines Fahrzeuginsassen 26 positioniert werden können. Dabei ist die Anzeigeeinrichtung 46 vorteilhafterweise in oder an der Kopfteil 48 des Fahrzeuginsassensitzes 18 angebracht und lässt sich über einen Positionierungsmechanismus 52 manuell oder automatisch in eine Position bringen, um dem Fahrzeuginsassen 26 Informationen bereitstellen zu können und/oder die Objekterkennung durch die Feuchteinrichtung und/oder durch das Kamerasystem unterstützen zu können. Eine Rotation und/oder Drehung der Anzeigeeinrichtung 46 bzw. des Positionierungsmechanismus 52 zur Anpassung an den Blickwinkel und das Blickfeld des Fahrzeuginsassen 26 ist auch möglich.
Zusätzlich oder alternativ kann es auch vorgesehen sein, dass eine Feuchteinrichtung ohne Anzeigeeinrichtung durch einen Positionierungsmechanismus 52 derart positioniert wird, dass sie die Objekterkennung unterstützen kann. Die Feuchteinrichtung kann dazu auch auf einer der Anzeigeeinrichtung abgewandten Seite positioniert werden, um zum Beispiel Gesten von Fahrzeuginsassen zu beleuchten.
In Figur l2a ist eine Anzeigeeinrichtung 46 am Fahrzeuginsassensitz 18 positioniert, zum Beispiel neben oder an einer Armlehne 50. Der Fahrzeuginsasse 26 kann dabei die Anzeigeeinrichtung 46 manuell aus einer Halterung holen und in den Händen halten, wie in Fig. 1 Ob dargestellt. Alternativ oder zusätzlich kann die Anzeigeeinrichtung 46, wie in Fig. lOc dargestellt, auch über einen Positionierungsmechanismus 52 im Blickfeld des Fahrzeuginsassen 26 so positioniert werden, dass der Fahrzeuginsasse 26 keine Hände für das Halten der Anzeigeeinrichtung 46 benötigt. Die Positionierung der Anzeigeeinrichtung 46 kann manuell und/oder motorbetrieben stattfinden. Die Anzeigeeinrichtung 46 kann auch in einem Teil des Fahrzeuginsassensitz 18 ausgebildet werden oder an einem solchen Teil eines Fahrzeuginsassensitz 18 angebracht sein, zum Beispiel einer Armlehne 50, an einer Kopfteil 48 , einem Fußteil und/oder an einem Rückhaltesystem, wie zum Beispiel als Teil eines Sicherheitsgurtsystems (nicht gezeigt). Das Rückhaltesystem für den Fahrzeuginsassen ist dementsprechend auch dazu ausgelegt, den Fahrzeuginsassen in allen Sitz- bzw. Liegepositionen sichern zu können. Dabei kann es auch vorgesehen sein, dass eine Leuchteinrichtung ohne Anzeigeeinrichtung durch einen Positionierungsmechanismus 52 derart positioniert wird, dass sie die Objekterkennung unterstützen kann.
Ein Positionierungsmechanismus 52 kann dabei zumindest ein Gelenk umfassen, um eine Drehung um einen Drehpunkt ermöglichen und/oder auszuführen. Alternativ oder zusätzlich kann ein Positionierungsmechanismus 52 auch eine lineare Bewegung ermöglichen und/oder ausführen, zum Beispiel in Form einer Schiene oder eines ausfahrbaren Stabs. Insbesondere kann ein Positionierungsmechanismus 52 eine Kombination von verschiedenen Bewegungen und/oder Bewegungsformen ermöglichen und/oder ausführen. Der Positionierungsmechanismus 52 verfügt dabei über zumindest eine erste Endposition und eine zweite Endposition, und ist über zumindest eine Bewegung zwischen der ersten und der zweiten Endposition überführbar. Eine erste Endposition kann beispielsweise ein zusammengefalteter Zustand sein, in dem zum Beispiel das Gerät, die Leuchtquelle, das Kamerasystem, die Anzeigeeinrichtung und/oder die Einrichtung in einem Stauraum oder einer Anfangsposition, zum Beispiel am Fahrzeuginsassensitz, der Mittelkonsole oder dem Dachhimmel, positioniert ist. Bei Bedarf kann dann durch das Ausführen einer Bewegung mit dem Positionierungsmechanismus 52 das Gerät, die Leuchtquelle, das Kamerasystem, die Anzeigeeinrichtung und/oder die Einrichtung in eine zweite Endposition bewegt werden. Dies kann dann zum Beispiel dazu führen, dass das Gerät, die Leuchtquelle, das Kamerasystem, die Anzeigeeinrichtung und/oder die Einrichtung im Blickfeld eines Fahrzeuginsassen positioniert wird und dort, wenn keine weitere Bewegung ausgeführt wird oder erforderlich ist, verharrt. Insbesondere kann der Positioniermechanismus 52 in Wirkverbindung mit dem Fahrzeuginsassensitz, der Anzeigeeinrichtung, dem Armaturenbrett, der Mittelkonsole, der Fahrzeugöffhung, der Wameinrichtung, der Wärmeeinrichtung, der Klimaeinrichtung, dem Navigationssystem, der Audioanlage, der Telefonanlage, der Videoanlage und/oder der Hologrammanlage stehen oder ist damit in Wirkverbindung bringbar.
Besonders vorteilhaft kann auch die Ausgestaltung der Anzeigeeinrichtung und/oder Leuchteinrichtung als Teil eines Fußteils des Fahrzeuginsassensitzes stattfinden. Wenn der Fahrzeuginsasse eine Liegeposition einnimmt, kann durch die in das Fußteil des Fahrzeuginsassensitzes ausgebildete oder daran angebrachte Anzeigeeinrichtung und/oder Leuchteinrichtung die Objekterkennung verbessert und/oder durchgeführt werden.
Ferner kann das Kraftfahrzeug 10 eine Mehrzahl von in den Figuren nicht dargestellten Anzeigeeinrichtungen umfassen, die beispielsweise im Armaturenbrett 14 integriert sein können, als Head-Up-Display auf der Windschutzscheibe 18 ausgeführt sein können oder in einem Dachhimmel 22 oder anderen Innenverkleidungsteilen des Kraftfahrzeugs 10, insbesondere im Bereich der Fahrzeugtüren, verbaut sein können. Weiterhin können die Fenster des Kraftfahrzeugs 10 auch als Anzeigeeinrichtung und/oder Leuchteinrichtung ausgebildet sein. In diesem Zusammenhang wird vorteilhafterweise eine Anzeigeeinrichtung und/oder Leuchteinrichtung verwendet, die im ausgeschalteten Zustand zumindest bereichsweise im Wesentlichen transparent ist, während sie im angeschalteten Zustand Informationen und/oder Licht bereitstellt. Zum Beispiel können organische Leuchtdioden (OLED) dafür verwendet werden. Allerdings können auch Anzeigeeinrichtungen verwendet werden, die die Fenster des Kraftfahrzeugs komplett ersetzen und auf denen beispielsweise das durch Kamerasysteme aufgenommene Bild der Umgebung gezeigt werden kann. Weitere Anzeigeeinrichtungen umfassen eine Projektionsfläche, ein Head-Up-Display, ein flexibles OLED-Display, ein Flüssigkristalldisplay, lichttechnisches Gewebe und/oder lichttechnische Folien, insbesondere in Form eines Dachhimmelmonitors, Innenverkleidungsteilmonitors, eines linken Türmonitors, eines linken Hauptmonitors, eines rechten Hauptmonitors und/oder eines rechten Türmonitors, die in einem Armaturenbrett, auf einer Windschutzscheibe, in einem Dachhimmel und/oder in der Mittelkonsole angeordnet werden können.
Anstelle oder zusätzlich zu den in allen Ausführungsformen genannten Feuchteinrichtungen kann auch an den jeweiligen Positionen eine Kamera und/oder ein Kamerasystem verwendet werden, um die Objekterkennung durchzuführen und/oder zu verbessern. Dies ist insbesondere dann vorteilhaft, wenn durch die Veränderung von Sitzposition und Sitzausrichtung sowie durch Verdeckung das Objekt nicht mehr im ursprünglichen Erfassungsbereich des Kamerasystems ist.
Weiterhin kann es vorgesehen sein, dass die Steuer- oder Regeleinrichtung zur Objekterkennung auf Daten, Sensoren, Kameras und/oder Feuchteinrichtungen von anderen Geräte, wie zum Beispiel externen Geräten und/oder andern Fahrzeugeinrichtungen zugreift. So kann die Steuer oder Regeleinrichtung zum Beispiel auf ein mobiles Endgerät, das einem Fahrzeuginsassen gehört und mit ihm herumgetragen wird, zugreifen, um zusätzliche Daten, wie zum Beispiel Steuerbefehle, Profildaten oder Sensordaten, zu bekommen und/oder Kameras und/oder Feuchteinrichtungen des mobilen Endgeräts zu nutzen. Ebenso ist es möglich, Daten von Fahrzeugeinrichtungen zu erhalten oder Fahrzeugeinrichtungen zu steuern, um die Objekterkennung zu unterstützen und/oder durchführen zu können. Beispiele solcher Fahrzeugeinrichtungen können Sensoren sein, die zum Beispiel im Fahrzeuginsassensitz integriert sind und die Ausrichtung, Position, Beschleunigung, Temperatur, den Zustand des Fahrzeuginsassensitzes und/oder Daten vom Fahrzeuginsassen, wie zum Beispiel Gewicht, Atmung, Herzschlag, Temperatur, Beschleunigung und/oder Bewegung messen. Andere vorteilhafte Fahrzeugeinrichtungen können Speichereinrichtungen, Datenübertragungs- und/oder Informationsschnittstellen sein, die ein Profil mit den Daten, wie zum Beispiel körperliche Daten, insbesondere den Gesichtsmerkmalen und/oder bevorzugten Einstellungen des Fahrzeuginsassen, zur Verfügung stellen und für die Objekterkennung genutzt werden können.
Ein Verfahren zum Betreiben einer erfindungsgemäßen Objekterkennungsvorrichtung wird beispielshaft in dem Blockdiagram in Fig. 13 gezeigt. Das Verfahren umfasst dabei zumindest die Schritte der Signal- und/oder Datenaufhahme, der Objektlokalisierung und der Objekterkennung. Basierend auf der Objektlokalisierung kann dann bei Bedarf die Ausleuchtung des Kraftfahrzeuginnenraums optimiert werden, um die Objekterkennung durchzuführen. Die von der Objekterkennung erkannten Befehle können dann ausgeführt werden. Aus den zur Verfügung gestellten Daten werden die Objektlokalisierung und die Objekterkennung durch entsprechende Algorithmen realisiert. Die Optimierung und/oder Variation der Ausleuchtung kann auch zusätzlich oder alternativ vor der Objektlokalisierung stattfinden. Dies ist insbesondere dann wichtig, wenn ohne eine solche Ausleuchtungsveränderung nicht genug Daten für eine erste Objektlokalisierung gewonnen werden können.
Bevorzugt werden vor oder während der Aktivierung des Kraftfahrzeugs Hintergrunddaten aufgenommen, um die Objektlokalisierung und Objekterkennung leichter durchführen zu können. Dies kann zum Beispiel passieren, bevor oder während das Kraftfahrzeug entriegelt wird und ein Fahrzeuginsasse in das Kraftfahrzeug einsteigt, insbesondere dann, wenn er einen Entriegelungsbefehl, zum Beispiel über eine externe Steuerung wie eine Fernbedienung, ein Smartphone und/oder ein anderes Gerät, für das Kraftfahrzeug gibt. Durch den Vergleich des vorherigen Zustands mit dem Ist-Zustand kann die Objekterkennung die Unterschiede, die in der Folge durch den Fahrzeuginsassen herbeigeführt werden, besser erkennen.
Alternativ oder zusätzlich kann die Objekterkennungsvorrichtung nach anderen Geräten, bevorzugt aktiven Geräten, Fahrzeugeinrichtungen und Sensoren suchen, die die Objekterkennung durchführen und/oder unterstützen können. Dazu kann regelmäßig, aber zumindest während und nach dem Aktivieren des Kraftfahrzeugs ein Steuersignal versendet werden, das nach veränderten Sensordaten, Fahrzeugeinrichtungen und/oder zusätzlichen Geräten sucht. Dieses Steuersignal kann sowohl Kabelgebunden als auch ohne Kabel versendet werden. Die gefundenen Geräte, Fahrzeugeinrichtungen und/oder Sensoren werden dann von der Steuer- oder Regeleinrichtung der Objekterkennungsvorrichtung in das Verfahren zur Objekterkennung mit aufgenommen, um Daten zu erhalten und/oder Daten zu senden. Diese Schritte können auch durchgeführt werden, bevor die Aufnahme der Hintergrunddaten ausgeführt oder abgeschlossen ist. Dadurch können möglichst alle Geräte, Fahrzeugeinrichtungen und/oder Sensoren Hintergrunddaten liefern, die zu einer Verbesserung der Objekterkennung führen.
Die in der voranstehenden Beschreibung, in den Zeichnungen sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in jeder beliebigen Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausführungsformen wesentlich sein.
Bezugszeichenliste
A, A', B, B', C, C', D, D' Beleuchtungsgrenzen N Nahfeld
F Femfeld
2 Leuchteinrichtung
3, 3', 3”, 3" ' , 3" " Leuchtquelle
4 Optiksystem
Figure imgf000026_0001
Optisches Element
10 Kraftfahrzeug
12 Kamerasystem
14 Armaturenbrett
16 Leuchteinrichtung
17 Windschutzscheibe
18 F ahrzeuginsassensitz 20 Dach
22 Dachhimmel
24 Kopf
26 Fahrzeuginsasse
28 Auge
30 Nase
32 Hand
34, 34', 34” Haltegriff
36 A- Säule
38 B-Säule
40 C-Säule
42 T ürkomponenten
44 Gehäuse
46 Anzeigeeinrichtung
48 Kopfteil
50 Armlehne
52 Positionierungsmechanismus

Claims

Ansprüche
1. Objekterkennungsvorrichtung zur Erkennung zumindest eines, sich insbesondere
bewegenden, Objekts (26), vorzugsweise bereitgestellt von einem Fahrzeuginsassen oder in Form zumindest eines Teils des Fahrzeuginsassen, im Innenraum eines Kraftfahrzeugs (10), umfassend:
ein Kamerasystem (12), das zumindest einen Sensor zur Umwandlung elektromagnetischer Strahlung in elektrische Signale und eine Feuchteinrichtung (2) mit zumindest einer
Feuchtquelle (3) sowie einem Optiksystem (4) umfasst; und
eine Steuer- oder Regeleinrichtung, die dazu ausgelegt ist, die elektrischen Signale von dem Kamerasystem (12) und/oder Daten von zumindest einem Sensor, zumindest einem weiteren Gerät und/oder zumindest einer Einrichtung des Kraftfahrzeugs (10) zu empfangen,
Steuerbefehle zu generieren sowie an das Kamerasystem, das weitere Gerät und/oder die Einrichtung des Kraftfahrzeugs (10) zu senden; dadurch gekennzeichnet, dass
die Feuchteinrichtung (2) durch zumindest ein optisches Element (5-5'”') des Optiksystems (4) und/oder zumindest eine zusätzliche Feuchteinrichtung (16) und/oder ein zusätzliches Kamerasystem, vorzugsweise jeweils in der Nähe des Objektes positioniert, bestimmte Bereiche, insbesondere ein Nahfeld (N) und ein Femfeld (F), im Kraftfahrzeug (10) so ausleuchten kann, dass durch das Kamerasystem (12) zu einer Vielzahl von Objektpunkten in den Bereichen zumindest eine in den elektrischen Signalen enthaltende
Entfemungsinformation erfassbar ist, wobei die Ausleuchtung, die Objektlokalisierung und/oder -erkennung und/oder die Aktivierung zumindest einer der Feuchteinrichtungen (2, 16) und/oder Kamerasysteme (12) vom Zustand des Kraftfahrzeugs (10), bestimmt durch Geschwindigkeit, Beschleunigung, Fahrzeugsitzbelegung, Fahrzeugsitzposition,
Fahrzeugsitzausrichtung und/oder Beleuchtung, insbesondere die Beleuchtung des
Fahrzeuginnenraums, und/oder vom Zustand der Umgebung des Kraftfahrzeugs (10), bestimmt durch das Wetter, Tag, Nacht, Fahrbahn, Verkehrszeichen und/oder
Verkehrssituation, bestimmt ist.
2. Objekterkennungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass
die Feuchteinrichtung (2) des Kamerasystems (12), die zusätzliche Feuchteinrichtung (16) und/oder die Feuchteinrichtung des zusätzlichen Kamerasystems mehr als eine Feuchtquelle (3 - 3'”') umfasst bzw. umfassen, wobei vorzugsweise jede Feuchtquelle, insbesondere unabhängig voneinander, in Abhängigkeit von dem Zustand des Objekts (26), des
Kraftfahrzeugs (10) und/oder der Umgebung des Kraftfahrzeugs (10) und/oder der Entfernung des Objekts (26) zum Kamerasystem (12), insbesondere des Sensors des
Kamerasystems, und/oder zum zusätzlichen Kamerasystem, insbesondere des Sensors des zusätzlichen Kamerasystems, aktivierbar ist.
3. Objekterkennungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
die Steuer- oder Regeleinrichtung die Ausleuchtung von verschiedenen Bereichen im
Innenraum des Kraftfahrzeugs (10) basierend auf dem Zustand des Objekts (26), des
Kraftfahrzeugs (10) und/oder der Umgebung des Kraftfahrzeugs und/oder der Entfernung des Objekts (26) zum Kamerasystem (12), insbesondere des Sensors des Kamerasystems (12), und/oder zum zusätzlichen Kamerasystem, insbesondere des Sensors des zusätzlichen Kamerasystems, verändert.
4. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
die Ausleuchtung, die Objektlokalisierung und/oder -erkennung und/oder die Aktivierung zumindest einer der Leuchteinrichtungen (2, 16) und/oder Kamerasysteme (12) vom Zustand des Objekts (26), bestimmt durch Größe, Gewicht, Atmung, Herzschlag, Temperatur, Beschleunigung, Bewegung und/oder körperlichen Fitheit des Fahrzeuginsassen, bestimmt ist.
5. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
die Leuchteinrichtung (2) des Kamerasystems (12), die Leuchteinrichtung des zusätzlichen Kamerasystems, die zusätzliche Leuchteinrichtung (16), das Kamerasystem (12) und/oder das zusätzliche Kamerasystem in einem Armaturenbrett (14), einer Mittelkonsole, insbesondere eine versenk- oder verfahrbaren Mittelkonsole, einer Windschutzscheibe (17), einem Dach (20), einem Dachhimmel (22), einem Haltegriff (34, 34', 34”), einer A-Säule (36), einer B-Säule (38), einer C-Säule (40), einer Türkomponente (42), oberhalb einer Tür, einem Gehäuse (44), insbesondere ein kuppelförmiges Gehäuse im Bereich der
Fahrzeugmitte am Dach (20) oder Dachhimmel (22), einer Anzeigeeinrichtung (46), einem Fahrzeuginsassensitz (18), insbesondere einem Kopfteil (48), einem Fußteil und/oder einer Armlehne (50) des Fahrzeuginsassensitzes (18), einem Rückhaltesystem für den
Fahrzeuginsassen, einem Positionierungsmechanismus (52), insbesondere einem
motorbetriebenen Positionierungsmechanismus, einer Verkleidung und/oder dem Gerät, insbesondere in Form eines mobilen Geräts des Objekts (26), angebracht oder darin integriert ist.
6. Objekterkennungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass
die in der Anzeigeeinrichtung (46) integrierte Leuchteinrichtung über einen Anzeigebereich der Anzeigeeinrichtung verteilte Leuchtquellen umfasst, wobei die Leuchtquellen der Anzeigeeinrichtung Gruppen von Emittern und/oder Regionen mit unterschiedlichen spektralen Emissionsbereichen umfassen, die dazu ausgelegt sind, Licht in zumindest einen Teil eines für die Objekterkennung genutzten Spektralbereichs bereitstellen zu können, und/oder zusätzlich spektrale Emitter für den Spektralbereich der Objekterkennung umfassen.
7. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
das Optiksystem (4) Führungen und/oder rotierende Räder zum Austauschen und/oder Verschieben des optischen Elements (5 - 5'”') und/oder Aktuatormittel zur Induktion von Bewegungen umfasst, und/oder das optisches Element (5 - 5 ' ' ' ') des Optiksystems (4) Linsen, Filter, adaptive Optiken, aktive optische Elemente und/oder Spiegel umfasst.
8. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, umfassend
eine Rechner- oder Kontrolleinheit, die zur Auswertung der elektrischen Signale und/oder der Daten, insbesondere durch einen Objektlokalisierungsalgorithmus und/oder einen
Objekterkennungsalgorithmus, ausgelegt ist.
9. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
die Steuer- oder Regeleinrichtung dazu ausgelegt ist, das Kamerasystem (12), das zusätzliche Kamerasystem, die Leuchteinrichtung (2) des Kamerasystems (12), die zusätzliche
Leuchteinrichtung (16), die Leuchteinrichtung des zusätzlichen Kamerasystems, zumindest einen Sensor, die Einrichtung und/oder das Gerät, insbesondere umfassend das mobile Gerät, zu steuern und/oder zu koordinieren.
10. Objekterkennungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
die Ausleuchtung bestimmbar ist über die spektrale Frequenz, Amplitude, Dauer, insbesondere bestimmt durch Pulsfrequenz und/oder Pulslänge, Polarisation und/oder Intensität der Beleuchtung, wobei vorzugsweise die spektrale Frequenz oberhalb und/oder unterhalb des sichtbaren Lichts liegt.
11. Verfahren zum Betreiben einer Objekterkennungsvorrichtung nach einem der
vorhergehenden Ansprüche gekennzeichnet durch
eine Signal- und/oder Datenaufnahme, Objektlokalisierung, Anpassung der Ausleuchtung des Objekts, Objekterkennung und/oder Steuerbefehlerzeugung.
12. Verfahren nach Anspruch 11, bei welchem
vor der Signal- und/oder Datenaufnahme eine Aufnahme von Hintergrunddaten und/oder eine Verbindung mit dem Gerät, dem Sensor und/oder der Einrichtung durchgeführt wird.
13. Kraftfahrzeug (10), insbesondere selbstfahrendes Kraftfahrzeug (10), mit einer
Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 10 und/oder zum
Durchführen eines Verfahrens nach Anspruch 11 oder 12 ausgelegt.
14. Kraftfahrzeug (10) nach Anspruch 13, dadurch gekennzeichnet, dass
die Einrichtung zum autonomen Fahren ausgelegt ist, und/oder
die Steuer- oder Regeleinrichtung zum Einstellen der Position des Fahrzeuginsassen im Fahrzeuginnenraums, insbesondere über den Fahrzeuginsassensitz (18), der
Anzeigeeinrichtung (46), des Armaturenbretts (14), der Mittelkonsole insbesondere einer versenk- oder verfahrbarer Mittelkonsole, einer Fahrzeugöffnung, einer Wameinrichtung, einer Wärmeeinrichtung, einer Klimaeinrichtung, eines Navigationssystems, einer
Audioanlage, einer Telefonanlage, einer Videoanlage, einer Hologrammanlage und/oder des Positioniermechanismus (52) ausgelegt ist.
15. Kraftfahrzeug (10) nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass
der Positioniermechanismus (52) in Wirkverbindung mit dem Fahrzeuginsassensitz (18), der Anzeigeeinrichtung (46), dem Armaturenbrett (14), der Mittelkonsole, der Fahrzeugöffhung, der Wameinrichtung, der Wärmeeinrichtung, der Klimaeinrichtung, dem Navigationssystem, der Audioanlage, der Telefonanlage, der Videoanlage und/oder der Hologrammanlage steht oder bringbar ist.
PCT/EP2019/061933 2018-05-09 2019-05-09 Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug WO2019215286A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19725049.1A EP3790768B1 (de) 2018-05-09 2019-05-09 Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug
US17/053,438 US11697381B2 (en) 2018-05-09 2019-05-09 Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle
US17/675,764 US20220172489A1 (en) 2018-05-09 2022-02-18 Systems and methods for object detection in the interior of a motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018111239.4A DE102018111239A1 (de) 2018-05-09 2018-05-09 Vorrichtung und Verfahren zum Betreiben einer Objekterkennung für den Innenraum eines Kraftfahrzeugs sowie ein Kraftfahrzeug
DE102018111239.4 2018-05-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/053,438 A-371-Of-International US11697381B2 (en) 2018-05-09 2019-05-09 Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle
US17/675,764 Continuation-In-Part US20220172489A1 (en) 2018-05-09 2022-02-18 Systems and methods for object detection in the interior of a motor vehicle

Publications (1)

Publication Number Publication Date
WO2019215286A1 true WO2019215286A1 (de) 2019-11-14

Family

ID=66597534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/061933 WO2019215286A1 (de) 2018-05-09 2019-05-09 Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug

Country Status (4)

Country Link
US (1) US11697381B2 (de)
EP (1) EP3790768B1 (de)
DE (1) DE102018111239A1 (de)
WO (1) WO2019215286A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023000955B3 (de) 2023-03-13 2024-05-29 Mercedes-Benz Group AG Fahrzeuginsassenerfassungsvorrichtung und Fahrzeug

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631160B1 (ko) * 2019-07-11 2024-01-30 엘지전자 주식회사 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
DE102019218839A1 (de) * 2019-12-04 2021-06-10 Zf Friedrichshafen Ag Vorrichtung zur Überwachung eines Fahrzeuginnenraums und Verfahren zum Abführen von Wärme einer Vorrichtung zur Überwachung eines Fahrzeuginnenraums
US11332079B2 (en) 2020-02-18 2022-05-17 GM Global Technology Operations LLC Overmolded trim component with integrated sensor lens assembly
US20230296214A1 (en) * 2022-03-18 2023-09-21 Ams-Osram International Gmbh Optoelectronic apparatus and method for projecting a light field pattern onto an object using an optoelectronic apparatus
DE102022211601A1 (de) 2022-11-03 2024-05-08 Volkswagen Aktiengesellschaft Glasdach für ein Kraftfahrzeug mit integrierter Matrix-LED-Beleuchtung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6441363B1 (en) 1999-02-24 2002-08-27 Siemens Vdo Automotive Corporation Vehicle occupant sensing system
US6678598B1 (en) * 1999-06-24 2004-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for seat supervision in motor vehicles
US20080048887A1 (en) 2006-08-24 2008-02-28 Takata Corporation Vehicle occupant detection system
US20120098968A1 (en) * 2004-04-15 2012-04-26 Donnelly Corporation Imaging system for vehicle
WO2013001084A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und verfahren zur berührungslosen erfassung von gegenständen und/oder personen und von diesen ausgeführten gesten und/oder bedienvorgängen
US9244527B2 (en) 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
WO2016067082A1 (de) * 2014-10-22 2016-05-06 Visteon Global Technologies, Inc. Verfahren und vorrichtung zur gestensteuerung in einem fahrzeug
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US20170247000A1 (en) * 2012-03-14 2017-08-31 Autoconnect Holdings Llc User interface and virtual personality presentation based on user profile
CN109501681A (zh) * 2017-09-14 2019-03-22 福特环球技术公司 用于移动车辆中物品存储装置的物品的操纵系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6441363B1 (en) 1999-02-24 2002-08-27 Siemens Vdo Automotive Corporation Vehicle occupant sensing system
US6678598B1 (en) * 1999-06-24 2004-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for seat supervision in motor vehicles
US20120098968A1 (en) * 2004-04-15 2012-04-26 Donnelly Corporation Imaging system for vehicle
US20080048887A1 (en) 2006-08-24 2008-02-28 Takata Corporation Vehicle occupant detection system
WO2013001084A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und verfahren zur berührungslosen erfassung von gegenständen und/oder personen und von diesen ausgeführten gesten und/oder bedienvorgängen
US9244527B2 (en) 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images
WO2016067082A1 (de) * 2014-10-22 2016-05-06 Visteon Global Technologies, Inc. Verfahren und vorrichtung zur gestensteuerung in einem fahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023000955B3 (de) 2023-03-13 2024-05-29 Mercedes-Benz Group AG Fahrzeuginsassenerfassungsvorrichtung und Fahrzeug
WO2024188636A1 (de) 2023-03-13 2024-09-19 Mercedes-Benz Group AG Fahrzeuginsassenerfassungsvorrichtung und fahrzeug

Also Published As

Publication number Publication date
US11697381B2 (en) 2023-07-11
EP3790768B1 (de) 2024-04-03
DE102018111239A1 (de) 2019-11-14
US20210245676A1 (en) 2021-08-12
EP3790768A1 (de) 2021-03-17

Similar Documents

Publication Publication Date Title
EP3790768B1 (de) Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug
DE102005031637B4 (de) Beleuchtungsvorrichtung für den Fahrgastraum eines Fahrzeugs
EP1297511B1 (de) Verfahren und vorrichtung zur überwachung des innenraums und des umfeldes eines fahrzeugs
DE112007003262B4 (de) Inneninformationsanzeigevorrichtung und für dieselbe verwendete Lichtstrahlungsvorrichtung
DE102012208644B4 (de) Vorrichtung und Verfahren zur Anpassung einer Sitzposition
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE102013216454B4 (de) Verfahren und System zum Messen der Kopfposition eines Fahrers
DE102013019210A1 (de) Beleuchtungsvorrichtung für den Fahrgastraum eines Kraftfahrzeugs und Verfahren zum Steuern der Beleuchtungsvorrichtung
EP2915022B1 (de) Verfahren zum eingeben eines steuerbefehls für eine komponente eines kraftwagens
DE102018210160B4 (de) Am Fahrzeugdach montiertes System
DE202018105182U1 (de) Fahrzeugpunktstrahler mit Verfolgungsfunktion
DE102020115779A1 (de) Abbildungssteuerungsvorrichtung
CN108473090A (zh) 用于示出车辆的后向的外部区域的方法
DE102020211339A1 (de) Verfahren und System zur automatischen Ausrichtung einer Rückspiegeleinheit
WO2016091736A1 (de) Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten
DE102019217703A1 (de) Fahrzeugsitz
DE102015010421A1 (de) Dreidimensionale Erfassung des Fahrzeuginnenraums
DE102018217869A1 (de) Innenraumerfassungssystem
US20220172489A1 (en) Systems and methods for object detection in the interior of a motor vehicle
DE102019213607A1 (de) 3D-Darstellung in digitalem Fahrzeugrückspiegel
DE102022103604A1 (de) Bordeigene überwachungseinrichtung für ein fahrzeug
DE102022103605A1 (de) Bordeigene mehrfach-überwachungseinrichtung für ein fahrzeug
EP1394756B1 (de) Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
DE102020210055A1 (de) Verfahren und Vorrichtung zur Innenraumüberwachung eines Fahrzeugs
DE102020108124A1 (de) Kompakte Visor-Blickfeldanzeigevorrichtung mit Eyebox-Tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19725049

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019725049

Country of ref document: EP

Effective date: 20201209