WO2014016286A1 - Verfahren und vorrichtung zum ermitteln von situationsdaten basierend auf bilddaten - Google Patents

Verfahren und vorrichtung zum ermitteln von situationsdaten basierend auf bilddaten Download PDF

Info

Publication number
WO2014016286A1
WO2014016286A1 PCT/EP2013/065498 EP2013065498W WO2014016286A1 WO 2014016286 A1 WO2014016286 A1 WO 2014016286A1 EP 2013065498 W EP2013065498 W EP 2013065498W WO 2014016286 A1 WO2014016286 A1 WO 2014016286A1
Authority
WO
WIPO (PCT)
Prior art keywords
roi
image data
image
refresh rate
frame
Prior art date
Application number
PCT/EP2013/065498
Other languages
English (en)
French (fr)
Inventor
Martin Rous
Dijanist GJIKOKAJ
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2014016286A1 publication Critical patent/WO2014016286A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Definitions

  • the invention relates to a method and a device for determining
  • Vehicle data is decoded temporally and / or spatially and / or intensity according to a predetermined coding scheme.
  • Strong delays or changes in distance are read out in current camera-based adaptive cruise control algorithms using recorded images.
  • objects in the image are extracted on the basis of suitable features which are decisive for safety, such as in the case of an emergency braking assistant, and / or for comfort, such as, for example, an adaptive cruise control.
  • the resulting delay which is also caused by the time required to interpret the image features, affects the braking distance required by the motor vehicle.
  • FIG. 7 shows a schematic representation of an exemplary diagram of an image data stream.
  • the diagram shows the data flow of four image data frames, frame 0 to frame 3, in an image data stream.
  • the time t is plotted on the X-axis of the diagram shown in FIG. 7.
  • the frame 0 is transmitted at a time t1, at which time t1 the transmission of the Frames 1.
  • the frame 1 is completely transmitted at a time t2, the transmission of the frame 2 subsequently begins at the time t2.
  • the frame 2 is completely transmitted at a time t3, at this time t3 the transmission of the frame 3 begins.
  • the frame rate is between 25 and 60 fps.
  • FIG. 8 shows a schematic representation of an exemplary diagram of an image data stream. Between the individual images shown in the diagram of FIG. 8, frame 0, frame 1, frame 2, there are empty pauses in the data structure of the image data stream, which are denoted by GAP.
  • FIG. 9 shows a schematic representation of an exemplary diagram of a single image.
  • the frame comprises a frame 0, which has the stand size 1 and thus represents a full frame. Disclosure of the invention
  • the present invention provides a method for determining situation data based on image data, having the following method steps: defining a selected area within a single image of a
  • Image data stream at a first refresh rate Sampling the selected area at a second frame rate increased from the first frame rate and generating additional image data of the selected area at the second frame rate; and transmitting the image data stream at the first refresh rate and the additional image data of the selected area at the second refresh rate to determine the situation data.
  • the present invention provides a device for determining
  • the device comprises a camera device which is designed to scan the selected region at a second image repetition frequency which is higher than the first image repetition frequency and to generate additional image data of the selected region at the second image repetition frequency, and
  • Transmission device which is adapted to the image data stream at the first refresh rate and the additional image data of the selected area with the second refresh rate for determining the situation data to the
  • One idea of the present invention is modulated pulsed signals of a light source of a preceding motor vehicle or of a light source of another
  • the device for determining situation data based on image data as the driver assistance system can process the information from the pulsed light source, the image acquisition sequence or the sampling rate of a camera of the driver assistance system is changed.
  • the sampling frequency or the pixel clock of the camera is retained, however, increases the sampling frequency for a selected area, the so-called ROI frame, in English: "Region of Interest", ROI for short, translated means "area of interest".
  • Reaction time can be saved, which can be used for a braking operation or other action of the motor vehicle.
  • the detection and decoding of the modulated signal is enabled in a very short time frame and gives the driver a head start in critical situations.
  • the driver assistance system can dynamically on the
  • Road traffic requirements such as a higher ROI sampling frequency at increased vehicle speeds or with increased traffic or presence of pedestrians.
  • the determination of the situation data on the basis of the additional image data of the selected region with the second image repetition frequency is carried out by means of an image recognition of at least one light source imaged in the selected region.
  • Image recognition of the at least one imaged light source comprises detecting a signal sequence emitted by the light source.
  • Decoding device for the information transmitted by the signal sequence allowed.
  • the second image repetition frequency is adapted to a carrier frequency of the signal sequence emitted by the light source. This allows the transmitted through the signal sequence
  • Transferring the additional image data of the selected area with the second refresh rate in addition to an arbitrary frame of the image data stream is performed with a first refresh rate in the form of an oversize frame.
  • FIG. 1 is a schematic representation of a diagram with an image data stream of a method for determining situation data based on
  • FIG. 2 shows a schematic representation of a diagram with an image data stream of a method for determining situation data based on image data according to an embodiment of the invention
  • Fig. 3 is a schematic representation of a diagram with a single image
  • FIG. 4 is a schematic representation of a device for determining situation data based on image data according to an embodiment of the invention
  • Fig. 5 is a schematic representation of a diagram with a single image
  • FIG. 6 shows a schematic representation of a flow chart of a method for determining situation data based on image data according to an embodiment of the invention
  • FIG. 7 is a schematic representation of an exemplary diagram of a
  • Fig. 8 is a schematic representation of an exemplary diagram of a
  • FIG. 9 is a schematic representation of an exemplary diagram of a
  • FIG. 1 shows a schematic representation of a diagram with a
  • An image stream of a method for determining situation data based on image data according to an embodiment of the invention.
  • the diagram shows the data flow of two image data frames of a frame Fr, Frame 0 and Frame 2, in an image data stream VDS. Additional image data ROI-Fr with image data for a selected area ROI are in the form of an ROI frame instead of a frame 1, not shown, in the image data stream VDS between frame
  • the time t is plotted.
  • the frame rate is between 25 and 60 fps.
  • the entirety of the ROI frames within a full frame is called a partial frame.
  • the maximum number of ROI frames is calculated as the quotient of the number of pixels of a full frame divided by the number of pixels of a ROI frame.
  • FIG. 2 shows a schematic representation of a diagram with a
  • An image stream of a method for determining situation data based on image data according to an embodiment of the invention.
  • a frame 1 a frame 2
  • empty pauses are present in the data structure of the image data stream VDS, which are designated by GAP.
  • additional image data ROI-Fr with image data are transmitted to the selected area ROI in the image data stream VDS.
  • FIG. 3 shows a schematic representation of a diagram with a single image of a method for determining situation data based on image data according to an embodiment of the invention.
  • FIG. 4 shows a schematic representation of a device for determining situation data based on image data according to an embodiment of the invention.
  • a device 100 for determining situation data based on image data comprises a camera device 20, a computer device 30 and a
  • the computer device 30 is designed, for example, a selected
  • the camera device 20 is designed to display the selected region ROI with a second region, which is increased relative to the first image repetition frequency F1
  • the camera device 40 is designed, for example, as a CCD sensor or as another light-sensitive electronic component.
  • CCD is the abbreviation of charge-coupled device.
  • the transmission device 40 is designed, for example, to transmit the image data stream VDS with the first image repetition frequency F1 and the additional image data ROI-Fr of the selected region ROI with the second image repetition frequency F2 to determine the situation data to the computer device 30.
  • the computer device 30 and / or the transmission device 40 are designed, for example, as a digital signal processor, in English, digital signal processor, DSP for short and serve the continuous processing of digital video signals.
  • a preceding motor vehicle 5 has a light source 10.
  • the light source 10 is embodied, for example, as a brake tail lamp or as another signal lamp mounted on the motor vehicle.
  • the light source 10 may be a coded
  • the digital signal processing in the device 100 makes it possible to encode this coded additional information by means of a decoding of the pulse width modulated
  • the device 100 for determining situation data based on image data is integrated, for example, in a driver assistance system of a motor vehicle.
  • FIG. 5 shows a schematic representation of a diagram with a single image of a method for determining situation data based on image data according to an embodiment of the invention.
  • Additional image data ROI-Fr having image data at a selected area ROI is added to the image data of one frame Fr of the image data stream VDS and transferred as a single oversized image, in the present case as a 1 1/4 frame in the image data stream VDS
  • FIG. 6 shows a schematic representation of a flowchart of a method for determining situation data based on image data according to an embodiment of the invention.
  • the method for determining situation data based on image data comprises the following method steps:
  • a determination S1 of a selected area ROI within a single frame Fr of an image data stream VDS is performed with a first one
  • a sampling S2 of the selected region ROI takes place with a second one, which is higher than the first image repetition frequency F1
  • the image data stream VDS is transmitted at the first image repetition frequency F1 and the additional image data ROI-Fr of the selected region ROI at the second image repetition frequency F2 for determining the situation data.
  • the individual method steps of the method for determining situation data based on image data can be repeated in an arbitrary manner, for example iteratively or recursively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln von Situationsdaten basierend auf Bilddaten mit folgenden Verfahrensschritten: Festlegen (S1) eines ausgewählten Bereiches (ROI) innerhalb eines Einzelbildes (Fr) eines Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1); Abtasten (S2) des ausgewählten Bereiches (ROI) mit einer gegenüber der ersten Bildwiederholfrequenz (F1) erhöhten zweiten Bildwiederholfrequenz (F2) und Erzeugen von zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2); und Übertragen (S3) des Bilddatenstromes (VDS) mit der ersten Bildwiederholfrequenz (F1) und den zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) zum Ermitteln der Situationsdaten.

Description

Beschreibung Titel
Verfahren und Vorrichtung zum Ermitteln von Situationsdaten basierend auf Bilddaten
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ermitteln von
Situationsdaten basierend auf Bilddaten.
Stand der Technik
Die DE 10 2006 029 218 A1 beschreibt ein Verfahren und eine Vorrichtung zur
Kraftfahrzeug-Informationsübertragung, wobei mindestens eine der Bremsleuchten des Kraftfahrzeuges zeitlich und/oder räumlich und/oder intensitätsmäßig kodiert
entsprechend zu übertragenden Fahrzeugdaten nach einem vorgegebenen
Kodierschema angesteuert wird. Weiterhin werden ein Verfahren und eine Vorrichtung zum Kraftfahrzeug-Informationsempfang vorgeschlagen, wobei der zeitliche und/oder räumliche und/oder intensitätsmäßige Intensitätsverlauf mindestens einer der
Bremsleuchten eines fremden Kraftfahrzeuges entsprechend zu empfangenden
Fahrzeugdaten nach einem vorgegebenen Kodierschema zeitlich und/oder räumlich und/oder intensitätsmäßig dekodiert wird. Starke Verzögerungen bzw. Abstandsänderungen werden in aktuellen kamerabasierten Abstandsregeltempomaten über Algorithmen anhand aufgenommener Bilder ausgelesen. Hierzu werden Objekte im Bild anhand geeigneter Merkmale extrahiert, die für die Sicherheit, wie etwa bei einem Not-Brems-Assistenten, und oder für den Komfort, wie etwa bei einem Abstandsregeltempomaten, ausschlaggebend sind. Die dadurch entstehende Verzögerung, die auch durch die benötigte Zeit zur Interpretation der Bildmerkmale hervorgerufen wird, wirkt sich auf den vom Kraftfahrzeug benötigten Bremsweg aus.
Die Figur 7 zeigt eine schematische Darstellung eines beispielhaften Diagramms eines Bilddatenstroms. Das Diagramm zeigt den Datenfluss von vier Bilddaten-Frames, Frame 0 bis Frame 3, in einem Bilddatenstrom. Auf der nach unten eingezeichneten X-Achse des in der Figur 7 dargestellten Diagramms ist die Zeit t aufgetragen. Der Frame 0 ist zu einem Zeitpunkt t1 übermittelt, zu diesem Zeitpunkt t1 beginnt die Übermittelung des Frames 1 . Der Frame 1 ist zu einem Zeitpunkt t2 vollständig übertragen, zu dem Zeitpunkt t2 beginnt anschließend die Übermittelung des Frames 2. Der Frame 2 ist zu einem Zeitpunkt t3 vollständig übertragen, zu diesem Zeitpunkt t3 beginnt die Übermittelung des Frames 3. Die Framerate beträgt zwischen 25 und 60 fps.
Die Figur 8 zeigt eine schematische Darstellung eines beispielhaften Diagramms eines Bilddatenstroms. Zwischen den in dem Diagramm der Figur 8 dargestellten Einzelbildern, Frame 0, Frame 1 , Frame 2, sind in der Datenstruktur des Bilddatenstromes Leerpausen, welche mit GAP bezeichnet sind.
Die Figur 9 zeigt eine schematische Darstellung eines beispielhaften Diagramms eines Einzelbildes. Das Einzelbild umfasst einen Frame 0, welcher die Standgröße 1 aufweist und somit einen Vollframe darstellt. Offenbarung der Erfindung
Die vorliegende Erfindung schafft ein Verfahren zum Ermitteln von Situationsdaten basierend auf Bilddaten mit folgenden Verfahrensschritten: Festlegen eines ausgewählten Bereiches innerhalb eines Einzelbildes eines
Bilddatenstromes mit einer ersten Bildwiederholfrequenz; Abtasten des ausgewählten Bereiches mit einer gegenüber der ersten Bildwiederholfrequenz erhöhten zweiten Bildwiederholfrequenz und Erzeugen von zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz; und Übertragen des Bilddatenstromes mit der ersten Bildwiederholfrequenz und den zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz zum Ermitteln der Situationsdaten.
Ferner schafft die vorliegende Erfindung eine Vorrichtung zum Ermitteln von
Situationsdaten basierend auf Bilddaten mit einer Rechnereinrichtung, welche dazu ausgelegt ist, einen ausgewählten Bereich innerhalb eines Einzelbildes eines
Bilddatenstromes mit einer ersten Bildwiederholfrequenz festzulegen.
Ferner umfasst die Vorrichtung eine Kameraeinrichtung, welche dazu ausgelegt ist, den ausgewählten Bereich mit einer gegenüber der ersten Bildwiederholfrequenz erhöhten zweiten Bildwiederholfrequenz abzutasten und zusätzliche Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz zu erzeugen, und eine
Übertragungseinrichtung, welche dazu ausgelegt ist, den Bilddatenstrom mit der ersten Bildwiederholfrequenz und die zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz zum Ermitteln der Situationsdaten an die
Rechnereinrichtung zu übertragen.
Vorteile der Erfindung
Eine Idee der vorliegenden Erfindung ist es, modulierte gepulste Signale einer Lichtquelle eines vorrausfahrenden Kraftfahrzeuges oder einer Lichtquelle einer sonstigen
Signalquelle anhand eines Fahrerassistenzsystems, kurz FAS, auf Englisch:„Driver Assistance Systems", kurz DAS, in bestimmten Fahrsituationen zu detektieren und zu dekodieren.
Damit die Vorrichtung zum Ermitteln von Situationsdaten basierend auf Bilddaten als das Fahrerassistenzsystem die Informationen aus der gepulsten Lichtquelle verarbeiten kann, wird die Bildeinzugsfolge bzw. die Abtastrate einer Kamera des Fahrerassistenzsystems verändert. Die Abtastfrequenz bzw. der Pixeltakt der Kamera bleibt erhalten, jedoch steigt die Abtastfrequenz für einen ausgewählten Bereich an, den sogenannten ROI-Frame, auf Englisch:„Region of Interest", abgekürzt ROI, bedeutet übersetzt„Bereich von Interesse". Mit der Möglichkeit die Intention des Vorausfahrenden direkt zu übertragen kann
Reaktionszeit eingespart werden, die etwa für einen Bremsvorgang oder eine sonstige Aktion des Kraftfahrzeuges nutzbar ist.
Die Erkennung und Dekodierung des modulierten Signals wird in einem sehr kurzen Zeitrahmen ermöglicht und verschafft dem Fahrzeugführer einen Zeitvorsprung in kritischen Situationen. Das Fahrerassistenzsystem kann dynamisch auf die
Anforderungen im Straßenverkehr ausgelegt werden, wie etwa eine höhere ROI- Abtastfrequenz bei erhöhten Fahrzeuggeschwindigkeiten oder bei einem erhöhten Verkehrsaufkommen oder einer Anwesenheit von Fußgängern.
Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den
Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
Gemäß einer Ausführungsform der Erfindung ist vorgesehen, dass das Ermitteln der Situationsdaten anhand der zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz mittels einer Bilderkennung von mindestens einer in dem ausgewählten Bereich abgebildeten Lichtquelle vorgenommen wird. Dies erlaubt eine störsichere und ausfallsichere Informationsübertragung von Kraftfahrzeug zu
Kraftahrzeug. Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass die
Bilderkennung der mindestens einen abgebildeten Lichtquelle ein Erkennen einer von der Lichtquelle ausgesendeten Signalfolge umfasst. Der Vorteil liegt darin, dass dies eine einfache schaltungstechnische Realisierung einer Kodierungs- und
Dekodierungseinrichtung für die durch die Signalfolge übertragenen Informationen erlaubt.
Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass die zweite Bildwiederholfrequenz an eine Trägerfrequenz der von der Lichtquelle ausgesendeten Signalfolge angepasst wird. Dadurch kann die durch die Signalfolge übertragene
Information sicher erfasst werden.
Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass das
Übertragen der zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz anstelle eines beliebigen Einzelbildes des Bilddatenstromes mit einer ersten Bildwiederholfrequenz vorgenommen wird.
Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass das
Übertragen der zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz in einer Abtastlücke des Bilddatenstromes mit einer ersten
Bildwiederholfrequenz vorgenommen wird.
Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass das
Übertragen der zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz anstelle eines Teilbereiches eines beliebigen Einzelbildes des Bilddatenstromes mit einer ersten Bildwiederholfrequenz vorgenommen wird.
Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass das
Übertragen der zusätzlichen Bilddaten des ausgewählten Bereiches mit der zweiten Bildwiederholfrequenz zusätzlich zu einem beliebigen Einzelbild des Bilddatenstromes mit einer ersten Bildwiederholfrequenz in Form eines Übergrößen-Einzelbildes vorgenommen wird.
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der
Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung. Kurze Beschreibung der Zeichnungen
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im
Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
Es zeigen:
Fig. 1 eine schematische Darstellung eines Diagramms mit einem Bilddatenstrom eines Verfahrens zum Ermitteln von Situationsdaten basierend auf
Bilddaten gemäß einer Ausführungsform der Erfindung;
Fig. 2 eine schematische Darstellung eines Diagramms mit einem Bilddatenstrom eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung;
Fig. 3 eine schematische Darstellung eines Diagramms mit einem Einzelbild
eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung; Fig. 4 eine schematische Darstellung einer Vorrichtung zum Ermitteln von
Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung;
Fig. 5 eine schematische Darstellung eines Diagramms mit einem Einzelbild
eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung; Fig. 6 eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung; Fig. 7 eine schematische Darstellung eines beispielhaften Diagramms eines
Bilddatenstroms;
Fig. 8 eine schematische Darstellung eines beispielhaften Diagramms eines
Bilddatenstroms; und
Fig. 9 eine schematische Darstellung eines beispielhaften Diagramms eines
Einzelbildes.
In den Figuren der Zeichnung bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
Die Figur 1 zeigt eine schematische Darstellung eines Diagramms mit einem
Bilddatenstrom eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung.
Das Diagramm zeigt den Datenfluss von zwei Bilddaten-Frames eines Einzelbildes Fr, Frame 0 und Frame 2, in einem Bilddatenstrom VDS. Zusätzliche Bilddaten ROI-Fr mit Bilddaten zu einem ausgewählten Bereich ROI werden in Form eines ROI-Frames anstelle eines nicht dargestellten Frames 1 in dem Bilddatenstrom VDS zwischen Frame
0 und Frame 2 übertragen. Auf der nach unten eingezeichneten X-Achse des in der Figur
1 dargestellten Diagramms ist die Zeit t aufgetragen. Die Framerate beträgt zwischen 25 und 60 fps. Die Gesamtheit der ROI-Frames innerhalb eines Full-Frames wird dabei Partial-Frame genannt. Die maximale Anzahl an ROI-Frames ergibt sich dabei als der Quotient von der Anzahl an Pixeln eines Full-Frames geteilt durch die Anzahl an Pixeln eines ROI-Frames.
Die Figur 2 zeigt eine schematische Darstellung eines Diagramms mit einem
Bilddatenstrom eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung. Zwischen den in dem Diagramm der Figur 2 dargestellten Einzelbildern Fr, welche durch einen Frame 0, einen Frame 1 , einen Frame 2 dargestellt sind, sind in der Datenstruktur des Bilddatenstromes VDS Leerpausen vorhanden, welche mit GAP bezeichnet sind. In diesen mit GAP bezeichneten Leerpausen werden zusätzliche Bilddaten ROI-Fr mit Bilddaten zu dem ausgewählten Bereich ROI in dem Bilddatenstrom VDS übertragen.
Die Figur 3 eine schematische Darstellung eines Diagramms mit einem Einzelbild eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung.
Bei einem Einzelbild Fr des Bilddatenstromes VDS werden nur 3/4 bzw. 75 % des ursprünglichen Bildinhaltes übertragen. Zusätzliche Bilddaten ROI-Fr mit Bilddaten zu einem ausgewählten Bereich ROI werden in den ausgelassenen 25 % des ursprünglichen Bildinhaltes in dem Einzelbild Fr des Bilddatenstromes VDS übertragen. Das Auslassen kann dabei durch ein Stauchen oder durch ein Abschneiden von Teilbereichen des ursprünglichen Bildinhaltes in dem Einzelbild Fr vorgenommen werden.
Die Figur 4 zeigt eine schematische Darstellung einer Vorrichtung zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung.
Eine Vorrichtung 100 zum Ermitteln von Situationsdaten basierend auf Bilddaten umfasst eine Kameraeinrichtung 20, eine Rechnereinrichtung 30 und eine
Übertragungseinrichtung 40. Die Rechnereinrichtung 30 ist beispielsweise dazu ausgelegt, einen ausgewählten
Bereich ROI innerhalb eines Einzelbildes Fr eines Bilddatenstromes VDS mit einer ersten Bildwiederholfrequenz F1 festzulegen.
Die Kameraeinrichtung 20 ist beispielsweise dazu ausgelegt, den ausgewählten Bereich ROI mit einer gegenüber der ersten Bildwiederholfrequenz F1 erhöhten zweiten
Bildwiederholfrequenz F2 abzutasten und zusätzliche Bilddaten ROI-Fr des ausgewählten Bereiches ROI mit der zweiten Bildwiederholfrequenz F2 zu erzeugen.
Die Kameraeinrichtung 40 ist beispielsweise als ein CCD-Sensor oder als ein sonstiges lichtempfindliches elektronisches Bauelement ausgebildet. CCD ist hierbei die Abkürzung von Charge-coupled Device. Die Übertragungseinrichtung 40 ist beispielsweise dazu ausgelegt, den Bilddatenstrom VDS mit der ersten Bildwiederholfrequenz F1 und die zusätzlichen Bilddaten ROI-Fr des ausgewählten Bereiches ROI mit der zweiten Bildwiederholfrequenz F2 zum Ermitteln der Situationsdaten an die Rechnereinrichtung 30 zu übertragen.
Die Rechnereinrichtung 30 und/oder die Übertragungseinrichtung 40 sind beispielsweise als ein digitaler Signalprozessor, auf Englisch, digital signal processor, kurz DSP ausgebildet und dienen der kontinuierlichen Bearbeitung von digitalen Videosignalen. Ein vorrausfahrendes Kraftfahrzeug 5 weist eine Lichtquelle 10 auf. Die Lichtquelle 10 ist beispielsweise als eine Bremsrückleuchte oder als eine sonstige am Kraftfahrzeug montierte Signalleuchte ausgebildet. Die Lichtquelle 10 kann eine codierte
Informationsübertragung mittels einer Erzeugung von gepulsten oder modulierten
Lichtsignalen vornehmen.
Die digitale Signalaufbereitung in der Vorrichtung 100 ermöglicht es, diese codierten Zusatzinformationen mittels eines Dekodierens des pulsweitenmodulierten
Ausgangssignals der Lichtquelle 10 zu ermitteln. Die Vorrichtung 100 zum Ermitteln von Situationsdaten basierend auf Bilddaten ist beispielsweise in einem Fahrerassistenzsystem eines Kraftfahrzeuges integriert.
Die Figur 5 zeigt eine schematische Darstellung eines Diagramms mit einem Einzelbild eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung.
Zusätzliche Bilddaten ROI-Fr mit Bilddaten zu einem ausgewählten Bereich ROI werden zu den Bilddaten eines Einzelbild Fr des Bilddatenstromes VDS hinzugefügt und als ein Einzelbild mit Übergröße, im vorliegenden Fall als ein Einzelbild mit der Größe 1 1/4 in dem Bilddatenstrom VDS übertragen
Die weiteren in der Figur 5 gezeigten Bezugszeichen wurden bereits in der zu der Figur 3 zugehörigen Figurenbeschreibung erläutert und werden daher nicht weiter beschrieben. Die Figur 6 zeigt eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten gemäß einer Ausführungsform der Erfindung. Das Verfahren zum Ermitteln von Situationsdaten basierend auf Bilddaten umfasst folgende Verfahrensschritte:
Als ein erster Verfahrensschritt erfolgt ein Festlegen S1 eines ausgewählten Bereiches ROI innerhalb eines Einzelbildes Fr eines Bilddatenstromes VDS mit einer ersten
Bildwiederholfrequenz F1 .
Als ein zweiter Verfahrensschritt erfolgt ein Abtasten S2 des ausgewählten Bereiches ROI mit einer gegenüber der ersten Bildwiederholfrequenz F1 erhöhten zweiten
Bildwiederholfrequenz F2 und Erzeugen von zusätzlichen Bilddaten ROI-Fr des ausgewählten Bereiches ROI mit der zweiten Bildwiederholfrequenz F2
Als ein dritter Verfahrensschritt erfolgt ein Übertragen S3 des Bilddatenstromes VDS mit der ersten Bildwiederholfrequenz F1 und den zusätzlichen Bilddaten ROI-Fr des ausgewählten Bereiches ROI mit der zweiten Bildwiederholfrequenz F2 zum Ermitteln der Situationsdaten.
Die einzelnen Verfahrensschritte des Verfahrens zum Ermitteln von Situationsdaten basierend auf Bilddaten können dabei in beliebiger Weise, etwa iterativ oder rekursiv, wiederholt werden.
Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Patentansprüche
1 . Verfahren zum Ermitteln von Situationsdaten basierend auf Bilddaten mit folgenden Verfahrensschritten:
Festlegen (S1 ) eines ausgewählten Bereiches (ROI) innerhalb eines Einzelbildes (Fr) eines Bilddatenstromes (VDS) mit einer ersten
Bildwiederholfrequenz (F1 );
Abtasten (S2) des ausgewählten Bereiches (ROI) mit einer gegenüber der ersten Bildwiederholfrequenz (F1 ) erhöhten zweiten Bildwiederholfrequenz (F2) und Erzeugen von zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2); und
- Übertragen (S3) des Bilddatenstromes (VDS) mit der ersten
Bildwiederholfrequenz (F1 ) und den zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) zum Ermitteln der Situationsdaten.
2. Verfahren nach Anspruch 1 , wobei das Ermitteln der Situationsdaten anhand der zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) mittels einer Bilderkennung von mindestens einer in dem ausgewählten Bereich abgebildeten Lichtquelle (10) vorgenommen wird.
3. Verfahren nach Anspruch 2, wobei die Bilderkennung der mindestens einen abgebildeten Lichtquelle (10) ein Erkennen einer von der Lichtquelle (10) ausgesendeten Signalfolge umfasst.
4. Verfahren nach Anspruch 3, wobei die zweite Bildwiederholfrequenz (F2) an eine Trägerfrequenz der von der Lichtquelle (10) ausgesendeten Signalfolge angepasst wird.
5. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 4, wobei das Übertragen (S3) der zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) anstelle eines beliebigen Einzelbildes (Fr) des Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1 ) vorgenommen wird.
6. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 4, wobei das
Übertragen (S3) der zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) in einer Abtastlücke (GAP) des
Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1 ) vorgenommen wird.
7. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 4, wobei das
Übertragen (S3) der zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) anstelle eines Teilbereiches eines beliebigen Einzelbildes (Fr) des Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1 ) vorgenommen wird.
8. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 4, wobei das
Übertragen (S3) der zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) zusätzlich zu einem beliebigen Einzelbild (Fr) des Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1 ) in Form eines Übergrößen-Einzelbildes (XL-Fr) vorgenommen wird.
9. Vorrichtung (100) zum Ermitteln von Situationsdaten basierend auf Bilddaten mit: - einer Rechnereinrichtung (30), welche dazu ausgelegt ist, einen ausgewählten
Bereich (ROI) innerhalb eines Einzelbildes (Fr) eines Bilddatenstromes (VDS) mit einer ersten Bildwiederholfrequenz (F1 ) festzulegen;
einer Kameraeinrichtung (20), welche dazu ausgelegt ist, den ausgewählten Bereich (ROI) mit einer gegenüber der ersten Bildwiederholfrequenz (F1 ) erhöhten zweiten Bildwiederholfrequenz (F2) abzutasten und zusätzliche
Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) zu erzeugen; und
einer Übertragungseinrichtung (40), welche dazu ausgelegt ist, den Bilddatenstrom (VDS) mit der ersten Bildwiederholfrequenz (F1 ) und die zusätzlichen Bilddaten (ROI-Fr) des ausgewählten Bereiches (ROI) mit der zweiten Bildwiederholfrequenz (F2) zum Ermitteln der Situationsdaten an die Rechnereinrichtung (30) zu übertragen.
PCT/EP2013/065498 2012-07-27 2013-07-23 Verfahren und vorrichtung zum ermitteln von situationsdaten basierend auf bilddaten WO2014016286A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012213291.0 2012-07-27
DE102012213291.0A DE102012213291A1 (de) 2012-07-27 2012-07-27 Verfahren und Vorrichtung zum Ermitteln von Situationsdaten basierend auf Bilddaten

Publications (1)

Publication Number Publication Date
WO2014016286A1 true WO2014016286A1 (de) 2014-01-30

Family

ID=48906231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/065498 WO2014016286A1 (de) 2012-07-27 2013-07-23 Verfahren und vorrichtung zum ermitteln von situationsdaten basierend auf bilddaten

Country Status (2)

Country Link
DE (1) DE102012213291A1 (de)
WO (1) WO2014016286A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014014938A1 (de) * 2014-10-07 2016-04-07 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs mit einem optischen Sensor und Kraftfahrzeug
FR3072931B1 (fr) * 2017-10-30 2021-07-23 Valeo Comfort & Driving Assistance Procede de traitement de donnees pour systeme d'aide a la conduite d'un vehicule et systeme d'aide a la conduite associe

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006029218A1 (de) 2006-06-26 2007-12-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kraftfahrzeug-Informationsübertragung bzw. zum Kraftfahrzeug-Informationsempfang
WO2008136007A2 (en) * 2007-05-08 2008-11-13 Amihay Halamish Acquiring regions of interest at a high frame rate

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006029218A1 (de) 2006-06-26 2007-12-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kraftfahrzeug-Informationsübertragung bzw. zum Kraftfahrzeug-Informationsempfang
WO2008136007A2 (en) * 2007-05-08 2008-11-13 Amihay Halamish Acquiring regions of interest at a high frame rate

Also Published As

Publication number Publication date
DE102012213291A1 (de) 2014-01-30

Similar Documents

Publication Publication Date Title
DE3107042C2 (de) Anordnung zur Korrektur von Abtastfehlern einer Farbfernsehkamera
DE102012222303B4 (de) Vorrichtung und Verfahren für das Entfernen von reflektiertem Licht von einem Bild eines Bildgebungsgeräts
WO2007009836A1 (de) Bildaufnahmesystem
DE102018200982A1 (de) Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug
WO2014040848A1 (de) Verfahren und vorrichtung zur erkennung von zumindest einer gepulsten lichtquelle für ein fahrzeug
WO2014079852A1 (de) Verfahren und vorrichtung zum erkennen von wechselverkehrszeichen
DE102015012808A1 (de) Verfahren zum Betreiben einer Anordnung mit wenigstens einer Beleuchtungseinrichtung, zugehörige Anordnung und Kraftfahrzeug
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE112021004025T5 (de) Festkörperbildgebungsvorrichtung und steuerverfahren derselben
DE112020005952T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
EP3253045B1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102014008893A1 (de) Vorrichtung, Verfahren und System zum Verarbeiten eines Bilddatenstroms
DE102014213456A1 (de) Überwachen einer Signalübertragung von einer Aufnahmeeinrichtung zu einer Ausgabeeinrichtung
DE102004010908B4 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
WO2014016286A1 (de) Verfahren und vorrichtung zum ermitteln von situationsdaten basierend auf bilddaten
DE112014001571T5 (de) Bildverarbeitungsvorrichtung
DE102017127493A1 (de) Erkennung von lane-splitting-motorrädern
WO2019174684A1 (de) Automobile kamera mit rohbildsignalschnittstelle
DE102014209863A1 (de) Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
DE112021007079T5 (de) Festkörper-bildgebungselement, bildgebungsvorrichtung und verfahren zum steuern eines festkörper-bildgebungselements
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102014213801A1 (de) Verfahren und Vorrichtung zum Generieren einer Bildfolge zur Wiedergabe auf einem Anzeigegerät eines Fahrzeugs sowie Bilderfassungsgerät für ein Fahrzeug
DE102017119321A1 (de) Umgebungssensor mit signalidentifizierung
DE112022002245T5 (de) Bildverarbeitungssystem, bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
DE202016008887U1 (de) Bildverarbeitungseinheit und Computerprogramm zur Erkennung und Korrektur von Bildfehlern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13742607

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 13742607

Country of ref document: EP

Kind code of ref document: A1