WO2016096446A1 - Vordergrund-hintergrund differenzierung im fahrzeug - Google Patents

Vordergrund-hintergrund differenzierung im fahrzeug Download PDF

Info

Publication number
WO2016096446A1
WO2016096446A1 PCT/EP2015/078438 EP2015078438W WO2016096446A1 WO 2016096446 A1 WO2016096446 A1 WO 2016096446A1 EP 2015078438 W EP2015078438 W EP 2015078438W WO 2016096446 A1 WO2016096446 A1 WO 2016096446A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
vehicle
optical flow
area
dividing line
Prior art date
Application number
PCT/EP2015/078438
Other languages
English (en)
French (fr)
Inventor
Matthias Roland KAUFMANN
Vaibhav Kumar Mehta
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2016096446A1 publication Critical patent/WO2016096446A1/de
Priority to US15/618,351 priority Critical patent/US10430952B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the invention relates to a method and a corresponding device for segmenting images of a movable camera and for determining the pose of a movable camera.
  • Portable devices for enhancing a user's perception of reality such as e.g. eyeglasses with inserts relating to an environment viewed through the eyeglasses may also be used in a vehicle, e.g. to provide further information regarding the traffic, further information regarding the interior of the vehicle and / or warnings to an occupant of the vehicle. In doing so, whenever possible, information and / or instructions are to be output that are associated with one or more objects that are actually viewed by the user of the device.
  • An apparatus for enhancing the perception of reality e.g. a
  • Data glasses typically includes a camera that detects an environment viewed by the user.
  • This camera is usually arranged to be movable, so that different, viewed by the user, environments can be detected.
  • data glasses typically include a camera that can detect an environment in front of the data glasses. This camera moves with the head of the user of the data glasses.
  • the pose of the camera ie the position of the camera in 3-dimensional (3D) space and the orientation of the camera in 3D space, be determined. Determining the pose of the camera can based on the detection of one or more known objects within the image data.
  • known features eg, feature points
  • objects in the interior of a vehicle eg, a known computer aided design (CAD) model of the interior of the vehicle
  • CAD computer aided design
  • the present document deals with the technical task of determining the pose of a moving camera in a vehicle with a high accuracy.
  • the present document is particularly concerned with the technical task of precisely segmenting images captured by the moving camera into a foreground area and a back area area.
  • the foreground area (which includes the primary of the vehicle's interior) can then be used to determine the pose of the camera.
  • a method of segmenting a first scene (or a first image) from a sequence of scenes (or from a sequence of images) is described.
  • the method is designed to divide the first scene into a foreground area and a background area.
  • pixels or pixels of the first scene are to be assigned to either a foreground area or a background area.
  • the foreground area can primarily be the
  • Interior of a vehicle include and the background area may primarily include an external environment of the vehicle.
  • the foreground area may include elements / objects (e.g., parts of the vehicle) that are moving with the vehicle.
  • the elements / objects e.g., parts of the vehicle
  • Move vehicle eg an external environment of the vehicle.
  • the sequence of scenes was captured by a camera (eg, a mono camera or a stereo camera) of a vehicle, eg, a camera in or on a vehicle.
  • the vehicle includes, for example, a road vehicle, such as a passenger car or a truck.
  • the camera may be movable in the interior of the vehicle and / or behind a windshield of a vehicle
  • the camera may be arranged on a head of a driver of the vehicle (for example on data glasses worn by the driver of the vehicle).
  • the camera may be configured to capture scenes that include both a portion of the interior of the vehicle (or a portion of the vehicle) and a portion of an exterior environment of the vehicle.
  • the external environment of the vehicle may be e.g. through a window (e.g., through a windshield) of the vehicle.
  • the first scene may thus comprise an inner part area, in which an inner area of the vehicle and / or parts of the vehicle are shown, and an outer part area, in which an outer environment of the vehicle is shown.
  • the method includes determining an optical flow, in particular optical flow vectors, of the first scene based on the sequence of scenes.
  • the optical flow, in particular the optical flow vectors, of the first scene for a plurality of features (or for a plurality of prominent pixels) of the first scene can be determined.
  • the optical flow, in particular the optical flow vectors, of the first scene can be performed in a more efficient and robust manner by means of a hierarchical procedure, e.g. using the hierarchical Lucas-Kanade method.
  • the optical flow in particular the optical flow
  • the first scene in a hierarchical manner for different resolutions of the plurality of features are determined. It can the Resolution of the variety of features gradually increased.
  • the method further comprises determining statistical magnitudes of the optical flow, i. in particular the optical flow vectors, in
  • the statistical size of optical flow vectors in a partial area may be e.g. a mean magnitude of the optical flow vectors in the sub-area. Alternatively or additionally, the statistical size may be
  • the partial regions may be e.g. a preliminary or a definitive background area and
  • the method includes determining, based on the statistical quantities and possibly based on the different partial regions, a dividing line between a foreground region and a background region of the first scene.
  • the course of a dividing line can be determined, which divides the first scene into a foreground area and a background area.
  • the determination of the dividing line comprises determining, on the basis of the statistical quantities, an indicator that and / or to what extent and / or to what extent the optical flow, i. in particular the optical flow vectors, in the background area is due to a movement of the vehicle or are.
  • the method thus allows, based on the analysis of the optical flow (i.e.
  • the indicator that and / or whether and / or to what extent and / or how far the optical flow, i. especially the river vectors, in
  • Background area is due to a travel of the vehicle, may include a distance measure, which is a distance of a statistical size of the optical flow vectors in the foreground area of a corresponding statistical size of the optical flow vectors in
  • the dividing line can be determined in such a way that the distance dimension is increased (possibly maximized).
  • the use of a distance measure as an indicator of whether the background flow vectors are due to vehicle movement is based on the observation that a statistical behavior of the flow vectors in the interior of the vehicle or on parts of the vehicle is significantly different from a statistical behavior of the vehicle Flow vectors in the external environment of the vehicle deviates.
  • the distance measure may comprise a difference of the corresponding statistical quantities.
  • the distance measure may be a difference between the mean amount of the optical flow vectors in the (possibly preliminary) foreground area and the mean amount of the optical flow vectors in (possibly
  • the flow vectors in the outer partial area of the first scene typically have a larger amount than in the inner partial area.
  • the distance measure (in particular a value of the
  • the distance measure is thus an indicator that or whether or to what extent the flow vectors of the (possibly provisional) background area are due to a movement of the vehicle.
  • the distance measure can be a difference between the homogeneity measure of the optical flow vectors in (possibly provisional)
  • the distance measure makes use of the fact that during a drive of the vehicle, the flow vectors in the outer partial area of the first scene are typically substantially less homogeneous than in the inner partial area.
  • the distance measure (in particular a value of the
  • Distance measure is thus an indicator that or whether or to what extent the flow vectors of the (possibly provisional) background area are due to a movement of the vehicle.
  • the distance measure can e.g. a combination (e.g., a weighted sum) of the o.g. Include differences. Such a combination can further enhance the accuracy and robustness of segmentation.
  • the method may include determining a preliminary history of the dividing line. Based on the preliminary course of the dividing line, the first scene may be divided into a preliminary foreground area and a preliminary background area. It can then be a statistical size of the optical
  • Flow vectors in the preliminary foreground area and a corresponding statistical size of the optical flow vectors in the preliminary background area are determined. Furthermore, a value of the indicator can be determined on the basis of the determined statistical values for the preliminary foreground area and for the provisional background area. The course of the dividing line can then be adjusted so that the value of the indicator is improved (possibly optimized, i.e. maximized or minimized).
  • the (final) dividing line between the (final) foreground area and the (final) background area can in particular be determined in an iterative manner (by repeating the above-mentioned steps).
  • the indicator can be used as
  • optimization criterion can be used and through the iterations one can Value of the indicator (ie a value of the optimization criterion) can be improved (if necessary optimized).
  • a robust segmentation of the first scene can take place.
  • one or more conditions relating to the dividing line can be taken into account.
  • the conditions can increase the efficiency and robustness of the process.
  • the conditions may take into account the fact that in vehicles, a separation between windows (ie, outer portion of the first scene) and inner space (ie, inner portion of the first scene) is typically horizontal.
  • the dividing line may be determined so that the dividing line for each point on a horizontal axis of the first scene has exactly one point on a vertical axis of the first scene.
  • the dividing line may be determined such that the dividing line takes exactly one value on the vertical axis for each value on the horizontal axis.
  • the dividing line may be determined such that the amount of mean gradient of the dividing line along the horizontal axis is less than or equal to a predefined gradient threshold.
  • the slope threshold may be e.g. lying at zero.
  • the method may further include determining a vehicle speed.
  • the indicator that and / or whether and / or to what extent and / or to what extent the flow vectors in the background area are due to a traveling of the vehicle can be determined as a function of the driving speed of the vehicle. For example, a weighting between the distance measure with respect to the mean amount and the distance measure with respect to the homogeneity measure in a combined indicator as a function of the driving speed of the vehicle to be changed. In particular, with decreasing driving speed, the weight can be shifted to the distance dimension with regard to the homogeneity measure (and vice versa). By taking into account the driving speed in the segmentation, the accuracy and robustness of the segmentation can be further increased.
  • the dividing line may be determined such that the foreground area has a smaller outer proportion than the background area.
  • the outer portion may indicate the proportion of a portion of the first scene that corresponds to the outer portion of the first scene.
  • the outer portion may indicate the proportion of flow vectors that may be on a
  • a method of detecting a pose of a camera is described.
  • the camera is movably arranged in the interior of a vehicle or on the vehicle (for example in the driver's goggles of the vehicle).
  • the camera may be arranged such that a scene captured by the camera comprises parts of the vehicle and parts of an environment of the vehicle.
  • the method includes capturing a sequence of scenes using the camera.
  • the method includes determining a foreground area of a first scene from the sequence of scenes.
  • the foreground area can be determined according to the method for segmenting a scene described in this document.
  • the method comprises detecting one or more reference points in the foreground area of the first scene and determining the pose of the camera based on the detected reference point (s). By restricting the search of one or more reference points to the foreground area, the Accuracy of the identified pose can be increased.
  • control unit configured to perform one or more of the methods described in this document is described. This may be e.g. around the control unit one
  • the control unit can be set up to determine whether the device for expanding the perception of reality is located in a vehicle. If this is the case, one of the procedures described in this document may be carried out.
  • a device for augmenting the perception of reality e.g., data glasses
  • the control unit described in this document includes the control unit described in this document.
  • a vehicle e.g., a passenger car, a truck, or a motorcycle
  • a software (SW) program is described.
  • the SW program can be set up to run on a processor (e.g., on a controller) and thereby perform the same in this
  • Storage medium may include a SW program that is set up to run on a processor and thereby perform the method described in this document. It should be noted that the methods described in this document,
  • Figure la is a front view of an exemplary device for extending the perception of reality in a vehicle
  • Figure lb is a side view of an exemplary device for extending the perception of reality in a vehicle
  • FIG. 2 shows an exemplary scene captured by a camera of the device for expanding the perception of reality
  • FIG. 3 shows exemplary optical flow vectors of a sequence of detected scenes
  • Figure 4 is an exemplary dividing line between a foreground area and a background area
  • FIG. 5 shows a flow chart of an exemplary method for foreground / background segmentation of a detected scene.
  • Determining the pose of a camera of a device for expanding the perception of reality of a user is particularly concerned with the segmentation of images captured by the camera.
  • Fig. La shows an exemplary apparatus 100 for extending the
  • FIG. 1 a shows data glasses 100 that are worn by a user 110.
  • the data glasses 100 include a camera 102, which is typically fixed to the data glasses 100 and moves with the head of the user 110.
  • the camera 102 can include a mono camera or a stereo camera.
  • the camera 102 is set up to capture image data (eg a temporal sequence of images or scenes) of an environment of the data glasses 100.
  • image data of the environment viewed by the user 110 may be acquired.
  • the image data can be processed by a control unit 101 of the data glasses 100.
  • the control unit 101 can be set up to detect and identify one or more objects in the detected environment on the basis of the image data.
  • the control unit 101 may be configured to determine information regarding the identified one or more objects (e.g., the street name of an identified road).
  • the identified one or more objects e.g., the street name of an identified road.
  • Control unit 101 may be configured, the information determined on a
  • Output unit 103 of the data glasses 100 (e.g., on a transparent screen in the spectacle lenses of the data glasses 100).
  • the user 110 further information regarding the user 110
  • FIG. 1b shows the user 110 with the device 100 for expanding the perception of reality in a side view.
  • the user 110 is located in a vehicle 120.
  • the user 110 sits on a driver's seat 124 and holds a steering wheel 122 of the vehicle 120 with his hands.
  • the user 110 considers the front environment of the vehicle 120 through the data glasses 100 and by the windbreak 121 of the vehicle 120.
  • FIG. 1 b shows a dashboard 123 of the vehicle 120.
  • the pose includes
  • the pose typically comprises 6 degrees of freedom.
  • the pose of the camera 102 may change as the user 110 changes the position of his head and / or the orientation of his head (eg, the line of vision).
  • the pose of the camera 102 may be e.g. be determined by one or more suitable sensors.
  • Exemplary sensors are a gyrosensor
  • Acceleration sensor and / or a magnetometer increase the cost of a device 100 for extending the
  • Perception of reality To avoid additional costs, it is desirable to determine the pose of the camera 102 based on the image data captured by the camera 102. For this purpose, one or more known
  • Reference points are defined in the interior of the vehicle 120 or the vehicle 120.
  • a computer aided design (CAD) model of the interior of the vehicle 120 may be considered.
  • the image data may then be analyzed to detect the one or more predefined reference points in the image data. Since the positioning of the reference points to each other is known, so the pose of the camera 102 can be determined.
  • CAD computer aided design
  • the image data captured by the camera 102 includes a plurality of detected objects or a plurality of features. From the plurality of detected objects / features, the one or more known reference points for the determination of the pose must be determined. With a large number of detected objects / features, this can lead to a relatively high number of misdetections of reference points and thus to a relatively inaccurate determination of the pose of the camera 102. Furthermore, this causes a relatively high computational effort, energy expenditure and / or time expenditure. In order to increase the quality of the determination of the pose and / or to reduce the effort of determining the pose, it is therefore advantageous to reduce the number of detected objects / features that can be considered as reference points.
  • an image captured by the camera 102 may be divided into a foreground area and a background area.
  • the foreground area comprises the area of a detected scene in which the one or more reference points can be located (eg an interior of the vehicle or a part of the vehicle).
  • the background area includes the area in which no reference points are to be expected (eg an external environment of the vehicle).
  • the reference points are typically defined in the known interior of the vehicle 120 and / or on a visible part of the vehicle.
  • reference points may be located on the steering wheel 122 and / or on the dashboard 123 of the vehicle 120.
  • immovable reference points e.g., on the dashboard 123 are typically advantageous over moving ones
  • Reference points e.g., on the steering wheel 1202.
  • the interior of the vehicle 120 thus represents the foreground area.
  • an environment of the vehicle 120 viewed through a pane 121 of the vehicle 120 typically represents a background area of a detected scene.
  • the control unit 101 may be configured to segment a captured scene into a foreground area and a background area based on the image data (which typically includes a temporal sequence of captured scenes).
  • Fig. 2 shows an exemplary scene 200, e.g. was detected by the camera 102 of a data glasses 100 of a moving driver 110.
  • the scene 200 includes areas that lie in the interior of the vehicle 120.
  • the scene 200 includes an area where the steering wheel 122 is shown, an area where the instrument panel 123 is shown, and an area where one side (eg, a door) of the vehicle 120 is shown. Furthermore, the scene 200 includes an area in which an external environment of the vehicle 120. This area typically corresponds to the area of the windshield 121 of the vehicle 120.
  • FIG. 2 shows exemplary objects 211, 212, 213 in the vicinity of the vehicle 120.
  • the first object 211 represents a house at the roadside of a road traveled by the vehicle 120
  • second object 212 is another vehicle traveling in front of vehicle 120
  • third object 213 is another vehicle parked on the right-hand side of the road.
  • FIG. 2 shows a rearview mirror 201 of vehicle 120. As shown in FIG. 2, it is for a vehicle 120 typical that
  • Background of a scene 200 (corresponding for example to the area of the windshield 121) is separated from the foreground of the scene 200 by a clear dividing line. This is especially true for vehicles 120 having an occupant cabin that separates an occupant from the environment of the vehicle.
  • the background is usually in such vehicles above and the foreground usually below this clear dividing line.
  • the dividing line may be a straight line (as shown in Fig. 3) or the dividing line may be a
  • the dividing line thereby divides a scene 200 into a tendentially upper area (representing the background of the scene 200) and into a lower area (representing the foreground of the scene 200).
  • FIG. 3 shows an exemplary dividing line 330 by which the scene 200 is divided into a lower area (foreground) and an upper area (background).
  • the dividing line 330 may be determined based on the optical flow of features (ie, distinctive features) in the scene 200.
  • the optical flow (in particular flow vectors of features of a scene 200) can be determined, for example, using the Lucas-Kanade method. In this case, the optical flow can first be determined for a reduced resolution of the scene 200. This optical flux can then be used as a starting point for the calculation of the optical flux for a higher resolution, etc., until Finally, the optical flow for the full resolution of the scene 200 is determined.
  • the optical flow can thus be determined in a hierarchical manner.
  • the movement of an identified feature in particular a so-called ORB, Oriented FAST and Rotated BRIEF feature
  • it can be determined how strong and where an identified feature has moved.
  • a flow vector (with magnitude and direction) can be determined that indicates how the identified feature has moved.
  • FIG. 3 shows exemplary flow vectors 310, 311, 312, 313 for feature in FIG.
  • FIG. 3 shows a typical situation in which the
  • Vehicle 120 drives and in which the driver has fixed his view of the front environment of the vehicle 120.
  • An edge of the steering wheel 122 may be considered as a feature in the interior of the vehicle 120, for example.
  • the punctiform flow vectors 310 indicate that this feature has not moved in the interior (in FIG.
  • the objects 211, 212, 213 may be considered as a feature.
  • the first object 211 eg, a roadside house
  • the third object 213 eg, a roadside parked vehicle
  • the second object 212 has a relatively low optical flux 312.
  • the optical flow 311, 312, 313 of features 211, 212, 213 in the external environment of the vehicle 120 has a higher magnitude than the optical flow 310 of features 122, 123, 223 in the interior of the vehicle 120.
  • the flow vectors 311, 312, 313 of features 211, 212, 213 in the exterior environment of the vehicle 120 have a higher variance than the flow vectors 310 of features 122, 123, 223 in the interior of the vehicle 120.
  • one or more conditions may be determined which may be used to determine the dividing line 330 between the background and the foreground.
  • cost functions or indicators can be determined which can be optimized to determine the dividing line 330.
  • the dividing line 330 may be determined such that a
  • Difference between a mean amount of the flow vectors 311, 312, 313 in the background area of the scene 200 and a mean amount of the flow vectors 310 in the foreground area of the scene 200 is increased (possibly maximized).
  • the dividing line 330 can be determined such that a difference between a homogeneity measure of the flow vectors 311, 312, 313 in the background region of the scene 200 and a homogeneity measure of the flow vectors 310 in the foreground region of the scene 200 is increased (possibly.
  • the homogeneity measure may include, for example, the variance of the directions and / or the amounts of the flow vectors in a respective subarea of the scene 200.
  • the aforementioned conditions can also be combined.
  • a dividing line 330 can be determined such that the weighted sum is increased (possibly maximized) from the difference between the amounts and the difference of the homogeneity measures.
  • FIG. 4 shows an example of splitting a scene 200 into a background area 411 and a foreground area 412.
  • the scene 200 may be e.g. can be divided into columns 401 and for each column 401, a dividing line segment 430 can be determined (based on the conditions mentioned above).
  • the dividing line 330 can then be determined on the basis of the dividing line segments 430, which divides the scene 200 into a background area 411 and into a foreground area 412.
  • the dividing line segments 430 may be strung together and / or interpolated to determine the dividing line 330.
  • FIG. 5 shows a flowchart of an exemplary method 500 for
  • the method 500 includes determining 501 an optical flow (in particular, optical flow vectors) 310, 311, 312, 313 of the first scene 200 based on the sequence of scenes 200. Further The method 500 includes determining 502 statistical variables of the optical flow (in particular, the optical flow vectors) 310, 311, 312, 313 in different sub-regions of the first scene 200. In addition, the method 500 includes determining 503 based on the statistical quantities , a dividing line 330 between a foreground area 412 and a
  • determining 503 of the dividing line 330 comprises determining, based on the statistical quantities, an indicator of whether the optical flow (i.e.
  • the described method utilizes the inherent motion of a vehicle 120 about a robust separation line 330 between foreground area 412 and
  • the proper motion of the camera 102 can be determined.
  • the method described has a relatively low computational requirement (in particular when using a hierarchical method for determining the
  • the pose of a movable camera 102 in the vehicle 120 can be detected with high accuracy (particularly when using a model of the interior of the vehicle 120).
  • Background typically features (eg ORB features) determined.
  • feature points eg, ORB features
  • feature points eg, ORB features
  • the pose can be determined in a hierarchical manner without much extra effort.
  • the pose can be determined in a first step by a relatively low-resolution image (by means of the ORB features determined therefor). Then, depending on the use case, time and / or criticality, further detail levels of the pose can be determined (using the higher-resolution ORB features).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren (500) zur Segmentierung einer ersten Szene (200) aus einer Sequenz von Szenen (200) beschrieben. Dabei wurde die Sequenz von Szenen (200) von einer Kamera (102) in oder an einem Fahrzeug (120) erfasst (z.B. mittels einer Datenbrille (100)). Das Verfahren (500) umfasst das Ermitteln (501) von einem optischen Fluss (310, 311, 312, 313) der ersten Szene (200), auf Basis der Sequenz von Szenen (200). Außerdem umfasst das Verfahren (500) das Ermitteln (502) von statistischen Größen des optischen Flusses (310, 311, 312, 313) in unterschiedlichen Teil-Bereichen der ersten Szene (200). Desweiteren umfasst das Verfahren das Bestimmen (503), auf Basis der statistischen Größen, einer Trennlinie (330) zwischen einem Vordergrund-Bereich (412) und einem Hintergrund-Bereich (411) der ersten Szene (200). Dabei umfasst das Bestimmen (503) der Trennlinie (330) das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, ob der optische Fluss (311, 312, 313) im Hintergrund- Bereich (411) auf eine Fortbewegung des Fahrzeugs (120) zurückzuführen ist.

Description

Vordergrund-Hintergrund Differenzierung im Fahrzeug
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Segmentierung von Bildern einer beweglichen Kamera und zur Ermittlung der Pose einer beweglichen Kamera.
Tragbare Vorrichtungen zur Erweiterung der Realitätswahrnehmung eines Nutzers, wie z.B. eine Brille mit Einblendungen bezüglich einer durch die Brille betrachteten Umgebung, können auch in einem Fahrzeug verwendet werden, z.B. um einem Insassen des Fahrzeugs weitergehende Informationen bezüglich des Verkehrs, weitergehende Informationen bezüglich des Innenraum des Fahrzeugs und/oder Warnhinweise zu geben. Dabei sollen nach Möglichkeit Informationen und/oder Hinweise ausgegeben werden, die mit ein oder mehreren Objekten in Verbindung stehen, die von dem Nutzer der Vorrichtung tatsächliche betrachtet werden.
Eine Vorrichtung zur Erweiterung der Realitätswahrnehmung, z.B. eine
Datenbrille, umfasst typischerweise eine Kamera, die eine durch den Nutzer betrachtete Umgebung erfasst. Diese Kamera ist meist beweglich angeordnet, so dass unterschiedliche, vom Nutzer betrachtete, Umgebungen erfasst werden können. Beispielsweise umfasst eine Datenbrille typischerweise eine Kamera, die eine Umgebung vor der Datenbrille erfassen kann. Diese Kamera bewegt sich mit dem Kopf des Nutzers der Datenbrille. Um ein Objekt in der betrachteten Umgebung eines Nutzers auf Basis von Bilddaten, die von der Kamera erfasst wurden, eindeutig positionieren und identifizieren zu können, muss typischerweise zunächst die Pose der Kamera, d.h. die Position der Kamera im 3-dimensionalen (3D) Raum und die Orientierung der Kamera im 3D Raum, ermittelt werden. Die Ermittlung der Pose der Kamera kann anhand der Detektion von ein oder mehreren bekannten Objekten innerhalb der Bilddaten erfolgen. Insbesondere können bekannte Merkmale (z.B.: Feature Punkte) oder Objekte im Innenraum eines Fahrzeugs (z.B. ein bekanntes CAD (Computer Aided Design) Modell des Innenraums des Fahrzeugs) dazu verwendet werden, die Pose der Kamera zu ermitteln.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Pose einer beweglichen Kamera in einem Fahrzeug mit einer hohen Genauigkeit zu bestimmen. In diesem Zusammenhang befasst sich das vorliegende Dokument insbesondere mit der technischen Aufgabe, in präziser Weise Bilder, die durch die bewegliche Kamera erfasst wurden, in einen Vordergrund-Bereich und in einen Hintergmnd-Bereich zu segmentieren. Der Vordergrund-Bereich (der primäre den Innenraum des Fahrzeugs umfasst) kann dann für die Ermittlung der Pose der Kamera verwendet werden.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben.
Gemäß einem Aspekt wird ein Verfahren zur Segmentierung einer ersten Szene (bzw. eines ersten Bildes) aus einer Sequenz von Szenen (bzw. aus einer Sequenz von Bildern) beschrieben. Insbesondere ist das Verfahren darauf ausgerichtet, die erste Szene in einen Vordergrund- Bereich und in einen Hintergrund-Bereich aufzuteilen. Mit anderen Worten, Pixel oder Bildpunkte der ersten Szene sollen entweder einem Vordergrund- Bereich oder einem Hintergrund-Bereich zugeordnet werden. Dabei kann der Vordergrund-Bereich primär den
Innenbereich eines Fahrzeugs umfassen und der Hintergrund-Bereich kann primär eine äußere Umgebung des Fahrzeugs umfassen. Mit anderen Worten, der Vordergrund-Bereich kann Elemente / Objekte (z.B. Teile des Fahrzeugs) umfassen, die sich mit dem Fahrzeug bewegen. Anderseits kann der
Hintergrundbereich Elemente / Objekte umfassen, die sich nicht mit dem
Fahrzeug bewegen (z.B. eine äußere Umgebung des Fahrzeugs). Die Sequenz von Szenen wurde von einer Kamera (z.B. einer Mono-Kamera oder einer Stereo-Kamera) eines Fahrzeugs, z.B. von einer Kamera in oder an einem Fahrzeug, erfasst. Das Fahrzeug umfasst z.B. ein Straßenfahrzeug, etwa einen Personenkraftwagen oder einen Lastkraftwagen. Die Kamera kann beweglich im Innenraum des Fahrzeugs und/oder hinter einer Windschutzscheibe eines
Fahrzeugs (z.B. eines Motorrads) angeordnet sein. Beispielsweise kann die Kamera an einem Kopf eines Fahrers des Fahrzeugs (z.B. an einer Datenbrille, die der Fahrer des Fahrzeugs trägt) angeordnet sein. Die Kamera kann eingerichtet sein, Szenen bzw. Bilder zu erfassen, die sowohl einen Teil des Innenraums der Fahrzeugs (bzw. einen Teil des Fahrzeugs) als auch einen Teil einer äußeren Umgebung des Fahrzeugs umfassen. Die äußere Umgebung des Fahrzeugs kann z.B. durch ein Fenster (z.B. durch eine Windschutzscheibe) des Fahrzeugs erfasst werden. Die erste Szene kann somit einen inneren Teil-Bereich umfassen, in dem ein Innenbereich des Fahrzeugs und/oder Teile des Fahrzeugs dargestellt sind, und einen äußeren Teil-Bereich umfassen, in dem eine äußerere Umgebung des Fahrzeugs dargestellt ist.
Das Verfahren umfasst das Ermitteln von einem optischen Fluss, insbesondere von optischen Flussvektoren, der ersten Szene, auf Basis der Sequenz von Szenen. Dabei können der optische Fluss, insbesondere die optischen Flussvektoren, der ersten Szene für eine Vielzahl von Features (bzw. für eine Vielzahl von markanten Bildpunkten) der ersten Szene ermittelt werden. Insbesondere können der optische Fluss, insbesondere die Flussvektoren, für sogenannte ORB
(Oriented FAST and Rotated BRIEF) Feature ermittelt werden. Dabei können der optische Fluss, insbesondere die optischen Flussvektoren, der ersten Szene in effizienter und robuster Weise mittels einer hierarchischen Vorgehensweise, z.B. mittels der hierarchischen Lucas-Kanade Methode, ermittelt werden.
Beispielsweise können der optische Fluss, insbesondere die optischen
Flussvektoren, der ersten Szene in hierarchischer Weise für unterschiedliche Auflösungen der Vielzahl von Features ermittelt werden. Dabei kann die Auflösung der Vielzahl von Features nach und nach erhöht werden.
Das Verfahren umfasst weiter das Ermitteln von statistischen Größen des optischen Flusses, d.h. insbesondere der optischen Flussvektoren, in
unterschiedlichen Teil-Bereichen der ersten Szene. Die statistische Größe von optischen Flussvektoren in einem Teil-Bereich kann z.B. einen mittleren Betrag bzw. eine mittlere Größe / Stärke der optischen Flussvektoren in dem Teil-Bereich umfassen. Alternativ oder ergänzend kann die statistische Größe ein
Homogenitätsmaß (z.B. eine Varianz oder eine Standardabweichung) der optischen Flussvektoren in dem Teil-Bereich umfassen. Die Teil-Bereiche können z.B. einem vorläufigen oder einem endgültigen Hintergrund-Bereich und
Vordergrund-Bereich der ersten Szene entsprechen.
Außerdem umfasst das Verfahren das Bestimmen, auf Basis der statistischen Größen und ggf. auf Basis der unterschiedlichen Teil-Bereiche, einer Trennlinie zwischen einem Vordergrund- Bereich und einem Hintergrund- Bereich der ersten Szene. Mit anderen Worten, anhand der statistischen Größen kann der Verlauf einer Trennlinie ermittelt werden, welche die erste Szene in einen Vordergrund- Bereich und in einen Hintergrund- Bereich aufteilt. Dabei umfasst das Bestimmen der Trennlinie das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit der optische Fluss, d.h. insbesondere die optischen Flussvektoren, im Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen ist bzw. sind.
Das Verfahren ermöglicht somit, anhand der Analyse des optischen Flusses (d.h.
insbesondere der Flussvektoren) und anhand der Tatsache, dass einige der Flussvektoren (d.h. insbesondere die Flussvektoren, die auf Feature im äußeren Teil-Bereich der ersten Szene zurückzuführen sind) durch eine Fortbewegung des Fahrzeugs bewirkt werden, eine effiziente und robuste Segmentiemng einer Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich. Diese Segmentierung kann z.B. dazu verwendet werden, die Pose der z.B. beweglichen Kamera im Fahrzeuginnenraum in präziser Weise zu bestimmen.
Der Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit der optische Fluss, d.h. insbesondere die Flussvektoren, im
Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen ist bzw. sind, kann ein Abstandsmaß umfassen, welches einen Abstand einer statistischen Größe der optischen Flussvektoren im Vordergrund-Bereich von einer entsprechenden statistischen Größe der optischen Flussvektoren im
Hintergrund-Bereich anzeigt. Beispielsweise kann die Trennlinie derart ermittelt werden, dass das Abstandmaß vergrößert (ggf. maximiert) wird. Die Verwendung eines Abstandsmaßes als Indikator dafür, ob die Flussvektoren im Hintergrund- Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen sind, beruht auf der Beobachtung, dass ein statistisches Verhalten der Flussvektoren im Innenraum des Fahrzeugs bzw. an Teilen des Fahrzeugs signifikant von einem statistischen Verhalten der Flussvektoren in der äußeren Umgebung des Fahrzeugs abweicht. Durch eine Klassifizierung der Flussvektoren und der entsprechenden Bildpunkte in Abhängigkeit von dem Abstandsmaß kann eine robuste und präzise Aufteilung der ersten Szene in einen Vordergrund- Bereich und in einen Hintergrund-Bereich bewirkt werden.
Das Abstandsmaß kann eine Differenz der entsprechenden statistischen Größen umfassen. Beispielsweise kann das Abstandmaß eine Differenz zwischen dem mittleren Betrag der optischen Flussvektoren im (ggf. vorläufigen) Vordergrund- Bereich und dem mittleren Betrag der optischen Flussvektoren im (ggf.
vorläufigen) Hintergrund-Bereich umfassen. Dieses Abstandsmaß nutzt die
Tatsache, dass bei einer Fahrt des Fahrzeugs die Flussvektoren im äußeren Teil- Bereich der ersten Szene typischerweise einen größeren Betrag aufweisen als im inneren Teil-Bereich. Das Abstandsmaß (insbesondere ein Wert des
Abstandsmaßes) ist somit ein Indikator dafür, dass bzw. ob bzw. in welchem Ausmaß die Flussvektoren des (ggf. vorläufigen) Hintergrund-Bereichs auf eine Fortbewegung des Fahrzeugs zurückzuführen sind. Alternativ oder ergänzend kann das Abstandsmaß eine Differenz zwischen dem Homogenitätsmaß der optischen Flussvektoren im (ggf. vorläufigen)
Vordergrund-Bereich und dem Homogenitätsmaß der optischen Flussvektoren im (ggf. vorläufigen) Hintergrund-Bereich umfassen. Dieses Abstandsmaß nutzt die Tatsache, dass bei einer Fahrt des Fahrzeugs die Flussvektoren im äußeren Teil- Bereich der ersten Szene typischerweise substantiell inhomogener sind als im inneren Teil-Bereich. Das Abstandsmaß (insbesondere ein Wert des
Abstandsmaßes) ist somit ein Indikator dafür, dass bzw. ob bzw. in welchem Ausmaß die Flussvektoren des (ggf. vorläufigen) Hintergrund-Bereichs auf eine Fortbewegung des Fahrzeugs zurückzuführen sind.
Das Abstandsmaß kann z.B. eine Kombination (z.B. eine gewichtete Summe) der o.g. Differenzen umfassen. Durch eine solche Kombination kann die Genauigkeit und die Robustheit einer Segmentierung weiter verbessert werden.
Das Verfahren kann das Bestimmen eines vorläufigen Verlaufs der Trennlinie umfassen. Auf Basis des vorläufigen Verlaufs der Trennlinie kann die erste Szene in einen vorläufigen Vordergrund-Bereich und in einen vorläufigen Hintergrund-Bereich aufgeteilt werden. Es können dann eine statistischen Größe der optischen
Flussvektoren im vorläufigen Vordergrund-Bereich und eine entsprechende statistischen Größe der optischen Flussvektoren im vorläufigen Hintergrund- Bereich ermittelt werden. Desweiteren kann ein Wert des Indikators auf Basis der ermittelten statistischen Größen für den vorläufigen Vordergrund-Bereich und für den vorläufigen Hintergrund-Bereich ermittelt werden. Der Verlauf der Trennlinie kann dann derart angepasst werden, dass der Wert des Indikators verbessert (ggf. optimiert, d.h. maximiert oder minimiert) wird. Die (endgültige) Trennlinie zwischen dem (endgültigen) Vordergrund-Bereich und dem (endgültigen) Hintergrund-Bereich kann insbesondere in iterativer Weise (durch Wiederholung der o.g. Schritte) bestimmt werden. Der Indikator kann dabei als
Optimierungskriterium verwendet werden und durch die Iterationen kann ein Wert des Indikators (d.h. ein Wert des Optimierungskriteriums) verbessert (ggf. optimiert) werden. Somit kann eine robuste Segmentierung der ersten Szene erfolgen. Bei der Bestimmung der Trennlinie können ein oder mehrere Bedingungen bezüglich der Trennlinie berücksichtigt werden. Durch die Bedingungen können die Effizienz und die Robustheit des Verfahrens erhöht werden. Durch die Bedingungen kann die Tatsache berücksichtigt werden, dass bei Fahrzeugen eine Trennung zwischen Fenstern (d.h. äußerer Teil-Bereich der ersten Szene) und Innenraum (d.h. innerer Teil-Bereich der ersten Szene) typischerweise horizontal verläuft. Die Trennlinie kann z.B. derart ermittelt werden, dass die Trennlinie für jeden Punkt auf einer horizontalen Achse der ersten Szene genau einen Punkt auf einer vertikalen Achse der ersten Szene aufweist. Mit anderen Worten, die Trennlinie kann derart ermittelt werden, dass die Trennlinie für jeden Wert auf der horizontalen Achse genau einen Wert auf der vertikalen Achse annimmt.
Desweiteren kann die Trennlinie derart ermittelt werden, dass der Betrag einer mittleren Steigung der Trennlinie entlang der horizontalen Achse kleiner als oder gleich wie ein vordefinierter Steigungs-Schwellenwert ist. Der Steigungs- Schwellenwert kann z.B. bei null liegen. So kann eine Trennlinie ermittelt werden, die im Mittel horizontal durch die erste Szene verläuft. Andererseits kann bei der Ermittlung der Trennlinie festgelegt werden, dass die Trennlinie im gesamten Bereich horizontal durch die erste Szene verläuft. Außerdem kann festgelegt werden, dass der Verlauf der Trennlinie zumindest abschnittsweise stetig ist.
Das Verfahren kann weiter umfassen, das Ermitteln einer Fahrgeschwindigkeit des Fahrzeugs. Der Indikator dafür, dass und/oder ob und/oder in welchem Ausmaß und/oder inwieweit die Flussvektoren im Hintergrund-Bereich auf eine Fortbewegung des Fahrzeugs zurückzuführen sind, kann in Abhängigkeit von der Fahrgeschwindigkeit des Fahrzeugs ermittelt werden. Beispielsweise kann eine Gewichtung zwischen dem Abstandsmaß bezüglich des mittleren Betrags und dem Abstandsmaß bezüglich des Homogenitätsmaßes in einem kombinierten Indikator in Abhängigkeit von der Fahrgeschwindigkeit des Fahrzeugs verändert werden. Insbesondere kann mit sinkender Fahrgeschwindigkeit das Gewicht auf das Abstandsmaß bezüglich des Homogenitätsmaßes verlagert werden (und umgekehrt). Durch die Berücksichtigung der Fahrgeschwindigkeit bei der Segmentierung kann die Genauigkeit und die Robustheit der Segmentierung weiter erhöht werden.
Die Trennlinie kann derart bestimmt werden, dass der Vordergrund-Bereich einen kleineren Außen-Anteil aufweist als der Hintergrund-Bereich. Dabei kann der Außen- Anteil den Anteil eines Bereichs der ersten Szene anzeigen, der dem äußeren Teil-Bereich der ersten Szene entspricht. Alternativ oder ergänzend kann der Außen-Anteil den Anteil von Flussvektoren anzeigen, der auf eine
Fortbewegung des Fahrzeugs zurückzuführen ist.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung einer Pose einer Kamera beschrieben. Die Kamera ist dabei beweglich im Innenraum eines Fahrzeugs oder am Fahrzeug angeordnet (z.B. in einer Datenbrille eines Fahrers des Fahrzeugs). Insbesondere kann die Kamera derart angeordnet sein, dass eine von der Kamera erfasste Szene Teile des Fahrzeugs und Teile einer Umgebung des Fahrzeugs umfasst.
Das Verfahren umfasst das Erfassen einer Sequenz von Szenen mittels der Kamera. Außerdem umfasst das Verfahren das Ermitteln eines Vordergrund- Bereichs einer ersten Szene aus der Sequenz von Szenen. Der Vordergrund- Bereich kann dabei gemäß des in diesem Dokument beschriebenen Verfahrens zur Segmentierung einer Szene ermittelt werden. Außerdem umfasst das Verfahren das Detektieren von einem oder mehreren Referenzpunkten im Vordergrund- Bereich der ersten Szene sowie das Ermitteln der Pose der Kamera anhand des oder der detektierten Referenzpunkte. Durch die Beschränkung der Recherche von ein oder mehreren Referenzpunkten auf den Vordergrund-Bereich kann die Genauigkeit der ermittelten Pose erhöht werden.
Gemäß einem weiteren Aspekt wird eine Steuereinheit beschrieben, die eingerichtet ist, ein oder mehrere der in diesem Dokument beschriebenen Verfahren auszuführen. Dabei kann es sich z.B. um die Steuereinheit einer
Vorrichtung zur Erweiterung der Realitätswahrnehmung (z.B. einer Datenbrille) handeln. Die Steuereinheit kann dabei eingerichtet sein, zu ermitteln, ob sich die Vorrichtung zur Erweiterung der Realitätswahrnehmung in einem Fahrzeug befindet. Ist dies der Fall, so kann eines der in diesem Dokument beschriebenen Verfahren ausgeführt werden.
Gemäß einem weiteren Aspekt wird eine Vorrichtung zur Erweiterung der Realitätswahrnehmung (z.B. eine Datenbrille) beschrieben, die die in diesem Dokument beschriebene Steuereinheit umfasst.
Gemäß einem weiteren Aspekt wird ein Fahrzeug (z.B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Steuereinheit umfasst. Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät) ausgeführt zu werden, und um dadurch das in diesem
Dokument beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das
Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren,
Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Anspräche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
Figur la eine Frontansicht einer beispielhaften Vorrichtung zur Erweiterung der Realitäts Wahrnehmung in einem Fahrzeug;
Figur lb ein Seitenansicht einer beispielhaften Vorrichtung zur Erweiterung der Realitätswahrnehmung in einem Fahrzeug;
Figur 2 eine beispielhafte Szene, welche durch eine Kamera der Vorrichtung zur Erweiterung der Realitätswahrnehmung erfasst wurde;
Figur 3 beispielhafte optische Flussvektoren einer Sequenz von erfassten Szenen; Figur 4 eine beispielhafte Trennlinie zwischen einem Vordergrund-Bereich und einem Hintergrund-Bereich; und
Figur 5 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Vordergrund / Hintergrund Segmentierung einer erfassten Szene.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der
Ermittlung der Pose einer Kamera einer Vorrichtung zur Erweiterung der Realitätswahmehmung eines Nutzers. In diesem Zusammenhang befasst sich das vorliegende Dokument insbesondere mit der Segmentiemng von Bildern, die von der Kamera erfasst wurden.
Fig. la zeigt eine beispielhafte Vorrichtung 100 zur Erweiterung der
Realitätswahmehmung (Augmented Reality) in einer Frontansicht. Insbesondere zeigt Fig. la eine Datenbrille 100, die von einem Nutzer 110 getragen wird. Die Datenbrille 100 umfasst eine Kamera 102, die typischerweise an der Datenbrille 100 fixiert ist und sich mit dem Kopf des Nutzers 110 bewegt. Die Kamera 102 kann eine Mono-Kamera oder eine Stereo- Kamera umfassen. Die Kamera 102 ist eingerichtet, Bilddaten (z.B. eine zeitliche Sequenz von Bildern bzw. Szenen) einer Umgebung der Datenbrille 100 zu erfassen. Insbesondere können Bilddaten der Umgebung erf asst werden, die von dem Nutzer 110 betrachtet wird.
Die Bilddaten können von einer Steuereinheit 101 der Datenbrille 100 verarbeitet werden. Insbesondere kann die Steuereinheit 101 eingerichtet sein, auf Basis der Bilddaten ein oder mehrere Objekte in der erfassten Umgebung zu detektieren und zu identifizieren. Desweiteren kann die Steuereinheit 101 eingerichtet sein, eine Information bezüglich der identifizierten ein oder mehreren Objekte zu ermitteln (z.B. den Straßennamen einer identifizierten Straße). Außerdem kann die
Steuereinheit 101 eingerichtet sein, die ermittelte Information auf einer
Ausgabeeinheit 103 der Datenbrille 100 (z.B. auf einem transparenten Bildschirm in den Brillengläsern der Datenbrille 100) auszugeben. Somit können dem Nutzer 110 weiterführende Informationen bezüglich der von dem Nutzer 110
wahrgenommenen Umgebung bereitgestellt werden.
Fig. lb zeigt den Nutzer 110 mit der Vorrichtung 100 zur Erweiterung der Realitäts Wahrnehmung in einer Seitenansicht. Der Nutzer 110 befindet sich in einem Fahrzeug 120. Insbesondere sitzt der Nutzer 110 auf einem Fahrersitz 124 und hält ein Lenkrad 122 des Fahrzeugs 120 mit seinen Händen. Desweiteren betrachtet der Nutzer 110 das vordere Umfeld des Fahrzeugs 120 durch die Datenbrille 100 und durch die Windschutz schreibe 121 des Fahrzeugs 120.
Desweiteren zeigt Fig. lb ein Armaturenbrett 123 des Fahrzeugs 120.
Um ein Objekt innerhalb eines erfassten Bildes zuverlässig detektieren und insbesondere identifizieren zu können, ist es vorteilhaft, wenn die Pose der Kamera 102 der Datenbrille 100 bekannt ist. Die Pose umfasst dabei
typischerweise die Position der Kamera 102 und die Orientierung der Kamera 102, d.h. die Pose umfasst typischerweise 6 Freiheitsgrade. Die Pose der Kamera 102 kann sich dadurch verändern, dass der Nutzer 110 die Position seines Kopfes und/oder die Orientierung seines Kopfes (z.B. die Blickrichtung) ändert.
Die Pose der Kamera 102 kann z.B. durch ein oder mehrere geeignete Sensoren ermittelt werden. Beispielhafte Sensoren sind ein Gyrosensor, ein
Beschleunigungssensor und/oder ein Magnetometer. Derartige Sensoren erhöhen jedoch die Kosten einer Vorrichtung 100 zur Erweiterung der
Realitätswahrnehmung. Um Zusatzkosten zu vermeiden, ist es wünschenswert, die Pose der Kamera 102 auf Basis der von der Kamera 102 erfassten Bilddaten zu ermitteln. Zu diesem Zweck können ein oder mehrere bekannte
Referenzpunkte im Innenraum des Fahrzeugs 120 oder am Fahrzeug 120 definiert werden. Beispielsweise kann ein CAD (Computer Aided Design) Modell des Innenraums des Fahrzeugs 120 berücksichtigt werden. Die Bilddaten können dann analysiert werden, um die ein oder mehrere vordefinierte Referenzpunkte in den Bilddaten zu detektieren. Da die Positionierung der Referenzpunkte zueinander bekannt ist, kann so die Pose der Kamera 102 bestimmt werden.
Typischerweise umfassen die von der Kamera 102 erfassten Bilddaten eine Vielzahl von erfassten Objekten bzw. eine Vielzahl von Features. Aus der Vielzahl von erfassten Objekten / Features müssen die ein oder mehreren bekannten Referenzpunkte für die Bestimmung der Pose ermittelt werden. Bei einer großen Anzahl von erfassten Objekten / Features kann dies zu einer relativ hohen Zahl von Fehldetektionen von Referenzpunkten und so zu einer relativ ungenauen Bestimmung der Pose der Kamera 102 führen. Desweiteren wird dadurch ein relativ hoher Rechenaufwand, Energieaufwand und/oder Zeitaufwand verursacht. Um die Qualität der Bestimmung der Pose zu erhöhen und/oder den Aufwand der Bestimmung der Pose zu reduzieren, ist es daher vorteilhaft, die Anzahl der erfassten Objekte / Features, die als Referenzpunkte in Frage kommen, zu reduzieren. Zu diesem Zweck kann ein von der Kamera 102 erfasstes Bild bzw. eine erfasste Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich aufgeteilt werden. Dabei umfasst der Vordergrund-Bereich den Bereich einer erfassten Szene, in dem sich die ein oder mehreren Referenzpunkte befinden können (z.B. einen Innenraum des Fahrzeugs oder ein Teil des Fahrzeugs). Der Hintergrund- Bereich umfasst dahingegen den Bereich, in dem keine Referenzpunkte zu erwarten sind (z.B. eine äußere Umgebung des Fahrzeugs).
Für die Verwendung einer Vorrichtung 100 zur Erweiterung der
Realitäts Wahrnehmung in einem Fahrzeug 120 werden die Referenzpunkte typischerweise in dem bekannten Innenraum des Fahrzeugs 120 und/oder an einem sichtbaren Teil des Fahrzeugs definiert. Beispielsweise können sich Referenzpunkte auf dem Lenkrad 122 und/oder auf dem Armaturenbrett 123 des Fahrzeugs 120 befinden. Dabei sind unbewegliche Referenzpunkte (z.B. auf dem Armaturenbrett 123) typischerweise vorteilhaft gegenüber beweglichen
Referenzpunkten (z.B. auf dem Lenkrad 122). Im Fahrzeug 120 stellt somit der Innenraum des Fahrzeugs 120 den Vordergrund-Bereich dar. Andererseits stellt eine durch eine Scheibe 121 des Fahrzeugs 120 betrachtete Umgebung des Fahrzeugs 120 typischerweise einen Hintergrund-Bereich einer erfassten Szene dar.
Die Steuereinheit 101 kann eingerichtet sein, auf Basis der Bilddaten (welche typischerweise eine zeitliche Sequenz von erfassten Szenen umfasst) eine erfasste Szene in einen Vordergrund-Bereich und in einen Hintergrund-Bereich zu segmentieren. Fig. 2 zeigt eine beispielhafte Szene 200, die z.B. von der Kamera 102 einer Datenbrille 100 eines fahrenden Fahrers 110 erfasst wurde. Die Szene 200 umfasst Bereiche, welche im Innenraum des Fahrzeugs 120 liegen.
Beispielsweise umfasst die Szene 200 einen Bereich in dem das Lenkrad 122 dargestellt ist, einen Bereich in dem das Armaturenbrett 123 dargestellt ist, und einen Bereich in dem eine Seite (z.B. eine Tür) des Fahrzeugs 120 dargestellt ist. Desweiteren umfasst die Szene 200 einen Bereich, in dem eine äußere Umgebung des Fahrzeugs 120 dargestellt ist. Dieser Bereich entspricht typischerweise dem Bereich der Windschutzscheibe 121 des Fahrzeugs 120. Fig. 2 zeigt beispielhafte Objekte 211, 212, 213 in der Umgebung des Fahrzeugs 120. Beispielsweise stellt das erste Objekt 211 ein Haus am Straßenrand einer von dem Fahrzeug 120 befahrenen Straße, das zweite Objekt 212 ein vor dem Fahrzeug 120 fahrendes anderes Fahrzeugs und das dritte Objekt 213 ein am rechten Straßenrand parkendes anderes Fahrzeug dar. Außerdem zeigt Fig. 2 einen Rückspiegel 201 des Fahrzeugs 120. Wie aus Fig. 2 ersichtlich, ist es für ein Fahrzeug 120 typisch, dass der
Hintergrund einer Szene 200 (der z.B. dem Bereich der Windschutzscheibe 121 entspricht) durch eine klare Trennlinie von dem Vordergrund der Szene 200 getrennt ist. Dies gilt insbesondere für Fahrzeuge 120, die eine Insassenkabine aufweisen, die einen Insassen von der Umgebung des Fahrzeugs trennt. Der Hintergrund befindet sich bei derartigen Fahrzeugen meist oberhalb und der Vordergrund meist unterhalb von dieser klaren Trennlinie. Die Trennlinie kann eine Gerade sein (wie in Fig. 3 dargestellt) oder die Trennlinie kann eine
Kurvenform aufweisen. Die Trennlinie teilt dabei eine Szene 200 in einen tendenziell oberen Bereich (der den Hintergrund der Szene 200 dargestellt) und in einen tendenziell unteren Bereich (der den Vordergrund der Szene 200 dargestellt).
Fig. 3 zeigt eine beispielhafte Trennlinie 330, durch die die Szene 200 in einen unteren Bereich (Vordergrund) und in einen oberen Bereich (Hintergrund) aufgeteilt wird. Die Trennlinie 330 kann dabei auf Basis des optischen Flusses von Featuren (d.h. von markanten Merkmalen) in der Szene 200 ermittelt werden. Der optische Fluss (insbesondere Flussvektoren von Features einer Szene 200) kann z.B. anhand der Lucas-Kanade Methode ermittelt werden. Dabei kann der optische Fluss zunächst für eine reduzierte Auflösung der Szene 200 ermittelt werden. Dieser optische Fluss kann dann als Ausgangspunkt für die Berechnung des optischen Flusses für eine höhere Auflösung verwendet werden, usw., bis schließlich der optische Fluss für die volle Auflösung der Szene 200 ermittelt wird. Der optische Fluss kann somit in hierarchischer Weise ermittelt werden.
Bei der Ermittlung des optischen Flusses kann die Bewegung eines identifizierten Features (insbesondere eines sogenannten ORB, Oriented FAST and Rotated BRIEF features) zwischen mindestens zwei zeitlich aufeinanderfolgenden erfassten Szenen 200 betrachtet werden. Insbesondere kann so ermittelt werden, wie stark und wohin sich ein identifiziertes Feature bewegt hat. Mit anderen Worten kann für ein identifiziertes Feature ein Flussvektor (mit Betrag und Richtung) ermittelt werden, der anzeigt, wie sich das identifizierte Feature bewegt hat.
Fig. 3 zeigt beispielhafte Flussvektoren 310, 311, 312, 313 für Feature im
Innenraum des Fahrzeugs 120 und für Feature in der äußeren Umgebung des Fahrzeugs 120. Insbesondere zeigt Fig. 3 eine typische Situation bei der das
Fahrzeug 120 fährt und bei der der Fahrer seinen Blick auf die vordere Umgebung des Fahrzeugs 120 fixiert hat.
Eine Kante des Lenkrads 122 kann beispielhaft als Feature im Innenraum des Fahrzeugs 120 betrachtet werden. Die punktförmigen Flussvektoren 310 zeigen an, dass sich dieses Feature im Innenraum nicht bewegt hat (in
aufeinanderfolgenden Szenen 200). Dies liegt insbesondere daran, dass der Fahrer des Fahrzeugs 120 seinen Kopf (und damit die Kamera 102) nicht bewegt hat. In der äußeren Umgebung des Fahrzeugs 120 können z.B. die Objekte 211, 212, 213 (insbesondere deren Kanten) als Feature betrachtet werden. Wie aus Fig. 3 ersichtlich ist, weisen das erste Objekt 211 (z.B. ein Haus am Straßenrand) und das dritte Objekt 213 (z.B. ein am Straßenrand geparktes Fahrzeug) relativ hohe optische Flüsse 311, 313 auf. Andererseits weist das zweite Objekt 212 (z.B. ein vor dem Fahrzeug 120 fahrendes anderes Fahrzeug) einen relativ niedrigen optischen Fluss 312 auf. Insbesondere können die folgenden Beobachtungen gemacht werden:
• Typischerweise weist der optische Fluss 311, 312, 313 von Features 211, 212, 213 in der äußeren Umgebung des Fahrzeugs 120 einen höheren Betrag auf, als der optische Fluss 310 von Features 122, 123, 223 im Innenraum des Fahrzeugs 120.
• Typischerweise weisen die Flussvektoren 311, 312, 313 von Features 211, 212, 213 in der äußeren Umgebung des Fahrzeugs 120 eine höhere Varianz auf, als die Flussvektoren 310 von Features 122, 123, 223 im Innenraum des Fahrzeugs 120.
Auf Basis derartige Beobachtungen können ein oder mehrere Bedingungen festgelegt werden, die dazu verwendet werden können, die Trennlinie 330 zwischen dem Hintergrund und dem Vordergrund zu bestimmen. Insbesondere können Kostenfunktionen oder Indikatoren ermittelt werden, die optimiert werden können um die Trennlinie 330 zu ermitteln.
Beispielsweise kann die Trennlinie 330 derart ermittelt werden, dass eine
Differenz zwischen einem mittleren Betrag der Flussvektoren 311, 312, 313 im Hintergrund-Bereich der Szene 200 und einem mittleren Betrag der Flussvektoren 310 im Vordergrund- Bereich des Szene 200 vergrößert (ggf. maximiert) wird.
Alternativ oder ergänzend kann die Trennlinie 330 derart ermittelt werden, dass eine Differenz zwischen einem Homogenitätsmaß der Flussvektoren 311, 312, 313 im Hintergrund-Bereich der Szene 200 und einem Homogenitätsmaß der Flussvektoren 310 im Vordergrund-Bereich des Szene 200 vergrößert (ggf.
maximiert) wird. Das Homogenitätsmaß kann z.B. die Varianz der Richtungen und/oder der Beträge der Flussvektoren in einem jeweiligen Teil-Bereich der Szene 200 umfassen. Die o.g. Bedingungen können auch kombiniert werden, Beispielsweise kann eine Trennlinie 330 derart ermittelt werden, dass die gewichtete Summe aus der Differenz der Beträge und der Differenz der Homogenitätsmaße vergrößert (ggf. maximiert) wird.
Fig. 4 zeigt eine beispielhafte Aufteilung einer Szene 200 in einen Hintergrund- Bereich 411 und in einen Vordergrund-Bereich 412. Die Szene 200 kann z.B. in Spalten 401 aufgeteilt werden und für jede Spalte 401 kann ein Trennlinien- Segment 430 ermittelt werden (auf Basis der o.g. Bedingungen). Anhand der Trennlinien-Segmente 430 kann dann die Trennlinie 330 ermittelt werden, welche die Szene 200 in einen Hintergrund- Bereich 411 und in einen Vordergrund- Bereich 412 trennt. Beispielsweise können die Trennlinien-Segmente 430 aneinandergereiht werden und/oder interpoliert werden, um die Trennlinie 330 zu ermitteln.
Nach Ermittlung des Vordergrund-Bereichs 412 kann die Suche nach den
Referenzpunkten für die Ermittlung der Pose der Kamera 102 auf den
Vordergrund-Bereich 412 beschränkt werden. So kann die Wahrscheinlichkeit dafür, dass die Referenzpunkt korrekt detektiert werden substantiell erhöht werden. Dadurch wird wiederum die Genauigkeit der Ermittlung der Pose der
Kamera 102 (und damit die Genauigkeit der Identifikation von Objekten (wie z.B. Straßen) in der Szene 200 zur Bereitstellung von erweiterten Informationen) erhöht. Fig. 5 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 500 zur
Segmentierung einer ersten Szene 200 aus einer Sequenz von Szenen 200. Dabei ist die Sequenz von Szenen 200 von einer (typischerweise beweglichen) Kamera 102 in einem Fahrzeug 120 (insbesondere in einem Innenraum des Fahrzeugs 120) erfasst worden. Das Verfahren 500 umfasst das Ermitteln 501 von einem optischen Fluss (insbesondere von optischen Flussvektoren) 310, 311, 312, 313 der ersten Szene 200, auf Basis der Sequenz von Szenen 200. Desweiteren umfasst das Verfahren 500 das Ermitteln 502 von statistischen Größen des optischen Flusses (insbesondere der optischen Flussvektoren) 310, 311, 312, 313 in unterschiedlichen Teil-Bereichen der ersten Szene 200. Außerdem umfasst das Verfahren 500 das Bestimmen 503, auf Basis der statistischen Größen, einer Trennlinie 330 zwischen einem Vordergrund- Bereich 412 und einem
Hintergrund-Bereich 411 der ersten Szene 200. Dabei umfasst das Bestimmen 503 der Trennlinie 330 das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, ob der optische Fluss (d.h. insbesondere die optischen
Flussvektoren) im Hintergrund-Bereich 411 auf eine Fortbewegung des Fahrzeugs 120 zurückzuführen sind.
Das beschriebene Verfahren nutzt die inhärente Bewegung eines Fahrzeugs 120 um eine robuste Trennlinie 330 zwischen Vordergrund-Bereich 412 und
Hintergrund-Bereich 411 zu ermitteln. Die dabei ermittelten Flussvektoren können in späteren Verarbeitungsprozessen wiederverwendet werden.
Beispielsweise kann auf Basis der Flussvektoren im Vordergmnd-Bereich 412 die Eigenbewegung der Kamera 102 ermittelt werden. Desweiteren weist das beschriebene Verfahren einen relativ geringen Rechenbedarf auf (insbesondere bei der Verwendung einer hierarchischen Methode zur Ermittlung der
Flussvektoren). Außerdem kann durch das beschriebene Verfahren die Pose einer beweglichen Kamera 102 im Fahrzeug 120 mit hoher Genauigkeit ermittelt werden (insbesondere bei Verwendung eines Modells des Innenraums des Fahrzeugs 120). Wie in diesem Dokument dargelegt, werden für die Berechnung des optischen Flusses zur Erkennung der Trennlinie 330 zwischen Vordergrund und
Hintergrund typischerweise Features (z.B. ORB-Features) ermittelt. Für die anschließende Bestimmung der Pose der Kamera 102 (d.h. im Anschluss an die Vordergrund - Hintergrund Segmentierung) werden typischerweise erneut Feature Punkte (z.B. ORB-Features) benötigt, sodass die einmal bestimmten Feature Punkte (z.B. ORB-Features) wiederverwendet werden können. Somit kann in Summe Rechenzeit eingespart werden. Damber hinaus sind diese Features bei einem hierarchischen Ermitteln der Trennlinie 330 in verschiedenen
Auflösungen bekannt, so dass ohne großen Mehraufwand auch die Pose in hierarchischer Weise bestimmt werden kann. Insbesondere kann die Pose in einem ersten Schritt durch ein relativ niedrig aufgelöstes Bild (mittels der dazu ermittelten ORB Features) bestimmt werden. Anschließend können je nach Use Case, Zeit und/oder Kritikalität weitere Detailgrade der Pose bestimmt werden (mittels der höher aufgelösten ORB Features).
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Ansprüche
Verfahren (500) zur Segmentierung einer ersten Szene (200) aus einer Sequenz von Szenen (200), wobei die Sequenz von Szenen (200) von einer Kamera (102) in oder an einem Fahrzeug (120), insbesondere in einem Innenraum des Fahrzeugs (120), erfasst wurde; wobei das Verfahren (500) umfasst,
- Ermitteln (501) von einem optischen Fluss (310, 311, 312, 313), insbesondere von optischen Flussvektoren, der ersten Szene (200), auf Basis der Sequenz von Szenen (200);
- Ermitteln (502) von statistischen Größen des optischen Flusses (310, 311, 312, 313) in unterschiedlichen Teil-Bereichen der ersten Szene (200); und
- Bestimmen (503), auf Basis der statistischen Größen, einer Trennlinie (330) zwischen einem Vordergrund-Bereich (412) und einem Hintergrund-Bereich (41 1) der ersten Szene (200), wobei das Bestimmen (503) der Trennlinie (330) umfasst, das Ermitteln, auf Basis der statistischen Größen, von einem Indikator dafür, ob der optische Fluss (311, 312, 313) im Hintergrund-Bereich (411) auf eine Fortbewegung des Fahrzeugs (120) zurückzuführen ist.
Verfahren (500) gemäß Anspruch 1, wobei die statistische Größe der optischen Flussvektoren (310, 311, 312, 313) in einem Teil-Bereich ein oder mehrere umfasst von,
- einen mittleren Betrag der optischen Flussvektoren (310, 311, 312, 313) in dem Teil-Bereich; und/oder
- ein Homogenitätsmaß der optischen Flussvektoren (310, 311, 312, 313) in dem Teil -Bereich. 3) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei der
Indikator dafür, ob der optische Fluss im Hintergrund-Bereich (411) auf eine Fortbewegung des Fahrzeugs ( 120) zurückzuführen ist, ein Abstandsmaß umfasst, welches einen Abstand einer statistischen Größe der optischen Flussvektoren (310, 311, 312, 313) im Vordergrund-Bereich (412) von einer entsprechenden statistischen Größe der optischen Flussvektoren (310, 311, 312, 313) im Hintergrund-Bereich (412) anzeigt.
4) Verfahren (500) gemäß Anspruch 3, wobei das Abstandsmaß eine Differenz der entsprechenden statistischen Größen umfasst, insbesondere
- eine Differenz zwischen einem mittleren Betrag der optischen
Flussvektoren (310, 311, 312, 313) im Vordergrund-Bereich (412) und einem mittleren Betrag der optischen Flussvektoren (310, 311, 312, 313) im Hintergrund-Bereich (41 1); und/oder
- eine Differenz zwischen einem Homogenitätsmaß der optischen
Flussvektoren (310, 311, 312, 313) im Vordergrund-Bereich (412) und einem Homogenitätsmaß der optischen Flussvektoren (310, 311, 312, 313) im Hintergrund-Bereich (41 1);
5) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren (500) umfasst,
- Bestimmen eines vorläufigen Verlaufs der Trennlinie (330);
- auf Basis des vorläufigen Verlaufs der Trennlinie (330), Aufteilen der ersten Szene (200) in einen vorläufigen Vordergrund-Bereich (412) und in einen vorläufigen Hintergrund-Bereich (411);
- Ermitteln einer statistischen Größe des optischen Flusses (310, 311, 312, 313) im vorläufigen Vordergrund-Bereich (412) und Ermitteln einer entsprechenden statistischen Größe des optischen Flusses (310, 311, 312, 313) im vorläufigen Hintergrund-Bereich (411);
- Ermitteln von einem Wert des Indikators auf Basis der ermittelten statistischen Größen für den vorläufigen Vordergrund-Bereich (412) und für den vorläufigen Hintergrund-Bereich (411); und - Anpassen des Verlaufs der Trennlinie (330) derart, dass der Wert des Indikators verbessert wird.
6) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei die Trennlinie (330) derart bestimmt wird, dass
- die Trennlinie (330) für jeden Punkt auf einer horizontalen Achse der ersten Szene (200) genau einen Punkt auf einer vertikalen Achse der ersten Szene (200) aufweist;
- der Betrag einer mittleren Steigung der Trennlinie (330) entlang der horizontalen Achse kleiner als oder gleich wie ein vordefinierter
Steigungs-Schwellenwert ist;
- die Trennlinie (330) horizontal durch die erste Szene (200) verläuft; und/oder
- der Verlauf der Trennlinie (330) zumindest abschnittsweise stetig ist.
7) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei
- das Verfahren (500) umfasst, Ermitteln einer Fahrgeschwindigkeit des Fahrzeugs (120); und
- der Indikator dafür, ob der optische Fluss (310, 311, 312, 313) im Hintergrund-Bereich (41 1) auf eine Fortbewegung des Fahrzeugs
(120) zurückzuführen ist, in Abhängigkeit von der
Fahrgeschwindigkeit des Fahrzeugs (120) ermittelt wird.
8) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei
- der optische Fluss (310, 311, 312, 313) der ersten Szene (200) für eine
Vielzahl von Features (122, 211, 212, 213), insbesondere von ORB Features, der ersten Szene (200) ermittelt wird;
- der optische Fluss (310, 311, 312, 313) der ersten Szene (200) in hierarchischer Weise für unterschiedliche Auflösungen der Vielzahl von Features (122, 211, 212, 213) ermittelt wird; und/oder - der optische Fluss (310, 311, 312, 313) der ersten Szene (200) mittels einer hierarchischen Lucas-Kanade Methode ermittelt wird.
9) Verfahren (500) gemäß einem der vorhergehenden Ansprüche, wobei
- die erste Szene (200) einen inneren Teil-Bereich umfasst, in dem ein Innenbereich des Fahrzeugs (120) dargestellt ist, und einen äußeren Teil-Bereich umfasst, in dem eine äußere Umgebung des Fahrzeugs (120) dargestellt ist; und/oder
- die Trennlinie (330) derart bestimmt wird, dass der Vordergrund- Bereich (412) einen kleineren Außen- Anteil aufweist als der Hintergrund-Bereich (411); und
- der Außen-Anteil den Anteil eines Bereichs der ersten Szene (200) anzeigt, der dem äußeren Teil-Bereich der ersten Szene (200) entspricht; und/oder
- der Außen-Anteil den Anteil von Flussvektoren (310, 311, 312, 313) anzeigt, der auf eine Fortbewegung des Fahrzeugs (120) zurückzuführen ist.
10) Verfahren zur Ermittlung einer Pose einer Kamera (102), die beweglich in oder an einem Fahrzeug (120) angeordnet ist, wobei das Verfahren umfasst,
- Erfassen einer Sequenz von Szenen (200) mittels der Kamera (102);
- Ermitteln eines Vordergrund-Bereichs (412) einer ersten Szene (200) aus der Sequenz von Szenen (200) anhand eines Verfahrens (500) gemäß einem der vorhergehenden Ansprüche;
- Detektieren von einem Referenzpunkt im Vordergrund-Bereich (412) der ersten Szene (200); und
- Ermitteln der Pose der Kamera (102) anhand des detektierten
Referenzpunktes.
PCT/EP2015/078438 2014-12-15 2015-12-03 Vordergrund-hintergrund differenzierung im fahrzeug WO2016096446A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/618,351 US10430952B2 (en) 2014-12-15 2017-06-09 Foreground-background differentiation in a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014225797.2 2014-12-15
DE102014225797.2A DE102014225797A1 (de) 2014-12-15 2014-12-15 Vordergrund-Hintergrund Differenzierung im Fahrzeug

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/618,351 Continuation US10430952B2 (en) 2014-12-15 2017-06-09 Foreground-background differentiation in a vehicle

Publications (1)

Publication Number Publication Date
WO2016096446A1 true WO2016096446A1 (de) 2016-06-23

Family

ID=54834804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/078438 WO2016096446A1 (de) 2014-12-15 2015-12-03 Vordergrund-hintergrund differenzierung im fahrzeug

Country Status (3)

Country Link
US (1) US10430952B2 (de)
DE (1) DE102014225797A1 (de)
WO (1) WO2016096446A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690622A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 多相机系统中的相机登记
US11270463B2 (en) 2019-05-29 2022-03-08 Infineon Technologies Ag Dynamic three-dimensional imaging distance safeguard
JP7298436B2 (ja) * 2019-10-14 2023-06-27 株式会社デンソー 障害物識別装置および障害物識別プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001612A1 (en) * 2002-06-28 2004-01-01 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
DE102009017135A1 (de) * 2009-04-15 2010-11-11 Syperion Gmbh & Co. Kg Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023060A1 (de) * 2012-11-24 2014-06-12 Connaught Electronics Ltd. Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001612A1 (en) * 2002-06-28 2004-01-01 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
DE102009017135A1 (de) * 2009-04-15 2010-11-11 Syperion Gmbh & Co. Kg Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIRALI JAZAYERI ET AL: "Vehicle Detection and Tracking in Car Video Based on Motion Model", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 12, no. 2, June 2011 (2011-06-01), pages 583 - 595, XP011325868, ISSN: 1524-9050, DOI: 10.1109/TITS.2011.2113340 *
ANDREA GIACHETTI ET AL: "The Use of Optical Flow for Road Navigation", IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, VOL. 14, NO. 1, February 1998 (1998-02-01), pages 34 - 48, XP055252645, DOI: 10.1109/70.660838 *
PLESS R ET AL: "Evaluation of local models of dynamic backgrounds", PROCEEDINGS / 2003 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 18 - 20 JUNE 2003, MADISON, WISCONSIN; [PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION], LOS ALAMITOS, CALIF. [U.A, vol. 2, 18 June 2003 (2003-06-18), pages 73 - 78, XP010644590, ISBN: 978-0-7695-1900-5, DOI: 10.1109/CVPR.2003.1211454 *
SUN ZEHANG ET AL: "On-road vehicle detection: a review", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 28, no. 5, May 2006 (2006-05-01), pages 694 - 711, XP008092043, ISSN: 0162-8828, [retrieved on 20060313], DOI: 10.1109/TPAMI.2006.104 *

Also Published As

Publication number Publication date
DE102014225797A1 (de) 2016-06-16
US20170278252A1 (en) 2017-09-28
US10430952B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
DE102011086512B4 (de) Nebeldetektion
EP3038011B1 (de) Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
EP2986225B1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
DE102017100198A1 (de) Fixierungserzeugung für maschinenlernen
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE112013007129T5 (de) Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
DE112013001424T5 (de) Objekterkennungsvorrichtung
EP3520023B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE102015223176A1 (de) Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
EP3520024B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien
DE102017117518B4 (de) Bild-Konvertierungs-Vorrichtung
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP2500216B1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
EP3078015B1 (de) Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung
EP3046076A1 (de) Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
WO2016096446A1 (de) Vordergrund-hintergrund differenzierung im fahrzeug
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
DE102022113554A1 (de) Fahrzeuganzeigesteuerungsvorrichtung, Fahrzeuganzeigevorrichtung, Anzeigesteuerungsverfahren und nicht-transitorisches Speichermedium
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP3520025B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15805442

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15805442

Country of ref document: EP

Kind code of ref document: A1