WO2013104485A1 - Bildverarbeitungssystem für ein fahrzeug - Google Patents

Bildverarbeitungssystem für ein fahrzeug Download PDF

Info

Publication number
WO2013104485A1
WO2013104485A1 PCT/EP2012/075526 EP2012075526W WO2013104485A1 WO 2013104485 A1 WO2013104485 A1 WO 2013104485A1 EP 2012075526 W EP2012075526 W EP 2012075526W WO 2013104485 A1 WO2013104485 A1 WO 2013104485A1
Authority
WO
WIPO (PCT)
Prior art keywords
video image
video
image signal
unit
transformed
Prior art date
Application number
PCT/EP2012/075526
Other languages
English (en)
French (fr)
Inventor
Thilo Baur
Andreas Schramm
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2013104485A1 publication Critical patent/WO2013104485A1/de
Priority to US14/328,246 priority Critical patent/US9445059B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/108—Adaptations for transmission by electrical cable the cable being constituted by a pair of wires

Definitions

  • the invention relates to an image processing system for a vehicle having a first unit and a second unit and a video transmission path, which signal-technically couples the first unit and the second unit for transmitting digital video data.
  • the object underlying the invention is to provide an image processing system for a vehicle that contributes to improving a display of video images.
  • the invention is characterized by an image processing system for a vehicle having a first unit and a second unit as well as a video transmission link, which signal-technically couples the first unit and the second unit for transmitting digital video data.
  • the video transmissions is also configured to transmit digital video image signals having a predetermined data format for a respective pixel of a video image, the data format comprising three blocks each having a predetermined number of bits.
  • the first unit is designed, depending on a respective first video image signal, in each case to determine an uncompressed, transformed video image signal suitable for transmission over the video transmission link such that the transformed video image signal has the predetermined data format of the video transmission link.
  • the first video image signal represents respective uncompressed first video images of a sequence of first video images provided at a predetermined frame rate and each having a first image resolution with a predetermined number of pixels, each four pixel values associated with the respective pixels of the first video image.
  • the second unit is designed to determine the first video picture signal again, depending on the transformed video picture signal received over the transmission link.
  • this makes it possible to transmit digital video images, which for example in addition to three color channels comprise an alpha channel, uncompressed over a video transmission link, which is otherwise provided only for a transmission of uncompressed video images having three color channels.
  • digital video images which for example in addition to three color channels comprise an alpha channel
  • video transmission link which is otherwise provided only for a transmission of uncompressed video images having three color channels. Examples of such video transmission links intended for transmission of
  • uncompressed video images with three color channels are, for example, an HDMI (High Definition Multimedia Interface) and / or a DVI (Digital Visual Interface) and / or an APIX (Automotive Pixel Link) transmission link.
  • this makes it possible to provide the first video images for further devices in the vehicle, which are designed, for example, to optically display the first video images and / or which are formed, the first video images and further video images that were generated by the further and / or other units to merge into a fusion image.
  • This makes it possible to suitably summarize information of different images generated from different sources in a fusion image.
  • the respective pixel of the first video image is a first pixel value representing a red color, a second pixel value representing a green color, a third pixel value representing a blue color, and a fourth pixel value representing a transparency , assigned.
  • the pixel is thus assigned three color channels and an alpha channel.
  • the alpha channel is an additional channel that represents the transparency of the individual pixels in raster graphics in addition to the color information.
  • a distinction is made between a direct alpha channel and an external alpha channel.
  • the image processing system according to the invention makes it possible for the first video images to have a direct alpha kana, in which the respective
  • Transparency information is stored in a separate channel, in addition to the color channels.
  • a pixel is stored not just with three hertz, for example each with a value for red, green and blue, but with four values, for example each with a value for red, green, blue and transparency.
  • the second unit is designed to determine an overall video image signal depending on the again determined first video image signal and a second video image signal.
  • the second video image signal represents respective second video images of a sequence of second video images provided at a predetermined second frame rate and each having a second image resolution having a predetermined second number of pixels.
  • the respective pixels of the second video image are each assigned three pixel values.
  • the overall video image signal is determined such that the overall video image signal represents respective picture-in-picture video images of a sequence of picture-in-picture video images.
  • this allows merging of first and second video images such that the picture-in-picture video image has a higher payload content and / or less interference than the first and / or second video image.
  • the frame rate and the second frame rate can be chosen the same. This allows easy calculation of the overall video image signal.
  • the frame rate and the second frame rate are selected such that a liquid image impression is imparted to a human eye when moving image contents.
  • the respective pixel of the second video image is assigned the first pixel value representing the red color, the second pixel value representing the green color, and the third pixel value representing the blue colors.
  • this allows easy calculation of the respective picture-in-picture video images.
  • the overall video signal is determined such that, depending on the fourth pixel values of the first video image, which represent the transparency, a weighting of a superposition of the respective pixels of the first video image and the second video image takes place.
  • this makes it possible to insert the respective first video image into the respective second video image in such a way that when the image-in-picture video images are displayed by means of a display device for a video image
  • the first unit is designed to generate the first video image signal. This allows a compact design of the image processing system.
  • the second unit is designed to generate the second video image signal.
  • this also allows a compact design of the image processing system.
  • the first unit is designed to convert the respective first video image signal into the transformed video image signal in such a way that the transformed video image signal represents a transformed video image having the same pixel values as the first video image, a larger number by a factor of 4/3 of pixels than the first video image and the each pixel of the transformed video image are each assigned three pixel values.
  • the respective block of the three blocks can be assigned to one of the three pixel values.
  • the number of bits of the blocks may be, for example, six or eight. The number of bits can be specified depending on a desired value range of the respective pixel values.
  • the first unit is designed to convert the respective first video image signal into the transformed video image signal such that in each case three successive pixels of the first video image of four successive pixels of the transformed video image are included.
  • this makes it possible, with very little computational effort, to convert the first video image signal into the transformed video image signal.
  • this has the advantage that a proportion of pixel values that have to be buffered can be kept low.
  • the pixel values of the first video image are assigned an order and the first unit is designed to convert the respective first video image signal into the transformed video image signal such that the pixel values of the transformed video image have the same sequence.
  • this makes it possible, with very little computational effort, to convert the first video image signal into the transformed video image signal.
  • this has the advantage that no Resorting of the pixel values is required and thus a necessary intermediate storage of the pixel values can be omitted.
  • FIG. 1 shows an exemplary embodiment of an image processing system
  • FIG. 2 shows a picture-in-picture video picture resulting from a first and a second video picture
  • Figure 3 shows a further first video image and second
  • FIG. 4 is a pixel flowchart
  • Figure 5 is another pixel flowchart.
  • FIG. 1 shows an image processing system 10 for a vehicle.
  • the vehicle may be formed, for example, as a motor vehicle.
  • the image processing system 10 includes a first unit 20, a second unit 30 and a video transmission path 40.
  • the video transmission link 40 signals the first unit 20 and the second unit 30 to transmit digital video data.
  • the video transmission link 40 may comprise, for example, an Automotive Pixel Link (AFIX transmission link).
  • AFIX transmission link is designed to meet specific vehicle environment requirements, for example the APIX transmission link has extended temperature range and / or higher immunity to interference and / or lower electromagnetic emissions compared to video transmission links used in the home.
  • Such an APIX transmission link thus enables reliable and cost-effective video image signal transmission between the first 20 and second units 30 of the image processing system 10 of the vehicle.
  • the video transmission path 40 includes, for example, a transmission module having first and second interfaces.
  • the first interface of the transmitter module is for example electrically coupled to a further interface of the first unit 20.
  • the second interface of the transmitter module is for example electrically coupled to a cable, for example with a shielded twisted pair cable.
  • the transmission module is designed, for example, to redeem three data words with a predetermined number of bits, for example 8 bits, in parallel at its first interface and output them serially at its second interface.
  • the respective data word can each represent one of three pixel values of a pixel of a video image.
  • In a transmission of video images each having a resolution of 1020 pixels per line and a picture format of 16: 9 and which are shown at 60 Hz, are transmitted in a serial transmission over the video transmission path 40, about 1.5 Gbit / s.
  • the video transmission link 40 further includes, for example, a receiving module having first and second interfaces.
  • the first interface is for example electrically coupled to a further interface of the second unit 30.
  • the second interface is, for example, electrically coupled to the cable.
  • the reception module is designed, for example, to read in the transmitted data serially at its second interface and in each case output the three data words with the predetermined number of bits in parallel at its first interface.
  • the first unit 20 may comprise a main unit of an infotainment system of the vehicle.
  • the main unit of an infotainment system in a motor vehicle is also referred to as a head unit.
  • the first unit 20 is designed as a function of a respective first video picture signal, in each case one suitable for transmission via the video transmission link 40
  • the first video image signal represents respective ones
  • the first video image Bl may have three color channels and one alpha channel.
  • the respective pixel of the first video image Bl is, for example, a first pixel value R representing a red color, a second pixel value G representing a green color, a third pixel value B representing a blue color, and a fourth pixel value A representing a Transparency represents, assigned.
  • the first unit 20 is further configured, for example, to generate the first video image signal.
  • the first unit 20 can be designed, for example, to perform an image synthesis, also called rendering, and to be designed to generate video images from raw data.
  • the raw data may include a virtual spatial model that defines objects and their material properties, light sources and the position and viewing direction of a viewer.
  • the first unit 20 may be configured to determine image meta information.
  • the image meta information may include, for example, replacement geometry data, so-called bounding boxes, for three-dimensional objects.
  • the second unit 30 may, for example, comprise a front-view display control unit, also called head-up display control unit, for a front-view display and / or a combination instrument of the vehicle.
  • the second unit 30 is for example associated with an optical display device 50, for example a display.
  • the second unit 30 can be signaled with the optical display device 50, for example with a further video transmission path 55. pelt, which is formed analogous to the video transmission path 40.
  • the second unit 30 is designed to determine the first video picture signal again, depending on the transformed video picture signal received over the transmission link.
  • the second unit 30 is further configured, for example, to determine an overall video image signal depending on the redetermined first video image signal and a second video image signal.
  • the second video image signal represents respective second video images B2 of a sequence of second video images B2 provided at a predetermined second frame rate and each having a second image resolution with a predetermined second number of pixels.
  • the respective pixels of the second video image B2 are each assigned three pixel values.
  • the overall video picture signal is detected such that the overall video picture signal represents respective picture-in-picture video pictures B3 of a sequence of picture-in-picture video pictures B3.
  • the second video image B2 may have, for example, three color channels.
  • the respective pixel of the second video image B2 may be associated with the first pixel value R representing the red color, the second pixel value G representing the green color, and the third pixel value B representing the blue colors.
  • the second unit 30 may further be configured to generate the second video image signal. Alternatively or additionally, a further unit may be configured to generate the respective second video image signals and to send them to the second unit 30.
  • the image processing system 10 may further include a network connection 70 between the first 20 and second units 30.
  • the network connection 70 can be designed, for example, as an Ethernet connection.
  • the network connection 70 may allow additional image information to be exchanged between the first unit 20 and the second unit 30. For example, provision can be made for the image meta information, which is determined by the first unit 20, to be forwarded to the second unit 30 via the network connection 70.
  • FIG. 2 shows by way of example a sequence of previous video images B1 and a series of second video images B2 of one of the first video images B1 and one of the second video images B2 and the image-in-image video image resulting from the first blue and second video image B2 B3.
  • the first video image Bl shows a three-dimensional car model.
  • the second video image B2 shows a three-dimensional scene with a bottom surface.
  • the first video image Bl and the second video image B2 have the same resolution, that is, a respective number of pixels in a horizontal direction x and in a vertical direction y are the same in the first Bl and the second video image B2.
  • the car model is surrounded by a transparent background.
  • the first video image Bl was generated, for example, by the first unit 20 and transmitted via the video transmission link 40 to the second unit 30.
  • the second video image B2 was generated by the second unit 30, for example.
  • the second unit 30 is designed, for example, to determine the joint video signal such that, depending on the fourth pixel values of the first video image B1, which represent the transparency, a weighting of a superimposition of the respective pixels of the first video image B1 and the second video image B2 takes place. This allows the viewer to see no transitions between the respective first video image Bl and the respective second video image B2 in the illustrated picture-in-picture video image B3.
  • the car model and the floor surface are, for example, three-dimensional objects, it can be advantageous if the same camera parameters are used in determining the overall video picture signal, that is to say in the case of picture synthesis, as in the generation of the first video picture signal.
  • FIG. 3 shows by way of example from a further sequence of first video images B1 and a further sequence of second video images B2 one of the first video images B1 and one of the second video images B2 and the image-in-image video image resulting from the first blue and second video image B2 B3.
  • the first video image Bl shows a three-dimensional car model.
  • the second video image B2 shows a three-dimensional scene with an archway and a bottom surface.
  • the first video image Bl and the second video image B2 have the same resolution, that is, a respective number of pixels in a horizontal direction x and in a vertical direction y are the same in the first Bl and the second video image B2.
  • the car model is surrounded by a transparent background.
  • the second unit 30 determines, depending on the first video image signal of the first video image Bl and the second video image signal of the second one Video image B2 represents the overall video image signal representing the uncorrected image-in-picture video image B3.
  • the objects partly overlap.
  • a replacement geometry enclosing the car model also called a bounding box, is determined by the first unit 20 and these data are additionally transmitted via the network connection 70 to the second unit 30 are transmitted.
  • the overall video image signal may then be determined depending on the first video image signal, the second video image signal, and the replacement geometry data.
  • FIG. 4 shows a schematic flow diagram of the pixels starting from the first video image B1 of the first unit 20 until a further processing of the redetermined first video image B1 in the second unit 30.
  • the indexed pixel values for example Bo, Go, Ro and Ao, represent, for example, the pixel values of a specific pixel of the first video image, for example the first pixel of the first video image.
  • the first unit 20 is configured, for example, to convert the respective first video image signal Bl into the transformed video image signal in such a way that the transformed video image signal represents a transformed video image B_trans having the same pixel values as the first video image Bl, a larger number by a factor of 4/3 of pixels has as the first video image Bl and the respective pixels of the transformed video image B_trans each three pixel values are assigned.
  • FIG. 4 shows by way of example the pixel values for three pixels of the first video image B1.
  • the first unit 20 is designed, for example, to convert the respective first video image signal into the transformed video image signal such that in each case three successive pixels of the first video image Bl of four successive pixels of the transformed video image B_trans are included.
  • the pixel values of the first video image Bl may be assigned an order and the first unit 20 is configured, for example, to convert the respective first video image signal into the transformed video image signal such that the pixel values of the transformed video image B_trans have the same order.
  • the second unit 30 is designed to determine the first video image signal again, depending on the transformed video image signal received over the transmission path, for example by a back transformation corresponding to the transformation of the first unit 20.
  • FIG. 5 shows a further schematic flowchart of the pixels starting from the first video image B1 of the first unit 20 until a further processing of the redetermined first video image B1 in the second unit 30.
  • the second unit 30 is configured to convert the received transformed video image signal into a preliminary first video image signal such that the preliminary first video image signal represents preliminary first video images Bl ', each three consecutive pixels of the first transformed video image B trans of three the following pixels of the preliminary first video picture B1 'are included.
  • the second unit 30 is formed in this case, for example, by means of a shading ilters, also called shaders, to determine the first video image signal depending on the preliminary first video image signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Ein Bildverarbeitungssystem (10) für ein Fahrzeug umfasst eine erste Einheit (20) und eine zweite Einheit (30) sowie eine Videoübertragungsstrecke (40), die die erste Einheit (20) und die zweite Einheit (30) zur Übertragung von digitalen Videodaten signaltechnisch koppelt. Die Videoübertragungsstrecke 40 ist ausgebildet, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit. jeweils einer vorgegebenen Anzahl von Bits umfasst. Die erste Einheit (20) ist ausgebildet, abhängig von einem jeweiligen ersten Videobildsignal, jeweils ein für eine Übertragung über die Videoübertragungsstrecke (40) geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke (40) aufweist. Das erste Videobildsignal repräsentiert jeweilige unkomprimierte erste Videobilder (B1) einer Folge von ersten Videobildern (B1), die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds (Bl) jeweils vier Bildpunktwerte zugeordnet sind. Die zweite Einheit (30) ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln.

Description

Beschreibung
Bildverarbeitungseystem für ein Fahrzeug
Die Erfindung betrifft ein Bildverarbeitungseystem für ein Fahrzeug mit einer ersten Einheit und einer zweiten Einheit sowie einer Videoübertragungsstrecke, die die erste Einheit und die zweite Einheit zur Übertragung von digitalen Videodaten signaltechnisch koppelt.
In einem Fahrzeug, zum Beispiel in einem Kraftfahrzeug, werden für den Fahrzeugnutzer und/oder Fahrzeuglenker zunehmend mehr Informationen bereitgestellt mittels optischer Anzeigen. Für einen Fahrzeugnutzer und/oder Fahrzeuglenker ist es aufgrund der Vielzahl der optischen Anzeigen, die zunehmend als Display ausgebildet sind, allerdings schwierig, zuverlässig die wichtigsten Informationen aus einer Anzahl gleichzeitig präsentierter Einzelbilder und/oder Videobilder zu entnehmen.
Die Aufgabe, die der der Erfindung zu Grunde liegt, ist es, ein Bildverarbeitungssystem für ein Fahrzeug zu schaffen, das einen Beitrag leistet, eine Darstellung von Videobildern zu verbessern.
Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Patentanspruchs. Vorteilhafte Heiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
Die Erfindung zeichnet sich aus durch ein Bildverarbeitungssystem für ein Fahrzeug mit einer ersten Einheit und einer zweiten Einheit sowie einer Videoübertragungsstrecke, die die erste Einheit und die zweite Einheit zur Übertragung von digitalen Videodaten signaltechnisch koppelt. Die Videoübertra- gungsstrecke ist auagebildet, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst. Die erste Einheit ist ausgebildet, abhängig von einem jeweiligen ersten Videobildsignal, jeweils ein für eine Übertragung über die Videoübertragungestrecke geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke aufweist. Das erste Videobildsignal repräsentiert jeweilige unkomprimierte erste Videobilder einer Folge von ersten Videobildern, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds jeweils vier Bildpunktwerte zugeordnet sind. Die zweite Einheit ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln.
Vorteilhafterweise ermöglich dies, digitale Videobilder, die beispielsweise zusätzlich zu drei Farbkanälen einen Alphakanal umfassen, unkomprimiert über eine Videoübertragungsstrecke zu übertragen, die ansonsten nur für eine Übertragung von unkomprimierten Videobildern vorgesehen ist, die drei Farbkanäle aufweisen. Beispiele für solche Videoübertragungsstrecken, die vorgesehen sind für eine Übertragung von
unkomprimierten Videobildern mit drei Farbkanälen, sind zum Beispiel eine HDMI-Übertragungsstrecke (High Definition Multimedia Interface) und/oder eine DVI-Übertragungsstrecke (Digital Visual Interface) und/oder eine APIX- Übertragungsstrecke (Automotive Pixel Link) . Vorteilhafterweise ermöglicht dies die Bereitstellving der ersten Videobilder für weitere Einrichttingen im Fahrzeug, die beispielsweise geeignet ausgebildet sind, die ersten Videobilder optisch anzuzeigen und/oder die ausgebildet sind, die ersten Videobilder und weitere Videobilder, die von der weiteren und/oder anderen Einheiten erzeugt wurden, zusammenzuführen in ein Fusionsbild. Dies ermöglicht, Informationen verschiedener Bilder, die von verschieden Quellen erzeugt werden, in einem Fusionsbild geeignet zusammenzufassen.
In einer vorteilhaften Ausgestaltung ist dem jeweiligen Bildpunkt des ersten Videobildes ein erster Bildpunktwert, der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert, der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert, der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert, der eine Transparenz repräsentiert, zugeordnet. Dem Bildpunkt sind somit drei Farbkanäle und ein Alphakanal zugeordnet. Der Alphakanal ist ein zusätzlicher Kanal, der in Rastergrafiken zusätzlich zu den Farbinformationen die Transparenz der einzelnen Bildpunkte repräsentiert. Es wird zwischen einem direkten Alphakanal und einem externen Alphakanal unterschieden. Das erfindungsgemäße Bildverarbeitungssystem ermöglicht, dass die ersten Videobilder einen direkten Alpha- kana aufweisen können, bei dem die jeweilige
TransparenzInformation in einem separaten Kanal, zusätzlich zu den Farbkanälen, gespeichert wird. Bei einem direkten Alphakanal wird ein Bildpunkt demnach nicht nur mit drei Herten gespeichert, zum Beispiel jeweils mit einem Wert für Rot, Grün und Blau, sondern mit vier Werten, zum Beispiel jeweils mit einem Wert für Rot, Grün, Blau und Transparenz. Für eine Speicherung und/oder Übertragung ist kein externer Alphakanal notwendig, bei dem die Transparenzinformationen als separate Datei gespeichert und/oder übertragen werden. In einer weiteren vorteilhaften Ausgestaltung iet die zweite Einheit ausgebildet, ein Gesamtvideobildsignal zu ermitteln abhangig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal. Das zweite Videobildsignal repräsentiert jeweilige zweite Videobilder einer Folge von zweiten Videobildern, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen. Den jeweiligen Bildpunkten des zweiten Videobildes sind jeweils drei Bildpunktwerte zugeordnet. Das Gesamtvideobildsignal wird derart ermittelt, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder einer Folge von Bild-in-Bild-Videobildern repräsentiert. Vorteilhafterweise ermöglicht dies ein Zusammenführen von ersten und zweiten Videobildern, so dass das Bild-in-Bild-Videobild gegenüber dem ersten und/oder zweiten Videobild einen höheren Nutzinformationsgehalt aufweist und/oder weniger Störungen aufweist. Die Bildrate und die zweite Bildrate können gleich gewählt werden. Dies ermöglicht eine einfache Berechnung des Gesamtvideobildsignals. Vorzugsweise wird die Bildrate und die zweite Bildrate derart gewählt, dass einem menschlichen Auge bei bewegten Bildinhalten ein flüssiger Bildeindruck vermittelt wird.
In einer weiteren vorteilhaften Ausgestaltung ist dem jeweiligen Bildpunkt des zweiten Videobildes der erste Bildpunktwert, der die rote Farbe repräsentiert, der zweite Bildpunkt- wert, der die grüne Farbe repräsentiert, und der dritte Bildpunktwert, der die blauen Farben repräsentiert, zugeordnet. Vorteilhafterweise ermöglicht dies eine einfache Berechnung der jeweiligen Bild-in-Bild-Videobilder. In einer weiteren vorteilhaften Ausgestaltung wird das Gesamtvideosignal derart ermittelt, dass abhangig von den vierten Bildpunktwerten des ersten Videobildes, die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes und des zweiten Videobildes erfolgt. Vorteilhafterweise ermöglicht dies, das jeweilige erste Videobild derart in das jeweilige zweite Videobild einzufügen, dass bei einer Anzeige der Bild-in-Bild- Videobilder mittels einer Anzeigevorrichtung für einen
Betrachter der jeweiligen Bild-in-Bild-Videobilder keine Übergänge zwischen dem jeweiligen ersten Videobild und dem jeweiligen zweiten Videobild sichtbar sind. Des Weiteren ermöglicht dies, dass ein Betrachter nicht erkennen kann, von welcher Einheit welche Bildinhalte in dem jeweiligen Bild-inBild-Videobild bereitgestellt werden.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das erste Videobildsignal zu erzeugen. Dies ermöglicht eine kompakte Aufbauweise des Bildverarbeitungssystems .
In einer weiteren vorteilhaften Ausgestaltung ist die zweite Einheit ausgebildet, das zweite Videobildsignal zu erzeugen. Vorteilhafterweise ermöglicht auch dies ein kompakte Aufbauweise des Bildverarbeitungesystems.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild, eine um den Faktor 4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild und den jeweiligen Bildpunkten des transformierten Videobildes jeweils drei Bildpunktwerte zugeordnet sind. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln, so dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoüberübertragungsstrecke aufweist. Dem jeweiligen Block der drei Blöcke kann einer der drei Bildpunktwerte zugeordnet werden. Die Anzahl der Bits der Blöcke kann beispielsweise sechs oder acht sein. Die Anzahl der Bits kann abhangig von einem gewünschten Wertebereich der jeweiligen Bildpunktwerte vorgegeben werden.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes umfasst sind. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln. Ferner hat dies den Vorteil, dass ein Anteil an Bildpunktwerten, die zwischengespeichert werden müssen, gering gehalten werden kann.
In einer weiteren vorteilhaften Ausgestaltung ist den Bildpunktwerten des ersten Videobilds eine Reihenfolge zugeordnet und ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilds die gleiche Reihenfolge aufweisen. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln. Ferner hat dies den Vorteil, dass keine Umsortierung der Bildpunktwerte erforderlich ist und somit eine dafür erforderliche Zwischenspeicherung der Bildpunktwerte entfallen kann.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen erläutert.
Es zeigen:
Figur 1 ein Ausführungsbeispiel für ein Bildverarbeitungs- eystem,
Figur 2 ein aus einem ersten und zweiten Videobild resultierendes Bild-in-Bild-Videobild,
Figur 3 ein aus einem weiteren ersten Videobild und zweiten
Videobild resultierendes Bild-in-Bild-Videobild,
Figur 4 ein Bildpunkte-Flussdiagramm und
Figur 5 eine weiteres Bildpunkte-Flussdiagramm.
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen versehen.
Figur 1 zeigt ein Bildverarbeitungssystem 10 für ein Fahrzeug. Das Fahrzeug kann beispielsweise als Kraftfahrzeug auegebildet sein. Das Bildverarbeitungssystem 10 umfasst eine erste Einheit 20, eine zweite Einheit 30 und eine Videoübertragungsstrecke 40. Die Videoübertragungestrecke 40 koppelt die erste Einheit 20 und die zweite Einheit 30 signaltechnisch zur Übertragung von digitalen Videodaten.
Die Videoübertragungsstrecke 40 kann beispielsweise einen Automotive Pixel Link (AFIX-Öbertragungsstrecke) umfassen. Die APIX-Übertragungsstrecke ist derart ausgebildet, dass sie spezielle Anforderungen im Fahrzeugumfeld erfüllt, zum Beispiel weist die APIX-Übertragungsstrecke einen erweiterten Temperaturbereich und/oder höhere Störfestigkeit und/oder niedrigere elektromagnetische Emissionen auf im Vergleich zu Videoübertragungsstrecken, die im privaten Hausbereich genutzt werden.
Solch eine APIX-Übertragungsstrecke ermöglicht somit eine zuverlässige und kostengünstige Videobildsignalübertragung zwischen der ersten 20 und der zweiten Einheit 30 des Bildverar- beitungssystems 10 des Fahrzeuge.
Die Videoübertragungsstrecke 40 umfasst beispielsweise ein Sendemodul, das eine erste und zweite Schnittstelle aufweist. Die erste Schnittstelle des Sendemoduls ist beispielsweise mit einer weiteren Schnittstelle der ersten Einheit 20 vorgegeben elektrisch gekoppelt. Die zweite Schnittstelle des Sendemoduls ist beispielsweise elektrisch gekoppelt mit einem Kabel, zum Beispiel mit einem geschirmten Twisted Pair Kabel. Das Sendemodul ist beispielsweise ausgebildet, drei Datenworte mit einer vorgegebenen Anzahl von Bits, zum Beispiel 8 Bits, an seiner ersten Schnittstelle parallel einzulösen und seriell an seiner zweiten Schnittstelle auszugeben. Das jeweilige Datenwort kann jeweils einen von drei Bildpunktwerten eines Bildpunktes eines Videobildes repräsentieren. Bei einer Übertragung von Videobildern, die jeweils eine Auflösung von 1020 Bildpunkten pro Zeile und ein Bildformat von 16:9 aufweisen und die mit 60 Hz dargestellt werden, sind bei einer seriellen Übertragung über die Videoübertragungsstrecke 40, zirka 1,5 Gbit/s zu übertragen.
Die Videoübertragungsstrecke 40 umfasst ferner beispielsweise ein Empfangsmodul , das eine erste und zweite Schnittstelle aufweist. Die erste Schnittstelle ist beispielsweise mit einer weiteren Schnittstelle der zweiten Einheit 30 vorgegeben elektrisch gekoppelt. Die zweite Schnittstelle ist beispielsweise elektrisch gekoppelt mit dem Kabel. Das Empfangsmodul ist beispielsweise ausgebildet, die gesendeten Daten an seiner zweiten Schnittstelle seriell einzulesen und jeweils die drei Datenworte mit der vorgegebenen Anzahl von Bits parallel an seiner ersten Schnittstelle auszugeben.
Die erste Einheit 20 kann beispielsweise eine Haupteinheit eines Infotainmentsystems des Fahrzeugs umfassen. Die Haupteinheit eines Infotainmentsystems in einem Kraf fahrzeug wird auch als Head Unit bezeichnet.
Die erste Einheit 20 ist ausgebildet abhängig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke 40 geeignetes
unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke 40 aufweist. Das erste Videobildsignal repräsentiert jeweilige
unkomprimierte erste Videobilder Bl einer Folge von ersten Videobildern Bl, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds Bl jeweils vier Bildpunktwerte zugeordnet sind.
Das erste Videobild Bl kann beispielsweise drei Farbkanäle und einen Alphakanal aufweisen. Dem jeweiligen Bildpunkt des ersten Videobildes Bl ist beispielsweise ein erster Bildpunktwert R, der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert G, der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert B, der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert A, der eine Transparenz repräsentiert, zugeordnet.
Die erste Einheit 20 ist ferner beispielsweise ausgebildet, das erste Videobildsignal zu erzeugen. Die erste Einheit 20 kann beispielsweise ausgebildet sein, eine Bildsynthese, auch Rendering genannt, auszuführen und damit ausgebildet sein, Videobilder aus Rohdaten zu erzeugen. Die Rohdaten können dabei ein virtuelles räumliches Modell umfassen, das Objekte und deren Materialeigenschaften, Lichtquellen sowie die Position und Blickrichtung eines Betrachters definiert. Des Weiteren kann die erste Einheit 20 ausgebildet sein, Bildmetainformationen zu ermitteln. Die Bildmetainformationen können beispielsweise Ersatzgeometriedaten, sogenannte Bounding Boxen, für dreidimensionale Objekte umfassen.
Die zweite Einheit 30 kann beispielsweise eine Frontsiehtdis- play-Steuereinheit, auch Head-up-Display-Steuereinheit genannt, für ein Frontsichtdisplay und/oder ein Kombinationain- strument des Fahrzeugs umfassen. Der zweiten Einheit 30 ist beispielsweise eine optische Anzeigevorrichtung 50, zum Beispiel ein Display, zugeordnet. Die zweite Einheit 30 kann mit der optischen Anzeigevorrichtung 50 beispielsweise mit einer weiteren Videoübertragungsstrecke 55 signaltechnisch gekop- pelt sein, die analog zu der Videoübertragungsstrecke 40 ausgebildet ist.
Die zweite Einheit 30 ist ausgebildet, abhangig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln.
Die zweite Einheit 30 ist beispielsweise ferner ausgebildet, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal. Das zweite Videobildsignal repräsentiert jeweilige zweite Videobilder B2 einer Folge von zweiten Videobildern B2, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen. Den jeweiligen Bildpunkten des zweiten Videobildes B2 sind jeweils drei Bildpunktwerte zugeordnet. Das Gesamtvideo- bildeignal wird derart ermittelt, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder B3 einer Folge von Bild-in-Bild-Videobildern B3 repräsentiert.
Das zweite Videobild B2 kann beispielsweise drei Farbkanäle aufweisen. Beispielsweise kann dem jeweiligen Bildpunkt des zweiten Videobildes B2 der erste Bildpunktwert R, der die rote Farbe repräsentiert, der zweite Bildpunktwert G, der die grüne Farbe repräsentiert, und der dritte Bildpunktwert B, der die blauen Farben repräsentiert, zugeordnet sein.
Die zweite Einheit 30 kann ferner ausgebildet sein, das zweite Videobildsignal zu erzeugen. Alternativ oder zusätzlich kann eine weitere Einheit ausgebildet sein, die jeweiligen zweiten Videobildsignale zu erzeugen und an die zweite Einheit 30 zu senden. Das Bildverarbeitungssystem 10 kann ferner eine Netzwerkverbindung 70 zwischen der ersten 20 und zweiten Einheit 30 aufweisen. Die Netzwerkverbindung 70 kann beispielsweise als Ethernet-Verbindung ausgebildet sein. Die Netzwerkverbindung 70 kann ermöglichen, dass zwischen der ersten Einheit 20 und der zweiten Einheit 30 weitere Bildinformationen ausgetauscht werden können. Beispielsweise kann vorgesehen sein, dass über die Netzwerkverbindung 70 die Bildmetainformationen, die von der ersten Einheit 20 ermittelt werden, an die zweite Einheit 30 weitergeleitet werden.
Figur 2 zeigt beispielhaft aus einer Folge von ereten Videobildern Bl und einer Folge von zweiten Videobildern B2 eweils eines der ersten Videobilder Bl und eines der zweiten Videobilder B2 und das aus dem ersten Bl und zweiten Video- bild B2 resultierende Bild-in-Bild-Videobild B3.
Das erste Videobild Bl zeigt ein dreidimensionales Automodell. Das zweite Videobild B2 zeigt eine dreidimensionale Szene mit einer Bodenfläche. Das erste Videobild Bl und das zweite Videobild B2 weisen beispielsweise die gleiche Auflösung auf, das heißt eine jeweilige Anzahl von Bildpunkten in eine horizontale Richtung x und in eine vertikale Richtung y sind bei dem ersten Bl und zweiten Videobild B2 gleich. Das Automodell ist beispielsweise von einem transparenten Hintergrund umgeben. Das erste Videobild Bl wurde beispielsweise von der ersten Einheit 20 erzeugt und über die Videoübertragungsstrecke 40 an die zweite Einheit 30 übermittelt. Das zweite Videobild B2 wurde beispielsweise von der zweiten Einheit 30 erzeugt. Die zweite Einheit 30 ist beispielsweise ausgebildet, das Ge- eamtvideosignal derart zu ermitteln, dass abhängig von den vierten Bildpunktwerten des ersten Videobildes Bl, die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes Bl und des zweiten Videobildes B2 erfolgt. Dies ermöglicht, dass bei dem gezeigten Bild-in-Bild-Videobild B3 für einen Betrachter keine Übergänge zwischen dem jeweiligen ersten Videobild Bl und dem jeweiligen zweiten Videobild B2 sichtbar sind.
Insofern es sich bei dem Automodell und bei der Bodenfläche um beispielsweise dreidimensionale Objekte handelt, kann es vorteilhaft sein, wenn beim Ermitteln des Gesamtvideobildsignals, das heiSt bei einer Bildsynthese, die gleichen Kameraparameter genutzt werden wie bei der Erzeugung des ersten Videobildsignals .
Figur 3 zeigt beispielhaft aus einer weiteren Folge von ersten Videobildern Bl und einer weiteren Folge von zweiten Videobildern B2 jeweils eines der ersten Videobilder Bl und eines der zweiten Videobilder B2 und das aus dem ersten Bl und zweiten Videobild B2 resultierende Bild-in-Bild-Videobild B3. Das erste Videobild Bl zeigt ein dreidimensionales Automodell. Das zweite Videobild B2 zeigt eine dreidimensionale Szene mit einem Torbogen und einer Bodenfläche. Das erste Videobild Bl und das zweite Videobild B2 weisen beispielsweise die gleiche Auflösung auf, das heißt eine jeweilige Anzahl von Bildpunkten in einer horizontalen Richtung x und in einer vertikalen Richtung y sind bei dem ersten Bl und zweiten Videobild B2 gleich. Das Automodell ist beispielsweise von einem transparenten Hintergrund umgeben. Die zweite Einheit 30 ermittelt abhängig von dem ersten Videobildsignal des ersten Videobildes Bl und dem zweiten Videobildsignal des zweiten Videobildes B2 das Gesamtvideobildsignal, welches das unkoraprimierte Bild-in-Bild-Videobild B3 repräsentiert. In dem Bild-in-Bild-Videobild B3 überdecken sich die Objekte teilweise. Für eine geeignet dreidimensionale Darstellung der Objekte kann es vorteilhaft sein, wenn in diesem Falle, zusätzlich zu den eigentlichen Bilddaten eine das Automodell umschließende Ersatzgeometrie, auch Bounding Box genannt, von der ersten Einheit 20 ermittelt wird und diese Daten ergänzend über die Netzwerkverbindung 70 an die zweite Einheit 30 übermittelt werden. Das Gesamtvideobildsignal kann dann abhängig von dem ersten Videobildsignal, dem zweiten Videobildsignal und den Daten zu der Ersatzgeometrie ermittelt werden.
Figur 4 zeigt ein schematisches Flussdiagramm der Bildpunkte ausgehend von dem ersten Videobild Bl der ersten Einheit 20 bis zu einer Weiterverarbeitung des erneut ermittelten ersten Videobildes Bl in der zweiten Einheit 30.
Die mit einem Index versehenen Bildpunktwerte, zum Beispiel Bo, Go, Ro und Ao, repräsentieren beispielsweise die Bildpunktwerte eines spezifischen Bildpunktes des ersten Videobildes, zum Beispiel des ersten Bildpunktes des ersten Videobildes .
Die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal Bl in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild B_trans repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild Bl , eine um den Faktor 4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild Bl und den jeweiligen Bildpunkten des transformierten Videobildes B_trans jeweils drei Bildpunkt erte zugeordnet sind. In Figur 4 sind beispielhaft die Bildpunktwerte für drei Bildpunkte des ersten Videobildes Bl gezeigt. Die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes Bl von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes B_trans umfasst sind. Zum Beispiel kann den Bildpunktwerten des ersten Videobilds Bl eine Reihenfolge zugeordnet werden und die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilde B_trans die gleiche Reihenfolge aufweisen.
Die zweite Einheit 30 ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln, beispielsweise durch eine Rücktransformation korrespondierend zu der Transformation der ersten Einheit 20.
Figur 5 zeigt ein weiteres schematisches Flussdiagramm der Bildpunkte ausgehend von dem ersten Videobild Bl der ersten Einheit 20 bis zu einer Weiterverarbeitung des erneut ermittelten ersten Videobildes Bl in der zweiten Einheit 30.
Im Vergleich zu dem in Figur 4 gezeigten Ausführungebeispiel ist in diesem Fall ist die zweite Einheit 30 ausgebildet, das empfangene transformierte Videobildsignal in ein vorläufiges erstes Videobildsignal derart umzuwandeln, dass das vorläufige erste Videobildsignal vorläufige erste Videobilder Bl' repräsentiert, wobei jeweils drei aufeinanderfolgende Bildpunkte des transformierten Videobildes B trans von drei aufeinan- derfolgenden Bildpunkten des vorläufigen ersten Videobildes B1' umfasat sind. Die jeweiligen Bildpunkte des vorläufigen ersten Videobildes Bl' sind um einen weiteren Bildpunktwert erweitert, der beispielsweise für alle Bildpunkte den gleichen Wert aufweist. Die zweite Einheit 30 ist in diesem Falle beispielsweise ausgebildet, mittels eines Schattierungs ilters, auch Shader genannt, das erste Videobildsignal abhängig von dem vorläufigen ersten Videobildsignal zu ermitteln.
Figure imgf000019_0001

Claims

Patentansprüche
1. Bildverarbeitungssystera (10) für ein Fahrzeug mit einer ersten Einheit (20) und einer zweiten Einheit (30) sowie einer Videoübertragungsstrecke (40) , die die erste Einheit (20) und die zweite Einheit (30) zur Übertragung von digitalen Videodaten Signaltechnisch koppelt, wobei
- die Videoübertragungsstrecke (40) ausgebildet ist, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits um- fasst,
- die erste Einheit (20) ausgebildet ist, abhangig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke (40) geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke (40) aufweist, wobei das erste Videobildsignal jeweilige unkomprimierte erste Videobilder (Bl) einer Folge von ersten Videobildern (Bl) repräsentiert, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds (Bl) jeweils vier Bildpunktwerte zugeordnet sind,
- die zweite Einheit (30) ausgebildet ist, abhangig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln. Bildverarbeitungssystem (10) nach Anspruch 1,
bei dem dem jeweiligen Bildpunkt des ersten Videobildes (Bl) ein erster Bildpunktwert (R) , der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert (G) , der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert (B) , der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert (A) , der eine Transparenz repräsentiert, zugeordnet ist.
Bildverarbeitungssystem (10) nach Anspruch 1 oder 2, bei dem die zweite Einheit (30) ausgebildet ist, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal, wobei
- das zweite Videobildsignal jeweilige zweite Videobilder (B2) einer Folge von zweiten Videobildern (B2) repräsentiert, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des zweiten Videobildes (B2) jeweils drei Bildpunktwerte zugeordnet sind und
- das Gesamtvideobildsignal derart ermittelt wird, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild- Videobilder (B3) einer Folge von Bild-in-Bild- Videobildern (B3) repräsentiert.
Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche 1 bis 3,
bei dem dem jeweiligen Bildpunkt des zweiten Videobildes (B2) der erste Bildpunktwert (R) , der die rote Farbe repräsentiert, der zweite Bildpunktwert G, der die grüne Farbe repräsentiert und der dritte Bildpunktwert (B) , der die blaue Farbe repräsentiert, zugeordnet ist. Bildverarbeitungssystem (10) nach Anspruch 3 oder 4, bei dem das Gesamtvideosignal derart ermittelt wird, dass abhängig von den vierten Bildpunktwerten des ersten Videobildes (Bl) , die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes (Bl) und des zweiten Videobildes (B2) erfolgt. Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche 1 bis 5,
bei dem die erste Einheit (20) ausgebildet ist, das erste Videobildsignal zu erzeugen. Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche 1 bis 6,
bei dem die zweite Einheit (30) ausgebildet ist, das zweite Videobildsignal zu erzeugen. Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche 1 bis 7,
bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild
(B_trans) repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild (Bl) , eine um den Faktor 4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild (Bl) und den jeweiligen Bildpunkten des transformierten Videobildes (B_trans) jeweils drei Bildpunktwerte zugeordnet sind. Bildverarbeitungssystem (10) nach Anspruch 8,
bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes (Bl) von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes (B_trans) umfasst sind. Bildverarbeitungssystem (10) nach Anspruch 8 oder 9, bei dem den Bildpunktwerten des ersten Videobilds (Bl) eine Reihenfolge zugeordnet ist und bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilds (B_trans) die gleiche Reihenfolge aufweisen.
PCT/EP2012/075526 2012-01-10 2012-12-14 Bildverarbeitungssystem für ein fahrzeug WO2013104485A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/328,246 US9445059B2 (en) 2012-01-10 2014-07-10 Image processing system for a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012200264.2 2012-01-10
DE102012200264.2A DE102012200264B4 (de) 2012-01-10 2012-01-10 Bildverarbeitungssystem fuer ein Fahrzeug

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/328,246 Continuation US9445059B2 (en) 2012-01-10 2014-07-10 Image processing system for a vehicle

Publications (1)

Publication Number Publication Date
WO2013104485A1 true WO2013104485A1 (de) 2013-07-18

Family

ID=47501173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/075526 WO2013104485A1 (de) 2012-01-10 2012-12-14 Bildverarbeitungssystem für ein fahrzeug

Country Status (3)

Country Link
US (1) US9445059B2 (de)
DE (1) DE102012200264B4 (de)
WO (1) WO2013104485A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013224539A1 (de) * 2013-11-29 2015-06-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Bilddatenübertragung
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN105635748B (zh) * 2015-12-30 2019-02-01 上海芃矽半导体技术有限公司 音频-视频数据的发送方法、接收方法和音频-视频数据的传输系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184556A1 (en) * 2000-06-02 2003-10-02 Nintendo Co., Ltd. Variable bit field color encoding
WO2011094537A2 (en) * 2010-01-29 2011-08-04 Hillcrest Laboratories, Inc. Embedding argb data in a rgb stream

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1655971A2 (de) * 2000-09-19 2006-05-10 Matsushita Electric Industrial Co., Ltd. Bildsignalüberträger
US8068485B2 (en) 2003-05-01 2011-11-29 Genesis Microchip Inc. Multimedia interface
US20060050787A1 (en) * 2004-09-07 2006-03-09 Lsi Logic Corporation Method and/or apparatus for encoding and/or decoding digital video together with an n-bit alpha plane
US7205997B1 (en) 2004-09-28 2007-04-17 Nvidia Corporation Transparent video capture from primary video surface
US7868879B2 (en) * 2006-05-12 2011-01-11 Doremi Labs, Inc. Method and apparatus for serving audiovisual content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184556A1 (en) * 2000-06-02 2003-10-02 Nintendo Co., Ltd. Variable bit field color encoding
WO2011094537A2 (en) * 2010-01-29 2011-08-04 Hillcrest Laboratories, Inc. Embedding argb data in a rgb stream

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJITSU MICROELECTRONICS AMERICA, INC.: "Fujitsu and Inova Help Automakers and Tier-One Suppliers Design and Manufacture High-Performance Graphics Display Systems", 1 February 2010 (2010-02-01), pages 1 - 7, XP055025360, Retrieved from the Internet <URL:http://www.fujitsu.com/downloads/MICRO/fme/displaycontrollers/case-study-inova.pdf> [retrieved on 20120423] *
INOVA SEMICONDUCTORS: "APIX - Video Interface configuration", APPLICATION NOTE, 1 September 2008 (2008-09-01), XP055054385, Retrieved from the Internet <URL:http://www.inova-semiconductors.de/en/documents/AN_INAP_100_1.3.pdf> [retrieved on 20130222] *

Also Published As

Publication number Publication date
DE102012200264A1 (de) 2013-07-11
US9445059B2 (en) 2016-09-13
US20140313409A1 (en) 2014-10-23
DE102012200264B4 (de) 2024-02-01

Similar Documents

Publication Publication Date Title
EP0836332A3 (de) Positionsadaptiver, autostereoskoper Monitor (PAM)
EP0276800A2 (de) Einrichtung zur Darstellung eines zusammengesetzten Bildes
DE10005335A1 (de) Verfahren und Vorrichtung zur mehrdimensionalen Darstellung eines Objekts
EP2540089A2 (de) Verfahren zur visualisierung von dreidimensionalen bildern auf einer 3d-anzeigevorrichtung und 3d-anzeigevorrichtung
WO2007056986A1 (de) Verfahren und anordnung zum monoskopischen darstellen wenigstens eines bereiches eines bildes auf einer autostereoskopischen anzeigevorrichtung sowie informationswiedergabegerät mit einer solchen anordnung
WO2013104485A1 (de) Bildverarbeitungssystem für ein fahrzeug
DE19539642A1 (de) Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
DE102010028668B4 (de) Verfahren zur räumlichen Darstellung
DE102011007518A1 (de) Anzeigevorrichtung für Kraftfahrzeuge
EP0903723B1 (de) Anzeigevorrichtung mit und ohne Antialiasing
EP0777393A2 (de) Verfahren und Vorrichtung zur Überlagerung von Stereo-Videobildern
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
DE102008025177B4 (de) Film-Anzeigeeinrichtung
EP1383323B1 (de) Verfahren zur Übertragung von Nicht-Video-Bilddaten über eine Video-Schnittstelle
DE102013016921A1 (de) Bildanzeigesystem und -verfahren zur bewegungssynchronen Bildanzeige in einem Transportmittel
EP1922871B1 (de) Übertragung von nutzdaten im bildsignal eines kamerasystems
DE202008011541U1 (de) Anzeigesystem
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
DE19501155A1 (de) Dreidimensionale Bildwiedergabe auf einen Flüssigkristallbildschirm mit mehreren LCD-Bildwiedergabeebenen
WO2007085482A1 (de) Verfahren zur erzeugung und darstellung räumlich wahrnehmbarer bilder
DE60207741T2 (de) Gerät und verfahren zur anzeige von dreidimensionalen bildern
DE102007052666B4 (de) Verfahren zum Bearbeiten eines Orginalbilds
DE102008042542A1 (de) Vorrichtung zur Ansteuerung von 3D-Displays mit Grafikcontroller und Bildsplitter sowie Verfahren zur Ansteuerung von 3D-Displays
DE102007001843B4 (de) Verfahren zum Verarbeiten von Bilddaten
DE102013212374A1 (de) Verfahren und Vorrichtung zum Anpassen einer Darstellung eines Bildes auf einem Bildschirm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12809721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12809721

Country of ref document: EP

Kind code of ref document: A1