WO2023126311A1 - Anordnung und verfahren zum unterscheiden zwischen einem hintergrund und einem vordergrundobjekt einer szene - Google Patents

Anordnung und verfahren zum unterscheiden zwischen einem hintergrund und einem vordergrundobjekt einer szene Download PDF

Info

Publication number
WO2023126311A1
WO2023126311A1 PCT/EP2022/087517 EP2022087517W WO2023126311A1 WO 2023126311 A1 WO2023126311 A1 WO 2023126311A1 EP 2022087517 W EP2022087517 W EP 2022087517W WO 2023126311 A1 WO2023126311 A1 WO 2023126311A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
image
light
sections
key
Prior art date
Application number
PCT/EP2022/087517
Other languages
English (en)
French (fr)
Inventor
Rainer Heintzmann
Ryan Ketterer
Original Assignee
Leibniz-Institut Für Photonische Technologien E.V.
Friedrich-Schiller-Universität Jena
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leibniz-Institut Für Photonische Technologien E.V., Friedrich-Schiller-Universität Jena filed Critical Leibniz-Institut Für Photonische Technologien E.V.
Publication of WO2023126311A1 publication Critical patent/WO2023126311A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals

Definitions

  • the present invention first relates to a method for distinguishing between a background and at least one foreground object of a scene to be mapped, so that the mapped background can be exchanged in an image mapping the scene, as a result of which the mapped foreground object appears in front of a different background.
  • the method according to the invention thus represents a punching method for the production of individual images and/or moving images.
  • the invention relates to an arrangement for imaging a scene comprising at least one foreground object and one background.
  • US 2018/0332239 A1 shows a method for replacing a background in images. Images are captured using infrared light and visible light. In this case, objects in particular are illuminated with visible light, while the background is illuminated with infrared light.
  • WO 01/06766 A1 teaches a method for
  • Image data processing in which a separation of a Image foreground representing object data of an image data set from a picture background representing data set.
  • a background to be captured by a camera is changed at a frequency tuned to a capture frequency of the capturing camera.
  • the background is changed, for example, by switching between two states.
  • US 3,133,814 teaches a method for producing a color image from a monochrome original image of a plurality of objects.
  • the objects are painted on a translucent sheet of material and illuminated with diffuse light.
  • DE 102007 041719 A1 shows a method for generating an augmented reality in a room.
  • a digital video projector is used to project images from a sequence of images onto part of the surfaces delimiting the space.
  • the images are spatially and/or temporally modulated in luminance and/or chrominance.
  • a camera synchronized with the video projector records at least part of the room.
  • US Pat. No. 10,313,607 B2 and WO 2012/038009 A1 teach a method for distinguishing between the background and foreground of a scene in images.
  • the background shows an arbitrary image encoded with an encoding such that the arbitrary image is visible to a direct viewer of the background.
  • the background is distinguished from the foreground by a signal which is generated by an image sensor of the electronic camera which records the images by means of the coding.
  • the background shows the arbitrary picture only with colors from one or at least two regions of a visible spectrum. The light emanating from the background passes through a corresponding color filter before hitting the image sensor.
  • US 2015/0347845 A1 shows a system for replacing photographic scenes, in which i.a. in patterned surfaces, punctiform features with different colors are arranged in columns.
  • DE 102004 051 607 B4 shows a method for projecting digital images onto a substrate with any surface structure or color. It should be possible to compensate for the image influence caused by the background down to the pixel.
  • the digital image is processed during a rendering process in that it is geometrically distorted using a two-dimensional pixel offset field, which contains information about the projection surface, or its color is manipulated using a two-dimensional surface texture of the projection surface.
  • DE 102005 034 990 B4 discloses a method for displaying a plurality of digital images on a projection surface, which is intended to enable an overall image with great overall sharpness. Contents of relevant image buffers, which contain intensities of pixels to be projected, are projected into areas of the projection surface.
  • Bimber 0.
  • Iwai D.
  • Wetzstein G.
  • Grundhofer A.: "The Visual Computing of Projector-Camera Systems” in Eurographics 2007 - Star - State of the Art Report
  • Siggraph '08 ACM Siggraph 2008 classes, August 2008, article no. 84, Pages 1 to 25 present a method for correcting images in real time, which are projected onto surfaces in Pro ector camera systems that are not optimized for projecting images.
  • DE 602004 010464 T2 shows a method for acquiring an image from a scene that contains a primary object and a secondary object. An image of the primary object and a key signal to distinguish the primary object from the secondary object are to be provided. The primary object is keyed by a selected color and selected timing
  • the key signal is derived by comparing the different amounts of key color in each image.
  • the object of the present invention is to provide a flexibly adaptable and expandable solution for improved differentiation between a background and at least one foreground object of a scene to be imaged.
  • the method according to the invention is used for the preferably gradual differentiation between a background and at least one foreground object of a scene to be imaged, so that the method is a punching method, with the quantitative components originating from the background and the foreground object in the imaging process preferably being determined.
  • the scene is to be depicted by at least one image in which the at least one foreground object can be distinguished from the background in order to release the at least one foreground object in the image and/or remove the background depicted and/or exchange it for image content representing a different background , which is preferably done gradually, for example to take into account semi-transparent areas of the foreground object.
  • the image of the at least one foreground object represents the image information to be used for further image processing a human actor and/or furniture or other scenery elements. Since the background in the image is to be removed or exchanged, it is not relevant for further image processing, so it is preferably implemented in accordance with the technical requirements resulting from the recording and differentiation. Since the at least one foreground object is preferably differentiated gradually from the background, in particular transitions between the foreground object and the background or also partially transparent areas of the foreground can be quantitatively detected, so that the background can be replaced or removed at the transitions and the partially transparent areas according to the quantitative proportion of the background takes place, which is comparable to an image shutter or an image mixing process.
  • the method provides that punch light is used for the background or in the background, in that the background is illuminated from the front or behind with the punch light and/or the background or parts of the background emit the punch light.
  • the key light is reflected and/or transmitted and/or emitted by the background, so that the key light is present in the background in any case.
  • the punched light is used for the background with a spatial and temporal variation, with the punched light only being present locally in individual time sections in at least one section of the background, so that the sections of the background in which the punched light is present in the individual time sections change in time.
  • the background is thus divided into different sections, as a result of which there is a spatial division of the background.
  • the sections can be formed by spatial sections of the background.
  • the sections are preferably formed by surface sections.
  • the key light is not permanently present in all of the sections of the background. Rather, the key light is only present in individual sections of the background in the individual time sections.
  • the keying light is preferably used at least once in each of the sections of the background over a period of time, which is formed by a defined number of time sections. This means that the background emits the key light in its entirety or is illuminated by the key light over this period of time.
  • the at least one foreground object is preferably not directly illuminated by the key light or preferably in such a way that a position of the background at a location of an image conversion results from a direction of the key light and a different distance via a parallax.
  • At least one image of the scene composed of several image sections is obtained, which in particular depicts the key light used in the background and at least one contour and transparency of the at least one foreground object.
  • a camera is preferably used for this purpose, which has at least one electronic image converter, but preferably at least two electronic image converters.
  • the image sections are preferably obtained one after the other, which is preferably done by converting them with the image converter one after the other.
  • the individual image sections preferably correspond to individual sensor elements or groups of individual sensor elements of the image converter. Alternatively, preferably, the image sections can be defined with a movable diaphragm.
  • an at least one-channel key signal is derived for the preferably gradual differentiation of the at least one foreground object from the background by determining a distribution of the key light imaged in the at least one image.
  • the key signal or a channel of the key signal is preferably a mask signal or a transparency or alpha signal.
  • the key signal or one of the channels of the key signal is a binary signal which assigns the points of the image either to the background or to the at least one foreground object.
  • it is particularly preferably a multilevel signal in the sense of a grayscale image or a transparency or alpha channel. It is preferably a signal with at least 256 levels or an analog signal.
  • the distribution of the key light imaged in the at least one image can be determined optically, for example by spectral filtering of the image taking place in imaging optics. However, the determination of the distribution of the key light imaged in the at least one image can also be carried out by electronic image processing of the image converted by the image converter.
  • a directly imaged portion of the key light is determined from the individual image sections, which correspond locally to those sections of the background in which the key light is present in the respective time sections.
  • the determination of the key light is therefore limited to the individual image sections; namely in each case on the respective of the image sections, which is assigned to that of the sections of the background which is currently being illuminated by the punching light or which emits the punching light.
  • the determination of the key light can thus be restricted to that part of the key light which was imaged directly onto the image without reflection, possibly with partial transmission, but without diffraction and without scattering from the background.
  • the keying signal preferably includes at least one further channel, for the determination of which an indirectly imaged portion of the keying light is also determined.
  • a particular advantage of the method according to the invention is that it enables the directly imaged portion of the key light to be determined with little effort, which makes it possible to differentiate from an indirectly imaged portion of the key light, which leads to an improved result when removing or replacing the background in the image .
  • the method is preferably carried out for at least two of the images.
  • the at least two images are preferably an image sequence or moving image.
  • the spatial correspondence of the image section used to determine the key color in each case to that of the sections of the background in which the key light is present in the respective time segments leads to the confocal detection of the key light.
  • a beam path of a light beam forming the punched light for illuminating the sections of the background in a time-changing manner and a beam path for imaging the background in the individual image sections are preferably confocal.
  • the background is formed by a surface, which is preferably a surface of a wall, a screen, a stage or studio curtain, a projection screen or a two-dimensional display.
  • the sections are correspondingly formed by surface sections which are preferably triangular, square, polygonal or circular.
  • the sections are preferably formed by rectangles or by lines.
  • the image sections from which the directly imaged portion of the key light is determined are preferably each formed by an image line, so that the image is converted line by line.
  • the image lines correspond locally to the sections of the background formed by lines.
  • the sections of the background and the corresponding image sections are not unchangeable but are continuously adapted to the foreground object and, if necessary, to the background. The size and/or the shape of the sections of the background and the corresponding image sections can be adjusted.
  • a first electronic Image converter used, which works according to a rolling shutter method.
  • the displayed image exposes the first image converter in sections, preferably in rows or columns.
  • the rolling shutter method can be implemented by a corresponding electronic readout of the first image converter or also mechanically, for example with a mechanically driven slit diaphragm or pinhole diaphragm.
  • the first image converter is exposed line-by-line or column-by-column by the imaged image in synchronism with the illumination or emission of the background taking place line-by-line or column-by-column.
  • the first image converter is preferably formed by a CMOS image converter, which works according to the rolling shutter method.
  • the first image converter is also used to convert an image of the at least one foreground object.
  • a second image converter is used to convert an image of the at least one foreground object, for which purpose a separation in an imaging beam path preferably takes place in order to distinguish the imaged background from the at least one imaged foreground object.
  • This separation in the imaging beam path takes place optically, preferably spectrally and/or in relation to a polarization direction and/or in relation to a luminance.
  • a separation can also take place in the electronically converted image.
  • the key light is used for the background by illuminating the background with the key light.
  • a controllable projector or light scanner is preferably used for illumination.
  • the projector or scanner emits the punch light.
  • a laser is particularly preferred for this Projector used so that a laser beam generated by the laser pro ector forms the key light and illuminates the background.
  • the laser beam is preferably deflected line by line. Accordingly, the laser beam is moved like a scanner over the background.
  • the key light is used for the background in that at least parts of the background emit the key light.
  • the background preferably comprises a light source which has a multiplicity of locally distributed individual light sources.
  • the individual light sources can be controlled individually and are distributed over the sections of the background.
  • the light source is preferably formed by an at least two-dimensional display, for example in the form of a screen, such as an LED screen.
  • the background preferably comprises such a two-dimensional display, which preferably emits the punched light line by line.
  • the key light preferably has a property in which it differs from illumination light for illuminating the foreground object.
  • the key light preferably has a key color in which the key light preferably differs at least largely from the illumination light and the foreground object.
  • the punched light preferably has a spectrum with one or more spectral lines and/or spectral bands.
  • a wavelength of the at least one spectral line or a mean wavelength of the at least one spectral band is preferably 532 nm, 440 nm or 640 nm, although other mean wavelengths can of course also be used.
  • the at least one spectral band has a bandwidth that is preferred is at most 30 nm and particularly preferably at most 5 nm.
  • the spectrum of the punched light preferably has only one spectral line or spectral band. Accordingly, the key light is monochrome.
  • the spectrum of the illumination light for the foreground object preferably has no or only a negligible overlap with the spectrum of the key light. This can be ensured, for example, by using special filters.
  • the spectrum of the key light has several of the spectral lines or spectral bands in order to obtain a wavelength-dependent key signal, for example, when the foreground object is partially transparent.
  • the spectrum of the punched light particularly preferably has at least three of the spectral lines or spectral bands, with the punched light in total preferably representing white light.
  • the three spectral lines or spectral bands are preferably formed by red, green and blue light. By weighting the three spectral lines or spectral bands, other colors of the punched light can also be generated if required.
  • the key light is used in different regions of the background with different spectral compositions in order to adapt to the background, to the foreground object and/or to image content to be inserted.
  • the spectrum of the punched light can each have two spectral lines or spectral bands, which have different wavelengths in the different regions of the background.
  • the punched light has a spectral profile ranging from a first wavelength to a second wavelength, which in an extension direction of the background.
  • the spectral progression preferably extends across the visible spectrum, so that the background is illuminated with the punched light like a rainbow.
  • the spectral profile preferably runs vertically, so that it runs from bottom to top in the background. However, the spectral course can also run horizontally or in another direction.
  • a white-light laser with a prism or with a grating is preferably used to illuminate the background with the punched light having the spectral profile.
  • a spectral filter with a spectral profile is preferably arranged in front of the first image converter, which corresponds to the spectral profile of the key light in the background, so that only the directly imaged key light spectrally matches the filter and other light is eliminated. In this respect, there is no need to operate the first image converter using a rolling shutter method.
  • a third image converter is preferably also used, but without spectral filtering, which is operated according to a global shutter method.
  • the different regions of the background form a pattern, with the spectrum of the punched light having a spectral line with a first wavelength or a spectral band with a first mean wavelength in a first set of the regions of the background, while in a second set of Regions of the background, the spectrum of the punched light has a spectral line with a second wavelength or a spectral band with a second mean wavelength.
  • this preferably leads to a homogeneous use of the punch light in the background, so that the background is homogeneously illuminated with the punch light or the punched light emits homogeneously.
  • the use of the punched light in the regions of the first set and the use of the punched light in the regions of the second set alternate locally, so that a structured illumination or a structured glow is achieved.
  • the regions of the first set and the regions of the second set preferably form a regular structure.
  • the structure allows the associated region of the background to be identified, whereby local alignments of normals on the foreground object can be determined from the indirectly imaged key light.
  • the first wavelength or the first mean wavelength and the second wavelength or the second mean wavelength have a spectral distance from one another which is preferably less than 100 nm and more preferably less than 30 nm. The key light is therefore perceived by humans as monochrome.
  • the key light in the first set of regions and the key light in the second set of regions have colors that are metameric but have different spectral compositions.
  • the regions of the first set and/or the regions of the second set have different sizes in different portions of the background to achieve different levels of detail; for example in the form of a fractal design. For example, if a portion of the foreground object is reflected, such as an actor's jacket, the background can only be identified in detail to a limited extent. But if a rough part of the pattern formed by the regions of the two sets can be identified, then the background replacement can be done reasonably well.
  • the key light differs in other/additional properties in particular from the foreground object and the illumination light for the foreground object.
  • the punched light has a polarization and/or the punched light is used as a pulse sequence.
  • the key light differs in its luminance or luminous intensity from the illumination light or from the light reflected from the foreground object by a factor which is preferably at least two and more preferably at least ten.
  • the key light differs in that position on which it is imaged in the image by an alignment inclined to a direction of the image.
  • the parallax is preferably chosen so that there is a relative angle between 5 degrees and 40 degrees; preferably of 10 ⁇ 5 degrees between the directions of the key light and the illumination light.
  • the other properties that characterize the key light allow a more precise differentiation of the foreground object from the background.
  • the punched light that differs in other/additional properties is preferably used in the embodiment described above, according to which the punched light is used in a structured manner in the background.
  • the at least one image is preferably first spectrally divided and/or filtered to determine the distribution of the key light depicted in the at least one image, whereby the at least one image is divided into a foreground channel and a background channel comprising the separated key light becomes.
  • a distribution of the key light imaged in the at least one image is determined before its electronic conversion.
  • the punching light characterizing polarization or the punched light is used as a pulse sequence
  • polarization filtering preferably takes place before the electronic conversion or temporal filtering during or after the electronic conversion of the image.
  • a polarization beam splitter is preferably used for polarization filtering or polarization splitting.
  • the spectral splitting of the image can be done electronically in the image that has already been converted.
  • the at least one image is preferably optically spectrally divided before the electronic image conversion, as a result of which the at least one image is divided into an optical foreground channel and an optical background channel comprising the separated key light.
  • an opto-mechanical element configured to separate a spatial pattern can be used as a spatial demodulator. This is preferably at least one galvanometric mirror in combination with a slit diaphragm or a perforated diaphragm, which compensate for line illumination or point illumination.
  • two-dimensionally moveable micromechanical mirrors are preferably used to compensate for scanning point illumination, which is preferably done in combination with a reflecting pinhole to achieve the separation.
  • MEMS two-dimensionally moveable micromechanical mirrors
  • one or more single-channel converters with a high temporal resolution are preferably used for local acquisition of the image.
  • the image is preferably generated by a further rescanning with the mentioned optomechanical element or with a further optomechanical element on the image converter.
  • a spatial light modulator (SLM) such as based on liquid crystals on silicon (Liquid Crystal on Silicon, LCoS) or a system with digitally controllable micromirrors (Digital Micromirror Device, DMD) is used to achieve spatial separation. In this case, it may be sufficient to have the spatial light modulator imaged onto the image converter without rescanning being necessary.
  • the first image converter is preferably used for image conversion of the background channel.
  • a second image converter is preferably used for image conversion of the foreground channel.
  • a beam splitter is preferably used for the optical splitting of the image.
  • a dichroic beam splitter is preferably used for spectral optical division of the image. Partial beam paths of the beam splitter each form the optical foreground channel and the optical background channel.
  • the first image converter is accordingly arranged in the optical background channel.
  • the second image converter is correspondingly arranged in the optical foreground channel.
  • the punching signal has at least two channels.
  • the key light imaged in all of the image sections of the at least one image is determined in the individual time sections.
  • the determination of the imaged key light in the individual time segments is not restricted to the individual image segments. This means that the indirectly imaged key light, which is created in particular by reflection, refraction, diffraction and/or scattering on the at least one foreground object, is also detected, since reflection, refraction, diffraction or scattering result in the the sections of the background also used keylight in other than that locally corresponding image section is displayed.
  • the key light imaged in all of the image sections of the at least one image is determined in the individual time segments.
  • the key light reflected, diffracted and/or scattered on the foreground object ie the indirectly imaged key light
  • a total of the directly imaged key light and the indirectly imaged key light is thus recorded.
  • a comparison with the first channel, which detects the directly transmitted or directly imaged key light allows conclusions to be drawn about the indirectly imaged key light.
  • the second channel of the key light better results can be achieved when determining a preferably finely graded alpha channel and finally when cutting out delicate edges of the depicted foreground object and/or in partially transparent areas of the depicted foreground object.
  • a third image converter is preferably used, which works according to a global shutter method.
  • the second channel of the keying signal is preferably determined using the first image converter, which is operated image-by-image alternately according to a rolling shutter method and a global shutter method.
  • the first image converter or the third image converter or a fourth image converter can also be configured such that the key light imaged in all of the image sections of one of several image regions of the at least one image is determined in the individual time sections.
  • one of the image converters can capture indirect, particularly scattered, background light whose origin lies in an upper area of the background, while another of the image converters can detect indirect, particularly scattered background light originating from a lower area of the background.
  • the second channel of the key signal is preferably determined from the optical background channel.
  • the second channel is independent of the color, ie the spectral properties of the reflection, diffraction or scattering, which led to the indirectly imaged key light, remain unconsidered.
  • the second channel is monochrome.
  • the second channel preferably also describes a dependency on the color, as a result of which the spectral properties of the reflection, diffraction or scattering, which led to the indirectly imaged key light, are taken into account.
  • the second channel can include a number of sub-channels for different colors or an additional definition of the color in the color space or an additional definition of the spectral properties.
  • the determination of the second channel of the key signal ie in particular the determination of the indirectly imaged key light, is preferably carried out for the embodiment described above, in which the structured key light is used, since this enables further analysis.
  • Local alignments of normals on the foreground object are preferably determined from the indirectly imaged key light.
  • the indirect imaged key light determined from the second channel of the key light with or without information about the normals, is preferably used as a basis for emulating an automated indirect background information. For example, the blue of a sky can be used for such indirect lighting are taken into account. If information about the normals is available, specular reflections are preferably also taken into account.
  • the key light present in the foreground channel or the key light present on the at least one foreground object is determined in order to determine an optical interaction between the at least one foreground object and the background.
  • the determined optical interaction is taken into account when replacing the displayed background, as a result of which the image of the foreground object can appear even more realistic in front of the replaced background.
  • the sections of the background from which the key light present on the at least one foreground object originates are preferably determined.
  • the optical interactions between the at least one foreground object and the background can also be assigned to a local area of the background, which is preferably taken into account when replacing the background.
  • the indirectly imaged key light can be taken into account when replacing the imaged background with an adjusted effort. For example, the directly imaged key light determined for deriving the first channel can be determined with a much higher resolution, whereas the indirectly imaged key light is determined with a coarse resolution or only for selected regions with a fine resolution.
  • the at least one-channel keying signal is applied to the at least one image or to the at least one image depicting the scene or at least the at least one foreground object in order to this at least one image to remove the imaged background of the scene and thus release the at least one foreground object, which is preferably done gradually, for which the key signal preferably includes a multi-level alpha channel.
  • the keying signal is preferably applied to the at least one image in order to replace the displayed background of the scene in the at least one image with other image content, which then represents a background or an environment in the image for the at least one foreground object.
  • the two-channel key signal is preferably applied to the at least one image in order to remove the directly imaged key light and the indirectly imaged key light in the at least one image and to replace the imaged background of the scene with other image content, which is then used in the image for the at least one Foreground object to represent a background or environment.
  • the punching signal is preferably multi-stage, so that the removal or replacement takes place gradually, ie softly.
  • the optical interactions between the foreground object and the background of the scene are preferably also taken into account, so that these interactions are also present between the foreground object and the image content representing a different background.
  • the arrangement according to the invention serves to record at least one image of a scene comprising at least one foreground object and one background.
  • the arrangement enables a preferably gradual differentiation between the background and the at least one foreground object.
  • the arrangement initially comprises a device for generating punched light, which is preferably controlled by a Projector, ector by a laser Pro, a light scanner formed by a light source with a variety of locally distributed individual light sources, by a two-dimensional display or the like.
  • the projector or scanner preferably includes a microelectromechanical system (MEMS) for beam steering.
  • MEMS microelectromechanical system
  • the projector or scanner can also include a liquid crystal on silicon (LCoS) or a digital micromirror device (DMD).
  • LCD liquid crystal on silicon
  • DMD digital micromirror device
  • the device for generating punched light is configured to use the punched light for the background with a spatial and temporal variation, wherein the punched light is locally only partially present in individual time segments in each case in at least one section of the background, and wherein the sections of the background, in which the punched light is present in the individual time periods, change over time.
  • the arrangement also includes an image recording and image processing device for obtaining at least one image of the scene made up of a plurality of image sections.
  • the image recording and image processing device is configured to derive an at least one-channel key signal for distinguishing the at least one foreground object from the background by determining a distribution of the key light imaged in the at least one image, wherein a directly imaged portion of the Key light is determined from the individual image sections, which correspond locally to those of the sections of the background in which the key light is present in the respective time sections.
  • the arrangement is preferably configured to carry out the method according to the invention or one of the described preferred embodiments of the method according to the invention.
  • the arrangement preferably also has features which are described in connection with the method according to the invention.
  • the arrangement preferably includes the described first image converter and preferably also the second image converter and/or the third image converter.
  • the image recording and image processing device preferably includes a camera in which the two or three image converters and the beam splitter are combined.
  • the image recording and image processing device preferably comprises a plurality of image conversion modules, each with one of the image converters, so that greater adaptability is provided.
  • the camera or the image conversion modules preferably include a lens, it also being possible for the lens to be separate.
  • the image recording and image processing device preferably also includes a computer which is configured in particular for image processing.
  • the computer is configured to derive the punch signal.
  • the computer is also preferably configured to replace the imaged background of the scene with other image content.
  • the only figure shows a preferred embodiment of an arrangement according to the invention for recording at least one image (not shown) of a scene comprising a foreground object 01 and a background 02.
  • the background 02 is formed by a wall.
  • the arrangement comprises a laser pro ector 03 for generating a laser beam 04, with which the background 02 is illuminated in a scanner-like manner, ie line by line, for example from top to bottom, which is periodically repeated.
  • the laser beam 04 requires a period of time to illuminate a line (not shown) of the background 02. Within each of these time intervals, the laser beam 04 is only within the respective line on the background 02.
  • the laser beam 04 forms a punched light, which preferably has a spectral line at, for example, 532 nm, 440 nm or 640 nm.
  • the punched light formed by the laser beam 02 is reflected by the background 02, with a punched light beam 06 shown as an example resulting from diffusely reflected punched light 07 being imaged directly.
  • the arrangement includes a camera, which is represented by a beam splitter 08, a first image converter 09 and a second image converter 11, with further components of the camera, such as a lens, not being shown.
  • the beam splitter 08 is dichromatic, so that it spectrally splits an imaging beam path directed towards it, as a result of which the imaged key light of the background 02 is directed onto the first image converter 09, which is shown as an example for the directly imaged key light beam 06.
  • an image of the foreground object 01 is directed onto the second image converter 11 .
  • the first image converter 09 is formed, for example, by a CMOS image converter, which works according to a rolling shutter method, so that it is read out line by line, which is done synchronously with the illumination of the background 02 line by line.
  • the illumination of the background 02 with the laser pro ector 03 and the conversion of the image of the background 02 with the first image converter 09 thus take place confocally line by line.
  • the directly imaged punched light which is illustrated by way of example by the directly imaged punched light beam 06, is converted with the first image converter 09.
  • the directly imaged punched light has not experienced any reflection, diffraction or scattering except from the directly illuminated line of the background 02.
  • a first channel of a key signal in the form of a finely graded alpha channel is derived from the image of the directly imaged key light converted with the first image converter 09 .
  • the second image converter 11 is used to convert the image of the foreground object 01.
  • the keying signal is applied to the converted image in order to gradually release the image of the foreground object 01, so that in the next step a desired image content for imaging a different background (not shown) is in place the imaging of the background 02 located in the scene occurs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Unterscheiden zwischen einem Hintergrund (02) und mindestens einem Vordergrundobjekt (01) einer abzubildenden Szene. Verfahrensgemäß wird Stanzlicht für den Hintergrund (02) mit einer örtlichen und zeitlichen Variation verwendet. Das Stanzlicht ist in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes (02) vorhanden. Die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, wechseln zeitlich. Es wird mindestens ein aus mehreren Bildabschnitten aufgebautes Bild der Szene gewonnen. Weiterhin wird ein zumindest einkanaliges Stanzsignal durch Bestimmen einer Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes abgeleitet. Zum Bestimmen eines ersten Kanales des Stanzsignals wird ein direkt abgebildeter Anteil (06) des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Im Weiteren betrifft die Erfindung eine Anordnung zur Abbildung einer mindestens ein Vordergrundobjekt (01) und einen Hintergrund (02) umfassenden Szene.

Description

Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene
Die vorliegende Erfindung betri f ft zunächst ein Verfahren zum Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden S zene , sodass in einem die S zene abbildenden Bild der abgebildete Hintergrund ausgetauscht werden kann, wodurch das abgebildete Vordergrundobjekt vor einem anderen Hintergrund erscheint . Das erfindungsgemäße Verfahren stellt somit ein Stanzverfahren für die Produktion von einzelnen Bildern und/oder von Bewegtbild dar . Im Weiteren betri f ft die Erfindung eine Anordnung zur Abbildung einer mindestens ein Vordergrundobjekt und einen Hintergrund umfassenden S zene .
In Fernseh- und Filmproduktionen besteht oft der Bedarf , bestimmte Bildinhalte , insbesondere Vordergrundobjekte von einem Hintergrund frei zustellen . Hierfür sind u . a . verschiedene Chroma-Keying-Techniken beispielsweise auf der Basis von Blue- und Green-Screens bekannt . Auch sind Verfahren bekannt , bei welchen eine schmalbandige Hintergrundbeleuchtung für eine genaue optische Unterscheidung verwendet wird, wofür beispielsweise Natriumdampflampen genutzt werden .
Die US 2018 / 0332239 Al zeigt ein Verfahren zum Ersetzen eines Hintergrundes in Bildern . Die Bilder werden unter Verwendung von Infrarotlicht und sichtbarem Licht aufgenommen . Dabei werden insbesondere Obj ekte mit sichtbarem Licht beleuchtet , während der Hintergrund mit Infrarotlicht beleuchtet wird .
Die WO 01 / 06766 Al lehrt ein Verfahren zur
Bilddatenverarbeitung, bei welchem eine Trennung von einen Bildvordergrund darstellenden Objektdaten eines Bilddatensatzes von einem einen Bildhintergrund darstellenden Datensatz erfolgt. Ein von einer Kamera aufzunehmender Hintergrund wird in einer auf eine Aufnahmefrequenz der aufnehmenden Kamera abgestimmten Frequenz geändert. Die Änderung des Hintergrundes erfolgt beispielsweise durch Umschalten zwischen zwei Zuständen.
Die US 3,133,814 lehrt ein Verfahren zur Herstellung eines Farbbildes aus einem monochromen Originalbild von einer Vielzahl von Objekten. Bei diesem Verfahren werden die Objekte auf eine lichtdurchlässige Materialbahn gemalt und mit diffusem Licht beleuchtet.
Die DE 102007 041719 Al zeigt ein Verfahren zur Erzeugung einer erweiterten Realität in einem Raum. Auf einen Teil der den Raum begrenzenden Oberflächen werden mit einem digitalen Videoprojektor Bilder einer Bildfolge projiziert. Die Bilder werden räumlich und/oder zeitlich in Luminanz und/oder Chrominanz moduliert. Eine mit dem Videoprojektor synchronisierte Kamera nimmt zumindest einen Teil des Raumes auf.
Die US 10,313,607 B2 und die WO 2012/038009 Al lehren ein Verfahren zum Unterscheiden zwischen Hintergrund und Vordergrund einer Szenerie in Bildern. Der Hintergrund zeigt ein beliebiges Bild, welches mit einer Kodierung kodiert ist, sodass das beliebige Bild für einen direkten Betrachter des Hintergrunds sichtbar ist. Der Hintergrund wird von dem Vordergrund durch ein Signal unterschieden, welches von einem die Bilder aufzeichnenden Bildsensor der elektronischen Kamera mittels der Kodierung erzeugt wird. Der Hintergrund zeigt das beliebige Bild nur mit Farben aus einem oder mindestens zwei Bereichen eines sichtbaren Spektrums an. Das vom Hintergrund ausgehende Licht durchläuft vor dem Auftreffen auf den Bildsensor einen entsprechenden Farbfilter.
In dem Fachbuch von Hasche, E. und Ingwer, P.: „Game of Colors: Moderne Bewegtbildproduktion, Theorie und Praxis für Film, Video und Fernsehen", ISBN 978-3-662-43888-6, Springer- Verlag, Berlin, Heidelberg, 2016, wird im Kapitel 8 die Erzeugung und Anwendung von Masken beschrieben.
In der US 2015/0347845 Al ist ein System zum Ersetzen von fotografischen Szenen gezeigt, bei welchem u. a. in gemusterten Oberflächen punktförmige Merkmale mit unterschiedlichen Farben spaltenweise angeordnet sind.
Die DE 102004 051 607 B4 zeigt ein Verfahren zur Projektion digitaler Bilder auf einen Untergrund mit beliebiger Oberflächenstruktur oder -färbung. Es soll möglich sein, die durch den Untergrund verursachte Bildbeeinflussung pixelgenau kompensieren zu können. Das digitale Bild wird während eines Rendervorganges verarbeitet, indem es anhand eines zweidimensionalen Pixelversatzfeldes, welches Informationen über die Pro ektionsfläche enthält, geometrisch verzerrt oder anhand einer zweidimensionalen Oberflächentextur der Projektionsfläche farblich manipuliert wird.
Aus der DE 102005 034 990 B4 ist ein Verfahren zur Darstellung mehrerer digitaler Bilder auf einer Projektionsfläche bekannt, durch welches ein Gesamtbild mit einer großen Gesamtschärfe ermöglicht werden soll. Inhalte von betreffenden Bildpuffern, welche zu projizierende Intensitäten von Pixeln enthalten, werden in Bereiche der Projektionsfläche projiziert . In dem Artikel von Bimber, 0.; Iwai, D.; Wetzstein, G. und Grundhofer, A.: „The Visual Computing of Projector-Camera Systems" in Eurographics 2007 - Star - State of the Art Report, Siggraph '08: ACM Siggraph 2008 classes, August 2008, Artikel-Nr. 84, Seiten 1 bis 25 wird ein Verfahren zur Korrektur von Bildern in Realzeit vorgestellt, welche in Pro ektor-Kamera-Systemen auf Flächen projiziert werden, die nicht für eine Projektion von Bildern optimiert sind.
Die Dissertation von Grundhofer, Anselm: „Synchronized Illumination Modulation for Digital Video Compositing", Bauhaus-Universität Weimar, Fakultät Medien, 26. August 2010 lehrt ein Verfahren zur örtlichen und zeitlichen Modulation einer Beleuchtung, welche mit einer zur Aufnahme genutzten Kamera synchronisiert wird.
Die Dissertation von Schmedes, Ulrich: „Dynamisches Differenz- Keying in Chroma-Keying-Umgebungen", Technische Universität Ilmenau, Fakultät für Elektrotechnik und Informationstechnik, 30. August 2013 lehrt ein Chroma-Keying-Verfahren, bei welchem ein virtueller Hintergrund in voller Farbtiefe auf eine Studioleinwand projiziert werden soll.
Die DE 602004 010464 T2 zeigt ein Verfahren zur Gewinnung eines Bildes von einer Szene, welche ein primäres Objekt und ein sekundäres Objekt enthält. Es soll ein Bild von dem primären Objekt und ein Stanzsignal zur Unterscheidung des primären Objekts von dem sekundären Objekt zur Verfügung gestellt werden. Das primäre Objekt wird durch Stanzlicht mit einer ausgewählten Farbe und einer ausgewählten zeitlichen
Variation beleuchtet. Es werden mindestens zwei Bilder der
Szene gewonnen, wobei die zeitliche Variation des Stanzlichtes so ausfällt, dass die Amplitude des Stanzlichtes beim ersten Bild anders als beim zweiten Bild ist. Das Stanzsignal wird durch einen Vergleich der unterschiedlichen Mengen von Stanzlichtfärbe in den einzelnen Bildern abgeleitet.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, eine flexibel anpassbare und erweiterbare Lösung zum verbesserten Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden Szene zur Verfügung zu stellen.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 und durch eine Anordnung gemäß dem beigefügten nebengeordneten Anspruch 15.
Das erfindungsgemäße Verfahren dient zum bevorzugt graduellen Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden Szene, sodass es sich bei dem Verfahren um ein Stanzverfahren handelt, wobei bevorzugt die im Abbildungsvorgang jeweils vom Hintergrund und vom Vordergrundobjekt herrührenden quantitativen Anteile ermittelt werden. Die Szene soll durch mindestens ein Bild abgebildet werden, in welchem das mindestens eine Vordergrundobjekt von dem Hintergrund unterschieden werden kann, um das mindestens eine Vordergrundobjekt im Bild freizustellen und/oder den abgebildeten Hintergrund zu entfernen und/oder gegen einen einen anderen Hintergrund darstellenden Bildinhalt auszutauschen, was bevorzugt graduell erfolgt, um beispielsweise semitransparente Bereiche des Vordergrundobjektes zu berücksichtigen. Die Abbildung des mindestens einen Vordergrundobjektes stellt die für die weitere Bildverarbeitung zu nutzende Bildinformation dar. Das mindestens eine Vordergrundobjekt kann beispielsweise durch einen menschlichen Darsteller und/oder Möbel oder andere Kulissenelemente gebildet sein. Da der Hintergrund im Bild entfernt bzw. ausgetauscht werden soll, ist er für die weitere Bildverarbeitung nicht relevant, sodass er bevorzugt gemäß den sich durch die Aufnahme und Unterscheidung ergebenden technischen Anforderungen ausgeführt ist. Da das mindestens eine Vordergrundobjekt bevorzugt graduell vom Hintergrund unterschieden wird, können insbesondere Übergänge zwischen dem Vordergrundobjekt und dem Hintergrund oder auch teiltransparente Bereiche des Vordergrundes quantitativ erfasst werden, sodass das Austauschen bzw. Entfernen des Hintergrundes an den Übergängen und den teiltransparenten Bereichen gemäß dem quantitativen Anteil des Hintergrundes erfolgt, was mit einer Bildblende oder einem Bildmischvorgang vergleichbar ist.
Das Verfahren sieht vor, dass Stanzlicht für den Hintergrund bzw. im Hintergrund verwendet wird, indem der Hintergrund mit dem Stanzlicht von vorn oder hinten beleuchtet wird und/oder der Hintergrund bzw. Teile des Hintergrundes das Stanzlicht emittieren. Somit wird das Stanzlicht von dem Hintergrund reflektiert und/oder transmittiert und/oder emittiert, sodass jedenfalls das Stanzlicht im Hintergrund präsent ist. Das Stanzlicht wird für den Hintergrund mit einer örtlichen und zeitlichen Variation verwendet, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes vorhanden ist, sodass die Abschnitte des Hintergrundes, in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln. Der Hintergrund ist also in verschiedene Abschnitte geteilt, wodurch eine örtliche Aufteilung des Hintergrundes gegeben ist. Die Abschnitte können durch räumliche Abschnitte des Hintergrundes gebildet sein. Insofern der Hintergrund durch eine Fläche gebildet ist, sind die Abschnitte bevorzugt durch Flächenabschnitte gebildet. Das Stanzlicht ist nicht permanent in sämtlichen der Abschnitte des Hintergrundes vorhanden. Vielmehr ist das Stanzlicht im den einzelnen Zeitabschnitten nur in einzelnen der Abschnitte des Hintergrundes vorhanden. Bevorzugt wird über eine Zeitdauer, welche durch eine definierte Anzahl der Zeitabschnitte gebildet ist, in jedem der Abschnitte des Hintergrundes mindestens ein Mal das Stanzlicht verwendet. Dies führt dazu, dass der Hintergrund über diese Zeitdauer hinweg in seiner Gesamtheit das Stanzlicht emittiert bzw. vom Stanzlicht beleuchtet wird. Das mindestens eine Vordergrundobjekt wird bevorzugt nicht direkt vom Stanzlicht beleuchtet oder bevorzugt so, dass sich durch eine Richtung des Stanzlichtes und einen anderen Abstand über eine Parallaxe eine vom Hintergrund unterscheidbare Position an einem Ort einer Bildwandlung ergibt.
In einem weiteren Schritt des Verfahrens wird mindestens ein aus mehreren Bildabschnitten aufgebauten Bild der Szene gewonnen, welches insbesondere das im Hintergrund verwendete Stanzlicht und zumindest eines Kontur und Transparenz des mindestens einen Vordergrundobjektes abbildet. Hierfür wird bevorzugt eine Kamera verwendet, welche mindestens einen elektronischen Bildwandler aber bevorzugt mindestens zwei elektronische Bildwandler aufweist. Die Bildabschnitte werden bevorzugt zeitlich nacheinander gewonnen, was bevorzugt dadurch erfolgt, dass sie zeitlich nacheinander mit dem Bildwandler gewandelt werden. Die einzelnen Bildabschnitte entsprechen bevorzugt einzelnen Sensorelementen oder Gruppen von einzelnen Sensorelementen des Bildwandlers. Alternativ bevorzugt können die Bildabschnitte mit einer beweglichen Blende definiert werden. In einem weiteren Schritt des Verfahrens erfolgt ein Ableiten eines mindestens einkanaligen Stanzsignals zur bevorzugt graduellen Unterscheidung des mindestens einen Vordergrundobjektes von dem Hintergrund durch Bestimmen einer Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes. Das Stanzsignal bzw. ein Kanal des Stanzsignals ist bevorzugt ein Maskensignal oder ein Transparenz- bzw. Alphasignal. In einem einfachen Fall ist das Stanzsignal bzw. einer der Kanäle des Stanzsignals ein binäres Signal, welches die Punkte des Bildes entweder dem Hintergrund oder dem mindestens einen Vordergrundobjekt zuordnet. Besonders bevorzugt handelt es sich aber um ein vielstufiges Signal im Sinne eines Graustufenbildes bzw. eines Transparenz- oder Alphakanales. Es handelt sich bevorzugt um ein Signal mit mindestens 256 Stufen oder um ein analoges Signal. Das Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes kann optisch erfolgen, indem beispielsweise eine spektrale Filterung des Bildes in einer abbildenden Optik erfolgt. Das Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes kann aber auch dadurch erfolgen, dass eine elektronische Bildverarbeitung des vom Bildwandler gewandelten Bildes erfolgt .
Zum Bestimmen eines ersten Kanales des Stanzsignals wird ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Das Ermitteln des Stanzlichtes erfolgt somit jeweils beschränkt auf die einzelnen Bildabschnitte; nämlich jeweils auf den jeweiligen der Bildabschnitte, welcher demjenigen der Abschnitte des Hintergrundes zugeordnet ist, der gerade durch das Stanzlicht beleuchtet wird bzw. das Stanzlicht emittiert. Somit kann das Ermitteln des Stanzlichtes auf denjenigen Teil des Stanzlichtes beschränkt werden, welcher direkt ohne Reflexion, ggf. unter partieller Transmission, aber ohne Beugung und ohne Streuung vom Hintergrund auf das Bild abgebildet wurde. Dieser Teil des im Hintergrund verwendeten Stanzlichtes wurde entweder vom Vordergrundobjekt nicht verdeckt oder hat einen transparenten bzw. teiltransparenten Abschnitt des Vordergrundobjektes ohne eine Beugung oder Streuung transmittiert. Die örtliche Korrespondenz der einzelnen Bildabschnitte zu den einzelnen Abschnitten des Hintergrundes ist dann gegeben, wenn der jeweilige Bildabschnitt den jeweiligen Abschnitt des Hintergrundes abbildet oder diesen Abschnitt des Hintergrundes abbilden würde, wenn dies nicht durch das Vordergrundobjekt verhindert wird. Bevorzugt umfasst das Stanzsignal mindestens einen weiteren Kanal, zu dessen Bestimmen auch ein indirekt abgebildeter Anteil des Stanzlichtes ermittelt wird.
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die aufwandsarme Bestimmung des direkt abgebildeten Anteil des Stanzlichtes ermöglicht, wodurch eine Unterscheidung zu einem indirekt abgebildeten Anteil des Stanzlichtes ermöglicht ist, was zu einem verbesserten Ergebnis beim Entfernen bzw. Austauschen des Hintergrundes im Bild führt.
Bevorzugt wird das Verfahren für mindestens zwei der Bilder ausgeführt. Bei den mindestens zwei Bildern handelt es sich bevorzugt um eine Bildfolge bzw. Bewegtbild. Die örtliche Korrespondenz des jeweils zur Bestimmung der Stanzfarbe herangezogenen Bildabschnittes zu demjenigen der Abschnitte des Hintergrundes, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist, führt zur konfokalen Detektion des Stanzlichtes. Insbesondere sind bevorzugt ein Strahlengang eines das Stanzlicht bildenden Lichtstrahles zum zeitlich wechselnden Beleuchten der Abschnitte des Hintergrundes und ein Strahlengang zum Abbilden des Hintergrundes in die einzelnen Bildabschnitte konfokal.
Bei bevorzugten Ausführungsformen ist der Hintergrund durch eine Fläche gebildet, bei welcher es sich bevorzugt um eine Oberfläche einer Wand, einer Leinwand, eines Bühnen- oder Studiovorhanges, einer Projektionsfläche oder einer zweidimensionalen Anzeige handelt. Die Abschnitte sind entsprechend durch Flächenabschnitte gebildet, welche bevorzugt dreieckig, viereckig, mehreckig oder kreisförmig sind. Die Abschnitte sind bevorzugt durch Rechtecke oder durch Zeilen gebildet. Entsprechend sind die Bildabschnitte, aus denen der direkt abgebildete Anteil des Stanzlichtes ermittelt wird, bevorzugt jeweils durch eine Bildzeile gebildet, sodass das Bild zeilenweise gewandelt wird. Die Bildzeilen korrespondieren örtlich mit den durch Zeilen gebildeten Abschnitten des Hintergrundes. Bei weiteren bevorzugten Ausführungsformen sind die Abschnitte des Hintergrundes und die korrespondierenden Bildabschnitte nicht unveränderlich sondern werden laufend an das Vordergrundobjekt und ggf. an den Hintergrund angepasst. Dabei können die Größe und/oder die Form der Abschnitte des Hintergrundes und der korrespondierenden Bildabschnitte angepasst werden.
Bei bevorzugten Ausführungsformen wird zum Bestimmen des ersten Kanales des Stanzsignals ein erster elektronischer Bildwandler verwendet, welcher gemäß einem Rolling-Shutter- Verfahren arbeitet. Entsprechend belichtet das abgebildete Bild den ersten Bildwandler abschnittsweise, bevorzugt zeilen- öder spaltenweise. Das Rolling-Shutter-Verfahren kann durch ein entsprechendes elektronisches Auslesen des ersten Bildwandlers oder auch mechanisch, beispielsweise mit einer mechanisch angetriebenen Schlitzblende oder Lochblende realisiert werden. Der erste Bildwandler wird durch das abgebildete Bild synchron zu dem zeilen- oder spaltenweise erfolgenden Beleuchten bzw. Emittieren des Hintergrundes zeilen- bzw. spaltenweise belichtet. Der erste Bildwandler ist bevorzugt durch einen CMOS-Bildwandler gebildet, welcher gemäß dem Rolling-Shutter-Verfahren arbeitet. Bei einer Ausführungsform dient der erste Bildwandler auch dazu, ein Bild des mindestens einen Vordergrundobjektes zu wandeln. Bei bevorzugten Ausführungsformen dient ein zweiter Bildwandler dazu, ein Bild des mindestens einen Vordergrundob ektes zu wandeln, wozu bevorzugt eine Separation in einem Abbildungsstrahlengang erfolgt, um den abgebildeten Hintergrund von dem mindestens einen abgebildeten Vordergrundobjekt zu unterscheiden. Diese Separation im Abbildungsstrahlengang erfolgt optisch, bevorzugt spektral und/oder bezogen auf eine Polarisationsrichtung und/oder bezogen auf eine Leuchtdichte. Grundsätzlich kann auch eine Separation im elektronisch gewandelten Bild erfolgen.
Bei bevorzugten Ausführungsformen erfolgt das Verwenden des Stanzlichtes für den Hintergrund dadurch, dass der Hintergrund mit dem Stanzlicht beleuchtet wird. Zum Erzielen der örtlichen und zeitlichen Variation des Stanzlichtes wird bevorzugt ein ansteuerbarer Projektor oder Licht-Scanner zum Beleuchten verwendet. Der Projektor bzw. Scanner emittiert das Stanzlicht. Besonders bevorzugt wird hierfür ein Laser- Projektor verwendet, sodass ein durch den Laser-Pro ektor erzeugter Laserstrahl das Stanzlicht bildet und den Hintergrund beleuchtet. Bevorzugt wird der Laserstrahl zeilenweise abgelenkt. Entsprechend wird der Laserstrahl scannerartig über den Hintergrund bewegt.
Bei weiteren bevorzugten Ausführungsformen erfolgt das Verwenden des Stanzlichtes für den Hintergrund dadurch, dass zumindest Teile des Hintergrundes das Stanzlicht emittieren. Hierfür umfasst der Hintergrund bevorzugt eine Lichtquelle, welche eine Vielzahl an örtlich verteilten Einzellichtquellen aufweist. Die Einzellichtquellen sind einzeln ansteuerbar und sind über die Abschnitte des Hintergrundes verteilt. Die Lichtquelle ist bevorzugt durch eine zumindest zweidimensionale Anzeige gebildet, beispielsweise in Form eines Bildschirmes, wie ein LED-Bildschirm. Entsprechend umfasst der Hintergrund bevorzugt eine solche zweidimensionale Anzeige, welche bevorzugt zeilenweise das Stanzlicht emittiert .
Das Stanzlicht weist bevorzugt eine Eigenschaft auf, in welcher es sich von Beleuchtungslicht zum Beleuchten des Vordergrundobjektes unterscheidet. Bevorzugt weist das Stanzlicht eine Stanzfarbe auf, in welcher sich das Stanzlicht bevorzugt zumindest weitgehend von dem Beleuchtungslicht und dem Vordergrundobjekt unterscheidet. Das Stanzlicht weist bevorzugt ein Spektrum mit einer oder mehreren Spektrallinien und/oder Spektralbanden auf. Ein Wellenlänge der mindestens einen Spektrallinie bzw. eine mittlere Wellenlänge der mindestens einen Spektralbande beträgt bevorzugt 532 nm, 440 nm oder 640 nm, wobei selbstverständlich auch andere mittlere Wellenlänge genutzt werden können. Die mindestens eine Spektralbande besitzt eine Bandbreite, welche bevorzugt höchstens 30 nm und besonders bevorzugt höchstens 5 nm beträgt. Bevorzugt weist das Spektrum des Stanzlichtes nur eine Spektrallinie bzw. Spektralbande auf. Entsprechend ist das Stanzlicht monochrom. Bevorzugt weist das Spektrum des Beleuchtungslichtes für das Vordergrundobjekt keine oder nur eine vernachlässigbare Überlappung mit dem Spektrum des Stanzlichtes auf. Dies kann beispielsweise durch die Verwendung von speziellen Filtern sichergestellt werden. Bei weiteren bevorzugten Ausführungsformen weist das Spektrum des Stanzlichtes mehrere der Spektrallinien oder Spektralbanden auf, um beispielsweise ein wellenlängenabhängiges Stanzsignal zu erhalten, wenn das Vordergrundobjekt teiltransparent ist. Das Spektrum des Stanzlichtes weist besonders bevorzugt mindestens drei der Spektrallinien bzw. Spektralbanden auf, wobei das Stanzlicht in der Summe bevorzugt weißes Licht darstellt. Die drei Spektrallinien bzw. Spektralbanden sind bevorzugt durch rotes, grünes und blaues Licht gebildet. Durch Gewichtung der drei Spektrallinien bzw. Spektralbanden können bei Bedarf auch andere Farben des Stanzlichtes erzeugt werden.
Bei bevorzugten Ausführungsformen wird das Stanzlicht in unterschiedlichen Regionen des Hintergrundes mit unterschiedlichen spektralen Zusammensetzungen verwendet, um eine Anpassung an den Hintergrund, an das Vordergrundobjekt und/oder an einzufügende Bildinhalte vorzunehmen. Beispielsweise kann das Spektrum des Stanzlichtes jeweils zwei Spektrallinien bzw. Spektralbanden aufweisen, welche in den unterschiedlichen Regionen des Hintergrundes unterschiedliche Wellenlängen aufweisen.
Bei einer bevorzugten Ausführungsform weist das Stanzlicht einen von einer ersten Wellenlänge bis zu einer zweiten Wellenlänge reichenden spektralen Verlauf auf, welcher in einer Erstreckungsrichtung des Hintergrundes verläuft. Der spektrale Verlauf reicht bevorzugt über das sichtbare Spektrum hinweg, sodass der Hintergrund regenbogenartig mit dem Stanzlicht beleuchtet wird. Der spektrale Verlauf verläuft bevorzugt vertikal, sodass er im Hintergrund von unten nach oben verläuft. Der spektrale Verlauf kann aber auch horizontal oder in eine andere Richtung verlaufen. Zum Beleuchten des Hintergrundes mit dem den spektralen Verlauf aufweisenden Stanzlicht wird bevorzugt ein Weißlicht-Laser mit einem Prisma oder mit einem Gitter verwendet. Vor dem ersten Bildwandler wird bevorzugt ein spektrales Filter mit einem spektralen Verlauf angeordnet, welcher mit dem spektralen Verlauf des Stanzlichtes im Hintergrund korrespondiert, sodass immer nur das direkt abgebildete Stanzlicht spektral zum Filter passt und anderes Licht eliminiert wird. Insoweit kann darauf verzichtet werden, den ersten Bildwandler gemäß einem Rolling- Shutter-Verfahren zu betreiben. Bevorzugt wird auch ein dritter Bildwandler aber ohne eine spektrale Filterung verwendet, welcher gemäß einem Global-Shutter-Verfahren betrieben wird.
Bei einer weiteren bevorzugten Ausführungsform bilden die unterschiedlichen Regionen des Hintergrundes ein Muster, wobei in einer ersten Menge der Regionen des Hintergrundes das Spektrum des Stanzlichtes eine Spektrallinie mit einer ersten Wellenlänge bzw. eine Spektralbande mit einer ersten mittleren Wellenlänge aufweist, während in einer zweiten Menge der Regionen des Hintergrundes das Spektrum des Stanzlichtes eine Spektrallinie mit einer zweiten Wellenlänge bzw. eine Spektralbande mit einer zweiten mittleren Wellenlänge aufweist. Dies führt insgesamt bevorzugt zu einem homogenen Verwenden des Stanzlichtes im Hintergrund, sodass der Hintergrund homogen mit dem Stanzlicht beleuchtet wird bzw. das Stanzlicht homogen emittiert. Hierfür wechseln die Verwendung des Stanzlichtes in den Regionen der ersten Menge und die Verwendung des Stanzlichtes in den Regionen der zweiten Menge örtlich ab, sodass eine strukturierte Beleuchtung bzw. ein strukturiertes Leuchten erzielt wird. Die Regionen der ersten Menge und die Regionen der zweiten Menge bilden bevorzugt eine regelmäßige Struktur. Die Struktur erlaubt die Identifizierung der zugordneten Region des Hintergrundes, wodurch örtliche Ausrichtungen von Normalen auf dem Vordergrundobjekt aus dem indirekt abgebildeten Stanzlicht ermittelt werden können. Die erste Wellenlänge bzw. die erste mittlere Wellenlänge und die zweite Wellenlänge bzw. die zweite mittlere Wellenlänge weisen einen spektralen Abstand zueinander auf, welcher bevorzugt weniger als 100 nm und weiter bevorzugt weniger als 30 nm beträgt. Das Stanzlicht wird also vom Menschen als monochrom wahrgenommen. Alternativ bevorzugt weisen das Stanzlicht in der ersten Menge der Regionen und das Stanzlicht in der zweiten Menge der Regionen Farben auf, welche metamer sind, aber spektral unterschiedlich zusammengesetzt sind. Bevorzugt weisen die Regionen der ersten Menge und/oder die Regionen der zweiten Menge in verschiedenen Abschnitten des Hintergrundes unterschiedliche Größen auf, um unterschiedliche Detaillierungsgrade (Levels of Detail) zu erzielen; beispielsweise in Form einer fraktalen Gestaltung. Wenn beispielsweise ein Abschnitt des Vordergrundobjektes wie exemplarisch eine Jacke eines Schauspielers reflektiert wird, so lässt sich der Hintergrund nur beschränkt im Detail identifizieren. Wenn aber ein grober Teil des aus den Regionen der beiden Mengen gebildeten Musters identifiziert werden kann, so kann das Ersetzen des Hintergrundes ausreichend gut vorgenommen werden. Bei weiteren bevorzugten Ausführungsformen unterscheidet sich das Stanzlicht in anderen/weiteren Eigenschaften insbesondere von dem Vordergrundobjekt und dem Beleuchtungslicht für das Vordergrundobjekt. Hierfür weist das Stanzlicht eine Polarisation auf oder/und das Stanzlicht wird als eine Pulsfolge verwendet. Alternativ oder ergänzend unterscheidet sich das Stanzlicht in seiner Leuchtdichte bzw. Lichtstärke von dem Beleuchtungslicht bzw. von dem vom Vordergrundobjekt reflektierten Licht um einen Faktor, welcher bevorzugt mindestens zwei und weiter bevorzugt mindestens zehn beträgt. In einer weiteren bevorzugten Ausführungsform unterscheidet sich das Stanzlicht durch eine zu einer Richtung der Abbildung geneigte Ausrichtung in derjenigen Position, auf welcher es im Bild abgebildet wird. Die Parallaxe wird vorzugsweise so gewählt, dass sich ein relativer Winkel zwischen 5 Grad und 40 Grad; bevorzugt von 10 ±5 Grad zwischen den Richtungen des Stanzlichtes und dem Beleuchtungslicht ergibt. Die genannten weiteren das Stanzlicht kennzeichnenden Eigenschaften erlauben eine genauere Unterscheidung des Vordergrundobjektes vom Hintergrund. Das sich in anderen/weiteren Eigenschaften unterscheidende Stanzlicht wird bevorzugt in der oben beschriebenen Ausführungsform genutzt, gemäß welcher das Stanzlicht strukturiert im Hintergrund verwendet wird.
Insofern das Stanzlicht eine Stanzfarbe aufweist, wird zum Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes das mindestens eine Bild bevorzugt zunächst spektral geteilt und/oder gefiltert, wodurch das mindestens eine Bild in einen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden Hintergrundkanal geteilt wird. Hierdurch wird eine Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes vor dessen elektronischer Wandlung bestimmt. Insofern das Stanzlicht eine charakterisierende Polarisation aufweist oder das Stanzlicht als eine Pulsfolge verwendet wird, erfolgt bevorzugt eine Polarisationsfilterung vor der elektronischen Wandlung bzw. eine zeitliche Filterung während oder nach der elektronischen Wandlung des Bildes. Zur Polarisationsfilterung bzw. Polarisationsteilung wird bevorzugt ein Polarisationsstrahlteiler verwendet.
Das spektrale Teilen des Bildes kann elektronisch im bereits gewandelten Bild erfolgen. Bevorzugt wird das mindestens eine Bild aber vor der elektronischen Bildwandlung optisch spektral geteilt, wodurch das mindestens eine Bild in einen optischen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden optischen Hintergrundkanal geteilt wird. Weiterhin kann zur Unterscheidung des Stanzlichtes ein optomechanisches Element als ein örtlicher Demodulator verwendet werden, welches dazu konfiguriert ist, ein räumliches Muster zu trennen. Dies ist bevorzugt mindestens ein galvanometrischer Spiegel in Kombination mit einer Spaltblende oder einer Lochblende, welche eine Linienbeleuchtung bzw. Punktbeleuchtung kompensieren. Alternativ bevorzugt werden zweidimensional bewegliche mikromechanische Spiegel (MEMS) genutzt, um eine scannende Punktbeleuchtung zu kompensieren, was bevorzugt in Kombination mit einer reflektierenden Lochblende erfolgt, um die Trennung zu erzielen. Bei diesen Scanmethoden wird zur örtlichen Erfassung des Bildes bevorzugt ein oder mehrere Einkanalwandler in einer hohen zeitlichen Auflösung verwendet. Alternativ bevorzugt wird das Bild durch ein weiteres Rescannen mit dem genannten optomechanischen Element oder mit einem weiteren optomechanischen Element auf dem Bildwandler erzeugt. Alternativ bevorzugt wird ein räumlicher Lichtmodulator (Spatial Light Modulator, SLM), wie beispielsweise basierend auf Flüssigkristallen auf Silizium (Liquid Crystal on Silicon, LCoS) oder ein System mit digital aussteuerbaren Mikrospiegeln (Digital Micromirror Device, DMD) verwendet, um die räumliche Trennung zu erreichen. Hierbei kann es genügen, den räumlichen Lichtmodulator auf den Bildwandler abbilden zu lassen, ohne dass ein Rescannen nötig ist.
Zur Bildwandlung des Hintergrundkanales dient bevorzugt der erste Bildwandler. Zur Bildwandlung des Vordergrundkanales dient bevorzugt ein zweiter Bildwandler. Zur optischen Teilung des Bildes dient bevorzugt ein Strahlteiler. Zur spektralen optischen Teilung des Bildes dient bevorzugt ein dichromatischer Strahlteiler. Teilstrahlengänge des Strahlteilers bilden jeweils den optischen Vordergrundkanal und den optischen Hintergrundkanal. Der erste Bildwandler ist entsprechend im optischen Hintergrundkanal angeordnet. Der zweite Bildwandler ist entsprechend im optischen Vordergrundkanal angeordnet.
Bei bevorzugten Ausführungsformen ist das Stanzsignal zumindest zweikanalig. Zum Bestimmen eines zweiten Kanales des Stanzsignals wird jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt. Somit wird anders als bei der Bestimmung des ersten Kanales das Ermitteln des abgebildeten Stanzlicht in den einzelnen Zeitabschnitten nicht auf die einzelnen Bildabschnitte beschränkt. Dies führt dazu, dass auch das indirekt abgebildete Stanzlicht, welches insbesondere durch Reflexion, Brechung, Beugung und/oder Streuung an dem mindestens einen Vordergrundobjekt entsteht, erfasst wird, da Reflexion, Brechung, Beugung bzw. Streuung zur Folge haben, dass das in einem der Abschnitte des Hintergrundes verwendete Stanzlicht auch in anderen als dem örtlich korrespondierenden Bildabschnitt abgebildet wird. Da aber jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird, wird zusätzlich auch das am Vordergrundobjekt reflektierte, gebeugte und/oder gestreute Stanzlicht, d. h. das indirekt abgebildete Stanzlicht erfasst. Es wird somit eine Summe des direkt abgebildeten Stanzlichtes und des indirekt abgebildeten Stanzlichtes erfasst. Durch einen Vergleich mit dem das direkt transmittierte bzw. direkt abgebildete Stanzlicht erfassenden ersten Kanal kann auf das indirekt abgebildete Stanzlicht geschlossen werden. Durch Anwenden des zweiten Kanales des Stanzlichtes können bessere Ergebnisse bei der Bestimmung eines bevorzugt feinstufigen Alpha-Kanales und schließlich beim Freistellen von feingliedrigen Kanten des abgebildeten Vordergrundobjektes und/oder in teiltransparenten Bereichen des abgebildeten Vordergrundobjektes erzielt werden. Zum Bestimmen des zweiten Kanales des Stanzsignals wird bevorzugt ein dritter Bildwandler verwendet, welcher gemäß einem Global- Shutter-Verfahren arbeitet. Alternativ bevorzugt erfolgt das Bestimmen des zweiten Kanales des Stanzsignals mit dem ersten Bildwandler, welcher bildweise abwechselnd gemäß einem Rolling-Shutter-Verfahren und einem Global-Shutter-Verfahren betrieben wird. Auch kann der erste Bildwandler bzw. der dritte Bildwandler oder auch ein vierter Bildwandler so konfiguriert sein, dass jeweils das in sämtlichen der Bildabschnitte einer von mehreren Bildregionen des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird. Beispielsweise kann einer der Bildwandler im Global-Shutter-Verfahren indirektes, insbesondere gestreutes Hintergrundlicht erfassen, dessen Ursprung in einem oberen Bereich des Hintergrundes liegt, während ein anderer der Bildwandler indirektes, insbesondere gestreutes Hintergrundlicht erfasst, welches aus einem unteren Bereich des Hintergrundes stammt. So können dann im Rahmen einer Nachbearbeitung Streulichtanteile beispielsweise durch Blau für einen Himmel und Grün-Braun für eine Landschaft ersetzt werden. Der zweite Kanal des Stanzsignals wird bevorzugt wie der erste Kanal des Stanzsignals aus dem optischen Hintergrundkanal ermittelt. Der zweite Kanal ist in einem einfachen Fall unabhängig von der Farbe, d. h. die spektralen Eigenschaften der Reflexion, Beugung bzw. Streuung, welche zu dem indirekt abgebildeten Stanzlicht führten, bleiben unberücksichtigt. In diesem Sinne ist der zweite Kanal monochrom. Bevorzugt beschreibt der zweite Kanal aber auch eine Abhängigkeit von der Farbe, wodurch die spektralen Eigenschaften der Reflexion, Beugung bzw. Streuung, welche zu dem indirekt abgebildeten Stanzlicht führten, berücksichtigt werden. Hierzu kann der zweite Kanal mehrere Subkanäle für verschiedene Farben oder eine zusätzliche Definition der Farbe im Farbraum oder eine zusätzliche Definition der spektralen Eigenschaften umfassen.
Das Ermitteln des zweiten Kanales des Stanzsignals, d. h. insbesondere das Ermitteln des indirekt abgebildeten Stanzlichtes erfolgt bevorzugt für die oben beschriebene Ausführungsform, bei welcher das strukturierte Stanzlicht verwendet wird, da hierdurch weitere Analysen ermöglicht werden. Bevorzugt werden örtliche Ausrichtungen von Normalen auf dem Vordergrundobjekt aus dem indirekt abgebildeten Stanzlicht ermittelt. Das aus dem zweiten Kanal des Stanzlichtes ermittelte indirekt abgebildete Stanzlicht wird mit oder ohne Informationen über die Normalen bevorzugt als Basis dafür verwendet, eine automatisierte indirekte Hintergrundinformation zu emulieren. Beispielsweise kann das Blau eines Himmels für eine solche indirekte Beleuchtung mit berücksichtigt werden. Bei vorhandenen Informationen über die Normalen werden bevorzugt auch spekulare Reflexionen berücksichtigt .
Bei bevorzugten Ausführungsformen wird das im Vordergrundkanal vorhandene Stanzlicht bzw. das auf dem mindestens einen Vordergrundobjekt vorhandene Stanzlicht ermittelt, um eine optische Wechselwirkung zwischen dem mindestens einen Vordergrundobjekt und dem Hintergrund zu ermitteln. Die ermittelte optische Wechselwirkung wird beim Ersetzen des abgebildeten Hintergrundes berücksichtigt, wodurch das Bild des Vordergrundobjektes vor dem ersetzten Hintergrund noch realistischer wirken kann. Zudem werden bevorzugt die Abschnitte des Hintergrundes, aus denen jeweils das auf dem mindestens einen Vordergrundobjekt vorhandene Stanzlicht seinen Ursprung hat, ermittelt. So können die optischen Wechselwirkungen zwischen dem mindestens einen Vordergrundobjekt und dem Hintergrund auch einem örtlichen Bereich des Hintergrundes zugeordnet werden, was bevorzugt beim Ersetzen des Hintergrundes berücksichtigt wird. Die Berücksichtigung des indirekt abgebildeten Stanzlichtes beim Ersetzen des abgebildeten Hintergrundes kann mit einem angepassten Aufwand erfolgen. Beispielsweise kann das für das Ableiten des ersten Kanales ermittelte direkt abgebildete Stanzlicht sehr viel höher aufgelöst bestimmt werden, wohingegen das indirekt abgebildete Stanzlicht mit einer groben Auflösung oder nur für ausgewählte Regionen mit einer feinen Auflösung ermittelt wird.
Bei bevorzugten Ausführungsformen wird das zumindest einkanalige Stanzsignal auf das mindestens eine Bild bzw. auf das mindestens eine die Szene oder zumindest das mindestens eine Vordergrundobjekt abbildende Bild angewendet, um in diesem mindestens einen Bild den abgebildeten Hintergrund der Szene zu entfernen und so das mindestens eine Vordergrundobjekt freizustellen, was bevorzugt graduell erfolgt, wofür das Stanzsignal bevorzugt einen vielstufigen Alpha-Kanal umfasst. Bevorzugt wird das Stanzsignal auf das mindestens eine Bild angewendet, um in dem mindestens einen Bild den abgebildeten Hintergrund der Szene durch andere Bildinhalte zu ersetzen, welche dann im Bild für das mindestens eine Vordergrundobjekt einen Hintergrund bzw. eine Umgebung darstellen. Bevorzugt wird das zweikanalige Stanzsignal auf das mindestens eine Bild angewendet, um jeweils das direkt abgebildete Stanzlicht und das indirekt abgebildete Stanzlicht in dem mindestens einen Bild zu entfernen und den abgebildeten Hintergrund der Szene durch andere Bildinhalte zu ersetzen, welche dann im Bild für das mindestens eine Vordergrundobjekt einen Hintergrund bzw. eine Umgebung darstellen. Wie bereits oben beschrieben wurde, ist das Stanzsignal bevorzugt vielstufig, sodass das Entfernen bzw. Ersetzen graduell, d. h. weich erfolgt. Dabei werden bevorzugt auch die optischen Wechselwirkungen zwischen dem Vordergrundobjekt und dem Hintergrund der Szene berücksichtigt, sodass diese Wechselwirkungen auch zwischen dem Vordergrundobjekt und dem einen anderen Hintergrund darstellenden Bildinhalt vorhanden sind.
Die erfindungsgemäße Anordnung dient zur Aufnahme mindestens eines Bildes einer mindestens ein Vordergrundobjekt und einen Hintergrund umfassenden Szene. Die Anordnung ermöglicht ein bevorzugt graduelles Unterscheiden zwischen dem Hintergrund und dem mindestens eine Vordergrundobjekt.
Die Anordnung umfasst zunächst eine Vorrichtung zur Erzeugung von Stanzlicht, welche bevorzugt durch einen ansteuerbaren Projektor, durch einen Laser-Pro ektor, einen Licht-Scanner, durch eine Lichtquelle mit einer Vielzahl an örtlich verteilten Einzellichtquellen, durch eine zweidimensionale Anzeige oder dergleichen gebildet. Der Projektor bzw. Scanner umfasst bevorzugt ein mikroelektromechanisches System (MEMS) zur Strahllenkung. Alternativ oder ergänzend kann der Projektor bzw. Scanner auch ein Liquid-Crystal-on-Silicon (LCoS) oder ein Digital Micromirror Device (DMD) umfassen. Die Vorrichtung zur Erzeugung von Stanzlicht ist dazu konfiguriert, das Stanzlicht für den Hintergrund mit einer örtlichen und zeitlichen Variation zu verwenden, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes vorhanden ist, und wobei die Abschnitte des Hintergrundes, in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln.
Die Anordnung umfasst zudem eine Bildaufnahme- und Bildverarbeitungsvorrichtung zum Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene. Die Bildaufnahme- und Bildverarbeitungsvorrichtung ist dazu konfiguriert, ein zumindest einkanaliges Stanzsignal zur Unterscheidung des mindestens einen Vordergrundobjektes von dem Hintergrund durch Bestimmen einer Verteilung des in dem mindestens einem Bild abgebildeten Stanzlichtes abzuleiten, wobei zum Bestimmen eines ersten Kanales des Stanzsignals jeweils ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Die Anordnung ist bevorzugt zur Ausführung des erfindungsgemäßen Verfahrens oder einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens konfiguriert. Die Anordnung weist bevorzugt auch Merkmale auf, welche im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind. Insbesondere umfasst die Anordnung bevorzugt den beschriebenen ersten Bildwandler und bevorzugt auch den zweiten Bildwandler und/oder den dritten Bildwandler. Die Bildaufnahme- und Bildverarbeitungsvorrichtung umfasst bevorzugt eine Kamera, in welcher die zwei bzw. drei Bildwandler und der Strahlteiler vereint sind. Alternativ bevorzugt umfasst die Bildaufnahme- und Bildverarbeitungsvorrichtung mehrere Bildwandlungsmodule mit jeweils einem der Bildwandler, sodass einer größere Anpassbarkeit gegeben ist. Die Kamera bzw. die Bildwandlungsmodule umfassen bevorzugt ein Objektiv, wobei das Objektiv auch separiert sein kann.
Die Bildaufnahme- und Bildverarbeitungsvorrichtung umfasst bevorzugt auch einen Computer, welcher insbesondere zur Bildverarbeitung konfiguriert ist. Der Computer ist insbesondere zur Ableitung des Stanzsignals konfiguriert. Der Computer ist bevorzugt auch zum Ersetzen des abgebildeten Hintergrundes der Szene durch andere Bildinhalte konfiguriert. Diese Konfigurationen des Computers sind bevorzugt durch Software-Plugins für bestehende Software-Lösungen zur Bild- und/oder Videoverarbeitung definiert.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform der Erfindung, unter Bezugnahme auf die Zeichnung . Die einzige Fig. zeigt eine bevorzugte Ausführungsform einer erfindungsgemäße Anordnung zur Aufnahme mindestens eines Bildes (nicht gezeigt) einer ein Vordergrundobjekt 01 und einen Hintergrund 02 umfassenden Szene. Der Hintergrund 02 ist in einem einfachen Fall durch eine Wand gebildet. Die Anordnung umfasst einen Laser-Pro ektor 03 zur Erzeugung eines Laserstrahles 04, mit welchem der Hintergrund 02 scannerartig, d. h. zeilenweise beispielsweise von oben nach unten beleuchtet wird, was periodisch wiederholt wird. Der Laserstrahl 04 benötigt jeweils einen Zeitabschnitt, um eine Zeile (nicht dargestellt) des Hintergrundes 02 auszuleuchten. Innerhalb eines jeden dieser Zeitabschnitte befindet sich der Laserstrahl 04 nur innerhalb der jeweiligen Zeile auf dem Hintergrund 02. Der Laserstrahl 04 bildet ein Stanzlicht, welches bevorzugt eine Spektrallinie bei beispielsweise 532 nm, 440 nm oder 640 nm aufweist. Das durch den Laserstrahl 02 gebildete Stanzlicht wird von dem Hintergrund 02 reflektiert, wobei ein beispielhaft dargestellter Stanzlichtstrahl 06 resultierend aus diffus reflektiertem Stanzlicht 07 direkt abgebildet wird.
Die Anordnung umfasst eine Kamera, welche repräsentativ durch einen Strahlteiler 08, durch einen ersten Bildwandler 09 und durch einen zweiten Bildwandler 11 dargestellt ist, wobei weitere Komponenten der Kamera, wie beispielsweise ein Objektiv nicht dargestellt sind. Der Strahlteiler 08 ist dichromatisch, sodass er einen auf ihn gerichteten Abbildungsstrahlengang spektral teilt, wodurch das abgebildete Stanzlicht des Hintergrundes 02 auf den ersten Bildwandler 09 gerichtet wird, was beispielhaft für den direkt abgebildeten Stanzlichtstrahl 06 dargestellt ist. Auf den zweiten Bildwandler 11 ist insbesondere eine Abbildung des Vordergrundobjektes 01 gerichtet. Der erste Bildwandler 09 ist beispielhaft durch einen CMOS- Bildwandler gebildet, welcher gemäß einem Rolling-Shutter- Verfahren arbeitet, sodass er zeilenweise ausgelesen wird, was hier konjugiert synchron zu dem zeilenweise ausgeführten Beleuchten des Hintergrundes 02 erfolgt. Das Beleuchten des Hintergrundes 02 mit dem Laser-Pro ektor 03 und das Wandeln des Bildes des Hintergrundes 02 mit dem ersten Bildwandler 09 erfolgen somit zeilenweise konfokal. Hierdurch wird mit dem ersten Bildwandler 09 das direkt abgebildete Stanzlicht gewandelt, welches beispielhaft durch den direkt abgebildeten Stanzlichtstrahl 06 veranschaulicht ist. Das direkt abgebildete Stanzlicht hat keine Reflexion, Beugung oder Streuung außer aus der jeweils unmittelbar beleuchteten Zeile des Hintergrundes 02 erfahren. Das direkt abgebildete Stanzlicht hat insbesondere keine Reflexion, Beugung oder Streuung durch das Vordergrundobjekt 01 erfahren. Aus der mit dem ersten Bildwandler 09 gewandelten Abbildung des direkt abgebildeten Stanzlichtes wird ein erster Kanal eines Stanzsignals in Form eines feinstufigen Alpha-Kanales abgeleitet .
Der zweite Bildwandler 11 dient zur Wandlung der Abbildung des Vordergrundobjektes 01. Auf das gewandelte Bild wird das Stanzsignal angewendet, um die Abbildung des Vordergrundobjektes 01 graduell freizustellen, sodass im nächsten Schritt ein gewünschter Bildinhalt zur Abbildung eines anderen Hintergrundes (nicht gezeigt) an die Stelle der Abbildung des in der Szene befindlichen Hintergrundes 02 tritt. Bezugszeichenliste 01 Vordergrundobjekt
02 Hintergrund
03 Laser-Pro ektor
04 Laserstrahl
05 06 direkt abgebildeter Stanzlichtstrahl
07 diffus reflektiertes Stanzlicht
08 Strahlteiler
09 erster Bildwandler
10 11 zweiter Bildwandler

Claims

28
Patentansprüche Verfahren zum Unterscheiden zwischen einem Hintergrund (02) und mindestens einem Vordergrundobjekt (01) einer abzubildenden Szene, folgende Schritte umfassend:
- Verwenden von Stanzlicht für den Hintergrund (02) mit einer örtlichen und zeitlichen Variation, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes (02) vorhanden ist, und wobei die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln;
- Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene; und
- Ableiten eines zumindest einkanaligen Stanzsignals zur Unterscheidung des mindestens einen Vordergrundobjektes (01) von dem Hintergrund (02) durch Bestimmen einer Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes, wobei zum Bestimmen eines ersten Kanales des Stanzsignals ein direkt abgebildeter Anteil (06) des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Strahlengang eines das Stanzlicht bildenden Lichtstrahles zum zeitlich wechselnden Beleuchten der Abschnitte des Hintergrundes (02) und ein Strahlengang zum Abbilden des Hintergrundes (02) in die einzelnen Bildabschnitte konfokal sind. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, jeweils durch mindestens eine Zeile gebildet sind; und dass die Bildabschnitte, aus denen der direkt abgebildete Anteil (06) des Stanzlichtes ermittelt wird, jeweils durch eine Bildzeile gebildet sind. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zum Bestimmen des ersten Kanales des Stanzsignals ein erster Bildwandler (09) verwendet wird, welcher gemäß einem Rolling-Shutter-Verfahren arbeitet. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verwenden des Stanzlichtes für den Hintergrund (02) dadurch erfolgt, dass der Hintergrund (02) mit einem zeilenweise abgelenkten Laserstrahl (04) eines Laserprojektors (03) beleuchtet wird, wobei der Laserstrahl (04) das Stanzlicht bildet. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verwenden des Stanzlichtes für den Hintergrund (02) dadurch erfolgt, dass eine im Hintergrund (02) befindliche zweidimensionale Anzeige zeilenweise das Stanzlicht emittiert. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zum Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes das mindestens eine Bild zunächst spektral geteilt wird, wodurch das mindestens eine Bild in einen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden Hintergrundkanal geteilt wird. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zum Bestimmen eines zweiten Kanales des Stanzsignals jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Stanzlicht ein Spektrum mit einer oder mehreren Spektrallinien und/oder Spektralbanden aufweist . Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Spektralbanden eine Bandbreite aufweisen, welche höchstens 5 nm beträgt. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass das Stanzlicht in unterschiedlichen Regionen des Hintergrundes (02) mit unterschiedlichen spektralen Zusammensetzungen verwendet wird, wobei die unterschiedlichen Regionen des Hintergrundes (02) ein Muster bilden, wobei in einer ersten Menge der Regionen des Hintergrundes (02) das Spektrum des Stanzlichtes eine Spektrallinie mit einer ersten Wellenlänge oder eine Spektralbande mit einer ersten mittleren Wellenlänge aufweist, und wobei in einer zweiten Menge der Regionen des Hintergrundes (02) das Spektrum des Stanzlichtes eine Spektrallinie mit einer zweiten Wellenlänge oder eine Spektralbande mit einer zweiten mittleren Wellenlänge aufweist . Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die erste Wellenlänge oder die erste mittlere Wellenlänge und die zweite Wellenlänge oder die zweite mittlere Wellenlänge einen spektralen Abstand zueinander aufweisen, welcher weniger als 100 nm beträgt. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Verwendung des Stanzlichtes in den Regionen der ersten Menge und die Verwendung des Stanzlichtes in den Regionen der zweiten Menge örtlich abwechseln, wobei die Regionen der ersten Menge und die Regionen der zweiten Menge eine regelmäßige Struktur bilden. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das auf dem mindestens einen Vordergrundobjekt (01) vorhandene Stanzlicht ermittelt wird, und dass diejenigen Abschnitte des Hintergrundes (02), aus denen jeweils das auf dem mindestens einen
Vordergrundobjekt (01) vorhandene Stanzlicht seinen Ursprung hat, ermittelt werden. Anordnung zur Abbildung einer mindestens ein Vordergrundobjekt (01) und einen Hintergrund (02) umfassenden Szene, folgende Komponenten umfassend:
- eine Vorrichtung (03) zur Erzeugung von Stanzlicht, welche dazu konfiguriert ist, das Stanzlicht für den Hintergrund (02) mit einer örtlichen und zeitlichen Variation zu verwenden, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes (02) vorhanden ist, und wobei die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den 32 einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln; und
- eine Bildaufnahme- und Bildverarbeitungsvorrichtung (08, 09, 11) zum Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene; wobei die
Bildaufnahme- und Bildverarbeitungsvorrichtung (08, 09, 11) dazu konfiguriert ist, ein zumindest einkanaliges Stanzsignal zur Unterscheidung des mindestens einen Vordergrundobjektes (01) von dem Hintergrund (02) durch Bestimmen einer Verteilung des in dem mindestens einem
Bild abgebildeten Stanzlichtes abzuleiten, wobei zum Bestimmen eines ersten Kanales des Stanzsignals jeweils ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes (02) örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist.
PCT/EP2022/087517 2021-12-27 2022-12-22 Anordnung und verfahren zum unterscheiden zwischen einem hintergrund und einem vordergrundobjekt einer szene WO2023126311A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021215048.9 2021-12-27
DE102021215048.9A DE102021215048A1 (de) 2021-12-27 2021-12-27 Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene

Publications (1)

Publication Number Publication Date
WO2023126311A1 true WO2023126311A1 (de) 2023-07-06

Family

ID=84943233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/087517 WO2023126311A1 (de) 2021-12-27 2022-12-22 Anordnung und verfahren zum unterscheiden zwischen einem hintergrund und einem vordergrundobjekt einer szene

Country Status (2)

Country Link
DE (1) DE102021215048A1 (de)
WO (1) WO2023126311A1 (de)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3133814A (en) 1961-06-21 1964-05-19 Technicolor Corp Of America Method of making colored pictures
WO2001006766A1 (de) 1999-07-15 2001-01-25 Scannova Gmbh Verfahren zur bilddatenverarbeitung und kameraaufnahmesystem
DE102004051607B4 (de) 2004-08-30 2006-04-20 Bauhaus-Universität Weimar Dezernat Forschungstransfer und Haushalt Verfahren und Vorrichtung zur Darstellung eines digitalen Bildes auf einer geometrisch und photometrisch nicht-trivialen Oberfläche
DE102007041719A1 (de) 2006-11-06 2008-05-15 Bauhaus-Universität Weimar Verfahren zur Erzeugung erweiterter Realität in einem Raum
DE102005034990B4 (de) 2005-03-21 2008-11-20 Bauhaus Universität Weimar Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe
DE602004010464T2 (de) 2003-07-16 2008-11-20 British Broadcasting Corp. Videoverarbeitung
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
US20150347845A1 (en) 2014-05-30 2015-12-03 Lifetouch Inc. Photographic scene replacement system
US20180332239A1 (en) 2017-05-10 2018-11-15 Lifetouch Inc. Background replacement utilizing infrared light and visible light
AU2019311295A1 (en) * 2018-07-27 2021-01-21 Appario Global Solutions (AGS) AG Method and system for dynamic image content replacement in a video stream

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3133814A (en) 1961-06-21 1964-05-19 Technicolor Corp Of America Method of making colored pictures
WO2001006766A1 (de) 1999-07-15 2001-01-25 Scannova Gmbh Verfahren zur bilddatenverarbeitung und kameraaufnahmesystem
DE602004010464T2 (de) 2003-07-16 2008-11-20 British Broadcasting Corp. Videoverarbeitung
DE102004051607B4 (de) 2004-08-30 2006-04-20 Bauhaus-Universität Weimar Dezernat Forschungstransfer und Haushalt Verfahren und Vorrichtung zur Darstellung eines digitalen Bildes auf einer geometrisch und photometrisch nicht-trivialen Oberfläche
DE102005034990B4 (de) 2005-03-21 2008-11-20 Bauhaus Universität Weimar Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe
DE102007041719A1 (de) 2006-11-06 2008-05-15 Bauhaus-Universität Weimar Verfahren zur Erzeugung erweiterter Realität in einem Raum
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
US9355325B2 (en) * 2010-09-20 2016-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for differentiating between background and foreground of scenery and also method for replacing a background in images of a scenery
US10313607B2 (en) 2010-09-20 2019-06-04 Fraunhofer-Gesellschaft-Zur Foerderung Der Angewandten Forschung E.V. Method for differentiating between background and foreground of scenery and also method for replacing a background in images of a scenery
US20150347845A1 (en) 2014-05-30 2015-12-03 Lifetouch Inc. Photographic scene replacement system
US20180332239A1 (en) 2017-05-10 2018-11-15 Lifetouch Inc. Background replacement utilizing infrared light and visible light
AU2019311295A1 (en) * 2018-07-27 2021-01-21 Appario Global Solutions (AGS) AG Method and system for dynamic image content replacement in a video stream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HASCHE, E.INGWER, P: "Game of Colors: Moderne Bewegtbildproduktion, Theorie und Praxis für Film, Video und Fernsehen", 2016, SPRINGER-VERLAG

Also Published As

Publication number Publication date
DE102021215048A1 (de) 2023-06-29

Similar Documents

Publication Publication Date Title
EP2619975B1 (de) Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
DE112014006127B4 (de) Bilderzeugungsvorrichtung
EP3298345B1 (de) Kamera und verfahren zur dreidimensionalen vermessung und farbvermessung eines dentalen objekts
EP1784978A1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
DE60133026T2 (de) Genaues ausrichten von bildern in digitalen abbildungssystemen durch anpassen von punkten in den bildern
EP1665815A2 (de) Verfahren zum erstellen einer raumbildvorlage für abbildungsverfahren mit rumlichen tiefenwirkungen und vorrichtung zum anzeigen einer raumbildvorlage
DE102008002730A1 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
WO2012095088A1 (de) Vorrichtung und verfahren zur dreidimensionalen optischen vermessung von oberflächen
DE102004051607B4 (de) Verfahren und Vorrichtung zur Darstellung eines digitalen Bildes auf einer geometrisch und photometrisch nicht-trivialen Oberfläche
DE102005034990B4 (de) Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe
DE102007041719B4 (de) Verfahren zur Erzeugung erweiterter Realität in einem Raum
WO2023126311A1 (de) Anordnung und verfahren zum unterscheiden zwischen einem hintergrund und einem vordergrundobjekt einer szene
DE102017213761A1 (de) Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse
DE1537952C3 (de) Verfahren und Vorrichtung zur Erzeugung des Abbildes einer Szene
DE2027617B2 (de) System zur Reproduktion eines Farbbildes mit Hilfe eines Schwarz-Weiß-Mediums und Verfahren zur Erzeugung eines zusammengesetzten Bildes auf einem Schwarz-Welß-Medium für dieses System
DE10035040B4 (de) Abtastvorrichtung
DE10123933C1 (de) Verfahren und Vorrichtung zur Herstellung stereoskopischer Darstellungen
DE10332275B4 (de) Panorama-Bildprojektor
EP4258640A1 (de) Verfahren zum kalibrieren eines hintergrundwiedergabe- und aufnahmesystems
DE1917339A1 (de) Vorrichtung zum Erzeugen von Farb-Videosignalen
DE102022108569A1 (de) Hintergrund-Wiedergabeeinrichtung
WO2013113897A1 (de) Digitalkamera mit projektionseinheit und verfahren zum betrieb einer digitalkamera mit projektionseinheit
DE102007039079A1 (de) Verfahren und Anordnung zur räumlichen Darstellung einer Szene mit nur geringer oder ohne Beleuchtung
DE102005059852A1 (de) Präsentationsvorrichtung für einen eine Innengravur aufweisenden Glaskörper
Knight Television Images: The Illusion of Space and form Aided by Lighting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22843337

Country of ref document: EP

Kind code of ref document: A1