WO2017216263A1 - Bilderfassungsvorrichtung, bilderfassungssystem, bildprojektionsvorrichtung, bildübertragungssystem, verfahren zum erfassen eines 360°-objektbereichs und verfahren zum projizieren eines bildes - Google Patents

Bilderfassungsvorrichtung, bilderfassungssystem, bildprojektionsvorrichtung, bildübertragungssystem, verfahren zum erfassen eines 360°-objektbereichs und verfahren zum projizieren eines bildes Download PDF

Info

Publication number
WO2017216263A1
WO2017216263A1 PCT/EP2017/064617 EP2017064617W WO2017216263A1 WO 2017216263 A1 WO2017216263 A1 WO 2017216263A1 EP 2017064617 W EP2017064617 W EP 2017064617W WO 2017216263 A1 WO2017216263 A1 WO 2017216263A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical
imaging optics
region
image sensor
Prior art date
Application number
PCT/EP2017/064617
Other languages
English (en)
French (fr)
Inventor
Fax Quintus
Naydenov NAYDEN
Original Assignee
I-Mmersive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I-Mmersive Gmbh filed Critical I-Mmersive Gmbh
Priority to DE112017002992.9T priority Critical patent/DE112017002992A5/de
Publication of WO2017216263A1 publication Critical patent/WO2017216263A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • Image capture device image capture system, image projection device, image transfer system, method for capturing a 360 ° object region, and
  • the present invention relates to an image capturing apparatus for capturing a 360 ° object area, an image capturing system, an image projection apparatus for projecting onto a 360 ° projection area, an image transmission system, a method for capturing a 360 ° object area, and a method of projecting an image onto a 360 ° projection area.
  • 360 ° cameras which have a large number of individual cameras, for example four, six or eight cameras. Each individual camera captures a subarea of a 360 ° object area.
  • the images obtained from the individual cameras are stitched together to form an overall image representing the 360 ° scene.
  • Stitching is understood as a method in which individual images are aligned relative to one another.
  • the output images are converted into a common Cartesian coordinate system.
  • the sub-images are assembled.
  • a PC is currently used, which combines the images into a 360 ° panorama for hours in particular for video applications.
  • a whole array of machines is used, the measurement of which can even fill trucks.
  • 360 ° image projectors which are also referred to as beamer
  • beamer there is a similar problem, since an assembled 360 ° image, a control of several subprojectors, each representing a partial image, takes place. This means that the partial images must be calculated from the overall picture. It would therefore be desirable to have a concept that makes it possible to record a 360 ° object area for the creation of a 360 ° image with little computational effort and / or to project a picture onto a 360 ° projection area from a 360 ° image with little computational effort to enable.
  • the core idea of the present invention is to have realized that the above object can be achieved by projecting a number of partial images, each representing a partial area of the 360 ° object area, onto an image sensor and not completely overlapping each other. This can be achieved by arranging a beam deflecting device so that the partial images are directed onto the image sensor.
  • the image sensor signal thus obtained! contains all information about the representations of the 360 ° object area.
  • the beam deflection device can be used to project partial images onto the image sensor so that an image that is usable for 360 ° reproduction is already generated on the image sensor. This allows the substitution of stitching, which eliminates the need for image merging.
  • an image capture device includes an image sensor and an optical device configured to detect a 360 ° object region.
  • the optical device comprises a first imaging optical system for influencing a first optical beam path and a second imaging optical system for influencing a second optical beam path.
  • the image capture device further comprises a beam deflection device, which is formed to the first optical path on a first image sensor area of the image sensor and the second optical path on a second image sensor area of the image sensor, which at most partially overlaps the first image sensor area.
  • the optical device is formed in the absence of a third imaging optical system for detecting a third subregion of the 360 ° object region.
  • the first subarea and the second subarea form the 360 ° object area.
  • the image capture device images the 360 ° object area only with the first imaging optics and the second imaging optics.
  • the first and / or second imaging optics preferably the first and second imaging optics, are formed as a fisheye lens with an image angle of at least 180 °. The advantage of this is that a small number of imaging optics is sufficient to image a sufficiently large, possibly complete, region of the 360 J object region.
  • the optical device comprises a converging lens which is coupled to the imaging optics formed as a fisheye lens on a side of the imaging optics facing the image sensor.
  • the image capture device comprises a processing device, which is designed to generate an image signal, which reproduces an image of the 360 ° object region, based on a sensor signal of the shift sensor.
  • the image signal can be transmitted and / or stored, for example.
  • the processing device can generate the image signal in the absence of stitching, which is advantageous.
  • an image capture system comprises a first image capture device according to embodiments described herein and a second image capture device according to embodiments described herein.
  • the first image capture device and the second image capture device are arranged such that the 360 ° object region is substantially detectable by the imaging system in a stereoscope.
  • an image projection device includes an image generator configured to provide an image from a received image signal.
  • the image projection device comprises an optical device configured to project the image onto a 360 ° projection region, comprising first imaging optics for influencing a first optical beam path and second imaging optics for influencing a second optical beam path.
  • the image projection apparatus further comprises a beam deflection device which is configured to move the first optical beam path from a first image region of the image generator onto a first partial projection region of the 360 ° projection region and the second optical optical path from a second image region of the image generator onto a second partial projection region of 360 ° projection area which overlaps at most partially with the first partial projection area.
  • an image transmission system comprises an image capture device according to embodiments described herein and an image projection device according to embodiments described herein.
  • the advantage of this is that the optical device in the image capture device and the image projection device can be formed similar or even identical and only an exchange of the image sensor by the image generator or vice versa takes place, that is, there is a high component compatibility.
  • a method for detecting a 360 ° object area comprises the steps of: providing an image sensor; Influencing a first optical beam path with a first imaging optics and influencing a second optical beam path with a second imaging optics, in order to produce a 360 ° Object area to capture.
  • the method further comprises directing the first optical beam path onto a first image sensor area of the image sensor with a beam deflection device and directing the second optical radiation path with the beam deflection device onto a second image sensor area of the image sensor that at most partially overlaps the first image area.
  • a method of projecting an image comprises the steps of: displaying an image with an image generator from a received image signal; Influencing a first optical beam path with a first imaging optical system of a beam deflection device of an optical device and influencing a second optical beam path with a second optical imaging device of the optical device in order to project the image on a 360 ° projection region; and directing the first optical beam path from a first image area of the image generator onto a first partial projection area of the 360 ° projection area with a beam deflection device, and directing the second optical beam path from a second image area of the image generator onto a second partial projection area of the 360 ° projection area which is at most partially overlaps with the first partial projection area.
  • FIG. 1 is a schematic block diagram of an image capture device according to an embodiment
  • Fig. 2 is a schematic representation of the image capture device in an x- / z-plane, which is rotated by 90 ° relative to the illustration in Figure 1 about the x-axis.
  • 3a is a schematic side sectional view of an image capture device according to an embodiment; a schematic perspective view of an embodiment in which a beam deflecting device is arranged in spatial proximity to an image sensor; 4 shows a schematic plan view of the image sensor comprising the image sensor regions which are arranged separately from one another on the image sensor;
  • FIG. 5 shows a schematic plan view of a book acquisition device according to an exemplary embodiment comprising four imaging optics
  • FIG. 6 is a schematic plan view of a book detecting apparatus according to an embodiment having processing means
  • FIG. 7 is a schematic perspective view of an image acquisition system according to an embodiment
  • FIG. 8 is a schematic side sectional view of an image projection apparatus according to an embodiment
  • 9 is a schematic block diagram of an image transmission system according to an embodiment
  • FIG. 10 is a schematic flowchart of a method for detecting a 360 ° object area according to an embodiment
  • 1 1 is a schematic flowchart of a method of projecting an image according to an embodiment
  • FIG. 12 is a schematic side sectional view of a lens according to an embodiment.
  • 360 ° images are taken to mean images which permit complete or at least almost complete imaging in three spatial directions or along the elevation angle and the azimuth angle and differ from panoramic images in one direction, approximately along the azimuth angle.
  • a large-area or even complete recording allow incomplete formation along at least one other direction, for example along the elevation angle. That is, a 360 ° object area of an image capturing apparatus according to embodiments described herein may cover 360 ° of elevation angle and 360 ° of azimuth angle of the image capturing apparatus.
  • the image capture device 10 comprises an optical device 12.
  • the optical device 12 comprises a plurality of imaging optics 14a and 14b, which are each designed to influence a beam path 16a or 16b.
  • the imaging optics 14a and / or 14b can be lenses which are designed to influence the beam path 16a or 16b by means of scattering, refraction, focusing and / or diffraction. This can also be understood such that the imaging optics 14a is designed to image a partial object region 18a of a 360 ° object region 22.
  • the imaging optics 14b is designed to image a subobject region 18b of the 360 ° object region 22.
  • the image capture device 10 comprises a beam deflection device 24, which is designed to deflect the beam paths 6a and 16b in the direction of an image sensor 26.
  • the beam deflection device 24 can be designed to deflect the beam path 16a onto a first image sensor area 28a and the beam path 16b to a second image sensor area 28b.
  • the image sensor areas 28a and 28b are at least partially different from each other, that is, they are at most partially overlapped with each other and incomplete.
  • the beam paths 16a and 16b can be understood as a path of the light from the respective partial object area 18a or 18b to the image sensor areas 28a or 28b and / or as a path of the light from the image sensor area 28a and 28b to the partial object areas 18a and 8b.
  • the beam deflecting device 24 may comprise an optical or optomechanical element or may be formed from the optical or optomechanical element.
  • the beam deflecting device may comprise a prism.
  • the prism may be arranged so that a first reflection surface of the prism is aligned to redirect the beam path 16a so that the sub-object region 18a is imaged on the image sensor region 28a.
  • a second reflection surface of the prism may be aligned to redirect the beam path 16b such that the portion 18b is imaged on the image sensor portion 28b.
  • the beam deflection device 24 may also comprise a plurality of prisms, the first and second reflection surfaces being parts of different prisms. A use of different prism surfaces of a prism allows a small number of components and a small space requirement.
  • the beam deflection device 24 may comprise a deflection mirror, which is designed to deflect the first beam path 16a and / or the second beam path 16b.
  • the beam deflector 24 may also include a plurality of beam deflecting mirrors, with first and second beam deflecting mirrors being parts of different mirrors. Use of a common mirror, such as a tilted or inclined arrangement of different surfaces allows a small number of components and a small space requirement.
  • the beam deflection device 24 may comprise a plurality of optical waveguides which are coupled between an imaging optical system and the image sensor 26. Each optical waveguide can, for example, guide light from the imaging optics towards at least one pixel on the respective image sensor area.
  • each optical waveguide can guide the light of several pixels, it is advantageous to pass only the light of a small number of at most 10, at most 5 or at most 3, of a single pixel per optical waveguide.
  • each image sensor area 28a and 28b has a plurality of pixels, ie at least 100, at least 1000, or at least 10,000.
  • the beam deflector 24 may be disposed between the optical device 12 and the image sensor 26. This allows a possibly bundling imaging by means of the imaging optics 14a and 14b so that an area requirement of the beam deflecting device 24 for deflecting the bundled beam paths can be low.
  • the beam deflecting device 24 for example formed as a prism or as at least one deflecting mirror, can be arranged between the optical device 12 or its imaging optics. ken 14a and 14b and the image sensor 26 may be arranged.
  • a beam deflection device 24 configured in this way can also be arranged such that the imaging optics 14a and 14b are arranged between the beam deflection device 24 and the image sensor 26.
  • a deflection by means of a deflecting peg and / or a prism surface can take place first, followed by an influencing of the beam path with the imaging optics 14a or 14b.
  • the beam deflection device 24 and at least one of the imaging optics 14a or 14b of the optical device 12 may form a common objective, such as one side of the prism or a beam deflecting mirror having an imaging optical function corresponding to the imaging optical function of the imaging optics 14a and / or 14b, or by disposing the beam deflecting element 24 and the beam-influencing element 14a / 14b in a common housing.
  • the camera lenses when using a prism, can be installed with the ends facing each other.
  • 90 ° prisms are installed so that the rays from the plane are deflected 90 ° down onto the sensor, so that the images of all lenses are displayed on the sensor.
  • the prism may for example be formed from a solid optical glass body with an aluminum vaporization or simply as a flat mirror which is glued to an oblique plane.
  • the glass and / or the surface can satisfy the practical optical applications, that is to say be an optical glass which has a tempered surface.
  • mirrors are used, they can be installed in the center at a 45 ° angle so that the rays from the plane are deflected 90 ° down onto the sensor, so that the images of all the lenses are displayed on the sensor.
  • the camera lenses can be installed with the ends facing each other.
  • Each camera is connected to a bundle of optical fibers, the number of optical fibers can correspond exactly to the number of pixels of the respective corresponding sensor signal. Again, the images of all lenses are displayed on the sensor.
  • the advantage of this solution is that the cameras are freely positionable are, ie they can have any angle to each other, even other than 180 °.
  • the disadvantage of this, however, is that a large number of optical fibers is needed.
  • image capture devices may also be formed such that the optical device includes at least third imaging optics for detecting a third Part of the 360 ° object area includes.
  • the third partial object area is different from the first partial area 18a and the second partial area 18b.
  • the 360 ° object region 22 is shown as being circumferentially arranged in an x / y plane, the 360 ° object region may additionally be in an x / z plane and / or a y / z plane , which is arranged perpendicular thereto, be arranged. That is, the 360 ° of the 360 ° object area may refer to a spherical or at least ball-like 360 ° object area that is formed three-dimensionally.
  • the imaging optics 14a and 14b taken together have an image aperture angle of at least 360 °.
  • the imaging optics 14a a Rudö Stammswinke! a
  • the imaging optics 14b have an image aperture angle a 2 , each amounting to at least 180 °.
  • the imaging optics 14a and 14b have rotationally symmetrical optical properties, it is possible in each case to detect a partial object region 18a or 18b which, relative to a spherical surface, is larger than a hemisphere, ie hemisphere. This means that the non-overlapping regions of the partial object regions 18a and 18b as well as possibly further detected partial object regions can completely image the 360 ° object region.
  • optics designed for this purpose can be used, for example so-called fisheye objectives (fisheye objectives).
  • the optics can image aperture angle of more than 180 °, more than 220 °, more than 270 ° or even up to 310 °.
  • the image opening angle of ⁇ larger than 180 ° allows spacing of the imaging optics 14a and 14b with a distance d from each other. From a spacing-dependent distance r, ie, distance d and the opening angle ⁇ , from the imaging optics 14a and 14b, the sub-object areas 18a and 18b can again overlap one another so that the 360 ° object area is completely detected.
  • a distortion of fish-eye lenses can be reduced or compensated on the reproduction side, ie a projection device, by optical measures, for example also a fisheye lens or by software measures. However, no major calculations are required.
  • the imaging optics 14a and 14b, the beam deflection device 24 and the image sensor 26 can be arranged stationary relative to one another, that is to say the alignment can be rigid relative to one another. This allows fixed association of image positions in the buss sensor regions 28a and 28b to coordinates in the 360 ° object region. This means that images reproduced in the image sensor areas 28a and 28b always reproduce the same section of the 360 ° object area 22 relative to the image capture device 10.
  • a sensor signal 32 obtainable by the image sensor 26 can thus simultaneously reproduce the entire 360 ° object area independently of any further processing.
  • both image sensor areas 28a and 28b may also be formed in the form of different image sensors or chips, according to an advantageous embodiment, both image sensor areas 28a and 28b are part of a common image sensor, that is, arranged on a common closed image sensor area.
  • an adapted to the application aspect ratio in order to avoid unused chip area. This may be, for example, an aspect ratio of 1: 2 or, for example, commonly used 16: 9, such as when the imaging optics are configured to project circular images side-by-side. This allows optimal utilization of the image sensor.
  • one idea of the present invention is to optically redirect or redirect the image of two or more camera objects to image them on an electronic image sensor.
  • the image or video signals from two or more objectives without further calculating signal processing can be output in a single data signal, ie a video stream or an image or film file. ben.
  • a 360 ° representation can be generated in still images and moving images without a stitching-related or multip! Exing-related calculation latency.
  • a beam deflection device such as a prism
  • the beam deflecting device and at least one of the imaging optics of the optical device can form a common objective, for example by one side of the prism or a beam-directing mirror having an imaging optical function.
  • Other lenses, ie imaging optics, which are arranged at a 90 ° or 180 ° angle to the first lens, can project their image onto the image sensor in the same or a similar manner.
  • two, four, six, or eight images or more may be created on one sensor, which then transmits them in a collected image signal or video signal, which in turn is streamed in real time to a transmission medium, such as the Internet, ie can be transmitted.
  • a transmission medium such as the Internet
  • Fig. 2 shows a schematic representation of the image capture device 10 in an x- / z-plane, which is rotated relative to the illustration in FIG. 1 by 90 ° about the x-axis.
  • the beam paths 16a and 16b are each represented by only one arrow. It becomes clear that the 360 ° object area 22 also circumscribes in this representation, ie. H. 360 ° is formed.
  • the 360 ° object region 22 can also refer to the fact that only one lateral surface of a circumferential cylindrical object region is detected, while, for example, cover surfaces of a cylinder are not detected.
  • FIG. 3a shows a schematic side sectional view of an image capture device 30 according to an exemplary embodiment.
  • the imaging optics 14a and 4b are formed, for example, as fish-eye lenses with an image aperture angle of 220.degree ..
  • Three lenses 34a, 34b and 34c are arranged between the imaging optics 14a and the prism-shaped beam deflection device 24.
  • the lenses 34a to 34c can be formed, for example, as converging lenses Although an array of three converging lenses 34a, 34b, and 34c is shown, a different number of converging lenses may alternatively be arranged, such as one, two, or more than three Alternatively, an arrangement of lenses 34a, 34b, and / or 34c also be dispensed with.For a small space requirement, the lens 34a may be directly mechanically connected, ie coupled, directly to the imaging optics 14a. The further lenses 34b and 34c can also be connected directly to the adjacent lenses and / or optics, so that a lens stack is formed.
  • Lenses 34a, 34b, and 34c allow the optical path of imaging optics 14a to be focused and at least partially collimated such that an area needed on beam deflector 24 to redirect beam access may be small.
  • lenses 34d, 34e and / or 34f can be arranged between the imaging optics 14b and the beam deflection device 24.
  • the photosensor areas 28a and 28b may be separate from one another on the image sensor, ie they may be arranged so that they do not overlap. This enables complete separation of the partial images imaged by the imaging optics 14a and 14b in the respective image sensor regions 28a and 28b.
  • the imaging optics 14a and 14b may have opposite viewing directions, for example along the positive and negative x-directions.
  • the viewing directions of the imaging optics have a different viewing angle of 180 °, however, the 180 ° viewing angle in combination with symmetrical or equal formation of the imaging optics 14a and 14b allows symmetrical overlapping of the partial object areas in the 360 ° object area ,
  • a sensor surface of the image sensor may be arranged perpendicular to the main viewing directions of the imaging optics 14a and / or 14b.
  • the beam deflection device 24 can be designed to deflect the collimated or uncollimated beam paths of the imaging optics 14a and 14b or at least their main direction of view by 90 °, so that the deflected beam paths substantially perpendicular hit the image sensor 26.
  • Opposite viewing directions means that preferably a symmetrical arrangement of the imaging optics can take place.
  • the beam deflection device 24 may be arranged in spatial proximity to the image sensor 26 and the imaging optics 14a and 14b.
  • the beam deflection device with a small to minimal distance h to the image sensor 26 and to connect to it. In this case, this can take place in such a way that the beam deflection device 24 is arranged without contact, ie, h> 0, with respect to the image sensor 26 and / or the illumination optics 14a and 4b.
  • a small distance h between the beam deflector 24 and the image sensor 26 remain. This makes it possible to avoid voltage variables, for example due to different mechanical expansions, and at the same time to obtain a low computation effort, since the radiation can be thrown directly onto the image sensor.
  • the short distance h can make it possible to utilize the spatially limited focal length of the imaging optics 14a and / or 14b while maintaining a high image quality.
  • the distance h can be understood as meaning that, with the exception of an optional spacer or attachment means such as adhesive, no further functional element, in particular no movable components, is arranged between the beam deflection device 24 and the image sensor 26.
  • the distance h in this context may have a value in a range of at least 0.01 mm and at most 1 mm, preferably at least 0.05 mm and at most 0.5 mm or at least 0.06 mm and at most 0.2 mm , approximately in a range of about 0, 1 mm ⁇ 20%.
  • the distance h can be understood to be at least 0.01 mm and at most 25% of the cut width, at most 10% or at most 2% of the cut width, about 1.4% of the cut width. If, for example, the imaging optics 14a and / or 14b comprise or consist of a 12 mm objective, this can have a cutting width of approximately 4 mm to 7 mm.
  • Equal or comparable values may be implemented for spacing and / or mounting the imaging optics 14a and / or 14b relative to the beam redirector 24.
  • the book detecting device may be formed so that the beam deflecting device is arranged without contact with the image sensor and so that the distance h between the image sensor 26 and the beam deflector 24 is at least 0.01 mm and at most 25%, 10% or at most 2% of the intercept of the first and second imaging optics 14a, 14b, which corresponds to a relative view.
  • the beam deflection device 24 can be arranged without contact with the image sensor and the distance h between the image sensor 26 and the beam deflection device 24 can be at least 0.01 mm and at most 1 mm, at most 0.2 mm or at most 0.1 mm.
  • the image capture device may be formed at relative values such that the beam deflection device 24 is non-contact with the first and second Imaging optics 14a and 14b is arranged and the distance between the first imaging optics 14a and the beam deflector 24 and the distance between the second imaging optics 14b and the beam deflector 24 at least 0.01 mm and at most 25 %%, 10% or at most 2% of a focal length of first and second imaging optics 14a and 14b.
  • the image capture device may be formed such that the beam redirector 24 is disposed without contact with the first and second imaging optics 14a and 14b and the distance between the first imaging optic 14a and the beam deflector 24 and a distance between the second imaging optic 14b and the beam deflector 24 at least 0.01 mm and at most 1 mm, at most 0.2 mm or at most 0.1 mm.
  • a sensor-optics unit can be obtained, which in the context of a proper, d. h., for a regular and non-destructive use, is invariably assembled with respect to the above-mentioned distances.
  • the imaging optics 14a and 14b, the beam deflection device 24 and the image sensor 26 can form a mechanically and / or optically unchangeable sensor-optical unit.
  • the fields of view of the respective imaging optics 14a and 14b can overlap by the viewing angle of more than 180 ° in an overlap region 36, so that the 360 ° object region in the overlap region 36 can be detected twice. If the imaging optics 14a and 14b are rotationally symmetrical, the overlap region can be designed annularly.
  • the overlap region 36 can also be used as a cylinder jacket surface with varying wall thickness, i. H. from the center along the positive and negative x direction of decreasing wall thickness.
  • FIG. 4 shows a schematic plan view of the image sensor 26 comprising the image sensor regions 28a and 28b, which are arranged separately, ie not overlapping, on the image sensor 26.
  • the image sensor areas 28a and 28b are shown spaced apart from one another, they may also be arranged directly adjacent to one another, ie the spacing is ZERO or approximately ZERO. As described in connection with FIGS. 1 and 2, the partial regions 28a and 28b may also overlap one another.
  • FIG. 5 shows a schematic plan view of an image capture device 50 according to an embodiment comprising four imaging optics 14a to 14d for detecting the 360 ° object region.
  • the viewing directions, ie the main beam directions of the imaging optics 14a to 14d, are arranged offset by 90 ° in a plane, for instance the x- / y-plane.
  • the image opening angles of the imaging optics 14a to 14d may be at least 90 °, for example at least 95 ° or at least 100 °.
  • the beam deflection device 24 may be formed as a pyramidal prism-like structure having a lateral surface with four reflection surfaces. Each side surface can be designed to deflect the beam path of an imaging optics 14a, 14b, 14c or 4d. Although only four imaging optics 14a-14d are illustrated, the image capture device 50 may also include additional imaging optics, such as fifth imaging optics, along a positive z-direction and a sixth imaging optic looking along a negative z-direction.
  • the image opening angle may also be asymmetrical and, for example, have the opening angle of at least 90 ° in the x- / y-plane and a larger opening angle! in the x / z plane, so that the 360 ° object area is detected in full three dimensions.
  • 6 shows a schematic plan view of an image capture device 60 according to one exemplary embodiment.
  • the image capture device 60 may comprise, for example, the image capture device 10 and additionally comprise a processing device 42.
  • the processing device 42 may be configured to receive the sensor signal 32 from the image sensor.
  • the sensor signal 32 may have image information relating to the 360 ° object region, ie, represent a representation of the subregions on the image sensor 26.
  • the processing device 42 may be configured to generate an image signal 44 based on the sensor signal 32 of the image sensor.
  • the image signal 44 may represent an image of the 360 ° object area.
  • This can be, for example, the coding of the image signal according to the requirements of an image standard, such as high resolution (HD), ultra high resolution (UHD) or the like.
  • the processing means 42 may be arranged to output the image signal 44 according to the requirements of a video standard, such as according to a standard of the Moving Picture Experts Group MPEG.
  • the processing device may be configured to perform image preprocessing, such as image smoothing, as illustrated in connection with FIG. This can also be understood that the image signal 44 allows a direct projection of the 360 ° object area on a display device, such as a projector or a projector.
  • image capture device 40 is described as having the processing device 42 coupled to the image capture device 10
  • another image capture device such as the image capture device 30 or 50, may also be part of the image capture device 60.
  • the processing device can output the image signal 44 without further alignment of the partial images in the respective partial area.
  • the processing device can be embodied to process the image signal 44 from an image signal which is imaged onto a first subregion of the image sensor.
  • the first partial image and a second partial image imaged on the second partial region of the image sensor can be generated without aligning the partial images with one another. That is, the processing device may be configured to provide the image signal 44 without the use of stitching, while the image signal 44 may simultaneously allow the 360 ° object region to be reproduced without the need for stitching.
  • the image signal 44 may include, for example, meta-information that provides information about the type, type or configuration of image capture device that captured the transmitted image to allow association with projection devices during playback of the image signal 44.
  • the meta information can be assigned to the image signal 44 by the processing device 42 and / or integrated therewith.
  • the processing means may be configured to generate the image signal 44 without multiplexing.
  • Multiplexing can be understood as meaning a process in which the first partial image imaged on the first partial region of the image sensor and the second partial image imaged on the second partial region of the image sensor are scanned sequentially one after the other and transmitted in a common signal or sequentially transmitted one after the other. That is, the processing device 24 may be configured to provide the image signal without synchronization.
  • FIG. 7 shows a schematic perspective view of an image acquisition system 70, which has a first image capture device 10a and a second image capture device 10b, each of which is formed as described in connection with the image capture device 10.
  • the image capture devices 0a and 10b are spatially adjacent, ie they have, for example. A small distance of less than 10 cm, less than 8 cm or less than 5 cm to each other. With respect to the 360 ° object area, the image capture devices 10a and 10b can shadow each other, ie instead of the object area, the respective other image capture device is detected or imaged.
  • a disparity between two individual images is advantageous, so that by the spacing of the image detection devices and the essentially stereoscopic detection of the 360 ° object region by the image acquisition system 70 a provision of three-dimensional na! en picture or video information is possible.
  • That the 360 ° object area is essentially detectable by the stereoscope can be understood as meaning that complete stereoscopic scanning at a single point in time or during a single image acquisition by the mutual shading of the physical detection devices is only possible or not possible. Ie. Essentially stereoscope here means stereoscope, neglecting the mutual shading.
  • the term real time should be understood to require only a slight, non-disruptive delay or latency between capturing the 360 ° object area and displaying it. Such latency may be affected by the detection of the object area, the provision and transmission of the image signal, and the representation of the image.
  • a delay between detection and presentation may be less than 0.5 seconds, less than 0.3 seconds, or less than 0.2 seconds.
  • Game applications may have stricter requirements, such as less than 0.1 second, less than 0.05 second, or even less.
  • data transfers to, for example, the server and a return to a terminal may also result in delays in the range of 5-10 seconds, these are not delays due to image acquisition and projection. These delays can, for example, be at least partially avoided by peer-to-peer connections (subscriber to subscriber connections).
  • the image capture system 70 may include processing means, such as the processing means 42.
  • the processing means may receive the image sensor signals from the image sensors of both image capture devices 10a and 10b.
  • the processing device 42 may be designed, for example, based on the respectively simply detected region of the 360 ° object region, ie the region which is not visible to the other image capture device 10a or 10b, by means of image processing to calculate a three-dimensional image. This is possible without high computing power and known for example from television sets that can calculate a three-dimensional image from a two-dimensional image.
  • Image capture devices and / or imaging systems in accordance with embodiments described herein allow the partial images to be displayed simultaneously on the image sensor so that a synchronous data stream based on the sensor signal 32 can be obtained.
  • a variable or constant bandwidth or bit rate of the video stream may be affected by a resolution or sampling rate of the image sensor, which may vary independently of each other.
  • the image capture system 70 comprising a left eye and a right eye may be described.
  • the terms "top,””bottom,””left,””right,””front,” and “back” are for convenience only and are not intended to be limiting. It is understood that by a varying orientation of the device in space, the preceding terms are mutually interchangeable, without limiting the teaching of embodiments described herein.
  • FIG. 8 shows a schematic side sectional view of an image projection apparatus 80 according to an exemplary embodiment.
  • the image projection device 80 comprises an image generator 46, which is designed to display a first partial image in an image region 48a and a second partial image in an image region 48b.
  • the image generator 46 may be, for example, a display or a backlit pixel array configured to display an image signal 52.
  • the image signal 52 may be, for example, the sensor signal 32 or the image signal 44.
  • the image generator is thus configured to output an image that can be projected onto a projection surface by means of imaging optics.
  • the other components of the image projection device 80 may be similar or even identical to the components of image capture devices according to embodiments described herein, such as the image capture device 30.
  • the partial images shown in the image regions 48a and 48b may be based on the ray tube 24 from the same Imaging optics 14a and 14b are deflected and projected by the imaging optics 14a and 14b on a 360 ° projection region 54.
  • the 360 ° projection region 54 may include a first partial projection region 56a on which the image displayed in the image region 48a is projected.
  • the image displayed in the image area 48b can be projected onto a partial projection area 56b of the 360 ° projection area 54.
  • the 360 ° projection region 54 may be, for example, a screen, a wall surface or a plane or a curved projection screen.
  • the 360 ° projection area like the 360 ° object area, can be 360 ° in one plane or 360 ° in space.
  • An image captured with an image capture device according to embodiments described herein may include information about a 360 ° representation of the object region and displayed using the image projection device 80 to render the 360 ° representation.
  • the imaging optics of the image projection device 80 should be formed differently than those of the image capture device, for example based on an adaptation to a projection space or the 360 ° projection region 54, then a fixed assignment of the image regions 48a and 48b to the beam deflection device ng 24 and the imaging optics 14a and 14b, a reproduction of the image signal 52 without stitching or multiplexing possible.
  • the optical device comprises a first imaging optics 14a for influencing a first optical beam path and a second imaging optics 14b for influencing a second optical beam path.
  • the influence can be reciprocal or complementary to the influencing in the image acquisition device 10.
  • the beam deflection device 24 may be arranged between the optical device and the image generator 46 and is configured to direct the first optical beam path from a first image region 48a of the image generator 46 to a first partial projection region 56a of the 360 ° projection region 54 and to the second optical beam path from a second image area 48b of the image generator 46 to a second partial projection area 56b of the 360 ° projection area 54 to direct.
  • the two partial projection areas 56a and 56b at most partially overlap with each other, as well as the two image areas 48a and 48b.
  • Processing means of the image projection apparatus may be configured to smoothly blend the overlap region 38a or 38b with a soft-edged mask to form the two hemispheres, i. H. Partial pictures, to assemble.
  • the imaging optics 14a Due to the comparable configuration of the optical device compared to the image capture device, the imaging optics 14a can thus be designed to project a first partial image onto the first partial projection region of the 360 ° projection region and to project a second partial image onto the second partial projection region of the 360 'projection region , It is likewise conceivable that the image projection device comprises further imaging optics, as described in connection with the image capture device 50.
  • Each partial image displayed on the image generator which is to be displayed on the 360 ° projection region, may be associated with imaging optics. Thus, it is also conceivable that only some of the partial images are displayed.
  • the optical device only comprises two imaging optics in the absence of a third imaging optical system for projecting a third partial projection region of the 360 ° projection region, which means that the partial projection regions 56a and 56b form the 360 ° projection region 54.
  • the imaging optics 14a and / or 14b may be formed as fish-eye lenses with a viewing angle of at least 180 °.
  • the imaging optics may be associated with a converging lens or with a plurality of seed lenses, which means that the optical device of the image projection device may comprise at least one converging lens which is coupled to the first or second illumination optics on a side of the imaging optics facing the image generator.
  • the beam deflection device of the image projection device and at least one of the imaging optics of the optical device may form a common objective and / or an arrangement of the beam deflection device may be interchangeable with the imaging optics. It is also possible to arrange the beam deflecting device between the optical device and the image sensor.
  • the beam deflection device 22 may also be formed for the image projection device such that the beam deflection device comprises a prism, a deflection mirror or one or more optical waveguides, preferably one optical waveguide per pixel represented.
  • the imaging optics can be aligned with each other so that they have an opposite viewing direction, wherein the beam deflection is formed so that the beam path between the image generator and the imaging optics 14a and the beam path between the image generator and the imaging optics 14b is deflected by 90 °.
  • Projection devices are also conceivable in which, in analogy to the image acquisition system 70, two image projection devices are coupled together in order to project a stereoscopic image onto the 360 ° projection region, in order to enable a 3D perception.
  • Embodiments may be primarily designed for home use. There is often projected onto walls and / or furniture, beamed. For this, it may be sufficient to provide an image as exact as possible only for the so-called "region of interest", ie, for example, the stage at a concert or a theatrical performance.The rest of the projection can only create an ambience to to put the spectator in a concert or in a theater.
  • the projector may be the same as the camera except that the image generator is arranged instead of the image sensor. This means that the image generator, beamer, as well as the sensor can have an aspect ratio of 1: 2 or 16: 9.
  • the image transmission system 90 comprises the image capture device 10 and the image projection device 80. Alternatively or additionally, the image transmission system 90 may also comprise another image capture device 30, 50 or 60 or a capture system 70.
  • the image capture device 10 is configured to provide a transmit signal 58.
  • the image projection device 80 is configured to receive the transmission signal 58.
  • the transmission signal! 58 may be the sensor signal 32 and the image signal 44 and / or a signal derived therefrom, which comprises the image information of the image sensor 26 at least in a reconstructable manner. This means that the transmission signal 58 may be the image signal 52.
  • the transmission signal 58 may be transmitted over a wired or wireless communication line, such as a telephone connection, an Internet connection, a cellular connection, or the like.
  • the transmission signal 58 can be stored on an electronic data memory, i. H. There is no direct transmission, but a deposit of the signal on a data memory.
  • Image projection devices described herein may also be manufactured in a compact design as previously described for image capture devices and imaging systems.
  • the method includes a step 1010 in which an image sensor is provided.
  • a step 1020 a first optical beam path is influenced by a first imaging optical system and a second optical beam path is influenced by a second imaging optical system in order to detect a 360 ° object region.
  • the first optical beam path is directed onto a first image sensor region of the image sensor with a beam deflection device between the optical device and the image sensor.
  • the second optical beam path is deflected by the beam deflection device onto a second image sensor region of the image sensor which at most partially overlaps the first image sensor region.
  • FIG. 11 shows a schematic flowchart of a method 1100 for projecting an image.
  • an image is displayed with an image generator from a received image signal.
  • a first optical beam path is influenced by a first imaging optical system of a beam deflection device of an optical device and a second optical beam path is influenced by a second optical system deflection device to project the image onto a 360 ° projection region.
  • the first optical beam path is directed from a first image area of the image generator to a first partial projection area of the 360 ° projection area with a beam deflection device between the optical device and the image generator, and a second optical area of a second image area of the second optical path Image generator on a second partial projection area of the 360 ° projection area, wherein the first image area and the second image area at most partially overlap with each other.
  • FIG. 12 shows a schematic side sectional view of an objective 120, which comprises imaging optics, such as the imaging optics 14a.
  • the objective 120 has a housing 62, which is arranged on the imaging optics 14a.
  • the imaging optics 14a may also be disposed within the housing 62.
  • the housing 62 could also be spaced from the imaging optics 14a, if a thereby obtained entry of stray light in the beam path of the imaging optics 14a is negligible.
  • One or more lenses 64a, 64b, and / or 64c may be disposed in the housing 62 and configured to affect the imaging of the portion of the 360 ° object area.
  • the lenses 64a, 64b, and / or 64c may be configured to shift a focus point of the imaging optics 14a backward with respect to the imaging optics 14a, i. H. extend the back focal length.
  • the mirror deflecting device 24 may be disposed in the housing 62 or outside thereof. This means that the imaging optics 14a and / or 14b and the beam deflection device 24 can form a common objective.
  • an image capture device or image projection device may include two or more lenses 120 to capture the 360 ° object region or to project the 360 ° projected region.
  • an optional filter 66 may be arranged, which is arranged in a course of the beam path with a viewing direction or a main beam direction 68.
  • the filter 68 may be designed to filter some, possibly unwanted wavelength ranges of a detected or generated light, such as an ultraviolet and / or infrared range.
  • Embodiments described herein allow a compact size for mobile applications by avoiding expensive electronics that would be responsible for the stitching of the images and required. Furthermore, a reduction of the number of required sensors is made possible, in the minimum case up to an image sensor. Furthermore, the transmission of all captured (partial) images in a video stream allows to realize an autonomous camera with built-in web server, which can stream directly into the Internet without additional computer or arithmetic unit.
  • Known approaches try to solve the problem by means of electronics. However, it is not possible for the electronics to fulfill the task of image convergence, the so-called "stitching", in a similarly compact and qualitative manner. in other words, embodiments described herein make it possible to provide electronic image processing, multiplexing and stitching by an optical solution.
  • aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.

Abstract

Eine Bilderfassungsvorrichtung umfasst einen Bildsensor und eine zur Erfassung eines 360°-Objektbereichs eingerichtete optische Einrichtung umfassend eine erste Abbildungsoptik zur Beeinflussung eines ersten optischen Strahlengangs und eine zweite Abbildungsoptik zur Beeinflussung eines zweiten optischen Strahlengangs. Die Bilderfassungsvorrichtung umfasst eine Strahlumlenkeinrichtung, die ausgebildet ist, um den ersten optischen Strahlengang auf einen ersten Bildsensorbereich des Bildsensors und den zweiten optischen Strahlengang auf einen zweiten Bildsensorbereich des Bildsensors, der höchstens mit dem ersten Bildsensorbereich überlappt, zu lenken.

Description

Bilderfassungsvorrichtung, Bilderfassungssystem, Bildprojektionsvorrichtung, Bildübertragungssystem, Verfahren zum Erfassen eines 360°-Objektbereichs und
Verfahren zum Projizieren eines Bildes
Beschreibung
Die vorliegende Erfindung bezieht sich auf eine Bilderfassungsvorrichtung zum Erfassen eines 360°-Objektbereichs, auf eine Bilderfassungssystem, auf eine Bildprojektionsvorrichtung zur Projektion auf einen 360°-Projektionsbereich, auf ein Bildübertragungssys- tem, auf ein Verfahren zum Erfassen eines 360°-Objektbereichs und auf ein Verfahren zum Projizieren eines Bildes auf einen 360°-Projektionsbereich.
Im Bereich von 360°-Aufnahmen, beispielsweise für eine Aufnahme von Szenen, für Vir- tual-Reality-Anwendungen, etwa für Videos und Bilder und dergleichen existieren soge- nannte 360°-Kameras, die eine Vielzahl von Einzelkameras aufweisen, beispielsweise vier, sechs oder acht Kameras. Jeweils eine Einzelkamera erfasst einen Teilbereich eines 360°-Objektbereich. Die von den Einzelkameras erhaltenen Bilder werden mittels eines Stitching-Verfahrens zu einem Gesamtbild zusammengefügt, das die 360°-Szene wiedergibt. Unter Stitching wird ein Verfahren verstanden, bei dem Einzelbilder relativ zueinan- der ausgerichtet werden. Hierfür erfolgt eine Umrechnung der Ausgangsbilder in ein gemeinsames kartesisches Koordinatensystem. Anschließend werden die Teilbilder zusammengesetzt. Für das Stitching wird bisher ein PC verwendet, der insbesondere für Videoanwendungen über Stunden die Bilder in ein 360°-Panorama vereint. Für Anwendungen, die zeitkritisch sind, oder als Echtzeit-nah betrachtet werden sollen, wird ein gan- zes Array von Rechnern verwendet, dessen Ausmessung sogar LKWs füllen kann.
Hieraus ergeben sich mehrere Nachteile. So sind diese Lösungen beispielsweise teuer, weisen einen großen Bauraumbedarf und einen hohen elektrischen Leistungsbedarf auf und sind trotzdem nicht echtzeitfähig. Hieraus ergeben sich weitere Nachteile, etwa die Entstehung eines hohen Ausmaßes an Verlustwärme sowie der Bedarf, diese abzuführen.
Für 360°-Bildprojektoren, die auch als Beamer bezeichnet werden, ergibt sich ein ähnliches Problem, da aus einem zusammengefügten 360°-Bild eine Ansteuerung mehrerer Teilprojektoren, die jeweils ein Teilbild darstellen, erfolgt. Das bedeutet, dass aus dem Gesamtbild die Teilbilder berechnet werden müssen. Wünschenswert wäre demnach ein Konzept, das es ermöglicht, mit geringem Berechnungsaufwand einen 360°-Objektbereich für die Erstellung eines 360°-Bildes zu erfassen und/oder aus einem 360°-Bild mit geringem Berechnungsaufwand die Projektion eines Bildes auf einen 360°-Projektionsbereich zu ermöglichen.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst.
Der Kerngedanke der vorliegenden Erfindung besteht darin, erkannt zu haben, dass obige Aufgabe dadurch gelöst werden kann, dass eine Anzahl von Teilbildern, die jeweils einen Teilbereich des 360°-Objektbereichs wiedergeben, auf einen Bildsensor projiziert werden und sich dabei nicht vollständig überlappen. Dies kann dadurch erreicht werden, dass eine Strahlumlenkeinrichtung angeordnet wird, so dass die Teilbilder auf den Bildsensor gelenkt werden. Das so erhaltene Bildsensorsigna! weist alle Informationen zur Darstellungen des 360°-Objektbereichs auf. Die Strahlumlenkeinrichtung ist nutzbar, um Teilbil- der auf den Bildsensor zu projizieren, so dass auf dem Bildsensor bereits ein für eine 360°-Wiedergabe nutzbares Bild erzeugt wird. Dies ermöglicht die Substitution von Stit- ching, was eine damit einhergehende Bildzusammenfügung unnötig macht. Hierdurch kann, verglichen mit Stitching-Verfahren, Rechenzeit eingespart werden, was die Echtzeitfähigkeit von 360°-Bildaufnahmen und/oder 360°-Videoaufnahmen ermöglicht. Ferner wird auch die für das Stitching benötigte elektrische Leistung nicht benötigt, was einen geringen Energiebedarf und/oder eine geringe Verlustwärme ermöglicht. Die Projektion der Teilbilder auf einen gemeinsamen Bildsensor ermöglicht die Reduktion der Anzahl der Bildsensoren, was ebenfalls zu einem geringen Energiebedarf führt. Ein derartiges optisches System ist auch als Projektor einsetzbar, bei dem die gewonnenen Teilbilder direkt durch verschiedene Abbildungsoptiken auf verschiedene Teilbereiche eines 360°-Projektionsbereichs gelenkt werden.
Gemäß einem Ausführungsbeispiel umfasst eine Bilderfassungsvorrichtung einen Bildsensor und eine zur Erfassung eines 360°-Objektbereichs eingerichtete optische Einrichtung. Die optische Einrichtung umfasst eine erste Abbildungsoptik zur Beeinflussung eines ersten optischen Strahlengangs und eine zweite Abbildungsoptik zur Beeinflussung eines zweiten optischen Strahlengangs. Die Bilderfassungsvorrichtung umfasst ferner eine Strahlumlenkeinrichtung, die ausgebildet ist, um den ersten optischen Strahlengang auf einen ersten Bildsensorbereich des Bildsensors und den zweiten optischen Strahlengang auf einen zweiten Bildsensorbereich des Bildsensors, der höchstens teilweise mit dem ersten Bildsensorbereich überlappt, zu lenken. Vorteilhaft daran ist, dass in den verschiedenen Bildsensorbereichen auf dem Bildsensor verschiedene Teilbilder erzeugbar sind, die jeweils einen Teil des 360°-Objektbereichs darstellen. Deren Zuordnung zueinander auf dem Bildsensor ermöglicht eine Wiedergabe der Teilbilder in einem 360°-Bi!d ohne das Erfordernis eines Stitchings.
Gemäß einer vorteilhaften Weiterbildung ist die optische Einrichtung in Abwesenheit einer dritten Abbildungsoptik zur Erfassung eines dritten Teilbereichs des 360°-Objektbereichs gebildet. Der erste Teilbereich und der zweite Teilbereich bilden den 360°-Objektbereich. Das bedeutet, dass die Bilderfassungsvorrichtung den 360°-Objektbereich lediglich mit der ersten Abbildungsoptik und der zweiten Abbildungsoptik abbildet. Vorteilhaft daran ist, dass eine geringe Anzahl von Teilbildern und eine geringe mechanische Komplexität der Bilderfassungsvorrichtung erhalten werden. Gemäß einer weiteren vorteilhaften Weiterbildung ist die erste und/oder zweite Abbildungsoptik, bevorzugt die erste und zweite Abbildungsoptik als Fischaugenlinse mit einem Bildwinkel von zumindest 180° gebildet. Vorteilhaft daran ist, dass eine geringe Anzahl von Abbildungsoptiken ausreichend ist, um einen hinreichend großen, gegebenenfalls kompletten Bereich des 360J-Objektbereichs abzubilden.
Gemäß einer weiteren vorteilhaften Weiterbildung umfasst die optische Einrichtung eine Sammellinse, die mit der als Fischaugenlinse gebildeten Abbildungsoptik auf einer dem Bildsensor zugewandten Seite der Abbildungsoptik gekoppelt ist. Vorteilhaft daran ist, dass auch bei einer kurzen Schnittweite der Abbildungsoptik (Back Focal Length) der 360°-Objektbereich scharf gestellt werden kann.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst die Bilderfassungsvorrichtung eine Verarbeitungseinrichtung, die ausgebildet ist, um basierend auf einem Sensorsignal des Büdsensors ein Bildsignal zu erzeugen, das eine Abbildung des 360°- Objektbereichs wiedergibt. Das Bildsignal kann beispielsweise übertragen und/oder gespeichert werden. Die Verarbeitungseinrichtung kann das Bildsignal in Abwesenheit eines Stitchings erzeugen, was vorteilhaft ist.
Gemäß einem weiteren Ausführungsbeispiel umfasst ein Bilderfassungssystem eine erste Bilderfassungsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen und eine zweite Bilderfassungsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen. Die erste Bilderfassungsvorrichtung und die zweite Bilderfassungsvorrichtung sind so angeordnet, dass der 360°-Objektbereich im Wesentlichen Stereoskop von dem Bilderfassungssystem erfassbar ist. Vorteilhaft daran ist, dass durch die Stereoskopie dreidimensional betrachtbare oder wahrnehmbare Bilder oder Teilbilder erfassbar sind, die unter Bei- behaltung der vorangehend erläuterten Vorteile eine effiziente und rasche, gegebenenfalls echtzeitfähige, Erfassung und/oder Übertragung ermöglichen.
Gemäß einem weiteren Ausführungsbeispiel umfasst eine Bildprojektionsvorrichtung einen Bildgenerator, der ausgebildet ist, um aus einem empfangenen Bildsignal ein Bild bereitzustellen. Die Bildprojektionsvorrichtung umfasst eine zur Projektion des Bildes auf einen 360°-Projektionsbereich eingerichtete optische Einrichtung umfassend eine erste Abbildungsoptik zur Beeinflussung eines ersten optischen Strahlengangs und eine zweite Abbildungsoptik zur Beeinflussung eines zweiten optischen Strahlengangs. Die Bildpro- jektionsvorrichtung umfasst ferner eine Strahlumlenkeinrichtung, die ausgebildet ist, um den ersten optischen Strahlengang von einem ersten Bildbereich des Bildgenerators auf einen ersten Teilprojektionsbereich des 360°-Projektionsbereichs und den zweiten optischen Strahlengang von einem zweiten Bildbereich des Bildgenerators auf einen zweiten Teilprojektionsbereich des 360°-Projektionsbereichs, der höchstens teilweise mit dem ersten Teilprojektionsbereich überlappt, zu lenken. Vorteilhaft daran ist, dass in den un- terschiedlichen Bildbereichen des Bildgenerators dargestellte Teilbilder mittels der Strahlumlenkeinrichtung und der optischen Einrichtung mit geringem, gegebenenfalls keinem zusätzlichen Rechenaufwand auf eine Wiedergabefläche projizierbar sind und dort ein 360°-Bild erhalten werden kann. Gemäß einem weiteren Ausführungsbeispiel umfasst ein Bildübertragungssystem eine Bilderfassungsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen und eine Bildprojektionsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen. Vorteilhaft daran ist, dass die optische Einrichtung bei der Bilderfassungsvorrichtung und der Bildprojektionsvorrichtung ähnlich oder gar identisch gebildet sein kann und lediglich ein Aus- tausch des Bildsensors durch den Bildgenerator oder anders herum stattfindet, das bedeutet, es wird eine hohe Bauteilkompatibilität erhalten.
Gemäß einem weiteren Ausführungsbeispiel umfasst ein Verfahren zum Erfassen eines 360°-Objektbereichs folgende Schritte: Bereitstellen eines Bildsensors; Beeinflussen ei- nes ersten optischen Strahlengangs mit einer ersten Abbildungsoptik und Beeinflussen eines zweiten optischen Strahlengangs mit einer zweiten Abbildungsoptik, um einen 360°- Objektbereich zu erfassen. Das Verfahren umfasst ferner ein Lenken des ersten optischen Strahlengangs auf einen ersten Biidsensorbereich des Bildsensors mit einer Strahlumlenkeinrichtung und ein Lenken des zweiten optischen Strahlengangs mit der Strahlumlenkeinrichtung auf einen zweiten Biidsensorbereich des Bildsensors, der höchs- tens teilweise mit dem ersten Biidsensorbereich überlappt.
Gemäß einem weiteren Ausführungsbeispiel umfasst ein Verfahren zum Projizieren eines Bildes folgende Schritte: Darstellen eines Bildes mit einem Bildgenerator aus einem empfangenen Bildsignal; Beeinflussen eines ersten optischen Strahlengangs mit einer ersten Abbildungsoptik einer Strahlumlenkeinrichtung einer optischen Einrichtung und Beeinflussen eines zweiten optischen Strahlengangs mit einer zweiten Abbildungsoptik der optischen Einrichtung, um das Bild auf einem 360°-Projektionsbereich zu projizieren; und Lenken des ersten optischen Strahlengangs von einem ersten Bildbereich des Bildgenerators auf einen ersten Teilprojektionsbereich des 360°-Projektionsbereichs mit einer Strahlumlenkeinrichtung, und Lenken des zweiten optischen Strahlengangs von einem zweiten Bildbereich des Bildgenerators auf einen zweiten Teilprojektionsbereich des 360°- Projektionsbereichs, der höchstens teilweise mit dem ersten Teilprojektionsbereich überlappt. Weitere vorteilhafte Ausführungsformen sind der Gegenstand der abhängigen Patentansprüche.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen erläutert. Es zeigen:
Fig. 1 ein schematisches Blockschaltbild einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel;
Fig. 2 eine schematische Darstellung der Bilderfassungsvorrichtung in einer x-/z-Ebene, die gegenüber der Darstellung in der Fig. 1 um 90° um die x-Achse gedreht ist;
Fig. 3a eine schematische Seitenschnittansicht einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel; eine schematische perspektivische Ansicht eines Ausführungsbeispiels, bei dem eine Strahlumlenkeinrichtung in räumlicher Nähe zu einem Bildsensor angeordnet ist; Fig. 4 eine schematische Aufsicht auf den Bildsensor umfassend die Bildsensorbereiche, die getrennt zueinander auf dem Bildsensor angeordnet sind;
Fig. 5 eine schematische Aufsicht auf eine Büderfassungsvorrichtung gemäß einem Ausführungsbeispiel umfassend vier Abbiidungsoptiken;
Fig. 6 eine schematische Aufsicht auf eine Büderfassungsvorrichtung gemäß einem Ausführungsbeispiel, die eine Verarbeitungseinrichtung aufweist;
Fig. 7 eine schematische perspektivische Ansicht eines Bilderfassungssystems gemäß einem Ausführungsbeispiel;
Fig. 8 eine schematische Seitenschnittansicht einer Bildprojektionsvorrichtung gemäß einem Ausführungsbeispiel; Fig. 9 eine schematisches Blockschaltbild eines Bildübertragungssystems gemäß einem Ausführungsbeispiel;
Fig. 10 ein schematisches Flussdiagramm eines Verfahrens zum Erfassen eines 360°- Objektbereichs gemäß einem Ausführungsbeispiel;
Fig. 1 1 ein schematisches Flussdiagramm eines Verfahrens zum Projizieren eines Bildes gemäß einem Ausführungsbeispiel; und
Fig. 12 eine schematische Seitenschnittansicht eines Objektivs gemäß einem Ausfüh- rungsbeispiel.
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen Bezugszeichen versehen sind, so dass die in un- terschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.
Nachfolgende Ausführungen beziehen sich auf 360°-Abbildungen, Vorrichtungen und Ver- fahren zum Erzeugen derselben. Dabei werden unter 360°-Abbildungen solche Abbildungen verstanden, die eine vollständige oder zumindest nahezu vollständige Abbildung in drei Raumrichtungen bzw. entlang des Elevationswinkels und des Azimutwinkels ermöglichen und sich diesbezüglich von panoramischen Aufnahmen unterscheiden, die zwar entlang einer Richtung, etwa entlang des Azimutwinkels, eine großflächige oder gar voll- ständige Aufnahme ermöglichen entlang zumindest einer anderen Richtung, etwa entlang des Elevationswinkels unvollständig gebildet sind. Das bedeutet, dass ein 360°- Objektbereich einer Bilderfassungsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen 360° eines Elevationswinkels und 360° eines Azimutwinkels der Bilderfassungsvorrichtung abdecken kann.
Fig. 1 zeigt ein schematisches Blockschaltbild einer Bilderfassungsvorrichtung 10 gemäß einem Ausführungsbeispiel. Die Bilderfassungsvorrichtung 10 umfasst eine optische Einrichtung 12. Die optische Einrichtung 12 umfasst eine Mehrzahl von Abbildungsoptiken 14a und 14b, die jeweils ausgebildet sind, um einen Strahlengang 16a bzw. 16b zu beein- Aussen. Bei den Abbildungsoptiken 14a und/oder 14b kann es sich um Linsen handeln, die ausgebildet sind, um den Strahlengang 16a oder 16b mittels Streuung, Brechung, Bündelung und/oder Beugung zu beeinflussen. Dies kann auch so verstanden werden, dass die Abbiidungsoptik 14a ausgebildet ist, um einen Teilobjektbereich 18a eines 360°- Objektbereichs 22 abzubilden. Die Abbildungsoptik 14b ist ausgebildet, um einen Teilob- jektbereich 18b des 360°-Objektbereichs 22 abzubilden.
Die Bilderfassungsvorrichtung 10 umfasst eine Strahlumlenkeinrichtung 24, die ausgebildet ist, um die Strahlengänge 6a und 16b in Richtung eines Bildsensors 26 umzulenken. Die Strahlumlenkeinrichtung 24 kann ausgebildet sein, um den Strahlengang 16a auf ei- nen ersten Bildsensorbereich 28a und den Strahlengang 16b auf einen zweiten Bildsensorbereich 28b umzulenken. Die Bildsensorbereiche 28a und 28b sind zumindest teilweise voneinander verschieden, das bedeutet, sie überlappen sich höchstens teilweise miteinander und unvollständig. Die Strahlengänge 16a und 16b können als Weg des Lichts von dem jeweiligen Teilobjektbereich 18a oder 18b zu den Bildsensorbereichen 28a bzw. 28b und/oder als Weg des Lichts von dem Bildsensorbereich 28a und 28b hin zu den Teilobjektbereichen 18a und 8b verstanden werden. Die Strahlumlenkeinrichtung 24 kann ein optisches oder optomechanisches Element umfassen oder aus dem optischen oder optomechanischen Element gebildet sein. Die Strahlumlenkeinrichtung kann ein Prisma umfassen. Das Prisma kann so angeordnet sein, dass eine erste Reflexionsfläche des Prismas ausgerichtet ist, um den Strahlengang 16a umzulenken, so dass der Teilobjektbereich 18a auf dem Bildsensorbereich 28a abgebildet wird. Eine zweite Reflexionsfläche des Prismas kann ausgerichtet sein, um den Strahlengang 16b so umzulenken, dass der Teilbereich 18b auf dem Bildsensorbereich 28b abgebildet wird. Alternativ kann die Strahlumlenkeinrichtung 24 auch mehrere Pris- men umfassen, wobei die erste und zweite Reflexionsfläche Teile verschiedener Prismen sind. Eine Nutzung verschiedener Prismenoberflächen eines Prismas ermöglicht eine geringe Anzahl von Komponenten und einen geringen Bauraumbedarf. Alternativ oder zusätzlich hierzu kann die Strahlumlenkeinrichtung 24 einen Umlenkspiegel umfassen, der ausgebildet ist, um den ersten Strahlengang 16a und/oder den zweiten Strahlengang 16b umzulenken. Alternativ kann die Strahlumlenkeinrichtung 24 auch mehrere Strahlumlenkspiegel umfassen, wobei ein erster und zweiter Strahlumlenkspiegel Teile verschiedener Spiegel sind. Eine Nutzung eines gemeinsamen Spiegels, etwa eine zueinander gekippte oder geneigte Anordnung verschiedener Oberflächen, ermöglicht eine geringe Anzahl von Komponenten und einen geringen Bauraumbedarf. Alternativ oder zusätzlich kann die Strahlumlenkeinrichtung 24 eine Mehrzahl von Lichtwellenleitern umfassen, die zwischen einer Abbildungsoptik und dem Bildsensor 26 gekoppelt sind. Jeder Lichtwellenleiter kann beispielsweise Licht von der Abbildungsoptik hin zu zumindest einem Pixel auf dem jeweiligen Bildsensorbereich leiten. Obwohl jeder Lichtwellenleiter das Licht mehrerer Pixel leiten kann, ist es vorteilhaft, lediglich das Licht einer geringen Anzahl von höchs- tens 10, höchstens 5 oder höchstens 3, eines einzigen Pixels je Lichtwellenleiter zu leiten. Je geringer die Anzahl der Pixel gewählt wird, desto geringer ist das Übersprechen zwischen den einzelnen Pixeln. Hieraus wird deutlich, dass jeder Bildsensorbereich 28a und 28b eine Vielzahl von Pixeln aufweist, d. h. zumindest 100, zumindest 1000 oder zumindest 10.000.
Die Strahlumlenkeinrichtung 24 kann zwischen der optischen Einrichtung 12 und dem Bildsensor 26 angeordnet sein. Dies ermöglicht eine ggf. bündelnde Abbildung mittels der Abbildungsoptiken 14a und 14b so dass ein Flächenbedarf der Strahiumlenkeinrichtung 24 zum Umlenken der gebündelten Strahlengänge gering sein kann. Alternativ oder zu- sätzlich kann die Strahiumlenkeinrichtung 24, etwa als Prisma oder als zumindest ein Umlenkspiegel gebildet, zwischen der optischen Einrichtung 12 oder deren Abbildungsopti- ken 14a und 14b und dem Bildsensor 26 angeordnet sein. Alternativ kann eine so ausgeführte Strahlumlenkeinrichtung 24 auch so angeordnet sein, dass die Abbildungsoptiken 14a und 14b zwischen der Strahlumlenkeinrichtung 24 und dem Biidsensor 26 angeordnet sind. So kann etwa von dem 360°-Objektbereich 22 ausgehend zuerst eine Umlenkung mittels eines Umlenkspeigels und/oder einer Prismenoberfläche erfolgen und anschließend eine Beeinflussung des Strahlengangs mit den Abbildungsoptiken 14a bzw. 14b. Alternativ oder zusätzlich kann die Strahlumlenkeinrichtung 24 und zumindest eine der Abbildungsoptiken 14a oder 14b der optischen Einrichtung 12 ein gemeinsames Objektiv bilden, etwa indem eine Seite des Prismas oder ein strahlumlenkender Spiegel eine ab- bildende optische Funktion aufweisen, die der abbildenden Optischen Funktion der Abbildungsoptik 14a und/oder 14b entsprechen oder indem das strahlumlenkende Element 24 und das strahlbeeinflussende Element 14a/14b in einem gemeinsamen Gehäuse angeordnet sind. Das bedeutet, dass eine Anordnung der Abbildungsoptiken 14a und 14b und der Strahlumlenkeinrichtung 24 bzw. von Elementen hiervon vertauschbar und/oder kom- binierbar ist, ohne dass hierin beschriebene Ausführungsbeispiele eingeschränkt werden, da unverändert eine Strahlumlenkung und eine Abbildung erfolgt.
In anderen Worten können bei einer Verwendung eines Prismas die Kameraobjektive mit den Enden so installiert werden, dass sie zueinander zeigen. In der Mitte werden 90°- Prismen so installiert, dass die Strahlen aus der Ebene um 90° nach unten auf den Sensor abgelenkt werden, so dass die Bilder aller Objektive auf den Sensor dargestellt werden. Es ist möglich, die Kameraobjektive mit den Enden so zu installieren, dass sie zueinander zeigen. Das Prisma kann beispielsweise aus einem soliden optischen Glaskörper mit einer Aluminiumbedampfung gebildet sein oder einfach als flacher Spiegel, der auf eine schräge Ebene aufgeklebt wird. Das Glas und/oder die Oberfläche können hierfür den praktischen optischen Anwendungen genügen, also ein optisches Glas sein, das eine vergütete Oberfläche aufweist. Bei einer Verwendung von Spiegeln können diese in der Mitte im 45°-Winkel so installiert werden, dass die Strahlen aus der Ebene um 90° nach unten auf den Sensor abgelenkt werden, so dass die Bilder aller Objektive auf dem Sen- sor dargestellt werden. Bei einer Verwendung von Lichtwellenleitern in der Strahlumlenkeinrichtung können die Kameraobjektive mit den Enden so installiert werden, dass sie zueinander zeigen. Jede Kamera wird mit einem Bündel aus Lichtleitern verbunden, die Anzahl an Lichtleitern kann genau der Anzahl der Pixel des jeweiligen entsprechenden Sensorsignals entsprechen. Auch hier werden die Bilder aller Objektive auf dem Sensor dargestellt. Der Vorteil dieser Lösung besteht darin, dass die Kameras frei positionierbar sind, d. h. sie können einen beliebigen Winkel zueinander aufweisen, auch anders als 180°. Nachteilig hieran ist jedoch, dass eine hohe Anzahl von Lichtleitfasern benötigt wird.
Obwohl die Bilderfassungsvorrichtung 10 so dargestellt ist, dass der 360°-Objektbereich durch den ersten Teilobjektbereich 18a und den zweiten Teilobjektbereich 18b vollständig erfasst wird, können gemäß weiteren Ausführungsbeispielen Bilderfassungsvorrichtungen auch so gebildet sein, dass die optische Einrichtung zumindest eine dritte Abbildungsoptik zur Erfassung eines dritten Teilbereichs des 360°-Objektbereichs umfasst. In diesem Fall ist der dritte Teilobjektbereich von dem ersten Teilbereich 18a und dem zweiten Teilbe- reich 18b verschieden. Durch die Anordnung lediglich zweier Abbildungsoptiken, die gemeinsam den 360°-Objektbereich abbilden, ist jedoch eine geringe Anzahl von Komponenten, ein geringer Energiebedarf und ein geringer Bauraumbedarf, sowie ein geringes Gewicht der Vorrichtung möglich. Obwohl der 360°-Objektbereich 22 so dargestellt ist, dass er umlaufend in einer x-/y- Ebene angeordnet ist, kann der 360°-Objektbereich zusätzlich in einer x-/z-Ebene und/oder einer y-/z-Ebene, die senkrecht hierzu angeordnet ist, angeordnet sein. Das bedeutet, die 360° des 360°-Objektbereichs können sich auf einen kugelartigen oder zumindest kugelähnlichen 360°-Objektbereich beziehen, der dreidimensional gebildet ist.
Ist die Bilderfassungsvorrichtung 10 ausgebildet, um den 360°-Objektbereich durch den ersten Teilobjektbereich 18a und den zweiten Teilobjektbereich 18b in Abwesenheit eines dritten Teilobjektbereichs zu erfassen, ist es vorteilhaft, wenn die Abbildungsoptiken 14a und 14b zusammengenommen einen Bildöffnungswinkel von zumindest 360° aufweisen. Hierfür kann beispielsweise die Abbildungsoptik 14a einen Bildöffnungswinke! a, und die Abbildungsoptik 14b einen Bildöffnungswinkel a2 aufweisen, die jeweils zumindest 180° betragen. Weisen die Abbildungsoptiken 14a und 14b rotationssymmetrische optische Eigenschaften auf, so kann jeweils ein Teilobjektbereich 18a bzw. 18b erfassbar sein, der bezogen auf eine Kugeloberfläche größer ist als eine Hemisphäre, d. h. Halbkugel. Das bedeutet, dass die einander nicht überlappenden Bereiche der Teilobjektbereiche 18a und 18b sowie gegebenenfalls weiterer erfasster Teilobjektbereiche den 360°-Objektbereich vollständig abbilden können.
Zur Erfassung eines Bildöffnungswinkels α von mehr als 180° können hierfür ausgebildete Optiken genutzt werden, etwa sogenannte Fischaugenobjektive (Fisheye-Objektive). Die Optiken können Bildöffnungswinkel von mehr als 180°, mehr als 220°, mehr als 270° oder gar bis zu 310° aufweisen. Der Bildöffnungswinkel von α größer als 180° ermöglicht eine Beabstandung der Abbildungsoptiken 14a und 14b mit einem Abstand d zueinander. Ab einem abstandsbedingten, d. h., vom Abstand d und dem Öffnungswinkel α beeinflussten Abstand r von den Abbildungsoptiken 14a und 14b können die Teilobjektbereiche 18a und 18b wieder miteinander überlappen, so dass der 360°-Objektbereich vollständig erfasst wird. Eine Verzeichnung von Fischaugenlinsen kann auf Wiedergabeseite, d. h. einer Projektionseinrichtung, durch optische Maßnahmen, etwa ebenfalls eine Fischaugenlinse oder durch Software-Maßnahmen reduziert oder kompensiert werden. Hierbei sind jedoch keine größeren Berechnungen erforderlich.
Die Abbildungsoptiken 14a und 14b, die Strahlumlenkeinrichtung 24 und der Bildsensor 26 können ortsfest zueinander angeordnet sein, das bedeutet, die Ausrichtung kann starr zueinander sein. Dies ermöglicht eine feste Zuordnung von Bildpositionen in den Büdsensorbereichen 28a und 28b zu Koordinaten in dem 360°-Objektbereich. Das bedeu- tet, dass in den Bildsensorbereichen 28a und 28b wiedergegebene Bilder stets den, relativ zur Bilderfassungsvorrichtung 10, gleichen Ausschnitt des 360°-Objektbereichs 22 wiedergeben. Ein von dem Bildsensor 26 erhaltbares Sensorsignal 32 kann somit, unabhängig von einer weiteren Verarbeitung, gleichzeitig den gesamten 360°-Objektbereich wiedergeben.
Obwohl die Bildsensorbereiche 28a und 28b auch in Form unterschiedlicher Bildsensoren oder Chips gebildet sein können, sind beide Bildsensorbereiche 28a und 28b gemäß einem vorteilhaften Ausführungsbeispiel Teil eines gemeinsamen Bildsensors, das bedeutet, auf einer gemeinsamen geschlossenen Bildsensor-Fläche angeordnet. Für einen ge- ringen Bauraumbedarf kann es vorteilhaft sein, den Sensor mit einem auf die Anwendung angepassten Seitenverhältnis bereitzustellen, um nicht genutzte Chipfläche zu vermeiden. Hierbei kann es sich beispielsweise um ein Seitenverhältnis von 1 :2 oder beispielsweise üblich genutzten 16:9 handeln, etwa wenn die Abbildungsoptiken konfiguriert sind, um kreisförmige Bilder nebeneinander zu projizieren. Dies ermöglicht eine optimale Ausnut- zung des Bildsensors.
In anderen Worten ist eine Idee der vorliegenden Erfindung ist die optische Umleitung oder Umlenkung des Bildes von zwei oder mehreren Kameraobjekiiven, um diese auf einem elektronischen Bildsensor abzubilden. Dadurch können die Bild- bzw. Videosignale von zwei oder mehreren Objektiven ohne weitere berechnende Signalverarbeitung in einem einzigen Datensignal, d. h. ein Videostream oder eine Bild- bzw. Filmdatei ausgege- ben werden. Durch dieses Konzept kann ohne eine Stitching-bedingte oder Multip!exing- bedingte Berechnungslatenz eine 360°-Darstellung in Standbildern und Bewegbildern generiert werden. Dies wird dadurch erreicht, dass im Objektiv oder nach dem Objektiv eine Strahlumlenkeinrichtung, etwa ein Prisma, befestigt wird, das den Bildstrahl, d. h. den Strahlengang, um 90° oder den benötigten Winkel, je nach Anordnung von Bildsensor zu Objektiv, ablenkt und auf einen Teil des parallel zur Objektivachse montierten Sensors projiziert. Das bedeutet, dass die Strahlumlenkeinrichtung und zumindest eine der Abbildungsoptiken der optischen Einrichtung ein gemeinsames Objektiv bilden können, etwa indem eine Seite des Prismas oder ein strahiumlenkender Spiegel eine abbildende opti- sehe Funktion aufweisen. Weitere Objektive, d. h. Abbildungsoptiken, die im 90°- oder 180°-Winkel zum ersten Objektiv angeordnet sind, können auf gleiche oder ähnliche Weise ihr Bild auf den Bildsensor projizieren. So können beispielsweise zwei, vier, sechs oder acht Bilder oder mehr auf einem Sensor entstehen, der diese dann in einem gesammelten Bild-Signal oder Video-Signal überträgt, was wiederum in Echtzeit in ein Übertragungs- medium, etwa das Internet, gestreamt, d. h. übertragen, werden kann.
Fig. 2 zeigt eine schematische Darstellung der Bilderfassungsvorrichtung 10 in einer x-/z- Ebene, die gegenüber der Darstellung in der Fig. 1 um 90° um die x-Achse gedreht ist. Zur besseren Übersichtlichkeit sind die Strahlengänge 16a und 16b jeweils durch nur ei- nen Pfeil dargestellt. Es wird deutlich, dass der 360°-Objektbereich 22 auch in dieser Darstellung umlaufend, d. h. 360° umfassend gebildet ist.
Gemäß Ausführungsbeispielen kann sich der 360°-Objektbereich 22 aber auch darauf beziehen, dass lediglich eine Mantelfläche eines umlaufenden zylindrischen Objektbe- reichs erfasst wird, während beispielsweise Deckelflächen eines Zylinders nicht erfasst werden.
Fig. 3a zeigt eine schematische Seitenschnittansicht einer Bilderfassungsvorrichtung 30 gemäß einem Ausführungsbeispiel. Die Abbildungsoptiken 14a und 4b sind beispiels- weise als Fischaugenlinsen mit einem Bildöffnungswinkel von 220" gebildet. Zwischen der Abbildungsoptik 14a und der als Prisma gebildeten Strahlumlenkeinrichtung 24 sind drei Linsen 34a, 34b und 34c angeordnet. Die Linsen 34a bis 34c können beispielsweise als Sammellinsen gebildet sein. Obwohl eine Anordnung von drei Sammellinsen 34a, 34b und 34c dargestellt ist, kann alternativ auch eine andere Anzahl von Sammellinsen ange- ordnet sein, etwa eine, zwei oder mehr als drei. Alternativ kann auf eine Anordnung von Linsen 34a, 34b und/oder 34c auch verzichtet werden. Für einen geringen Bauraumbedarf kann die Linse 34a direkt mit der Abbildungsoptik 14a direkt mechanisch verbunden, d. h. gekoppelt, sein. Die weiteren Linsen 34b und 34c können ebenfalls direkt mit den benachbarten Linsen und/oder Optiken verbunden sein, so dass ein Linsenstapel entsteht. Die Linsen 34a, 34b und 34c ermöglichen, dass der Strahlengang der Abbildungsoptik 14a gebündelt und zumindest teilweise kollimiert wird, so dass eine Fläche, die auf der Strahlumlenkeinrichtung 24 zum Umlenken des Strahlgengangs benötigt wird, gering sein kann. In gleicher Weise können zwischen der Abbildungsoptik 14b und der Strahlumlenkeinrichtung 24 Linsen 34d, 34e und/oder 34f angeordnet sein. Die Biidsensorbereiche 28a und 28b können auf dem Bildsensor getrennt voneinander sein, d. h. sie können so angeordnet sein, dass sie sich nicht überlappen. Dies ermöglicht eine vollständige Trennung der durch die Abbildungsoptiken 14a und 14b abgebildeten Teilbilder in den jeweiligen Bildsensorbereichen 28a und 28b. Die Abbildungsoptiken 14a und 14b können einander entgegengesetzte Blickrichtungen aufweisen, beispielsweise entlang der positiven und negativen x-Richtung. Zwar ist es auch vorstellbar, dass die Blickrichtungen der Abbildungsoptiken eine von 180° verschiedenen Blickwinkel aufweisen, jedoch ermöglicht der Blickwinkel von 180° in Kombination mit einer symmetrischen oder gleichen Ausbildung der Abbildungsoptiken 14a und 14b eine symmetrische Überlappung der Teilobjektbereiche in dem 360°-Objektbereich.
Eine Sensoroberfläche des Bildsensors kann senkrecht zu den Hauptblickrichtungen der Abbildungsoptiken 14a und/oder 14b angeordnet sein. Basierend auf der im Wesentlichen entgegengesetzten Blickrichtung der Abbildungsoptiken 14a und 14b kann die Strahlumlenkeinrichtung 24 ausgebildet sein, um die kollimierten oder unkollimierten Strahlengän- ge der Abbildungsoptiken 14a und 14b oder zumindest deren Hauptblickrichtung um 90° umzulenken, so dass die umgelenkten Strahlengänge im Wesentlichen senkrecht auf den Bildsensor 26 treffen. Entgegengesetzte Blickrichtungen bedeutet, dass bevorzugt eine symmetrische Anordnung der Abbildungsoptiken erfolgen kann. Gemäß einer bevorzugten Ausführung, die im Zusammenhang mit der Fig. 3b erläutert ist, kann die Strahlumlenkeinrichtung 24 in räumlicher Nähe zu dem Bildsensor 26 und den Abbildungsoptiken 14a und 14b angeordnet sein. Besonders bevorzugt ist es, die Strahlumlenkeinrichtung mit einem geringen bis minimalen Abstand h zu dem Bildsensor 26 anzuordnen und mit diesem zu verbinden. Dies kann hierbei so erfolgen, dass die Strahlumlenkeinrichtung 24 berührungsfrei, d. h., h > 0, zu dem Bildsensor 26 und oder den Abbüdungsoptiken 14a und 4b angeordnet ist. Hierbei kann ein geringer Abstand h zwischen der Strahlumlenkeinrichtung 24 und dem Bildsensor 26 verbleiben. Dies ermöglicht, dass Spannungsgrößen, etwa durch unterschiedliche mechanische Ausdehnungen, vermieden werden und gleichzeitig ein geringer Rechenaufwand erhalten wird, da die Strahlung direkt auf den Bildsensor 26 geworfen werden kann. Der geringe Abstand h kann es ermöglichen, die räumlich begrenzte Schnittweite (engl.: back focal length) der Abbildungsoptik 14a und/oder 14b unter Beibehaltung einer hohen Bildqualität auszunutzen. Der Abstand h kann so verstanden werden, dass mit Ausnahme eines optionalen Abstandshalters oder Befestigungsmiltel wie Klebstoff kein weiteres Funktionselement, insbesondere keine beweglichen Komponenten, zwischen der Strahlumlenkeinrichtung 24 und dem Bildsensor 26 angeordnet ist.
Der Abstand h kann in diesem Zusammenhang einen Wert in einem Bereich von zumindest 0,01 mm und höchstens 1 mm aufweisen, bevorzugt von zumindest 0,05 mm und höchstens 0,5 mm oder von zumindest 0,06 mm und höchstens 0,2 mm, etwa in einem Bereich von ca. 0, 1 mm ± 20 %. Alternativ oder zusätzlich kann der Abstand h so verstanden werden, dass er zumindest 0,01 mm und höchstens 25 % der Schnittweite, höchstens 10 % oder höchstens 2 % der Schnittweite, etwa 1 ,4 % der Schnittweite beträgt. Umfassen die Abbildungsoptiken 14a und/oder 14b bspw. ein 12 mm-Objektiv oder bestehen daraus, so kann dieses eine Schnittweite von ca. 4 mm bis 7 mm aufweisen. Ein Abstand h mit einem Wert von ca. 0,1 mm kann deshalb 0,1 mm/4 mm = 0,025 = 2,5 % bis 0, 1 mm/7 mm = 0,0143 » 1 ,4 % betragen. Gleiche oder vergleichbare Werte können für einen Abstand und/oder die Befestigung der Abbildungsoptiken 14a und/oder 14b relativ der Strahlumlenkeinrichtung 24 implementiert werden. Basierend auf einer relativen oder absoluten Betrachtungsweise kann die Büderfassungsvorrichtung so gebildet sein, dass die Strahlumlenkeinrichtung berührungsfrei zu dem Bildsensor angeordnet ist und so dass der Abstand h zwischen dem Bildsensor 26 und der Strahlumlenkeinrichtung 24 zumindest 0,01 mm und höchstens 25 %, 10 % oder höchstens 2 % der Schnittweite der ersten und zweiten Abbildungsoptik 14a, 14b aufweist, was einer relativen Betrachtung entspricht. Bei absoluten Werten kann die Strahlumlenkeinrichtung 24 berührungsfrei zu dem Bildsensor angeordnet sein und der Abstand h zwischen dem Bildsensor 26 und der Strahlumlenkeinrichtung 24 zumindest 0,01 mm und höchstens 1 mm, höchstens 0,2 mm oder höchstens 0, 1 mm aufweisen.
Bezogen auf den Abstand zwischen den Abbildungsoptiken 14a bzw. 14b und der Strahlumlenkeinrichtung kann bei relativen Werten die Bilderfassungsvorrichtung so gebildet sein, dass die Strahlumlenkeinrichtung 24 berührungsfrei zu der ersten und zweiten Abbildungsoptik 14a und 14b angeordnet ist und der Abstand zwischen der ersten Abbildungsoptik 14a und der Strahlumlenkeinrichtung 24 und der Abstand zwischen der zweiten Abbildungsoptik 14b und der Strahlumlenkeinrichtung 24 zumindest 0,01 mm und höchstens 25 %%, 10 % oder höchstens 2 % einer Schnittweite der ersten und zweiten Abbildungsoptik 14a und 14b aufweist. Bei absoluten Werten kann die Bilderfassungsvorrichtung so gebildet sein, dass die Strahlumlenkeinrichtung 24 berührungsfrei zu der ersten und zweiten Abbildungsoptik 14a und 14b angeordnet ist und der Abstand zwischen der ersten Abbildungsoptik 14a und der Strahlumlenkeinrichtung 24 und ein Abstand zwischen der zweiten Abbildungsoptik 14b und der Strahlumlenkeinrichtung 24 zumindest 0,01 mm und höchstens 1 mm, höchstens 0,2 mm oder höchstens 0,1 mm aufweist.
Durch die mechanisch feste Verbindung zwischen der Strahlumlenkeinrichtung 24 und dem Bildsensor 26 sowie den Abbildungsoptiken 14a und 14b kann eine Sensor-Optik- Einheit erhalten werden, die im Rahmen einer bestimmungsgemäßen, d. h., für eine re- gelmäßigen und zerstörungsfreie, Benutzung bezüglich der oben bezeichneten Abstände unveränderlich zusammengefügt ist. Das bedeutet bspw., die Strahlumlenkeinrichtung 24 und die Abbildungsoptiken 14a und 14b sind kein Adapter bezüglich des Bildsensors. Dies ermöglicht ein einfaches und dennoch robustes optisches System. Das bedeutet, dass die Abbildungsoptiken 14a und 14b, die Strahlumlenkeinrichtung 24 und der Bildsensor 26 eine mechanisch und/oder optisch unveränderliche Sensor-Optik-Einheit bilden können.
Die Blickfelder der jeweiligen Abbildungsoptiken 14a und 14b können sich durch den Blickwinkel von mehr als 180° in einem Überlappbereich 36 überlappen, so dass der 360°-Objektbereich in dem Überlappbereich 36 zweifach erfassbar ist. Sind die Abbildungsoptiken 14a und 14b rotationssymmetrisch ausgebildet, kann der Überlappbereich ringförmig ausgestaltet sein. Der Überlappbereich 36 kann auch als Zylindermantelfläche mit variierender Wanddicke, d. h. von der Mitte aus entlang der positiven und negativen x- Richtung abnehmender Wanddicke, verstanden werden.
In anderen Worten, wenn die Schnittweite der Abbildungsoptik (Back Focal Length) des Objektivs oder der Abbildungsoptik, zu kurz für den optischen Weg des Lichts ist, kann durch eine Kombination aus Sammellinsen die Bildschärfe hergestellt werden. Somit ermöglichen die Sammellinsen eine Verlängerung der Back Focal Length. Insbesondere kann das Verhältnis zwischen Lichtweg und Back Focal Length mittels der Sammellinsen eingestellt werden. Fig. 4 zeigt eine schematische Aufsicht auf den Bildsensor 26 umfassend die Bildsensorbereiche 28a und 28b, die getrennt, d. h. nicht überlappend zueinander auf dem Bildsensor 26 angeordnet sind. Obwohl die Bildsensorbereiche 28a und 28b beabstandet zueinander dargestellt sind, können sie auch direkt benachbart zueinander angeordnet sein, d. h. der Abstand beträgt NULL oder in etwa NULL. Wie es im Zusammenhang mit den Fig. 1 und 2 beschrieben ist, können sich die Teilbereiche 28a und 28b auch miteinander überlappen.
In schraffiert dargestellten Bildbereichen 38a und 38b der Bildbereiche 28a bzw. 28b kann beispielsweise der Überlappbereich 36, wie er in Fig. 3 dargestellt ist, abgebildet sein. Durch die Überlappung der Aufnahmebereiche der Abbildungsoptiken kann hier eine redundante Bildinformation vorliegen, so dass ein Überlappen der Bildbereiche 28a und 28b in den Bildbereichen 38a und 38b bei einer Wiedergabe des Bildes zu geringen oder vernachlässigbaren Bildstörungen führt. Fig. 5 zeigt eine schematische Aufsicht auf eine Bilderfassungsvorrichtung 50 gemäß einem Ausführungsbeispiel umfassend vier Abbildungsoptiken 14a bis 14d zur Erfassung des 360°-Objektbereichs. Die Blickrichtungen, d. h. die Hauptstrahlrichtungen der Abbildungsoptiken 14a bis 14d sind in einer Ebene, etwa der x-/y-Ebene um jeweils 90° versetzt zueinander angeordnet. Die Bildöffnungswinkel der Abbildungsoptiken 14a bis 14d können zumindest 90° betragen, etwa zumindest 95° oder zumindest 100°. Die Strahlumlenkeinrichtung 24 kann als pyramidenförmige prismenähnliche Struktur gebildet sein, die eine Mantelfläche mit vier Reflexionsflächen aufweist. Jede Seitenfläche kann ausgebildet sein, um den Strahlengang einer Abbildungsoptik 14a, 14b, 14c oder 4d umzulenken. Obwohl lediglich vier Abbildungsoptiken 14a bis 14d dargestellt sind, kann die Bilderfassungsvorrichtung 50 auch zusätzliche Abbildungsoptiken umfassen, etwa eine fünfte Abbildungsoptik, die entlang einer positiven z-Richtung und eine sechste Abbildungsoptik, die entlang einer negativen z-Richtung blickt. Alternativ hierzu kann der Bildöffnungswinkel auch asymmetrisch sein und beispielsweise den Öffnungswinkel von zumindest 90° in der x-/y-Ebene aufweisen und einen größeren Öffnungswinke! in der x-/z-Ebene aufweisen, so dass der 360°-Objektbereich dreidimensional voll umfänglich erfasst wird. Fig. 6 zeigt eine schematische Aufsicht auf eine Bilderfassungsvorrichtung 60 gemäß einem Ausführungsbeispiel. Die Bilderfassungsvorrichtung 60 kann beispielsweise die Bilderfassungsvorrichtung 10 umfassen und zusätzlich hierzu eine Verarbeitungseinrichtung 42 aufweisen. Die Verarbeitungseinrichtung 42 kann ausgebildet sein, um das Sensorsignal 32 von dem Bildsensor zu empfangen. Das Sensorsignal 32 kann eine Bildinformation bezüglich des 360°-Objektbereichs aufweisen, d. h. eine Darstellung der Teilbereiche auf dem Bildsensor 26 wiedergeben. Die Verarbeitungseinrichtung 42 kann ausgebildet sein, um basierend auf dem Sensorsignal 32 des Bildsensors ein Bildsignal 44 zu erzeugen. Das Bildsignal 44 kann eine Abbildung des 360°-Objektbereichs wiedergeben. Vereinfacht ausgedrückt bedeutet dies, dass die Verarbeitungseinrichtung 42 das Bildsignal 44 so bereitstellen kann, dass eine Übertragung oder Speicherung der Bildinhalte des Sensorsignals 32 ermöglicht ist. Dies kann beispielsweise die Codierung des Bildsignals gemäß den Anforderungen eines Bildstandards, etwa hochauflösend (HD), ultrahochauflösend (UHD) oder dergleichen sein. Alternativ oder zusätzlich kann die Verarbeitungseinrichtung 42 ausgebildet sein, um das Bildsignal 44 den Anforderungen eines Videostandards entsprechend auszugeben, etwa gemäß einem Standard der Expertengruppe für bewegte Bilder (Moving Picture Experts Group MPEG). Die Verarbeitungseinrichtung kann ausgebildet sein, um eine Bildvorverarbeitung auszuführen, etwa eine Bildglättung, wie er im Zusammenhang mit der Fig. 4 dargestellt ist. Dies kann auch so verstanden werden, dass das Bildsignal 44 eine direkte Projektion des 360°-Objektbereichs auf einem Wiedergabegerät, etwa einem Projektor oder einem Beamer, ermöglicht.
Obwohl die Bilderfassungsvorrichtung 40 so beschrieben ist, dass die Verarbeitungseinrichtung 42 mit der Bilderfassungsvorrichtung 10 gekoppelt ist, kann auch eine andere Bilderfassungsvorrichtung, etwa die Bilderfassungsvorrichtung 30 oder 50 Teil der Bilderfassungsvorrichtung 60 sein.
Basierend auf der höchstens teilweisen Überlappung der Bildsensorbereiche auf dem Bildsensor und basierend auf einer ortsfesten Ausrichtung der Abbildungsoptiken bezüglich der Strahlumlenkeinrichtung und des Bildsensors kann die Verarbeitungseinrichtung das Bildsignal 44 ohne eine weitere Ausrichtung der Teilbilder in dem jeweiligen Teilbe- reich ausgeben. Das bedeutet, dass die Verarbeitungseinrichtung ausgebildet sein kann, um das Bildsignal 44 aus einem auf einen ersten Teilbereich des Bildsensors abgebilde- ten ersten Teiibild und einem auf dem zweiten Teilbereich des Bildsensors abgebildeten zweiten Teilbild zu erzeugen, ohne die Teilbilder aufeinander auszurichten. Das bedeutet, die Verarbeitungseinrichtung kann ausgebildet sein, um das Bildsignal 44 ohne die Anwendung eines Stitchings bereitzustellen, während das Bildsignal 44 gleichzeitig eine Wiedergabe des 360°-Objektbereichs ermöglicht, ohne dass ein Stitching erforderlich ist.
Das Bildsignal 44 kann beispielsweise Meta-Informationen aufweisen, die eine Auskunft darüber geben, mit welcher Art, welchem Typ oder welcher Konfiguration von Bilderfassungsvorrichtung das übertragene Bild erfasst wurde, um eine Zuordnung zu Projektions- einrichtungen während einer Wiedergabe des Bildsignals 44 zu ermöglichen. Die Metain- formationen können dem Bildsignal 44 durch die Verarbeitungseinrichtung 42 zugeordnet und/oder diesem integriert werden.
Alternativ oder zusätzlich kann die Verarbeitungseinrichtung ausgebildet sein, um das Bildsignal 44 ohne ein Multiplexen zu erzeugen. Unter einem Multiplexen kann ein Vorgang verstanden werden, bei dem das auf den ersten Teilbereich des Bildsensors abgebildete erste Teilbild und das auf dem zweiten Teilbereich des Bildsensors abgebildete zweite Teilbild sequenziell nacheinander abgetastet und in einem gemeinsamen Signal übertragen oder sequenziell nacheinander übertragen würden. Das bedeutet, dass die Verarbeitungseinrichtung 24 ausgebildet sein kann, um das Bildsignal ohne eine Synchronisierung bereitzustellen.
Fig. 7 zeigt eine schematische perspektivische Ansicht eines Bilderfassungssystems 70, das eine erste Bilderfassungsvorrichtung 10a und eine zweite Bilderfassungsvorrichtung 10b aufweist, die jeweils so gebildet sind, wie es im Zusammenhang mit der Bilderfassungsvorrichtung 10 besch eben ist. Die Bilderfassungsvorrichtungen 0a und 10b sind dabei räumlich benachbart, d. h. sie weisen bspw. einen geringen Abstand von weniger als 10 cm, weniger als 8 cm oder weniger als 5 cm zueinander auf. Bezüglich des 360°-Objektbereichs können sich die Bilderfassungsvorrichtungen 10a und 10b jeweils gegenseitig abschatten, d. h. anstelle des Objektbereichs wird die jeweils andere Bilderfassungsvorrichtung erfasst oder abgebildet. Für die Generierung eines für eine dreidimensionale Darstellung geeigneten Bild- oder Videosignals ist eine Disparität zwischen zwei einzelnen Aufnahmen vorteilhaft, so dass durch die Beabstandung der Biiderfassungsvorrichtungen und die im Wesentlichen Stereoskope Erfassung des 360°- Objektbereichs durch das Bilderfassungssystem 70 eine Bereitstellung von dreidimensio- na!en Bild- oder Videoinformationen ermöglicht ist. Dass der 360°-Objektbereich im Wesentlichen Stereoskop erfassbar ist, kann dahin gehend verstanden werden, dass eine vollständige Stereoskope Abtastung zu einem einzigen Zeitpunkt oder während einer einzigen Bildaufnahme durch die gegenseitige Abschattung der Biiderfassungsvorrichtungen nur bedingt oder nicht möglich ist. D. h. im Wesentlichen Stereoskop bedeutet hier Stereoskop unter Vernachlässigung der gegenseitigen Abschattung. Durch eine Bewegung oder Drehung des Bilderfassungssystems 70 kann jedoch eine veränderliche Orientierung des Bilderfassungssystems 70 relativ zu dem 360°-Objektbereich erhalten werden, so dass unterschiedliche Teilbilder in den Teilbereichen der Bildsensoren generiert werden. Durch den Verzicht auf Stitching und Multiplexen würden so voneinander verschiedene Bilder erhalten. Allerdings kann die Abschattung so gering ausfallen, dass der Funktionalitätsgewinn im Sinne von Echtzeit und reduzierter Verlustleistung bzw. Verlustwärme so groß sein, dass geringe Abschattungen vernachlässigbar sind. Der Begriff Echtzeit soll hier so verstanden werden, dass lediglich eine geringe, nicht störende Verzögerung oder Latenz zwischen dem Erfassen des 360°-Objektbereichs und einer Darstellung desselben, erforderlich ist. Eine derartige Latenz kann durch die Erfassung des Objektbereichs, die Bereitstellung und Übertragung des Bildsignals und die Darstellung des Bildes beeinflusst sein. Applikationsspezifisch können hierfür unterschiedli- che Anforderungen gestellt werden. So kann beispielsweise in der Telekommunikation eine Verzögerung zwischen Erfassen und Darstellen von weniger als 0,5 Sekunden, weniger als 0,3 Sekunden oder weniger als 0,2 Sekunden erforderlich sein. Für Spieleanwendungen können strengere Anforderungen gelten, etwa weniger als 0,1 Sekunden, weniger als 0,05 Sekunden oder noch weniger. Zwar können durch Datenübertragungen etwa auf den Server und eine RückÜbertragung auf ein Endgerät auch Verzögerungen, etwa im Bereich von 5-10 Sekunden entstehen, hierbei handelt es sich jedoch nicht um durch die Bilderfassung und Projektion herrührende Verzögerungen. Diese Verzögerungen können bspw. durch peer-to-peer Verbindungen (Teilnehmer zu Teilnehmer Verbindungen) zumindest teilweise vermieden werden.
Das Bilderfassungssystem 70 kann eine Verarbeitungseinrichtung aufweisen, etwa die Verarbeitungseinrichtung 42. Die Verarbeitungseinrichtung kann die Bildsensorsignale der Bildsensoren beider Bilderfassungsvorrichtungen 10a und 10b empfangen. Die Verarbeitungseinrichtung 42 kann beispielsweise ausgebildet sein, um basierend auf dem jeweils einfach erfassten Bereich des 360°-Objektbereichs, d. h. der Bereich, der für die andere Bilderfassungsvorrichtung 10a oder 10b nicht sichtbar ist, mittels Bildverarbeitung hin zu einem dreidimensionalen Bild zu berechnen. Dies ist ohne hohe Rechenleistung möglich und beispielsweise aus Fernsehgeräten bekannt, die aus einem zweidimensionalen Bild ein dreidimensionales Bild berechnen können. Bilderfassungsvorrichtungen und/oder Bilderfassungssysteme gemäß hierin beschriebenen Ausführungsbeispielen ermöglichen die gleichzeitige Darstellung der Teilbilder auf dem Bildsensor, so dass ein synchroner Datenstrom basierend auf dem Sensorsignal 32 erhalten werden kann. Mittels eines einzigen Datenstroms kann somit der 360°- Objektbereich übertragen oder gespeichert werden. Es wird hierfür nur ein Kameramodul benötigt, was Kosten und elektrische Energie gegenüber einer Verwendung von mehreren Kameras spart. Hierin beschriebene Ausführungsbeispiele sind als mobiles Modul realisierbar. So können etwa USB-Module (USB = universeller serieller Bus) realisiert werden, die mit einem Mobilfunkgerät, etwa einem Smartphone oder Tablet, koppelbar sein können, um über eine Datenverbindung des Mobilfunkgeräts den Videostream zu übertragen, etwa in Form des Bildsignals 44. Die Verarbeitungseinrichtung 42 kann somit auch ein Teil des Mobilfunkgeräts sein. Ein veränderliche oder konstante Bandbreite oder Bitrate des Videostreams kann von einer Auflösung oder Abtastrate des Bildsensors beeinflusst sein, die unabhängig von einander veränderlich sein können. In anderen Worten kann das Bilderfassungssystem 70 umfassend ein linkes Auge und ein rechtes Auge beschrieben werden. Hierin verwendete Begriffe „oben", „unten", „links", „rechts",„vorne" und„hinten" dienen lediglich der Klarstellung und sollen nicht einschränkend verwendet werden. Es versteht sich, dass durch eine variierende Orientierung der Vorrichtung im Raum die vorangehenden Begriffe wechselseitig vertauschbar sind, ohne die Lehre hierin beschriebener Ausführungsbeispiele einzuschränken.
Fig. 8 zeigt eine schematische Seitenschnittansicht einer Bildprojektionsvorrichtung 80 gemäß einem Ausführungsbeispiel. Die Bildprojektionsvorrichtung 80 umfasst einen Bildgenerator 46, der ausgebildet ist, um ein erstes Teilbild in einem Bildbereich 48a und ein zweites Teilbild in einem Bildbereich 48b darzustellen. Bei dem Bildgenerator 46 kann es sich beispielsweise um ein Display oder eine mit einer Hintergrundbeleuchtung versehene Pixelmatrix handeln, die ausgebildet ist, um ein Bildsignal 52 darzustellen. Bei dem Bildsignal 52 kann es sich beispielsweise um das Sensorsignal 32 oder das Bildsignal 44 handeln. Der Bildgenerator ist somit konfiguriert, um ein Bild auszugeben, dass mittels Abbildungsoptiken auf eine Projektionsfiäche projizierbar ist. Die anderen Komponenten der Bildprojektionsvorrichtung 80 können ähnlich oder gar identisch sein, wie die Komponenten von Bilderfassungsvorrichtungen gemäß hierin beschriebenen Ausführungsbeispielen, etwa der Bilderfassungsvorrichtung 30. Die in den Bildbereichen 48a und 48b dargestellten Teilbilder können basierend auf der Strahlum- ienkeinrichtung 24 von eben jener auf die Abbildungsoptiken 14a und 14b umgelenkt werden und durch die Abbildungsoptiken 14a und 14b auf einen 360°-Projektionsbereich 54 projiziert werden. Der 360°-Projektionsbereich 54 kann einen ersten Teilprojektionsbe- reich 56a umfassen, auf dem das in dem Bildbereich 48a dargestellte Bild projiziert wird. In gleicher Weise kann das in dem Bildbereich 48b dargestellte Bild auf einen Teilprojekti- onsbereich 56b des 360°-Projektionsbereichs 54 projiziert werden.
Der 360°-Projektionsbereich 54 kann beispielsweise eine Leinwand, eine Wandfläche oder eine Ebene oder gekrümmte Projektionswand sein. Der 360°-Projektionsbereich kann ebenso wie der 360°-Objektbereich ein einer Ebene oder im Raum umlaufend 360° aufweisen. Ein mit einer Bilderfassungsvorrichtung gemäß hierin beschriebenen Ausführungsbeispielen erfasstes Bild kann eine Information über eine 360°-Darstellung des Objektbereichs aufweisen und unter Verwendung der Bildprojektionsvorrichtung 80 so dargestellt werden, dass die 360°-Darstellung wiedergegeben wird. Es versteht sich, dass durch Entfernung oder Abschattung von Bereichen des 360°-Bildes auch ein geringerer Teil des 360"-Projektionsbereichs darstellbar ist, wobei dies nicht zu einer Einschränkung hierin beschriebener Lehren führt. Hierfür können bspw. die Metainformationen genutzt werden, so dass eine Verarbeitungseinrichtung der Bildprojektionsvorrichtung 80 eine Zuordnung ausführen kann, welche Teilbereiche darzustellen sind. Aus der Zusammenschau der Bilderfassungsvorrichtung 30 und der Bildprojektionsvorrichtung 80 wird insbesondere deutlich, dass durch die Aussparung des Stitchings keine Nachteile in der Wiedergabe der erfassten 360°-Szene entstehen. Auch wenn die Abbildungsoptiken der Bildprojektionsvorrichtung 80 anders als die der Bilderfassungsvorrichtung gebildet sein sollten, etwa basierend auf einer Anpassung an einen Projektionsraum bzw. den 360°-Projektionsbereich 54, so ist durch eine ortsfeste Zuordnung der Bildbereiche 48a und 48b zu der Strahlumlenkeinrichtung 24 und den Abbildungsoptiken 14a und 14b eine Wiedergabe des Bildsignals 52 ohne Stitching oder Multiplexing möglich. Unterschiede in den Abbildungsoptiken der Erfassungseinrichtung und der Projektionseinrichtung, etwa unterschiedliche Verzerrungen, können auch unter Verwendung einer Verar- beitungseinrichtung berücksichtigt werden. Das bedeutet, dass die optische Einrichtung eine erste Abbildungsoptik 14a zur Beeinflussung eines ersten optischen Strahlengangs und eine zweite Abbildungsoptik 14b zur Beeinflussung eines zweiten optischen Strahlengangs umfasst. Die Beeinflussung kann reziprok oder komplementär zu der Beeinflussung in der Bilderfassungsvorrichtung 10 erfolgen.
Die Strahlumlenkeinrichtung 24 kann zwischen der optischen Einrichtung und dem Bildgenerator 46 angeordnet sein und ist ausgebildet, um den ersten optischen Strahlengang von einem ersten Bildbereich 48a des Bildgenerators 46 auf einen ersten Teilprojektions- bereich 56a des 360°-Projektionsbereichs 54 zu lenken, und um den zweiten optischen Strahlengang von einem zweiten Bildbereich 48b des Bildgenerators 46 auf einen zweiten Teilprojektionsbereich 56b des 360°-Projektionsbereichs 54 zu lenken. Die beiden Teilprojektionsbereiche 56a und 56b überlappen höchstens teilweise miteinander, ebenso wie die beiden Bildbereiche 48a und 48b.
Eine Verarbeitungseinrichtung der Bildprojektionsvorrichtung kann ausgebildet sein, um mit einer Maske mit weichen Kanten den Überlappbereich 38a oder 38b sanft zu überblenden, um die beiden Halbkugeln, d. h. Teilbilder, zusammenzusetzen. Durch die vergleichbare Ausgestaltung der optischen Einrichtung verglichen mit der Bilderfassungsvorrichtung kann die Abbildungsoptik 14a somit ausgebildet sein, um ein erstes Teilbild auf den ersten Teilprojektionsbereich des 360°-Projektionsbereichs zu projizieren und um ein zweites Teilbild auf den zweiten Teilprojektionsbereich des 360'- Projektionsbereichs zu projizieren. Ebenso ist es vorstellbar, dass die Bildprojektionsvor- richtung weitere Abbildungsoptiken umfasst, wie es im Zusammenhang mit der Bilderfassungsvorrichtung 50 beschrieben ist. Jedem auf dem Bildgenerator dargestellten Teilbild, das auf den 360°-Projektionsbereich dargestellt werden soll, kann eine Abbildungsoptik zugeordnet sein. Somit ist es auch vorstellbar, dass nur einige der Teilbilder dargestellt werden.
In einer vorteilhaften Ausführungsform umfasst die optische Einrichtung lediglich zwei Abbildungsoptiken in Abwesenheit einer dritten Abbildungsoptik zur Projektion eines dritten Teilprojektionsbereichs des 360°-Projektionsbereichs, das bedeutet, dass die Teilprojektionsbereiche 56a und 56b den 360°-Projektionsbereich 54 bilden. Insbesondere können die Abbildungsoptiken 14a und/oder 14b als Fischaugenlinsen mit einem Blickwinkel von zumindest 180° gebildet sein.
Weiterhin können die Abbildungsoptiken mit einer Sammellinse oder mit mehreren Sam- mellinsen in Verbindung stehen, das bedeutet, dass die optische Einrichtung der Bildprojektionsvorrichtung zumindest eine Sammellinse umfassen kann, die mit der ersten oder zweiten Abbüdungsoptik auf einer dem Bildgenerator zugewandten Seite der Abbildungsoptik gekoppelt ist. Wie es im Zusammenhang mit hierin beschriebenen Bilderfassungsvorrichtungen erläutert ist, kann die Strahlumlenkeinrichtung der Bildprojektionsvorrichtung und zumindest eine der Abbildungsoptiken der optischen Einrichtung ein gemeinsames Objektiv bilden und/oder eine Anordnung der Strahlumlenkeinrichtung zu den Abbildungsoptiken vertauschbar sein. Ebenso ist es möglich, die Strahlumlenkeinrichtung zwischen der opti- sehen Einrichtung und dem Bildsensor anzuordnen.
Wie es im Zusammenhang mit der Strahlumlenkeinrichtung 22 der Bilderfassungsvorrichtungen beschrieben ist, kann die Strahlumlenkeinrichtung 22 auch für die Bildprojektionsvorrichtung so gebildet sein, dass die Strahlumlenkeinrichtung ein Prisma, einen Umlenk- spiegel oder einen oder mehrere Lichtwellenleiter, bevorzugt einen Lichtwellenleiter je dargestelltem Pixel, umfasst. Die Abbildungsoptiken können so zueinander ausgerichtet sein, dass sie eine einander entgegengesetzte Blickrichtung aufweisen, wobei die Strahlumlenkeinrichtung so gebildet ist, dass der Strahlengang zwischen dem Bildgenerator und der Abbildungsoptik 14a sowie der Strahlengang zwischen dem Bildgenerator und der Abbildungsoptik 14b um 90° umgelenkt wird.
Es sind ebenfalls Projektionsvorrichtungen vorstellbar, bei denen in Analogie zu dem Bilderfassungssystem 70 zwei Bildprojektionsvorrichtungen miteinander gekoppelt sind, um ein stereoskopes Bild auf den 360°-Projektionsbereich zu projizieren, um eine 3D- Wahrnehmung zu ermöglichen. Ausführungsbeispiele können primär für den Heimbereich konzipiert sein. Dort wird oft auf Wände und/oder Möbel projiziert, gebeamt. Hierfür kann es ausreichend sein, eine möglichst exakte Abbildung nur für den sogenannten„interessanten Bereich" (region of interest), also beispielsweise die Bühne bei einem Konzert oder einer Theateraufführung bereitzustellen. Der Rest der Projektion kann lediglich eine ambi- ente Stimmung schaffen, um den Zuschauer in ein Konzert oder in einen Theatersaal zu versetzen. In anderen Worten kann der Projektor gleichgebildet sein, wie die Kamera, nur dass anstelle des Bildsensors der Bildgenerator angeordnet wird. Das bedeutet, dass der Bildgenerator, Beamer, ebenso wie der Sensor ein Seitenverhältnis von 1 :2 oder 16:9 aufweisen kann.
Fig. 9 zeigt ein schematisches Blockschaltbild eines Bildübertragungssystems 90. Das Bildübertragungssystem 90 umfasst die Bilderfassungsvorrichtung 10 und die Bildprojektionsvorrichtung 80. Alternativ oder zusätzlich kann das Bildübertragungssystem 90 auch eine andere Bilderfassungsvorrichtung 30, 50 oder 60 oder ein Erfassungssystem 70 umfassen. Die Bilderfassungsvorrichtung 10 ist ausgebildet, um ein Übertragungssignal 58 bereitzustellen. Die Bildprojektionsvorrichtung 80 ist konfiguriert, um das Übertragungssignal 58 zu empfangen. Das Übertragungssigna! 58 kann das Sensorsignal 32 und das Bildsignal 44 und/oder ein hiervon abgeleitetes Signal sein, welches die Bildinformationen des Bildsensors 26 zumindest in rekonstruierbarer Art und Weise umfasst. Das bedeutet, dass das Übertragungssignal 58 das Bildsignal 52 sein kann.
Das Übertragungssignal 58 kann über eine drahtgebundene oder drahtlose Kommunikati- onsieitung, etwa eine Telefonverbindung, eine Internetverbindung, eine Mobilfunkverbin- dung oder dergleichen übertragen werden. Alternativ ist das Übertragungssignal 58 auf einen elektronischen Datenspeicher speicherbar, d. h. es erfolgt keine direkte Übertragung, sondern eine Hinterlegung des Signals auf einem Datenspeicher.
Basierend auf dem geringen Umfang des Berechnungsaufwands dadurch, dass auf Stit- ching und Multiplexing verzichtet wird, ist die Übertragung des Übertragungssignals 58 bzw. der optischen Wiedergabe des 360°-Objektbereichs 22 in Echtzeit möglich. Dies ist insbesondere vorteilhaft für Anwendungen in der Unterhaltung, etwa für Sportveranstaltungen oder Konzerte, in der Sicherheits- und Überwachungstechnik, in der Berichterstattung, in Telepräsenzanwendungen oder Konferenzen, d. h. für Telekommunikationsan- Wendungen, bei der die Übertragung von Sprachdaten zeitkritisch ist, in der Reisewirtschaft oder bei einer Steuerung von Robotern und dergleichen, etwa in kontaminierten Bereichen wie etwa Kraftwerken. Das bedeutet, dass sowohl mit einer Bilderfassungsvorrichtung, mit Bilderfassungssystemen, mit Bildprojektionsvorrichtungen und/oder Bildübertragungssystemen gemäß hierin beschriebenen Ausführungsbeispielen in Anwendungen in Märkten der Unterhaltungsindustrie, der Sicherheitsindustrie, im Konsumentenmarkt (Consumer Market), etwa zum Teilen von Erlebnissen in sozialen Medien, in der Robotik, im Sport oder allgemein im Femsehen realisierbar sind. Diese Anwendungen umfassen Anwendungen für virtuelle Realität (Virtual Reality) für Videos und Bilder, sphärische 360°-Aufnahmen von Szenen, eine Ermöglichung von Real-Time, d. h. Echtzeit, Streaming-Diensten von 360°-Videos, eine 360°-Berichterstattung in Echtzeit oder An- Wendungen im Bereich der virtuellen Teleportation.
Hierin beschriebene Bildprojektionsvorrichtungen können ebenso in kompakter Bauweise herstellbar sein, wie es vorangehend für Bilderfassungsvorrichtungen und Bilderfassungssysteme beschreiben ist.
Fig. 10 zeigt ein schematisches Flussdiagramm eines Verfahrens 1000 zum Erfassen eines 360°-Objektbereichs, etwa dem 360°-Objektbereich 22. Das Verfahren umfasst einen Schritt 1010, in welchem ein Bildsensor bereitgestellt wird. In einem Schritt 1020 erfolgt ein Beeinflussen eines ersten optischen Strahlengangs mit einer ersten Abbil- dungsoptik und Beeinflussen eines zweiten optischen Strahlengangs mit einer zweiten Abbiidungsoptik, um einen 360°-Objektbereich zu erfassen. In einem Schritt 1030 erfolgt ein Lenken des ersten optischen Strahlengangs auf einen ersten Bildsensorbereich des Bildsensors mit einer Strahlumlenkeinrichtung zwischen der optischen Einrichtung und dem Bildsensor. In einem Schritt 1040 erfolgt ein Lenken des zweiten optischen Strahlen- gangs mit der Strahlumlenkeinrichtung auf einen zweiten Bildsensorbereich des Bildsensors, der höchstens teilweise mit dem ersten Bildsensorbereich überlappt.
Fig. 1 1 zeigt ein schematisches Flussdiagramm eines Verfahrens 1 100 zum Projizieren eines Bildes. In einem Schritt 1 1 10 erfolgt ein Darstellen eines Bildes mit einem Bildgene- rator aus einem empfangenen Bildsignal. In einem Schritt 1 120 erfolgt ein Beeinflussen eines ersten optischen Strahlengangs mit einer ersten Abbiidungsoptik einer Strahlumlenkeinrichtung einer optischen Einrichtung und ein Beeinflussen eines zweiten optischen Strahlengangs mit einer zweiten Abbiidungsoptik der optischen Einrichtung, um das Bild auf einen 360°-Projektionsbereich zu projizieren. In einem Schritt 1 130 erfolgt ein Lenken des ersten optischen Strahlengangs von einem ersten Bildbereich des Bildgenerators auf einen ersten Teilprojektionsbereich des 360°-Projektionsbereichs mit einer Strahlumlenkeinrichtung zwischen der optischen Einrichtung und dem Bildgeneraior, und ein Lenken des zweiten optischen Strahlengangs von einem zweiten Bildbereich des Bildgenerators auf einen zweiten Teilprojektionsbereich des 360°-Projektionsbereichs, wobei der erste Bildbereich und der zweite Bildbereich höchstens teilweise miteinander überlappen. Fig. 12 zeigt eine schematische Seitenschnittansicht eines Objektivs 120, das eine Abbildungsoptik umfasst, etwa die Abbildungsoptik 14a. Ferner weist das Objektiv 120 ein Gehäuse 62 auf, das an der Abbildungsoptik 14a angeordnet ist. Alternativ kann die Abbildungsoptik 14a auch innerhalb des Gehäuses 62 angeordnet sein. Das Gehäuse 62 könnte auch von der Abbildungsoptik 14a beabstandet sein, wenn ein dadurch erhaltener Eintritt von Falschlicht in den Strahlengang der Abbildungsoptik 14a vernachlässigbar ist.
Eine oder mehrere Linsen 64a, 64b und/oder 64c können in dem Gehäuse 62 angeordnet sein und ausgebildet sein, um die Abbildung des Teilbereichs des 360°-Objektbereichs zu beeinflussen. Bspw. können die Linsen 64a, 64b und/oder 64c ausgelegt sein, um einen Schärfepunkt der Abbildungsoptik 14a bezogen auf die Abbildungsoptik 14a nach hinten zu verschieben, d. h. die back focal length zu verlängern. Die als Spiegel ausgebildete Strahlumlenkeinrichtung 24 kann in dem Gehäuse 62 angeordnet sein oder außerhalb davon. Das bedeutet, dass die Abbildungsoptik 14a und/oder 14b und die Strahlumlenk- einrichtung 24 ein gemeinsames Objektiv bilden können.
Bspw. kann eine Bilderfassungsvorrichtung oder eine Bildprojektionsvorrichtung gemäß hierin beschriebener Ausführungsbeispiele zwei oder mehr Objektive 120 umfassen, um den 360°-Objektbereich zu erfassen oder um den 360°-Projektionsbereich zu projizieren.
Innerhalb oder außerhalb des Gehäuses 62 kann ein optionales Filter 66 angeordnet sein, das in einem Verlauf des Strahlengangs mit einer Blickrichtung oder einer Hauptstrahlrichtung 68 angeordnet ist. Das Filter 68 kann ausgebildet sein, um manche, ggf. unerwünschte Wellenlängenbereiche eines erfassten oder generierten Lichts zu filtern, etwa einen Ultraviolett- und/oder Infrarotbereich.
Hierin beschriebene Ausführungsbeispiele ermöglichen eine kompakte Baugröße für mobile Anwendungen durch Vermeidung von aufwendiger Elektronik, die für das Zusammenrechnen (Stitching) der Bilder zuständig und erforderlich wäre. Ferner wird eine Reduzie- rung der Anzahl der benötigten Sensoren ermöglicht, im Minimalfall bis hin zu einem Bildsensor. Ferner ermöglicht die Übertragung aller erfassten (Teil-)Bilder in einem Video- stream, eine autonome Kamera mit eingebautem Webserver zu realisieren, die ohne zusätzlichen Computer oder Recheneinheit direkt in das Internet streamen kann. Bekannte Ansätze versuchen das Problem mittels Elektronik zu lösen. Jedoch ist es der Elektronik nicht möglich, die Aufgabe des Bilderzusammenrechnens, des sogenannten„Stitchings", in ähnlich kompakter und qualitativer Weise zu erfüllen. in anderen Worten ermöglichen es hierin beschriebene Ausführungsbeispiele, die elektronische Bildverarbeitung, Multiplexing und Stitching durch eine optische Lösung zu schaffen. Dies ermöglicht auf analogem, optischem Weg ohne Latenz eine Darstellung und Erfassung der Einzelbilder auf einem Bildsensor. Obwohl auch mehrere Bildsensoren, etwa für jeden Teilbildbereich einer, angeordnet sein können, ist nur noch ein Bildsensor erforderlich, was weitere Elektronik für die Biidverarbeitung spart. Dies kann sowohl eine Anzahl von Komponenten, mithin eine Komplexität und Kosten reduzieren und zum anderen auch den Energieverbrauch reduzieren, so dass bei gleicher Betriebsdauer ein Akku mit geringerer Kapazität verwendet werden kann, insbesondere für mobile Anwendungen. Ferner sind durch den geringeren Energieverbrauch auch die Aufheizung der Kamera gering, es werden somit wenige oder keine Kühlvorrichtungen benötigt, was weitere sy- nergetische Vorteile bringt. Deshalb sind Ausführungsbeispieie der vorliegenden Erfindung Kameras, die ohne Kühlvorrichtung gebildet sind.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu ver- stehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche
Bilderfassungsvorrichtung (10; 30; 50; 60) mit; einem Bildsensor (26); einer zur Erfassung eines 360°-Objektbereichs (22) eingerichteten optischen Einrichtung (12) umfassend eine erste Abbildungsoptik (14a) zur Beeinflussung eines ersten optischen Strahlengangs (16a) und eine zweite Abbildungsoptik (14b) zur Beeinflussung eines zweiten optischen Strahlengangs (16b); und einer Strahlumlenkeinrichtung (24), die ausgebildet ist, um den ersten optischen Strahlengang (16a) auf einen ersten Bildsensorbereich (28a) des Bildsensors (26) und den zweiten optischen Strahlengang (16b) auf einen zweiten Büdsensorbereich (28b) des Bildsensors (26), der höchstens teilweise mit dem ersten Bildsensorbereich (28a) überlappt, zu lenken.
Bilderfassungsvorrichtung gemäß Anspruch 1 , bei der die erste Abbildungsoptik (14a) ausgebildet ist, um einen ersten Teilobjektbereich (18a) des 360°- Objektbereichs (22) zu erfassen und bei der die zweite Abbildungsoptik (14b) ausgebildet ist, um einen zweiten Teilobjektbereich (18b) des 360°-Objektbereichs (22) zu erfassen.
Bilderfassungsvorrichtung gemäß Anspruch 2, bei der sich der erste Teilbereich (18a) und der zweite Teilbereich (18b) gegenseitig überlappen.
Bilderfassungsvorrichtung gemäß Anspruch 2 oder 3, bei der die optische Einrichtung (12) in Abwesenheit einer dritten Abbiidungsoptik zur Erfassung eines dritten Teilbereichs des 360°-Objektbereichs (22) gebildet ist; wobei der erste Teilbereich (18a) und der zweite Teilbereich ( 18b) den 360°-Objektbereich (22) bilden.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der der 360°-Objektbereich 360° eines Elevationswinkels und 360° eines Azimutwinkels der Bilderfassungsvorrichtung abdeckt.
Bilderfassungsvorrichtung (24) gemäß einem der vorangehenden Ansprüche, bei der die Strahlumlenkeinrichtung berührungsfrei zu dem Bildsensor angeordnet ist und bei der ein Abstand (h) zwischen dem Bildsensor (26) und der Strahlumlenkein- richtung (24) einen Wert von zumindest 0,01 mm und höchstens 25 % einer Schnittweite der ersten und zweiten Abbildungsoptik (14a, 14b) aufweist.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die Strahlumlenkeinrichtung (24) berührungsfrei zu dem Bildsensor angeordnet ist und bei der ein Abstand (h) zwischen dem Bildsensor (26) und der Strahlumlenkeinrichtung (24) einen Wert von zumindest 0,01 mm und höchstens 1 mm aufweist.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die Strahlumlenkeinrichtung (24) berührungsfrei zu der ersten und zweiten Abbildungsoptik (14a, 14b) angeordnet ist und bei der ein Abstand zwischen der ersten Abbildungsoptik (14a) und der Strahlumlenkeinrichtung (24) und ein Abstand zwischen der zweiten Abbildungsoptik (14b) und der Strahlumlenkeinrichtung (24) einen Wert von zumindest 0,01 mm und höchstens 25 % einer Schnittweite der ersten und zweiten Abbildungsoptik (14a, 14b) aufweist.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die Strahlumlenkeinrichtung (24) berührungsfrei zu der ersten und zweiten Abbildungsoptik (14a, 14b) angeordnet ist und bei der ein Abstand zwischen der ersten Abbildungsoptik (14a) und der Strahlumlenkeinrichtung (24) und ein Abstand zwischen der zweiten Abbildungsoptik (14b) und der Strahlumlenkeinrichtung (24) einen Wert von zumindest 0,01 mm und höchstens 1 mm aufweist.
Biiderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die Abbildungsoptiken (14a, 14b), die Strahlumienkeinrichtung (24) und der Bildsensor (26) eine unveränderliches Sensor-Optik-Einheit bilden.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die erste und/oder zweite Abbiidungsoptik (14a, 14b) mit einem Blickwinkel (a) von mehr als 180° gebildet ist.
Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die optische Einrichtung (12) eine Sammellinse (34a-c) umfasst, die mit der ersten Abbildungsoptik ( 14a) auf einer dem Bildsensor (26) zugewandten Seite der ersten Abbildungsoptik (14a) gekoppelt ist. 13. Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der der Bildsensor (26) ausgebildet ist, um ein Sensorsignal (32) auszugeben, das eine Bildinformation bezüglich des 360°-Objektbereichs (22) aufweist.
14. Büderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, die eine Verarbeitungseinrichtung (42) aufweist, die ausgebildet ist, um basierend auf einem Sensorsignal (32) des Bildsensors (26) ein Bildsignal (44; 52; 58) zu erzeugen, das eine Abbildung des 360°-Objektbereichs (22) wiedergibt.
15. Bilderfassungsvorrichtung gemäß Anspruch 14, bei der die Verarbeitungseinrichtung (42) ausgebildet ist, um das Bildsignal (44; 52; 58) aus einem auf den ersten Teilbereich (28a) des Bildsensors (26) abgebildeten ersten Teilbild und einem auf den zweiten Teilbereich (28b) des Bildsensors (26) abgebildeten zweiten Teilbild zu erzeugen, ohne die Teilbilder auf einander auszurichten.
16. Bilderfassungsvorrichtung gemäß Anspruch 14 oder 15, bei der die Verarbeitungseinrichtung (42) ausgebildet ist, um das Bildsignal (44; 52; 58) aus einem auf den ersten Teilbereich (28a) des Bildsensors (26) abgebildeten ersten Teilbild und einem auf den zweiten Teilbereich (28b) des Bildsensors (26) abgebildeten zweiten Teilbild zu erzeugen, ohne die Teilbilder zeitlich zu synchronisieren.
17. Bilderfassungsvorrichtung gemäß einem der Ansprüche 14 bis 16, bei der die Verarbeitungseinrichtung (42) ausgebildet ist, um das Bildsignal (44) ohne ein Multiple- xen zu erzeugen.
18. Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die Strahlumlenkeinrichtung (24) zumindest eines aus einem Prisma, einem Umlenkspiegel, und einem Lichtwellenleiter umfasst.
19. Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei der die erste Abbildungsoptik ( 4a) und die zweite Abbildungsoptik (14b) eine entgegengesetzte Blickrichtung aufweisen, und bei der die Strahlumlenkeinrichtung (24) ausgebildet ist, um den ersten Strahlengang (16a) und den zweiten Strahlengang (16b) jeweils um im Wesentlichen 90° umzulenken.
20. Bilderfassungsvorrichtung gemäß einem der vorangehenden Ansprüche, bei dem die Strahlumlenkeinrichtung (24) und zumindest eine der Abbildungsoptiken (14a, 14b) der optischen Einrichtung (12) ein gemeinsames Objektiv (120) bilden. 21. Bi!derfassungssystem (70) mit einer ersten Bilderfassungsvorrichtung (10a) gemäß einem der vorangehenden Ansprüche und einer zweiten Bilderfassungsvorrichtung (10b) gemäß einem der vorangehenden Ansprüche, wobei die erste Bilderfassungsvorrichtung (10a) und die zweite Bilderfassungsvorrichtung (10b) so angeordnet sind, dass der 360°-Objektbereich (22) im Wesentlichen Stereoskop von dem Bilderfassungssystem (70) erfassbar ist.
22. Bildprojektionsvorrichtung (80) mit: einem Bildgenerator (46), der ausgebildet ist, um aus einem empfangenen Bildsignal (52) ein Bild darzustellen; einer zur Projektion des Bildes auf einen 360°-Projektionsbereich (54) eingerichteten optischen Einrichtung (12) umfassend eine erste Abbildungsoptik (14a) zur Beeinflussung eines ersten optischen Strahlengangs (16a) und eine zweite Abbildungsoptik (14b) zur Beeinflussung eines zweiten optischen Strahlengangs (16b); und einer Strahlumlenkeinrichtung (24), die ausgebildet ist, um den ersten optischen Strahlengang (16) von einem ersten Bildbereich (48a) des Bildgenerators (46) auf einen ersten Teilprojektionsbereich (56a) des 360°-Projektionsbereichs (54) und den zweiten optischen Strahlengang (16b) von einem zweiten Bildbereich (48b) des Bildgenerators (46) auf einen zweiten Teilprojektionsbereich (56b) des 360°- Projektionsbereich (54) zu lenken, wobei der der zweite Bildbereich (48b) höchstens teilweise mit dem ersten Bildbereich (48a) überlappt.
23. Bildübertragungssystem (90) mit: einer Bilderfassungsvorrichtung ( 10; 30; 50; 60) gemäß einem der Ansprüche 1 -20; und einer Bildprojektionsvorrichtung (80) gemäß Anspruch 22; wobei die Bilderfassungsvorrichtung (10; 30; 50; 60) ausgebildet ist, um ein Übertragungssignal (58) bereitzustellen, das eine Bildinformation über den 360°- Objektbereich (22) aufweist und wobei die Bildprojektionsvorrichtung (80) ausgebil- det ist, um den 360°-Objektbereich (22) auf den 360°-Projektionsbereich (54) abzubilden.
24. Bildübertragungssystem gemäß Anspruch 23, das ausgebildet ist, um den 360°- Objektbereich (22) in Echtzeit auf den 360°-Projektionsbereich (54) abzubilden.
25. Verfahren (1000) zum Erfassen eines 360°-Objektbereichs (22) mit folgenden Schritten:
Bereitstellen (1010) eines Bildsensors (26);
Beeinflussen (1020) eines ersten optischen Strahlengangs (16a) mit einer ersten Abbildungsoptik (14a) einer optischen Einrichtung (12) und Beeinflussen eines zweiten optischen Strahlengangs (16b) mit einer zweiten Abbildungsoptik (14b) der optischen Einrichtung (12), um einen 360°-Objektbereich (22) zu erfassen;
Lenken (1030) des ersten optischen Strahlengangs (16a) auf einen ersten Bildsensorbereich (28a) des Bildsensors (26) mit einer Strahlumlenkeinrichtung (24); und
Lenken (1040) des zweiten optischen Strahlengangs (16b) mit der Strahlumlenkeinrichtung (24) auf einen zweiten Bildsensorbereich (28b) des Bildsensors (26), der höchstens teilweise mit dem ersten Bildsensorbereich (28a) überlappt.
26. Verfahren (1 100) zum Projizieren eines Bildes mit folgenden Schritten:
Darstellen (1 10) eines Bildes mit einem Bildgenerator (46) aus einem empfangenen Bildsignal (52);
Beeinflussen (1 120) eines ersten optischen Strahlengangs (16a) mit einer ersten Abbüdungsoptik (14a) einer optischen Einrichtung (12) und Beeinflussen eines zweiten optischen Strahlengangs (16b) mit einer zweiten Abbildungsoptik (14b) der optischen Einrichtung (12), um das Bild auf einen 360°-Projektionsbereich (54) zu projizieren; und
Lenken (1 130) des ersten optischen Strahlengangs ( 16a) von einem ersten Bildbereich (48a) des Bildgenerators (46) auf einen ersten Teilprojektionsbereich (56a) des 360°-Projektionsbereichs (54) mit einer Strahlumlenkeinrichtung (24), und Len- ken des zweiten optischen Strahlengangs (16b) von einem zweiten Bildbereich (48b) des Bildgenerators (46) auf einen zweiten Teilprojektionsbereich (56b) des 360°-Projektionsbereichs (54), der höchstens teilweise mit dem ersten Teilprojektionsbereich (56a) überlappt.
PCT/EP2017/064617 2016-06-15 2017-06-14 Bilderfassungsvorrichtung, bilderfassungssystem, bildprojektionsvorrichtung, bildübertragungssystem, verfahren zum erfassen eines 360°-objektbereichs und verfahren zum projizieren eines bildes WO2017216263A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112017002992.9T DE112017002992A5 (de) 2016-06-15 2017-06-14 Bilderfassungsvorrichtung, Bilderfassungssystem, Bildprojektionsvorrichtung, Bildübertragungssystem, Verfahren zum Erfassen eines 360°-Objektbereichs und Verfahren zum Projizieren eines Bildes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016210712.7A DE102016210712A1 (de) 2016-06-15 2016-06-15 Bilderfassungsvorrichtung, Bilderfassungssystem, Bildprojektionsvorrichtung, Bildübertragungssystem, Verfahren zum Erfassen eines 360°-Objektbereichs und Verfahren zum Projizieren eines Bildes
DE102016210712.7 2016-06-15

Publications (1)

Publication Number Publication Date
WO2017216263A1 true WO2017216263A1 (de) 2017-12-21

Family

ID=59258184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/064617 WO2017216263A1 (de) 2016-06-15 2017-06-14 Bilderfassungsvorrichtung, bilderfassungssystem, bildprojektionsvorrichtung, bildübertragungssystem, verfahren zum erfassen eines 360°-objektbereichs und verfahren zum projizieren eines bildes

Country Status (2)

Country Link
DE (2) DE102016210712A1 (de)
WO (1) WO2017216263A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020203791A1 (de) 2020-03-24 2021-09-30 Zf Friedrichshafen Ag Doppelkupplungsgetriebe und Hybrid-Antriebsstrang

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2368221A (en) * 2000-08-31 2002-04-24 Lee Scott Friend Camera apparatus having both omnidirectional and normal view imaging modes.
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US20100321471A1 (en) * 2009-06-22 2010-12-23 Casolara Mark Method and system for performing imaging
US9357116B1 (en) * 2015-07-22 2016-05-31 Ic Real Tech, Inc. Isolating opposing lenses from each other for an assembly that produces concurrent non-overlapping image circles on a common image sensor

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2252043A6 (en) * 1973-10-25 1975-06-13 Mas Roland Panoramic cine photography viewing head - images are transmitted by light pipes to film or to closed circuit TV
DE2926731C2 (de) * 1979-07-03 1982-03-11 Axel 4937 Lage Helmold Panorama-Kamera
DE20309891U1 (de) * 2003-06-26 2003-09-04 Ibeo Automobile Sensor Gmbh Videokamera mit großem Gesichtsfeldwinkel
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
WO2010062257A1 (en) * 2008-11-28 2010-06-03 Stelop Pte. Ltd. An apparatus for imaging
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2368221A (en) * 2000-08-31 2002-04-24 Lee Scott Friend Camera apparatus having both omnidirectional and normal view imaging modes.
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US20100321471A1 (en) * 2009-06-22 2010-12-23 Casolara Mark Method and system for performing imaging
US9357116B1 (en) * 2015-07-22 2016-05-31 Ic Real Tech, Inc. Isolating opposing lenses from each other for an assembly that produces concurrent non-overlapping image circles on a common image sensor

Also Published As

Publication number Publication date
DE112017002992A5 (de) 2019-02-21
DE102016210712A1 (de) 2017-12-21

Similar Documents

Publication Publication Date Title
CN101455071B (zh) 改进的全光照相机
DE112006002095T5 (de) Tiefen- und Seitengrössensteuerung von dreidimensionalen Bildern bei der Projektionsintegralbilddarstellung
EP2106657A2 (de) Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes
DE3133546C2 (de) Farbfernsehkamera
WO2012019875A1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes
DE102017206442A1 (de) Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
EP2011331B1 (de) Bilderfassungssystem zur rundumsicht
DE3239615A1 (de) Anordnung zum feststellen eines abstands zu einem objekt
DE69633589T2 (de) Verfahren und Gerät zur Verarbeitung von visuellen Informationen
DE102012202386B4 (de) Bildaufnahmevorrichtung, bildsignalverarbeitungsvorrichtung und steuerverfahren von bildaufnahmevorrichtung
EP1145069A2 (de) Anordnung, bei der von einer lichtquelle aus licht auf eine fläche gerichtet wird
DE60125880T2 (de) Verfahren und Linsensystem zum Modifizieren der Modulations-Transfer-Funktion von Licht für eine Kamera
EP2715692B1 (de) Überwachungseinrichtung
AU777081B2 (en) Method and objective lens for spectrally modifying light for an electronic camera
DE10226653B4 (de) Aufnahmelinsenanordnung
WO2017216263A1 (de) Bilderfassungsvorrichtung, bilderfassungssystem, bildprojektionsvorrichtung, bildübertragungssystem, verfahren zum erfassen eines 360°-objektbereichs und verfahren zum projizieren eines bildes
US8878909B1 (en) Synthesis of narrow fields of view to create artifact-free 3D images
DE102009008747B4 (de) Optisches Abbildungssystem
EP3900317B1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zur erzeugung einer tiefenkarte
EP3900318B1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation
DE102020201794B4 (de) Anamorphotisches objektivlinsensystem, kamerasystem und verfahren zum ausbilden von anamorphotischen linseneinheiten mit unterschiedlichen brennweiten
WO2020193581A1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zur erzeugung einer tiefenkarte
DE102006030273A1 (de) Abbilden optischer Bilder auf einen Bildsensor mittels einer faseroptischen Platte bzw. eines Faserkeils
DE102013200059A1 (de) Vorrichtung zur aufnahme eines von einer hauptlinse einer plenoptischen kamera erzeugten zwischenbilds und plenoptische kamera
WO1983004155A1 (en) Stereoscopic television

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17734257

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017002992

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17734257

Country of ref document: EP

Kind code of ref document: A1