WO2002075656A1 - Verfahren und system zur erfassung und darstellung dreidimensionaler objekte - Google Patents

Verfahren und system zur erfassung und darstellung dreidimensionaler objekte Download PDF

Info

Publication number
WO2002075656A1
WO2002075656A1 PCT/EP2002/002760 EP0202760W WO02075656A1 WO 2002075656 A1 WO2002075656 A1 WO 2002075656A1 EP 0202760 W EP0202760 W EP 0202760W WO 02075656 A1 WO02075656 A1 WO 02075656A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
recorded
recording
depth
depth mask
Prior art date
Application number
PCT/EP2002/002760
Other languages
English (en)
French (fr)
Inventor
Steffen Setzer
Dittmar Wright
Original Assignee
Scannova Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scannova Gmbh filed Critical Scannova Gmbh
Publication of WO2002075656A1 publication Critical patent/WO2002075656A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Definitions

  • the invention relates to a method and a system for detecting and displaying three-dimensional objects.
  • a method for creating a three-dimensional image from at least two-dimensional images in which a three-dimensional object is recorded by at least two cameras arranged horizontally around the object.
  • the three-dimensional object is irradiated with a stripe pattern during the recording.
  • a first of the recorded two-dimensional images is selected as a reference image, another image as a so-called second image.
  • a three-dimensional image is calculated using the so-called binocular principle, for which purpose the space in which the object is located is divided into so-called voxels and the values of each voxel in each of the two two-dimensional images are compared.
  • Identical voxels are identified by the irradiated stripe pattern.
  • cameras located further away are used to check surface points of the object.
  • Another method for emulating three-dimensional objects is known from EP 0 631 250 A2.
  • a plurality of cameras set up at different positions are provided, which are arranged movably and / or are suitable for recording a moving object. Similar to the methods already described, a camera is selected as the reference camera and, in relation to the image recorded by this camera, the points searched for in the images recorded by the other cameras are used as the basis for the calculation of the voxel contents.
  • the object to be photographed is arranged on a turntable in such a way that the camera which can be moved along the rail can be adjusted in the vertical direction around the object.
  • a disadvantage of the known systems and methods is that, owing to the complex calculation methods required to create the three-dimensional polygon data sets, they require data processing systems with a very large computing power.
  • a further disadvantage is that not only for the calculation of the polygon data sets but also on the part of the user large computer powers are required in order to be able to process the received data and to be able to display detected objects.
  • the object to be recorded is recorded with at least one camera from at least one recording direction relative to the object to be recorded at at least one recording time, with two-dimensional image data of each recording direction being recorded, so that for each An image data set is obtained at each recording time.
  • the object will appropriately cut free from the background in at least one image data set.
  • depth information representing the object is determined.
  • the object is displayed using at least one image data record with the associated depth mask.
  • the recorded image data set or the recorded image data sets can be transmitted with the associated depth masks directly to a display device for display. In this way, events can be transmitted and displayed directly.
  • a three-dimensional model of the object is therefore not calculated and used for display, as in known methods.
  • the recorded two-dimensional image data sets with the corresponding depth masks are used for the display.
  • a single image data record with an associated depth mask allows the viewer to rotate the displayed object by 15 to 30 degrees and to be able to view a spatial representation of the object.
  • the object to be recorded is recorded with at least one camera from at least one recording direction relative to the object to be recorded at at least one recording time, with two-dimensional image data of each recording direction being recorded at each recording time, so that for each recording direction an image data set is obtained.
  • the object is cut from the background in a suitable manner in at least one image data record.
  • a depth mask that reproduces depth information relating to the object is determined for at least one image data record.
  • the depth mask provides information on the depths, and thus on the spatial arrangement, of the image data points (pixels) that can be recognized in the associated image data record.
  • a three-dimensional model of the entire object is thus not calculated, but the two-dimensional image data sets are linked to depth information by covering the depth mask.
  • the object is cut free using the blue box method. It is important to ensure that the background is as uniform as possible, ie a background area with an essentially constant color tone is provided in the color space. With moving objects, the object can be cut out using a motion analysis.
  • the depth mask is preferably determined using the silhouette cutting method.
  • the stereo calculation method represents a further possibility for determining the depth mask.
  • the silhouette cutting method is less complex and results can be achieved more quickly with this.
  • the projection method in which a pattern is projected onto the object to be detected, is also suitable for determining the depth mask.
  • one of the cameras is preferably aligned as a control camera with respect to a moving object and the other cameras then align themselves depending on the alignment of the control camera.
  • a computer program according to the invention has program code means in order to carry out all steps of the method described above. This computer program is executed on a computer or a corresponding computing unit.
  • a computer program product has program code means which are stored on a computer-readable data carrier in order to carry out the method described above.
  • the program code means are stored on a computer-readable data carrier.
  • EEPROMs and flash memories, but also CD-ROMs, floppy disks or hard disk drives can be used as suitable data carriers.
  • a three-dimensional object is represented by means of at least one image data record with an associated depth mask, which reproduces depth information relating to the object.
  • the representation of the object is changed with an interaction device in such a way that the viewing direction or the viewing angle on the object changes, i.e. the perspective is changed.
  • the system according to the invention for recording and displaying three-dimensional objects has at least one camera, with which a three-dimensional object to be recorded can be recorded at least at one point in time from at least one recording direction. Furthermore, calculation means for cutting out the object in at least one image data set and calculation means for determining depth information relating to depth mask representing the object is provided for at least one image data set.
  • a display device is used to display the object by means of at least one image data set with an associated depth mask.
  • transmission means are provided for the direct transmission of the image data sets, a direct transmission is possible.
  • the invention can thus also be used in live broadcasts, such as sports events.
  • a recording medium for recording the at least one image data set with the associated depth mask. Protection is also provided for this record carrier. heard.
  • the record carrier according to the invention is used in a system according to the invention.
  • At least one image data record with an associated depth mask is recorded on the recording medium.
  • the depth mask reproduces depth information relating to the object to be displayed, taking into account the corresponding recording direction.
  • the depth mask is to be drawn over the image data set so that the object can be displayed from different viewing directions or perspectives.
  • the system according to the invention for capturing three-dimensional objects has at least one camera with which a three-dimensional object to be captured can be captured from at least one recording direction at at least one exceptional time, calculation means for cutting out the object in at least one image data set and computing means for determining a depth mask, the depth information relating to , of the object.
  • one of the cameras is preferably used as a control camera, which can be aligned with a moving object.
  • the other cameras then align themselves depending on the orientation of the control camera, so that the object is captured by all cameras at all times.
  • the system according to the invention for displaying a three-dimensional object has a display device for displaying the object by means of at least one image data record with an associated depth mask.
  • An interaction device is preferably provided with which changes are made to the representation of the object can be so that the direction of view or the angle of view of the object shown can be changed. In this way, the user can specify the viewing perspective and change it as required.
  • Figure 1 shows a preferred embodiment of a system according to the invention for detecting three-dimensional objects in plan view.
  • FIG. 2 shows a further preferred embodiment of the system according to the invention for detecting three-dimensional objects using an application example.
  • FIG. 3 shows a preferred embodiment for representing three-dimensional objects.
  • FIG. 1 shows a preferred embodiment of a system 10 according to the invention for detecting a three-dimensional object. Twelve cameras 12 are shown, which are around an object to be detected 14, in this case a polygon, are arranged at a defined distance. Furthermore, a central unit 16 is shown, which is connected to the twelve cameras 12 via connecting lines 18.
  • the twelve cameras 12 enable the object to be recorded from twelve different recording directions. If this does not appear to be sufficient, the object 14 can also be rotated in order to be able to record it from any number of recording directions. For example, a turntable can be used to move the object 14.
  • Each image data record thus contains the object viewed from a shooting direction, with the corresponding background.
  • the object is usually cut out of its background in each image data record.
  • Common processes such as the Bluebox process are used for this.
  • the background has an essentially constant hue in the color space.
  • a simple, clear and unambiguous delimitation of the object from the background is ensured.
  • the free cutting can be cut free by means of a movement analysis.
  • a depth mask is preferably determined for each image data set.
  • the depth mask gives information on the depth, and thus on the spatial arrangement, of the image data points that are contained in the associated image data record. No three-dimensional model of the entire object 14 is calculated, but depth masks are determined for the two-dimensional image data sets.
  • the two-dimensional image data sets are connected to depth information by “covering” the depth masks for the purpose of illustration.
  • the depth mask can be determined, for example, using the silhouette cutting method.
  • the image data sets of all cameras 12 are expediently blended together, and the depth masks obtained are again assigned to the corresponding image data sets.
  • An advantage of the silhouette cutting method is that the depth masks can be determined relatively quickly. All image data sets are advantageously used to calculate the depth masks. However, it can be provided that depth masks are not generated for all image data sets, and thus not for all exposure directions. The image data sets associated with depth masks are used to represent the detected object.
  • Depth masks are typically so-called grayscale images in which different shades of gray represent different depths.
  • the stereo method represents a further possibility for determining the depth masks.
  • at least two cameras 12 or one stereo camera are required. Since the relative position of the cameras 12 to the object is known in this method, a depth can be assigned to each of these points by comparing individual pixels in the recorded images. The depth information can also be used to separate objects from one another and from the background. So it is not necessary to first cut out the object and then determine the depth mask.
  • the depth masks can also be determined using the movement method.
  • temporally successive image data sets are compared with one another and, based on the change in the location of certain points, their depth is inferred.
  • moving objects can be separated from moving or stationary objects (background).
  • a depth mask can be generated by a speed analysis. With this method, too, it is not necessary to first cut out the object before determining the depth mask.
  • Another method for determining the depth masks is the so-called projection method.
  • a pattern is projected onto an object. Since the geometry of the pattern is known, the depth of the pixels of the image data record can be deduced from its distortion on the object surface. So that the pattern cannot be recognized by an observer, one works in the invisible area, e.g. in the ultraviolet or infrared range of the spectrum.
  • the combined driving can independently decide which procedure to use and when.
  • the methods can be combined as desired.
  • the object 14 can be cut free using a motion analysis and the depth masks can be determined using the silhouette cutting method.
  • each camera 12 is assigned a computing unit which carries out the necessary computing operations.
  • all cameras 12 are arranged in a horizontal plane. However, it is also entirely possible to arrange the cameras 12 vertically offset from one another.
  • FIG. 2 shows a further embodiment of a system 20 according to the invention.
  • the system 20 is used to record a soccer game.
  • FIG. 2 shows, in a highly simplified manner, a soccer field 22 which is surrounded by a hard shoulder 24 on which eight cameras 26 are arranged.
  • One of the cameras 26 serves as a control camera 28.
  • the control camera 28 tracks the moving soccer ball 30.
  • the other cameras 26 are aligned depending on the orientation of the control camera 28, so that all cameras 26, 28, namely the control camera 28 and the another seven cameras 26, record a spatial area in which the soccer ball 30 is located.
  • a computer program is preferably used which makes the various camera states and orientations of all cameras 26, 28 available at all times. This computer program not only controls the recording processes (live transmission) but also the cameras 26, 28 (zoom, movement and object tracking) automatically or partially automatically.
  • the control camera 28 and the other cameras 26 deliver image data sets at regular intervals, which show the object to be observed, in this case the soccer ball 30, from different recording directions.
  • This information is transmitted to a central unit 34 via data lines 32.
  • This central unit 34 contains calculation means and / or calculation means for cutting out football 30 and for determining the depth masks.
  • the entire system 20 can also be constructed decentrally by assigning a computing unit to each of the cameras 26, 28.
  • a particular advantage of the system according to the invention is that only a relatively small amount of data has to be transmitted.
  • the information relating to the background, such as the grandstand, soccer field, etc., is only recorded and processed at the beginning or at regular intervals.
  • the central unit 34 is connected to a transmission means 38 via a connection 36.
  • This is usually a radio unit with which the data obtained can be transmitted to any number of users.
  • the invention thus enables live transmission.
  • a recording device 40 with a recording medium 42 located therein is provided.
  • the data obtained, the so-called data streams, ie the image data sets with associated depth masks, can be stored on the recording medium 42.
  • the data transmission from the central unit 34 to the recording device 40 takes place via a connecting line 44.
  • the data streams contain two-dimensional image data, each of which is associated with information about the depth of football 30 in this image data set.
  • all depth information of the entire image is available. This means that depth information is available for all objects, ie also for the players not shown in the figure and for the soccer field 22.
  • the extent or the density of the depth information is preferably dependent on the relevance of the associated object, so that a gradient. is to be recorded in the depth information density.
  • the entire camera detection area Since the entire camera detection area is known, it should be noted that the virtual camera space of the moving camera is much larger than that of the current section, the entire camera detection area can be recorded and transmitted with maximum accuracy in advance, i.e. before the start of the game. The later recorded data stream or stream is then faded into this much larger environment (virtual image). This leads to a significant data reduction in live broadcast data.
  • CCD cameras or also CMOS or HDRC cameras or any other type of digital camera are preferably used as cameras 26, 28.
  • control camera 28 is generally operated by a cameraman.
  • the system described above can fully automatically control all other cameras 26 and the processes required to generate the necessary data streams.
  • the function of the other cameras 26 is tracked as a function of the control camera 28.
  • Virtual or real backgrounds can be used for the transfer.
  • a real background can be recorded before or after the sporting event. For example, 360 images of a stadium can be taken and later the corresponding background image can be shown in the display program. This is advantageous because the entire camera detection space, which is much larger than that of the current section, can be recorded with maximum accuracy in advance. The later stream is then superimposed on this previously recorded virtual image, so that data reduction for live broadcast data is achieved.
  • FIG. 3 shows a system 50 according to the invention for representing three-dimensional objects.
  • a playback device 52 can be seen, in this case a monitor.
  • Standard computers or Internet boxes (set-top boxes) can also be used as a system for the display.
  • the playback device 52 is connected via data lines 54 to a receiving unit 56 and a playback device 58.
  • a recording medium 60 is located in the playback device 58.
  • the playback device receives the data to be displayed via the receiving unit 56 or from the recording medium 60.
  • a soccer ball 62 can be recognized as a three-dimensional object to be displayed.
  • the display unit 52 shows other objects, such as the players, the football field 22 and also the grandstand with the spectators sitting on it.
  • the reproduction unit 52 receives the data streams or data streams captured by a system according to the invention for capturing three-dimensional objects.
  • Each data stream contains a sequence of image data sets with the associated depth masks.
  • the volume of data is very low, since the additional information for the depth masks, for example, only contains 1/5 of the information quantity of the image data sets.
  • the playback unit 52 is connected via a control line 64 to an interaction device 66, in this case a computer mouse 66. This mouse 66 can be moved back and forth on a base 68. With the mouse 66, the user can determine the direction of view of the football 62, ie he can determine the position from which he is viewing the game.
  • the mouse 66 has a first mouse button 70 and a second mouse button 72.
  • the user can change the viewing direction, for example.
  • the second mouse button 72 and moving the mouse 66 he can move back and forth in time in a film stored on the recording medium 60.
  • Other interaction options such as a joystick or a tracker, can also be provided. These can replace the mouse 66 or can be provided in addition to the mouse 66.
  • the playback device 52 receives incoming data streams.
  • Each camera 26, 28 supplies a sequence of image data sets, namely a film, which carries additional information (depth masks, camera data, camera position, camera orientation, etc.).
  • the films are preferably fed to the playback device 52 synchronously as individual data streams or data streams.
  • the playback device 52 manages the various cameras 26, 28 and can connect the respective films of the cameras 26, 28 and the additional information to one another.
  • the display device 52 displays the film of the individual camera perspectives in such a way that the user has a seamless transition from one camera perspective to the next. Not all of them have to be available still films are calculated or broadcast. Even a film is enough for a limited change in the observer perspective. For example, the films of three cameras, each offset by 120 degrees, can be used. In this case, the intermediate images are displayed somewhat less precisely.
  • the transmitted film or films are distorted with the additional information available.
  • This distortion can be thought of as follows: the incoming film from a camera is projected onto a rubber wall and this rubber wall can be distorted by additional information.
  • the user controls the distortion of the rubber wall and thus changes from one camera perspective to the next and also has the possibility of taking intermediate positions.
  • the user can interactively choose with the mouse 66 on the display device 52 which perspective he wants to take in order to view the film. He can take any viewing position at any time.
  • a three-dimensional model of an object is therefore not calculated and used for the display '.
  • the recorded two-dimensional images with the determined, associated depth masks are used in order to represent detected objects.
  • the user does not need a data processing system with high computing power. He can represent the object without complicated calculation procedures.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Es wird ein Verfahren und ein System zur Erfassung und Darstellung dreidimensionaler Objekte (14) vorgestellt. Bei dem Verfahren wird, mit mindestens einer Kamera (12) wenigstens ein Bild von einem zu erfassenden Objekt (14) aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen, wobei zweidimensionale Bildaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem Aufnahmezeitpunkt ein Bilddatensatz erhalten wird. Das Objekt (14) wird in wenigstens einem Bilddatensatz auf geeignete Weise von dem Hintergrund freigeschnitten, für mindestens einen Bilddatensatz wird eine Tiefeninformationen bezüglich des Objekts (14) wiedergebenden Tiefenmaske ermittelt, und mindestens ein Bilddatensatz wird in Verbindung mit der dazugehörigen Tiefenmaske dargestellt.

Description

Verfahren und System zur Erfassung und Darstellung dreidimensionaler Objekte
Die Erfindung betrifft ein Verfahren und ein System zur Erfassung und Darstellung dreidimensionaler Objekte.
Im Stand der Technik ist es bekannt, zum bildhaften Erfassen dreidimensionaler Objekte und der Erzeugung eines dreidimensionalen Bilddatensatzes mittels im allgemeinen mindestens zweier Kameras eine Abstandsmessung zu dem zu erfassenden Objekt durchzuführen und eine „Punktewolke", d.h. eine Vielzahl von Koordinatenpunkten mit zugeordneter Bildinformation, die die Oberfläche des zu erfassenden Objektes darstellen, zu erzeugen. In einem weiteren Schritt werden die ermittelten Punkte mittels eines aufwendigen Rechenverfahrens zu Flächen verknüpft, die die Oberfläche des Objektes topologisch beschreiben. Das Ergebnis ist ein 3D-Poly- gondatensatz des erfaßten Objekts.
Aus der US-PS 5 818 959 ist ein Verfahren zum Erstellen eines dreidimensionalen Bildes aus mindestens zweidimensionalen Bildern bekannt, bei dem ein dreidimensionales Objekt von mindestens zwei horizontal um das Objekt angeordneten Kameras aufgenommen wird. Während der Aufnahme wird das dreidimensionale Objekt mit einem Streifenmuster bestrahlt. Ein erstes der aufgenommenen zweidimensionalen Bilder wird als Referenzbild, ein weiteres Bild als sogenanntes zweites Bild ausgewählt. Auf der Grundlage dieser beiden aus leicht unterschiedlichen Standorten aufgenommenen Bildern wird nach dem sogenannten Binokularprinzip ein dreidimensionales Bild errechnet, wozu der Raum, in dem sich das Objekt be- findet, in sogenannte Voxels unterteilt wird und die Werte eines jeden Voxels in jedem der beiden zweidimensionalen Bilder miteinander verglichen werden. Eine Identifizierung gleicher Voxels wird durch das eingestrahlte Streifenmuster erzielt . Zur Minimierung des Rechenaufwandes und Umgehung des sogenannten Hintergrundproblems werden zur Überprüfung von Oberflächenpunkten des Objekts weiter entfernt liegende Kameras benutzt.
Aus der US-PS 4 982 438 ist ein Verfahren zum Erkennen der dreidimensionalen Form eines Objektes bekannt, bei dem das aufzunehmende Objekt von vier insbesondere jeweils senkrecht zueinander angeordneten Kamerapaaren umgeben ist, die in einer horizontalen Ebene angeordnet sind. Die Kamerapaare nehmen jeweils ein binokulares Bild des Objekts auf. Auf der Grundlage dieser Bilder wird die dreidimensionale Form des Objekts berechnet, indem die binokulare Rechenmethode mit der sogenannten Kegel-Silhouettenmethode (Cone-Sil- houetting Method) kombiniert wird.
Aus der EP 0 631 250 A2 ist ein weiteres Verfahren zur Nachbildung dreidimensionaler Objekte bekannt. Bei diesem Verfahren sind mehrere an unterschiedlichen Positionen aufgestellte Kameras vorgesehen, die beweglich angeordnet sind und/oder zur Aufnahme eines bewegten Objekts geeignet sind. Ähnlich wie bei den bereits beschriebenen Verfahren wird eine Kamera als Referenzkamera ausgewählt und es werden im Verhältnis zu dem von dieser Kamera aufgenommenen Bild in den von den anderen Kameras aufgenommenen Bildern übereinstimmende Punkte gesucht, die als Grundlage für die Berechnung der Voxel-Inhalte dienen.
Aus der US-PS 4 825 393, US-PS 5 432 712, US-PS 5 577 130, US-PS 5 561 526 und US-PS 4 654 872 sind jeweils Verfahren zum Ausmessen dreidimensionaler Gegenstände bzw. zur Ab- Standsmessung bekannt, die auf von der Binokularmethode ausgehenden komplexen Berechnungen beruhen.
Die Firma Kaidan, Feasterville, Pennsylvania, USA, bietet unter der Bezeichnung Meridian C-60 ein Fotografiergerüst an, das eine im wesentlichen C-förmige Schiene umfaßt, entlang deren Innenseite eine Kamera verfahrbar angeordnet ist. Das zu fotografierende Objekt wird auf einem Drehteller derart angeordnet, daß die entlang der Schiene verfahrbare Kamera in vertikaler Richtung um das Objekt verstellbar ist.
Bei den bekannten Systemen und Verfahren ist nachteilig, daß sie aufgrund der notwendigen komplexen Berechnungsmethoden zur Erstellung der dreidimensionalen Polygondatensätze Datenverarbeitungsanlagen mit sehr großer Rechnerleistung benötigen. Ein weiterer Nachteil ist, daß nicht nur zur Berechnung der Polygondatensätze sondern auch auf Seiten des Nutzers große Rechnerleistungen erforderlich sind, um die empfangenen Daten verarbeiten und erfaßte Objekte darstellen zu können.
Demgegenüber wird ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 19 vorgeschlagen. Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen.
Bei dem erfindungsgemäßen Verfahren zur Erfassung und Darstellung dreidimensionaler Objekte wird das zu erfassende Objekt mit mindestens einer Kamera aus mindestens einer Auf ahmerichtung relativ zu dem zu erfassenden Objekt zu mindestens einem AufnähmeZeitpunkt aufgenommen, wobei zwei- dimensionale Bilddaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem Aufnahme- zeitpunkt ein Bilddatensatz erhalten wird. Das Objekt wird in wenigstens einem Bilddatensatz auf geeignete Weise von dem Hintergrund freigeschnitten. Für mindestens einen Bilddatensatz wird eine Tiefeninformationen bezüglich des Objektes wiedergebende Tiefenmaske ermittelt. Abschließend wird das Objekt mittels mindestens eines Bilddatensatzes mit der dazugehörigen Tiefenmaske dargestellt.
Der aufgenommene Bilddatensatz bzw. die aufgenommenen Bilddatensätze können mit den dazugehörigen Tiefenmasken direkt an eine Wiedergabeneinrichtung zur Darstellung übertragen werden. So können Ereignisse direkt übertragen und dargestellt werden.
Im Gegensatz dazu ist es jedoch auch möglich, die erhaltenen Bilddatensätze mit den dazugehörigen Tiefenmasken auf einem Aufzeichnungsträger aufzuzeichnen.
Bei dem erfindungsgemäßen Verfahren wird somit nicht wie bei bekannten Verfahren ein dreidimensionales Modell des Objekts berechnet und zur Darstellung verwendet. Zur Darstellung dienen die aufgenommenen zweidimensionalen Bilddatensätze mit den entsprechenden Tiefenmasken. Es findet lediglich eine Speicherung zweidimensionaler Daten statt, denen jeweils Informationen zur Tiefe des Objekts in diesem Bilddatensatz zugeordnet sind, anstatt aus einer Fülle aufgenommener zweidimensionaler Daten einen dreidimensionalen Objektdatensatz zu berechnen.
Bereits ein einziger Bilddatensatz mit zugehöriger Tiefenmaske erlaubt es dem Betrachter, das dargestellte Objekt um 15 bis 30 Grad zu drehen und dabei eine räumliche Darstellung des Objekts betrachten zu können.
Vorzugsweise wird, wenn ein bewegtes Objekt zu aufeinanderfolgenden Aufnahmezeitpunkten aufgenommen wird, bei jedem Bilddatensatz immer nur die Informationen weitergegeben, die dem zuvorerhaltenen Bilddatensatz nicht zu entnehmen sind. Dies führt zu einer erheblichen Verringerung des Datenaufkommens. Zweckmäßigerweise werden jedoch in regelmäßigen Abständen immer wieder sämtliche Informationen übertragen.
Bei dem erfindungsgemäßen Verfahren zur Erfassung dreidimensionaler Objekte wird das zu erfassende Objekt mit mindestens einer Kamera aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt zu mindestens einem AufnahmeZeitpunkt aufgenommen, wobei zweidimensionale Bilddaten jeder Aufnahmerichtung zu jedem Aufn hmeZeitpunkt aufgenommen werden, so daß für jede Aufnahmerichtung ein Bilddatensatz erhalten wird. Das Objekt wird in wenigstens einem Bilddatensatz auf geeignete Weise von dem Hintergrund freigeschnitten. Für mindestens einen Bilddatensatz wird eine Tiefenmaske ermittelt, die Tiefeninformationen bezüglich des Objekt wiedergibt.
Die Tiefenmaske gibt Informationen zu den Tiefen, somit zur räumlichen Anordnung, der Bilddatenpunkte (Pixel) wieder, die im dazugehörigen Bilddatensatz zu erkennen sind. Es wird somit nicht ein dreidimensionales Modell des gesamten Objekts berechnet, sondern die zweidimensionalen Bilddatensätze durch Überziehen der Tiefenmaske mit Tiefeninformationen verbunden.
In einer Ausführungsform wird das Objekt mittels des Blue- box-Verfahrens freigeschnitten. Bei diesem ist darauf zu achten, daß der Hintergrund möglichst einheitlich ist, d.h. eine Hintergrundfläche mit im wesentlichen konstantem Farbton im Farbraum vorgesehen ist. Bei bewegten Objekten kann das Objekt mittels einer Bewegungsanalyse freigeschnitten werden.
Die Tiefenmaske wird vorzugsweise mit dem Silhouetten- schnittverfahren ermittelt. Eine weitere Möglichkeit zum Ermitteln der Tiefenmaske stellt das Stereoberechnungsverfahren dar. Im Gegensatz zum Stereoberechnungsverfahren ist das Silhouettenschnittverfahren weniger aufwendig und mit diesem sind schneller Ergebisse zu erzielen.
Weiterhin ist es möglich, für ein bewegtes Objekt die Tiefenmaske mit dem Bewegungsverfahren zu ermitteln. Auch das Projektionsverfahren, bei dem ein Muster auf das zu erfassende Objekt projiziert wird, eignet sich zur Ermittlung der Tiefenmaske.
Sind mehrere Kameras vorgesehen, wird vorzugsweise eine der Kameras als Steuerkamera bezüglich eines bewegten Objekts ausgerichtet und die anderen Kameras richten sich dann in Abhängigkeit der Ausrichtung der Steuerkamera aus.
Ein erfindungsgemäßes Computerprogramm weist Programmcodemittel auf, um alle Schritte des vorstehend beschriebenen Verfahrens durchzuführen. Dieses Computerprogramm wird auf einem Computer oder einer entsprechenden Recheneinheit zur Ausführung gebracht.
Ein erfindungsgemäßes Computerprogrammprodukt weist Programmcodemittel auf, die auf einem computerlesbaren Datenträger gespeichert sind, um das vorstehend beschriebene Verfahren durchzuführen. Die Programmcodemittel sind auf einem computerlesbaren Datenträger gespeichert. Als geeignete Datenträger können EEPROMs und Flashmemories, aber auch CD-ROMs, Disketten oder Festplattenlaufwerke verwendet werden . Bei dem erfindungsgemäßen Verfahren zur Darstellung dreidimensionaler Objekte wird ein dreidimensionales Objekt mittels mindestens eines Bilddatensatzes mit einer dazugehörigen Tiefenmaske, die Tiefeninformationen bezüglich des Objekts wiedergibt, dargestellt.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird die Darstellung des Objekts mit einer Interaktionseinrichtung derart verändert, daß sich die Blickrichtung bzw. der Blickwinkel auf das Objekt ändert, d.h. die Betrachtungsperspektive wird geändert.
Das erfindungsgemäße System zur Erfassung und Darstellung dreidimensionaler Objekte weist mindestens eine Kamera auf, mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensionales Objekt zu mindestens einem Auf ah- mezeitpunkt aufgenommen werden kann. Des weiteren sind Berechnungsmittel zum Freischneiden des Objekts in wenigstens einem Bilddatensatz und Rechenmittel zum Ermitteln einer Tiefeninformationen bzgl . des Objekts wiedergebenden Tiefenmaske für mindestens einen Bilddatensatz vorgesehen. Eine Wiedergabeeinrichtung dient zum Darstellen des Objekts mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske.
Sind Übertragungsmittel zur direkten Übertragung der Bilddatensätze vorgesehen, ist eine direkte Übertragung möglich. Die Erfindung kann somit auch bei Live-Übertragungen, wie bspw. Sportereignisse, eingesetzt werden.
In einer anderen Ausgestaltung der Erfindung ist ein Aufzeichnungsträger zum Aufzeichnen des mindestens einen Bilddatensatzes mit der dazugehörigen Tiefenmaske vorgesehen. Für diesen Aufzeichnungsträger wird ebenfalls Schutz be- gehrt . Der erfindungsgemäße Aufzeichnungsträger dient zur Anwendung in einem erfindungsgemäßen System. Auf dem Aufzeichnungsträger ist mindestens ein Bilddatensatz mit einer dazugehörigen Tiefenmaske aufgezeichnet . Die Tiefenmaske gibt Tiefeninformationen bezüglich des darzustellenden Objekts wieder, unter Berücksichtigung der entsprechenden Aufnahmerichtung . Die Tiefenmaske ist über den Bilddatensatz zu ziehen, so daß eine Darstellung des Objekts aus unterschiedlichen Blickrichtungen bzw. Perspektiven möglich ist .
Das erfindungsgemäße System zur Erfassung dreidimensionaler Objekte weist mindestens eine Kamera, mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensionales Objekt zu mindestens einem Ausnahmezeitpunkt aufgenommen werden kann, Berechnungsmittel zum Freischneiden des Objekts in wenigstens einem Bilddatensatz und Rechenmittel zum Ermitteln einer Tiefenmaske, die Tiefeninformationen bzgl . des Objekts wiedergibt, auf.
In einer bevorzugten Ausführungsform sind mehrere Kameras vorgesehen. Bei dieser Ausführung dient vorzugsweise eine der Kameras als Steuerkamera, die auf ein bewegtes Objekt ausgerichtet werden kann. Die anderen Kameras richten sich dann in Abhängigkeit der Ausrichtung des Steuerkamera aus, so daß von allen Kameras das Objekt zu jedem Zeitpunkt erfaßt wird.
Das erfindungsgemäße System zur Darstellung eines dreidimensionalen Objekts weist eine Wiedergabeeinrichtung zum Darstellen des Objekts mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske auf.
Vorzugsweise ist eine Interaktionseinrichtung vorgesehen, mit der Änderungen der Darstellung des Objekts vorgenommen werden können, so daß die Blickrichtung bzw. der Blickwinkel auf das dargestellte Objekt verändert werden kann. Der Benutzer kann auf diese Weise die Betrachtungsperspektive vorgeben und je nach Bedarf ändern.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnung näher erläutert .
Figur 1 zeigt eine bevorzugte Ausführungsform eines erfindungsgemäßen Systems zur Erfassung dreidimensionaler Objekte in Draufsicht.
Figur 2 zeigt eine weitere bevorzugte Ausführungsform des erfindungsgemäßen Systems zur Erfassung dreidimensionaler Objekte anhand eines Anwendungsbeispiels .
Figur 3 zeigt eine bevorzugte Ausführungsform zur Darstellung dreidimensionaler Objekte.
Die Figur 1 zeigt zur Veranschaulichung des der Erfindung zugrundeliegenden Prinzips eine bevorzugte Ausführungsform eines erfindungsgemäßen Systems 10 zur Erfassung eines dreidimensionalen Objekts. Es sind zwölf Kameras 12 dargestellt, die um ein zu erfassendes Objekt 14, in diesem Fall ein Vieleck, in definiertem Abstand angeordnet sind. Weiterhin ist eine Zentraleinheit 16 gezeigt, die über Verbindungsleitungen 18 mit den zwölf Kameras 12 verbunden ist.
Die zwölf Kameras 12 ermöglichen die Aufnahme des Objekts aus zwölf verschiedenen Aufnahmerichtungen. Erscheint dies nicht ausreichend, kann das Objekt 14 zusätzlich noch gedreht werden, um dieses aus einer beliebigen Anzahl von Auf ahmerichtungen aufnehmen zu können. Zum Bewegen des Objekts 14 kann zum Beispiel ein Drehteller dienen.
Zur Erfassung des dreidimensionalen Objekts 14 wird dieses mit den zwölf Kameras 12 aus zwölf verschieden Aufnahmerichtungen aufgenommen. So wird für jede Aufnahmerichtung ein Bilddatensatz erhalten. Soll ein bewegtes Objekt 14 erfaßt werden, werden zweckmäßigerweise zu mehreren AufnahmeZeitpunkten jeweils zwölf Bilddatensätze aufgenommen.
Jeder Bilddatensatz enthält somit das Objekt aus einer Aufnahmerichtung betrachtet, mit dem entsprechenden Hintergrund. Zunächst wird üblicherweise in jedem Bilddatensatz das Objekt von seinem Hintergrund freigeschnitten. Hierzu dienen gängige Verfahren, wie bspw. das Bluebox-Verfahren. Hierfür weist der Hintergrund einen im wesentlichen konstanten Farbton im Farbraum auf. Mit einer derartigen Hintergrundfläche, die so ausgestaltet ist, daß sie in jedem von den Kameras aufgenommen Bild im wesentlichen den gesamten Bildhintergrund des aufgenommenen Objekts darstellt, ist eine einfache, klare und eindeutige Abgrenzung des Objekts zum Hintergrund gewährleistet . Bei einem bewegten Objekt 14 kann das Freischneiden mittels einer Bewegungsanalyse freigeschnitten werden.
Vorzugsweise wird für jeden Bilddatensatz eine Tiefenmaske ermittelt. Die Tiefenmaske gibt Informationen zu der Tiefe, und somit zur räumlichen Anordnung, der Bilddatenpunkte, die im dazugehörigen Bilddatensatz enthalten sind. Es wird kein dreidimensionales Modell des gesamten Objekts 14 berechnet, sondern zu den zweidimensionalen Bilddatensätzen Tiefenmasken ermittelt. Zur Darstellung werden die zweidimensionalen Bilddatensätze durch „Überziehen" der Tiefenmasken mit Tiefeninformationen verbunden.
Die Tiefenmaske kann bspw. mit dem Silhouettenschnitt- verfahren ermittelt werden. Hierzu werden zweckmäßigerweise die Bilddatensätze aller Kameras 12 miteinander verschnitten, und die erhaltenen Tiefenmasken wieder den entsprechenden Bilddatensätzen zugeordnet. Bei dem Sil- houettenschnittverfahren ist von Vorteil, daß die Tiefenmasken verhältnismäßig schnell ermittelt werden können. Vorteilhafterweise werden alle Bilddatensätze zur Berechnung der Tiefenmasken herangezogen. Es kann jedoch vorgesehen sein, daß nicht für alle Bilddatensätze, somit nicht für alle Aufnahmerichtungen Tiefenmasken erzeugt werden. Die mit Tiefenmasken verbundenen Bilddatensätze dienen zur Darstellung des erfaßten Objekts.
Tiefenmasken sind typischerweise sogenannte Grauwertbilder, in denen unterschiedliche Grautöne verschiedene Tiefen repräsentieren.
Eine weitere Möglichkeit zur Ermittlung der Tiefenmasken stellt das Stereoverfahren dar. Hierfür benötigt man zumindest zwei Kameras 12 oder eine Stereokamera. Da die relative Position der Kameras 12 zu dem Objekt bei diesem Verfahren bekannt ist, kann durch Vergleich einzelner Bildpunkte in den aufgenommen Bildern jedem dieser Punkte eine Tiefe zugeordnet werden. Anhand der Tiefeninformationen können auch Objekte voneinander und vom Hintergrund getrennt werden. So ist es nicht notwendig, das Objekt zunächst freizuschneiden und anschließend die Tiefenmaske zu ermitteln.
Für bewegte Objekte 14 können die Tiefenmasken auch mit dem Bewegungsverfahren ermittelt werden. Bei diesem werden zeitlich aufeinanderfolgende Bilddatensätze miteinander verglichen und aufgrund der Änderung des Orts bestimmter Punkte auf deren Tiefe geschlossen. Durch die Beobachtung und Verarbeitung aufeinanderfolgender Bilder können sich bewegende Objekte von sich anders bewegenden oder stillstehenden Objekten (Hintergrund) getrennt werden. Durch eine Geschwindigkeitsanalyse kann eine Tiefenmaske erzeugt werden. Auch bei diesem Verfahren ist es nicht notwendig, zuerst das Objekt vor der Ermittlung der Tiefenmaske freizuschneiden.
Ein weiteres Verfahren zur Ermittlung der Tiefenmasken stellt das sogenannte Projektionsverfahren dar. Hierbei wird ein Muster auf ein Objekt projiziert. Da die Geometrie des Musters bekannt ist, kann durch dessen Verzerrung auf der Objektoberfläche auf die Tiefe der Bildpunkte des Bilddatensatzes geschlossen werden. Damit das Muster für einen Betrachter nicht zu erkennen ist, arbeitet man im nichtsichtbaren Bereich, z.B. im ultravioletten oder im infraroten Bereich des Spektrums.
Es ist möglich, nur eines dieser beschriebenen Verfahren zur Erzeugung der Tiefenmaske anzuwenden. In einer vorteilhaften Ausgestaltung der Erfindung werden die Ver- fahren miteinander kombiniert . Das System kann selbständig entscheiden, welches Verfahren wann anzuwenden ist. Grundsätzlich können die Verfahren beliebig kombiniert werden. So kann bspw. das Objekt 14 mittels einer Bewegungsanalyse freigeschnitten und die Tiefenmasken mit dem Silhouettenschnittverfahren ermittelt werden.
In der in Figur 1 gezeigten Ausführungsform des erfindungsgemäßen Systems 10 sind die Berechnungsmittel zum Freischneiden des Objekts und die Rechenmittel zum Ermitteln der Tiefenmasken in der Zentraleinheit enthalten. Es ist aber auch durchaus denkbar, daß jeder Kamera 12 eine Recheneinheit zugeordnet ist, die die notwendigen Rechenoperationen durchführt .
Bei dem in Figur 1 gezeigten System 10 sind alle Kameras 12 in einer horizontalen Ebene angeordnet. Es ist aber auch durchaus möglich, die Kameras 12 vertikal versetzt zueinander anzuordnen.
In Figur 2 ist eine weiter Ausführungsform eines erfindungsgemäßen Systems 20 dargestellt. Das System 20 dient in der gezeigten Darstellung zur Aufnahme eines Fußballspiels. Figur 2 zeigt stark vereinfacht ein Fußballfeld 22, das von einem Seitenstreifen 24 umgeben ist, auf dem acht Kameras 26 angeordnet sind. Eine der Kameras 26 dient als Steuerkamera 28.
In der Darstellung ist auf dem Fußballfeld 22 lediglich ein Fußball 30 dargestellt.
Die Steuerkamera 28 wird dem bewegten Fußball 30 nachgeführt. Die anderen Kameras 26 richten sich in Abhängigkeit der Ausrichtung der Steuerkamera 28 aus, so daß alle Kameras 26, 28, nämlich die Steuerkamera 28 und die anderen sieben Kameras 26, einen räumlichen Bereich, in dem sich der Fußball 30 befindet, aufnehmen.
Vorzugsweise wird ein Computerprogramm verwendet, das die verschiedenen Kamerazustände und Ausrichtungen aller Kameras 26, 28 zu jedem Zeitpunkt verfügbar macht. Dieses Computerprogramm steuert nicht nur die Aufnahmeprozesse (Live-Übertragung) sondern auch die Kameras 26, 28 (Zoom, Bewegung und Objektverfolgung) automatisch oder teilautomatisiert .
Die Steuerkamera 28 und die anderen Kameras 26 liefern in regelmäßigen Abständen Bilddatensätze, die das zu beobachtende Objekt, in diesem Fall den Fußball 30, aus unterschiedlichen Aufnahmerichtungen zeigen. Diese Informationen werden über Datenleitungen 32 zu einer Zentraleinheit 34 übertragen. In dieser Zentraleinheit 34 sind Berechnungsmittel und/oder Rechenmittel zum Frei- schneiden des Fußballs 30 und zum Ermitteln der Tiefenmasken enthalten. Das ganze System 20 kann aber auch dezentral aufgebaut sein, indem jeder der Kameras 26, 28 eine Recheneinheit zugeordnet ist .
Ein besonderer Vorteil des erfindungsgemäßen Systems ist, daß nur eine relativ geringe Datenmenge übertragen werden muß. Die Informationen bezüglich des Hintergrunds, wie Tribüne, Fußballfeld usw. werden nur zu Beginn oder in regelmäßigen Abständen erfaßt und verarbeitet.
Die Zentraleinheit 34 ist über eine Verbindung 36 mit einem Übertragungsmittel 38 verbunden. Dies ist üblicherweise eine Funkeinheit, mit der die erhaltenen Daten zu beliebig vielen Nutzern übertragen werden können. Die Erfindung ermöglicht somit eine Live-Übertragung. Weiterhin ist ein Aufzeichnungsgerat 40 mit einem darin befindlichen Aufzeichnungsträger 42 vorgesehen. Die erhaltenen Daten, die sogenannten Datenstreams, d.h. die Bilddatensätze mit zugehörigen Tiefenmasken, können auf dem Aufzeichnungsträger 42 gespeichert werden. Die Datenübertragung von der Zentraleinheit 34 zum Aufzeichnungsgerät 40 erfolgt über eine Verbindungsleitung 44.
Die Datenstreams enthalten zweidimensionale Bilddaten, denen jeweils Informationen zur Tiefe des Fußballs 30 in diesem Bilddatensatz zugeordnet sind. Typischerweise sind alle Tiefeninformationen des gesamten Bildes vorhanden. Das heißt, daß Tiefeninformationen zu allen Objekten, also auch zu den in der Figur nicht dargestellten Spielern und zum Fußballfeld 22 vorhanden sind. Vorzugsweise ist der Umfang bzw. die Dichte der Tiefeninformationen abhängig von der Relevanz des zugehörigen Objekts, so daß ein Gradient . in der Tiefeninformationsdichte zu verzeichnen ist.
Um eine weitere Datenreduktion zu erzielen, werden nicht ständig sämtliche Informationen der Bilddatensätze an das Übertragungsmittel 38 übertragen bzw. auf dem Aufzeichnungsträger 42 aufgezeichnet. Zunächst werden im sogenannten Keyframe 100% der Daten übertragen bzw. aufgezeichnet. Zum nächsten Aufnahmezeitpunkt werden im sogenannten p-frame bspw. nur 30% der Daten übertragen und anschließend im sogenannten i-frame bspw. lediglich 10%. Bei dieser inkrementeilen Methode werden immer nur die Informationen übertragen, die dem Bilddatensatz des vorigen Aufnahmezeitpunkts nicht zu entnehmen sind. In regelmäßigen Abständen werden aber wieder alle Daten übertragen, um eine Fehlerkorrektur vornehmen zu können. Dieses Verfahren ist dem m-peg-Verfahren sehr ähnlich und kann sogar wie dieses aufgebaut sein. Da der gesamte Kameraerfassungsraum bekannt ist, wobei zu beachten ist, daß der virtuelle Kameraraum der bewegten Kamera viel größer ist als der des momentanen Ausschnitts, kann der gesamte Kameraerfassungsraum im Vorfeld, also vor Beginn des Spiels, in maximaler Genauigkeit aufgenommen und übertragen werden. Der später aufgenommene Datenstream bzw. Stream wird dann in dieses viel größere Umfeld (virtuelle Bild) eingeblendet. Dies führt zu einer erheblichen Datenreduktion bei Live-Sendedaten.
Für eine weitere Fehlerkorrektur empfiehlt es sich, zu etwa einhundert Aufnahmezeitpunkten pro Sekunde Bilddatensätze zu erstellen und durch eine Mittelwertbildung die aufgetretenen Fehler zu kompensieren. Zu Darstellung bewegter Objekte sind nur etwa 25 Bildatensätze pro Sekunde notwendig .
Als Kameras 26, 28 dienen vorzugsweise CCD-Kameras oder auch CMOS- oder HDRC-Kameras oder jede andere Art digitaler Kamera.
Bei einer Fußballübertragung wird in der Regel die Steuerkamera 28 von einem Kameramann bedient. Das vorstehend beschriebene System kann vollautomatisch alle anderen Kameras 26 und die erforderlichen Prozesse steuern, um die notwendigen Datenströme zu erzeugen. Die anderen Kameras 26 werden in ihrer Funktion in Abhängigkeit der Steuerkamera 28 nachgeführt.
Bei der Übertragung können virtuelle oder reale Hintergründe verwendet werden. Ein realer Hintergrund kann vor oder nach dem Sportereignis aufgenommen werden. Es können bspw. 360 Bilder eines Stadions aufgenommen werden und später die entsprechende Hintergrundaufnahme im Darstellungsprogramm eingeblendet werden. Dies ist vorteilhaft, da so im Vorfeld der gesamte Kameraerfassungsraum, der viel größer als der des momentanen Ausschnitts ist, in maximaler Genauigkeit aufgenommen werden kann. Der spätere Stream wird dann in dieses zuvor aufgenommene, virtuelle Bild eingeblendet, so daß eine Datenreduktion für Live-Sendedaten erreicht wird.
Figur 3 zeigt ein erfindungsgemäßes System 50 zur Darstellung dreidimensionaler Objekte. Zu erkennen ist eine Wiedergabeeinrichtung 52, in diesem Fall ein Monitor. Als System zur Darstellung können auch Standardrechner oder Internetboxen (Settop Box) verwendet werden.
Die Wiedergabeeinrichtung 52 ist über Datenleitungen 54 mit einer Empfangseinheit 56 und einem Abspielgerät 58 verbunden. In dem Abspielgerät 58 befindet sich ein Aufzeichnungsträger 60. Über die Empfangseinheit 56 oder von dem Aufzeichnungsträger 60 empfängt die Wiedergabeeinrichtung die darzustellenden Daten. In diesem Fall ist ein Fußball 62 als darzustellendes, dreidimensionales Objekt zu erkennen. Außerdem zeigt die Wiedergabeeinheit 52 andere Objekte, wie bspw. die Spieler, das Fußbailfeld 22 und auch die Tribüne mit den auf dieser sitzenden Zuschauern.
Die Wiedergabeeinheit 52 empfängt die von einem erfindungsgemäßen System zur Erfassung dreidimensionaler Objekte erfaßten Datenströme bzw. Datenstreams. Jeder Datenstrom enthält eine Abfolge von Bilddatensätzen mit den dazugehörigen Tie enmasken. Dabei ist das Datenaufkommen sehr gering, da die Zusatzinformationen für die Tiefenmasken beispielsweise lediglich l/5 der Informationsmenge der Bilddatensätze aufweisen. Die Wiedergabeeinheit 52 ist über eine Steuerleitung 64 mit einer Interaktionseinrichtung 66, in diesem Fall eine Computermaus 66, verbunden. Diese Maus 66 kann auf einer Unterlage 68 hin- und herbewegt werden. Mit der Maus 66 kann der Nutzer die Blickrichtung auf den Fußball 62 bestimmen, d.h. er kann bestimmen, von welcher Position aus er das Spiel betrachtet .
Die Maus 66 weist eine erste Maustaste 70 und eine zweite Maustaste 72 auf . Durch Drücken der ersten Maustaste 70 und Bewegen der Maus 66 kann der Nutzer beispielsweise die Blickrichtung ändern. Durch Drücken der zweiten Maustaste 72 und Bewegen der Maus 66 kann er sich in einem auf dem Aufzeichnungsträger 60 gespeicherten Film zeitlich vor- und zurückbewegen. Es können durchaus auch weitere Interaktionsmöglichkeiten, wie bspw. ein Joystick oder ein Tracker, vorgesehen sein. Diese können die Maus 66 ersetzen oder zusätzlich zu der Maus 66 vorgesehen sein.
Die Wiedergabeeinrichtung 52 empfängt ankommende Daten- strδme. Jede Kamera 26, 28 liefert eine Abfolge von Bilddatensätzen, nämlich einen Film, der Zusatzinformationen (Tiefenmasken, Kameradaten, Kameraposition, Kameraorientierung usw.) mit sich führt. Die Filme werden bevorzugt der Wiedergabeeinrichtung 52 synchron als einzelne Datenströme bzw. Datenstreams zugeführt. Die Wiedergabeeinrichtung 52 verwaltet die verschiedenen Kameras 26, 28 und kann die jeweiligen Filme der Kameras 26, 28 und die Zusatzinformationen miteinander verbinden. Die Wiedergabeeinrichtung 52 stellt den Film der einzelnen Kameraperspektiven so dar, daß für den Benutzer ein lückenloser Übergang von der einen Kameraperspektive zur nächsten entsteht. Dabei müssen nicht alle zur Verfügung stehenden Filme berechnet oder übertragen werden. Es reicht sogar ein Film für ein begrenztes Ändern der Beobachterperspektive. Es können bspw. die Filme dreier Kameras, die jeweils um 120 Grad zueinander versetzt stehen, verwendet werden. Die Zwischenbilder werden in diesem Fall etwas weniger exakt dargestellt. Der übertragene Film bzw. die übertragenen Filme werden mit den zur Verfügung stehenden Zusatzinformationen verzerrt.
Dieses Verzerren kann man sich in etwa so vorstellen: Der ankommende Film einer Kamera wird auf eine Gummiwand projiziert und diese Gummiwand kann durch Zusatzinformationen verzerrt werden. Der Benutzer steuert durch Bedienung der Maus 66 die Verzerrung der Gummiwand und wechselt so von einer Kameraperspektive zur nächsten und hat auch die Möglichkeit, Zwischenpositionen einzunehmen.
Der Benutzer kann mit der Maus 66 an der Wiedergabeeinrichtung 52 interaktiv selbst wählen, welche Perspektive er einnehmen will, um den Film zu betrachten. Er kann zu jedem Zeitpunkt eine beliebige Betrachtungsposition einnehmen.
Im Gegensatz zu bekannten Verfahren wird somit nicht ein dreidimensionales Modell eines Objekts berechnet und zur Darstellung verwendet'. Bei dem erfindungsgemäßen Verfahren werden die aufgenommenen zweidimensionalen Bilder mit den ermittelten, dazugehörigen Tiefenmasken benutzt, um erfaßte Objekte darzustellen. Der Nutzer benötigt keine Datenverarbeitungsanlage mit hoher Rechenleistung. Er kann das Objekt ohne komplizierte Berechnungsverfahren darstellen.

Claims

Patentansprüche
1. Verfahren zur Erfassung und Darstellung dreidimensionaler Objekte (14) , bei dem das zu erfassende Objekt (14) mit mindestens einer Kamera (12, 26) aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt (14) zu mindestens einem AufnahmeZeitpunkt aufgenommen wird, wobei zweidimen- sionale Bilddaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem AufnahmeZeitpunkt ein Bilddatensatz erhalten wird, das Objekt (14) in wenigstens einem Bilddatensatz von dem Hintergrund freigeschnitten wird, für mindestens einen Bilddatensatz eine Tiefeninformationen bezüglich des Objekts (14) wiedergebende Tiefenmaske ermittelt wird, und das Objekt (14) mittels mindestens eines Bilddatensatzes mit der dazugehörigen Tiefenmaske dargestellt wird.
2. Verfahren nach Anspruch 1, bei dem mindestens ein aufgenommener Bilddatensatz mit der dazugehörigen Tiefenmaske direkt an eine Wiedergabeeinrichtung (52) zur Darstellung übertragen wird.
3. Verfahren nach Anspruch 1, bei dem mindestens ein Bilddatensatz mit der dazugehörigen Tiefenmaske auf einen Aufzeichnungsträger (42, 60) aufgezeichnet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem ein bewegtes Objekt (14) zu aufeinanderfolgenden Aufnahmezeit- punkten aufgenommen wird und bei jedem Bilddatensatz immer nur die Informationen weitergegeben werden, die dem zuvorerhaltenen Bilddatensatz nicht zu entnehmen sind.
5. Verfahren zur Erfassung dreidimensionaler Objekte (14), bei dem das zu erfassende Objekt (14) mit mindestens einer Kamera (12, 26) aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen wird, wobei zweidimen- sionale Bilddaten jeder Aufnahmerichtung zu jedem AufnahmeZeitpunkt aufgenommen werden, so daß für jede Auf- nahmerichtung ein Bilddatensatz erhalten wird, das Objekt (14) in wenigstens einem Bilddatensatz von dem Hintergrund freigeschnitten wird, für mindestens einen Bilddatensatz eine Tiefeninformationen bezüglich des Objekts (14) wiedergebende Tiefenmaske ermittelt wird.
6. Verfahren nach Anspruch 5, bei dem das Objekt (14) mittels des Bluebox-Verfahrens freigeschnitten wird.
7. Verfahren nach Anspruch 5, bei dem ein bewegtes Objekt aufgenommen wird und das Objekt (14) mittels einer Bewegungsanalyse freigeschnitten wird.
8. Verfahren nach einem der Ansprüche 5 bis 7, bei dem das Objekt (14) von mehreren Kameras (12, 26) aufgenommen wird.
9. Verfahren nach einem der Ansprüche 5 bis 8, bei dem die Tiefenmaske mit dem Silhouettenschnittverfahren ermittelt wird.
10. Verfahren nach einem der Ansprüche 5 bis 8, bei dem die Tiefenmaske mit dem Stereoberechnungsverfahren ermittelt wird.
11. Verfahren nach einem der Ansprüche 5 bis 8, bei dem ein bewegtes Objekt aufgenommen wird und die Tiefenmaske mit dem Bewegungsverfahren ermittelt wird.
12. Verfahren nach einem der Ansprüche 5 bis 8, bei dem auf das Objekt ein Muster projeziert wird und die Tiefenmaske mit dem Projektionsverfahren ermittelt wird.
13. Verfahren nach Anspruch 12, bei dem das Muster im nichtsichtbareb Wellenlängenbereich liegt.
14. Verfahren nach einem der Ansprüche 5 bis 13, bei dem mehrere Kameras (12, 26) vorgesehen sind und eine der Kameras (12, 26) als Steuerkamera (28) bezüglich eines bewegten Objekts (14) ausgerichtet wird und die anderen Kameras (12, 26) sich in Abhängigkeit der Ausrichtung der Steuerkamera
(28) ausrichten.
15. Computerprogramm mit Programmcodemitteln, um alle Schritte des Verfahrens nach Anspruch 14 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
16. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach Anspruch 14 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
17. Verfahren zur Darstellung dreidimensionaler Objekte (14) , bei dem ein dreidimensionales Objekt (14) mittels mindestens eines Bilddatensatzes mit einer dazugehörigen Tiefeninformationen bezüglich des Objekts (14) wiedergebenden Tiefenmaske dargestellt wird.
18. Verfahren nach Anspruch 17, bei dem die Darstellung des Objekts (14) mit einer Interaktionseinrichtung (66) so verändert wird, daß sich die Blickrichtung auf das Objekt (14) ändert .
19. System zur Erfassung und Darstellung dreidimensionaler Objekte (14) , mit mindestens einer Kamera (12, 26), mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensionales Objekt (14) zu mindestens einem AufnahmeZeitpunkt aufgenommen werden kann,
Berechnungsmitteln zum Freischneiden des Objekts (14) in wenigstens einem Bilddatensatz,
Rechenmitteln zum Ermitteln einer Tiefeninformationen bezüglich des Objekts wiedergebenden Tiefenmaske für mindestens ein Bilddatensatz, einer Wiedergabeeinrichtung zum Darstellen des Objekts (14) mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske .
20. System nach Anspruch 19, bei dem Übertragungsmittel (38) zur direkten Übertragung mindestens eines aufgenommenen Bilddatensatzes mit der dazugehörigen Tiefenmaske an die Wiedergabeeinrichtung (52) vorgesehen sind.
21. System nach Anspruch 19, bei dem ein Aufzeichnungsträger (42, 60) zum Aufzeichnen des mindestens einen Bilddatensatzes mit der dazugehörigen Tiefenmaske vorgesehen ist .
22. Aufzeichnungsträger zur Anwendung in einem System nach Anspruch 21, auf dem mindestens ein Bilddatensatz mit einer dazugehörigen Tiefenmaske, die Tiefeninformationen bezüglich eines darzustellenden Objekts (14) wiedergibt, aufge- zeichnet ist, wobei die Tiefenmaske auf den Bilddatensatz zu ziehen ist, so daß eine Darstellung des Objekts (14) aus unterschiedlichen Blickrichtungen möglich ist.
23. System zur Erfassung dreidimensionaler Objekte (14), mit mindestens einer Kamera (12, 26), mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensionales Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen werden kann,
Berechnungsmitteln zum Freischneiden des Objekts (14) in wenigstens einem Bilddatensatz,
Rechenmitteln zum Ermitteln einer Tiefeninformationen bezüglich des Objekts (14) wiedergebenden Tiefenmaske für mindestens ein Bilddatensatz,
24. System nach Anspruch 23, bei dem mehrere Kameras (12, 26) vorgesehen sind.
25. System nach Anspruch 24, bei dem eine der Kameras (12, 26) als Steuerkamera (28) dient, die auf ein bewegtes Objekt (14) ausrichtet werden kann, und die anderen Kameras (12, 26) sich in Abhängigkeit der Ausrichtung der Steuerkamera (28) ausrichten.
26. System zur Darstellung eines dreidimensionale Objekts (14) , mit einer Wiedergabeeinrichtung (52) zum Darstellen des Objekts (14) mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske.
27. System nach Anspruch 26, bei dem eine Interaktionseinrichtung (66) zur Änderung der Darstellung des Objekts (14) vorgesehen ist, so daß die Blickrichtung auf das dargestellte Objekt (14) verändert werden kann.
PCT/EP2002/002760 2001-03-20 2002-03-13 Verfahren und system zur erfassung und darstellung dreidimensionaler objekte WO2002075656A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10114760.0 2001-03-20
DE10114760A DE10114760A1 (de) 2001-03-20 2001-03-20 Verfahren und System zur Erfassung und Darstellung dreidimensionaler Objekte

Publications (1)

Publication Number Publication Date
WO2002075656A1 true WO2002075656A1 (de) 2002-09-26

Family

ID=7679054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/002760 WO2002075656A1 (de) 2001-03-20 2002-03-13 Verfahren und system zur erfassung und darstellung dreidimensionaler objekte

Country Status (2)

Country Link
DE (1) DE10114760A1 (de)
WO (1) WO2002075656A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008135706A1 (en) * 2006-10-23 2008-11-13 Fotospin Limited Imaging apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827349A1 (de) * 1996-08-27 1998-03-04 Kanji Murakami Multidirektionale Bildaufnahmevorrichtung mit mehreren Kameras
WO1999060525A1 (en) * 1998-05-15 1999-11-25 Tricorder Technology Plc Method and apparatus for 3d representation
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827349A1 (de) * 1996-08-27 1998-03-04 Kanji Murakami Multidirektionale Bildaufnahmevorrichtung mit mehreren Kameras
WO1999060525A1 (en) * 1998-05-15 1999-11-25 Tricorder Technology Plc Method and apparatus for 3d representation
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IZQUIERDO E ET AL: "Image-based rendering and 3D modeling: A complete framework", SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 15, no. 10, August 2000 (2000-08-01), pages 817 - 858, XP004202017, ISSN: 0923-5965 *
MARUGAME A ET AL: "FOCUSED OBJECT EXTRACTION WITH MULTIPLE CAMERAS", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK, US, vol. 10, no. 4, June 2000 (2000-06-01), pages 530 - 540, XP000936464, ISSN: 1051-8215 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008135706A1 (en) * 2006-10-23 2008-11-13 Fotospin Limited Imaging apparatus

Also Published As

Publication number Publication date
DE10114760A1 (de) 2002-09-26

Similar Documents

Publication Publication Date Title
DE69635347T2 (de) Verfahren und system zum wiedergeben und kombinieren von bildern
DE602004008794T2 (de) Bildwiedergabe mit interaktiver bewegungsparallaxe
AT394459B (de) Verfahren zum gewinnen von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes und bildaufzeichnungstraeger, auf dem erste und zweite gruppen von serien derartiger bilder gespeichert sind
EP2082687A1 (de) Überlagerte Darstellung von Aufnahmen
DE69734747T2 (de) Verfahren und Gerät zur Bildverarbeitung
EP3427474B1 (de) Bildverarbeitungsverfahren, bildverarbeitungsmittel und bildverarbeitungsvorrichtung zur erzeugung von abbildungen eines teils eines dreidimensionalen raums
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
DE19640936A1 (de) Positionsadaptiver Autostereoskoper Monitor (PAM)
WO2008061490A2 (de) Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes
WO2017045981A1 (de) Vorrichtung und verfahren zur erzeugung eines modells von einem objekt mit überlagerungsbilddaten in einer virtuellen umgebung
EP3304496A1 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE102017203721A1 (de) Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung
EP1196891B1 (de) Vorrichtung zum bildhaften erfassen dreidimensionaler objekte
DE3427260A1 (de) Stereoskopische bildwiedergabeanordnung
EP0284158A2 (de) Verfahren, bei dem ein Untersuchungsbereich aus mehreren Strahlenquellenpositionen durchstrahlt wird
DE102015223003A1 (de) Vorrichtung und Verfahren zur Überlagerung zumindest eines Teils eines Objekts mit einer virtuellen Oberfläche
DE102018118187A1 (de) Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
DE102010041870A1 (de) Verfahren und System zur horizontrichtigen stereoskopischen Bildverarbeitung
WO2002075656A1 (de) Verfahren und system zur erfassung und darstellung dreidimensionaler objekte
WO2013143982A1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
AT518256B1 (de) Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe
DE102020213288A1 (de) Anzeigevorrichtung für ein Videoüberwachungssystem, Videoüberwachungssystem sowie Verfahren
DE19853608C2 (de) Verfahren zur Darstellung eines autostereoskopischen Bildes
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
WO2013030002A1 (de) Verfahren und vorrichtung zur dreidimensionalen sichtprüfung eines bauteils

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP