WO2020244861A1 - Method for operating a videoconference system, and videoconference system and motor vehicle - Google Patents

Method for operating a videoconference system, and videoconference system and motor vehicle Download PDF

Info

Publication number
WO2020244861A1
WO2020244861A1 PCT/EP2020/062361 EP2020062361W WO2020244861A1 WO 2020244861 A1 WO2020244861 A1 WO 2020244861A1 EP 2020062361 W EP2020062361 W EP 2020062361W WO 2020244861 A1 WO2020244861 A1 WO 2020244861A1
Authority
WO
WIPO (PCT)
Prior art keywords
room
image
image data
data
reference object
Prior art date
Application number
PCT/EP2020/062361
Other languages
German (de)
French (fr)
Inventor
Peter Zeinar
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2020244861A1 publication Critical patent/WO2020244861A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

The invention relates to a method for operating a videoconference system (10), in which a camera device (18) in a first room (11) captures image data (19) and a screen device (16), coupled to the camera device (18) via a communication connection (13) of a communication device (13'), in a second room (12) displays an image reproduction (17) of the first room (11) on the basis of the image data (19). The invention provides for an alignment device (20) to capture a physical position of at least one reference object (22) in the first room (11) and to describe said physical position by means of position data and to take the position data as a basis for orienting the at least one reference object (22) in the image reproduction (17) with respect to at least one stipulated object (24) arranged in the second room (12) by defining a physical orientation of the camera device (18) and/or of an image processing (26) of the image data (19).

Description

Verfahren zum Betreiben eines Videokonferenzsystems sowie Videokonfe renzsystem und Kraftfahrzeug Method for operating a video conference system and video conference system and motor vehicle
BESCHREIBUNG: DESCRIPTION:
Die Erfindung betrifft ein Verfahren zum Betreiben eines Videokonferenzsys tems. In einem ersten Raum erfasst eine Kamera Bilddaten und in einem zweiten Raum wird auf Grundlage der Bilddaten eine Bildwiedergabe des ersten Raums angezeigt. Somit kann man in dem zweiten Raum durch Be- trachten der Bildwiedergabe eine Person im ersten Raum sehen. Die Erfin dung betrifft auch ein Videokonferenzsystem, das gemäß dem Verfahren betrieben werden kann, sowie ein Kraftfahrzeug, das sich als Teil des Video konferenzsystems betreiben lässt. Um soziale Kontakte zu pflegen oder ein Geschäftsgespräch zu führen, kann bei räumlich getrennten Menschen eine Unterstützung durch ein Videokonfe renzsystem ermöglicht sein, über welches zwei räumlich getrennte Benutzer sowohl eine Audioverbindung als auch eine Videoverbindung bereitgestellt bekommen können. Insbesondere ist man daran interessiert, dies auch für einen Benutzer in einem Kraftfahrzeug zu ermöglichen, da in einem Kraft fahrzeug beispielsweise aufgrund eines Staus oder aufgrund einer autono men Fahrfunktion ein Benutzer oftmals Zeit hat, um ein Videogespräch oder eine Videokonferenz zu führen. Beispiele für ein Videokonferenzsystem sind unter dem Produktnamen Skype(TM) des Unternehmens Microsoft(TM) und Facetime(TM) des Unternehmens Apple(TM) bekannt. Hierfür wird meist ein PC, Tablet-PC oder das Handy genutzt. The invention relates to a method for operating a video conference system. A camera captures image data in a first room and an image reproduction of the first room is displayed on the basis of the image data in a second room. It is thus possible to see a person in the first room in the second room by looking at the image reproduction. The invention also relates to a video conference system that can be operated according to the method, and a motor vehicle that can be operated as part of the video conference system. In order to maintain social contacts or to conduct a business conversation, support by a video conference system can be made possible for spatially separated people, via which two spatially separated users can be provided with both an audio connection and a video connection. In particular, there is interest in making this possible for a user in a motor vehicle, since in a motor vehicle, for example, due to a traffic jam or an autonomous driving function, a user often has time to conduct a video call or video conference. Examples of a video conference system are known under the product name Skype (TM) from Microsoft (TM) and Facetime (TM) from Apple (TM) . A PC, tablet PC or mobile phone is usually used for this.
Ein Nachteil bei einem solchen Videokonferenzsystem stellt in der Regel die zweidimensionale Bildwiedergabe auf einem flachen Bildschirm dar, wie er bei einem Kommunikationsmedium in Form eines Smartphones oder eines Monitors eines PCs (Personal Computer) in der Regel verwendet wird. Der Gesprächspartner, der in der Bildwiedergabe zu sehen ist, wirkt nicht so real wie ein tatsächlich gegenüber sitzender Gesprächspartner. A disadvantage of such a video conference system is usually the two-dimensional image display on a flat screen, as is the case with a communication medium in the form of a smartphone or a Monitor of a PC (Personal Computer) is usually used. The conversation partner who can be seen in the image reproduction does not appear as real as a conversation partner actually sitting opposite.
Aus der US 9,661 ,272 B1 ist hierzu bekannt, eine Bildwiedergabe eines Gesprächspartners als Hologramm auszugestalten, um einen dreidimensio nalen Eindruck vom Gesicht des Gesprächspartners zu vermitteln. From US 9,661,272 B1 it is known to design an image reproduction of a conversation partner as a hologram in order to convey a three-dimensional impression of the face of the conversation partner.
Ein dreidimensionales Hologramm von einem Kopf eines Gesprächspartners kann aber auch ungünstig wirken, wenn nur den Kopf des Gesprächspart ners auf einer Tischoberfläche dargestellt wird, sodass das Hologramm des Gesprächspartner wie eine Büste aussieht. A three-dimensional hologram of a head of a conversation partner can also have an unfavorable effect if only the head of the conversation partner is displayed on a table surface, so that the hologram of the conversation partner looks like a bust.
Aus der DE 10 2010 028 865 A1 ist bekannt, von beiden Gesprächspartnern durch ein Videokonferenzsystem Bilddaten zu erzeugen und diese Bilddaten dann zu überlagern, um einen virtuellen Eindruck davon zu vermitteln, dass der jeweilige Gesprächspartner sich im selben Raum befindet. Dies ist aber nur eine visuelle Lösung, welche von den beiden Gesprächspartnern nicht persönlich wahrgenommen wird, sondern nur bildlich dargestellt ist. From DE 10 2010 028 865 A1 it is known to use a video conference system to generate image data from both conversation partners and then to superimpose this image data in order to give a virtual impression that the respective conversation partner is in the same room. However, this is only a visual solution, which is not perceived personally by the two interlocutors, but is only shown visually.
Aus der US 2015/0156452 A1 ist ein Videokonferenzsystem bekannt, bei welchem der Eindruck vermittelt wird, dass sich beide Gesprächspartner im selben Raum befinden, indem ein Konferenztisch bereitgestellt ist, an dessen einer Seite ein Benutzer sitzen kann und auf dessen gegenüberliegender Seite die Bildschirmeinrichtung für die Bildwiedergabe des anderen Ge sprächspartners angeordnet ist. From US 2015/0156452 A1 a video conference system is known in which the impression is given that both conversation partners are in the same room by providing a conference table, on one side of which a user can sit and on the opposite side of which the screen device for the image reproduction of the other Ge conversation partner is arranged.
Eine solche Lösung ist sehr statisch, da der Eindruck eines gemeinsamen Raumes nur entsteht, wenn die Erfassungsbereiche der Kameras korrekt ausgerichtet sind, sodass der Konferenztisch und die Bildwidergabe mit einem zusätzlichen Teil eines weiteren Konferenztisches derart ineinander übergehen, dass sich der Eindruck eines großen, einheitlichen Konferenzti sches ergibt. Der Erfindung liegt die Aufgabe zugrunde, in einem Videokonferenzsystem ein Gespräch, das zwei Benutzer aus unterschiedlichen Räumen heraus miteinander führen, bei der Bildwiedergabe dahingehend auszugestalten, dass zumindest ein Benutzer den Eindruck bekommt, beide Benutzer stün den in einem gemeinsamen Raum. Such a solution is very static, as the impression of a common space only arises if the detection areas of the cameras are correctly aligned so that the conference table and the image display merge with an additional part of another conference table in such a way that the impression of a large, uniform one Conference table results. The invention is based on the object in a video conference system to design a conversation that two users from different rooms have with each other during image reproduction so that at least one user gets the impression that both users are in a common room.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprü che gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben. The object is achieved by the subjects of the independent patent claims. Advantageous embodiments of the invention are described by the dependent claims, the following description and the figures.
Durch die Erfindung ist ein Verfahren zum Betreiben eines Videokonferenz systems bereitgestellt. Das Videokonferenzsystem kann zumindest folgende Komponenten erfassen: eine Kameraeinrichtung, eine Kommunikationsein richtung und eine Bildschirmeinrichtung. Bei dem Verfahren erfasst in einem ersten Raum die Kameraeinrichtung Bilddaten, das heißt sie filmt den ersten Raum oder zumindest einen Teil des ersten Raums. In einem zweiten Raum zeigt die Bildschirmeinrichtung auf der Grundlage der Bilddaten eine Bildwie dergabe des ersten Raums an. Mit anderen Worten kann ein Benutzer in dem zweiten Raum in der Bildwiedergabe sehen, wer in dem ersten Raum vor der Kameraeinrichtung oder in deren Erfassungsbereich steht. Die Bild schirmeinrichtung ist dabei über eine Kommunikationsverbindung der Kom munikationseinrichtung mit der Kameraeinrichtung gekoppelt. Mit anderen Worten handelt es sich um Livebilder oder Echtzeitbilder, die durch die Bild daten übertragen und als Bildwiedergabe angezeigt werden. Natürlich kann in dem Videokonferenzsystem auch in der an sich bekannten Weise eine Audioübertragung eines Audiosignals von dem ersten Raum hin zum zweiten Raum vorgesehen sein. The invention provides a method for operating a video conference system. The video conference system can include at least the following components: a camera device, a communication device and a screen device. In the method, the camera device captures image data in a first room, that is to say it films the first room or at least part of the first room. In a second room, the screen device displays an image reproduction of the first room on the basis of the image data. In other words, a user in the second room can see in the image reproduction who is standing in the first room in front of the camera device or in its detection area. The screen device is coupled to the camera device via a communication link of the communication device. In other words, they are live images or real-time images that are transmitted through the image data and displayed as an image reproduction. Of course, audio transmission of an audio signal from the first room to the second room can also be provided in the video conference system in the manner known per se.
Um nun einem Benutzer im zweiten Raum mittels der Bildwiedergabe den Eindruck zu vermitteln, dass der erste Raum und der zweite Raum nicht getrennt sind, sondern einen einzigen Gesamtraum bilden, ist erfindungsge mäß vorgesehen, dass eine Justiereinrichtung eine räumliche Lage zumin dest eines Referenzobjekts in dem ersten Raum erfasst und diese erfasste räumliche Lage durch Lagedaten beschreibt. Die Lagedaten können also beispielsweise eine Relativlage oder Relativposition des jeweiligen Referen zobjekts bezüglich der Kameraeinrichtung beschreiben. In order to give a user in the second room by means of the image reproduction the impression that the first room and the second room are not separate, but rather form a single overall room, according to the invention it is provided that an adjusting device can determine a spatial position of at least one reference object in the captured first room and captured this Describes spatial location through location data. The position data can thus describe, for example, a relative position or relative position of the respective reference object with respect to the camera device.
Die Justiereinrichtung richtet in Abhängigkeit von diesen Lagedaten das zumindest eine Referenzobjekt in der Bildwiedergabe des ersten Raumes aus, d.h. die Bildwiedergabe auf der Bildschirmeinrichtung im zweiten Raum wird in Abhängigkeit von den Lagedaten angepasst. Das Ausrichten erfolgt dabei in Bezug auf zumindest ein in dem zweiten Raum angeordnetes Vor gabeobjekt. Durch dieses Ausrichten wird also zumindest ein in der Bildwie dergabe sichtbares Referenzobjekt in seiner Position und/oder aus seiner Perspektive derart dargestellt, dass in der Bildwiedergabe auf der Bildschir meinrichtung im zweiten Raum das zumindest eine Referenzobjekt in Bezug zu zumindest einem Vorgabeobjekt im zweiten Raum in einer vorbestimmten Relativposition und/oder perspektivischen Verzerrung erscheint. Ist bei spielsweise als Referenzobjekt ein erster Tisch vorgesehen, der im ersten Raum steht, und als Vorgabeobjekt ein zweiter Tisch, der im zweiten Raum steht, so kann durch die Justiereinrichtung die Bildwiedergabe des ersten Tisches in der Bildwiedergabe derart eingestellt oder manipuliert werden, dass vom zweiten Raum aus gesehen der Tisch (Referenzobjekt) in der Bildwiedergabe und der Tisch im zweiten Raum (Vorgabeobjekt) eine einzige durchgehende Tischoberfläche zu bilden scheinen, also ein großer Tisch erscheint, der sich im zweiten Raum befindet und sich in der Bildwiedergabe nahtlos oder plan oder bündig in den ersten Raum hinein erstreckt. Das zumindest eine Vorgabeobjekt gibt also vor, wie das zumindest eine Refe renzobjekt in der Bildwiedergabe auszurichten oder zu verzerren oder per spektivisch zu verzerren ist, wenn es in der Bildwiedergabe angezeigt wird. The adjustment device aligns the at least one reference object in the image reproduction of the first room as a function of these position data, i.e. the image reproduction on the screen device in the second room is adapted as a function of the position data. The alignment takes place in relation to at least one object arranged in the second space. This alignment means that at least one reference object visible in the image reproduction is displayed in its position and / or from its perspective in such a way that in the image reproduction on the screen device in the second room the at least one reference object in relation to at least one default object in the second room is displayed a predetermined relative position and / or perspective distortion appears. If, for example, a first table is provided as a reference object, which is in the first room, and a second table, which is in the second room, is provided as the default object, the image reproduction of the first table can be set or manipulated in the image reproduction in such a way that from Seen from the second room, the table (reference object) in the image reproduction and the table in the second room (default object) appear to form a single continuous table surface, i.e. a large table appears that is located in the second room and is seamless or flat or in the image reproduction extends flush into the first room. The at least one specification object therefore specifies how the at least one reference object is to be aligned or distorted in the image reproduction or how it is to be distorted in perspective when it is displayed in the image reproduction.
Um dieses Ausrichten zu erwirken, erfolgt durch die Justiereinrichtung ein Festlegen einer räumlichen Ausrichtung der Kameraeinrichtung und/oder eine Bildverarbeitung der Bilddaten. Es kann also zum einen die Perspektive oder Lage der Kameraeinrichtung in dem ersten Raum durch die Justierein richtung festgelegt werden, um hierdurch das Ausrichten des zumindest einen Referenzobjekts in der Bildwiedergabe zu erreichen. Zusätzlich oder alternativ dazu kann bei gegebener Position der Kameraeinrichtung durch eine Bildverarbeitung in den Bilddaten eine Veränderung oder eine Anpas sung vorgenommen werden, um hierdurch die Position oder Lage des zu mindest einen Referenzobjekts in der Bildwiedergabe einzustellen oder fest zulegen. Beispielsweise kann eine perspektivische Verzerrung und/oder eine translatorische Verschiebung nach rechts/links, oben/unten durchgeführt werden. In order to achieve this alignment, the adjustment device determines a spatial alignment of the camera device and / or image processing of the image data. On the one hand, the perspective or position of the camera device in the first space can therefore be determined by the adjusting device in order to achieve the alignment of the at least one reference object in the image reproduction. Additionally or alternatively, with a given position of the camera device, a change or an adjustment can be made in the image data by image processing in order to thereby set or fix the position or location of the at least one reference object in the image display. For example, a perspective distortion and / or a translational shift to the right / left, up / down can be carried out.
Durch die Erfindung ergibt sich der Vorteil, dass in dem zweiten Raum die Bildwiedergabe des ersten Raums perspektivisch korrekt oder perspektivisch abgeglichen erfolgen kann, sodass die Bilddarstellung des ersten Raums wie eine Verlängerung des zweiten Raums wirkt oder so, dass die Bilddarstel lung ein Blick durch ein Fenster vom zweiten Raum hin zum ersten Raum aussieht. The invention has the advantage that in the second room the image reproduction of the first room can take place in a correct perspective or with a balanced perspective, so that the image display of the first room acts like an extension of the second room or so that the image display can be viewed through Window from the second room to the first room.
Die besagte Kommunikationsverbindung zwischen der Kameraeinrichtung und der Bildschirmeinrichtung kann hierbei direkt über beispielsweise eine Internetverbindung erfolgen oder indirekt kann die Kopplung über einen Ser ver des Internets bereitgestellt sein. Die besagte Justiereinrichtung kann hierbei eine verteilte Einrichtung sein, die eine jeweilige Teilkomponente im ersten Raum und/oder im zweiten Raum und/oder in dem besagten Server aufweisen kann. Die Justiereinrichtung kann beispielsweise auf der Grundla ge einer Software für zumindest einen Prozessor bereitgestellt sein, die in einem Speicher gespeichert sein kann, der mit dem zumindest einen Pro zessor gekoppelt sein kann. The said communication connection between the camera device and the screen device can take place directly via an Internet connection, for example, or the coupling can be provided indirectly via an Internet server. Said adjusting device can be a distributed device which can have a respective sub-component in the first room and / or in the second room and / or in the said server. The adjustment device can for example be provided on the basis of software for at least one processor, which software can be stored in a memory which can be coupled to the at least one processor.
Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben. The invention also comprises embodiments which result in additional advantages.
Mehrere Ausführungsformen betreffen die Frage, wie das Ausrichten des zumindest einen Referenzobjekts in der Bildwiedergabe des ersten Raums erfolgen kann. In einer Ausführungsform als Referenzobjekt eine horizontale Oberfläche in Bezug auf ein Vorgabeobjekt ausgerichtet, das ebenfalls eine horizontale Oberfläche aufweist. Durch das Ausrichten wird ein vorbestimmter relativer Höhenunterschied der beiden Oberflächen zueinander eingestellt. Der Hö henunterschied kann auch beispielsweise Null betragen, sodass also die beiden horizontalen Oberflächen bündig oder koplanar angeordnet sind. Hierdurch kann beispielsweise in der beschriebenen Weise eine durchge hende Tischoberfläche dargestellt werden. Da von dem zumindest einen Referenzobjekt in dem zweiten Raum nur die Bildwiedergabe zu sehen ist, ergibt sich der Höhenunterschied insbesondere optisch oder visuell beim Betrachten des zumindest einen Vorgabeobjekts im zweiten Raum und der Bildwiedergabe des zumindest einen Referenzobjekts auf der Bildschirmein richtung im ersten Raum. Several embodiments relate to the question of how the at least one reference object can be aligned in the image reproduction of the first space. In one embodiment, a horizontal surface is aligned as a reference object in relation to a default object, which likewise has a horizontal surface. By aligning a predetermined relative height difference between the two surfaces is set. The height difference can also be, for example, zero, so that the two horizontal surfaces are arranged flush or coplanar. As a result, a continuous table surface can be displayed in the manner described, for example. Since only the image reproduction of the at least one reference object can be seen in the second room, the difference in height arises in particular optically or visually when viewing the at least one default object in the second room and the image reproduction of the at least one reference object on the screen device in the first room.
In einer Ausführungsform wird ein Referenzobjekt perspektivisch fluchtend zu einem Vorgabeobjekt angeordnet. Aus Sicht eines Betrachters im zweiten Raum erscheint somit das Vorgabeobjekt näher an diesem Benutzer als jedes in der Bildwiedergabe dargestellte Referenzobjekt. Handelt es sich bei dem einen Vorgabeobjekt und einem Referenzobjekt beispielsweise um Objekte derselben Größe, beispielsweise jeweils eine Wasserflasche, so kann das Vorgabeobjekt in der Bildwiedergabe entsprechend dem Abstand zwischen dem Referenz- und dem Vorgabeobjekt zum Blickpunkt des Be trachters perspektivisch verkleinert oder verkürzt sein. Als Betrachtungspunkt kann hierbei ein virtueller oder gemessener Betrachtungspunkt zugrundege legt sein, der beispielsweise durch entsprechende Betrachtungspunktdaten in der Justiereinrichtung beschrieben sein kann. In one embodiment, a reference object is arranged in perspective in alignment with a specification object. From the point of view of a viewer in the second room, the default object thus appears closer to this user than any reference object shown in the image display. If the one default object and one reference object are, for example, objects of the same size, for example a water bottle each, the default object in the image display can be reduced or shortened in perspective according to the distance between the reference and the default object to the viewer's point of view. A virtual or measured viewing point, which can be described, for example, by corresponding viewing point data in the adjustment device, can be used as the basis for the viewing point.
In einer Ausführungsform wird ein Referenzobjekt horizontal und/oder verti kal in Bezug auf ein Vorgabeobjekt angeordnet. Mit anderen Worten wird eine Relativposition zwischen dem Vorgabeobjekt im zweiten Raum und der Bildwiedergabe des Referenzobjekts eingestellt oder festgelegt. Hierdurch kann beispielsweise erreicht werden, dass eine Tischkante eines Tisches im zweiten Raum mit einer Tischkante eines Tisches im ersten Raum fluchtend angeordnet ist, also eine durchgehende Tischkante dargestellt ist. Um dieses Ausrichten zu erreichen, kann in der beschriebenen Weise eine räumliche Ausrichtung der Kameraeinrichtung festgelegt werden. Dies kann beispielsweise durch eine Bildauswertung der Bilddaten erreicht werden und eine entsprechende Angabe von Korrekturanweisungen für einen Benutzer, der die Kameraeinrichtung dann entsprechend den Anweisungen anordnen kann, um eine korrekte Kameraposition zum Erfüllen eines entsprechenden Ausrichtkriteriums zu erhalten oder eben das zumindest eine Referenzobjekt bezüglich des zumindest einen Vorgabeobjekts auszurichten. Zusätzlich oder alternativ dazu kann mittels einer Bildverarbeitung in den Bilddaten das Aus richten vorgenommen werden, indem beispielsweise eine Bildverzerrung und/oder eine Bildverschiebung durchgeführt wird. Die Bildverarbeitung kann als ein Programmcode der Justiereinrichtung ausgestaltet sein. In one embodiment, a reference object is arranged horizontally and / or vertically with respect to a specification object. In other words, a relative position between the specification object in the second space and the image reproduction of the reference object is set or established. In this way it can be achieved, for example, that a table edge of a table in the second room is aligned with a table edge of a table in the first room, that is to say a continuous table edge is shown. In order to achieve this alignment, a spatial alignment of the camera device can be established in the manner described. This can be achieved, for example, by an image evaluation of the image data and a corresponding specification of correction instructions for a user, who can then arrange the camera device according to the instructions in order to obtain a correct camera position for fulfilling a corresponding alignment criterion or the at least one reference object with respect to the at least align a default object. In addition or as an alternative to this, the alignment can be carried out by means of image processing in the image data, for example by performing an image distortion and / or an image shift. The image processing can be designed as a program code of the adjustment device.
Mehrere Ausführungsformen betreffen das automatisierte Erkennen oder Herausfinden des zumindest einen Referenzobjekts und/oder des zumindest einen Vorgabeobjekts. Several embodiments relate to the automated recognition or finding of the at least one reference object and / or the at least one specification object.
In einer Ausführungsform ist das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt jeweils durch einen vorbestimmten Mar ker markiert. Als Marker kann jeweils beispielsweise ein Muster oder ein Gegenstand oder ein Leuchtelement oder eine Anordnung mehrerer Leuch telemente vorgesehen sein. Mit dem Videokonferenzsystem kann beispiels weise ein Gegenstand, beispielsweise ein Tetraeder oder ein Würfel, mitge liefert sein, der auf ein Referenzobjekt platziert werden kann, beispielsweise eine Tischoberfläche. Anhand von bekannten geometrischen Abmessungen des Referenzobjekts kann dann durch die Justiereinrichtung beispielsweise aus den Bilddaten auf eine Eigenschaft desjenigen Referenzobjekts rückge schlossen werden, an welchem das Markerobjekt oder der Marker angeord net ist. Dies gilt auch für ein Muster als Marker, das beispielsweise ein vor gedrucktes Muster auf einer Folie oder eine Blatt Papier sein kann. Das Muster kann ebenfalls anhand der Bilddaten erkannt werden. Leuchtelemen te können beispielsweise eine vorbestimmte, in der Justiereinrichtung be kannte geometrische Anordnung zueinander aufweisen, sodass durch Aus- werten der Bilddaten erkannt werden kann, welche geometrische Lage der Marker im ersten Raum aufweist. In one embodiment, the at least one reference object and / or the at least one specification object is each marked by a predetermined marker. A pattern or an object or a light-emitting element or an arrangement of several light-emitting elements can be provided as a marker. With the video conference system, for example, an object, for example a tetrahedron or a cube, can also be supplied that can be placed on a reference object, for example a table surface. On the basis of known geometric dimensions of the reference object, the adjusting device can then, for example, infer a property of the reference object on which the marker object or the marker is arranged from the image data. This also applies to a pattern as a marker, which can be, for example, a pre-printed pattern on a foil or a sheet of paper. The pattern can also be recognized from the image data. Light elements can, for example, have a predetermined geometrical arrangement to one another known in the adjustment device, so that by evaluating the image data can be recognized which geometric position of the marker has in the first space.
In einer Ausführungsform wird durch eine Objekterkennung auf der Grundla ge der Bilddaten erkannt, welches das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt ist. Mit anderen Worten kann hier anhand der Bilddaten ein Referenzobjekt und/oder ein Vorgabeobjekt selbst erkannt werden, beispielsweise anhand seiner Form und/oder seiner Farbe und/oder seiner Textur oder seines Musters. So kann beispielsweise eine Person und/oder ein Tisch auf Grundlage einer Objekterkennung er kannt werden. Die macht die Verwendung von Markern überflüssig. Die Ob jekterkennung kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzes erfolgen, das mittels Trainings-Bilddaten von zu erken nenden Referenzobjekten und/oder Vorgabeobjekten dahingehend trainiert ist, diesen Trainings-Bilddaten einen Ausgabewert zuzuordnen, der ein Refe renzobjekt und/oder ein Vorgabeobjekt signalisiert. In one embodiment, object recognition based on the image data is used to identify which is the at least one reference object and / or the at least one specification object. In other words, a reference object and / or a default object itself can be recognized here on the basis of the image data, for example on the basis of its shape and / or its color and / or its texture or its pattern. For example, a person and / or a table can be recognized on the basis of object recognition. This makes the use of markers superfluous. The object detection can for example take place on the basis of an artificial neural network that is trained by means of training image data from reference objects to be recognized and / or default objects to assign an output value to this training image data that signals a reference object and / or a default object .
In einer Ausführungsform ist das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt durch vorgegebene Geometriedaten des jeweiligen Raums beschrieben. Mit anderen Worten sind in der Justierein richtung Geometriedaten gespeichert, welche angeben, wo sich in dem ers ten Raum und/oder dem zweiten Raum jeweils ein Referenzobjekt und/oder ein Vorgabeobjekt befinden. Dadurch erübrigt sich eine Erkennung auf Grundlage der Bilddaten. Bei den Geometriedaten kann es sich beispiels weise um CAD-Daten (CAD - Computer Added Design) oder Konstruktions daten handeln. In one embodiment, the at least one reference object and / or the at least one specification object is described by predetermined geometry data of the respective space. In other words, geometry data are stored in the adjusting device which indicate where a reference object and / or a default object are located in the first room and / or the second room. This eliminates the need for identification based on the image data. The geometry data can be, for example, CAD data (CAD - Computer Added Design) or construction data.
In einer Ausführungsform wird in dem zweiten Raum, in welchem die Bild wiedergabe angezeigt wird, durch eine Erfassungseinrichtung eine Kopfposi tion und/oder eine Kopfbewegung eines Kopfes eines Benutzers erfasst. Es wird davon ausgegangen, dass der Benutzer die Bildwiedergabe betrachtet. Die erfasste Kopfposition und/oder die erfasste Kopfbewegung wird durch Positionsdaten beschrieben. Als ein Vorgabeobjekt, bezüglich welchem das zumindest eine Referenzobjekt ausgerichtet werden soll, wird dann dieser Kopf des Benutzers zugrundegelegt und das Ausrichten des zumindest einen Referenzobjekts wird während des Anzeigens der Bildwiedergabe in Abhän gigkeit von den Positionsdaten angepasst oder verändert oder nachgeführt. Mit anderen Worten verändert sich also die Ausrichtung des zumindest einen Referenzobjekts in der Bildwiedergabe während einer Kopfbewegung des Benutzers, welcher die Bildwiedergabe betrachtet. Beispielsweise kann eine unterschiedlich weite seitliche und/oder vertikale Positionsverschiebung des zumindest einen Referenzobjekts erfolgen in Abhängigkeit davon, wie weit das jeweilige Referenzobjekt von der Kameraeinrichtung entfernt ist. Hier durch kann der Effekt einer Parallaxe für den Benutzer in der Bildwiedergabe nachgebildet werden. Diese Ausführungsform beruht auf der Erkenntnis, dass ein wesentlicher Unterschied zwischen dem Eindruck eines realen Raums (hier des zweiten Raums) und einer Bildwiedergabe eines Raums (hier des ersten Raums) darin besteht, dass bei einer Kopfbewegung für reale Gegenstände der Parallaxeeffekt im zweiten Raum eintritt, während die flache Bildwiedergabe, das heißt der Bildinhalt oder die Bildwiedergabe des zumindest einen Referenzobjekts, ohne die Ausführungsform keinen Paralla xeeffekt aufweist. Indem das Ausrichten des zumindest einen Referenzob jekts in der Bildwiedergabe in Abhängigkeit von den Positionsdaten des Kopfes erfolgt, kann der Parallaxeeffekt nachgestellt oder simuliert werden. Unterschiedlich weite transversale Verschiebungen von Referenzobjekten innerhalb einer Bildwiedergabe können beispielsweise durch ein sogenann tes Warping unterschiedlicher Bereiche des Bildinhalts erreicht werden. Dies kann zwar auch zu einer ungewollten Verzerrung umliegender Bildinhalte führen, aber es hat sich gezeigt, dass insbesondere die Anwendung des künstlichen Parallaxeeffekts bei Pendelbewegungen des Kopfes unter 20 Zentimeter (Abstand der Wendepunkte), wie sie beim Sprechen Vorkom men können, der Vorteil des Parallaxeeffekts über den Bildverzerrungen überwiegt. In one embodiment, a head position and / or a head movement of a head of a user is detected in the second room in which the image reproduction is displayed. It is assumed that the user is viewing the image display. The recorded head position and / or the recorded head movement is described by position data. This is then used as a default object with respect to which the at least one reference object is to be aligned The head of the user is taken as a basis and the alignment of the at least one reference object is adapted or changed or tracked as a function of the position data while the image is being displayed. In other words, the orientation of the at least one reference object in the image reproduction changes during a head movement of the user who is viewing the image reproduction. For example, a lateral and / or vertical position shift of different widths of the at least one reference object can take place depending on how far the respective reference object is from the camera device. In this way, the effect of parallax can be simulated for the user in the image reproduction. This embodiment is based on the knowledge that an essential difference between the impression of a real room (here the second room) and an image reproduction of a room (here the first room) is that when the head is moved for real objects, the parallax effect occurs in the second room , while the flat image reproduction, that is to say the image content or the image reproduction of the at least one reference object, has no parallel effect without the embodiment. By aligning the at least one reference object in the image display as a function of the position data of the head, the parallax effect can be adjusted or simulated. Transversal displacements of different widths of reference objects within an image reproduction can be achieved, for example, by so-called warping of different areas of the image content. Although this can also lead to unwanted distortion of the surrounding image content, it has been shown that the use of the artificial parallax effect in particular with pendulum movements of the head below 20 centimeters (distance between the turning points), as can occur when speaking, has the advantage of the parallax effect predominates over the image distortion.
Um den Parallaxeeffekt noch weiter zu verstärken oder zu verbessern, sieht eine Ausführungsform vor, dass die Bilddaten Tiefeninformationen betreffend einen Abstand von Objekten im ersten Raum bezüglich der Kameraeinrich tung umfassen, also zu einzelnen Bildpunkten in den Bilddaten auch eine Information betreffend den Abstand des durch den Bildpunkt abgebildeten Objekts zur Kameraeinrichtung umfassen. Zwischen den Objekten wird in Abhängigkeit von ihrem jeweiligen Abstand ein künstlicher Parallaxeeffekt durch die Bildverarbeitung erzeugt, durch welche das zumindest eine Refe renzobjekt in der Bildwiedergabe ausgerichtet oder angepasst wird. Indem aus den Bilddaten die Tiefeninformationen entnommen oder genutzt werden, kann der Parallaxeeffekt besonders präzise nachgebildet werden. Eine Tie feninformation kann beispielsweise mittels einer ToF-Kamera (ToF - Time of Flight) oder einer Stereokamera ermittelt werden. In order to further strengthen or improve the parallax effect, one embodiment provides that the image data include depth information relating to a distance from objects in the first space with respect to the camera device, that is to say also a depth information relating to individual pixels in the image data Include information relating to the distance of the object imaged by the image point from the camera device. Depending on their respective distance, an artificial parallax effect is generated between the objects by the image processing, by means of which the at least one reference object is aligned or adapted in the image reproduction. By taking or using the depth information from the image data, the parallax effect can be simulated particularly precisely. A depth information can be determined for example by means of a ToF camera (ToF - Time of Flight) or a stereo camera.
In einer Ausführungsform weist die Bildschirmeinrichtung eine 3D- Bildanzeige auf. Eine solche 3D-Bildanzeige kann beispielsweise auf der Grundlage einer Shutterbrille oder auf der Grundlage eines autostereoskopi schen Bildschirms realisiert sein. Des Weiteren gibt es im Stand der Technik auch andere 3D-Displays, die auch ohne Brille eine 3D-Wiedergabe darstel len. Durch die Verwendung einer 3D-Bildanzeige ist der Vorteil gegeben, dass ein räumlicher Eindruck in der Bildwiedergabe des ersten Raumes gegeben ist. Bevorzugt ist noch vorgesehen, dass die Kameraeinrichtung zumindest eine 3D-Kamera, beispielsweise eine Stereokamera, bevorzugt mehrere 3D-Kameras, aufweist. Flierdurch können auch die besagten Tiefe ninformationen oder Abstandsinformationen in den Bilddaten bereitgestellt werden, wodurch ein Betrieb der 3D-Bildanzeige besonders effektiv ist. In one embodiment, the screen device has a 3D image display. Such a 3D image display can be implemented, for example, on the basis of shutter glasses or on the basis of an autostereoscopic screen. Furthermore, there are also other 3D displays in the prior art that represent a 3D rendering even without glasses. The use of a 3D image display has the advantage that a spatial impression is given in the image reproduction of the first room. It is preferably also provided that the camera device has at least one 3D camera, for example a stereo camera, preferably several 3D cameras. As a result, the said depth information or distance information can also be provided in the image data, whereby an operation of the 3D image display is particularly effective.
In einer Ausführungsform erfasst in dem ersten Raum eine Mikrofoneinrich tung Audiodaten eines Audiosignals oder Audioschalls und in dem zweiten Raum erzeugt eine mit der Mikrofoneinrichtung über die besagte Kommuni kationsverbindung gekoppelte Lautsprechereinrichtung auf der Grundlage der Audiodaten eine Schallausgabe des Audiosignals oder Audioschalls. Wird also in dem ersten Raum beispielsweise gesprochen, so wird der Sprachschall als Audioschall erfasst und durch Audiodaten beschrieben. Auf Grundlage der Audiodaten kann dann der Sprachschall als Audioschall in dem zweiten Raum wieder reproduziert oder ausgegeben werden durch die Lautsprechereinrichtung. Bei dieser Ausführungsform ist insbesondere vor gesehen, dass in den Audiodaten vor der Schallausgabe eine Impulsantwort des ersten Raums unterdrückt oder entfernt und/oder eine Impulsantwort des zweiten Raums hinzugefügt wird. Das Entfernen einer Impulsantwort kann beispielsweise durch eine sogenannte mathematische Faltung mit der inver sen Impulsantwort erreicht werden. Das Hinzufügen einer Impulsantwort kann durch das mathematische Falten des Audiosignals, das durch die Audi- odaten beschrieben ist, mit der Impulsantwort des zweiten Raums erzeugt werden. Durch diese Ausführungsform kann eine Klangcharakteristik des ersten Raums bei der Schallausgabe unterdrückt oder reduziert werden und eine Klangcharakteristik des zweiten Raums hinzugefügt werden. Hierdurch wird zumindest eine Signaleigenschaft oder akustische Eigenschaft des Audioschalls an den zweiten Raum angepasst oder angenähert. Handelt es sich bei dem zweiten Raum beispielsweise um einen Fahrzeuginnenraum mit gedämpfter akustischer Umgebung, während der erste Raum ein halliger Küchenraum ist, so würde ohne diese Ausführungsform bei der Schallaus gabe des Audioschalls ein halliger Hintergrund zu hören sein, was für einen Benutzer in dem Kraftfahrzeug erkennbar wäre, dass der Audioschall nicht in einem Fahrzeuginnenraum erfasst wurde. In one embodiment, a microphone device records audio data of an audio signal or audio sound in the first room and in the second room a loudspeaker device coupled to the microphone device via said communication connection generates a sound output of the audio signal or audio sound on the basis of the audio data. If, for example, someone is speaking in the first room, the speech sound is recorded as audio sound and described by audio data. On the basis of the audio data, the speech sound can then be reproduced again as audio sound in the second room or output by the loudspeaker device. In this embodiment it is provided in particular that an impulse response is provided in the audio data before the sound output of the first room is suppressed or removed and / or an impulse response of the second room is added. The removal of an impulse response can be achieved, for example, by a so-called mathematical convolution with the inverse impulse response. The addition of an impulse response can be generated by mathematically folding the audio signal, which is described by the audio data, with the impulse response of the second room. With this embodiment, a sound characteristic of the first room can be suppressed or reduced in the sound output and a sound characteristic of the second room can be added. In this way, at least one signal property or acoustic property of the audio sound is adapted or approximated to the second room. If the second room is, for example, a vehicle interior with a dampened acoustic environment, while the first room is a reverberant kitchen room, then without this embodiment a reverberant background would be heard when the audio sound is output, which is something for a user in the motor vehicle it would be recognizable that the audio sound was not recorded in a vehicle interior.
Bisher wurde von dem Videokonferenzsystem lediglich eine Übertragungs richtung, nämlich vom ersten Raum hin zu dem zweiten Raum, beschrieben. Das Videokonferenzsystem kann auch für einen bidirektionalen Betrieb aus gestaltet sein, sodass also auch für die Gegenrichtung eine Übertragung vorgesehen ist. Entsprechend sieht eine Ausführungsform vor, dass in dem zweiten Raum durch eine Gegenkameraeinrichtung (also eine Kameraein richtung für die Übertragung in die Gegenrichtung vom zweiten Raum hin zum ersten Raum) Gegenbilddaten des zweiten Raums erfasst werden und in dem ersten Raum durch eine mit der Gegenkameraeinrichtung über die Kommunikationsverbindung gekoppelte Gegenbildschirmeinrichtung auf der Grundlage der Gegenbilddaten eine Gegenbildwiedergabe des zweiten Raums angezeigt werden und die Justiereinrichtung das zumindest eine Vorgabeprojekt durch Festlegen einer räumlichen Ausrichtung der Gegen kameraeinrichtung und/oder durch Festlegen einer Bildverarbeitung der Gegenbilddaten in der Gegenbildwiedergabe ausrichtet. Mit anderen Worten wird also das zumindest eine Vorgabeobjekt nun in die Gegenrichtung als Referenzobjekt genutzt. Entsprechend kann das zumindest eine Referenzob jekt für die Gegenbildwiedergabe als jeweiliges Vorgabeobjekt genutzt wer den. Somit ergibt sich ein bidirektionales Videokonferenzsystem. So far, only one transmission direction has been described by the video conference system, namely from the first room to the second room. The video conference system can also be designed for bidirectional operation, so that transmission is also provided for the opposite direction. Correspondingly, one embodiment provides that counter-image data of the second room are recorded in the second room by an opposing camera device (i.e. a camera device for the transmission in the opposite direction from the second room to the first room) and in the first room by an opposing camera device the communication link coupled opposing screen device is displayed on the basis of the opposing image data, an opposing image reproduction of the second space and the adjustment device aligns the at least one default project by specifying a spatial orientation of the opposing camera device and / or by specifying an image processing of the opposing image data in the opposing image display. In other words, the at least one default object is now in the opposite direction as Reference object used. Accordingly, the at least one reference object can be used as the respective default object for the counter-image display. This results in a bidirectional video conference system.
Zu der Erfindung gehört auch ein Videokonferenzsystem, bei dessen Betrieb sich das erfindungsgemäße Verfahren ergibt. Das Videokonferenzsystem weist also eine Kameraeinrichtung zum Erfassen von Bilddaten und eine Bildschirmeinrichtung zum Ausgeben einer Bildwiedergabe sowie eine Kommunikationseinrichtung zum Bereitstellen einer Kommunikationsverbin dung zwischen der Kameraeinrichtung und der Bildschirmeinrichtung auf. Das erfindungsgemäße Videokonferenzsystem weist des Weiteren die be sagte Justiereinrichtung für die Bildwiedergabe auf, wobei das Videokonfe renzsystem in der beschriebenen Weise dazu eingerichtet ist, eine Ausfüh rungsform des erfindungsgemäßen Verfahrens durchzuführen. The invention also includes a video conference system whose operation results in the method according to the invention. The video conference system therefore has a camera device for capturing image data and a screen device for outputting an image reproduction and a communication device for providing a communication link between the camera device and the screen device. The video conference system according to the invention furthermore has the said adjusting device for the image reproduction, the video conference system being set up in the manner described to carry out an embodiment of the method according to the invention.
Das Videokonferenzsystem weist auch Weiterbildungen oder Ausführungs formen auf, die Merkmale aufweisen, denjenigen der entsprechenden Wei terbildungen des erfindungsgemäßen Verfahrens entsprechen. Aus diesem Grund sind die korrespondierenden Merkmale im Zusammenhang mit dem Videokonferenzsystem hier nicht noch einmal beschrieben. The video conference system also has further developments or embodiments that have features that correspond to those of the corresponding further developments of the method according to the invention. For this reason, the corresponding features in connection with the video conference system are not described again here.
Wie eingangs bereits beschrieben, erweist sich das erfindungsgemäße Vide okonferenzsystem besonders vorteilhaft im Zusammenhang mit einem Kraft fahrzeug, da in einem Kraftfahrzeug oftmals Zeiträume zur Verfügung ste hen, um ein Videotelefoniegespräch oder Videokonferenzgespräch zu füh ren. Entsprechend ist durch die Erfindung auch ein Kraftfahrzeug für ein Videokonferenzsystem bereitgestellt, wobei das Kraftfahrzeug eine Bild schirmeinrichtung der beschriebenen Art sowie den fahrzeugseitigen Teil der beschriebenen Kommunikationseinrichtung des Videokonferenzsystems aufweist. Es kann auch ein fahrzeugseitiger Teil der Justiereinrichtung des Videokonferenzsystems in dem Kraftfahrzeug bereitgestellt sein. Das erfin dungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestal tet. Die Erfindung umfasst auch die Kombinationen der Merkmale der beschrie benen Ausführungsformen. Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt: As already described at the beginning, the video conference system according to the invention proves to be particularly advantageous in connection with a motor vehicle, since periods of time are often available in a motor vehicle to conduct a video call or video conference call. The invention also makes a motor vehicle for a Video conference system provided, the motor vehicle having a screen device of the type described and the vehicle-side part of the described communication device of the video conference system. A vehicle-side part of the adjustment device of the video conference system can also be provided in the motor vehicle. The motor vehicle according to the invention is preferably configured as a motor vehicle, in particular as a passenger vehicle or truck, or as a passenger bus. The invention also includes the combinations of the features of the described embodiments enclosed. Exemplary embodiments of the invention are described below. This shows:
Fig. 1 eine schematische Darstellung einer perspektivischen Ansicht eines Videokonferenzsystems der Erfindung mit einem zweiten Raum, der durch eine Ausführungsform des erfindungsgemä ßen Kraftfahrzeugs bereitgestellt ist; 1 shows a schematic illustration of a perspective view of a video conference system of the invention with a second room which is provided by an embodiment of the motor vehicle according to the invention;
Fig. 2 eine schematische Darstellung eines Funktionsprinzips des Fig. 2 is a schematic representation of a functional principle of the
Videokonferenzsystems; Video conferencing system;
Fig. 3 eine schematische Darstellung des Videokonferenzsystems, während eine Ausführungsform des erfindungsgemäßen Ver fahrens durchgeführt wird; und Fig. 4 eine schematische Darstellung eines Teils des Videokonferenz systems beim Erzeugen eines künstlichen Parallaxeeffekts. Fig. 3 is a schematic representation of the video conference system while an embodiment of the method according to the invention is being carried out; and FIG. 4 shows a schematic representation of part of the video conference system when generating an artificial parallax effect.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispie- len stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschrie benen Merkmale der Erfindung ergänzbar. The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that also develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente. Fig. 1 zeigt ein Videokonferenzsystem 10, mittels welchem für ein Videokon ferenzgespräch ein erster Raum 11 und ein zweiter Raum 12 miteinander über eine Kommunikationsverbindung 13 gekoppelt werden können. Ein Abstand der Räume 11 , 12 kann beispielsweise mehr als zehn Meter, insbe sondere mehr als 100 Meter, betragen. Beispielsweise kann der zweite Raum 12 ein Innenraum eines Kraftfahrzeugs 14 sein. Der erste Raum 11 kann beispielsweise ein Raum in einem Gebäude sein, beispielsweise eine Küche. Er ist in Fig. 1 aus einer Vogelperspektive dargestellt. Ein Benutzer 15 kann in dem zweiten Raum 12 auf einer Bildschirmeinrichtung 16 eine Bildwiedergabe 17 des ersten Raumes angezeigt bekommen. Die Bildwie dergabe 17 kann erzeugt werden, indem im ersten Raum 11 eine Kamera einrichtung 18 Bilddaten 19 erzeugt, die dann für das Erzeugen der Bildwie dergabe 17 genutzt werden können. Allerdings kann vorgesehen sein, dass die Bildwiedergabe 17 durch eine Justiereinrichtung 20 angepasst wird, das heißt nicht die originalen Bilddaten 19 als Bildwiedergabe 17 angezeigt wer den. Die Justiereinrichtung kann allerdings auch darin bestehen, dass zum Darstellen der originalen Bilddaten 19 als Bildwiedergabe 17 die Kamera 18 in ihrer Position justiert oder ausgerichtet wird. Dies kann beispielsweise durch Ausgabehinweise erfolgen, die durch einen Benutzer 21 im Raum 11 ausgeführt werden. Ziel der Justiereinrichtung 20 ist es, dass in der Bildwie dergabe 17 zumindest ein Referenzobjekt 22, beispielsweise eine Oberflä che 23 eines Tisches, mit einem Vorgabeobjekt 24 im zweiten Raum 12 eine vorbestimmte Relativlage und/oder vorbestimmte perspektivische Relation aufweist. Beispielsweise kann eine Oberfläche 25 einer Instrumententafel I im Kraftfahrzeug 14 in Bezug auf die Flöhe oder vertikale Ausrichtung bündig mit der Oberfläche 23 angeordnet werden. Wird dies mittels einer Bildverar beitung 26 der Justiereinrichtung 20 durchgeführt, so kann ein Betrachtungs punkt 27 zugrundegelegt werden, von welchem aus der Benutzer 15 die Bildschirmeinrichtung 16 betrachtet. Der Betrachtungspunkt 27 kann als angenommener Betrachtungspunkt auch anhand von Positionsdaten festge legt sein oder durch Erfassen eines Kopfes 28 des Benutzers 15 ermittelt oder gemessen werden. Für eine bidirektionale Kommunikation kann eine Gegenkameraeinrichtung 29 zum Erfassen von Gegenbilddaten 30 des zwei- ten Raums 12 bereitgestellt sein. Im ersten Raum 11 kann eine Gegenbild schirmeinrichtung 31 zum Ausgeben von justierten Gegenbilddaten 32 vor gesehen sein, sodass auch die Benutzer 21 in dem ersten Raum 11 den Benutzer 15 in einer justierten Gegenbildwiedergabe 33 betrachten können. So kann auch aus Sicht der Benutzer 21 die Oberfläche 25 der Instrumen tentafel I oder allgemein zumindest ein Vorgabeobjekt 24 in Bezug auf das zumindest eine Referenzobjekt 22, beispielsweise die Oberfläche 23 des Tisches, bündig dargestellt oder angezeigt werden. In the figures, the same reference symbols denote functionally identical elements. 1 shows a video conference system 10 by means of which a first room 11 and a second room 12 can be coupled to one another via a communication link 13 for a video conference call. A distance between the rooms 11, 12 can for example be more than ten meters, in particular special more than 100 meters. For example, the second space 12 can be an interior space of a motor vehicle 14. The first room 11 can for example be a room in a building, for example a kitchen. It is shown in Fig. 1 from a bird's eye view. A user 15 can have an image reproduction 17 of the first room displayed on a screen device 16 in the second room 12. The image reproduction 17 can be generated by a camera device 18 generating image data 19 in the first room 11, which image data 19 can then be used for generating the image reproduction 17. However, it can be provided that the image reproduction 17 is adapted by an adjustment device 20, that is to say that the original image data 19 is not displayed as an image reproduction 17. The adjusting device can, however, also consist in the fact that the position of the camera 18 is adjusted or aligned in order to display the original image data 19 as image reproduction 17. This can be done, for example, by issuing instructions that are carried out by a user 21 in room 11. The aim of the adjustment device 20 is that in the image reproduction 17 at least one reference object 22, for example a surface 23 of a table, has a predetermined relative position and / or predetermined perspective relationship with a default object 24 in the second space 12. For example, a surface 25 of an instrument panel I in the motor vehicle 14 can be arranged flush with the surface 23 with regard to the fleas or vertical alignment. If this is carried out by means of an image processing 26 of the adjustment device 20, a viewing point 27 can be used as a basis, from which the user 15 views the screen device 16. The viewing point 27 can also be fixed as an assumed viewing point on the basis of position data or can be determined or measured by detecting a head 28 of the user 15. For bidirectional communication, an opposing camera device 29 for capturing opposing image data 30 of the two th room 12 be provided. In the first room 11, a counter-screen device 31 for outputting adjusted counter-image data 32 can be provided so that the users 21 in the first room 11 can also view the user 15 in an adjusted counter-image display 33. From the point of view of the user 21, the surface 25 of the instrument panel I or in general at least one default object 24 with respect to the at least one reference object 22, for example the surface 23 of the table, can be represented or displayed flush.
Fig. 1 veranschaulicht, dass mittels der Bildschirmeinrichtung 16 eine dreidi mensionale Anzeige 34 des ersten Raums 11 angezeigt werden kann. Hier zu kann die Bildschirmeinrichtung 16 eine 3D-Bildanzeige einer Bildschir meinrichtung 35 aufweisen, die beispielsweise auf der Grundlage einer Shut- terbrille und/oder einer autostereoskopischen Anzeige oder eines autostere oskopischen Bildschirms realisiert sein kann. In einem Kraftfahrzeug 14 kann die Bildschirmeinrichtung 16 auch ausfahrbar ausgestaltet sein, das heißt im deaktivierten Zustand kann die Bildschirmeinrichtung 16 in einem Gehäuse oder Schacht 36 versenkt sein. 1 illustrates that a three-dimensional display 34 of the first room 11 can be displayed by means of the screen device 16. For this purpose, the screen device 16 can have a 3D image display of a screen device 35, which can be implemented, for example, on the basis of shutter glasses and / or an autostereoscopic display or an autostereoscopic screen. In a motor vehicle 14, the screen device 16 can also be designed to be extendable, that is, in the deactivated state, the screen device 16 can be sunk into a housing or slot 36.
Fig. 2 veranschaulicht einen visuellen Effekt, der durch die Justiereinrichtung 20 bewirkt werden kann. FIG. 2 illustrates a visual effect that can be brought about by the adjustment device 20.
Fig. 2 zeigt noch einmal den ersten Raum 11 und den zweiten Raum 12 in schematischer Darstellung sowie die Anordnung aus der Bildschirmeinrich tung 16 und der Kamera 18 für die Bildwiedergabe 17 sowie die Gegenbild schirmeinrichtung 31 mit der Gegenkameraeinrichtung 29 für die Gegenbild wiedergabe 33. Mittels der Justiereinrichtung 20 kann erreicht werden, dass beispielsweise Kanten oder allgemein Fluchtlinien 37 in beiden Räumen kontinuierlich verlängert sind, sodass eine perspektivisch genaue Verlänge rung 38 dargestellt wird. Somit wirken die beiden Räume 11 , 12 für einen Betrachter der Bildwiedergabe 17 wie ein Gesamtraum G. Fig. 2 shows again the first room 11 and the second room 12 in a schematic representation and the arrangement of the screen device 16 and the camera 18 for image reproduction 17 and the opposite screen device 31 with the opposite camera device 29 for the opposite image display 33. Means With the adjustment device 20, it can be achieved that, for example, edges or generally alignment lines 37 are continuously lengthened in both spaces, so that a perspective-accurate lengthening 38 is shown. Thus, the two rooms 11, 12 act like a total room G to a viewer of the image display 17.
Fig. 3 zeigt eine Seitenansicht der beiden Räume 11 , 12. Durch die Kamera einrichtung 18 können 3D-Bilddaten erzeugt werden, durch welche auch eine jeweilige Tiefeninformation 39 oder ein jeweiliger Abstand 39' von Objekten in dem Raum 11 erfasst werden können, beispielsweise eine Tiefeninforma tion 39 betreffend zumindest ein Referenzobjekt, wie beispielsweise die Oberfläche 23. Fig. 3 shows a side view of the two rooms 11, 12. The camera device 18 can be used to generate 3D image data, through which a respective depth information 39 or a respective distance 39 ′ from objects in the room 11 can be recorded, for example depth information 39 relating to at least one reference object, such as the surface 23.
Fig. 4 veranschaulicht, wie durch die Justiereinrichtung mittels der Bildverar beitung 26 ein Parallaxeeffekt 40 nachgebildet werden kann. Durch eine Erfassungseinrichtung 41 , die beispielsweise auf der Gegenkameraeinrich tung 29 beruhen kann, kann eine Referenzposition des Betrachtungspunkts 27 des Kopfes 28 des Benutzers 15 erfasst werden. Ändert sich die Position des Betrachtungspunkts 27 am Kopf 28 durch eine Kopfbewegung 42, so kann eine Bewegungsweite 43 erfasst werden. In der Bildwiedergabe 17 kann für beispielsweise ein Referenzobjekt 22 in Form eines Gegenstands und eines weiteren Referenzobjekts 22, beispielsweise in Form eines Benut zers 21 , in Abhängigkeit von deren Abstand 39' zur Kameraeinrichtung 18 (in Fig. 4 nicht dargestellt) eine Objektverschiebung 44 eingestellt werden, wo bei die Objektverschiebung 44 umso kleiner ist, je größer der Abstand 39' ist. Hierbei kann die Objektverschiebung 44 in entgegengesetzter Richtung zur Kopfbewegung 42 realisiert sein. Es kann beispielsweise mittels der Bildver arbeitung 26 bewirkt werden, dass die Bilddaten 19 gestaucht oder mittels eines Whoping verändert werden und hierbei die Stärke der Stauchung vom Abstand 39' abhängt. Entsprechende Tiefeninformationen 39 können bei spielsweise aus den Bilddaten 19 entnommen werden. Fig. 4 illustrates how a parallax effect 40 can be simulated by the adjusting device by means of the image processing 26. A reference position of the viewing point 27 of the head 28 of the user 15 can be detected by a detection device 41, which can be based, for example, on the opposing camera device 29. If the position of the viewing point 27 on the head 28 changes due to a head movement 42, a movement range 43 can be recorded. In the image display 17, an object displacement 44 can be set for, for example, a reference object 22 in the form of an object and a further reference object 22, for example in the form of a user 21, depending on their distance 39 'from the camera device 18 (not shown in FIG. 4) where the object displacement 44 is smaller, the greater the distance 39 '. Here, the object displacement 44 can be implemented in the opposite direction to the head movement 42. The image processing 26 can, for example, cause the image data 19 to be compressed or to be changed by means of a Whoping, the strength of the compression being dependent on the distance 39 '. Corresponding depth information 39 can be taken from the image data 19, for example.
Die Anpassung kann hierbei kontinuierlich oder wiederholt erfolgen, sodass mit der Kopfbewegung 42 der Parallaxeeffekt 40 durchgehend oder wieder holt angepasst wird. The adaptation can take place continuously or repeatedly, so that the parallax effect 40 is adapted continuously or repeatedly with the head movement 42.
Die Kommunikationsverbindung 13 kann auf der Grundlage einer Kommuni kationseinrichtung 13' realisiert sein, die beispielsweise für jeden Raum 11 , 12 ein Mobilfunkmodul und/oder einen Internetzugang vorsehen kann. Die Kommunikationsverbindung 13 kann beispielsweise auf einer Internetverbin dung und/oder einer Mobilfunkverbindung beruhen. Die Justiereinrichtung 20 kann ganz oder teilweise im Raum 11 und/oder Raum 12 und/oder in einem Server des Internets realisiert sein. The communication link 13 can be implemented on the basis of a communication device 13 'which, for example, can provide a mobile radio module and / or internet access for each room 11, 12. The communication connection 13 can be based, for example, on an Internet connection and / or a mobile radio connection. The adjustment device 20 can be implemented entirely or partially in room 11 and / or room 12 and / or in a server on the Internet.
Die Bildverarbeitung 26 kann beispielsweise auf der Grundlage einer Soft- wäre oder Programm Instruktionen realisiert sein, die durch einen Prozessor ausgeführt sein können. Die Programminstruktionen können in einem Spei cher gespeichert sein, der mit dem Prozessor gekoppelt sein kann. The image processing 26 can be implemented, for example, on the basis of software or program instructions that can be executed by a processor. The program instructions can be stored in a memory which can be coupled to the processor.
Soziale Kontakte zu pflegen und am Leben seiner geliebten Familie oder seiner Freunde teilzuhaben, ist ein essenzielles Grundbedürfnis des Menschen. Oftmals sind diese Menschen räumlich getrennt, auf grund von Beruf, einem Auslandsaufenthalt oder verschiedenen Le bensmittelpunkten. Viele Menschen sind bei wichtigen Ereignissen unterwegs im Auto und pendeln. Maintaining social contacts and participating in the life of one's beloved family or friends is an essential basic human need. Often these people are spatially separated due to work, a stay abroad or different centers of life. Many people are out and about in their cars and commute during important events.
In der Folge ist autonomes Fahren (Level 3-5) in der Entwicklung und wird in den kommenden Jahren einsatzfähig sein. Den Insassen steht mehr Zeit zu Verfügung um Kontakte zu pflegen. Zudem werden die Datennetze für Kommunikationsverbindungen immer schneller, so ist zukunftsnah mit 5G zu rechnen. As a result, autonomous driving (level 3-5) is under development and will be operational in the coming years. The inmates have more time to maintain contacts. In addition, the data networks for communication connections are becoming ever faster, so 5G can be expected in the future.
Die zweidimensionale Darstellung auf den heutigen Kommunikations medien (Handy, PC) lässt Menschen zwar in Kontakt kommen, aller dings mit einer eingeschränkten Sinneserfahrung. Meist ist diese im Fahrzeug noch eingeschränkter, da noch kein 3D Display verbaut ist und das Handy nicht in die Hand genommen werden darf (Sicherheits thema bei Crash auch bei Autonomen Fahrzeugen). The two-dimensional representation on today's communication media (cell phone, PC) allows people to come into contact, but with a limited sensory experience. In most cases, this is even more limited in the vehicle, as there is no 3D display installed and the cell phone may not be picked up (safety issue in the event of a crash, including in autonomous vehicles).
Mit dem Kraftfahrzeug 14 ist dagegen folgendes Beispielszenario er möglicht. Eine Stereokameraeinheit bestehend aus mindestens zwei, oder mehreren Kameras befindet sich im autonomen Fahrzeug und eine weitere Stereokameraeinheit befindet sich in einem anderen Raum (z.b. Esszimmer der Familie, Konferenzraum, Hotelzimmer etc.). Diese Einheit ist mit dem Handy verbunden bzw. befindet sich vorzugsweise im Handy verbaut. Zwischen den beiden Räumen z.B. Fahrzeuginteri eur und Esszimmer wird eine Verbindung hergestellt und auf den 3D- Displays dargestellt. Dabei ist die Neuerung die genaue Platzierung der Stereokameras. Eine Software hilft mir dabei, den Raum mit dem ich mich verbinde so auszurichten, dass der Eindruck einer perspektivi schen Verlängerung entsteht (kein optischer Knick). Vorzugsweise wird diese Ausrichtung nicht im autonomen Fahrzeug vorgenommen. An schließend haben beide Parteien (z.b. Familienvater im Auto und Fami lie am Esstisch) die Erfahrung als würden sich direkt gegenüber sitzen, obwohl sie räumlich getrennt sind. With the motor vehicle 14, however, the following example scenario is possible. A stereo camera unit consisting of at least two or more cameras is located in the autonomous vehicle and another stereo camera unit is located in another room (e.g. family dining room, conference room, hotel room, etc.). This unit is connected to the cell phone or is preferably located built into the mobile phone. A connection is established between the two rooms, e.g. the vehicle interior and dining room, and shown on the 3D displays. The innovation is the exact placement of the stereo cameras. A software helps me to align the room with which I connect in such a way that the impression of a perspective extension is created (no optical kink). This alignment is preferably not carried out in the autonomous vehicle. Subsequently, both parties (e.g. family father in the car and family at the dining table) have the experience as if they were sitting directly across from each other, even though they were spatially separated.
Das 3D-Display der Bildschirmeinrichtung 35 im Kraftfahrzeug 14 kann ausfahrbar gestaltet werden. The 3D display of the screen device 35 in the motor vehicle 14 can be designed to be extendable.
Es ergibt sich als Vorteil: The advantage is:
- Räumlich getrennte Menschen werden miteinander verbunden - Spatially separated people are connected to one another
- Ein perspektiver Abgleich der Räume durch die genaue Positio - A perspective comparison of the rooms through the exact position
nierung der Stereokameraeinheit lässt die Sinneserfahrung noch authentischer und intensiver erscheinen. nation of the stereo camera unit makes the sensory experience appear even more authentic and intense.
- Durch das 3D Display, eine intelligente Software und eine - With the 3D display, intelligent software and a
schnelle Datenverbindung wird dies ermöglicht fast data connection makes this possible
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Methode zum visuellen dreidimensionalen Verbinden von getrennten Räumen bereitgestellt werden kann. Overall, the examples show how the invention can provide a method for visually connecting separate spaces in three dimensions.

Claims

PATENTANSPRÜCHE: PATENT CLAIMS:
Verfahren zum Betreiben eines Videokonferenzsystems (10), bei wel chem in einem ersten Raum (11 ) eine Kameraeinrichtung (18) Bildda ten (19) erfasst und in einem zweiten Raum (12) eine mit der Kamera einrichtung (18) über eine Kommunikationsverbindung (13) einer Kom munikationseinrichtung (13‘) gekoppelte Bildschirmeinrichtung (16) auf der Grundlage der Bilddaten (19) eine Bildwiedergabe (17) des ersten Raums (11 ) anzeigt, A method for operating a video conference system (10), in which a camera device (18) captures image data (19) in a first room (11) and a device (18) connected to the camera (18) in a second room (12) via a communication link ( 13) a screen device (16) coupled to a communication device (13 ') displays an image reproduction (17) of the first room (11) on the basis of the image data (19),
dadurch gekennzeichnet, dass characterized in that
eine Justiereinrichtung (20) eine räumliche Lage zumindest eines Refe renzobjekts (22) in dem ersten Raum (11 ) erfasst und durch Lagedaten beschreibt und in Abhängigkeit von den Lagedaten durch Festlegen ei ner räumlichen Ausrichtung der Kameraeinrichtung (18) und/oder einer Bildverarbeitung (26) der Bilddaten (19) das zumindest eine Referen zobjekt (22) in der Bildwiedergabe (17) bezüglich zumindest eines in dem zweiten Raum (12) angeordneten Vorgabeobjekts (24) ausrichtet. an adjustment device (20) detects a spatial position of at least one reference object (22) in the first space (11) and describes it by position data and, depending on the position data, by defining a spatial alignment of the camera device (18) and / or image processing ( 26) of the image data (19) aligns the at least one reference object (22) in the image display (17) with respect to at least one default object (24) arranged in the second space (12).
Verfahren nach Anspruch 1 , wobei durch das Ausrichten The method of claim 1, wherein by aligning
- als Referenzobjekt (22) eine horizontale Oberfläche (23) in Bezug auf ein Vorgabeobjekt (24), das eine horizontale Oberfläche (25) aufweist, auf einen vorbestimmten relativen Höhenunterschied eingestellt wird und/oder - As a reference object (22), a horizontal surface (23) is set to a predetermined relative height difference in relation to a preset object (24) which has a horizontal surface (25) and / or
- ein Referenzobjekt (22) perspektivisch fluchtend zu einem Vorgabeob jekt (24) angeordnet wird und/oder - A reference object (22) is arranged in a perspective aligned with a Vorvorvorob project (24) and / or
- ein Referenzobjekt (22) horizontal und/oder vertikal in Bezug auf ein Vorgabeobjekt (24) angeordnet wird. - A reference object (22) is arranged horizontally and / or vertically in relation to a default object (24).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das zumindest eine Referenzobjekt (22) und/oder das zumindest eine Vor gabeobjekt (24) Method according to one of the preceding claims, wherein the at least one reference object (22) and / or the at least one default object (24)
- jeweils durch einen vorbestimmten Marker markiert ist und/oder - each marked by a predetermined marker and / or
- durch eine Objekterkennung auf der Grundlage der Bilddaten (19) erkannt wird und/oder - durch vorgegebene Geometriedaten des jeweiligen Raumes (11 , 12) beschrieben ist. - is recognized by an object recognition on the basis of the image data (19) and / or - Is described by predetermined geometry data of the respective space (11, 12).
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem zweiten Raum (12) durch eine Erfassungseinrichtung eine Kopfposition4. The method according to any one of the preceding claims, wherein in the second space (12) by a detection device a head position
(27) und/oder eine Kopfbewegung (43) eines Kopfes (28) eines Benut zers erfasst und durch Positionsdaten beschrieben wird und als ein Vorgabeobjekt (24) der Kopf (28) zugrunde gelegt wird und das Aus richten während des Anzeigens der Bildwiedergabe (17) in Abhängig- keit von den Positionsdaten angepasst. (27) and / or a head movement (43) of a head (28) of a user is detected and described by position data and the head (28) is taken as a basis as a default object (24) and the alignment is carried out during the display of the image reproduction ( 17) adapted depending on the position data.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bild daten Tiefeninformationen betreffend einen Abstand (39‘) von mehreren Referenzobjekten im ersten Raum (11 ) bezüglich der Kameraeinrich- tung (18) umfassen und zwischen den Referenzobjekten in Abhängig keit von ihrem jeweiligen Abstand (39‘) ein Parallaxeeffekt durch die Bildverarbeitung (26) erzeugt wird. 5. The method according to any one of the preceding claims, wherein the image data include depth information relating to a distance (39 ') from several reference objects in the first space (11) with respect to the camera device (18) and between the reference objects as a function of their respective distance (39 ') a parallax effect is generated by the image processing (26).
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bild- schirmeinrichtung (35) eine 3D-Bildanzeige aufweist. 6. The method according to any one of the preceding claims, wherein the screen device (35) has a 3D image display.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem ersten Raum (11 ) eine Mikrofoneinrichtung Audiodaten eines Audi- oschalls erfasst und in dem zweiten Raum (12) eine mit der Mikrofon- einrichtung über die Kommunikationsverbindung (13) gekoppelte Laut sprechereinrichtung auf der Grundlage der Audiodaten eine Schallaus gabe des Audioschalls erzeugt, wobei in den Audiodaten vor der Schal lausgabe eine Impulsantwort des ersten Raums (11 ) unterdrückt und/oder eine Impulsantwort des zweiten Raums (12) hinzugefügt wird. 7. The method according to any one of the preceding claims, wherein in the first room (11) a microphone device detects audio data of an audio oschalls and in the second room (12) a loudspeaker device coupled to the microphone device via the communication connection (13) on the Based on the audio data, a sound output of the audio sound is generated, an impulse response of the first room (11) being suppressed and / or an impulse response of the second room (12) being added to the audio data before the sound output.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem zweiten Raum (12) durch eine Gegenkameraeinrichtung (29) Gegen bilddaten (32) des zweiten Raums (12) erfasst werden und in dem ers ten Raum (11 ) durch eine mit der Gegenkameraeinrichtung (29) über die Kommunikationsverbindung (13) gekoppelte Gegenbildschirmein richtung (31 ) auf der Grundlage der Gegenbilddaten (32) eine Gegen bildwiedergabe des zweiten Raums (12) angezeigt werden und die Jus tiereinrichtung (20) das zumindest eine Vorgabeobjekt durch Festlegen einer räumlichen Ausrichtung der Gegenkameraeinrichtung (29) und/oder einer Bildverarbeitung der Gegenbilddaten (32) in der Gegen bildwiedergabe ausrichtet. 8. The method according to any one of the preceding claims, wherein in the second room (12) by an opposing camera device (29) counter image data (32) of the second room (12) are captured and in the first room (11) by one with the opposing camera device (29) about the communication link (13) coupled counter screen device (31) based on the counter image data (32) a counter image display of the second room (12) and the adjustment device (20) the at least one default object by specifying a spatial orientation of the opposite camera device (29 ) and / or an image processing of the counter-image data (32) in the counter-image display.
9. Videokonferenzsystem (10) mit einer Kameraeinrichtung (18) zum Er- fassen von Bilddaten (19) und einer Bildschirmeinrichtung (16) zum An zeigen einer Bildwiedergabe (17) und einer Kommunikationseinrichtung (13‘) zum Bereitstellen einer Kommunikationsverbindung (13) zwischen der Kameraeinrichtung (18) und der Bildschirmeinrichtung (16) und mit einer Justiereinrichtung (20) für die Bildwiedergabe (17), wobei das Vi- deokonferenzsystem (10) dazu eingerichtet ist, ein Verfahren nach ei nem der vorhergehenden Ansprüche durchzuführen. 9. Video conference system (10) with a camera device (18) for capturing image data (19) and a screen device (16) for displaying an image display (17) and a communication device (13 ') for providing a communication link (13) between the camera device (18) and the screen device (16) and with an adjustment device (20) for the image display (17), the video conference system (10) being set up to carry out a method according to one of the preceding claims.
10. Kraftfahrzeug (14) für ein Videokonferenzsystem (10) nach Anspruch 9, mit einer Bildschirmeinrichtung (16) und mit einem fahrzeugseitigen Teil einer Kommunikationseinrichtung (13‘) des Videokonferenzsystems10. Motor vehicle (14) for a video conference system (10) according to claim 9, with a screen device (16) and with a vehicle-side part of a communication device (13 ‘) of the video conference system
(10). (10).
PCT/EP2020/062361 2019-06-07 2020-05-05 Method for operating a videoconference system, and videoconference system and motor vehicle WO2020244861A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019208316.1A DE102019208316A1 (en) 2019-06-07 2019-06-07 Method for operating a video conference system as well as a video conference system and a motor vehicle
DE102019208316.1 2019-06-07

Publications (1)

Publication Number Publication Date
WO2020244861A1 true WO2020244861A1 (en) 2020-12-10

Family

ID=70617096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/062361 WO2020244861A1 (en) 2019-06-07 2020-05-05 Method for operating a videoconference system, and videoconference system and motor vehicle

Country Status (2)

Country Link
DE (1) DE102019208316A1 (en)
WO (1) WO2020244861A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252674A1 (en) * 2004-06-30 2007-11-01 Joakim Nelson Face Image Correction
DE102010028865A1 (en) 2010-05-11 2011-11-17 Stephan Overkott Holographic live presentation system and method for live broadcast of a holographic presentation
US20150156452A1 (en) 2006-03-18 2015-06-04 Videotronic Systems Telepresence system
US9661272B1 (en) 2015-01-28 2017-05-23 Isaac S. Daniel Apparatus, system and method for holographic video conferencing
US9774896B2 (en) * 2011-06-07 2017-09-26 Verizon Patent And Licensing Inc. Network synchronized camera settings
US20180063484A1 (en) * 2016-01-20 2018-03-01 Gerard Dirk Smits Holographic video capture and telepresence system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077587A (en) * 2008-06-30 2011-05-25 惠普开发有限公司 Compositing video streams
GB2543913B (en) * 2015-10-30 2019-05-08 Walmart Apollo Llc Virtual conference room
WO2018005235A1 (en) * 2016-06-30 2018-01-04 Pcms Holdings, Inc. System and method for spatial interaction using automatically positioned cameras

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252674A1 (en) * 2004-06-30 2007-11-01 Joakim Nelson Face Image Correction
US20150156452A1 (en) 2006-03-18 2015-06-04 Videotronic Systems Telepresence system
DE102010028865A1 (en) 2010-05-11 2011-11-17 Stephan Overkott Holographic live presentation system and method for live broadcast of a holographic presentation
US9774896B2 (en) * 2011-06-07 2017-09-26 Verizon Patent And Licensing Inc. Network synchronized camera settings
US9661272B1 (en) 2015-01-28 2017-05-23 Isaac S. Daniel Apparatus, system and method for holographic video conferencing
US20180063484A1 (en) * 2016-01-20 2018-03-01 Gerard Dirk Smits Holographic video capture and telepresence system

Also Published As

Publication number Publication date
DE102019208316A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
DE60219730T2 (en) Display device for driving assistance
EP0931277B1 (en) Projection system, in particular for three-dimensional representations on a viewing device
WO2015193158A1 (en) Vehicle with surroundings-monitoring device and method for operating such a monitoring device
DE102006055641A1 (en) Arrangement and method for recording and reproducing images of a scene and / or an object
EP2153269A1 (en) Method for the orientation of a parallax barrier screen on a display screen
DE102012001835A1 (en) Visual system for a commercial vehicle for the representation of statutory prescribed fields of view of a main mirror and a wide-angle mirror
EP3789962B1 (en) Method and device for generating data for two dimensional or three dimensional representation of at least part of an object and for generating the two or three-dimensional representation of at least part of the object
DE102014116199A1 (en) Image distortion compensation device and method of operation therefor
DE102014006732A1 (en) Image overlay of virtual objects in a camera image
DE102014012250B4 (en) Process for image processing and display
DE102019105630B4 (en) Display control device, vehicle surroundings display system and computer program
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
WO2018215166A1 (en) Control device for a camera apparatus, camera arrangement and method for the stereoscopic recording of a monitoring area
WO2020244861A1 (en) Method for operating a videoconference system, and videoconference system and motor vehicle
DE102018118996B4 (en) Method for determining a color correction value, image processing device, camera system and motor vehicle
DE102017000307A1 (en) Method for calibrating a camera for a motor vehicle taking into account a calibration error, camera and motor vehicle
WO2018133996A1 (en) Method for combining a plurality of camera images
DE102017216843B4 (en) Method and system for displaying at least a section of space, wherein the section of space is displayed depending on a person's eye position
DE202009007745U1 (en) Device for blending surfaces with virtual images during a recorded or live television broadcast
DE102015109971A1 (en) Information processing method and electronic device
WO2013178358A1 (en) Method for spatially visualising virtual objects
WO2019096686A2 (en) Method for presenting a three-dimensional object and an associated computer program product, digital storage medium and a computer system
DE102011088492A1 (en) Navigation system installed in vehicle, has virtual camera whose perspective projection is aligned in perspective view of viewer of display
DE102022121634A1 (en) System, method, computer program and computer-readable medium
WO2023179991A1 (en) Determination of the body posture

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20724785

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20724785

Country of ref document: EP

Kind code of ref document: A1