Telekommunikationseinrichtungen und -verfahren Telecommunications facilities and processes
Beschreibungdescription
Die Erfindung betrifft Telekornmxinikationseinrichtungen und -verfahren. Im Besonderen findet die Erfindung Anwendung auf dem Gebiet der sogenannten Nideophone oder Bildtelephone.The invention relates to telekornminication devices and methods. In particular, the invention finds application in the field of so-called nideophones or video telephones.
Nideokommunikationsvorrichtungen, Nideokommiinikationssysteme und Videokommunikati- onsverfahren, die neben dem auditiven Bereich auch visuelle Medien bzw. Kanäle zur Übermittlung von Ton- und Bildinformation anbieten, sind bekannt, haben jedoch in der breiten Bevölkerung noch keine große Verbreitung gefunden. Ein wesentlicher Nachteil beim Stand der Technik ist nämlich, daß durch die damit verbundene Übertragung von Bildinformationen zu wenigstens einem weiteren Kommunikationsteilnehmer ein häufig nicht erwünschter Eingriff in die Privatsphäre des Anwenders erfolgt. In Abhängigkeit davon, wer den Kommunikationskontakt auslöst, möchte der Anwender und/oder sein Kommunikationspartner gewisse visuelle Informationen übertragen oder nicht. Am liebsten würden die Kommunikationsteilnehmer ein auf den jeweiligen Kommunikationspartner abgestimmtes optimales „Wunscherscheinungsbild" übertragen. Dazu gehört nicht nur ein passender Hintergrund, sondern auch eine geeignete Kleidung und vorteilhaftes übriges Aussehen.Nideo communication devices, nideo communication systems and video communication methods, which in addition to the auditory area also offer visual media or channels for the transmission of sound and image information, are known, but have not yet been widely used by the general public. A major disadvantage of the prior art is that the associated transmission of image information to at least one other communication participant often interferes with the privacy of the user. Depending on who triggers the communication contact, the user and / or his communication partner would like to transmit certain visual information or not. The communication participants would prefer to transmit an optimal “desired appearance” tailored to the respective communication partner. This includes not only a suitable background, but also suitable clothing and an advantageous other appearance.
Die Erfindung geht von dem Vorhandensein audiovisueller Kommunikationationsmedien aus. Allgemeine Merkmale audiovisueller Kommunikationsmedien sind Mikrophon und Lautsprecher, Videokamera und Bildschirm, eine Steuerungseinheit, eine Verarbeitungseinheit abgehend zur Verarbeitung von Audio- und Videosignalen, einer Verarbeitungseinheit kommend zur Verarbeitung von Audio- und Videosignalen und einer Kompressionseinheit zur optimalen Ausnützung der zur Verfügung stehenden Leitungsbandbreite, z.B. über analoge und digitale Telefonnetze, paketgesteuerte Kommunikation über das Internet, interne Computernetze usw.The invention is based on the presence of audiovisual communication media. General features of audiovisual communication media are microphone and loudspeaker, video camera and screen, a control unit, a processing unit outgoing for processing audio and video signals, a processing unit coming for processing audio and video signals and a compression unit for optimal use of the available line bandwidth, e.g. via analog and digital telephone networks, packet-controlled communication via the Internet, internal computer networks, etc.
Insbesondere betrifft die Erfindung Tele- oder Videokommunikationsvorrichtungen mit Anwenderbilddaten-Eingabeeinrichtungen zum Eingeben von aktuellen Anwenderbilddaten,
Bilddaten-Editiereinrichtungen zur Erzeugung von editierten Anwenderbilddaten aus den aktuellen Anwenderbilddaten, und Bilddaten- Ausgabeeinrichtungen zum Ausgeben von Anwenderbilddaten an wenigstens einen weiteren Kommunikationsteilnehmer. Dabei können vorzugsweise Identifikationseinrichtungen zum Identifizieren wenigstens eines Kommunikation- steilnehmers und eine mit den Identifikationseinrichtungen gekoppelte Editierauswahlsteuerung vorgesehen sein, die in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen eine Ausgabe von uneditierten aktuellen oder editierten Anwenderbilddaten mittels der Bilddaten- Ausgabeeinrichtungen ggf. unter Vorschaltung der Bilddaten-Editiereinrichtungen veranlaßt. Basis der vorliegenden Erfindung ist auch ein Tele- oder Videokommimikati- onsverfahren, wobei wenigsten ein Kon-munikationsteilnehmer mittels Identifikationseinrichtungen identifiziert wird, aktuelle Anwenderbilddaten in Anwenderbilddaten-Eingabeeinrichtungen eingegeben werden, eine Editierauswahlsteuerung die aktuellen Anwenderbilddaten in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen an Bilddaten-Editiereinrichtungen leitet oder nicht, die Bilddaten-Editiereinrichtungen, wenn sie die aktuellen Anwenderbilddaten erhalten haben, daraus oder dafür editierte Anwenderbilddaten erzeugt, und schließlich uneditierte aktuelle oder, falls vorhanden, editierte Anwenderbilddaten mittels Bilddaten- Ausgabeeinrichtungen ausgegeben werden. Ferner ist Grundlage ein entsprechend ausgestattetes oder fl-nktionierendes Tele- oder Videokommunikationssystem.In particular, the invention relates to telecommunications or video communication devices with user image data input devices for inputting current user image data, Image data editing devices for generating edited user image data from the current user image data, and image data output devices for outputting user image data to at least one further communication subscriber. Identification devices for identifying at least one communication participant and an edit selection control coupled to the identification devices can be provided, which, depending on the identification result of the identification devices, causes output of unedited current or edited user image data by means of the image data output devices, possibly with the image data editing devices connected upstream , The basis of the present invention is also a telecommunications or video communication method, at least one communication subscriber being identified by means of identification devices, current user image data being input into user image data input devices, an edit selection controller directing the current user image data depending on the identification result of the identification devices to image data editing devices or not, the image data editing devices, if they have received the current user image data, generated them or edited user image data for this, and finally unedited current or, if present, edited user image data are output by means of image data output devices. Furthermore, the basis is an appropriately equipped or functional telecommunication or video communication system.
Solche Vorrichtungen, Verfahren und Systeme sind in der Internationalen Patentanmeldung PCT/DE 00/00442 mit dem Anmeldetag 16. Februar 2000 und den Prioritätsdaten 16. Februar und 8. Oktober 1999 derselben Anmelderin offenbart. Der vollständige Offenbarungsgehalt dieser Anmeldung wird hiermit zur Vermeidung bloßer wiederholender Wiedergabe durch die vorliegende Bezugnahme vollumfanglich in die gegenwärtigen Unterlagen übernommen. Insbesondere gilt diese Bezugnahme für Editiermöglichkeiten und Steuerungen.Such devices, methods and systems are disclosed in the international patent application PCT / DE 00/00442 with the filing date February 16, 2000 and the priority dates February 16 and October 8, 1999 by the same applicant. The entire disclosure content of this application is hereby incorporated in its entirety in the current documents to avoid merely repetitive reproduction by means of the present reference. In particular, this reference applies to editing options and controls.
Das Grundprinzip dieser Technologie besteht darin, daß das von einem Anwender aufgenommene Bild in beispielsweise drei Ebenen zerlegt wird, die Gesichts- oder Kopf-Ebene, die Körperebene und die Hintergrundebene, die jeweils für sich editiert werden können. Darauf basieren auch die Vorrichtungs- und Verfahrensausgestaltungen und -merkmale der vorliegenden Erfindung.The basic principle of this technology is that the image taken by a user is broken down into, for example, three levels, the face or head level, the body level and the background level, which can each be edited individually. The device and method configurations and features of the present invention are also based on this.
Die Vorrichtungen, Verfahren und Systeme insbesondere gemäß der PCT/DE 00/00442 sollen mit der vorliegenden Erfindung weiter verbessert werden.The devices, methods and systems, in particular according to PCT / DE 00/00442, are intended to be further improved with the present invention.
Dazu schafft die vorliegende Erfindung eine Telekommiinikationseinrichtung mit Anwenderbilddaten-Eingabeeinrichtungen zum Eingeben von aktuellen Anwenderbilddaten, Bilddaten-
Editiereinrichtungen zur Erzeugung von editierten Anwenderbilddaten aus den aktuellen Anwenderbilddaten, und Bilddaten- Ausgabeeinrichtungen zum Ausgeben von Anwenderbilddaten an wenigstens einen weiteren Kommunikationsteilnehmer, wobei vorgesehen ist, daß die Bilddaten-Editiereinrichtungen Speichereinrichtungen für Aktivkonturinformationen zumindest eines Körperteils mindestens eines Anwenders, insbesondere seines Gesichts oder mehreren Teilen davon, enthalten, welche Aktivkonturinformationen vor einer Kommunikationsver- bindung erfaßt wurden, und daß die Bilddaten-Editiereinrichtungen ausgelegt sind, anhand der Aktivkonturinformationen das entsprechende Körperteil unabhängig von dessen Bewegung oder Stellung zu identifizieren und lokalisieren sowie zu verfolgen.To this end, the present invention provides a telecommunications device with user image data input devices for entering current user image data, image data Editing devices for generating edited user image data from the current user image data, and image data output devices for outputting user image data to at least one further communication participant, it being provided that the image data editing devices store devices for active contour information of at least one body part of at least one user, in particular his face or several parts of which contain which active contour information was recorded before a communication connection and that the image data editing devices are designed to identify and locate and track the corresponding body part independently of its movement or position on the basis of the active contour information.
Vorzugsweise sind bei einer erfindungsgemäßen Telekommunikationseinrichtung die Bilddaten-Editiereinrichtungen ausgelegt, auf der Basis der Aktivkonturinformationen Ersetzungen und Änderungen an dem entsprechenden Körperteil und/oder anderer Bilddaten mit Ausnahme dieses Körperteils innerhalb der aktuellen Anwenderbilddaten oder von weiteren vorher gespeicherten Bilddaten unabhängig von der Bewegung oder Stellung des entsprechenden Körperteils auszuführen.In a telecommunication device according to the invention, the image data editing devices are preferably designed on the basis of the active contour information, replacements and changes to the corresponding body part and / or other image data with the exception of this body part within the current user image data or from further previously stored image data regardless of the movement or position of the appropriate part of the body.
Bei einer anderen bevorzugten Weiterbildung der Erfindung enthalten die Aktivkonturinformationen Parameterinformationen, die von Bewegungsmöglichkeiten oder Zustandsänderungsmöglichkeiten des entsprechenden Körperteils oder Teilen davon abhängen, und/oder einer Zusammenstellung eines Bildes aus dem entsprechenden Körperteil aus den aktuellen Anwenderbilddaten und weiteren vorher gespeicherten Bilddaten dienen, und/oder kinematische Variablen der aktiven Kontur des entsprechenden Körperteils sowie einer Zusammenstellung eines Bildes aus dem entsprechenden Körperteil aus den aktuellen Anwenderbilddaten und weiteren vorher gespeicherten Bilddaten definieren und/oder zur Steuerung der Gewichtung früherer Annahmen betreffend die Anwenderbilddaten dienen. Entsprechende Varianten der Telekommunikationseinrichtung nach der Erfindung sind mit Vorzug so gestaltet, daß die weiteren vorher gespeicherten Bilddaten Hintergrundbildinformationen sind, die insbesondere statische oder dynamische Bildinformationen beispielsweise von realen Aufnahmen oder künstlichen oder virtuellen Abbildungen enthalten.In another preferred development of the invention, the active contour information contains parameter information which depends on the movement possibilities or state change possibilities of the corresponding body part or parts thereof and / or is used to compile an image from the corresponding body part from the current user image data and further previously stored image data, and / or Define kinematic variables of the active contour of the corresponding body part and a compilation of an image from the corresponding body part from the current user image data and further previously stored image data and / or serve to control the weighting of previous assumptions regarding the user image data. Corresponding variants of the telecommunication device according to the invention are preferably designed such that the further previously stored image data is background image information, which in particular contains static or dynamic image information, for example of real images or artificial or virtual images.
Eine andere bevorzugte Ausgestaltung der Erfindung besteht darin, daß die Bilddaten-Editiereinrichtungen eine Videoaugmentationseinrichtung enthalten, die insbesondere die Speichereinrichtungen für Aktivkonturinformationen enthalten und oder zum Steuern der Nutzung der Aktivkonturinformationen ausgelegt ist. Dabei kann ferner vorzugsweise vorgesehen sein,
daß die Bilddaten-Editiereinrichtungen eine Videosegmentationseinrichtung enthalten, die insbesondere von der Videoaugmentationseinrichtung gesteuert wird, der Videoaugmentationseinrichtung zu- oder nachgeordnet ist, und/oder die Speichereinrichtungen für Aktivkonturinformationen enthalten.Another preferred embodiment of the invention is that the image data editing devices contain a video augmentation device, which in particular contains the storage devices for active contour information and is designed to control the use of the active contour information. It can also preferably be provided that the image data editing devices contain a video segmentation device, which is controlled in particular by the video augmentation device, is assigned to or arranged after the video augmentation device, and / or contain the storage devices for active contour information.
Alternativ oder zusätzlich kann die Erfindung dadurch weitergebildet sein, daß die Bilddaten- Editiereinrichtungen eine Videomodifikationseinrichtung zum Ändern der aktuellen Anwenderbilddaten enthalten und eine Sicherheitseinrichtung vorgesehen ist, die in Abhängigkeit von der Erkennung eines bestimmten Anwenders einen Betriebsmodus der Videomodifikationseinrichtung festlegt oder freigibt, um insbesondere Änderungen an Bilddaten des entsprechenden Körperteils und/oder anderen Bilddaten mit Ausnahme dieses Körperteils jeweils innerhalb der aktuellen Anwenderbilddaten oder von weiteren vorher gespeicherten Bilddaten zuzulassen.Alternatively or additionally, the invention can be further developed in that the image data editing devices contain a video modification device for changing the current user image data and a safety device is provided which, depending on the recognition of a particular user, specifies or releases an operating mode of the video modification device, in particular to make changes Allow image data of the corresponding body part and / or other image data with the exception of this body part in each case within the current user image data or from further previously stored image data.
Das Ziel der Erfindung wird auch mittels einem Telekommiinikationsverfahren erreicht, bei dem aktuelle Anwenderbilddaten erfaßt, editiert und zu wenigstens einem anderen Telekom- munikationsteilnehmer übertragen werden, wobei zumindest ein Körperteil mindestens eines Anwenders, insbesondere sein Gesicht oder mehrere Teile davon, mittels Aktivkonturinformationen, die vor einer Kommunikationsverbindung erfaßt wurden, innerhalb der aktuellen Anwenderbilddaten identifiziert und lokalisiert sowie verfolgt wird.The aim of the invention is also achieved by means of a telecommunications process, in which current user image data are acquired, edited and transmitted to at least one other telecommunications participant, with at least one part of the body of at least one user, in particular his face or several parts thereof, using active contour information which is provided a communication link has been detected, identified and localized and tracked within the current user image data.
Mit Vorzug ist bei diesem Telekommunikationsverfahren ferner vorgesehen, daß auf der Basis der Aktivkonturinformationen Ersetzungen und Änderungen an dem entsprechenden Körperteil und/oder anderer Bilddaten mit Ausnahme dieses Körperteils innerhalb der aktuellen Anwenderbilddaten oder von weiteren vorher gespeicherten Bilddaten unabhängig von der Bewegung oder Stellung des entsprechenden Körperteils vorgenommen werden.With this telecommunications method, it is also preferably provided that on the basis of the active contour information, replacements and changes to the corresponding body part and / or other image data with the exception of this body part within the current user image data or from further previously stored image data regardless of the movement or position of the corresponding body part be made.
Außerdem oder weiterhin kann vorgesehen sein, daß die Aktivkonturinformationen Parameterinformationen enthalten, die von Bewegungsmöglichkeiten oder Zustandsänderungsmöglichkeiten des entsprechenden Körperteils oder Teilen davon abhängen, und/oder einer Zusammenstellung eines Bildes aus dem entsprechenden Körperteil aus den aktuellen Anwenderbilddaten und weiteren vorher gespeicherten Bilddaten dienen, und oder kinematische Variablen der aktiven Kontur des entsprechenden Körperteils sowie einer Zusammenstellung eines Bildes aus dem entsprechenden Körperteil aus den aktuellen Anwenderbilddaten und weiteren vorher gespeicherten Bilddaten definieren und/oder
zur Steuerung der Gewichtung früherer Annahmen betreffend die Anwenderbilddaten dienen.In addition or in addition, it can be provided that the active contour information contains parameter information which depends on the movement possibilities or state change possibilities of the corresponding body part or parts thereof, and / or serves to compile an image from the corresponding body part from the current user image data and further previously stored image data, and or Define kinematic variables of the active contour of the corresponding body part and a compilation of an image from the corresponding body part from the current user image data and further previously stored image data and / or serve to control the weighting of previous assumptions regarding the user image data.
Entsprechende Ausfi-hrungen des Telekonmiunikationsverfahren nach der Erfindung können dadurch gekennzeichnet sein, daß die weiteren vorher gespeicherten Bilddaten Hintergrundbildinformationen sind, die insbesondere statische oder dynamische Bildinformationen beispielsweise von realen Aufnahmen oder künstlichen oder virtuellen Abbildungen enthalten.Corresponding embodiments of the telecommunication method according to the invention can be characterized in that the further previously stored image data is background image information, which in particular contains static or dynamic image information, for example of real images or artificial or virtual images.
Bei dem Telekommunikationsverfahren kann in einer weiteren Ausgestaltung vorgesehen sein, daß in Abhängigkeit von der Erkennung eines bestimmten Anwenders ein Betriebsmodus festgelegt oder freigegeben wird, um insbesondere Änderungen an Bilddaten des entsprechenden Körperteils und/oder anderen Bilddaten mit Ausnahme dieses Körperteils jeweils innerhalb der aktuellen Anwenderbilddaten oder von weiteren vorher gespeicherten Bilddaten zuzulassenIn a further embodiment, the telecommunication method can provide that, depending on the recognition of a specific user, an operating mode is defined or released, in particular to make changes to image data of the corresponding body part and / or other image data with the exception of this body part in each case within the current user image data or of other previously saved image data
Weitere vorteilhafte und bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den jeweils abhängigen Ansprüchen und deren Kombinationen sowie aus der Gesamtheit der vorliegenden Unterlagen einschließlich dem Offenbarungsgehalt der PCT/DE 00/00442 sowie dem Stand der Technik und dem fachmännischen Wissen.Further advantageous and preferred embodiments of the invention result from the respective dependent claims and their combinations as well as from the entirety of the present documents including the disclosure content of PCT / DE 00/00442 as well as the state of the art and the professional knowledge.
Aus dem Offenbarungsgehalt der vorliegenden Unterlagen ergeben sich noch weitere für sich alleine schutzfähige und schutzwürdige Aspekte der Erfindung, auch ohne Kombination mit den in den Ansprüchen formulierten und vorstehend erläuterten Aspekten der Erfindung. Die Erfindung betrifft insofern jegliche durch die Merkmale und Merkmalskombinationen, die in den vorliegenden Unterlagen offenbart sind, bestimmten Ausgestaltungen von Telekommuni- kationseinrichtungen und -verfahren, die insofern sowohl zum Gegenstand der vorliegenden Anmeldung als auch zu Gegenständen von Teilanmeldungen gemacht werden können.From the content of the disclosure of the present documents, further aspects of the invention that can be protected and are worthy of protection are obtained on their own, even without a combination with the aspects of the invention formulated in the claims and explained above. In this respect, the invention relates to any configurations of telecommunication devices and methods determined by the features and combinations of features disclosed in the present documents, which can be made both the subject of the present application and the subject of divisional applications.
Nachfolgend wird die Erfindung im Rahmen ihrer einzelnen Aspekte anhand von nicht beschränkenden Beispielen auch Unter Bezugnahme auf die Zeichnungen näher beschrieben, in denen:In the following, the invention will be described in more detail in the context of its individual aspects by means of non-limiting examples with reference to the drawings, in which:
Fig. 1 ein schematisches und funktionales Blockdiagramm zur Verdeutlichung einer Telekommunikationseinrichtung zeigt,1 shows a schematic and functional block diagram to illustrate a telecommunications device,
Fig. 2 Beispiele des Skin GUI Windows Media Player 7 veranschaulicht, und
Fig. 3 eine Bildschirmdarstellung der Dateienliste und -große eines Prototypen der Telekommunikationseinrichtung unter Einbeziehung eines Personalcomputers ist.Fig. 2 illustrates examples of the Skin GUI Windows Media Player 7, and Fig. 3 is a screen representation of the file list and size of a prototype of the telecommunication device including a personal computer.
In der Fig. 1 ist exemplarisch eine funktionale Architektur einer Telekommunikationseinrichtung 1 gezeigt, die Anwenderbilddaten-Eingabeeinrichtungen 2 zum Eingeben von aktuellen Anwenderbilddaten, Bilddaten-Editiereinrichtungen 3 zur Erzeugung von editierten Anwenderbilddaten aus den aktuellen Anwenderbilddaten, und Bilddaten- Ausgabeeinrichtungen 4 zum Ausgeben von Anwenderbilddaten an wenigstens einen weiteren Kornmunikationsteil- nehmer (nicht gezeigt) enthalten. Die Anwenderbilddaten-Eingabeeinrichtungen 2 enthalten eine Videoeingaben-Hardware-Schnittstelle 5 sowie weitere in der betreffenden Technik allgemein bekannte und daher zur Vereinfachung nicht gesondert dargestellte Einrichtungen, wie z.B. eine Videokamera, die an die Schnittstelle angeschlossen ist und ein gesondertes Gerät oder in ein Videophon oder einen Handheld-Computer etc. integriert sein kann. Neben den Anwenderbilddaten-Eingabeeinrichtungen 2 sind auch Anwenderaudiodaten-Eingabeeinrichtungen 6 gezeigt, die beispielsweise eine Audioeingaben-Hardware-Schnittstelle 7 sowie weitere ebenfalls in der betreffenden Technik allgemein bekannte und daher zur Vereinfachung nicht gesondert dargestellte Einrichtungen enthält, wie z.B. ein Mikrophon, das an die Schnittstelle angeschlossen ist und ein gesondertes Gerät oder in ein Videophon oder einen Handheld-Computer etc. integriert sein kann.1 shows an example of a functional architecture of a telecommunication device 1, the user image data input devices 2 for entering current user image data, image data editing devices 3 for generating edited user image data from the current user image data, and image data output devices 4 for outputting user image data contain at least one further communication partner (not shown). The user image data input devices 2 contain a video input hardware interface 5 and further devices which are generally known in the relevant technology and are therefore not shown separately for simplification, such as e.g. a video camera that is connected to the interface and can be integrated into a separate device or into a videophone or a handheld computer etc. In addition to the user image data input devices 2, user audio data input devices 6 are also shown, which, for example, contain an audio input hardware interface 7 as well as other devices which are also generally known in the relevant technology and are therefore not shown separately for simplification, such as e.g. a microphone that is connected to the interface and can be integrated into a separate device or into a videophone or a handheld computer etc.
Der Videoeingaben-Hardware-Schnittstelle 5 der Anwenderbilddaten-Eingabeeinrichtungen 2 und der Audioeingaben-Hardware-Schnittstelle 7 der Anwenderaudiodaten-Eingabeeinrichtungen 6 jeweils entsprechend nachgeschaltet sind eine Video-Erfassungsschnittstelle 8 bzw. eine Audio-Erfassungsschnittstelle 9 zur datenmäßigen Erfassung und erforderlichenfalls Aufbereitung von Bild- und Tondaten des Anwenders.The video input hardware interface 5 of the user image data input devices 2 and the audio input hardware interface 7 of the user audio data input devices 6 are respectively followed by a video acquisition interface 8 or an audio acquisition interface 9 for data acquisition and, if necessary, preparation of image and audio data of the user.
Die Bilddaten-Editiereinrichtungen 3 enthalten ferner Speichereinrichtungen 10 für Aktivkonturinformationen zumindest eines Körperteils mindestens eines Anwenders (nicht gezeigt), insbesondere seines Gesichts oder mehreren Teilen davon, welche Aktivkonturinformationen vor einer Kommunikationsverbindung erfaßt wurden. Die Speichereinrichtungen 10 können physikalisch oder funktional zugeordnet sein zu einer Videoaugmentationseinrichtung 11 und/oder einer Videosegmentationseinrichtung 12, die ebenso wie eine Videomodifikations- einrichtung 13 Bestandteile der Bilddaten-Editiereinrichtungen 3 sind. Die Videomodifikationseinrichtung 13 dient zur eigentlichen Editierung der Anwenderbilddaten.The image data editing devices 3 furthermore contain storage devices 10 for active contour information of at least one body part of at least one user (not shown), in particular his face or several parts thereof, which active contour information was acquired before a communication connection. The storage devices 10 can be physically or functionally assigned to a video augmentation device 11 and / or a video segmentation device 12, which, like a video modification device 13, are components of the image data editing devices 3. The video modification device 13 is used for the actual editing of the user image data.
Weiterhin enthält die Telekommunikationseinrichtung 1 einen Anwenderdatencontainer 14, in dem oder in dessen Komponenten die Speichereinrichtungen 10 physikalisch oder funktional
ebenfalls enthalten sein können, wobei dann eine entsprechende Anbindung an die Bilddaten- Editiereinrichtungen 3 erforderlich ist. Der Anwenderdatencontainer 14 enthält entsprechend der Version, die in der Fig. 1 gezeigt ist, eine Telefonbucheinrichtung 15, in der Daten von Kommxinikationspartnern gespeichert sind, eine Anruferidentifikationseinrichtung 16, in der ebenfalls Daten von Koπm unikationspartnern gespeichert sind oder die zur Erlangung solcher Daten entsprechend funktional an die Telefonbucheinrichtung 15 gekoppelt ist, eine Sicherheitseinrichtung 17, die für die Freigabe der Telekommunikationseinrichtung 1 oder einzelner von deren Betriebsmodi zuständig ist, sowie eine Videophon- Anrufeinrichtung 18, die die telekommunikationstechnischen Erfordernisse beinhaltet oder steuert. Zum Anwender hin gibt es von dem Anwenderdatencontainer 14 z.B. ein Anwender-Schnittstellenfenster 19, das in der Anzeige eines Videophons, eines Handheld-Computers, eines Personalcomputers, etc. (nicht dargestellt) bereitgestellt wird.Furthermore, the telecommunication device 1 contains a user data container 14, in which or in its components the storage devices 10 physically or functionally can also be included, in which case a corresponding connection to the image data editing devices 3 is required. According to the version shown in FIG. 1, the user data container 14 contains a telephone book device 15 in which data from communication partners are stored, a caller identification device 16 in which data from communication partners are also stored or which are functional for obtaining such data is coupled to the telephone book device 15, a security device 17, which is responsible for releasing the telecommunication device 1 or individual of its operating modes, and a videophone call device 18, which contains or controls the telecommunication requirements. For the user there is, for example, a user interface window 19 from the user data container 14, which is provided in the display of a videophone, a handheld computer, a personal computer, etc. (not shown).
Erfindungsgemäß ist vorgesehen, daß die Bilddaten-Editiereinrichtungen 3 ausgelegt sind, anhand der Aktivkonturinformationen das entsprechende Körperteil unabhängig von dessen Bewegung oder Stellung zu identifizieren und lokalisieren sowie zu verfolgen. Bei einem erfindungsgemäßen Telekommunikationsverfahren, bei dem aktuelle Anwenderbilddaten erfaßt, editiert und zu wenigstens einem anderen Telekommimikationsteilnehmer übertragen werden, ist vorgesehen, daß zximindest ein Körperteil mindestens eines Anwenders, insbesondere sein Gesicht oder mehrere Teile davon, mittels Aktivkonturinformationen, die vor einer Kommu- nikationsverbindung erfaßt wurden, innerhalb der aktuellen Anwenderbilddaten identifiziert und lokalisiert sowie verfolgt werden.According to the invention, it is provided that the image data editing devices 3 are designed to identify and locate and track the corresponding body part independently of its movement or position on the basis of the active contour information. In a telecommunication method according to the invention, in which current user image data are acquired, edited and transmitted to at least one other telecommunication subscriber, it is provided that at least one part of the body of at least one user, in particular his face or several parts thereof, by means of active contour information which is acquired before a communication link were identified, localized and tracked within the current user image data.
Über den Anwenderdatencontainer 14 ist die Telekommi ikationseinrichtung 1 mittels einer Übertragungssystemeinrichtung 20, die u.a. die Bilddaten-Ausgabeeinrichtungen 4 enthalten, an ein Telekommunikationsnetz 21, wie z.B. ein ISDN-Netz oder einen Internetprovider (IP) angeschlossen.The telecommunications device 1 is connected to the user data container 14 by means of a transmission system device 20 which, among other things. which contain image data output devices 4 to a telecommunication network 21, e.g. an ISDN network or an Internet provider (IP) is connected.
Nachfolgend werden die einzelnen Komponenten der Telekommiinikationseinrichtung 1, die in der Fig. 1 dargestellt ist, und die Funktionen und Fähigkeiten dieser Komponenten näher beschrieben.The individual components of the telecommunication device 1, which is shown in FIG. 1, and the functions and capabilities of these components are described in more detail below.
Der Anwenderdatencontainer 14 repräsentiert insbesondere lokale Datenbankeinrichtungen für die Telekommiinikationseinrichtung 1. Er enthält Einträge und Aufzeichnungen in Verbindung mit der Sicherheitseinrichtung 17, der Videoaugmentationseinrichtung 11, der Anruferi- dentifikationseinrichtung 16 und der Videophon- Anrufeinrichtung 18. Bei einem erfindungsgemäßen Telekommunikationsverfahren werden Teile der oder alle Aufzeichnungen von der
anwendungsspezifischen Datenbank geliefert, die von der Zielanwendung oder dem Zielgerät zur Verfügung gestellt werden. Der Anwenderdatencontainer 14 ist repräsentativ für die Zielanwendung. Der Anwenderdatencontainer 14 wird verwendet, um eine einzige Datenbank für die Speicherung der erforderlichen Aufzeichnungen und Einträge für alle gelisteten Einrichtungen zur Verfügung zu stellen.The user data container 14 represents, in particular, local database devices for the telecommunication device 1. It contains entries and records in connection with the security device 17, the video augmentation device 11, the caller identification device 16 and the videophone call device 18. In a telecommunication method according to the invention, parts of or all of the records are of the application-specific database provided by the target application or the target device. The user data container 14 is representative of the target application. The user data container 14 is used to provide a single database for storing the required records and entries for all listed facilities.
Durch die Sicherheitseinrichtung 17 werden Werkzeuge für eine eindeutige Anwenderidentifikation bereitgestellt. Der Gedanke ist hier von doppelter Bedeutung. Erstens möchten mehrere Benutzer die Möglichkeit haben, einzelne Teile der Telekommiinikationseinrichtung 1 und des Telekommunikationsverfahrens gemäß der Erfindung zu benutzen, wenn auch nur immer einer gleichzeitig. Deshalb muß eine Telekommiinikationseinrichtung 1 die Fähigkeit besitzen, die Augmentationparameterauswahl eines jeden Anwenders separat aufzuzeichnen und anzuwenden. Der zweite Teil dieses eindeutigen Anwenderidentifikationsgedankens ist, daß eine solche Telekommunikationseinrichtung 1 nur dann die erfaßten Videodaten erweitert oder behandelt, wenn einer aus einer Anzahl von vorbestimmten zulässigen Anwendern vorgefunden wird. Ansonsten ermöglicht es die Sicherheitseinrichtung 17 der Telekommunikationseinrichtung 1, wie einem Bildtelefon, zu arbeiten, aber unter Umgehung der Videoaugmentationseinrichtung 11.The security device 17 provides tools for unambiguous user identification. The idea here is of double importance. First, several users want to be able to use individual parts of the telecommunication device 1 and the telecommunication method according to the invention, even if only one at a time. Therefore, a telecommunications device 1 must have the ability to separately record and apply the augmentation parameter selection of each user. The second part of this unique idea of user identification is that such a telecommunication device 1 only extends or processes the captured video data if one of a number of predetermined permissible users is found. Otherwise, the security device 17 of the telecommunication device 1, such as a videophone, makes it possible to work, but bypassing the video augmentation device 11.
Sicherheit in Bezug auf denjenigen, der ein die erfindungsgemäße Telekommunikationseinrichtung 1 verwendet, wird von der Sicherheitseinrichtung 17 gehandhabt. Die Sicherheitseinrichtung 17 initiiert Tests, um die Daten der gegenwärtigen Anwender mit Daten, die für die autorisierten Anwender gespeichert sind, zu vergleichen. Ein einfaches Verfahren ist, ein gut bekanntes Passwortschutzschema gegen nicht autorisierte Anwendung einzuführen. Fortschrittlichere Maßnahmen gegen Betrug und Mißbrauch beinhalten die Implementation von auf Biometrie basierten Sicherheitssystemen. Dies kann beispielsweise ein audio- oder visu- ell-basierter Vergleich der gegenwärtigen Anwenderdaten mit gespeicherten Anwenderprofi- len sein. Die Frage, welcher Ansatz für das Sicherheitssystem gewählt wird, hängt vom Kun- denbedarf ab. Wird die Telekommunikationseinrichtung 1 in einer geschützten Umgebung verwendet, erscheint es ausreichend, vielleicht ein Passwortschema zu implementieren. Die Sicherheitseinrichtung 17 wird eine Passwortsicherheit vor einem Anruf initialisieren. Die Telekommunikationseinrichtung 1 kann umstellbar auf oder ausbaufähig für spätere Implementierungen mit strengeren Sicherheitsmaßnahmen je nach Bedarf sein.Security with respect to those who use the telecommunication device 1 according to the invention is handled by the security device 17. The security device 17 initiates tests to compare the data of the current users with data stored for the authorized users. A simple procedure is to introduce a well-known password protection scheme against unauthorized use. More advanced measures against fraud and abuse include the implementation of security systems based on biometrics. This can be, for example, an audio or visual-based comparison of the current user data with stored user profiles. The question of which approach to take for the security system depends on customer needs. If the telecommunication device 1 is used in a protected environment, it seems sufficient to implement a password scheme. The security device 17 will initialize password security before a call. The telecommunication device 1 can be converted to or expandable for later implementations with stricter security measures as required.
Auch insbesondere alle Bezugsdaten und andere Einstellungen werden in dem Anwenderdatencontainer 14 ggf. in gesonderten und/oder speziellen Einrichtungen gespeichert.
Der Anwenderdatencontainer 14 enthält ferner eine Telefonbucheinrichtung 15, die identisch oder kompatibel mit gängigen Adreßbüchern insbesondere von aktuell verbreiteten Software- produkten ist. Vorzugsweise erlaubt es die Telefonbucheinrichtung 15 dem Anwender, jede Anzahl von Assoziationen zwischen Namen und Telefonnummern zu konfigurieren. Jeder der Namen in dieser Liste kann zum Zwecke der Initiierung eines Bildtelefonanrufes ausgewählt werden. Sobald der Anwender einen Namen aus dem Adreßbuch ausgewählt hat, wird die Telefonnummer an die Videophon- Anrufeinrichtung 18 zur Anrufsetup-Initiierung weitergegeben. Alle Telefonbuchinformationen, die vom Anwender konfiguriert werden, werden in dem Adreßbuch gespeichert.In particular, all reference data and other settings are also stored in the user data container 14, if necessary in separate and / or special devices. The user data container 14 also contains a telephone book device 15, which is identical or compatible with common address books, in particular of currently widespread software products. Preferably, the telephone book device 15 allows the user to configure any number of associations between names and telephone numbers. Each of the names in this list can be selected for the purpose of initiating a videophone call. As soon as the user has selected a name from the address book, the telephone number is passed on to the videophone call device 18 for call setup initiation. All phone book information configured by the user is stored in the address book.
Die Videophon- Anrufeinrichtung 18, die jeden Telefonanruf managt, ist für Videotelefonanruf- Aufnahme sowie -Übertragung und -Auflegen verantwortlich. Die Videophon- Anrufeinrichtung 18 handhabt sowohl von Anwendern initiierte als auch spontane Videotelefonanrufe, die von einem zweiten Videotelefonbenutzer initiiert wurden. Die Videophon- Anrufeinrichtung 18 handhabt das Ergebnis eines angeforderten Anruf-Entgegennehmens oder -Auflegens. Dieselbe Information kann auch an die Anruferidentifikationseinrichtung 16 berichtet werden. Die Videophon- Anrufeinrichtung 18 hält die Kommunikation mit der Übertragungssystemeinrichtung 20 aufrecht.The videophone call device 18, which manages each telephone call, is responsible for videophone call recording, transmission, and hanging up. The videophone call device 18 handles both user initiated and spontaneous video phone calls initiated by a second video phone user. The videophone call device 18 handles the result of a requested call answering or hanging up. The same information can also be reported to the caller identification device 16. The videophone call device 18 maintains communication with the transmission system device 20.
Wie weiter oben bereits erwähnt, sind alle Anruferidentifikationsinformationen, die vom Anwender konfiguriert wurden, in dem Anwenderdatencontainer 14 gespeichert. Das Untersystem, das diese Anruferidentifikationsinformationen in Echtzeit verwendet, wird als Anruferi- dentifikationseinrichtung 16 bezeichnet. Die Telefonnummer, mit der eine Verbindung besteht oder aufgebaut wird, wird immer von der Videophon--A-ι--- feinrichtung 18 an die Anru- feridentifikationseinrichtung 16 berichtet, wenn die Herstellung einer Telekommunikationsverbindung erfolgreich ausgeführt wurde. Zusätzlich wird die Videophon- Anrufeinrichtung 18 die Anruferidentifikationseinrichtung 16 benachrichtigen, wenn ein Auflegen des Anrufs auftritt.As already mentioned above, all caller identification information that has been configured by the user is stored in the user data container 14. The subsystem that uses this caller identification information in real time is referred to as caller identification device 16. The telephone number with which there is a connection or is being established is always reported by the videophone device A 18 to the caller identification device 16 if a telecommunication connection has been successfully established. Additionally, the videophone caller 18 will notify the caller identification device 16 when the call is hanging up.
Bei dem in der Fig. 1 dargestellten Ausführungsbeispiel derTelekommunikationseinrichtung 1 ist die Videosegmentationseinrichtung 12 der Videoaugmentationseinrichtung 11 nachgeschaltet. Es kann jedoch insbesondere vorgesehen sein, daß die Videosegmentationseinrichtung 12 zumindest funktional Bestandteil der Videoaugmentationseinrichtung 11 ist. Jedenfalls sind beide Komponenten Bestandteil der Bilddaten-Editiereinrichtungen 3.
Die Videosegmentationseinrichtung 12 oder auch übergeordnet oder vorgeschaltet die Videoaugmentationseinrichtung 11 sind für eine Reihe vorteilhafter Effekte und Funktionen verantwortlich, auf die nachfolgend näher eingegangen wird.In the exemplary embodiment of the telecommunication device 1 shown in FIG. 1, the video segmentation device 12 is connected downstream of the video augmentation device 11. However, it can in particular be provided that the video segmentation device 12 is at least functionally part of the video augmentation device 11. In any case, both components are part of the image data editing devices 3. The video segmentation device 12 or also superordinate or upstream of the video augmentation device 11 are responsible for a number of advantageous effects and functions, which will be discussed in more detail below.
Die Elimination des Halo-Effekts ist eine solche Wirkung. Es kann bei einer Telekommunikationseinrichtung 1 nach der Erfindung der Halo-Effekt entfernt und ein anti-aliasiertes Überblenden zum z.B. künstlichen Hintergrund ausgeführt werden. Anders ausgedrückt ist dies eine erfmdungsgemäße Eigenschaft der Teleko-----munikationseinrichrung 1. Dadurch kann insbesondere eine nahtlose Integration zwischen der segmentierten Form und des z.B. künstlichen Hintergrunds stattfinden.Elimination of the halo effect is one such effect. In a telecommunication device 1 according to the invention, the halo effect can be removed and an anti-aliased cross-fading, e.g. artificial background. In other words, this is a property of the telecommunication device 1 according to the invention. This allows in particular a seamless integration between the segmented shape and the e.g. artificial background.
Mit der vorliegenden Erfindung ist es in besonders vorteilhafter Weise auch möglich, das Verfolgen von bewegten Videofiguren in Echtzeit unter Verwendung optischer Flußtechniken zu realisieren. Damit werden großartige Verbesserungen auf dem Gebiet der Segmentation oder Segmentierung erreicht.With the present invention, it is also possible in a particularly advantageous manner to implement the tracking of moving video figures in real time using optical flow techniques. This brings great improvements in the area of segmentation or segmentation.
Das Verfolgen eines Gesichts als Bestandteil der Anwenderbilddaten hat u.a. eine Auswirkung auf die Sicherheitseinrichtung 17. Das entsprechende Verfahren beinhaltet die Identifikation von Gesichtern, das Verfolgen von Gesichtern und die Erkennung von bestimmten Gesichtern. Das Heranziehen von Gesichtern wird nur als eine Variante im Rahmen der vorliegenden Erfindung angesehen, die nicht darauf beschränkt ist, sondern insofern allgemein Körperteile oder einzelne Merkmale davon betrifft.Tracking a face as part of the user image data has, among other things, an impact on the security device 17. The corresponding procedure includes the identification of faces, the tracking of faces and the recognition of certain faces. The use of faces is only regarded as a variant within the scope of the present invention, which is not restricted to this, but in so far relates generally to body parts or individual features thereof.
Erreicht wird die Identifikation von Gesichtern, das Verfolgen von Gesichtern und die Erkennung von bestimmten Gesichtern in vorteilhafter Weise durch die Verwendung von -Aktivkontur- oder -form- oder -gestaltinformationen, die verwendet werden, um einen bestimmten Grad an vorherigem Wissen für Videodateninterpretation zu erbringen. Statt von glatten und ununterbrochenen Merkmalen von dem Eingabemedium abzuhängen, stellen die Aktivkonturinformationen die Eigenschaften von Anfang an bereit. Da die Aktivkontur oder -gestalt auch elastisch ist, kann sie auf veränderte Bedingungen des betroffenen Objekts flexibel regieren. Die entsprechenden elastischen Parameter oder Parameterinformationen können zur Steuerung der Stärke oder Gewichtung früherer Annahmen verwendet werden. Weiterhin können die Aktivkonturinformationen zur vorangehenden Modellierung von Zusammensetzungen oder -Stellungen verwendet werden. Die A-ktivkonturinforaiationen und die Zusammensetzungen können von einem Satz von Parametern oder Parameterinformationen gesteuert werden, die Bewegungs- oder kinematische Variablen definieren.
Die Wiedergaben der A-ktivkonturinformationen mit ihren vormodellierten Merkmalen sind eine Vorlage, die sich selbst gemäß den Regeln verformt, die von den Parameterinformationen bestimmt sind oder werden, um das anvisierte Objekt in den Eingabevideodaten zu entsprechen oder damit zur Deckung zu gelangen. Dieses „aktive" Verhalten ist erforderlich, um die Kontur an die nachfolgenden Änderungen einzustellen oder daran anzupassen, die von dem Objekt vor der Kamera ausgeführt werden. Mathematisch fortgeschrittener als andere Verfahren können Konturinformationen auch die Repräsentation der dritten Dimension beinhalten. Dies ist von Bedeutung, weil die Repräsentation einer Person dreidimensional ist und Personenbewegung nicht als eine Bewegung angenommen werden kann, die in den x- und y-Koor- dinaten bleibt.The identification of faces, the tracking of faces and the recognition of certain faces is advantageously achieved through the use of active contour or shape or shape information which is used to provide a certain degree of prior knowledge for video data interpretation , Instead of depending on smooth and uninterrupted features on the input medium, the active contour information provides the properties from the start. Since the active contour or shape is also elastic, it can react flexibly to changing conditions of the object concerned. The corresponding elastic parameters or parameter information can be used to control the strength or weighting of previous assumptions. Furthermore, the active contour information can be used for the previous modeling of compositions or positions. The active contour information and compositions can be controlled by a set of parameters or parameter information that define motion or kinematic variables. The reproductions of the active contour information with their pre-modeled features are a template that deforms itself in accordance with the rules that are or are determined by the parameter information in order to correspond to the targeted object in the input video data or thus to be covered. This "active" behavior is necessary in order to adjust or adapt the contour to the subsequent changes that are carried out by the object in front of the camera. Mathematically more advanced than other methods, contour information can also include the representation of the third dimension. This is important, because the representation of a person is three-dimensional and movement of people cannot be accepted as a movement that remains in the x and y coordinates.
Die wesentlichen Vorteile der Verwendung der A-ktivkonturinformationen sind, daß die Kontur weiß, wonach sie in den Videodaten suchen muß, die Kontur dem Objekt (XY-Richtung und planare Rotationen) folgen kann, und die Kontur in der Lage ist, Objekten im 3D-Raum zu folgen.The main advantages of using the active contour information are that the contour knows what to look for in the video data, the contour can follow the object (XY direction and planar rotations), and the contour is capable of objects in 3D Room to follow.
Die Aktivkonturinformationen sind ein guter Ansatz, um die anspruchsvollen Probleme des Verfolgens einer Person und ihrer Schlüsselmerkmale zu lösen.The active contour information is a good approach to solve the demanding problems of tracking a person and their key features.
In oder mit der Videomodifikationseinrichtung 13 wird die Videomodifikation durchgeführt. Während der Initialisierung dieser Einrichtung oder dieses Moduls durch die Videoaugmentationseinrichtung 11 bei jedem Videotelefonanruf wird spezifiziert, ob diese Merkmalsfttnktio- nalität aktiviert werden soll oder nicht oder in welchem Umfang. Wenn die Anfrage lautet, diese Merlαnalsfunktionalität für den aktuellen Videotelefonanruf zu aktivieren, werden Videorahmen, die an die Videomodifikationseinrichtung 13 gegeben werden, sofort an die Videophon- Anrufeinrichtung 18 weitergeleitet, ohne daß eine Videorahmenmodifikationsarbeit ausgeführt wird.The video modification is carried out in or with the video modification device 13. During the initialization of this device or this module by the video augmentation device 11 with each video telephone call, it is specified whether this feature functionality should be activated or not or to what extent. When the request is to enable this general functionality for the current video phone call, video frames given to video modifier 13 are immediately forwarded to videophone call device 18 without any video frame modification work being performed.
Der einzige Modifikationsoperator, der an der Hintergrund- Videoebene (siehe PCT/DE 00/00442) angewendet werden kann, ist „ERSETZEN", wofür beispielsweise eine Standardauswahl vorgesehen sein kann. Der Anwender kann seine Hintergrund- Videoebenen- Auswahl jederzeit durch Auswahl eines anderen Elements in einer Standard-Liste der verfügbaren Ersatzhintergrundelemente ändern. Die Modifikation des Anwenders an den aktuelle Hintergrund- Videoebenen- Auswahl kann beispielsweise sofort wirksam werden.The only modification operator that can be applied to the background video layer (see PCT / DE 00/00442) is "REPLACE", for which a standard selection can be provided, for example. The user can change his background video layer selection at any time by selecting another one Change elements in a standard list of available replacement background elements, for example, the modification of the user to the current background video layer selection can take effect immediately.
Die Hintergrund- Videoebene (siehe PCT/DE 00/00442) kann durch Effekte, die nachfolgend aufgelistet sind, ersetzt werden.
Um die Speicheranforderung zu reduzieren, wird für die Bilddaten das JPEG-Bitmapformat unterstützt, das IS 10918-1 erfüllt oder entspricht.The background video layer (see PCT / DE 00/00442) can be replaced by the effects listed below. To reduce the memory requirement, the JPEG bitmap format is supported for the image data, which fulfills or corresponds to IS 10918-1.
In der Hintergrund- Videoebene kann als Hintergrund vor insbesondere z.B. dem gesonderten Bild des Gesichts des Anwenders eine statische oder dynamische Bitmapdatei einer Website (evtl. mit Banner) aktiviert oder angezeigt werden. Dadurch kann in einem still stehenden oder mit beweglichen Teilen versehenen Hintergrund zusätzlich Information oder Werbung, die die Kommiinikationsverbindungen finanziert, mit übertragen werden.In the background video layer, in particular e.g. a static or dynamic bitmap file of a website (possibly with a banner) can be activated or displayed in the separate image of the user's face. As a result, additional information or advertising, which finances the communication links, can also be transmitted in a stationary background or provided with moving parts.
Eine weitere Hintergrundvariante, die eingesetzt werden kann, besteht darin, Bilder aus Computeranwendungen für die Hintergrund- Videoebene zu verwenden. Beispielsweise können so im Hintergrund Office-Anwendungen, wie Präsentationsgraphik-Programme, angezeigt und sogar gesteuert werden. Dies würde z.B. eine 320x240 Pixel-Präsentationsgraphik- Vorlage beinhalten.Another background variant that can be used is to use images from computer applications for the background video layer. For example, office applications such as presentation graphics programs can be displayed and even controlled in the background. This would e.g. include a 320x240 pixel presentation graphic template.
Femer ist es möglich, als Hintergrund- Videoebene klang- oder tongesteuerte Grafiken (vgl. Media Player) oder sogar Filme zu verwenden. Insbesondere wird dabei das MPEG Movie Format unterstützt, wobei auch andere Formate unterstützt werden können. MPEG ermöglicht jedoch derzeit eine bessere Kompression, welche eine wirkungsvolle Speicherverwendung während der Runtime-Aus--uhrung des Telekon-imiinikationsverfahrens auf einem entsprechenden Videophon, aber auch auf einem Standard PC oder Laptop oder Handheld-Computer ergibt.It is also possible to use sound or sound-controlled graphics (see Media Player) or even films as the background video layer. In particular, the MPEG movie format is supported, although other formats can also be supported. However, MPEG currently enables better compression, which results in an effective use of memory during the runtime execution of the teleconference process on a corresponding videophone, but also on a standard PC or laptop or handheld computer.
1h Bezug wird auch ein Eingabe- Video-Datenebenen-Schema ermöglicht. Die Ebene ermöglicht dann die Bearbeitung und Konfiguration mehrerer Einheiten mit grafischem Inhalt. Dabei können auch ausgefüllte Linengrafiken und Text, einschl. verfügbaren Computerschriften oder -fonts unterstützt werden. Eine Alpha-Kanal-Unterstützung für alle Dateiformate kann ebenfalls mit eingeschlossen sein. Eine einzige RGB-Farbe dient vorteilhafterweise als eine Transparenzindikation, um so den Bildschirminhalt hinter dem eingebundenen oder ausgelassenen Fenster sichtbar zu machen. Dieses Merkmal ermöglicht es, e-commerce bezogene Anwendungen zu unterstützen. Die ebenfalls mögliche Teilwiedergabe von Grafiken in einem Videostrom würde es dem Anwender ermöglichen, Logos, die eine kleinere Auflösung als 320x250 Pixel haben, darzustellen. Die volle Auflösung würde den ganzen Bereich des Originalhintergrunds abdecken. Der Anwender mag vielleicht den Originalhintergrund behalten, aber würde gerne und kann dadurch nette Grafiken oder Logos an einer bestimmten Stelle einfügen.
Interaktives Drag&Drop in der Vorschauansicht kann als Anwenderbearbeitungsmöglichkeit in dem Anwender-Schnittstellenfenster ebenfalls vorgesehen sein. Vorzugsweise werden dazu ausgewählte Ebenen in einem Vorschaufenster angezeigt und können manuell in Größe und Position der Grafik bezüglich des tatsächlichen Ortes im Hintergrund angeordnet oder eingestellt werden.An input video data plane scheme is also made possible. The level then enables the editing and configuration of several units with graphic content. Completed line graphics and text, including available computer fonts or fonts, can also be supported. Alpha channel support for all file formats can also be included. A single RGB color advantageously serves as an indication of transparency in order to make the screen contents visible behind the embedded or omitted window. This feature makes it possible to support applications related to e-commerce. The partial reproduction of graphics in a video stream, which would also be possible, would enable the user to display logos that have a resolution of less than 320x250 pixels. The full resolution would cover the entire area of the original background. The user may keep the original background, but would like to and can insert nice graphics or logos in a certain place. Interactive drag & drop in the preview view can also be provided as a user editing option in the user interface window. For this purpose, selected levels are preferably displayed in a preview window and can be arranged or set manually in the size and position of the graphic with respect to the actual location in the background.
Weiterhin kann vorgesehen sein, auf der Körper-Ebene (siehe PCT/DE 00/00442) eine Standardauswahl als zumindest für beliebige Anwender einsetzbar für den einzigen Operator „ERSETZEN" bereitzustellen, ähnlich wie beim Hintergrund, wie weiter oben beschrieben wurde. Der Anwender kann diese Körper-Ebenenauswahl jederzeit durch Auswahl eines anderen Elements in der Liste der verfügbaren Ersatz-Körperbilder ändern. Die Modifikationen der aktuellen Körper-Ebenenauswahl des Anwenders werden insbesondere sofort wirksam.Furthermore, provision can be made at the body level (see PCT / DE 00/00442) to provide a standard selection that can be used at least by any user for the single operator “REPLACE”, similar to the background, as described above. The user can change this body level selection at any time by selecting another element in the list of available replacement body images The modifications of the current body level selection of the user are particularly effective immediately.
Für die Kopf-Ebene (siehe PCT/DE 00/00442) kann beispielsweise standardmäßig ein „Kos- metik"-Operator angewendet werden. Die Modifiktionen der aktuellen Kopf-Ebenen nach kosmetischen Auswahlen des Anwenders werden insbesondere sofort wirksam.For the head level (see PCT / DE 00/00442), for example, a "cosmetic" operator can be used as standard. The modifications to the current head levels after cosmetic selections by the user are particularly effective immediately.
Es kann eine Steuerung vorgesehen sein, die eine beliebte Kamerahandhabungstechnik, die während Interviews mit Pop-Größen eingesetzt wird, simuliert. Der beabsichtigte Effekt beinhaltet „Kameraschwenkungs- und Zoomeffekte" beispielsweise in einem vorgewählten oder in einem Zufallsmodus. Dieser Effekt kann als Laufen mit der Videokamera (kein statischer Kamerasetup) und Versuchen, das interessierende Objekt in der Linsenmitte zu halten, beschrieben werden.A controller may be provided that simulates a popular camera handling technique used during pop-size interviews. The intended effect includes "camera pan and zoom effects" in, for example, a preselected or random mode. This effect can be described as running with the video camera (no static camera setup) and trying to hold the object of interest in the center of the lens.
Eine weitere Möglichkeit zur Weiterbildung der Erfindung besteht darin, den augmentierten Videostrom mit zusätzlichem Inhalt zu augmentieren. Dazu wird eine Eingabe einer zweiten Kamera, die beispielsweise an einen PC angeschlossen ist, mit dem die Telekommunikation durchgeführt wird, unterstützt. Als eine beispielhafte Verwendung könnte eine zweite Kamera aus einem Fenster gerichtet sein, um Außenaufhahmen festzuhalten. Die resultierende, zweite Videoeingabe kann dann mit den Segmentergebnissen, die durch die entsprechende erste Kamera vom Anwender selbst geliefert werden, gemischt werden, und die Videomodifikationseinrichtungen können die Außenaufhahmen als Hintergrund- Videoebene kombinieren, während die segmentierten Bereichsdaten, die von der ersten Videokamera aufgenommen werden, als die Vordergrund- Videoebene verwendet werden.
Ferner ist es möglich, das zusammengesetzte Ergebnis einem Filtervorgang zu unterziehen, der das Bild glättet und zu Bildern führt, die vergleichbar mit Fotos sind, die mit einer Spezi- alfilterlinse auf Kameras gemacht wurden. Der bekannte Fotograf David Hamilton basierte seine Arbeit auf der Verwendung von Softiltern. Eine günstige Art und Weise, die gewünschten Ergebnisse zu erhalten, ist, eine dünne Vasilineschicht auf die Linse aufzutragen.A further possibility for developing the invention consists in augmenting the augmented video stream with additional content. For this purpose, input of a second camera, which is connected, for example, to a PC with which the telecommunication is carried out, is supported. As an example use, a second camera could be directed out of a window to capture outside shots. The resulting second video input can then be mixed with the segment results provided by the corresponding first camera from the user himself, and the video modifiers can combine the exterior shots as the background video layer, while the segmented area data captured by the first video camera , be used as the foreground video layer. It is also possible to subject the composite result to a filtering process that smoothes the image and leads to images that are comparable to photos that were taken on cameras with a special filter lens. Well-known photographer David Hamilton based his work on the use of soft filters. A convenient way to get the desired results is to apply a thin layer of vasiline to the lens.
Weitere Möglichkeiten der Bearbeitung oder Editierung liegen im Umgang mit echter oder künstlicher, einschließlich nur auf dem Weg der Bildbearbeitung erzeugter, Beleuchtung. Wenn Kameras eingesetzt werden, um eine Szene einzufangen, ist das Licht ein wesentlicher Faktor. Unabhängig vom verwendeten Kamerasystem - Video, analog, digital oder 35mm Film - ist geeignete Beleuchtung der Schlüssel für Ergebnisse von hoher Qualität. Die Filmindustrie arbeitet mit einem grundsätzlichen Ansatz, der Drei-Punkt-Beleuchtung genannt wird. Die Lichtquellen in diesem Beleuchtungsansatz sind unter folgenden Bezeichnungen bekannt:Other options for editing or editing lie in dealing with real or artificial lighting, including lighting that is only generated by image processing. When cameras are used to capture a scene, light is an essential factor. Regardless of the camera system used - video, analog, digital or 35mm film - suitable lighting is the key to high quality results. The film industry works with a basic approach called three-point lighting. The light sources in this lighting approach are known by the following names:
- Schlüssellicht- key light
- Fülllicht- Fill light
- Hintergrundlicht- background light
Das Schlüssellicht stellt die dominante Vordergrundbeleuchtung bereit und wird mit „der offensichtlichen Quelle der direktionalen Beleuchtung in der Zusammenstellung" bezeichnet. Diese können ein im Bild selbst nicht sichtbares Fenster, die aufgehende Sonne oder andere primäre Szenelichter sein. Die Position des Schlüssellichts ist von Bedeutung für den gesamten Lichteffekt. Angenommen, daß die Person auf einem Stuhl hinter einem Schreibtisch sitzt und daß sich das Talent oder der Schauspieler im Zentrum des Szene befindet. Die Position der Kamera gemäß dieser Aufstellung ist 6 Uhr auf dem Ziffernblatt. Die Positionierung des Schlüssellichts genau richtig (nämlich 6 Uhr) über der Kamera bringt gute Ergebnisse für alle Details auf dem Gesicht oder der Gesichtsausdrücke. Die Positionierung des Schlüssellichts auf einer 7 oder 8 Uhr-Position kann auch sehr effektiv sein. In diesem Fall können die resultierenden Schatten mit einem Fülllicht geglättet werden, das z.B. auf 1 Uhr positioniert ist.The key light provides the dominant foreground lighting and is referred to as "the obvious source of directional lighting in the assembly". These can be a window that is not visible in the picture itself, the rising sun or other primary scene lights. The position of the key light is important for the entire lighting effect, assuming that the person is sitting in a chair behind a desk and that the talent or actor is in the center of the scene, the position of the camera according to this arrangement is 6 o'clock on the clock face, the positioning of the key light is just right (namely 6 o'clock) above the camera brings good results for all the details on the face or facial expressions. Positioning the key light at a 7 or 8 o'clock position can also be very effective. In this case the resulting shadows can be smoothed out with a fill light be, for example, au f is positioned at 1 o'clock.
Der damit verbundene Gedanke ist, interaktiv Bereiche zu definieren (z.B. Punktlichtquellen) dort eine Form oder Gestaltung zu plazieren (dazu kann eine Auswahl von verfügbaren Figuren implementiert sein), und manuell den Lichtwert des Bereichs, der durch die Form bestimmt ist, aufwärts oder abwärts zu regeln oder einzustellen.The associated idea is to interactively define areas (e.g. point light sources) to place a shape or design there (a selection of available figures can be implemented for this), and manually increase or decrease the light value of the area determined by the shape to regulate or adjust.
Weiterhin kann die erfmdungsgemäße Telekommiinikationseinrichtung 1 einen Treiber oder eine treiberähnliche Steuerung enthalten, um beispielsweise Videophonanwendungen von
Fremdanbietern mit den Funktionen der erfindungsgemäßen Steuerung oder insgesamt Telekommunikationseinrichtung 1 zu verbessern. Ein solcher Treiber kann das Signal einer ausgewählten Kamera auffangen und den Videostrom (augmentiert mit bestimmten erfindungsgemäßen Filtern) einem Off-the-Shelf- Videotelefon oder -Konferenzsystem (d.h. Vistacom, AVM Alice, MS NetMeeting) zuführen. Die überwiegende Videotelefonsoftware läßt den Anwender eine Kamera aus mehreren an einen PC angeschlossenen Kameras auswählen. Kameras werden während der Installation in dem System registriert. Die Registrierungsinformation wird verwendet, um zu detektieren und zu prüfen, ob die bestimmte Kamera angeschlossen ist und läuft. Der Treiber verhält sich wie ein einfacher VFW- oder WDM-Treiber. Er präsentiert sich als ein einfacher Kameratreiber, wobei er es ermöglicht, eine Off-the-Shelf- Videotelefonsoftware mit augmentierter Videofunktionalität zu verbessern. Das -Anwenderinterface zur Auswahl und Steuerung von Merkmalen kann auf bestimmte „freigegebene" Funktionen beschränkt sein.Furthermore, the telecommunication device 1 according to the invention can contain a driver or a driver-like control, for example for video phone applications from To improve third-party providers with the functions of the controller according to the invention or overall telecommunications device 1. Such a driver can capture the signal from a selected camera and feed the video stream (augmented with certain filters according to the invention) to an off-the-shelf video telephone or conference system (ie Vistacom, AVM Alice, MS NetMeeting). The predominant video phone software allows the user to select a camera from several cameras connected to a PC. Cameras are registered in the system during installation. The registration information is used to detect and check whether the particular camera is connected and running. The driver behaves like a simple VFW or WDM driver. It presents itself as a simple camera driver, making it possible to improve off-the-shelf video phone software with augmented video functionality. The user interface for the selection and control of features can be restricted to certain “released” functions.
Es kann eine Video-Anzeigentr-msparenz vorgesehen sein. Diese Merkmal ermöglicht es, daß die segmentierten Video form oder -gestalt über jeglichem Bildfenster als ein transparentes Objekt dargestellt wird.A video display transparency can be provided. This feature enables the segmented video shape or shape to be displayed as a transparent object over any image window.
Weiterhin kann ein Mechanismus oder eine Steuerung enthalten sein, um es einem Anwender zu ermöglichen, die Videoauflösung des Outbound Inbound Videos anzupassen. Dies kann Effekte verdeutlichen, die zur Augmentation bei unterschiedlichen Auflösungen eingeführt werden.A mechanism or controller can also be included to enable a user to adjust the video resolution of the outbound inbound video. This can clarify effects that are introduced for augmentation at different resolutions.
Die Erfindung kann verbesserte graphische Anwenderschnittstellen enthalten. Der Gedanke hinter der Anwendung der Oberflächen-Technologie ist es, der Telekommunikationseinrich- timg 1 die Erscheinung jeglicher Vorrichtung oder Form zu geben. Die Grafiken und Anordnungen der erfindungsgemäßen Funktionen in der graphischen Anwenderschnittstelle können beliebig sein. Zwei Beispiele sind in der Fig. 2 gezeigt.The invention may include improved graphical user interfaces. The idea behind the use of surface technology is to give the telecommunications device 1 the appearance of any device or shape. The graphics and arrangements of the functions according to the invention in the graphical user interface can be any. Two examples are shown in FIG. 2.
Die erfindungsgemäße Technologie ist sehr anspruchsvoll und einsetzbar als Anwendungen auf PCs sowie tragbaren Vorrichtungen, wie Videokameras und Mobilkommunikationsvor- richtungen etc. Videoaugmentation für eine Kommunikation ist eine Domaine der Echtzeit- Computergraphik. Dies erfordert ausreichenden Speicher und Verarbeitungsleistung. Beipiel- haft wurde die Erfindung auf einem Intel Celeron basierenden Laptop realisiert. Der Laptop hatte eine Taktgeschwindigkeit von 400 Mhz sowie 192 MB RAM, und das Grafiksystem bestand aus einer Trident Cyber9525DVD mit 2,5 MB Video-RAM, einer Auflösung von 800x600 und Echtfarbe (24 bit). Die CPU-Geschwindigkeit ist nur ein Kriterium, weil der
Anschluß einer USB-Vorrichtung in Form eines Intel-PC-Kamera Pro-Packs einen starken Verkehr auf dem Bussystem involviert. Es handelte sich um einen Standard-PC, der kein Tuning der CPU und der I/O- Komponenten zuläßt, die Teil des PC-Mainboards sind. Dennoch sind die Ergebnisse mit der Erfindung akzeptabel. Es wurde eine Verzögerung von etwas weniger als einer Sekunde bei einer Auflösung von 320x240 Pixel zwischen der Kameraeingabe und den Augmentationsergebnissen festgestellt. Der verwendete Code war nicht für Geschwindigkeit optimiert, was im Rahmen fachmärinischen Könnens ohne weiteres noch vorgenommen werden kann.The technology according to the invention is very sophisticated and can be used as applications on PCs and portable devices, such as video cameras and mobile communication devices, etc. Video augmentation for communication is a domain of real-time computer graphics. This requires sufficient memory and processing power. As an example, the invention was implemented on an Intel Celeron-based laptop. The laptop had a clock speed of 400 MHz and 192 MB RAM, and the graphics system consisted of a Trident Cyber9525DVD with 2.5 MB video RAM, a resolution of 800x600 and true color (24 bit). The CPU speed is only a criterion because of the Connection of a USB device in the form of an Intel PC camera pro pack involves heavy traffic on the bus system. It was a standard PC that does not allow tuning of the CPU and the I / O components that are part of the PC mainboard. Nevertheless, the results with the invention are acceptable. A delay of slightly less than one second at a resolution of 320x240 pixels was found between the camera input and the augmentation results. The code used was not optimized for speed, which can still be done easily within the scope of specialist knowledge.
In Bezug auf die Implementierung auf einer tragbaren Vorrichtung bestehen zwei Hauptprobleme. Die Probleme sind 1. Speicherverbrauch der Anwendung (Footprint) und 2. Verarbeitungskapazität der Vorrichtung. Ein digitaler Signalprozessor (DSP) ist eine spezialisierte Vorrichtung für eine Vielfalt von Anwendungen. DSPs sind hauptsächlich bekannt dafür, Multimedia- Anwendungen zu bedienen. Der Footprint der Funktionalität (DLLs), der gegenwärtig implementiert, ist, beträgt ca. 120 KB. Die Figur 3 ist eine Bildschirmaufhahme des fr - stallationsverzeichisses der vorstehend getesteten Version. Es gibt wenigstens 3 unterschiedliche Arten von Leistungsoptimierung, die betrachtet werden können. Es sind erstens Algorithmus-Leistungsoptimierungen, die unabhängig System und Hardware betreiben. Zweitens sind es betriebssystembezogene Leistungsoptimierungen, die hardwareunabhängig sind. Drittens sind es hardwarebezogene Leistungsoptimierungen. Diese Optimierungen beziehen sich auf die spezifische CPU oder den DSP, auf denen der Code laufen wird, und Faktoren, wie Busar- chitektur, Busgeschwindigekeit, etc. Die Stelle in dem Code, wo die meisten CPU-Zyklen verwendet werden, ist in den Computergraphikalgorithmen, die unter Berücksichtigung der Notwendigkeit der Leistungs- und Speicheroptimierung erstellt werden.There are two major problems with implementation on a portable device. The problems are 1. Application footprint and 2. Device processing capacity. A digital signal processor (DSP) is a specialized device for a variety of applications. DSPs are primarily known for serving multimedia applications. The footprint of functionality (DLLs) that is currently implemented is approximately 120 KB. FIG. 3 is a screen capture of the installation directory of the version tested above. There are at least 3 different types of performance optimization that can be considered. First, there are algorithm performance optimizations that operate the system and hardware independently. Second, there are operating system-related performance optimizations that are hardware-independent. Third, there are hardware-related performance optimizations. These optimizations relate to the specific CPU or DSP on which the code will run and factors such as bus architecture, bus speed, etc. The place in the code where most CPU cycles are used is in the computer graphics algorithms that are created taking into account the need to optimize performance and memory.
Die Übertragungssystemeinrichtung 20 ist vor allem auch für die Integration und Synchronisation von Video und Audio zuständig, wobei insbesondere die Audiorahmen, die an dem Empfangsgerät ankommen, mit dem jeweils gezeigten Videorahmen synchronisiert werden.The transmission system device 20 is primarily also responsible for the integration and synchronization of video and audio, the audio frames arriving at the receiving device in particular being synchronized with the video frame shown in each case.
Die Erfindung ist nicht auf die Merkmale und Merkmalskombmationen der vorbeschriebenen und in der Zeichnung gezeigten Ausführungsbeispiele beschränkt. Die einzelnen Aspekte, Merkmale und Merkmalskombinationen der vorliegenden Erfindung sind sowohl jeweils einzeln, als auch in ihrer Kombination umsetzbar und schutzwürdig. Neben den in den vorliegenden Unterlagen enthaltenen allgemeinen und konkreten Angaben zur Realisierung der Erfindung gehören zu deren Umfang auch alle Variationen, Modifikationen, Substitutionen und Kombinationen, die der Fachmann ohne weiteres aus den Unterlagen selbst und/oder unter Hinzuziehung seines Fachwissens erkennen kann.
The invention is not restricted to the features and combinations of features of the exemplary embodiments described above and shown in the drawing. The individual aspects, features and combinations of features of the present invention can be implemented individually and in combination and are worthy of protection. In addition to the general and concrete information contained in the present documents for realizing the invention, its scope also includes all variations, modifications, substitutions and combinations which the person skilled in the art can readily recognize from the documents themselves and / or with the help of his specialist knowledge.