WO2015150711A1 - Procédé de transmission d'informations via un canal vidéo entre deux terminaux - Google Patents

Procédé de transmission d'informations via un canal vidéo entre deux terminaux Download PDF

Info

Publication number
WO2015150711A1
WO2015150711A1 PCT/FR2015/050869 FR2015050869W WO2015150711A1 WO 2015150711 A1 WO2015150711 A1 WO 2015150711A1 FR 2015050869 W FR2015050869 W FR 2015050869W WO 2015150711 A1 WO2015150711 A1 WO 2015150711A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
users
pointer
image
designation
Prior art date
Application number
PCT/FR2015/050869
Other languages
English (en)
Inventor
Philippe CHABALIER
Noël KHOURI
Original Assignee
Studec
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Studec filed Critical Studec
Priority to US15/300,352 priority Critical patent/US20170147177A1/en
Priority to EP15719796.3A priority patent/EP3127299A1/fr
Publication of WO2015150711A1 publication Critical patent/WO2015150711A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to the field of information transmission methods. It relates more particularly to a method of transmitting information between two users via a video channel. Presentation of the invention
  • the invention aims first and foremost at a method for transmitting information between at least two users equipped with image display means, at least one of these users also being provided with image acquisition means users being connected to a communication network for exchanging video sequences or still images in real time.
  • the method comprises at least the following steps:
  • the pointer optionally includes an identification of the user issuing this pointer area of interest.
  • the display means may consist in particular of a flat display screen, augmented reality vision glasses or any other image display system.
  • the image acquisition means consist, for example, of a video camera, a webcam or a 3D scanner.
  • two users each equipped with a system comprising for example a tablet PC (grouping a touch screen, one or two webcams, computing and computing means). communication), can exchange information to designate an object filmed by the webcam of one of the two terminals.
  • a system comprising for example a tablet PC (grouping a touch screen, one or two webcams, computing and computing means). communication
  • User display screens display the same image by default for at least part of the session.
  • the image display means of at least one user is a tactile display screen, that is to say endowed with dot designation means on these images, and the identification by the user of an area of interest is made directly touch-sensitive on his display screen.
  • the designation pointer of the zone of interest is a circle, and the identification of the transmitting user is carried out in the form of a texture or color code of the zone, each user being associated with a particular texture and / or color.
  • pointers associated with each user are permanently displayed on the display screen of each user connected to the same session.
  • the designation pointers are initially positioned, at the beginning of the session, outside the image area filmed itself, for example in a lateral area of the image, only designation pointers in use by one or the other user being positioned on areas of the image itself.
  • each designation pointer can be moved only by the user associated with it.
  • the displacement of its designation pointer by a user is, in a particular embodiment, performed by touching the screen of the designation pointer from its initial position to the target position on the image.
  • the method further comprises the step of moving the designation pointer correlatively to the displacement of the object that it designates on the display screen, during the movements of the camera facing said object.
  • Figure 4 a detail of the elements implemented in a third embodiment of the invention.
  • a device according to the invention is used in the context of a video exchange session and possibly its between two users or between a user issuer and several observer users.
  • the method is implemented in a software manner.
  • the method implements, in an exemplary embodiment given here by way of non-limiting illustration, at least one first user 1, equipped with a first terminal 2, and at least one fixed user. 3, having a second terminal 4.
  • the first terminal 2 and the second data terminal 4 are similar and of tablet PC type. It can also be mobile phones type Smartphone, PC type computers etc. It is assumed here that the first terminal 2 and the second terminal 4 both comprise display means and means for designating a point on the screen. These means of designation of a point on the screen typically take the form of a device for capturing the position of a finger on the screen, in the case of tablet PCs with touch screens. It can act in implementation variants, mouse, trackpads or other means known to those skilled in the art.
  • the first terminal 2 and the second terminal 4 are connected to a communications network, for example of the wireless type, in particular GSM or Wi-Fi.
  • the first terminal 2 and the second terminal 4 each comprise means for executing a network. software application implementing part or the whole process.
  • At least one of the first terminal 2 and the second terminal 4 comprises image acquisition means.
  • these image acquisition means allow the acquisition of video sequences. This is for example but not limited to video camera type webcam.
  • the two terminals 2, 4 comprise webcam type image acquisition means.
  • At least one of the first terminal 2 and the second terminal 4 comprises a steerable or fixed oriented webcam substantially in the direction opposite to the direction of vision of the user, ie in other words towards the half-space behind the mobile terminal.
  • the communication between users can be applied to any of the cameras, for example a front or back camera of a tablet
  • the communication is established between users with glasses or vision helmets connected through / included cameras.
  • This video communication can be from terminal to terminal directly, or via a server.
  • This logon includes the designation of a sender user 1.
  • the sending user 1 sends a video image of the camera of his choice to one or N connected users 3 observers.
  • the sending user 1 sends an image of what he is filming, this image also being displayed on the display screen of his terminal 2 in the case of a screen terminal, or being the direct view in the case peripherals such as augmented reality vision glasses.
  • the set of users (both transmitter 1 and observers 3) then see the same image on their display screen: the one that is acquired by a video camera of the transmitting user 1.
  • the sender user 1 and the observer user (s) 3 can each have on their display screen 2, 4 pointers in the form of graphic markers (circle, point, arrows, images, drawings of a zone, etc.).
  • the pointers are thus sent to the movie common to all the users of the same session, and seen by all the users, whether they are the sending user 1 or one of the observer users 3.
  • these pointers follow the movements of the finger of the user who positions them. They are displayed on all terminals at the same coordinates relative to the displayed image.
  • the method can be inverted: the transmitting terminal 2 becoming a receiver and the receiving terminal 4 becoming an emitter.
  • Each user when he is a transmitting user, decides which camera to use on his terminal: front or rear camera, depending on whether he wishes to see his face or the environment beyond his terminal.
  • Figure 2 graphically explains this concept for glasses and screen type devices.
  • the user transmitter 1 has glasses for displaying and acquiring images, and points directly with his finger in the real world the object he wish to designate.
  • Observer users 3 see this designation on their display screen.
  • the observer users can create pointers in a tactile way on their display screen, and the sender user 1 sees these pointers superimposed on the real world objects through his augmented vision goggles.
  • the pointing achieved in the real world is graphically represented on the transmitting device.
  • Figure 3 graphically explains this concept for glasses-type devices on both sides.
  • the score achieved in the real world is graphically represented on the image transmitted by the transmitting terminal 2.
  • the score on the film received is done by pointing in the local real space retranscribed on the projection of the real world remote. This score is sent back to the transmitter device as represented in FIG.
  • the method allows, for example, the implementation of remote support, especially in the case of product maintenance.
  • the method is usable for several users in the following ways:
  • One transmitter of the reference film at a given moment The transmitter can be selected in the community connected to the movie
  • the remote scores are differentiated (form or accompanied by the name of the user) and displayed on the reference film (the one viewed by all).
  • the transmission of the film captured by the video camera may be replaced by the transmission of the image of the screen. Everything that is viewed on the original screen is sent to connected screens or glasses. Instead of sharing a movie from one of the participants, the content of a screen is sent.
  • a user designates a point and one of the users asks for its persistence. In that case :
  • This position is sent to the receiving devices on the film sent to the defined 3D position
  • Video The data sent can be consulted and viewed locally.
  • the session can be recorded (movie + graphic interactions and sound). These recordings will then be searchable by the community according to the rights defined for each user in the community.
  • the film (image + sound)
  • the coordinates of the device in space thanks to integrated sensors: GPS coordinates, compass direction, data communicated by the accelerometers.
  • the global system (transmitter + server device) can learn to recognize an object in the real scene.
  • the 3D description for object recognition is storable and reusable by all devices connected to the system.
  • the 3D description of the objects to be recognized is made by filming a real scene or from the 3D models defined by a design office for example
  • This description can be stored locally on the device or on a server
  • the action can also be triggered automatically as soon as the object is recognized without prior selection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Procédé de transmission d'informations entre au moins deux utilisateurs (1, 3) dotés de moyens d'affichage d'images (2, 4), l'un de ces utilisateurs étant doté de moyens d'acquisition d'images, les utilisateurs étant reliés à un réseau de communication. Le procédé comporte des étapes suivantes : acquisition d'images par un utilisateur émetteur, et transmission de ces images aux autres utilisateurs (2), affichage des images reçues sur les moyens d'affichage (4) de tous les utilisateurs, tant émetteur (1) qu'observateurs (3), identification par l'utilisateur émetteur (1) ou un utilisateur observateur (3), d'une zone d'intérêt de l'image, cette identification déterminant un pointeur de zone sur l'écran d'affichage, ce pointeur étant associé à l'utilisateur créateur, transmission des coordonnées sur l'image de ce pointeur de zone aux autres utilisateurs, et affichage du pointeur de la zone d'intérêt sur l'écran d'affichage de tous les utilisateurs (1, 3).

Description

PROCÉDÉ DE TRANSMISSION D'INFORMATIONS VIA UN CANAL VIDÉO
ENTRE DEUX TERMINAUX
La présente invention relève du domaine des procédés de transmission d'information. Elle concerne plus particulièrement un procédé de transmission d'informations entre deux utilisateurs via un canal vidéo. Exposé de l'invention
L'invention vise en premier lieu un procédé de transmission d'informations entre au moins deux utilisateurs dotés de moyens d'affichage d'images, l'un au moins d'entre ces utilisateurs étant également doté de moyens d'acquisition d'images, les utilisateurs étant reliés à un réseau de communication permettant d'échanger des séquences vidéo ou images fixes en temps réel.
Le procédé comporte au moins des étapes suivantes :
100 - Ouverture d'une session de communication vidéo entre les utilisateurs,
200 - Acquisition d'images par un premier utilisateur, dit ici utilisateur émetteur, et transmission de ces images aux autres utilisateurs, dits utilisateurs observateurs, sensiblement en temps réel,
300 - Affichage des images reçues sur les moyens d'affichage de tous les utilisateurs, tant émetteur qu'observateurs, connectés à la session,
400 - Identification par l'utilisateur émetteur ou un utilisateur observateur, d'une zone d'intérêt de l'image, correspondant par exemple à un objet montré par ladite image, cette identification déterminant un pointeur de zone sur l'écran d'affichage, ce pointeur étant associé à l'utilisateur créateur,
500 - Transmission des coordonnées sur l'image de ce pointeur de zone identifiée par un utilisateur aux autres utilisateurs, et affichage du pointeur de la zone d'intérêt sur l'écran d'affichage de tous les utilisateurs.
Le pointeur comporte éventuellement une identification de l'utilisateur émetteur de ce pointeur de zone d'intérêt. Les moyens d'affichage peuvent être notamment constitués d'un écran d'affichage plan, de lunettes de vision de réalité augmentée ou de tout autre système d'affichage d'image.
Les moyens d'acquisition d'image sont par exemple constitués d'une caméra vidéo, d'une webcam ou d'un scanner 3D.
En d'autres termes, dans un cas particulier de mise en œuvre, on comprend que deux utilisateurs, dotés chacun d'un système comprenant par exemple une tablette PC (regroupant un écran tactile, une ou deux webcams, des moyens de calcul et de communication), peuvent s'échanger des informations pour désigner un objet filmé par la webcam d'un des deux terminaux.
Les écrans d'affichage des utilisateurs affichent par défaut la même image pendant une partie au moins de la session.
On comprend que de la sorte, les utilisateurs voient la même vidéo et voient à la fois leurs pointeurs de désignation de zone ainsi que le pointeur de désignation de zone des autres utilisateurs.
Dans un mode particulier de réalisation, les moyens d'affichage d'image d'au moins un utilisateur sont un écran d'affichage tactile, c'est à dire doté de moyens de désignation de points sur ces images, et l'identification par l'utilisateur d'une zone d'intérêt est réalisée directement de façon tactile sur son écran d'affichage.
Dans un mode particulier de réalisation, le pointeur de désignation de la zone d'intérêt est un cercle, et l'identification de l'utilisateur émetteur est réalisée sous forme d'un code de texture ou de couleur de la zone, chaque utilisateur étant associé à une texture et/ ou couleur particulières.
Dans un mode de réalisation favorable à une bonne interaction entre les utilisateurs, des pointeurs associés à chaque utilisateur sont en permanence affichés sur l'écran d'affichage de chaque utilisateur connecté à une même session.
Avantageusement, dans ce cas, les pointeurs de désignation sont initialement positionnés, en début de session, en dehors de la zone d'image filmée proprement dite, par exemple dans une zone latérale de l'image, seuls les pointeurs de désignation en cours d'utilisation par l'un ou l'autre utilisateur étant positionnés sur des zones de l'image elle-même.
Dans un mode de réalisation avantageux, chaque pointeur de désignation ne peut être déplacé que par l'utilisateur qui lui est associé.
Le déplacement de son pointeur de désignation par un utilisateur est, dans un mode particulier de réalisation, réalisé par glissement tactile sur l'écran, du pointeur de désignation, de sa position initiale vers la position visée sur l'image.
Dans un mode particulier de réalisation, le procédé comporte en outre étape de déplacement du pointeur de désignation corrélativement au déplacement de l'objet qu'il désigne sur l'écran d'affichage, lors des mouvements de la caméra face audit objet. Présentation des figures
Les caractéristiques et avantages de l'invention seront mieux appréciés grâce à la description qui suit, description qui expose les caractéristiques de l'invention au travers d'un exemple non limitatif d'application.
La description s'appuie sur les figures annexées qui représentent :
Figure 1 : les différents éléments impliqués dans une mise en œuvre de l'invention et les étapes principales du procédé,
Figure 2 : les mêmes éléments dans une variante de réalisation de l'invention,
Figure 3 : les mêmes éléments dans une seconde variante de réalisation de l'invention,
Figure 4 : un détail des éléments mis en œuvre dans une troisième variante de réalisation de l'invention.
Description détaillée d'un mode de réalisation de l'invention
Dans le présent mode de mise en œuvre, donné ici à titre illustratif et non limitatif, un dispositif selon l'invention est utilisé dans le cadre d'une session d'échange vidéo et éventuellement son entre deux utilisateurs ou entre un utilisateur émetteur et plusieurs utilisateurs observateurs. Dans le présent exemple non limitatif, le procédé est mis en œuvre de façon logicielle.
Comme on le voit sur la figure 1 , le procédé met en œuvre, dans un exemple de réalisation donné ici à titre illustratif et nullement limitatif, au moins un premier utilisateur 1 , doté d'un premier terminal 2, et au moins un utilisateur fixe 3, doté d'un second terminal 4.
Dans l'exemple de réalisation donné ici, le premier terminal 2 et le second terminal 4 de données sont similaires et de type tablette PC. Il peut également s'agir également de téléphones mobiles de type Smartphone, d'ordinateurs de type PC etc. On suppose ici que le premier terminal 2, et le second terminal 4 comportent tous deux des moyens d'affichage et des moyens de désignation d'un point sur l'écran. Ces moyens de désignation d'un point sur l'écran prennent typiquement la forme de dispositif de captation de la position d'un doigt sur l'écran, dans le cas de tablettes PC dotées d'écrans tactiles. Il peut d'agir, dans des variantes de mise en œuvre, de souris, trackpads ou autres moyens connus de l'homme du métier.
Le premier terminal 2 et le second terminal 4 sont reliés à un réseau de communications, par exemple de type sans fil, notamment GSM ou Wi-Fi. Le premier terminal 2 et le second terminal 4 comportent chacun des moyens d'exécution d'une application logicielle mettant en œuvre une partie ou tout le procédé.
Au moins l'un d'entre le premier terminal 2 et le second terminal 4 comporte des moyens d'acquisition d'image. Dans une mise en œuvre avantageuse, ces moyens d'acquisition d'image permettent l'acquisition de séquences vidéo. Il s'agit par exemple mais non limitativement de caméra vidéo de type webcam. Dans le présent exemple, les deux terminaux 2, 4 comportent des moyens d'acquisition d'images de type webcam.
Dans le mode préféré de réalisation, au moins l'un d'entre le premier terminal 2 et le second terminal 4 comporte une webcam orientable ou orientée de façon fixe sensiblement vers la direction opposée à la direction de vision de l'utilisateur, c'est à dire en d'autres termes vers le demi-espace situé derrière le terminal mobile. Dans le cas de plusieurs caméras pour le même périphérique, la communication entre utilisateurs peut s'appliquer à l'une quelconque des caméras, par exemple une caméra avant ou arrière d'une tablette
En variante, la communication est établie entre des utilisateurs dotés de lunettes ou de casques de vision connectés au travers de/des caméras incluses.
Le procédé comporte plusieurs étapes successives. Le schéma figure 1 explique graphiquement ce concept pour des périphériques à écran.
100 - Ouverture d'une session de communication vidéo entre les utilisateurs. Les utilisateurs sont mis en relation à partir d'un annuaire de façon connue en soi.
Cette communication vidéo peut être de terminal à terminal de façon directe, ou via un serveur.
Cette ouverture de session comporte la désignation d'un utilisateur émetteur 1 .
200 - Acquisition d'images par l'utilisateur émetteur 1 , et transmission de ces images aux utilisateurs observateurs 2 en temps réel.
Une fois connecté, l'utilisateur émetteur 1 envoie une image vidéo de la caméra de son choix à un ou N utilisateurs observateurs 3 connectés. L'utilisateur émetteur 1 envoie donc une image de ce qu'il filme, cette image étant aussi affichée sur l'écran d'affichage de son terminal 2 dans le cas d'un terminal à écran, ou étant la vision directe dans le cas de périphériques de type lunettes de vision à réalité augmentée.
300 - Affichage des images reçues sur les moyens d'affichage 4 de l'utilisateur observateur 3. L'ensemble des utilisateurs (tant émetteur 1 qu'observateurs 3) voient alors la même image sur leur écran d'affichage : celle qui est acquise par une caméra vidéo de l'utilisateur émetteur 1 . 400 - Identification par le premier 1 ou le second utilisateur 3, d'une zone d'intérêt de l'image, correspondant par exemple à un objet montré par ladite image, cette identification déterminant un pointeur sur l'écran d'affichage.
L'utilisateur émetteur 1 et le ou les utilisateurs observateurs 3 peuvent chacun disposer sur leur écran d'affichage 2, 4 des pointeurs sous forme de repères graphiques (cercle, point, flèches, images, dessins d'une zone....)
500 - Transmission de ce pointeur d'une zone identifiée par un utilisateur aux autres utilisateurs, et affichage du pointeur de la zone d'intérêt sur l'écran d'affichage des autres utilisateurs et d'une identification de l'utilisateur émetteur de ce pointeur de zone d'intérêt.
Les pointeurs sont donc émis vers le film commun à tous les utilisateurs de la même session, et vus par tous les utilisateurs, qu'ils soient l'utilisateur émetteur 1 ou l'un des utilisateurs observateurs 3. Dans le cas d'écrans tactiles, ces pointeurs suivent les mouvements du doigt de l'utilisateur qui les positionne. Ils sont affichés sur tous les terminaux aux mêmes coordonnées relativement à l'image affichée.
Autrement dit, tous les utilisateurs tant émetteur 1 qu'observateurs 3 voient sur l'écran d'affichage de leur terminal la combinaison du film émis par la caméra vidéo de l'utilisateur émetteur 1 , et de l'ensemble des pointeurs
(repères graphiques) posés par l'ensemble des utilisateurs tant émetteur 1 qu'observateurs 3.
Dans une variante de mise en œuvre, on peut inverser le procédé : le terminal émetteur 2 devenant récepteur et le terminal récepteur 4 devenant émetteur. Chaque utilisateur, lorsqu'il est utilisateur émetteur, décide de la caméra à utiliser sur son terminal : caméra avant ou arrière, selon qu'il souhaite qu'on voit son visage ou l'environnement situé au delà de son terminal.
Le schéma figure 2 explique graphiquement ce concept pour des périphériques de type lunettes et écran. Dans le cas illustré par cette figure, l'utilisateur émetteur 1 dispose de lunettes d'affichage et d'acquisition d'images, et pointe directement avec son doigt dans le monde réel l'objet qu'il souhaite désigner. Les utilisateurs observateurs 3 voient cette désignation sur leur écran d'affichage. En sens inverse, les utilisateurs observateurs peuvent créer des pointeurs de façon tactile sur leur écran d'affichage, et l'utilisateur émetteur 1 voit ces pointeurs affichés en surimposition sur les objets du monde réel par l'intermédiaire des ses lunettes de vision augmentée.
Dans une seconde variante, éventuellement utilisée en conjonction avec la précédente, le pointage réalisé dans le monde réel est graphiquement représenté sur le dispositif émetteur.
Chaque utilisateur décide de la caméra à utiliser sur son périphérique.
Le schéma figure 3 explique graphiquement ce concept pour des périphériques de type lunettes des deux cotés.
Dans une autre variante, à la demande et pour tous les types de terminaux, on peut poser plusieurs repères.
Le pointage réalisé dans le monde réel est graphiquement représenté sur l'image émise par le terminal émetteur 2.
Le pointage sur le film reçu s'effectue en pointant du doigt dans l'espace réel local retranscrit sur la projection du monde réel distant. Ce pointage est renvoyé au dispositif émetteur tel que représenté figure 4.
Avantages
Le procédé, tel qu'exposé plus haut, permet, par exemple, la mise en œuvre de support à distance, notamment dans le cas de maintenance de produits.
Variantes de réalisation
Diverses variantes peuvent être envisagées, en conjonctions avec le procédé décrit plus haut, ces variantes étant éventuellement utilisées selon des combinaisons techniquement possibles.
Dans un concept multi récepteurs et émetteurs, le procédé est utilisable pour plusieurs utilisateurs selon les modalités suivantes :
Un seul émetteur du film de référence à un instant donné L'émetteur peut être sélectionné dans la communauté connectée sur le film
Les pointages distants sont différenciés (forme ou accompagné du nom de l'utilisateur) et affichés sur le film de référence (celui visionné par tous).
Dans le cas d'une tablette émettrice, l'émission du film saisi par la caméra vidéo peut être remplacée par l'émission de l'image de l'écran. Tout ce qui est visualisé sur l'écran d'origine est envoyé aux écrans ou lunettes connectés. Au lieu de partager un film émis par un des participants, on envoi le contenu d'un écran.
Dans un autre concept, en utilisant l'interaction graphique, un utilisateur désigne un point et l'un des utilisateurs demande sa persistance. Dans ce cas :
- Le pointeur (cercle, point, flèche...) est représenté même si le doigt pointeur n'est plus présent,
Il est positionné dans l'environnement en 3D. C'est-à-dire que le point désigné reste au même endroit dans les 3 dimensions quelle que soit la position du dispositif qui le filme.
- Cette position est envoyée aux dispositifs récepteurs sur le film envoyé à la position 3D définie
Lors de la connexion, on peut envoyer des données depuis le dispositif émetteur vers les récepteurs et vice versa. Ces données sont :
- Message
Texte
Image
Vidéo Les données envoyées sont consultables et visualisables en local.
A la demande d'un utilisateur (récepteur ou émetteur), la session peut être enregistrée (film + interactions graphiques et son). Ces enregistrement seront ensuite consultables par la communauté selon les droits définis pour chaque utilisateur de la communauté.
Les éléments suivants peuvent être enregistrés :
Le film (image + son)
- Les utilisateurs connectés durant la session
Les coordonnées du dispositif dans l'espace grâce aux capteurs intégrés : coordonnées GPS, direction de la boussole, données communiquées par les accéléromètres. Le système global (dispositif émetteur + serveur) peut apprendre à reconnaître un objet dans la scène réelle. La description 3D permettant la reconnaissance d'objet est stockable et réutilisable par tous les dispositifs connectés au système.
Cette reconnaissance est basée sur les procédés suivant :
- La description 3D des objets à reconnaître est réalisée en filmant une scène réelle ou à partir des modèles 3D définis par un bureau d'étude par exemple
Cette description est stockable en local au dispositif ou sur un serveur
- Lorsqu'on est en mode reconnaissance automatique, le film de la scène réelle est complété par l'insertion d'objets graphiques désignant le/les objets reconnus.
La reconnaissance d'un objet entraine les possibilités suivantes : o Surimpression sur l'objet d'un marqueur
o « Sensibilité» du marqueur, la sélection du marqueur avec le dispositif de pointage (doigt par exemple) permet de déclencher une action : visualisation d'un film imbriqué à la réalité, affichage d'un élément texte, image ou vidéo
o L'action peut aussi être déclenchée automatiquement dès que l'objet est reconnu sans sélection préalable
o Une session précédemment enregistrée tel que décrit par le concept 7 peut être rejouée.

Claims

REVENDICATIONS
1. Procédé de transmission d'informations entre au moins deux utilisateurs (1 , 3) dotés de moyens d'affichage d'images (2, 4), l'un au moins (1 ) d'entre ces utilisateurs étant également doté de moyens d'acquisition d'images, les utilisateurs étant reliés à un réseau de communication permettant d'échanger des séquences vidéo ou images fixes en temps réel,
caractérisé en ce que le procédé comporte au moins des étapes suivantes :
100 - Ouverture d'une session de communication vidéo entre les utilisateurs,
200 - Acquisition d'images par un premier utilisateur (1 ), dit ici utilisateur émetteur, et transmission de ces images aux autres utilisateurs (2) sensiblement en temps réel,
300 - Affichage des images reçues sur les moyens d'affichage (4) de tous les utilisateurs, tant émetteur (1 ) qu'observateurs (3), connectés à la session,
400 - Identification par l'utilisateur émetteur (1 ) ou un utilisateur observateur (3), d'une zone d'intérêt de l'image, correspondant par exemple à un objet montré par ladite image, cette identification déterminant un pointeur de zone sur l'écran d'affichage, ce pointeur étant associé à l'utilisateur créateur, 500 - Transmission des coordonnées sur l'image de ce pointeur de zone identifiée par un utilisateur aux autres utilisateurs, et affichage du pointeur de la zone d'intérêt sur l'écran d'affichage de tous les utilisateurs (1 , 3).
2. Procédé selon la revendication 1 , caractérisé en ce que le pointeur comporte une identification de l'utilisateur émetteur de ce pointeur de zone d'intérêt.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que les moyens d'affichage d'image d'au moins un utilisateur (1 , 3) sont un écran d'affichage tactile, c'est à dire doté de moyens de désignation de points sur ces images, et l'identification par l'utilisateur d'une zone d'intérêt est réalisée directement de façon tactile sur son écran d'affichage.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le pointeur de désignation de zone est un cercle, et l'identification de l'utilisateur émetteur est réalisée sous forme d'un code de texture ou de couleur de la zone, chaque utilisateur étant associé à une texture et/ ou couleur particulières.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que des pointeurs associés à chaque utilisateur sont en permanence affichés sur chaque terminal des utilisateurs connectés à une même session.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que les pointeurs de désignation sont initialement positionnés, en début de session, en dehors de la zone d'image filmée proprement dite, seules les pointeurs de désignation en cours d'utilisation par l'un ou l'autre utilisateur étant positionnés sur des zones de l'image elle-même.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que chaque pointeur de désignation ne peut être déplacé que par l'utilisateur qui lui est associé.
8. Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce que le déplacement du pointeur de désignation par un utilisateur est réalisé par glissement tactile sur l'écran, du pointeur de désignation, de sa position initiale vers la position visée sur l'image.
9. Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce que le procédé comporte en outre une étape de déplacement du pointeur de zone de désignation corrélativement au déplacement de l'objet qu'il désigne sur l'écran d'affichage, lors des mouvements du terminal face audit objet.
PCT/FR2015/050869 2014-04-02 2015-04-02 Procédé de transmission d'informations via un canal vidéo entre deux terminaux WO2015150711A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/300,352 US20170147177A1 (en) 2014-04-02 2015-04-02 Method of transmitting information via a video channel between two terminals
EP15719796.3A EP3127299A1 (fr) 2014-04-02 2015-04-02 Procédé de transmission d'informations via un canal vidéo entre deux terminaux

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1452923A FR3019704B1 (fr) 2014-04-02 2014-04-02 Procede de transmission d'informations via un canal video entre deux terminaux
FR1452923 2014-04-02

Publications (1)

Publication Number Publication Date
WO2015150711A1 true WO2015150711A1 (fr) 2015-10-08

Family

ID=51417364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2015/050869 WO2015150711A1 (fr) 2014-04-02 2015-04-02 Procédé de transmission d'informations via un canal vidéo entre deux terminaux

Country Status (4)

Country Link
US (1) US20170147177A1 (fr)
EP (1) EP3127299A1 (fr)
FR (1) FR3019704B1 (fr)
WO (1) WO2015150711A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236830A1 (en) * 2003-05-15 2004-11-25 Steve Nelson Annotation management system
US20080133640A1 (en) * 2004-07-27 2008-06-05 Sony Corporation Information Processing Device and Method, Recording Medium, and Program
US20100321540A1 (en) * 2008-02-12 2010-12-23 Gwangju Institute Of Science And Technology User-responsive, enhanced-image generation method and system
US20120303743A1 (en) * 2010-12-08 2012-11-29 Qualcomm Incorporated Coordinate sharing between user equipments during a group communication session in a wireless communications system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996776B2 (en) * 2006-02-27 2011-08-09 Microsoft Corporation Shared telepointer
US8887071B2 (en) * 2012-12-07 2014-11-11 Eric Yang Collaborative information sharing system
US9832237B2 (en) * 2013-11-27 2017-11-28 Getgo, Inc. Collaborative online document editing
US11082466B2 (en) * 2013-12-20 2021-08-03 Avaya Inc. Active talker activated conference pointers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236830A1 (en) * 2003-05-15 2004-11-25 Steve Nelson Annotation management system
US20080133640A1 (en) * 2004-07-27 2008-06-05 Sony Corporation Information Processing Device and Method, Recording Medium, and Program
US20100321540A1 (en) * 2008-02-12 2010-12-23 Gwangju Institute Of Science And Technology User-responsive, enhanced-image generation method and system
US20120303743A1 (en) * 2010-12-08 2012-11-29 Qualcomm Incorporated Coordinate sharing between user equipments during a group communication session in a wireless communications system

Also Published As

Publication number Publication date
FR3019704A1 (fr) 2015-10-09
FR3019704B1 (fr) 2017-09-01
US20170147177A1 (en) 2017-05-25
EP3127299A1 (fr) 2017-02-08

Similar Documents

Publication Publication Date Title
US10685496B2 (en) Saving augmented realities
EP2410733A2 (fr) Système de caméra et méthode d'affichage de photos
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
WO2019178361A8 (fr) Génération d'éléments de contenu de média à collectionner d'après des informations d'emplacement
US20190088030A1 (en) Rendering virtual objects based on location data and image data
KR102402580B1 (ko) 메타버스 환경에서의 영상 처리 시스템 및 방법
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9664527B2 (en) Method and apparatus for providing route information in image media
FR2987921A1 (fr) Procede de communication et d'informations en realite augmentee
CN112991553A (zh) 信息展示方法及装置、电子设备和存储介质
CN108351689B (zh) 用于显示处于预定义区域中的对象的全息图像的方法和系统
US20230298143A1 (en) Object removal during video conferencing
GB2537886A (en) An image acquisition technique
WO2018103544A1 (fr) Procédé et dispositif de présentation de données d'objet de service dans une image
US20230388109A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
EP3127299A1 (fr) Procédé de transmission d'informations via un canal vidéo entre deux terminaux
US20140313365A1 (en) Virtual presence system
US20170357296A1 (en) Location-Based Augmented Reality Capture
FR3052565B1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement
US11087559B1 (en) Managing augmented reality content associated with a physical location
FR2999847A1 (fr) Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
US20150106738A1 (en) System and method for processing image or audio data
US20180061131A1 (en) Method for establishing location-based space object, method for displaying space object, and application system thereof
EP2887231A1 (fr) Économie de réalité augmentée
US20190110027A1 (en) Displaying of moving objects in navigation system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15719796

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015719796

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015719796

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15300352

Country of ref document: US