WO2016146901A1 - Système et procédé de collaboration immersive - Google Patents

Système et procédé de collaboration immersive Download PDF

Info

Publication number
WO2016146901A1
WO2016146901A1 PCT/FR2015/053574 FR2015053574W WO2016146901A1 WO 2016146901 A1 WO2016146901 A1 WO 2016146901A1 FR 2015053574 W FR2015053574 W FR 2015053574W WO 2016146901 A1 WO2016146901 A1 WO 2016146901A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
interlocutor
video stream
visual elements
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2015/053574
Other languages
English (en)
Inventor
Gilbert NICOLAS
Hervé DENOUAL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SA
Original Assignee
Renault SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SA filed Critical Renault SA
Publication of WO2016146901A1 publication Critical patent/WO2016146901A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Definitions

  • the invention relates to a communication system in the field of display screens which comprises a device arranged to detect a human finger position by measuring a physical quantity which varies according to a human finger contact on the screen.
  • Touch screens are already known on small devices such as mobile phones or touch pads that offer interactive interactivity essentially virtual to different actors who communicate with each other by manipulating features of their respective devices, each dedicated to a user.
  • the type of interactivity sought is one that can be found for a long time already in classrooms or meetings by relying on a large table, on large format paperboard (paperboard in English) on which can write in turn by exchanging a chalk or a pencil or on which one can still stick documents of different natures in full size.
  • Document WO2014 / 082928 discloses a communication system comprising two devices making it possible, one to detect a human finger position in contact with a display screen, the other to detect an inert object position in contact with one another. with the display screen, each by measuring a distinct physical quantity, so that the display screen reproduces in real size the effect of a whiteboard on which an interlocutor can write by means of an inert object such as a pencil, or move a small sheet of self-adhesive paper with the fingers of the hand.
  • the other participants in the meeting present in the room where is the whiteboard realized by the display screen, and can see what writes and what manipulates the speaker on the screen.
  • the current computer tools for videoconferencing or teleconferencing or remote collaboration have the disadvantage of not allowing to see, remotely, in the same visual space, both clearly the content of the display and the interlocutor by train to explain / demonstrate on the screen through virtual documents / drawings / post-it ® .
  • these tools sometimes offer the possibility of seeing these two substances but in separate graphic windows or visual spaces. This has the disadvantage of forcing people to look from one space to another without stopping, performing a continuous ocular back and forth to remotely follow a session of explanation or demonstration. This has the disadvantage of greatly impacting intellectual concentration.
  • the invention relates to an immersive collaboration system to allow a first speaker physically present on a first site to interact with at least a second speaker physically present on a second site remote from the first site, comprising a first screen for displaying in front of the first interlocutor a first video stream containing visual elements belonging to a first data stream locally controllable by the first interlocutor, at least a second screen located on said second site and one or several first cameras for generating a second video stream containing an image of the first interlocutor when in front of the first screen.
  • the system is remarkable in that it comprises a first device displaying on the second screen a third video stream combining in real time an animated representation obtained from said image of the first interlocutor, with all or part of the visual elements belonging to the first stream.
  • the first interlocutor controls the first data stream, so as to show the second interlocutor that animated representation acting in front of the screen while making him discern the visual elements with a resolution comparable to that of the first screen.
  • the device thus specified makes it possible to ensure perfect video and audio synchronization at the camera output with the interactive application that is displayed on the screen.
  • At least one first camera is placed on the same side of the first screen as the first interlocutor.
  • said first camera is disposed at a distance from the first screen, and facing the first screen.
  • said first camera is framed on the edges of the first screen.
  • the camera thus specified can perfectly flatten the video it provides on the interactive content displayed.
  • the first device comprises means for putting the first camera or cameras in overexposure mode so that the first interlocutor is detached on a white screen in the second video stream.
  • the video from the camera can only see the interlocutor without seeing the content displayed on the board or screen.
  • said first device comprises means for mixing in real time the first video stream and the second video stream so as to obtain the third video stream.
  • the device offers the system the ability to see the interlocutor who is at a remote site, in watermark, in real time, manipulating interactive documents / post-it TM on the board, to be able to talk orally in time. real between the different rooms connected and interlocutors present, and with the ability at any time for the interlocutors to see themselves in the clear, as if they were gathered on the same site, in the manner of collaborative work sessions on a wall / table interactive.
  • said first device obtains said animated representation simply by taking said image of the first interlocutor or by generating an avatar recording in real time the movements and the detected expressions of the first interlocutor.
  • said first device comprises speech recognition means so as to transcribe in real time what the first interlocutor says in a form facilitating the understanding of the second party and adding said form in the third video stream.
  • said form is a text strip subtitling the display on the second screen.
  • the second screen makes it possible to display in front of the second party the first video stream containing the visual elements belonging to the first data stream when it becomes controllable by the second interlocutor.
  • the system then advantageously comprises one or more second cameras for generating a fourth video stream containing an image of the second interlocutor when it is in front of the second screen, and a second device displaying on the first screen a fifth video stream combining an animated representation obtained with from said image of the second interlocutor, with all or part of the visual elements belonging to the first data stream when the second interlocutor controls said first data stream, so as to show to the first interlocutor said animated representation acting in front of the screen while it discerning visual elements with a resolution comparable to that of the second screen.
  • the subject of the invention is also a method for producing video streams promoting an immersive collaboration comprising steps of:
  • the invention further relates to a computer program comprising program code instructions for executing the steps of the method according to the invention when said program is executed on a computer.
  • FIG. 1 is a diagrammatic view of a system in accordance with FIG. invention
  • Figure 2 is a schematic view of a preferred embodiment
  • FIG. 1 shows a first exemplary embodiment of an immersive collaboration system for enabling a first interlocutor 1 physically present on a first site 10 to interact with at least a second interlocutor 2, 3 physically present on a second site 20, remote of the first site.
  • a first screen 11 makes it possible to display in front of the first interlocutor 1 a first video stream 14 containing visual elements such as those illustrated in FIG. 2.
  • the displayed visual elements belong to a first data stream locally controllable by the first interlocutor 1.
  • These visual elements may comprise, for example, graphical shapes which, when the first data stream is locally controlled by the first interlocutor 1, are sketched on the first screen 11 by means of a stylus 18 that the first interlocutor applies and moves on the first screen 11 to write handwritten text or draw a sketch.
  • the displacement coordinates of the stylus 18 are processed in real time by a local computer 10 to enrich the first data stream with graphical forms displayable on the first screen 11, for example as explained in more detail in the earlier documents FR2993369 or FR2998686.
  • These visual elements may also comprise for example zones allocated to the writing that the first speaker can vary according to a movement of his or her fingers on the screen in the manner of what is described in WO2014 / 082928 to represent a sticker number that the first party can move on the screen.
  • the first interlocutor 1 placed in front of the screen 11 or any other interlocutor present on the site 1 can create such a digital adhesive sheet by means for example of a touch pad 19 which allows him to write a text or to embed a content multimedia on the self-adhesive card created.
  • Each touch pad 19 communicates wirelessly, for example of the WIFI type, with a computer 17, called PC board, which manages the display on the screen 11 to give it the functionality of a digital whiteboard.
  • These visual elements can also, for purely illustrative and non-limiting purposes, include for example viewing windows in which the first interlocutor decides to view a film, an image, a text, a graphic or any other presentation document. In this way, the first screen 11 produces a digital whiteboard on which the first interlocutor acts and on which the visual elements displayed can be easily observed by the interlocutors present on the site 10.
  • a second screen 21 located on the second site is preferably large enough to allow easy observation of what it displays, not only to the second interlocutor 2 located near the screen 21 but also to other second speakers
  • the second interlocutor 2 located near the screen 21 and other second parties 3 may have touch pads 29 to create digital adhesive sheets on which they have the ability to enter a text or to embed a multimedia content.
  • Each touch pad 29 communicates wirelessly, for example of the WIFI type, with a computer 27, named PC board on the site 20, connected to a central server 37, itself connected to the computer 17 via a computer. an extended network, for inserting the digital adhesive sheets in the first data stream so as to display the digital adhesive sheets on the first screen 11 under the control of the first speaker 1.
  • a camera 12 is located behind the screen to generate a second video stream containing an image of the first interlocutor 1 when it is in front of the first screen 11.
  • This embodiment requires use a screen 11 transparent to the light from the space in front of the screen on the first site, a bit like a mirror without complexion.
  • This embodiment also requires a powerful lighting of the first interlocutor.
  • a camera 13 is placed on the same side of the first screen 11 as the first interlocutor 1 to generate a second video stream 15 containing an image of the first interlocutor 1 when it is in front of the first 11. It can be envisaged to install the camera 13, for example above the screen 11, but such an installation requires image processing, for example of the "bird-view" type to eliminate some parallax effects.
  • the camera 13 is disposed at a distance from the first screen 11, and turned towards the first screen.
  • the image of the first interlocutor 1 when it is in front of the first screen 11, is mainly back when the interlocutor 1 is turned towards the screen.
  • the image of the first interlocutor 1 when he is in front of the first screen 11, is on the side or face when the interlocutor 1 turns towards the other interlocutors present on the same site 10 as him.
  • the camera 13 reproduces what the filmmakers call a subjective camera, that is to say a camera that gives an image similar to that seen by another interlocutor on the site 10, conducive to encouraging immersion on the site 10 a person remotely visualizing this image by offering him the possibility to identify himself to a virtual interlocutor located on the site
  • this first camera is arranged behind the screen as is the case of the camera 12 or in front of the screen as is the case of the camera 13, it is interesting to frame the camera on the edges of the screen 11 for the reasons which will become clear in the remainder of the description.
  • the system comprises a first device 36 displaying on a second screen 21 a third video stream 16 combining an animated representation obtained from the image of the first interlocutor 1, with all or part of the visual elements belonging to the first data flow when the first interlocutor 1 controls the first stream of data, so as to show to any second interlocutor 2, 3 who looks at the screen 21, the animated representation acting in front of the screen 11 while making him discern the visual elements with a resolution comparable to that of the first screen 11.
  • the first device 36 obtains the animated representation simply by resuming the image of the first interlocutor as provided by the camera 13 or by generating an avatar recording in real time the detected movements and expressions of the first interlocutor 1, in a manner known per se also in the generation of virtual avatars in computing.
  • An avatar is generally an animated form of comic type, which allows for example not to reproduce the physical features of the interlocutor 1 to respect his right to the image, for example when he wishes to keep a certain anonymity.
  • An avatar also allows to take certain symbolic forms materialized by a color, a dress or the wearing of accessories representative of its function, its competence or its belonging to this or that intervening entity in the dialogue.
  • the third video stream by simply reproducing the second video stream generated by the camera 13, in particular when choosing an animated representation identical to the image of the first interlocutor 1 as it is given by the camera.
  • an animated representation of type avatar one can consider a segmentation with image recognition, followed by a substitution of the image of the interlocutor by the avatar.
  • the camera 13 is set in overexposure mode so that the light emitted by the screen 11 causes a uniformly white background to appear.
  • the first interlocutor whose image is captured in backlight, is detached on a white screen in the second video stream 15. It is possible to manually adjust the camera 13 to put it in overexposure mode until that the light emitted or reflected by the screen burns the shooting by the camera. It may also be preferable to automatically adjust the camera 13 by equipping the device 36 with a link with the camera and with a setting pilot which constitute means for putting the camera 13 in overexposed mode.
  • the device 36 hosted in the computer 10 or in the central server 37, or even less so in the computer 27, comprises a computer program comprising program code instructions for executing the steps of the method explained. Referring now to FIG. 3, when the program is run on the computer hosting the device 36.
  • the purpose of the video stream production method explained at present is to promote an immersive collaboration of interlocutors located at sites remote from one another.
  • a transfer step 102 the control of the first data flow is transferred to the first interlocutor 1 facing the first screen 11 located on the first site 10, when the interlocutor 1 intervenes on the screen 11, for example by touching the screen 11 with his finger to move a digital sticker on the screen or to activate a function by means of a virtual button displayed on the screen or for example by touching the screen 11 with the stylus 18 to write a text script or draw a diagram on the whiteboard materialized by the screen 11. Any repercussion of the action of the interlocutor 1 on the screen 11, is then recorded in terms of display in the first data stream.
  • a step 60 of authorizing the takeover by the interlocutor 1, has the advantage of verifying that all the conditions are met to allow this takeover.
  • the display step 104 on the first screen in front of the first party of the first video stream remains active so as to allow any interlocutor physically located on the first site 10 to see all the displayed elements of the first data stream.
  • step 106 is activated to generate a second video stream containing a real-time image of the first interlocutor when it is in front of the first screen
  • the second video stream although generated from a camera framed on the edges of the screen 11, eliminates any element displayed on this screen using the means explained above.
  • a step 108 is activated to combine an animated representation obtained from said image of the first interlocutor, with all or part of the visual elements belonging to the first data stream.
  • the animated representation is elaborated synchronously with the image generated in real time, either by copying it or by replacing it with an avatar.
  • the device 36 has a real-time avatar creation software, known per se.
  • the device 36 comprises software means for mixing in real time the first video stream 14 and the second video stream 15 so as to obtain the third video stream 16. several video streams are commercially available.
  • the mixing software means are selected or set to put the image or several images if several interlocutors are simultaneously present in front of the screen 11, contained or contained in the second video stream, or in the foreground of the first video stream to reproduce this that see the interlocutors present on the site 10, be in the background of the visual elements in the first video stream to allow a similar vision to that of the first interlocutor 1, or in transparency.
  • a step 110 is activated to produce, in real time, the third video stream containing the combination obtained in step 106, so as to substitute its display on the second screen for that obtained by step 204.
  • the second screen located on the second site thus makes it possible to show to a second interlocutor the representation animated acting in front of the screen while allowing him to discern the visual elements with a resolution comparable to that of the first screen.
  • the steps 102 and 110 are deactivated in favor of a reactivation of the steps 60 and 204.
  • the deactivation of the steps 102 and 110 do not by themselves cause a deactivation of step 104 which, a priori, persists.
  • the second screen 21 makes it possible to display in front of the second interlocutor 2 the first video stream 14 which contains the visual elements belonging to the first data stream when it becomes controllable by the second interlocutor 2.
  • a or a plurality of second cameras 22, identical to the camera 12 or preferably identical to the camera 13, makes it possible to generate a fourth video stream containing an image of the second interlocutor 2 when it is in front of the second screen 21.
  • a second device then displays on the first screen 11 a fifth video stream combining an animated representation obtained from the image of the second interlocutor, with all or part of the visual elements belonging to the first data stream when the second interlocutor 2 controls the first data flow, so as to show to the first interlocutor 1 its animated representation acting in front of the screen while making him discern the visual elements with a resolution comparable to that of the second screen 21.
  • the second device is merged with the first device to perform the process steps described below.
  • the second device is another device identical to the first device then hosted in the computer 27 or respectively in the computer 17. The method steps described below can still be performed by providing synchronism points between the devices.
  • a transfer step 202 the control of the first data flow is given to the second interlocutor 2 facing the second screen 21 located on the second site 20, when the interlocutor 2 intervenes on the screen 21, for example by touching the screen 21 with his finger to move a digital sticker on the screen or to activate a function by means of a virtual button displayed on the screen or for example still by touching the screen 21 with the stylus 28 to write a text script or draw a diagram on the whiteboard materialized by the screen 21. Any repercussion of the action of the interlocutor 2 on the screen 21, is then recorded in terms of display in the first data stream.
  • the step 60 of authorizing the takeover by the interlocutor 2 has the advantage of verifying that all the conditions are met to allow this takeover, especially that the first data stream is not under the control. control of interlocutor 1.
  • the display step 204 on the second screen in front of the second party of the first video stream remains active so as to allow any physically located interlocutor on the second site 20, to see all the displayed elements of the first data stream.
  • step 206 is activated to generate a fourth video stream containing a time image the second interlocutor when it is in front of the second screen 21.
  • the fourth video stream although generated from a camera framed on the edges of the screen 21, eliminates any element displayed on this screen using the means explained above.
  • a step 208 is activated to combine an animated representation obtained from said image of the second interlocutor, with all or part of the visual elements belonging to the first data stream.
  • the animated representation is elaborated synchronously with the image generated in real time, either by copying it or by replacing it with an avatar.
  • the device has a real-time avatar creation software, known per se.
  • the device comprises software means for mixing in real time the first video stream and the fourth video stream so as to obtain a fifth video stream.
  • the mixing software means are similar to those described above.
  • a step 210 is activated to produce in real time the fifth video stream containing the combination obtained in step 206, so as to substitute its display on the first screen for that obtained by step 104.
  • the first screen located on the first site and allows to show a first interlocutor animated representation acting in front of the screen while allowing him to discern the visual elements with a resolution comparable to that of the second screen.
  • the steps 202 and 210 are deactivated in favor of a reactivation of the steps 60 and 104.
  • the deactivation of the steps 202 and 210 does not cause a deactivation by itself. of step 204 which, a priori, persists.
  • An initial step 50 simultaneously activates the resource branch and the upstream branches as soon as all the conditions are met for proper operation of the system.
  • the transition 101 is validated when the interlocutor 1, for example acts on the screen 11 or for example still is in the field of the first camera.
  • the transition 103 is validated when the interlocutor 1, for example stops acting on the screen 11 or for example still leaves the field of the first camera.
  • the steps of the first downstream branch are activated when the transition 101 is valid and the step or steps of the second upstream branch and the step 60 of the resource branch are active. Activation of steps 102, 110 disables steps 204, 206, 208 of the second upstream branch and step 60 of the resource branch.
  • a validation of the transition 103 while the steps of the first downstream branch are active, has the effect of deactivating the steps of the first downstream branch and of reactivating the steps 204, 206, 208 of the second upstream branch and step 60 of the resource branch.
  • the transition 201 is validated when the interlocutor 2, for example acts on the screen 21 or for example still occurs in the field of the second camera.
  • the transition 203 is validated when the interlocutor 2, for example stops acting on the screen 21 or for example still leaves the field of the second camera.
  • steps of the second downstream branch are activated when the transition 201 is valid and the step or steps of the first upstream branch and step 60 of the resource branch are active.
  • steps 202, 210 deactivates at least step 104 of the first upstream branch and step 60 of the resource branch.
  • a validation of the transition 203 while the steps of the second downstream branch are active, has the effect of deactivating the steps of the second downstream branch and of reactivating at least the step 104 of the first upstream branch and the step 60 of the resource branch.
  • the local interlocutor has control of the data flow, it is the first video stream associated with the data stream that is displayed on the local screen.
  • a remote party takes control of the data stream, another video stream is substituted on the local screen for the first video stream so as to display on the local screen the real-size remote party as it acts. on the remote screen.
  • the invention makes it possible to eliminate the ghost effect produced by a seemingly unjustified displacement, creation or destruction of a remote visual element.
  • the remote party releases control of the data stream, the first video stream is substituted on the local screen for the other video stream so that the remote party who does not act on the remote screen disappears on the local screen.
  • the benefits of using another video stream that combines the first video stream with a video stream that contains only one or images of interlocutors placed in front of the screen are multiple.
  • a first advantage is not to need to use a sufficiently high resolution camera to be able to read the visual elements displayed on the remote screen without problem and to reduce the cost of the system.
  • a first disadvantage results from the disruptive effect provided by a sudden appearance of the remote interlocutor at the time of the substitution of the video streams. While the movements of the local interlocutor in front of the screen of continuous and progressive nature, favor their anticipation by the local interlocutors, the unexpected appearance of the distant interlocutor risks to hide a visual element on which a local interlocutor fixes his attention .
  • a first advantage of combining an animated representation of the remote interlocutor with the first video stream is that it can make its appearance less intrusive by blurring it or continuing to display the visual elements of the data stream on top of it, so as to less disturb the concentration of the interlocutor on this or that visual element displayed.
  • a second disadvantage of another raw video stream as captured by the camera results from a need for framing with a very high precision of the camera on the edges of the screen so as to avoid any displacement of the visual elements displayed at the camera. moment of substitution of video streams. Even slight and almost imperceptible displacements can create a painful inconvenience, when repeated at each change of control by an interlocutor.
  • a second advantage of combining an animated representation of the remote interlocutor to the first video stream is to avoid any shift of the visual elements of the data stream since their position on the screen is permanently that given by the first video stream. All that is needed is a framing of the camera on the edges of the screen sufficiently neat to make appear the distant interlocutor at the right place as accurately as possible but without a sufficiently small gap is perceived at the time of appearance from the remote party.
  • a third disadvantage of another raw video stream as captured by the camera results from a difference in angle of view of the screen by the camera relative to the own angle under which each interlocutor sees the screen.
  • the difference of angle of view with each substitution of video stream can create a discomfort all the more tiring as it is little perceptible but repetitive as that procured by a light swell at sea.
  • a third advantage of combining an animated representation of the remote interlocutor with the first video stream is to maintain the angle under which each interlocutor sees the visual elements of the data stream since their position on the screen is permanently that given by the first one. video stream.
  • the system also includes sound capture means on each site to restore the other sites not only the oral speech of each interlocutor but also the sound environment. Disruptive noises or differences in emphasis in language expression may be detrimental to a perfect understanding except to support acute attention that can become rapidly tiring.
  • the first device 36 includes speech recognition means so as to transcribe in real time what the first interlocutor says in a form facilitating speech.
  • second interlocutor 2 and adding said shape in the third video stream 16.
  • This form is for example a text strip subtitling the display on the second screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Le système de collaboration immersive permet à un premier interlocuteur (1) physiquement présent sur un premier site de dialoguer avec au moins un deuxième interlocuteur physiquement présent sur un deuxième site distant du premier site. Le système comprend un premier écran pour afficher devant le premier interlocuteur un premier flux vidéo (14) contenant des éléments visuels appartenant à un premier flux de données localement contrôlable par le premier interlocuteur, au moins un deuxième écran situé sur le deuxième site et une ou plusieurs premières caméras (13) pour générer un deuxième flux vidéo (15) contenant une image du premier interlocuteur (1) lorsqu'il est devant le premier écran. Le système comprend notamment un premier dispositif (36) affichant sur le deuxième écran un troisième flux vidéo (16) combinant une représentation animée obtenue à partir de l'image du premier interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le premier interlocuteur contrôle le premier flux de données, de manière à montrer au deuxième interlocuteur la représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du premier écran.

Description

Système et procédé de collaboration immersive.
L'invention concerne un système de communication dans le domaine des écrans d'affichage qui comportent un dispositif agencé pour détecter une position de doigt humain en mesurant une grandeur physique qui varie en fonction d'un contact de doigt humain sur l'écran.
Les écrans tactiles sont déjà connus sur des appareils de petite taille comme des téléphones mobiles ou des tablettes tactiles communicantes qui offrent une interactivité essentiellement virtuelle à différents acteurs qui communiquent entre eux en manipulant des fonctionnalités de leurs appareils respectifs, dédiés chacun à un utilisateur.
Un besoin s'est fait ressentir pour reproduire une interactivité de type physique entre les acteurs, par exemple l'interactivité apportée par le partage sur un support physique commun, par la possibilité de se libérer d'une focalisation sur un petit appareil et de s'observer en grandeur nature. Le type d'interactivité recherché est celui que l'on peut retrouver depuis longtemps déjà dans les salles de classe ou de réunions en s'appuyant sur un grand tableau, sur des planches à papier (paperboard en anglais) de grand format sur lesquels on peut écrire à tour de rôle en échangeant une craie ou un crayon ou sur lesquels on peut encore coller des documents de différentes natures en vraie grandeur.
L'état de la technique propose différentes mises en œuvre de technologies modernes, notamment dans le domaine de l'électronique et de l'informatique pour décupler cette interactivité en lui conservant son aspect physique.
Le document WO2014/082928 par exemple, divulgue un système de communication comprenant deux dispositifs permettant, l'un de détecter une position de doigt humain en contact avec un écran d'affichage, l'autre de détecter une position d'objet inerte en contact avec l'écran d'affichage, chacun en mesurant une grandeur physique distincte, de sorte que l'écran d'affichage reproduit en vraie grandeur l'effet d'un tableau blanc sur lequel un interlocuteur peut écrire au moyen d'un objet inerte tel un crayon, ou déplacer une petite feuille de papier autoadhésive avec les doigts de la main. Les autres participants à la réunion, présents dans la salle où se trouve le tableau blanc réalisé par l'écran d'affichage, peuvent ainsi voir ce qu'écrit et ce que manipule l'interlocuteur sur l'écran. Un besoin se fait ressentir de pouvoir mener des séances de travail interactives efficaces entre différents sites géographiques d'un même groupe d'entreprises à travers le monde. Un moyen de satisfaire ce besoin est d'utiliser sur un site distant, un écran distant semblable à celui utilisé dans la salle d'un site local, et de reproduire sur cet écran le flux vidéo qui sert à l'affichage sur l'écran du site local. Le risque est de faire apparaître un effet fantôme aux interlocuteurs distants qui voient alors du texte s'écrire ou des fiches se déplacer sans voir d'être humain écrire ou déplacer des fiches sur l'écran distant.
Les outils informatiques actuels de visioconférence ou de téléconférence ou de collaboration à distance présentent l'inconvénient de ne pas permettre de voir, à distance, dans un même espace visuel, à la fois clairement le contenu de l'affichage et l'interlocuteur en train d'expliquer/démontrer à l'écran au travers des documents/dessins/post-it® virtuels. Certes ces outils offrent parfois la possibilité de voir ces deux substances mais dans des fenêtres graphiques ou espaces visuels séparés. Ce qui présente l'inconvénient d'obliger les personnes de porter leur regard d'un espace à l'autre sans arrêt, en effectuant un va et vient oculaire continu pour suivre à distance une séance d'explication ou une démonstration. Ceci engendre l'inconvénient d'impacter fortement la concentration intellectuelle.
Pour remédier aux inconvénients de l'état antérieur de la technique, l'invention a pour objet un système de collaboration immersive pour permettre à un premier interlocuteur physiquement présent sur un premier site de dialoguer avec au moins un deuxième interlocuteur physiquement présent sur un deuxième site distant du premier site, comprenant un premier écran pour afficher devant le premier interlocuteur un premier flux vidéo contenant des éléments visuels appartenant à un premier flux de données localement contrôlable par le premier interlocuteur, au moins un deuxième écran situé sur ledit deuxième site et une ou plusieurs premières caméras pour générer un deuxième flux vidéo contenant une image du premier interlocuteur lorsqu'il est devant le premier écran.
Le système est remarquable en ce qu'il comprend un premier dispositif affichant sur le deuxième écran un troisième flux vidéo combinant en temps réel une représentation animée obtenue à partir de ladite image du premier interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le premier interlocuteur contrôle le premier flux de données, de manière à montrer au deuxième interlocuteur ladite représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du premier écran.
Le dispositif ainsi spécifié permet d'assurer une parfaite synchronisation vidéo et audio en sortie de caméra avec l'application interactive qui s'affiche sur l'écran.
Particulièrement, au moins une première caméra est placée du même côté du premier écran que le premier interlocuteur.
Particulièrement aussi, ladite première caméra est disposée à distance du premier écran, et tournée vers le premier écran.
Particulièrement encore, ladite première caméra est cadrée sur les bords du premier écran.
La caméra ainsi spécifiée permet de plaquer parfaitement la vidéo qu'elle fournit, sur le contenu interactif affiché.
Plus particulièrement, le premier dispositif comprend des moyens pour mettre la ou les premières caméras en mode de surexposition de sorte que le premier interlocuteur se détache sur un écran blanc dans le deuxième flux vidéo.
De la sorte, la vidéo issue de la caméra ne permet de voir que l'interlocuteur sans voir le contenu affiché sur le tableau ou l'écran.
Avantageusement, ledit premier dispositif comprend des moyens pour mixer en temps réel le premier flux vidéo et le deuxième flux vidéo de façon à obtenir le troisième flux vidéo.
Le dispositif ainsi spécifié offre au système la capacité de voir l'interlocuteur qui se trouve sur un site distant, en filigrane, en temps réel, en train de manipuler des documents/post-it™ interactifs au tableau, de pouvoir dialoguer oralement en temps réel entre les différentes salles connectées et interlocuteurs présents, et avec la capacité à tout moment pour les interlocuteurs de se voir en clair, comme s'ils étaient réunis sur le même site, à la manière de séances de travail collaboratif sur un mur/tableau interactif.
Avantageusement aussi ledit premier dispositif obtient ladite représentation animée en reprenant simplement ladite image du premier interlocuteur ou en générant un avatar reprenant en temps réel les mouvements et les expressions détectées du premier interlocuteur. Avantageusement encore, ledit premier dispositif comporte des moyens de reconnaissance de la parole de façon à transcrire en temps réel ce que dit le premier interlocuteur sous une forme facilitant la compréhension au deuxième interlocuteur et à ajouter ladite forme dans le troisième flux vidéo.
Particulièrement, ladite forme est un bandeau de texte sous-titrant l'affichage sur le deuxième écran.
De préférence, le deuxième écran permet d'afficher devant le deuxième interlocuteur le premier flux vidéo contenant les éléments visuels appartenant au premier flux de données lorsqu'il devient contrôlable par le deuxième interlocuteur. Le système comprend alors avantageusement une ou plusieurs deuxièmes caméras pour générer un quatrième flux vidéo contenant une image du deuxième interlocuteur lorsqu'il est devant le deuxième écran, et un deuxième dispositif affichant sur le premier écran un cinquième flux vidéo combinant une représentation animée obtenue à partir de ladite image du deuxième interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le deuxième interlocuteur contrôle ledit premier flux de données, de manière à montrer au premier interlocuteur ladite représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du deuxième écran.
L'invention a aussi pour objet un procédé de production de flux vidéo favorisant une collaboration immersive comprenant des étapes de :
- cession de contrôle d'un flux de données à un premier interlocuteur face à un premier écran situé sur un premier site,
- affichage sur le premier écran devant le premier interlocuteur d'un premier flux vidéo contenant des éléments visuels appartenant à un premier flux de données,
- génération d'un deuxième flux vidéo contenant une image du premier interlocuteur lorsqu'il est devant le premier écran,
- combinaison d'une représentation animée obtenue à partir de ladite image du premier interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données,
- production en temps réel d'un troisième flux vidéo contenant ladite combinaison, en vue de son affichage sur un deuxième écran situé sur un deuxième site de manière à pouvoir montrer à un deuxième interlocuteur ladite représentation animée agissant devant l'écran tout en lui laissant discerner les éléments visuels avec une résolution comparable à celle du premier écran.
L'invention a encore pour objet un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'invention lorsque ledit programme est exécuté sur un ordinateur.
L'invention sera mieux comprise à l'aide d'exemples de réalisation d'un procédé et d'un dispositif conformes à l'invention en référence aux dessins annexés, dans lesquels : la figure 1 est une vue schématique de système conforme à l'invention ;
la figure 2 est une vue schématique d'un mode préféré de réalisation ;
la figure 3 montre des étapes de procédé conformes à l'invention. La figure 1 montre un premier exemple de réalisation d'un système de collaboration immersive pour permettre à un premier interlocuteur 1 physiquement présent sur un premier site 10 de dialoguer avec au moins un deuxième interlocuteur 2, 3 physiquement présent sur un deuxième site 20, distant du premier site.
Un premier écran 11 permet d'afficher devant le premier interlocuteur 1 un premier flux vidéo 14 contenant des éléments visuels comme ceux illustrés par la figure 2. Les éléments visuels affichés appartiennent à un premier flux de données localement contrôlable par le premier interlocuteur 1. Ces éléments visuels peuvent comprendre par exemple des formes graphiques qui, lorsque le premier flux de données est localement contrôlé par le premier interlocuteur 1, sont crayonnées sur le premier écran 11 au moyen d'un stylet 18 que le premier interlocuteur applique et déplace sur le premier écran 11 pour écrire du texte manuscrit ou dessiner un croquis. Les coordonnées de déplacement du stylet 18 sont traitées en temps réel par un ordinateur local 10 pour enrichir le premier flux de données avec des formes graphiques affichables sur le premier écran 11, par exemple comme expliqué plus en détail dans les documents antérieurs FR2993369 ou FR2998686. Ces éléments visuels peuvent aussi comprendre par exemple des zones allouées à l'écriture que le premier interlocuteur peut faire varier en fonction d'un déplacement de son ou ses doigts sur l'écran à la manière de ce qui est décrit dans le document WO2014/082928 pour représenter une fiche autocollante numérique que le premier interlocuteur peut déplacer sur l'écran. Le premier interlocuteur 1 placé devant l'écran 11 ou tout autre interlocuteur présent sur le site 1 peut créer une telle fiche autocollante numérique au moyen par exemple d'une tablette tactile 19 qui lui permet d'inscrire un texte ou d'incruster un contenu multimédia sur la fiche autocollante créée. Chaque tablette tactile 19 communique par liaison sans fil, par exemple de type WIFI, avec un ordinateur 17, nommé PC tableau, qui gère l'affichage sur l'écran 11 pour lui donner les fonctionnalités d'un tableau blanc numérique. Ces éléments visuels peuvent encore, à titre purement illust ratif et non limitatif, comprendre par exemple des fenêtres de visualisation dans lesquelles le premier interlocuteur décide de visualiser un film, une image, un texte, un graphique ou toute autre document de présentation. De la sorte, le premier écran 11 réalise un tableau blanc numérique sur lequel agit le premier interlocuteur et sur lequel les éléments visuel affichés peuvent être facilement observés par les interlocuteurs présent sur le site 10.
Un deuxième écran 21 situé sur le deuxième site, est de préférence suffisamment grand pour permettre une observation aisée de ce qu'il affiche, non seulement au deuxième interlocuteur 2 situé à proximité de l'écran 21 mais aussi à d'autres deuxièmes interlocuteurs
3 présents derrière le deuxième interlocuteur 2 sur le site 20 distant. Le deuxième interlocuteur 2 situé à proximité de l'écran 21 et d'autres deuxièmes interlocuteurs 3 peuvent disposer de tablettes tactiles 29 pour créer des fiches autocollantes numériques sur lesquelles ils ont la possibilité d'inscrire un texte ou d'incruster un contenu multimédia. Chaque tablette tactile 29 communique par liaison sans fil, par exemple de type WIFI, avec un ordinateur 27, nommé PC tableau sur le site 20, relié à un serveur central 37, lui-même relié à l'ordinateur 17 par l'intermédiaire d'un réseau étendu, pour introduire les fiches autocollantes numériques dans le premier flux de données de façon à permettre d'afficher les fiches autocollantes numériques sur le premier écran 11 sous le contrôle du premier interlocuteur 1.
Dans l'exemple de réalisation illustré par la figure 1, une caméra 12 est située derrière l'écran pour générer un deuxième flux vidéo contenant une image du premier interlocuteur 1 lorsqu'il est devant le premier écran 11. Ce mode de réalisation nécessite d'utiliser un écran 11 transparent à la lumière en provenance de l'espace situé devant l'écran sur le premier site, un peu à la manière d'un miroir sans teint. Ce mode de réalisation nécessite aussi un éclairage puissant du premier interlocuteur. Dans l'exemple de réalisation illustré par la figure 2, une caméra 13 est placée du même côté du premier écran 11 que le premier interlocuteur 1 pour générer un deuxième flux vidéo 15 contenant une image du premier interlocuteur 1 lorsqu'il est devant le premier écran 11. On peut envisager d'installer la caméra 13, par exemple au-dessus de l'écran 11 mais une telle installation nécessite un traitement d'image, par exemple de type « bird-view » pour éliminer certains effets de parallaxe.
De préférence, la caméra 13 est disposée à distance du premier écran 11, et tournée vers le premier écran. L'image du premier interlocuteur 1 lorsqu'il est devant le premier écran 11, est principalement de dos lorsque l'interlocuteur 1 est tourné vers l'écran. L'image du premier interlocuteur 1 lorsqu'il est devant le premier écran 11, est de côté ou de face lorsque l'interlocuteur 1 se retourne vers les autres interlocuteurs présents sur le même site 10 que lui. Ainsi, la caméra 13 reproduit ce que les cinéastes nomment une caméra subjective, c'est-à- dire une caméra qui donne une image semblable à celle vue par un autre interlocuteur sur le site 10, propice à favoriser une immersion sur le site 10 d'une personne visualisant à distance cette image en lui offrant la possibilité de s'identifier à un interlocuteur virtuel situé sur le site
10 à l'emplacement de la caméra 13.
Que cette première caméra soit disposée derrière l'écran comme c'est le cas de la caméra 12 ou devant l'écran comme c'est le cas de la caméra 13, il est intéressant de cadrer la caméra sur les bords de l'écran 11 pour les raisons qui apparaîtront clairement dans la suite de la description.
Comme illustré sur la figure 2, le système comprend un premier dispositif 36 affichant sur deuxième écran 21 un troisième flux vidéo 16 combinant une représentation animée obtenue à partir de l'image du premier interlocuteur 1, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le premier interlocuteur 1 contrôle le premier flux de données, de manière à montrer à tout deuxième interlocuteur 2, 3 qui regarde l'écran 21, la représentation animée agissant devant l'écran 11 tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du premier écran 11.
Le premier dispositif 36 obtient la représentation animée en reprenant simplement l'image du premier interlocuteur telle qu'elle est fournie par la caméra 13 ou en générant un avatar reprenant en temps réel les mouvements et les expressions détectées du premier interlocuteur 1, de façon connue en soi par ailleurs dans la génération d'avatars virtuels en informatique. Un avatar est généralement une forme animée de type dessinée, qui permet par exemple de ne pas reproduire les traits physique de l'interlocuteur 1 pour respecter son droit à l'image, par exemple lorsqu'il désire garder un certain anonymat. Un avatar permet aussi de revêtir certaines formes symboliques matérialisées par une couleur, un habit ou le port d'accessoires représentatifs de sa fonction, de sa compétence ou de son appartenance à telle ou telle entité intervenante dans le dialogue.
En utilisant une caméra 13 à très haute définition cadrée sur les bords de l'écran 11 de façon à capturer simultanément le premier interlocuteur 1 devant l'écran et la partie visible de l'écran avec une résolution suffisante pour permettre une lecture des éléments affichés, on peut envisager de produire le troisième flux vidéo en reproduisant purement et simplement le deuxième flux vidéo généré par la caméra 13, notamment lorsqu'on choisit une représentation animée identique à l'image du premier interlocuteur 1 telle qu'elle est donnée par la caméra. Lorsqu'on choisit une représentation animée de type avatar, on peut envisager une segmentation avec reconnaissance d'image, suivie d'une substitution de l'image de l'interlocuteur par l'avatar. Cependant, outre le coût de mise en œuvre d'une caméra à très haute définition résultant de la nécessité de pouvoir offrir une lecture aisée de ce qui est affiché, une reproduction pure et simple du deuxième flux vidéo dans le troisième flux vidéo, peut présenter d'autres inconvénients qui apparaîtront plus clairement à la suite de l'exposé des avantages d'une mise en œuvre préférée comme illustrée par la figure 2.
Dans ce mode de mise en œuvre préféré, la caméra 13 est mise en mode de surexposition de façon à ce que la lumière émise par l'écran 11 fasse apparaître un fond uniformément blanc. De la sorte, le premier interlocuteur, dont l'image est capturée en contrejour, se détache sur un écran blanc dans le deuxième flux vidéo 15. On peut envisager de régler manuellement la caméra 13 pour la mettre en mode de surexposition jusqu'à ce que la lumière émise ou réfléchie par l'écran brûle la prise de vue par la caméra. On peut aussi préférer de régler automatiquement la caméra 13 en équipant le dispositif 36 d'une liaison avec la caméra et d'un pilote de paramétrage qui constituent des moyens pour mettre la caméra 13 en mode de surexposition. Le dispositif 36, hébergé dans l'ordinateur 10 ou dans le serveur central 37, voire de façon moins conseillée dans l'ordinateur 27, comporte un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé expliqué à présent en référence à la figure 3, lorsque le programme est exécuté sur l'ordinateur qui héberge le dispositif 36.
Le procédé de production de flux vidéo expliqué à présent a pour but de favoriser une collaboration immersive d'interlocuteurs situés sur des sites distants l'un de l'autre.
En absence d'intervention sur l'un quelconque des écrans 11, 21 de tout interlocuteur sur les sites 10 et 20, deux étapes sont principalement actives en parallèle, une étape d'affichage 104 sur le premier écran devant le premier interlocuteur d'un premier flux vidéo contenant des éléments visuels appartenant à un premier flux de données et une étape d'affichage 204 sur le deuxième écran devant le deuxième interlocuteur du premier flux vidéo contenant des éléments visuels appartenant au premier flux de données. Ainsi les interlocuteurs présents sur différent sites distants l'un de l'autre, sont dans les mêmes conditions face aux écrans 11, 21 que s'ils étaient face à un même tableau blanc sur un même site.
Dans une étape de cession 102, le contrôle du premier flux de données est cédé au premier interlocuteur 1 face au premier écran 11 situé sur le premier site 10, lorsque l'interlocuteur 1 intervient sur l'écran 11, par exemple en touchant l'écran 11 avec son doigt pour déplacer une fiche autocollante numérique sur l'écran ou pour activer une fonction au moyen d'un bouton virtuel affiché sur l'écran ou par exemple encore en touchant l'écran 11 avec le stylet 18 pour écrire un texte manuscrit ou dessiner un schéma sur le tableau blanc matérialisé par l'écran 11. Toute répercussion de l'action de l'interlocuteur 1 sur l'écran 11, est alors consignée en termes d'affichage dans le premier flux de données.
Une étape 60 d'autorisation de la prise de contrôle par l'interlocuteur 1, présente l'avantage de vérifier que toutes les conditions sont réunies pour permettre cette prise de contrôle.
Tant que le premier flux de données reste sous le contrôle du premier interlocuteur dans l'étape 102, l'étape d'affichage 104 sur le premier écran devant le premier interlocuteur du premier flux vidéo reste active de façon à permettre à tout interlocuteur physiquement situé sur le premier site 10, de voir l'ensemble des éléments affichés du premier flux de données.
Parallèlement à l'étape 102, parallèlement à l'étape 104 comme représenté sur la figure 3 ou en permanence, une étape 106 est activée pour générer un deuxième flux vidéo contenant une image temps réel du premier interlocuteur lorsqu'il est devant le premier écran
11. De préférence, le deuxième flux vidéo, bien que généré à partir d'une caméra cadrée sur les bords de l'écran 11, élimine tout élément affiché sur cet écran en utilisant les moyens expliqués ci-dessus.
Parallèlement à l'étape 106, une étape 108 est activée pour combiner une représentation animée obtenue à partir de ladite image du premier interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données. La représentation animée est élaborée de manière synchrone à l'image générée en temps réel, soit simplement en la recopiant, soit en la remplaçant par un avatar. Dans ce dernier cas, le dispositif 36 dispose d'un logiciel de création d'avatar en temps réel, connu en soi par ailleurs. Pour exécuter l'étape 108, le dispositif 36 comprend des moyens logiciels pour mixer en temps réel le premier flux vidéo 14 et le deuxième flux vidéo 15 de façon à obtenir le troisième flux vidéo 16. De nombreux moyens logiciels de mixage en temps réel de plusieurs flux vidéo sont commercialement disponibles. Les moyens logiciels de mixage sont sélectionnés ou paramétrés pour mettre l'image ou plusieurs images si plusieurs interlocuteurs sont simultanément présents devant l'écran 11, contenue ou contenues dans le deuxième flux vidéo, soit en avant-plan du premier flux vidéo pour reproduire ce que voient les interlocuteurs présents sur le site 10, soit en arrière-plan des éléments visuels dans le premier flux vidéo pour permettre une vision comparable à celle du premier interlocuteur 1, soit en transparence. On obtient alors un troisième flux vidéo 16 semblable à celui de la figure 2 dans lequel on peut voir des fiches autocollantes numériques épinglées ou des écritures manuscrites brossées sur le dos de l'interlocuteur.
Parallèlement à l'étape 102, une étape 110 est activée pour produire en temps réel le troisième flux vidéo contenant la combinaison obtenue en étape 106, de façon à substituer son affichage sur le deuxième écran à celui obtenu par l'étape 204. Le deuxième écran situé sur le deuxième site permet ainsi de montrer à un deuxième interlocuteur la représentation animée agissant devant l'écran tout en lui laissant discerner les éléments visuels avec une résolution comparable à celle du premier écran.
Lorsque l'interlocuteur 1 n'intervient plus sur l'écran 11, les étapes 102 et 110 sont désactivées au profit d'une réactivation des étapes 60 et 204. La désactivation des étapes 102 et 110 ne provoquent pas à elles seules une désactivation de l'étape 104 qui, a priori, persiste.
Le procédé est illustré sur la figure 3 au moyen du langage d'automatisme Grafcet. On rappelle que dans ce langage, un trait horizontal symbolise un OU logique, un double trait horizontal symbolise un ET logique, une flèche verticale représente un passage d'étape à une ou plusieurs étapes suivante et une barre horizontale sur une flèche représente une transition qui nécessite d'être validée pour activer la ou les étapes en aval de la flèche. On comprendra que toute autre forme de représentation ou de programmation de l'enchaînement des étapes convient à la réalisation de l'algorithme ici expliqué sans sortir du cadre de l'invention.
La représentation de la figure 3, n'a d'autre but que celui de faciliter la compréhension du procédé, notamment dans son amplification que nous exposons à présent.
Dans le système utilisant cette amplification du procédé, le deuxième écran 21 permet d'afficher devant le deuxième interlocuteur 2 le premier flux vidéo 14 qui contient les éléments visuels appartenant au premier flux de données lorsqu'il devient contrôlable par le deuxième interlocuteur 2. Une ou plusieurs deuxièmes caméras 22, identiques à la caméra 12 ou de préférence identiques à la caméra 13, permet de générer un quatrième flux vidéo contenant une image du deuxième interlocuteur 2 lorsqu'il est devant le deuxième écran 21.
Un deuxième dispositif affiche alors sur le premier écran 11 un cinquième flux vidéo combinant une représentation animée obtenue à partir de l'image du deuxième interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le deuxième interlocuteur 2 contrôle le premier flux de données, de manière à montrer au premier interlocuteur 1 sa représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du deuxième écran 21.
Dans la variante de réalisation préférée où le premier dispositif est hébergé sur le serveur central, le deuxième dispositif est confondu avec le premier dispositif pour exécuter les étapes de procédé décrites ci-dessous. Dans la variante de réalisation où le premier dispositif est hébergé dans l'ordinateur 17 ou respectivement dans l'ordinateur 27, le deuxième dispositif est un autre dispositif identique au premier dispositif alors hébergé dans l'ordinateur 27 ou respectivement dans l'ordinateur 17. Les étapes de procédé décrites ci- dessous peuvent encore être exécutées en prévoyant des points de synchronisme entre les dispositifs.
Dans une étape de cession 202, le contrôle du premier flux de données est cédé au deuxième interlocuteur 2 face au deuxième écran 21 situé sur le deuxième site 20, lorsque l'interlocuteur 2 intervient sur l'écran 21, par exemple en touchant l'écran 21 avec son doigt pour déplacer une fiche autocollante numérique sur l'écran ou pour activer une fonction au moyen d'un bouton virtuel affiché sur l'écran ou par exemple encore en touchant l'écran 21 avec le stylet 28 pour écrire un texte manuscrit ou dessiner un schéma sur le tableau blanc matérialisé par l'écran 21. Toute répercussion de l'action de l'interlocuteur 2 sur l'écran 21, est alors consignée en termes d'affichage dans le premier flux de données.
L'étape 60 d'autorisation de la prise de contrôle par l'interlocuteur 2, présente l'avantage de vérifier que toutes les conditions sont réunies pour permettre cette prise de contrôle, notamment que le premier flux de données n'est pas sous le contrôle de l'interlocuteur 1.
Tant que le premier flux de données reste sous le contrôle du deuxième interlocuteur dans l'étape 202, l'étape d'affichage 204 sur le deuxième écran devant le deuxième interlocuteur du premier flux vidéo reste active de façon à permettre à tout interlocuteur physiquement situé sur le deuxième site 20, de voir l'ensemble des éléments affichés du premier flux de données.
Parallèlement soit à l'étape 204 comme représenté sur la figure 3, soit à l'étape 202 (variante non représentée) ou soit en permanence (variante non représentée), une étape 206 est activée pour générer un quatrième flux vidéo contenant une image temps réel du deuxième interlocuteur lorsqu'il est devant le deuxième écran 21. De préférence, le quatrième flux vidéo, bien que généré à partir d'une caméra cadrée sur les bords de l'écran 21, élimine tout élément affiché sur cet écran en utilisant les moyens expliqués ci-dessus.
Parallèlement à l'étape 206, une étape 208 est activée pour combiner une représentation animée obtenue à partir de ladite image du deuxième interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données. La représentation animée est élaborée de manière synchrone à l'image générée en temps réel, soit simplement en la recopiant, soit en la remplaçant par un avatar. Dans ce dernier cas, le dispositif dispose d'un logiciel de création d'avatar en temps réel, connu en soi par ailleurs. Pour exécuter l'étape 208, le dispositif comprend des moyens logiciels pour mixer en temps réel le premier flux vidéo et le quatrième flux vidéo de façon à obtenir un cinquième flux vidéo. Les moyens logiciels de mixage sont semblables à ceux décrits ci-dessus.
Parallèlement à l'étape 202, une étape 210 est activée pour produire en temps réel le cinquième flux vidéo contenant la combinaison obtenue en étape 206, de façon à substituer son affichage sur le premier écran à celui obtenu par l'étape 104. Le premier écran situé sur le premier site permet ainsi de montrer à un premier interlocuteur la représentation animée agissant devant l'écran tout en lui laissant discerner les éléments visuels avec une résolution comparable à celle du deuxième écran.
Lorsque l'interlocuteur 2 n'intervient plus sur l'écran 21, les étapes 202 et 210 sont désactivées au profit d'une réactivation des étapes 60 et 104. La désactivation des étapes 202 et 210, ne provoque pas à elle seule une désactivation de l'étape 204 qui, a priori, persiste.
On note sur la représentation Grafcet de la figure 3, une branche de ressource contenant l'étape 60, une première branche amont contenant les étapes 104, 106, 108, une première branche aval contenant les étapes 102, 110, une deuxième branche amont contenant les étapes 204, 206, 208, et une deuxième branche aval contenant les étapes 202,
210.
Une étape initiale 50 active simultanément la branche de ressource et les branches amont dès que toutes les conditions sont réunies pour un bon fonctionnement du système.
La transition 101 est validée lorsque l'interlocuteur 1, par exemple agit sur l'écran 11 ou par exemple encore se présente dans le champ de la première caméra. La transition 103 est validée lorsque l'interlocuteur 1, par exemple cesse d'agir sur l'écran 11 ou par exemple encore sort du champ de la première caméra.
Les étapes de la première branche aval sont activées lorsque la transition 101 est valide et que la ou les étapes de la deuxième branche amont et l'étape 60 de la branche de ressource sont actives. L'activation des étapes 102, 110 désactive les étapes 204, 206, 208 de la deuxième branche amont et l'étape 60 de la branche de ressource.
Une validation de la transition 103 alors que les étapes de la première branche aval sont actives, a pour effet de désactiver les étapes de la première branche aval et de réactiver les étapes 204, 206, 208 de la deuxième branche amont et l'étape 60 de la branche de ressource.
La transition 201 est validée lorsque l'interlocuteur 2, par exemple agit sur l'écran 21 ou par exemple encore se présente dans le champ de la deuxième caméra. La transition 203 est validée lorsque l'interlocuteur 2, par exemple cesse d'agir sur l'écran 21 ou par exemple encore sort du champ de la deuxième caméra.
Les étapes de la deuxième branche aval sont activées lorsque la transition 201 est valide et que la ou les étapes de la première branche amont et l'étape 60 de la branche de ressource sont actives. L'activation des étapes 202, 210 désactive au moins l'étape 104 de la première branche amont et l'étape 60 de la branche de ressource.
Une validation de la transition 203 alors que les étapes de la deuxième branche aval sont actives, a pour effet de désactiver les étapes de la deuxième branche aval et de réactiver au moins l'étape 104 de la première branche amont et l'étape 60 de la branche de ressource.
Le procédé qui vient d'être expliqué permet ainsi une grande réactivité dans les interactions entre les interlocuteurs de deux sites différents. Au vu de cet enseignement, on comprend qu'il est possible d'étendre ces interactions à plus de deux sites. Il suffit d'ajouter autant de branches amont et de branches aval qu'il existe de sites supplémentaires. La branche aval d'un site est alors activable lorsque la branche de ressource est active et que l'une des branches amont des autres sites est active.
Ainsi, tant que l'interlocuteur local détient le contrôle du flux de données, c'est le premier flux vidéo associé au flux de données qui est affiché sur l'écran local. Lorsqu'un interlocuteur distant prend le contrôle du flux de données, un autre flux vidéo est substitué sur l'écran local au premier flux vidéo de façon à faire apparaître sur l'écran local l'interlocuteur distant en vraie grandeur tel qu'il agit sur l'écran distant. L'invention permet d'éliminer l'effet fantôme produit par un déplacement, une création ou une destruction d'élément visuel à distance apparemment sans cause. Lorsque l'interlocuteur distant relâche le contrôle du flux de données, le premier flux vidéo est substitué sur l'écran local à l'autre flux vidéo de façon à faire disparaître sur l'écran local l'interlocuteur distant qui n'agit plus sur l'écran distant.
Comparativement à un autre flux vidéo qui reproduirait directement l'écran distant tel qu'il est capturé avec l'interlocuteur distant devant par une caméra distante, les avantages d'utiliser un autre flux vidéo qui combine le premier flux vidéo à un flux vidéo qui ne contient qu'une ou des images d'interlocuteurs placés devant l'écran, sont multiples.
Un premier avantage est de ne pas nécessiter d'utiliser une caméra de suffisamment haute résolution pour pouvoir lire sans problème les éléments visuels affichés sur l'écran distant et de pouvoir réduire ainsi le coût du système.
A supposer que l'évolution rapide des technologies permette d'obtenir à coût raisonnable une caméra à très haute résolution capable d'offrir une lecture aisée des éléments visuels tels que capturés par cette caméra, une reproduction brute du flux vidéo capturé présente encore d'autres inconvénients.
Un premier inconvénient résulte de l'effet perturbateur procuré par une apparition brutale de l'interlocuteur distant au moment de la substitution des flux vidéo. Alors que les mouvements de l'interlocuteur local devant l'écran de nature continue et progressive, favorisent leur anticipation par les interlocuteurs locaux, l'apparition inattendue de l'interlocuteur distant risque de cacher un élément visuel sur lequel un interlocuteur local fixe son attention.
Un premier avantage de combiner une représentation animée de l'interlocuteur distant au premier flux vidéo est de pouvoir rendre son apparition moins intrusive en l'estompant ou continuant à afficher les éléments visuels du flux de données par-dessus, de façon à moins perturber la concentration de l'interlocuteur sur tel ou tel élément visuel affiché.
Un deuxième inconvénient d'un autre flux vidéo brut tel que capturé par la caméra, résulte d'une nécessité de cadrage avec une très haute précision de la caméra sur les bords de l'écran de façon à éviter tout déplacement des éléments visuels affichés au moment de la substitution des flux vidéo. Des déplacements même légers et quasi imperceptibles peuvent créer un désagrément pénible, lorsqu'ils sont répétés à chaque changement de prise de contrôle par un interlocuteur. Un deuxième avantage de combiner une représentation animée de l'interlocuteur distant au premier flux vidéo est d'éviter tout décalage des éléments visuels du flux de donnée puisque leur position sur l'écran est en permanence celle donnée par le premier flux vidéo. Il suffit alors d'un cadrage de la caméra sur les bords de l'écran suffisamment soigné pour faire apparaître l'interlocuteur distant au bon endroit le plus précisément possible mais sans qu'un écart suffisamment faible ne soit perçu au moment de l'apparition de l'interlocuteur distant.
Un troisième inconvénient d'un autre flux vidéo brut tel que capturé par la caméra, résulte d'une différence d'angle de prise de vue de l'écran par la caméra par rapport à l'angle propre sous lequel chaque interlocuteur voit l'écran. La différence d'angle de vue à chaque substitution de flux vidéo, peut créer un inconfort d'autant plus fatigant qu'il est peu perceptible mais répétitif comme celui procuré par une houle légère en mer.
Un troisième avantage de combiner une représentation animée de l'interlocuteur distant au premier flux vidéo est de conserver l'angle sous lequel chaque interlocuteur voit les éléments visuels du flux de donnée puisque leur position sur l'écran est en permanence celle donnée par le premier flux vidéo.
Le système comprend aussi des moyens de capture sonore sur chaque site pour restituer sur les autres sites non seulement le discours oral de chaque interlocuteur mais aussi l'ambiance sonore. Il peut arriver que des bruits perturbateurs ou des différences d'accent dans l'expression d'un langage, nuisent à une compréhension parfaite sauf à soutenir une attention aiguë qui peut devenir rapidement fatigante.
Pour améliorer la compréhension orale mutuelle des interlocuteurs qui peuvent être de culture et/ou de langues différentes, le premier dispositif 36 comporte des moyens de reconnaissance de la parole de façon à transcrire en temps réel ce que dit le premier interlocuteur sous une forme facilitant la compréhension au deuxième interlocuteur 2 et à ajouter ladite forme dans le troisième flux vidéo 16. Cette forme est par exemple un bandeau de texte sous-titrant l'affichage sur le deuxième écran.

Claims

Revendications
1. Système de collaboration immersive pour permettre à un premier interlocuteur (1) physiquement présent sur un premier site (10) de dialoguer avec au moins un deuxième interlocuteur (2, 3) physiquement présent sur un deuxième site (20) distant du premier site, comprenant un premier écran (11) pour afficher devant le premier interlocuteur un premier flux vidéo (14) contenant des éléments visuels appartenant à un premier flux de données localement contrôlable par le premier interlocuteur (1), au moins un deuxième écran (21) situé sur ledit deuxième site et une ou plusieurs premières caméras (12, 13) pour générer un deuxième flux vidéo (15) contenant une image du premier interlocuteur (1) lorsqu'il est devant le premier écran (11), caractérisé en ce qu'il comprend un premier dispositif (36) affichant sur ledit deuxième écran (21) un troisième flux vidéo (16) combinant une représentation animée obtenue à partir de ladite image du premier interlocuteur (1), avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le premier interlocuteur (1) contrôle ledit premier flux de données, de manière à montrer au deuxième interlocuteur (2) ladite représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du premier écran (11).
2. Système selon la revendication 1, caractérisé en ce qu'au moins une première caméra (13) est placée du même côté du premier écran (11) que le premier interlocuteur (1).
3. Système selon la revendication 2, caractérisé en ce que ladite première caméra (13) est disposée à distance du premier écran (11), et tournée vers le premier écran.
4. Système selon l'une des revendications précédentes, caractérisé en ce que ladite première caméra (12, 13) est cadrée sur les bords du premier écran (11).
5. Système selon l'une des revendications précédentes, caractérisé en ce que ledit premier dispositif (36) comprend des moyens pour mettre la ou les premières caméras (13) en mode de surexposition de sorte que le premier interlocuteur se détache sur un écran blanc dans le deuxième flux vidéo (15).
6. Système selon l'une des revendications précédentes, caractérisé en ce que ledit premier dispositif (36) comprend des moyens pour mixer en temps réel le premier flux vidéo (14) et le deuxième flux vidéo (15) de façon à obtenir le troisième flux vidéo (16).
7. Système selon l'une des revendications précédentes, caractérisé en ce que ledit premier dispositif (36) obtient ladite représentation animée en reprenant simplement ladite image du premier interlocuteur ou en générant un avatar reprenant en temps réel les mouvements et les expressions détectées du premier interlocuteur (1).
8. Système selon l'une des revendications précédentes, caractérisé en ce que ledit premier dispositif (36) comporte des moyens de reconnaissance de la parole de façon à transcrire en temps réel ce que dit le premier interlocuteur sous une forme facilitant la compréhension au deuxième interlocuteur (2) et à ajouter ladite forme dans le troisième flux vidéo (16).
9. Système selon la revendication 8, caractérisé en ce que ladite forme est un bandeau de texte sous-titrant l'affichage sur le deuxième écran (21).
10. Système selon l'une des revendications précédentes, caractérisé en ce que le deuxième écran (21) permet d'afficher devant le deuxième interlocuteur (2) le premier flux vidéo (14) contenant les éléments visuels appartenant au premier flux de données lorsqu'il devient contrôlable par le deuxième interlocuteur (2), en ce qu'il comprend une ou plusieurs deuxièmes caméras (22) pour générer un quatrième flux vidéo contenant une image du deuxième interlocuteur lorsqu'il est devant le deuxième écran (21), et en ce qu'il comprend un deuxième dispositif affichant sur le premier écran (11) un cinquième flux vidéo combinant une représentation animée obtenue à partir de ladite image du deuxième interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données lorsque le deuxième interlocuteur (2) contrôle ledit premier flux de données, de manière à montrer au premier interlocuteur (1) ladite représentation animée agissant devant l'écran tout en lui faisant discerner les éléments visuels avec une résolution comparable à celle du deuxième écran (21).
11. Procédé de production de flux vidéo favorisant une collaboration immersive comprenant des étapes de :
- cession (102) de contrôle d'un flux de données à un premier interlocuteur face à un premier écran situé sur un premier site,
- affichage (104) sur le premier écran devant le premier interlocuteur d'un premier flux vidéo contenant des éléments visuels appartenant à un premier flux de données,
- génération (106) d'un deuxième flux vidéo contenant une image du premier interlocuteur lorsqu'il est devant le premier écran,
- combinaison (108) d'une représentation animée obtenue à partir de ladite image du premier interlocuteur, avec tout ou partie des éléments visuels appartenant au premier flux de données,
- production (110) en temps réel d'un troisième flux vidéo contenant ladite combinaison, en vue de son affichage sur un deuxième écran situé sur un deuxième site de manière à pouvoir montrer à un deuxième interlocuteur ladite représentation animée agissant devant l'écran tout en lui laissant discerner les éléments visuels avec une résolution comparable à celle du premier écran.
12. Programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon la revendication 11 lorsque ledit programme est exécuté sur un ordinateur.
PCT/FR2015/053574 2015-03-16 2015-12-17 Système et procédé de collaboration immersive Ceased WO2016146901A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1552123 2015-03-16
FR1552123A FR3033972B1 (fr) 2015-03-16 2015-03-16 Systeme et procede de collaboration immersive

Publications (1)

Publication Number Publication Date
WO2016146901A1 true WO2016146901A1 (fr) 2016-09-22

Family

ID=53040632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2015/053574 Ceased WO2016146901A1 (fr) 2015-03-16 2015-12-17 Système et procédé de collaboration immersive

Country Status (2)

Country Link
FR (1) FR3033972B1 (fr)
WO (1) WO2016146901A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3102255B1 (fr) * 2019-10-17 2022-01-21 Endel Système de communication pour la maintenance d’un site

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050398A1 (en) * 2011-08-31 2013-02-28 Cisco Technology, Inc. System and method for collaborator representation in a network environment
FR2993369A1 (fr) 2012-07-11 2014-01-17 Centre Nat Etd Spatiales Signal radio gnss pour une synchronisation amelioree
FR2998686A1 (fr) 2012-11-29 2014-05-30 Renault Sa Systeme de communication pour reproduire une interactivite de type physique entre au moins deux acteurs
WO2014082928A1 (fr) 2012-11-29 2014-06-05 Renault S.A.S. Système et procédé de communication reproduisant une interactivité de type physique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050398A1 (en) * 2011-08-31 2013-02-28 Cisco Technology, Inc. System and method for collaborator representation in a network environment
FR2993369A1 (fr) 2012-07-11 2014-01-17 Centre Nat Etd Spatiales Signal radio gnss pour une synchronisation amelioree
FR2998686A1 (fr) 2012-11-29 2014-05-30 Renault Sa Systeme de communication pour reproduire une interactivite de type physique entre au moins deux acteurs
WO2014082928A1 (fr) 2012-11-29 2014-06-05 Renault S.A.S. Système et procédé de communication reproduisant une interactivité de type physique

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"ASSISTIVE TECHNOLOGIES USING TOUCH, VOICE, AND MULTI-MODAL INPUT FOR USERS WITH DISABILITIES OR IMPAIRMENTS", IP.COM JOURNAL, IP.COM INC., WEST HENRIETTA, NY, US, 28 July 2014 (2014-07-28), XP013164124, ISSN: 1533-0001 *
RAJA GUMIENNY ET AL: "Tele-Board: Enabling efficient collaboration in digital design spaces", COMPUTER SUPPORTED COOPERATIVE WORK IN DESIGN (CSCWD), 2011 15TH INTERNATIONAL CONFERENCE ON, IEEE, 8 June 2011 (2011-06-08), pages 47 - 54, XP031902295, ISBN: 978-1-4577-0386-7, DOI: 10.1109/CSCWD.2011.5960054 *

Also Published As

Publication number Publication date
FR3033972A1 (fr) 2016-09-23
FR3033972B1 (fr) 2017-03-31

Similar Documents

Publication Publication Date Title
US12367651B2 (en) Cheating deterrence in VR education environments
US9866795B2 (en) System and method for interactive animations for enhanced and personalized video communications
AU2011258972B2 (en) Visual element, method and system
CN106664376A (zh) 增强现实设备和方法
WO2016205748A1 (fr) Acheminement d'informations d'attention dans une conférence virtuelle
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
EP4285596A1 (fr) Vidéo composite avec annotation en direct
FR2917931A1 (fr) Procede et systeme de mise en relation entre des personnes dans un systeme de telecommunications.
RU2719478C1 (ru) Система для записи и проведения мультимедийных презентаций
CN105794202A (zh) 用于视频和全息投影的深度键合成
JP6454883B1 (ja) コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム
CN114143494A (zh) 一种视频通信方法、电子设备和通信系统
CN106101576B (zh) 一种增强现实照片的拍摄方法、装置及移动终端
US20240320904A1 (en) Tactile Copresence
FR3033972A1 (fr) Systeme et procede de collaboration immersive
Fels et al. Iamascope: An interactive kaleidoscope
US11950021B2 (en) Presentation of video feed on one display to appear as though presented on another display
Nuriman et al. From real to virtual: Adaptation model of performance arts during Covid-19 period
WO2014199024A1 (fr) Interface et procede de communication, programme informatique et support d'enregistrement correspondant
CN112689994A (zh) 演示系统和演示方法
US20260012560A1 (en) Copresence System
WO2025209878A1 (fr) Procédé de traitement d'un flux audiovisuel, dispositif électronique et produit programme d'ordinateur correspondants
Kelly Captioning the Imagination: Creative Type and Access in Hip Hop Anansi and Beyond
Bremgartner Performing ‘Readings’: The Interplay of Theatre And Digital Comics In Tezuka
Zijderveld The transformation of the prayer wall

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15825614

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15825614

Country of ref document: EP

Kind code of ref document: A1