WO2022220707A1 - Virtual teleport room - Google Patents

Virtual teleport room Download PDF

Info

Publication number
WO2022220707A1
WO2022220707A1 PCT/RU2022/050123 RU2022050123W WO2022220707A1 WO 2022220707 A1 WO2022220707 A1 WO 2022220707A1 RU 2022050123 W RU2022050123 W RU 2022050123W WO 2022220707 A1 WO2022220707 A1 WO 2022220707A1
Authority
WO
WIPO (PCT)
Prior art keywords
room
screens
virtual
teleport
virtual teleport
Prior art date
Application number
PCT/RU2022/050123
Other languages
French (fr)
Russian (ru)
Inventor
Хальдун Саид Аль-Зубейди
Саина Геннадьевна АЛЬ-ЗУБЕЙДИ
Али Хальдун АЛЬ-ЗУБЕЙДИ
Ахмед Хальдун АЛЬ-ЗУБЕЙДИ
Амин Хальдун АЛЬ-ЗУБЕЙДИ
Original Assignee
Хальдун Саид Аль-Зубейди
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2021130913A external-priority patent/RU2021130913A/en
Application filed by Хальдун Саид Аль-Зубейди filed Critical Хальдун Саид Аль-Зубейди
Publication of WO2022220707A1 publication Critical patent/WO2022220707A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working

Definitions

  • the invention relates to the field of electronic engineering and can be used as a device for transmitting, receiving and reproducing information in the form of images and sound using multiple screens, video cameras, projectors, audio speakers and microphones.
  • VRD virtual retinal display
  • small lasers or LEDs are used as a radiation source, from which radiation enters a dynamic MEMS element.
  • the beam hits a volumetric holographic optical element located in the region of the spectacle lens, which allows light from the environment to pass unobstructed, providing normal vision for the user and redirecting the scanned light from the projector to the user's eye to display an image passing through the center of the pupil of the eye, and projected onto the posterior retina of the eye.
  • This solution has the following disadvantages. Low resolution generated image.
  • VRD technology requires mandatory adjustment of the system to the physical characteristics of the user for accurate positioning of the pupil of the eye and the projection system.
  • An invention is known in the form of personal computer hardware and stereo television systems, designed to reproduce three-dimensional video information through two screens and separate field of view glasses (RF patent N°2413388, 2009).
  • the device operates in two modes: in the first one, stereo pairs are played from a PC video adapter or a TV set of a stereo television system, in the second - ordinary mono frames from the same equipment.
  • the right and left frames of the stereopairs are reproduced synchronously on two adjacent right and left screens (two eyes - two screens), the images of which are perceived by the user as three-dimensional through glasses of a separate field of view.
  • a well-known invention involves the use of a binocular scanner mounted on a helmet worn on the user's head, which creates the illusion of entering the virtual space by forming a three-dimensional image on the retina (the closest analogue).
  • the disadvantage of the known inventions is the obligatory use of special glasses and systems, the use of which creates discomfort for the user and does not correspond to the natural movement of the head and body of a person when observing circular, panoramic images.
  • the disadvantages of the well-known inventions of similar devices can also be attributed to the fact that they have a limited scope, mainly associated only with the receipt by the user of the finished video image without the ability to control the search and transmission of the image.
  • the task to be solved by the claimed technical solution is to expand the arsenal of technical means in this area for receiving, transmitting and playing information (video, photo, sound information) in the form of a three-dimensional panoramic video image at a qualitatively new level with the effect of presence, teleportation between virtual teleport rooms, from a multi-lens video camera, several video cameras and external sources transmitted to a virtual teleport room.
  • information video, photo, sound information
  • the task to be solved is to create a virtual teleport room in the form of a structure of several screens, projectors, video cameras, microphones and stereo speakers interconnected by hardware and software, a set of programs for compressing, stitching, gluing and synchronizing the image, an interface to provide the effect of full presence, teleportation.
  • the virtual teleport room is designed to receive, transmit and play information (image, video, sound) transmitted from a similar virtual teleport room with the effect of real presence, and also to play information (image, video, sound) transmitted from a multi-lens video camera or from several video cameras or external sources, synchronously and simultaneously in a 360-degree panoramic view and a 360-by-180-degree surround view, including in real time through modern means of communication and telecommunications.
  • the technical result achieved by the implementation of the invention consists in creating comfortable conditions for the user for the natural movements of his head and body when observing circular, panoramic and three-dimensional images, as well as expanding the scope of application due to the reception and transmission of video and sound by the user with the ability to control the search, reception, transmission and playback of images live and in recording mode, to create the effect of teleportation.
  • the solution to this technical problem lies in the fact that the following innovations are introduced into the system:
  • a virtual teleport room consisting of a set of screens (displays, projection screens) connected by hardware and software, an interface in the form of a set of means for ensuring the interaction of systems with each other, located on all sides inside the virtual teleport room and outside the user's virtual teleport room, instead of head helmet;
  • Virtual teleport room can be square, rectangular, round and semicircular.
  • - communication in the virtual teleport room is carried out through a system of orbiting space satellites, fiber optic cables, high-speed Internet, high-speed communication channels;
  • the essential difference between the proposed technical solution and the previously known ones is also the presence of a set of several video cameras and screens with interactive control of their work, with the ability to transmit images from several video cameras located and directed at an object from different viewing angles, also from several lenses of a multi-lens video camera.
  • a significant difference is also the display of information on several screens synchronously and simultaneously with a 360-degree all-round view and a 360-by-180-degree surround view by organizing a programmed automatic transmission of an image from a panoramic video camera.
  • FIG. 1 shows a diagram of a virtual teleport room (outside view) 1, where screens 2 are visible located on external walls (surfaces, supports), equipped with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
  • Figure 2 shows a diagram of a virtual teleport room (view inside) 1, where screens 2 are visible on the inner walls (surfaces, supports) on four sides of the virtual teleport room, equipped with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
  • Figure 3 shows a diagram of the virtual teleport room 1, where curved screens 2 are visible on the inner and outer walls of the virtual teleport room 1, equipped outside and / or inside with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
  • Figure 4 shows a scheme for receiving and transmitting information between several virtual teleport rooms 1 using a satellite relay 7, high-speed Internet, wired and wireless communication channels 8.
  • Figure 5 shows a scheme for receiving and transmitting information between several virtual teleport rooms 1 by means of a multi-lens video camera (several video cameras, external devices) 9 via a satellite relay 7, high-speed Internet, wired and wireless communication channels 8.
  • a multi-lens video camera everal video cameras, external devices
  • the achieved technical result is achieved with the help of the proposed invention - a virtual teleport of a room for transmitting, receiving and displaying information on several screens synchronously and simultaneously with a circular view of 360 degrees and a volumetric view of 360 by 180 degrees, including the use of a virtual teleport of a room (outside view) in in the form of a square or rectangle 1 (Figure 1), with screens 2 located on four sides ( Figure 2), with installed on them video cameras 3 ( Figure 1), video projectors 4 (Figure 1), microphones 5 ( Figure 1) and dynamic acoustics 6 ( Figure 1).
  • a virtual teleport of a room for transmitting, receiving and displaying information on several screens synchronously and simultaneously with a circular view of 360 degrees and a volumetric view of 360 by 180 degrees, including the use of a virtual teleport of the room (view inside) 1 in the form of a square or rectangle 1 ( Figure 2), with screens 2 ( Figure 2) located on all walls (surfaces) of the virtual teleport room, with installed video cameras 3 ( Figure 2), video projectors 4 ( Figure 2), microphones 5 ( Figure .2) and dynamic acoustics 6 (Fig.2).
  • a virtual teleport room can have a round appearance when using curved screens 2 (Fig.Z) and with video cameras 3 (Fig.Z), video projectors 4 (Fig.Z), microphones 5 (Fig.Z) and dynamic acoustics 6 installed on all sides (Fig.Z).
  • video projectors 4 (Fig.1, Fig.2, Fig.3) with built-in TV tuners for broadcasting television channels and receiving video and audio information from television satellites.
  • Communication between several virtual teleport rooms 1 is carried out through the use of a satellite transponder 7 (Figure 4), high-speed wired and wireless communication channels, the Internet 8 ( Figure 4).
  • Virtual teleport room 1 can be used to display information in the form of image and sound from several lenses of a multi-lens video camera or from several video cameras or external devices 9 (Fig.5) on the screens of a virtual teleport room, located both inside and on outside to create a circular view of 360 degrees and a surround view of 360 by 180 degrees through a satellite transponder 7 and high-speed wired and wireless communication channels, the Internet 8 ( Figure 4).
  • Reception, transmission, playback of information from the transmitting virtual teleport room 1 ( Figure 4) to the receiving virtual teleport room 1 ( Figure 4) is carried out using multiplexed signals with the ability to compress, synchronize and stitch the video image.
  • they create the illusion of the recipient entering the virtual space by forming a three-dimensional image on the retina of his eye and provide the information recipient with the effect of full presence with a sound field and a 360-degree video review.
  • Modifications of the features of the proposed invention is the use of multiplexed signals in the form of QPSK, 8SPK with HDTV (1080i) and 3D - TV (DVB 3D - TV) with the ability to compress video signals MPEG - 2, MPEG - 4.
  • the technical result achieved is also achieved with the help of the proposed invention - a virtual teleport of a room containing interconnected communication systems between a transmitting virtual teleport room 1, located at the site of the initiating event, and receiving a virtual teleport room 1, located at the place of receiving information about the initial event.
  • the transmitting virtual teleport room 1 is made in the form of a platform with video cameras 3 installed on it, screens 2, video projectors 4, speakers 6 and microphones 5
  • the receiving virtual teleport room 1 is made in the form of a platform with video cameras 3 installed on it, screens 2, video projectors 4, speakers 6 and microphones 5 to create the effect of being at the scene of live events, and feedback lines are introduced into the systems interconnecting their communications.
  • the transmitting virtual teleport room 1 for transmitting information to the receiving virtual teleport room 1 is carried out by means of a satellite repeater 7, or through high-speed wireless and wired communication channels, an Internet provider 8.
  • the virtual teleport receiving room 1 can also receive information in the form of image and sound from several lenses of a multi-lens video camera or also from several video cameras or external devices 9 that shoot an object from different viewing angles.
  • the virtual teleport room 1 can additionally be equipped with a screen 2 located on the inner upper surface (ceiling) and a video projector 4 that displays information on the upper screen (ceiling) to create a more realistic entry into the volumetric space.

Abstract

The invention relates to the field of electronic technology and can be used as a device for transmitting and receiving information in the form of an image and accompanying sound using several screens, video cameras, video projectors, loudspeakers and microphones. The technical result achieved by means of the invention is that of providing a user with comfortable conditions for natural movements of the head and body when viewing wrap-around, panoramic and three-dimensional images. The technical realization of a virtual teleport room consists in the creation of a virtual teleport room for receiving and transmitting information so as to provide a sense of presence.

Description

Виртуальная телепорт комната. Virtual teleport room.
Изобретение относится к области электронной техники и может быть использовано, в качестве устройства для передачи, приема и воспроизведения информации в виде изображения и звукового сопровождения с использованием нескольких экранов, видеокамер, проекторов, звуковых динамиков и микрофонов. The invention relates to the field of electronic engineering and can be used as a device for transmitting, receiving and reproducing information in the form of images and sound using multiple screens, video cameras, projectors, audio speakers and microphones.
Известен способ и компактное устройство для отображения изображения на сетчатку глаза человека с использованием дисплея, встроенного в очки (патент US 9846307 В2, 2017). Система основана на технологии VRD (virtual retinal display), где в качестве источника излучения используются небольшие лазеры или светодиоды, от них излучение попадает на динамический элемент MEMS. После динамической системы луч попадает на объемный голографический оптический элемент, расположенный в области очковой линзы, что позволяет свету из окружающей среды проходить беспрепятственно, обеспечивая нормальное зрение для пользователя и перенаправлять отсканированный свет от проектора к глазу пользователя для отображения изображения, проходящего через центр зрачка глаза, и проецироваться на задней сетчатке глаза. Данное решение обладает следующими недостатками. Низкое разрешение генерируемого изображения. Также технология VRD требует обязательной настройки системы под физические особенности пользователя для точного позиционирования зрачка глаза и системы проецирования. There is a method and a compact device for displaying an image on the human retina using a display built into glasses (patent US 9846307 B2, 2017). The system is based on VRD (virtual retinal display) technology, where small lasers or LEDs are used as a radiation source, from which radiation enters a dynamic MEMS element. After the dynamic system, the beam hits a volumetric holographic optical element located in the region of the spectacle lens, which allows light from the environment to pass unobstructed, providing normal vision for the user and redirecting the scanned light from the projector to the user's eye to display an image passing through the center of the pupil of the eye, and projected onto the posterior retina of the eye. This solution has the following disadvantages. Low resolution generated image. Also, VRD technology requires mandatory adjustment of the system to the physical characteristics of the user for accurate positioning of the pupil of the eye and the projection system.
Известно изобретение в виде аппаратного средства персонального компьютера и систем стереотелевидения, предназначенное для воспроизведения объемной видеоинформации посредством двух экранов и очков раздельного поля зрения (патент РФ N°2413388, 2009). Устройство работает в двух режимах: в первом воспроизводятся стереопары с видеоадаптера ПК или телевизора системы стереотелевидения, во втором - обычные монокадры с этой же аппаратуры. Правый и левый кадры стереопар воспроизводятся синхронно на двух расположенных рядом правом и левом экранах (два глаза - два экрана), изображения которых воспринимаются пользователем объемными через очки раздельного поля зрения. An invention is known in the form of personal computer hardware and stereo television systems, designed to reproduce three-dimensional video information through two screens and separate field of view glasses (RF patent N°2413388, 2009). The device operates in two modes: in the first one, stereo pairs are played from a PC video adapter or a TV set of a stereo television system, in the second - ordinary mono frames from the same equipment. The right and left frames of the stereopairs are reproduced synchronously on two adjacent right and left screens (two eyes - two screens), the images of which are perceived by the user as three-dimensional through glasses of a separate field of view.
Известен также способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (патент РФ N° 2375840 С2 H04N9/00, 2006). Известное изобретение предполагает использование бинокулярного сканера, закрепляемого на шлеме, надеваемом на голову пользователя, у которого создается иллюзия вхождения в виртуальное пространство путем формирования трехмерного изображения на сетчатке глаза (ближайший аналог). Недостатком известных изобретений является обязательное использование специальных очков и систем применение которых создает дискомфорт пользователю и не соответствует естественному движению головы и тела человека при наблюдении круговых, панорамных изображений. К недостаткам известных изобретений аналогичных устройств можно отнести также то, что они имеют ограниченную сферу применения, связанную преимущественно только с приемом пользователем готового видеоизображения без возможности управления поиском и передачей изображения. There is also known a method for generating a three-dimensional color virtual video image and a device for creating a virtual reality effect for the user (RF patent N° 2375840 C2 H04N9/00, 2006). A well-known invention involves the use of a binocular scanner mounted on a helmet worn on the user's head, which creates the illusion of entering the virtual space by forming a three-dimensional image on the retina (the closest analogue). The disadvantage of the known inventions is the obligatory use of special glasses and systems, the use of which creates discomfort for the user and does not correspond to the natural movement of the head and body of a person when observing circular, panoramic images. The disadvantages of the well-known inventions of similar devices can also be attributed to the fact that they have a limited scope, mainly associated only with the receipt by the user of the finished video image without the ability to control the search and transmission of the image.
Задачей, на решение которой направлено заявленное техническое решение заключается в расширении арсенала технических средств в данной области для приема, передачи и воспроизведения информации (видео, фото, звуковая информация) в виде объемного панорамного видеоизображения на качественно новом уровне с эффектом присутствия, телепортации между виртуальными телепорт комнатами, от многообъективной видеокамеры, нескольких видеокамер и внешних источников, передаваемого в виртуальную телепорт комнату. The task to be solved by the claimed technical solution is to expand the arsenal of technical means in this area for receiving, transmitting and playing information (video, photo, sound information) in the form of a three-dimensional panoramic video image at a qualitatively new level with the effect of presence, teleportation between virtual teleport rooms, from a multi-lens video camera, several video cameras and external sources transmitted to a virtual teleport room.
Решаемой задачей является создание виртуальной телепорт комнаты в виде конструкции из нескольких экранов, проекторов, видеокамер, микрофонов и стереодинамиков, связанных между собой аппаратным и программным обеспечением, комплексом программ сжатия, сшивки, склейки и синхронизации изображения, интерфейсом для обеспечения эффекта полного присутствия, телепортации. Виртуальная телепорт комната предназначена для приема, передачи и воспроизведения информации (изображение, видео, звуковое сопровождение), передаваемой от аналогичной виртуальной телепорт комнаты с эффектом реального присутствия, и также воспроизведения информации (изображение, видео, звуковое сопровождение), передаваемой от многообъективной видеокамеры или от нескольких видеокамер или внешних источников, синхронно и одновременно в панорамном обзоре 360 градусов и объемном обзоре в 360 на 180 градусов, в том числе в режиме реального времени через современные средства связи и телекоммуникации. The task to be solved is to create a virtual teleport room in the form of a structure of several screens, projectors, video cameras, microphones and stereo speakers interconnected by hardware and software, a set of programs for compressing, stitching, gluing and synchronizing the image, an interface to provide the effect of full presence, teleportation. The virtual teleport room is designed to receive, transmit and play information (image, video, sound) transmitted from a similar virtual teleport room with the effect of real presence, and also to play information (image, video, sound) transmitted from a multi-lens video camera or from several video cameras or external sources, synchronously and simultaneously in a 360-degree panoramic view and a 360-by-180-degree surround view, including in real time through modern means of communication and telecommunications.
Достигаемый при реализации изобретения технический результат заключается в создании пользователю комфортных условий для естественных движений его головы и тела при наблюдении круговых, панорамных и объёмных изображений, а также расширение сферы применения, обусловленного приемом и передачей пользователем видеоизображения и звукового сопровождения с возможностью управления поиском, приемом, передачей и воспроизведением изображения в прямом эфире и в режиме записи, для создания эффекта телепортации. Решение указанной технической задачи заключается, в том, что в систему вносятся следующие инновации: The technical result achieved by the implementation of the invention consists in creating comfortable conditions for the user for the natural movements of his head and body when observing circular, panoramic and three-dimensional images, as well as expanding the scope of application due to the reception and transmission of video and sound by the user with the ability to control the search, reception, transmission and playback of images live and in recording mode, to create the effect of teleportation. The solution to this technical problem lies in the fact that the following innovations are introduced into the system:
- Виртуальная телепорт комната, состоящая из комплекта экранов (дисплеи, проекционные экраны), связанных аппаратным и программным обеспечением, интерфейсом в виде комплекса средств обеспечения взаимодействия систем друг с другом, расположенные со всех сторон внутри виртуальной телепорт комнаты и снаружи виртуальной телепорт комнаты пользователя, вместо головного шлема; - A virtual teleport room, consisting of a set of screens (displays, projection screens) connected by hardware and software, an interface in the form of a set of means for ensuring the interaction of systems with each other, located on all sides inside the virtual teleport room and outside the user's virtual teleport room, instead of head helmet;
- Виртуальная телепорт комната, оснащенная видеокамерами панорамного и объемного обзора, установленными по всему периметру виртуальной телепорт комнаты внутри и снаружи; - Virtual teleport room, equipped with panoramic and surround view video cameras installed around the entire perimeter of the virtual teleport room inside and out;
- Виртуальная телепорт комната, оснащенная видеопроекторами с встроенными ТВ- тюнерами, установленные по всему периметру виртуальной телепорт комнаты внутри и снаружи; - Virtual teleport room, equipped with video projectors with built-in TV tuners, installed around the entire perimeter of the virtual teleport room inside and out;
- Виртуальная телепорт комната с установленным экраном вместо потолка внутри виртуальной телепорт комнаты для отображения изображения сверху с видео проектора, направленного наверх. - Virtual teleport room with a screen installed instead of a ceiling inside the virtual teleport room to display the image from above with a video projector pointing upwards.
- Виртуальная телепорт комната может быть в квадратном, прямоугольном, круглом и полукруглом виде. - Virtual teleport room can be square, rectangular, round and semicircular.
- Виртуальная телепорт комната, оснащенная микрофонами и стереодинамиками, установленными по всему периметру виртуальной телепорт комнаты внутри и снаружи; - Virtual teleport room, equipped with microphones and stereo speakers installed around the perimeter of the virtual teleport room inside and out;
- связь в виртуальной телепорт комнате осуществляется посредством системы орбитальных космических спутников, оптико-волоконных кабелей, скоростного интернета, скоростных каналов связи; - communication in the virtual teleport room is carried out through a system of orbiting space satellites, fiber optic cables, high-speed Internet, high-speed communication channels;
Существенное отличие заявляемого технического решения от ранее известных заключается также в наличии комплекта нескольких видеокамер и экранов с интерактивным управлением их работой, с возможностью передачи изображения с нескольких видеокамер, расположенных и направленных на объект с разных углов обзора, также от нескольких объективов многообъективной видеокамеры. Существенным отличием также является отображение информации на несколько экранов синхронно и одновременно с круговым обзором в 360 градусов и объемном обзоре в 360 на 180 градусов путем организации программированной автоматической трансляции изображения от панорамной видеокамеры. The essential difference between the proposed technical solution and the previously known ones is also the presence of a set of several video cameras and screens with interactive control of their work, with the ability to transmit images from several video cameras located and directed at an object from different viewing angles, also from several lenses of a multi-lens video camera. A significant difference is also the display of information on several screens synchronously and simultaneously with a 360-degree all-round view and a 360-by-180-degree surround view by organizing a programmed automatic transmission of an image from a panoramic video camera.
Указанные отличия в совокупности позволяют принципиально улучшить качество изображения для получения эффекта полного присутствия (виртуальной телепортации) пользователя в месте нахождения передаваемого изображения. Таким образом, предложенная виртуальная телепорт технология вместе с новым принципом ее работы приводят к качественно новому техническому результату без использования очков виртуальной реальности по сравнению с известными аналогами. При описании изобретения нецелесообразно детально останавливаться на известных из опубликованных источников и имеющейся общеизвестной практики выполнения признаков изобретения, в частности, конкретного выполнения предлагаемой виртуальной телепорт комнаты, беспроводных и проводных каналов связи, видеокамер, экранов, проекторов, микрофонов. Детально целесообразно описать преимущественно отличительные от известных существенные особенности выполнения признаков предложенного изобретения. These differences together make it possible to fundamentally improve the image quality to obtain the effect of full presence (virtual teleportation) of the user at the location of the transmitted image. In this way, The proposed virtual teleport technology, together with the new principle of its operation, leads to a qualitatively new technical result without the use of virtual reality glasses in comparison with known analogues. When describing the invention, it is inappropriate to dwell in detail on the known from published sources and the existing well-known practice for implementing the features of the invention, in particular, the specific implementation of the proposed virtual teleport room, wireless and wired communication channels, video cameras, screens, projectors, microphones. It is expedient to describe in detail the essential features of the implementation of the features of the proposed invention that are predominantly different from the known ones.
Сущность изобретения целесообразно пояснить с помощью следующих схематически изображенных фигур чертежей. It is advisable to explain the essence of the invention with the help of the following schematically depicted figures of the drawings.
На фиг. 1 представлена схема виртуальной телепорт комнаты (вид снаружи) 1, где видны экраны 2 расположенные на внешних стенах (поверхностях, опорах), оснащённые видеокамерами 3, видеопроекторами 4, микрофонами 5, динамической акустикой 6. In FIG. 1 shows a diagram of a virtual teleport room (outside view) 1, where screens 2 are visible located on external walls (surfaces, supports), equipped with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
На фиг.2 представлена схема виртуальной телепорт комнаты (вид внутри) 1, где видны экраны 2 на внутренних стенах (поверхностях, опорах) по четырем сторонам виртуальной телепорт комнаты, оснащённые видеокамерами 3, видеопроекторами 4, микрофонами 5, динамической акустикой 6. Figure 2 shows a diagram of a virtual teleport room (view inside) 1, where screens 2 are visible on the inner walls (surfaces, supports) on four sides of the virtual teleport room, equipped with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
На фиг.З представлена схема виртуальной телепорт комнаты 1, где видны изогнутые экраны 2 на внутренних и внешних стенах виртуальной телепорт комнаты 1, оснащённые снаружи и/или внутри видеокамерами 3, видеопроекторами 4, микрофонами 5, динамической акустикой 6. Figure 3 shows a diagram of the virtual teleport room 1, where curved screens 2 are visible on the inner and outer walls of the virtual teleport room 1, equipped outside and / or inside with video cameras 3, video projectors 4, microphones 5, dynamic acoustics 6.
На фиг.4 представлена схема приема и передачи информации между несколькими виртуальными телепорт комнатами 1 посредством спутника-ретранслятора 7, скоростного интернета, проводных и беспроводных каналов связи 8. Figure 4 shows a scheme for receiving and transmitting information between several virtual teleport rooms 1 using a satellite relay 7, high-speed Internet, wired and wireless communication channels 8.
На фиг.5 представлена схема приема и передачи информации между несколькими виртуальными телепорт комнатами 1 посредством многообъективной видеокамеры (нескольких видеокамер, внешних устройств) 9 через спутник-ретранслятор 7, скоростной интернет, проводных и беспроводных каналов связи 8. Figure 5 shows a scheme for receiving and transmitting information between several virtual teleport rooms 1 by means of a multi-lens video camera (several video cameras, external devices) 9 via a satellite relay 7, high-speed Internet, wired and wireless communication channels 8.
Достигаемый технический результат обеспечивают с помощью предложенного изобретения - виртуальной телепорт комнаты для передачи, приема и отображения информации на несколько экранов синхронно и одновременно с круговым обзором в 360 градусов и объемном обзоре в 360 на 180 градусов, включающей использование виртуальной телепорт комнаты (вид снаружи) в виде квадрата или прямоугольника 1 (Фиг.1), с расположенными экранами 2 с четырёх сторон (Фиг.2), с установленными на них видеокамерами 3 (Фиг.1), видеопроекторами 4 (Фиг.1), микрофонами 5 (Фиг.1) и динамической акустикой 6 (Фиг.1). The achieved technical result is achieved with the help of the proposed invention - a virtual teleport of a room for transmitting, receiving and displaying information on several screens synchronously and simultaneously with a circular view of 360 degrees and a volumetric view of 360 by 180 degrees, including the use of a virtual teleport of a room (outside view) in in the form of a square or rectangle 1 (Figure 1), with screens 2 located on four sides (Figure 2), with installed on them video cameras 3 (Figure 1), video projectors 4 (Figure 1), microphones 5 (Figure 1) and dynamic acoustics 6 (Figure 1).
Также с помощью предложенного изобретения - виртуальной телепорт комнаты для передачи, приема и отображения информации на несколько экранов синхронно и одновременно с круговым обзором в 360 градусов и объемном обзоре в 360 на 180 градусов, включающей использование виртуальной телепорт комнаты (вид внутри) 1 в виде квадрата или прямоугольника 1 (Фиг.2), с расположенными экранами 2 (Фиг.2) по всем стенам (поверхностям) виртуальной телепорт комнаты, с установленными видеокамерами 3 (Фиг.2), видеопроекторами 4 (Фиг.2), микрофонами 5 (Фиг.2) и динамической акустикой 6 (Фиг.2). Also with the help of the proposed invention - a virtual teleport of a room for transmitting, receiving and displaying information on several screens synchronously and simultaneously with a circular view of 360 degrees and a volumetric view of 360 by 180 degrees, including the use of a virtual teleport of the room (view inside) 1 in the form of a square or rectangle 1 (Figure 2), with screens 2 (Figure 2) located on all walls (surfaces) of the virtual teleport room, with installed video cameras 3 (Figure 2), video projectors 4 (Figure 2), microphones 5 (Figure .2) and dynamic acoustics 6 (Fig.2).
Виртуальная телепорт комната может имеет круглый вид при использовании изогнутых экранов 2 (Фиг.З) и с установленными со всех сторон видеокамерами 3 (Фиг.З), видеопроекторами 4 (Фиг.З), микрофонами 5 (Фиг.З) и динамической акустикой 6 (Фиг.З). A virtual teleport room can have a round appearance when using curved screens 2 (Fig.Z) and with video cameras 3 (Fig.Z), video projectors 4 (Fig.Z), microphones 5 (Fig.Z) and dynamic acoustics 6 installed on all sides (Fig.Z).
В виртуальной телепорт комнате могут быть использованы видеопроекторы 4 (Фиг.1, Фиг.2, Фиг.З,) со встроенными ТВ-тюнерами для трансляции телевизионных каналов и приема видео и звуковой информации от телевизионных спутников. In a virtual teleport room can be used video projectors 4 (Fig.1, Fig.2, Fig.3) with built-in TV tuners for broadcasting television channels and receiving video and audio information from television satellites.
Связь между несколькими виртуальными телепорт комнатами 1 (Фиг.4) осуществляется посредством использования спутникового ретранслятора 7, (Фиг.4), скоростных проводных и беспроводных каналов связи, интернета 8 (Фиг.4). Communication between several virtual teleport rooms 1 (Figure 4) is carried out through the use of a satellite transponder 7 (Figure 4), high-speed wired and wireless communication channels, the Internet 8 (Figure 4).
Виртуальная телепорт комната 1 (Фиг.5) может использоваться для отображения информации в виде изображения и звукового сопровождения от нескольких объективов многообъективной видеокамеры или от нескольких видеокамер или внешних устройств 9 (Фиг.5) на экраны виртуальной телепорт комнаты, расположенных как внутри так и на снаружи для создания кругового обзора в 360 градусов и объемного обзора в 360 на 180 градусов посредством спутникового ретранслятора 7 и скоростных проводных и беспроводных каналов связи, интернета 8 (Фиг.4). Virtual teleport room 1 (Fig.5) can be used to display information in the form of image and sound from several lenses of a multi-lens video camera or from several video cameras or external devices 9 (Fig.5) on the screens of a virtual teleport room, located both inside and on outside to create a circular view of 360 degrees and a surround view of 360 by 180 degrees through a satellite transponder 7 and high-speed wired and wireless communication channels, the Internet 8 (Figure 4).
Прием, передачу, воспроизведение информации от передающей виртуальной телепорт комнаты 1 (Фиг.4) к принимающей виртуальной телепорт комнате 1 (Фиг.4) осуществляют с помощью мультиплексированных сигналов с возможностью сжатия, синхронизации и сшивки видеоизображения. В итоге создают иллюзию вхождения получателя в виртуальное пространство путем формирования трехмерного изображения на сетчатке его глаза и обеспечивают получателю информации при этом эффект полного присутствия со звуковым полем и видеообзором в 360 градусов. Модификациями признаков предложенного изобретения является использование мультиплексированных сигналов в виде QPSK, 8SPK с HDTV (1080i) и 3D - TV (DVB 3D - TV) с возможностью сжатия сигналов видео MPEG - 2, MPEG - 4. Reception, transmission, playback of information from the transmitting virtual teleport room 1 (Figure 4) to the receiving virtual teleport room 1 (Figure 4) is carried out using multiplexed signals with the ability to compress, synchronize and stitch the video image. As a result, they create the illusion of the recipient entering the virtual space by forming a three-dimensional image on the retina of his eye and provide the information recipient with the effect of full presence with a sound field and a 360-degree video review. Modifications of the features of the proposed invention is the use of multiplexed signals in the form of QPSK, 8SPK with HDTV (1080i) and 3D - TV (DVB 3D - TV) with the ability to compress video signals MPEG - 2, MPEG - 4.
Достигаемый технический результат обеспечивают также с помощью предложенного изобретения - виртуальной телепорт комнаты, содержащей взаимосвязанные системами коммуникаций между собой передающую виртуальную телепорт комнату 1, расположенную на месте исходного события, и принимающую виртуальную телепорт комнату 1, расположенную в месте приема информации об исходном событии. При этом передающая виртуальная телепорт комната 1 выполнена в виде платформы с установленными на ней видеокамерами 3, экранами 2, видеопроекторами 4, динамиками 6 и микрофонами 5, принимающая виртуальная телепорт комната 1 выполнена в виде платформы с установленными на ней видеокамерами 3, экранами 2, видеопроекторами 4, динамиками 6 и микрофонами 5 для создания эффекта присутствия в месте событий в прямом эфире, а в системы, взаимосвязывающих их коммуникаций, введены линии обратной связи. The technical result achieved is also achieved with the help of the proposed invention - a virtual teleport of a room containing interconnected communication systems between a transmitting virtual teleport room 1, located at the site of the initiating event, and receiving a virtual teleport room 1, located at the place of receiving information about the initial event. At the same time, the transmitting virtual teleport room 1 is made in the form of a platform with video cameras 3 installed on it, screens 2, video projectors 4, speakers 6 and microphones 5, the receiving virtual teleport room 1 is made in the form of a platform with video cameras 3 installed on it, screens 2, video projectors 4, speakers 6 and microphones 5 to create the effect of being at the scene of live events, and feedback lines are introduced into the systems interconnecting their communications.
Достигаемый технический результат изобретения обеспечивают также с помощью модификаций признаков предложенного устройства, в котором передающая виртуальная телепорт комната 1 для передачи информации на принимающую виртуальную телепорт комнату 1 осуществляется посредством спутника ретранслятора 7, либо через скоростные беспроводные и проводные каналы связи, интернет - провайдера 8. The achieved technical result of the invention is also provided by modifications of the features of the proposed device, in which the transmitting virtual teleport room 1 for transmitting information to the receiving virtual teleport room 1 is carried out by means of a satellite repeater 7, or through high-speed wireless and wired communication channels, an Internet provider 8.
Принимающая виртуальная телепорт комната 1 может также получать информацию в виде изображения и звукового сопровождения от нескольких объективов многообъективной видеокамеры или также от нескольких видеокамер, или внешних устройств 9, снимающих объект с разных углов обзора. Виртуальная телепорт комната 1 дополнительно может быть оснащена экраном 2, расположенном на внутренней верхней поверхности (потолок) и видеопроектором 4, отображающем информацию на верхний экран (потолок) для создания более реалистичного вхождения в объемное пространство. The virtual teleport receiving room 1 can also receive information in the form of image and sound from several lenses of a multi-lens video camera or also from several video cameras or external devices 9 that shoot an object from different viewing angles. The virtual teleport room 1 can additionally be equipped with a screen 2 located on the inner upper surface (ceiling) and a video projector 4 that displays information on the upper screen (ceiling) to create a more realistic entry into the volumetric space.
Вышеизложенного достаточно для понимания сущности достижения технического результата с помощью заявленных признаков. Также вышеизложенным наглядно показано, что достижение указанного технического результата может быть обеспечено только неразрывно взаимосвязанной совокупностью всех существенных признаков заявленных объектов, отраженных в формуле изобретения. The foregoing is sufficient to understand the essence of achieving a technical result with the help of the claimed features. Also, the foregoing clearly shows that the achievement of the specified technical result can only be ensured by an inextricably interconnected set of all essential features of the claimed objects reflected in the claims.
Для практического создания предлагаемого изобретения - виртуальной телепорт комнаты, применяют известные элементы, узлы и программное обеспечение, соответствующие современному уровню науки и техники, в частности, в области трехмерных изображений и стереоскопического звучания, и возможные для производства. Орбитальные космические спутники и оптико-волоконные кабельные системы, предлагаемые для соединения приемного и передающего портов, созданы и успешно действуют, охватывая весь мир. Поэтому данное техническое решение является пригодным для промышленного применения и имеет высокий коммерческий потенциал. В известных источниках патентной и иной научно-технической информации не выявлено виртуальной телепорт комнаты с указанной в предложении всей совокупностью существенных признаков, поэтому данное техническое решение соответствует критерию «новизна». For the practical creation of the proposed invention - a virtual teleport room, known elements, nodes and software are used that correspond to the current level of science and technology, in particular, in the field three-dimensional images and stereoscopic sound, and possible for production. Orbital space satellites and fiber-optic cable systems, proposed to connect the receiving and transmitting ports, have been created and are successfully operating, covering the whole world. Therefore, this technical solution is suitable for industrial use and has a high commercial potential. Known sources of patent and other scientific and technical information did not reveal a virtual teleport room with the entire set of essential features indicated in the proposal, so this technical solution meets the "novelty" criterion.
Сравнительный анализ предложенного технического решения с известными аналогичными изобретениями, показал, что наличие набора экранов, видеокамер, видеопроекторов, микрофонов и динамиков с интерактивным управлением их работой пользователем передаваемой информации, приводит к появлению новых технических качеств, в частности, таких: A comparative analysis of the proposed technical solution with well-known similar inventions showed that the presence of a set of screens, video cameras, video projectors, microphones and speakers with interactive control of their operation by the user of the transmitted information leads to the emergence of new technical qualities, in particular, such:
- усовершенствование конструкции, достигаемое благодаря использованию вместо одного или нескольких экранов, расположенных в одной плоскости, целого набора экранов, установленных в виде квадрата, прямоугольника, круга, управляемых пользователем интерактивно через периферийное устройство; - design improvement achieved by using instead of one or more screens located in the same plane, a whole set of screens installed in the form of a square, rectangle, circle, interactively controlled by the user through a peripheral device;
- усовершенствование конструкции, достигаемое благодаря использованию вместо одной видеокамеры целого набора видеокамер, управляемых пользователем интерактивно через периферийное устройство, способное распознавать его команды; - design improvement achieved through the use of a whole set of video cameras instead of one video camera, controlled by the user interactively through a peripheral device capable of recognizing his commands;
- расширение функциональных возможностей, достигаемое благодаря возможности изменения направления съемки или отображения информации путем программированной автоматической синхронной трансляции на экраны изображения от всех видеокамер одновременно; - expansion of functionality, achieved due to the possibility of changing the direction of shooting or displaying information by programmed automatic synchronous broadcasting of images from all video cameras to the screens at the same time;
- создание объемного изображения со стереозвуком, что достигается путем одновременного приема и обработки сигналов от всех видеокамер на несколько экранов, и означает переход к новому поколению устройств передачи и приема информационных сигналов. - creating a three-dimensional image with stereo sound, which is achieved by simultaneously receiving and processing signals from all video cameras on several screens, and means a transition to a new generation of devices for transmitting and receiving information signals.
На основе предлагаемой виртуальной телепорт комнаты возможны многочисленные модификации, в частности, по размерам и форме экрана, количеству экранов, вида экрана (проекционный, LCD, LED и гибкий), количеству видеокамер, их качеству и виду, их пространственной ориентации, количество видеопроекторов и их модификации. Варианты модификации зависят от особенностей сферы использования предлагаемой технологии: при проведении видеоконференций, в образовании, здравоохранении, телевидении, туризме, рекламы, индустрии развлечений, военном деле, однако все модификации находятся в рамках предложенного технического решения. Based on the proposed virtual teleport room, numerous modifications are possible, in particular, in terms of the size and shape of the screen, the number of screens, the type of screen (projection, LCD, LED and flexible), the number of video cameras, their quality and type, their spatial orientation, the number of video projectors and their modifications. Modification options depend on the specifics of the scope of use of the proposed technology: when conducting videoconferencing, in education, healthcare, television, tourism, advertising, entertainment industry, military affairs, however, all modifications are within the scope of the proposed technical solution.

Claims

Формула изобретения Claim
Е Виртуальная телепорт комната предназначено в качестве устройства для передачи, приема информации в виде изображения, отличающееся тем, что содержит конструкции элементных систем из нескольких экранов и нескольких видеокамер снимающих объект с разных углов обзора, связанных между собой комплексом программ, интерфейсом и системы каналов связи, предназначенных для передачи информации с месте исходного события на экранов принимающей виртуальной телепорт комнате, расположенная в месте приема информации об исходном событии с разных углов обзора. E Virtual teleport room is intended as a device for transmitting, receiving information in the form of an image, characterized in that it contains the construction of elemental systems of several screens and several video cameras filming an object from different viewing angles, interconnected by a set of programs, an interface and a system of communication channels, designed to transmit information from the place of the initial event to the screens of the receiving virtual teleport room, located at the place where information about the initial event was received from different viewing angles.
2. Устройство по и. 1, отличающееся тем, что содержит набор нескольких видеокамер с разными углами обзора, осуществляющие, передачу изображения и звукового сопровождения синхронно и одновременно, расположенных внутри и снаружи виртуальной телепорт комнаты. 2. Device for and. 1, characterized in that it contains a set of several video cameras with different viewing angles, which transmit images and sound synchronously and simultaneously, located inside and outside the virtual teleport room.
3. Устройство по и. 1, отличающееся тем, что осуществляет прием, воспроизведение, сохранение изображения от нескольких видеокамер, снимающих объект с разных углов обзора на экранах принимающей виртуальной телепорт комнаты. 3. Device for and. 1, characterized in that it receives, reproduces, saves images from several video cameras filming an object from different viewing angles on the screens of the room receiving the virtual teleport.
4. Устройство по и. 1, отличающееся тем, что включает набор нескольких прямых экранов и изогнутых экранов, расположенных в виде конструкции квадрата или прямоугольника или круга или полукруга. 4. Device for and. 1, characterized in that it includes a set of several straight screens and curved screens arranged in the form of a square or rectangle or circle or semicircle design.
5. Устройство по и. 1, в котором экраны могут быть проекционные, LCD, LED и гибкие. 5. Device for and. 1, in which screens can be projection, LCD, LED and flexible.
6. Устройство по и. 1, отличающееся тем, что содержит набор нескольких видеопроекторов, распложённых внутри и снаружи виртуальной телепорт комнаты. 6. Device for and. 1, which differs in that it contains a set of several video projectors located inside and outside the virtual teleport room.
7. Устройство по и. 1, отличающееся тем, что содержит экраны и видеопроекторы, расположенные на потолке внутри виртуальной телепорт комнаты для воспроизведения изображения сверху. 7. Device for and. 1, characterized in that it contains screens and video projectors located on the ceiling inside the virtual teleport room to reproduce the image from above.
8. Устройство по п. 1, отличающееся тем, что системы коммуникаций для приема и передачи информации выполнены в виде интернет связи, проводных и беспроводных видов связи и телевизионных мультиплексированных сигналов в виде QPSK, 8SPK с HDTV (1080i) и 3D - TV (DVB 3D - TV) с возможностью сжатия сигналов видео MPEG - 2, MPEG - 4. 8. The device according to claim 1, characterized in that the communication systems for receiving and transmitting information are made in the form of Internet communications, wired and wireless modes of communication and television multiplexed signals in the form of QPSK, 8SPK with HDTV (1080i) and 3D - TV (DVB 3D - TV) with the ability to compress video signals MPEG - 2, MPEG - 4.
9. Устройство по и. 1, в котором имеется несколько интерфейсов для внешних устройств, микрофон и динамик звука. 9. Device for and. 1, which has multiple interfaces for external devices, a microphone and a sound speaker.
PCT/RU2022/050123 2021-04-12 2022-04-10 Virtual teleport room WO2022220707A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2021130913 2021-04-12
RU2021130913A RU2021130913A (en) 2021-04-12 Virtual teleport room

Publications (1)

Publication Number Publication Date
WO2022220707A1 true WO2022220707A1 (en) 2022-10-20

Family

ID=83640910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2022/050123 WO2022220707A1 (en) 2021-04-12 2022-04-10 Virtual teleport room

Country Status (1)

Country Link
WO (1) WO2022220707A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US20110157297A1 (en) * 2008-07-14 2011-06-30 Ian Christopher O'connell Live teleporting system and apparatus
RU115232U1 (en) * 2011-10-04 2012-04-27 Виталий Валерьевич Тихонов SIMULATOR OF VIRTUAL REALITY
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
WO2019209588A1 (en) * 2018-04-27 2019-10-31 Pcms Holdings, Inc. 360 degree multi-viewport system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US20110157297A1 (en) * 2008-07-14 2011-06-30 Ian Christopher O'connell Live teleporting system and apparatus
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
RU115232U1 (en) * 2011-10-04 2012-04-27 Виталий Валерьевич Тихонов SIMULATOR OF VIRTUAL REALITY
WO2019209588A1 (en) * 2018-04-27 2019-10-31 Pcms Holdings, Inc. 360 degree multi-viewport system

Similar Documents

Publication Publication Date Title
RU2518218C2 (en) Telepresence system, telepresence method and video collection device
RU2665872C2 (en) Stereo image viewing
US4853764A (en) Method and apparatus for screenless panoramic stereo TV system
KR101882422B1 (en) Live teleporting system and apparatus
CN210021183U (en) Immersive interactive panoramic holographic theater and performance system
US20070182812A1 (en) Panoramic image-based virtual reality/telepresence audio-visual system and method
US20020063780A1 (en) Teleconferencing system
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
US20170127035A1 (en) Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method
JPH09508765A (en) Synthetic stereoscopic image processing system and method
JP2017536565A (en) Wide-field camera device for stereo vision
WO2015085406A1 (en) Systems and methods for producing panoramic and stereoscopic videos
WO2006056797A1 (en) Surround vision
CN204681518U (en) A kind of panorama image information collecting device
CN108989784A (en) Image display method, device, equipment and the storage medium of virtual reality device
JP6538003B2 (en) Actuator device
WO2020129115A1 (en) Information processing system, information processing method and computer program
EP0592652A1 (en) Improved integral virtual reality and/or image recording, projection-visualization-listening system
WO2019017812A1 (en) Stereo display device (embodiments)
WO2022220707A1 (en) Virtual teleport room
McKay et al. Membrane-mirror-based autostereoscopic display for tele-operation and teleprescence applications
JP2002142233A (en) Picture supply device and picture supply method for supplying stereoscopic picture, reception device and reception method and system and method for supplying stereoscopic picture
KR20200115631A (en) Multi-viewing virtual reality user interface
RU2785201C2 (en) Devices for receiving and transmitting information based on the vehicle
WO2017092369A1 (en) Head-mounted device, three-dimensional video call system and three-dimensional video call implementation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788533

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22788533

Country of ref document: EP

Kind code of ref document: A1