RU2518218C2

RU2518218C2 - Система дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных

Info

Publication number: RU2518218C2
Application number: RU2011130860/07A
Authority: RU
Inventors: Юань Лю; Цзин Ван; Гуаняо ЧЖАО
Original assignee: Хуавэй Дивайс Ко., Лтд.
Priority date: 2009-05-12
Filing date: 2009-05-12
Publication date: 2014-06-10
Also published as: WO2010130084A1; CN102084650B; US8836750B2; CN102084650A; US20110096136A1; BRPI0924076A2; RU2011130860A; US8692861B2; EP2290969A4; BRPI0924076B1; US20130100240A1; EP2290969A1

Abstract

Изобретение относится к видеоконференциям и, в частности, к системе дистанционного присутствия. Техническим результатом является улучшение системы дистанционного панорамного присутствия в части представления глубины, отображения без стыков и контакта глаз. Указанный технический результат достигается тем, что система дистанционного присутствия включает в себя: устройство сбора видеоданных, устройство отображения видеоизображений, устройство сбора звука, проигрыватель звуков и устройство передачи аудио-видеоданных. Устройство передачи аудио-видеоданных передает видеоданные, собранные устройством сбора видеоданных на локальном конце, и звуки, собранные устройством сбора звука на локальном конце, в удаленный конец через сеть; устройство отображения видеоизображений и проигрыватель звуков на удаленном конце воспроизводят изображения и звуки, соответственно; и устройство сбора видеоданных представляет собой панорамную камеру. 2 н. и 19 з.п. ф-лы, 23 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к технологиям видеоконференции и, в частности, к системе дистанционного присутствия, способу дистанционного присутствия и к устройству сбора видеоданных.

Уровень техники

Дистанционное присутствие представляет собой систему видеоконференции для воплощения среды виртуальной конференции. Среда виртуальной конференции предназначена для: отражения факторов персонализации участников при достаточной имитации реального впечатления участников в максимально возможной степени, значительного улучшения приемлемости для конечных пользователей и улучшения степени использования оборудования, возврата инвестиций и удовлетворения пользователя. По сравнению с традиционной системой видеоконференции идеальная система дистанционного присутствия обеспечивает больше преимуществ: изображения, которые имитируют размер реального человека, плавное движение, точные жесты, видеоизображение, освещение и звук на студийном уровне, контакт глаз и обмен информацией, например, посредством контакта глаз среди большой группы пользователей, обеспечивающая полный эффект присутствия среда конференции, которая обеспечивает для участников возникновение ощущения того, что они все находятся в одном и том же месте проведения конференции, согласованность различных мест проведения конференций и скрытые камеры, которые в меньшей степени влияют на пользователей.

В процессе воплощения настоящей заявки автор изобретения определил, что существующая система дистанционного присутствия имеет недостаток, состоящий в плохом панорамном эффекте присутствия. В существующих системах дистанционного присутствия обычно используют множество камер и множество мониторов с большими экранами для сбора и отображения изображений. Каждая камера или монитор собирают или отображают одного человека или больше, расположенного локально или в удаленном месте, например система дистанционного присутствия, запущенная компанией Cisco и HP. В существующей системе дистанционного присутствия множество камер используются для съемки, и существует несоответствие между изображениями, снятыми разными камерами. При этом невозможно объединить множество изображений в панорамное изображение путем соответствующего размещения камер. При этом необходимо использовать рамку монитора для того, чтобы скрыть дефекты изображений при объединении перспективы камер. Поэтому существующая система дистанционного присутствия не позволяет предоставить приятное панорамное ощущение для участников. Когда участники движутся в области рядом с рамкой монитора, влияние на изображение становится еще более неприемлемым.

Кроме того, существующие продукты дистанционного присутствия находятся на предварительной стадии разработки и все еще требуют улучшения в следующих аспектах:

1. Присутствие глубины

Большинство систем дистанционного присутствия все еще представляют двумерные (2D) изображения. Таким образом, пользователи видят только плоские изображения и не способны воспринимать информацию глубины сцены конференции противоположной стороны.

2. Отображение без стыков

В существующих системах дистанционного присутствия обычно используется множество плоских телевизионных устройств большого размера или жидкокристаллические дисплеи (LCD, ЖКД) или панели плазменного дисплея (PDP, ППД) для представления изображений комбинированным способом. В смежной области дисплеев между двумя плоскими телевизионными устройствами часть изображений, представляемых таким способом, загораживается рамкой телевизора, что не позволяет обеспечить панорамное восприятие без стыков для участников.

3. Контакт глаз/восприятие пристального взгляда

Контакт глаз является важным нелингвальным способом связи. Контакт глаз приводит к физиологическому изменению частоты биений сердца и кровяного давления и улучшает активность мозга. Восприятие пристального взгляда обеспечивает множество оснований для связи, таких как обратная связь, режим диалога и выражение эмоции, и представляет собой ключевое средство восприятия мыслей противоположной стороны. Традиционная система видеоконференции и существующая система дистанционного присутствия не позволяют обеспечить возможность контакта глаз между пользователями из-за несоответствия: инстинктивно пользователь смотрит на противоположную сторону экрана, а не на камеру, но камера обычно не находится в центре экрана. Следовательно, существует несоответствие между изображением, снятым камерой, и изображением, к которому обращен пользователь, и хороший контакт глаз невозможен.

Сущность изобретения

Варианты осуществления настоящего изобретения обеспечивают улучшенную систему дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных для представления хорошего панорамного эффекта и улучшения присутствия глубины, отображения без стыков и контакта глаз в системе дистанционного присутствия.

Техническое решение в соответствии с настоящим изобретением включает в себя следующее.

Система дистанционного присутствия включает в себя устройство сбора видеоданных, выполненное с возможностью сбора изображений на локальном конце, устройство сбора звука, выполненное с возможностью сбора звука на локальном конце, устройство отображения видеоизображения, выполненное с возможностью отображения видеоизображения из удаленного конца, аудиопроигрыватель, выполненный с возможностью воспроизведения звуков из удаленного конца, и устройство передачи аудио-видеоданных, выполненное с возможностью передачи изображений, собранных устройством сбора видеоданных на локальном конце, и звуков, собранных устройством сбора звука на локальном конце, в удаленный конец через сеть, в котором изображения и звуки отображают и воспроизводят соответственно устройством отображения видеоизображения и аудиопроигрывателем на удаленном конце;

в котором устройство сбора видеоданных представляет собой панорамную камеру, и система дополнительно содержит модуль формирования мозаичного изображения, выполненный с возможностью объединения изображений с низким разрешением, снятых панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением.

Способ дистанционного присутствия включает в себя этапы, на которых:

получают локальные панорамные изображения и звуки, снимают изображения через панорамную камеру из разных перспектив и объединяют изображения с низким разрешением, снятые панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением через модуль формирования мозаичного изображения; и

передают локальные панорамные изображения и звуки в удаленный конец через сеть для отображения и воспроизведения.

В системе дистанционного присутствия предусмотрено устройство сбора видеоданных. Система дистанционного присутствия дополнительно включает в себя устройство отображения видеоизображения, устройство сбора звука, аудиопроигрыватель и устройство передачи аудио-видеоданных. Устройство передачи аудио-видеоданных передает изображения, собранные устройством сбора видеоданных, и звуки, собранные устройством сбора звука в удаленный конец через сеть, и устройство отображения видеоизображения и аудиопроигрыватель на удаленном конце отображает и воспроизводит изображения и звуки. Устройство сбора видеоданных представляет собой панорамную камеру. Модуль формирования мозаичного изображения объединяет изображения с невысоким разрешением, снятые панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением.

Можно видеть из приведенного выше описания, варианты осуществления настоящего изобретения представляют собой обновление существующей системы дистанционного присутствия. Обычная камера может быть заменена панорамной камерой для съемки панорамы локального помещения, в котором проводят конференцию, и предоставления панорамы конференции участникам, расположенным с другой стороны. Таким образом, система дистанционного присутствия обеспечивает хороший эффект панорамного присутствия и совместима с существующей системой дистанционного присутствия.

Предпочтительно, используют обычный проекционный экран или голографический прозрачный проекционный экран для представления изображений без стыков интегрированным способом, воплощая, таким образом, присутствие без стыков и преодолевая дефекты, связанные с использованием комбинаций множества плоских телевизионных экранов.

Предпочтительно, используют голографический прозрачный проекционный экран и полуотражающее, полупрозрачное зеркало для обеспечения присутствия глубины для участников.

Предпочтительно, в результате управления, выполняемого модулем синхронизации, на панорамную камеру не оказывает влияние проекция изображения проектором при съемке локальных изображений, в результате чего исключаются несоответствия, связанные с невозможностью размещения камеры на линии обзора пользователя, и обеспечивается для расположенных с другой стороны участников возможность наслаждения контактом глаз. Кроме того, можно использовать полуотражающее, полупрозрачное зеркало или компонент оптической проводимости или линейный поляризатор для обеспечения возможности контакта глаз.

Предпочтительно, разворачивают специальный темный фон, используют проектор фонового изображения или монитор фонового изображения и темный фон разворачивают позади пользователя. Таким образом, изображение пользователя отделяют от фонового изображения и генерируют эффект присутствия глубины.

Краткое описание чертежей

На фиг.1 показан первый вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.2 показана первая схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.3 показана схема голографической проекции системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.4 показана схема панорамной камеры в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.5 показана схема панорамной камеры с множественным отражением в системе дистанционного присутствия, в первом варианте осуществления настоящего изобретения;

на фиг.6 показана схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.7 показан второй вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.8 показана вторая схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.9 показан третий вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.10 показана третья схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.11 показан вид в плане компоновки помещения для конференции в системе дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.12 показана первая схема системы дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.13 показана вторая схема системы дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.14 показан вид в плане компоновки помещения для конференции в системе дистанционного присутствия в третьем варианте осуществления настоящего изобретения;

на фиг.15 показана схема системы дистанционного присутствия в третьем варианте осуществления настоящего изобретения;

на фиг.16 показана схема системы дистанционного присутствия в четвертом варианте осуществления настоящего изобретения;

на фиг.17 показана схема системы дистанционного присутствия в пятом варианте осуществления настоящего изобретения;

на фиг.18 показана схема системы дистанционного присутствия в шестом варианте осуществления настоящего изобретения;

на фиг.19 показана первая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.20 показана вторая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.21 показана третья схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.22 показана четвертая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения; и

на фиг.23 показана блок-схема последовательности операций способа дистанционного присутствия в варианте осуществления настоящего изобретения.

Подробное описание изобретения

Для того чтобы сделать техническое решение, цели и преимущества настоящего изобретения более ясными, ниже более подробно описаны варианты осуществления настоящего изобретения со ссылкой на приложенные чертежи и примерные варианты осуществления.

Вначале ниже будет описан первый вариант осуществления настоящего изобретения.

На фиг.1 показан первый вид сверху компоновки помещения для конференций в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения. На фиг.1 передняя стенка 13 и задняя стенка 14 в данном месте выполнены дугообразными или плоскими и стол 2 для конференции установлен посередине. Массив 3 микрофонов установлен на столе 2 для конференции. Для того чтобы более эффективно собирать звуковые данные конференции, массив 3 микрофонов может быть помещен в середине стола 2 для конференции. Множество стульев 1A, 1B и 1C для участников расположены с одной стороны стола 2 для конференции. Стулья участников обращены к проекционному экрану 4. Проекционный экран 4 имеет дугообразную или плоскую форму (на чертеже проекционный экран имеет дугообразную форму) и составляет переднюю поверхность мехов 5 камеры. В мехах 5 камеры содержится панорамная камера 7 (здесь панорамная камера включает в себя три камеры, как показано на фиг.4), устройство 8 передачи звука, множество проекторов 9A, 9B и 9C и множество громкоговорителей. Например, пять громкоговорителей 11A, 11B, 11C, 11D и 11E составляют массив громкоговорителей на чертеже. Внутренняя стенка 6 мехов 5 камеры, противоположная проекционному экрану 4, специально декорирована декорационной заставкой. Такая специальная декорация относится к декорации, которая формирует эффект, напоминающий глубину, и позволяет скрыть камеру. Сторона позади стульев участников оформлена специально разработанной темной декорацией 13. Вспомогательный монитор 12 помещен на одной стороне помещения для конференций. Одна или более камер 10A и 10B объекта помещены над мехами 5 камер для составления одной или больше стереоскопических пар камер. Одна стереоскопическая пара камер состоит из двух обычных камер объекта, которые имитируют визуальные принципы человека и снимают сцену с левой и правой перспектив одновременно для получения левого изображения и правого изображения.

На фиг.2 показана первая схема первого варианта осуществления настоящего изобретения. На фиг.2 представлено, что локальное место дистанционного присутствия и удаленное место дистанционного присутствия имеют одинаковую конфигурацию и взаимосвязаны через сеть.

Предпочтительно, в первом варианте осуществления экран A4 локальной проекции и экран B4 удаленной проекции представляют собой голографические прозрачные проекционные экраны. Голографические прозрачные проекционные экраны представляют собой экраны задней проекции, работающие на основе технологии голограммы, и отличаются голографическими изображениями. Они отображают только изображения из определенной перспективы задней проекции, но игнорируют лучи света из других перспектив. Голографические экраны генерируют очень яркий и четкий эффект отображения, даже если освещение в окружающей среде очень яркое, и являются настолько прозрачными, что аудитория может видеть объекты, расположенные позади экрана. В настоящее время некоторые производители, такие как Woehburk, HoloPro и Sax3D, изготовляют голографические прозрачные проекционные экраны. На фиг.3 отображаются основные принципы голографической проекции. Как показано на фиг.3, лучи проекции, которые падают под углом α, рассеиваются голографическим прозрачным проекционным экраном, состоящим из голографических материалов и прозрачных панелей. Таким образом, пользователь может видеть содержание проекции, но не может видеть объекты, находящиеся позади области содержания проекции. Однако горизонтальные лучи, излучаемые объектом позади проекционного экрана, за исключением содержания проекции, пропускаются проекционным экраном. Через такую область проекционного экрана пользователь может видеть объект, находящийся позади проекционного экрана.

В первом варианте осуществления угол α установки существует между углом проекции проектора A9 в мехах A5 камеры и горизонтальной линией. Проектор A9 проецирует изображение удаленного участника B15 на локальный голографический прозрачный экран A4. Благодаря присутствию панорамы удаленной сцены B, разрешающей проекции одного проектора может быть недостаточно. Устройство A8 передачи аудио-видеоданных разделяет удаленное изображение на несколько частей, которые представляют с помощью множества проекторов A9 (поскольку на схеме, представленной на фиг.2, показан вид справа, множество проекторов наложены друг на друга и не показаны). Для того чтобы скрыть проекторы, цвет проекторов A9 предпочтительно является таким же, как цвет фона A6, составленного из мехов, расположенных позади камеры.

Для сбора панорамного изображения в месте A, панорамная камера A7 установлена в мехах A5 камеры. На фиг.4(A) и фиг.4(B) показаны основные принципы решения для формирования изображений панорамной камеры. Панорамная камера основана на принципе отражения от плоского зеркала и виртуального общего оптического центра (панорамная камера в режиме виртуального общего оптического центра). Призмоид 1001 имеет три отражающие поверхности 1002, 1003 и 1004. Такие поверхности представляют собой плоские зеркала, и три камеры C01, C02 и C03 размещены под этими зеркалами. Общий виртуальный оптический центр описан ниже на примере одной камеры C02. Как показано на фиг.4(B), L02 представляет собой падающий луч и R02 представляет собой отраженный луч. Нормальная линия 1006 является вертикальной к отражающей плоскости 1003, и угол между нормальной линией 1006 и горизонтальной линией 1010 составляет θ. Вертикальное расстояние от точки отражения до фактического оптического центра 02 камеры C02 составляет d. В соответствии с принципами отражения света камера фотографирует виртуальное изображение и виртуальное изображение имеет виртуальный оптический центр 00. Если значения θ и d правильно установить, виртуальные оптические центры камер C01, C02 и C03 совпадают и получают три изображения с общим оптическим центром. Эти три изображения объединяют для получения изображения, которое объединено без стыков, с любой глубиной. При разработке панорамной камеры местоположение оптического центра камеры находится как можно ниже с точки зрения практической приемлемости для получения лучшего вертикального эффекта контакта глаз. Если геометрическая высота камеры будет постоянной, такой эффект может быть достигнут путем уменьшения горизонтального расстояния между камерой и отражающим зеркалом. Однако такое расстояние ограничено размером объектива камеры и ее видоискателем и уменьшает фотографическую перспективу, как показано на фиг.4(C). Другое решение панорамной камеры представляет собой режим объединения множества камер. Множество изображений снимают и объединяют в цифровой форме для получения панорамного изображения (панорамная камера в режиме объединения), как показано на фиг.4(D). Поскольку оптический центр находится внутри камеры, такая модель камеры не позволяет совместно использовать оптический центр, основываясь исключительно на размещении камер. Присутствует несоответствие при наложении изображений. Необходимо применять технологии обработки изображения для достижения хорошего эффекта объединения. Другой режим панорамной камеры состоит в использовании массива из множества камер 10 (панорамная камера в режиме массива из множества камер), как показано на фиг.4(E). Массив камер может иметь разные формы в соответствии с разными сценами, например линейный массив, кольцевой массив или прямоугольный массив. В массиве камер каждая камера имеет низкое разрешение, и интервалы между соседними камерами малы. Существует большая степень фотографического наложения. Технология объединения изображений объединяет множество изображений камеры с низким разрешением с получением панорамного изображения с высоким разрешением. Основные принципы алгоритма объединения изображений состоят в оценке внутренних параметров (таких как фокусное расстояние, главная точка и искажения) множества камер и параметров размещения между камерами (таких как спиновая матрица и вектор смещения); используя параметры оценки и алгоритм, выравнивании изображения множества камер, устранении наложения, смешивании кромок и устранении несоответствия для получения панорамного изображения с высоким разрешением.

Хорошо известная технология объединения изображения описана ниже.

Основные принципы алгоритма объединения изображения представляют собой оценку внутренних параметров множества камер и параметров размещения между камерами; используя параметры оценки и алгоритм, изображения множества камер выравнивают, устраняют наложение, выполняют смешивание кромок и устраняют несоответствие для получения панорамного изображения с высоким разрешением.

В соответствии с принципами геометрии проецирования, когда пространственную 3D точку проецируют на плоскость формирования изображения камеры, выражение преобразования представляет собой:

В приведенных выше формулах

представляет собой гомогенное выражение плоских координат; X представляет собой гомогенное выражение мировой системы координат; f_x и f_y представляют собой эквивалентные фокусные расстояния в горизонтальном и вертикальном направлениях соответственно; s представляет коэффициент искажений изображения; и u_0,v₀ представляют собой координаты главной точки изображения. R представляет собой спиновую матрицу камеры, и t представляет вектор смещения камеры. K представляет собой внутренний параметр камеры, и R и t представляют собой внешние параметры камеры. Для множества изображений, которые имеют области наложения и которые были сняты двумя камерами или сняты одной камерой в разных местах, отношение формирования изображения в пространственной точке в двух изображениях представляет собой:

H представляет собой матрицу 3·3 со степенью свободы 8. Она представляет взаимосвязь преобразования между двумя плоскостями формирования изображений и называется гомографией. Для чистой системы вращения камеры или системы камеры с общим оптическим центром, в которой используется только вращательное движение, H может быть выражена как:

Поэтому, используя алгоритм выделения особенностей, такой как инвариантный к масштабу алгоритм преобразования особенности (SIFT, ИМАПО), выделяют особенности в местах наложения, находят множество особенностей и устанавливают соотношение согласования между особенностями. Множество наборов уравнений формируют из уравнения (3), и гомографию H между двумя изображениями вырабатывают, используя итеративный алгоритм оптимизации. После того как H будет выработана, два изображения могут быть объединены вместе, используя преобразование координат, и пиксели в области наложения совмещают. Для модели камеры, которая вращается только в горизонтальном направлении, можно использовать преобразование цилиндрических координат для преобразования плоских координат в цилиндрические координаты. В цилиндрических координатах пиксели совмещают в результате смещения изображения. Преобразование и обратное преобразование цилиндрических координат могут быть представлены как:

После преобразования изображения в соответствии с представленным выше способом другие факторы требуется рассмотреть, прежде чем будет получено ожидаемое панорамное изображение без стыков. Основной фактор представляет собой несоответствие. Существующие алгоритмы позволяют обрабатывать только объединение с определенной глубиной изображения, а именно такое, как объединение в одной плоскости. В теории невозможно объединить объекты в других глубинах без стыков, используя одно преобразование. Объекты, за исключением находящихся на данной глубине, затрагивают края. При этом трудно устранить края, используя алгоритм обработки изображения. Лучшее решение состоит в минимизации несоответствия через модель камеры с общим оптическим центром. Другой фактор представляет собой различия в освещенности/хроматические различия между изображениями, вызванными различием экспозиции/цветовым различием между камерами, в частности, в месте соединения между двумя изображениями. Простое решение состоит в выполнении альфа-смешивания в месте наложения при соединении, и лучшее решение состоит в выполнении смешивания на основе пирамиды Лапласа или смешивания в области градиента для всего изображения. После того как соответствующая обработка будет закончена, получают лучшее панорамное изображение без стыков.

Для получения лучшего вертикального эффекта контакта глаз панорамную камеру A7, предпочтительно, устанавливают на высоте, приблизительно эквивалентной линии обзора A100 участника (см. фиг.2). Панорамная камера A7 составлена из нескольких обычных цветных камер. Для съемки быстро движущихся объектов на сцене цветные камеры должны быть синхронизированы. Поскольку изображения, получаемые множеством камер, могут быть не пригодными для непосредственного объединения, три канала видеоизображений должны быть объединены, используя алгоритм объединения изображений для получения панорамного изображения без стыков. Множество каналов видеопотоков, выводимых панорамной камерой A7, могут быть переданы непосредственно в устройство A8 передачи аудио-видеоданных, которое объединяет изображения. В качестве альтернативы панорамная камера A7 непосредственно соединена с устройством третьей стороны (не показано на чертеже) для объединения изображений. После окончания объединения панорамное изображение вводят в устройство A8 передачи аудио-видеоданных. В качестве альтернативы панорамная камера A7 объединяет изображения и вводит объединенное изображение в устройство A8 передачи аудио-видеоданных через один или больше каналов видеопотоков. Устройство, выполненное с возможностью объединения изображений, называется здесь модулем формирования мозаичного изображения. Принципы работы модуля формирования мозаичного изображения описаны выше, и соединение между модулем формирования мозаичного изображения и другими модулями будет описано в следующем тексте со ссылкой на фиг.6. Что касается дисплея, один проектор не способен отображать панорамное изображение соответствующим образом. Предпочтительно, панорамное изображение разделяют на несколько частей и каждый проектор отображает часть изображения. Поскольку проекторы отличаются по своему местоположению, яркости и цветности, объединенное панорамное изображение должно быть скорректировано геометрически и стык между соседними изображениями должен быть устранен путем смешивания яркости/цветности. Такую функцию выполняют с помощью независимого устройства третьей стороны (не показано на чертеже) или интегрированного устройства A8 передачи аудио-видеоданных. Устройство, выполненное с возможностью коррекции/смешения изображения, называется здесь модулем коррекции/смешения. Детали описаны ниже со ссылкой на фиг.6. Для того чтобы скрыть панорамную камеру A7, цвет камеры, предпочтительно, выбирают таким же, как и цвет фона A6 мехов камеры, расположенных позади этой камеры так, чтобы она была малозаметной для пользователя.

На чертеже, на котором иллюстрируется первый вариант осуществления, панорамная камера 7 размещена вертикально и падающие лучи света отражаются в камеру непосредственно через отражающее зеркало. На практике оптический путь падающих лучей изменяется в результате многократного отражения и панорамная камера может быть размещена так, как это необходимо. На фиг.5 показано решение по горизонтальному размещению панорамной камеры. Видоискатель 2 добавлен над видоискателем 1 панорамной камеры. Поэтому горизонтально передаваемые лучи изменяются на вертикально передаваемые лучи, и местоположение камеры можно изменять. Поскольку существует множество камер, необходимо разработать правильную плоскость отражения на верхней стороне каждой камеры.

Для того чтобы предотвратить влияние на локальное изображение А, снимаемое панорамной камерой A7, со стороны изображения, проецируемого проектором A9, предпочтительно в первом варианте осуществления настоящего изобретения использовать способ разделения времени для координирования сбора с помощью камеры A7 с работой проектора A9. В соответствии со способом разделения времени режимы работы системы разделяют по категориям на два режима: режим отображения и режим сбора. В режиме отображения проектор A9 проецирует изображение в удаленный конец B на прозрачный проекционный экран A4. В это время панорамная камера A7 является неактивной и не собирает сигналы; в режиме сбора проектор A9 является неактивным и не проецирует изображения и панорамная камера A7 снимает сцену через прозрачный экран A4 проецирования. Для координирования работы камеры A7 и проектора A9 требуется специальный модуль A16 синхронизации для вывода сигналов синхронизации в панорамную камеру A7 и в проектор A9 и управление режимом работы этих двух устройств. Например, модуль A16 синхронизации управляет панорамной камерой A7 для сбора сигналов в интервале гашения вертикального обратного хода между двумя кадрами/сценами изображений проектора A9. В это время, однако, время экспозиции панорамной камеры A7 становится коротким, и в результате снижается яркость изображения. Для решения таких задач может применяться камера с более коротким временем экспозиции или может быть уменьшена частота обновления проектора.

Как описано выше, панорамная камера B7 получает панорамное изображение сцены удаленного пользователя B15 и изображение локально представляют на проекционном экране A4. Поэтому локальный пользователь A15 ощущает, что пользователь как бы окружен удаленной сценой, и он воспринимает панорамное и отображаемое изображения без стыков, без заметного впечатления от разговора в экран. Это улучшает ощущение погружения пользователя. Кроме того, изображение удаленного пользователя B15 представляют на локальном прозрачном проекционном экране A4, и окружение удаленного пользователя B15 представляет собой темный фон, который не будет отображаться на прозрачном проекционном экране A4. Поэтому локальный пользователь A15 может видеть через такую часть фон A6, состоящий из мехов A5 камеры. Физическое расстояние существует между прозрачным киноэкраном A4 и фоном A6 из мехов A5 камеры, и фон A6 из мехов A5 камеры специально декорирован, что создает для пользователя иллюзию глубины. Поэтому локальный пользователь A15 воспринимает глубину изображения удаленного пользователя B15. Кроме того, в соответствии с управлением модулем A16 синхронизации на панорамную камеру A7 не оказывает влияние проекция, выполняемая проектором A9 при съемке локального изображения A. Аналогично, на панорамную камеру B7 не оказывает влияние проекция проектора B9 при съемке удаленного изображения B. Поэтому камеры могут быть размещены позади центра проекционного экрана вдоль линии обзора участника, исключая, таким образом, вертикальное несоответствие и обеспечивая для участника на другой стороне возможность наслаждаться контактом глаз.

Модуль A16/B16 синхронизации обеспечивает возможность передачи данных двух лиц участников. Кроме того, система дистанционного присутствия подразумевает решение задач дистанционного взаимодействия, например две команды конструкторов должны видеть прототип конструкции. Существующая система дистанционного присутствия поддерживает только 2D-видеоизображение, и пользователь не может видеть объект, который вызывает ощущение глубины. Решение, применяемое в данном варианте осуществления, позволяет использовать стереоскопическую камеру как камеру объекта для съемки 3D-видеоизображений при представлении объекта. Как показано на фиг.2, стереоскопическая камера B10 на удаленном конце B снимает информацию 3D-видеоизображения объекта, который может быть представлен, например, следующим: "изображение левого глаза + изображение правого глаза" или "изображение левого глаза + изображение глубины", и вводит эту информацию в устройство B8 передачи аудио-видеоданных, выполненное с возможностью кодирования 3D-видеоизображения. Устройство B8 передачи аудио-видеоданных обрабатывает 3D-видеоизображение, кодирует это изображение и передает его в устройство A8 передачи аудио-видеоданных на локальном конце A. Устройство A8 передачи аудио-видеоданных на локальном конце A декодирует и представляет потоки 3D-видеокода. Если устройство 3D-видеоприсутствия существует локально, видеоизображение представляют как 3D-видеоизображение; в противном случае видеоизображение представляют как 2D-видеоизображение. Например, если вспомогательный монитор A12, находящийся на локальном конце A, представляет собой 3D-монитор, устройство A8 передачи аудио-видеоданных выводит видеоизображение в формате 3D в A12 для отображения. Если локальный вспомогательный монитор A12 представляет собой обычный 2D-монитор, устройство A8 передачи аудио-видеоданных выводит видеоданные в формате 2D в A12 для отображения. Устройства 3D-видеоприсутствия включают в себя 3D-очки, автоматический стереоскопический монитор и мультиперспективный 3D-монитор.

Для того чтобы обеспечить приятное впечатление погружения в звук, массив A3 микрофонов и массив А11 громкоговорителей, предпочтительно, используют для представления звуков. Подробно массив микрофонов и массив громкоговорителей представлены ниже. В системе дистанционного присутствия возврат звука включает в себя возврат звука и возврат стереоскопического ощущения. Возврат звука может быть выполнен, используя эффективный широкополосный алгоритм сжатия. Стереоскопическое ощущение передает впечатление локализации и направления, улучшает впечатление пребывания в том же помещении, делает голос более понятным и делает докладчика быстро идентифицируемым. В первом варианте осуществления в настоящем изобретении используется множество микрофонов или массив микрофонов для сбора звуков, и используется множество громкоговорителей или массивов громкоговорителей для представления звуков, улучшая, таким образом, эффект возврата стереоскопического ощущения звука. Массив микрофонов представляет собой систему однонаправленных микрофонов, распределенных в определенной геометрической структуре. Традиционный направленный микрофон обычно собирает только один канал сигналов, но система в виде массива микрофонов собирает множество каналов сигналов. Поскольку микрофоны расположены по-разному, собираемые данные отличаются хронологически или пространственно. Используя технологию обработки сигналов, запрашиваемая информация может быть выделена из каналов множества сигналов. Система массива микрофонов характеризуется пространственной избирательностью. Лучи генерируются направленностью микрофона на источник звука и подавлением звука других докладчиков и окружающих шумов, благодаря чему получают высококачественные сигналы источника звука. В настоящее время установка расположения истока звука представляет собой основной сценарий приложения массива микрофонов. Установка положения на основе массива микрофонов состоит в определении пространственного местоположения источника звука при использовании микрофонов, распределенных в определенной геометрической компоновке. Если алгоритм установки положения источника звука основан на массиве микрофонов, его можно разделить на три типа: технология формирования управляемого луча на основе максимальной выходной мощности, технология определения направления на основе оценки спектра с высоким разрешением и технология на основе разности времени прихода (TDOA, ТРВП). Первый способ состоит в фильтрации голосовых сигналов, принимаемых массивом микрофонов, суммировании взвешенного значения голосовых сигналов с последующим управлением микрофоном для направления его в направлении, в котором получают максимальную выходную мощность луча. Второй способ состоит в определении угла направления путем выработки соответствующей матрицы между сигналами микрофона и в определении местоположения источника звука. Третий способ состоит в выработке различий времени звука, поступающего в микрофоны в разных местах размещения, в использовании таких разностей во времени, для выработки разности расстояния звука, поступающего в микрофоны, размещенные в разных местах расположения, с последующим определением местоположения источника звука, используя поиск или геометрические принципы. Массив громкоговорителей может восстанавливать и воспроизводить звуковое поле в соответствии с входными аудиосигналами и локальной информацией. Массив громкоговорителей может комбинировать множество единичных звуковых полей определенным способом для усиления звука. По сравнению с одним громкоговорителем, который излучает звук прямо, массив громкоговорителей повышает мощность звука, увеличивает эффект излучения звука в случае низкой частоты, улучшает направленность и неоднородность звукового поля и улучшает ясность голоса в среде с реверберацией. Массив громкоговорителей может быть основан на технологии синтеза волнового фронта.

Массив A3 микрофонов может представлять собой линейный массив микрофонов или круглый массив микрофонов и может быть размещен на столе или может быть подвешен на потолке. Массив А11 громкоговорителей включает в себя много громкоговорителей, которые интегрированы с мехами A5 камеры. Направление распределения громкоговорителей является тем же, что и направление распределения удаленных участников, отображаемых на проекционном экране A5. В ходе конференции через массив B3 микрофонов в удаленном конце B устройство B8 передачи аудио-видеоданных может детектировать местоположение говорящего участника B15 и передавать аудиосигналы в удаленный конец B и информацию о местоположении участника B15 в устройство A8 передачи аудио-видеоданных в локальном конце A. Массив А11 громкоговорителей позволяет восстанавливать и воспроизводить звуковое поле в соответствии с входными аудиосигналами и информацией о местоположении. Таким образом, локальный пользователь A15 ощущает, что звук удаленного пользователя B15 происходит из местоположения B15 на экране, и получает ощущение, такое как при разговоре лицом к лицу.

На фиг.6 отображена блок-схема последовательности операций системы в соответствии с первым вариантом осуществления, где удаленный конец B передает аудио- и видеоинформацию в локальное место A.

В удаленном конце B панорамная камера B7 (состоящая из множества камер) собирает изображения сцен в разных перспективах синхронно под управлением модуля B16 синхронизации. Множество снятых изображений передают в модуль формирования мозаичного изображения для объединения в панорамное изображение удаленной сцены B. Такое панорамное изображение выводят из модуля формирования мозаичного изображения, обрабатывают, и дополнительно выводят в модуль 1 видеокодирования для кодирования, и затем передают через сеть в области с использованием пакетной коммутации в форме пакетных потоков кода. Целесообразно отметить, что разрешение объединенных изображений может быть очень высоким и один модуль 1 видеокодирования не способен кодировать объединенное изображение в режиме реального времени. При этом может потребоваться разделять объединенное изображение на несколько частей и выводить в множество видеокодеров синхронно для кодирования. После кодирования изображение может формировать один или больше кодовых потоков, которые передают через сеть области с пакетной коммутацией. Благодаря распределенному кодированию, и задержке, и пульсациям, связанным с передачей по сети, потоки кодов могут оказаться несинхронизированными. Поэтому потоки кодов, возможно, должны быть помечены (например, используя временные штампы). В декодере кодовые потоки синхронизируют в соответствии с метками. Аналогично, массив микрофонов на удаленном конце B собирает аудиосигналы сцены, и кодирует эти сигналы, используя модуль кодирования звука, для формирования кодированных потоков аудиокода, которые передают через сеть в форме пакетов данных. Для предотвращения потери синхронизации между звуком и видеоизображением, лучше синхронизировать аудиоданные и видеоданные. Синхронизация аудиоданных и видеоданных представляет собой предшествующий уровень техники в области воспроизведения звука и отображения видеоизображений и не повторяется здесь дополнительно. Поскольку в удаленном конце B используется массив микрофонов для сбора аудиосигналов, алгоритм установки звука также позволяет рассчитывать информацию о местоположении говорящего участника. Информация о местоположении может быть выведена в локальный конец через сеть. Помимо панорамной камеры B7, одна или больше камер B10 объекта снимают объект, который требуется представлять на сцене. Если имеется множество камер B10 объекта, они могут составлять стереоскопическую камеру для получения 3D-изображения сцены. В этом случае модуль B16 синхронизации также присутствует между камерами для синхронизации сбора. Один или больше видеопотоков камеры B10 объекта вводят в модуль 2 кодирования видеоданных для кодирования. Модуль 2 кодирования видеоданных поддерживает форматы 2D/3D-кодирования видеоданных, и кодированные данные потока кода передают через сеть с пакетной коммутацией.

На локальном конце A модуль 1 кодирования видеоданных принимает потоки кода панорамного видеоизображения из удаленного конца B для декодирования. Поскольку разрешение панорамного изображения может быть очень высоким, один модуль 1 декодирования видеоданных не способен закончить декодирование изображения и множество модулей декодирования видеоданных должны работать одновременно. Во время декодирования последовательность воспроизведения кадров видеоизображения должна быть определена в соответствии с меткой синхронизации в потоках кода. После декодирования изображение (изображения) могут представлять собой полное панорамное изображение или множество разделенных изображений. Для завершения панорамного изображения изображение должно быть разделено на множество изображений, которые синхронно выводят в множество проекторов A9. Множество проекторов A9 представляют изображения на проекционном экране A4 без стыков. Прежде чем проектор представит изображение, поскольку проекторы отличаются по месту расположения, яркости и цветности, изображение, предпочтительно, корректируют геометрически, используя модуль коррекции/смешения, и стык между соседними изображениями должен быть устранен, используя смешение яркости/цветности. Потоки кода аудиоданных декодируют, используя модуль декодирования звука, получая сигналы аудиоданных, которые выводят в массив громкоговорителей. В соответствии с информацией о местоположении участника на удаленном конце B, массив громкоговорителей может выбирать один или больше громкоговорителей, расположенных ближе всего к удаленному участнику, отображаемому на проекционном экране A4, для представления звука для удаленного участника. Потоки видеокода камеры B10 объекта на противоположной стороне B декодируют с помощью модуля 2 декодирования видеоданных и представляют с помощью вспомогательного монитора A12. Если вспомогательный монитор A12 поддерживает 3D-видеоизображение, эти видеоизображения представляют как 3D-видеоизображение; если вспомогательный монитор A12 поддерживает только 2D-видеоизображение, эти видеоизображения представляют как 2D-видеоизображение. Поэтому полное устройство A8 или B8 передачи аудио-видеоданных включает в себя: модуль формирования мозаичного изображения, модули 1 и 2 кодирования видеоданных, модуль кодирования звука, модули 1 и 2 декодирования видеоданных и модуль декодирования звука.

На фиг.7 показана вторая платформа компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения, и на фиг.8 показана вторая схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения. Это решение основано на технологии фронтального проецирования. Проектор A9 может быть помещен перед проекционным экраном A4 и подвешен над столом A2 для конференций (как показано на фигуре) или ниже стола конференции для проецирования. Это решение является исключительным, поскольку лучи, излучаемые проектором A9, не влияют на пользователя.

На фиг.9 показана третья платформа компоновки помещения для конференций в упрощенном решении в первом варианте осуществления настоящего изобретения. На фиг.10 показана третья схема компоновки помещения для конференций в упрощенном решении в первом варианте осуществления настоящего изобретения. В упрощенном решении панорамная камера A7 помещена над проекционным экраном A4 для получения панорамного изображения сцены. В этом случае модуль A16 синхронизации требуется для синхронизации сбора, выполняемого панорамной камерой A7, и проецирования проектором A9, упрощая, таким образом, конструкцию и уменьшая стоимость панорамной камеры A7 и проектора A9. Однако, поскольку панорамная камера 7 не размещена на линии обзора пользователя A15, ухудшается вертикальный эффект контакта глаз. Обычно, если разность вертикальной перспективы меньше чем семь градусов (<7°), вертикальный эффект контакта глаз является приемлемым. Для уменьшения вертикальной перспективы видоискатель панорамной камеры A7 может быть размещен ниже цветной камеры.

В упрощенном решении, показанном на фиг.9 и фиг.10, проекционный экран A4 может представлять собой голографический прозрачный проекционный экран или обычный проекционный экран. При использовании голографического проекционного экрана пользователь может воспринимать глубину сцены; при использовании обычного заднего проектора становится невозможным представить ощущение глубины сцены, и декорационную заставку А13 позади пользователя и декорационную заставку A6 мехов A5 камеры не требуется специально декорировать.

Из приведенного выше описания можно видеть, что в этих трех решениях в соответствии с первым вариантом осуществления используется панорамная камера (A7 или B7), панорама локального помещения для проведения конференций может быть снята и расположенный на другой стороне участник может получать панораму конференции с передачей, таким образом, хорошего эффекта представления панорамы в системе дистанционного присутствия.

Независимо от того, является ли проекционный экран A4 (B4) обычным проекционным экраном или голографическим прозрачным проекционным экраном, проекционный экран представляет изображения в интегрированном виде, воплощая, таким образом, присутствие без стыков и преодолевая дефект, связанный с телевизионными изображениями, когда объединяют множество плоских телевизионных устройств.

Предпочтительно, проекционный экран A4 (B4) представляет собой голографический прозрачный проекционный экран, который предоставляет присутствие глубины для участников.

Предпочтительно, благодаря управлению, выполняемому модулем A16 (B16) синхронизации, на панорамную камеру A7 (B7) не оказывается влияние при проецировании изображения проектором A9 (B9) во время съемки изображений на локальном конце А (удаленном конце B), исключая, таким образом, вертикальные перспективы при обеспечении возможности для участника на другой стороне наслаждаться контактом глаз. Панорамная камера A7 (B7) также может быть размещена над проекционным экраном A4 (B4) для получения панорамного изображения сцены. В этом случае модуль A16 (B16) синхронизации исключается, упрощая, таким образом, конструкцию и снижая стоимость. Для уменьшения вертикальных перспектив, видоискатель панорамной камеры A7 (B7) может быть размещен ниже цветной камеры.

Предпочтительно, проектор A9 (B9) установлен в мехах A5 (B5) камеры таким образом, что на проектор A9 не влияет окружающий свет. Проектор A9 (B9) может быть помещен перед проекционным экраном A4 (B4), используя технологию переднего проецирования, или подвешен над столом для конференций или ниже стола для конференций. Таким образом, лучи проектора A9 (B9) не оказывают влияние на пользователя при голографическом прозрачном проецировании.

Ниже описан второй вариант осуществления настоящего изобретения.

На фиг.11 показан вид сверху компоновки помещения для конференций в системе дистанционного присутствия во втором варианте осуществления настоящего изобретения. В соответствии с фиг.11, фиг.12 представляет собой первую схему системы дистанционного присутствия во втором варианте осуществления настоящего изобретения. Во втором варианте осуществления меха камер исключены, и проекционный экран 4 непосредственно размещен противоположно стульям 1A, 1B и 1C. При практическом конструировании проекционный экран может быть разработан, как приподнятая структура. Проекционный экран 4 поднимается или может быть убран в стол 2, когда он не требуется, и поднимается или поднимается из стола 2 во время работы. Таким образом, стол 2 может использоваться для обычных конференций, когда не проводят видеоконференцию. Поскольку проекционный экран 4 выполнен очень тонким, громкоговорители могут представлять собой очень тонкие плоские панели громкоговорителей, размещенные ниже проекционного экрана 4; или вибрационный модуль встроен непосредственно в экран так, что экран становится громкоговорителем. Для достижения хорошего вертикального эффекта контакта глаз, панорамная камера 7 может быть скрыта в фоновой стенке 14 позади проекционного экрана 4. Благодаря специальной декорации панорамная камера 7 и фоновая стенка 14 объединены вместе. Проектор 9 должен быть синхронизирован с панорамной камерой 7 через модуль A16 синхронизации так, как описано в первом варианте осуществления. Проектор 9 в данном варианте осуществления может использовать передний режим проецирования (показанный на фиг.11) или задний режим проецирования.

Другое конструктивное решение во втором варианте 2 осуществления состоит в размещении панорамной камеры 7 над проекционным экраном A. На фиг.13 показана вторая схема системы дистанционного присутствия во втором варианте осуществления настоящего изобретения. На практике разрабатывают опорный фланец определенной толщины, проекционный экран A4 встраивают в этот фланец и панорамную камеру A7 размещают перед фланцем или встраивают в этот фланец. В данном случае не требуется модуль синхронизации для синхронизации сбора, выполняемого панорамной камерой A7, и проецирования проектором A9. Однако, поскольку панорамная камера 7 не размещена на линии обзора пользователя A15, ухудшается эффект вертикального контакта глаз. Обычно, если разность вертикальной перспективы меньше чем семь градусов (<7°), эффект вертикального контакта глаз является приемлемым. Для уменьшения вертикальной перспективы, видоискатель панорамной камеры A7 может быть помещен под цветной камерой.

Во втором варианте осуществления, как показано на фиг.11, поскольку проекционный экран 4 расположен непосредственно напротив стульев, проекционный экран можно убирать, когда он не используется. Поэтому такое решение совместимо с обычной конференцией. Таким образом, соответствующие устройства могут быть скрыты, когда не выполняется конференция дистанционного присутствия, и помещение для конференции доступно для обычных конференций.

Ниже описан третий вариант осуществления настоящего изобретения.

На фиг.14 показана платформа компоновки помещения для конференций в системе дистанционного присутствия в третьем варианте осуществления настоящего изобретения. На фиг.15 показана схема системы дистанционного присутствия в третьем варианте осуществления настоящего изобретения. Третий вариант осуществления дополнительно упрощает решение. Вместо проекционного экрана телевизионные устройства 30A, 30B и 30C больших размеров объединяют в систему дисплея. Телевизионные устройства могут представлять собой телевизор LCD, телевизор PDP или телевизор заднего проецирования с цифровой обработкой света (DLP, ЦОС). Панорамная камера A7 размещена над монитором для съемки локальной сцены. Поскольку дистанционное присутствие не позволяет обеспечить эффект глубины, фоновая заставка A13 позади пользователя и фоновая заставка A6 для махов камеры не требуют специальной декорации.

Из приведенного выше описания можно видеть, что третий вариант осуществления представляет собой обновление на основе существующей системы дистанционного присутствия. Это создает хороший эффект панорамного присутствия путем простой замены обычной камеры панорамной камерой.

Ниже будет описан четвертый вариант осуществления настоящего изобретения.

На фиг.16 показана система дистанционного присутствия в четвертом варианте осуществления настоящего изобретения. Полуотражающее, полупрозрачное зеркало используется в данном варианте осуществления для представления глубины. Голографический прозрачный проекционный экран заменен полуотражающим, полупрозрачным зеркалом A21. Полуотражающее, полупрозрачное зеркало установлено перед мехами камеры. Проекционный экран A22 расположен сбоку и выше от полуотражающего, полупрозрачного зеркала, и определенный угол существует между проекционным экраном и полуотражающим, полупрозрачным зеркалом. Проекционный экран A22 формирует изображения посредством задней проекции. Изображения, проецируемые проектором A9, отражаются отражающим зеркалом A23 и затем изменяются на изображения на проекционном экране A22. Полуотражающее, полупрозрачное зеркало A21 делает изображения в позиции A22 виртуальными изображениями A101 и делает возможным в локальном месте A15 рассматривать изображения с определенной глубиной. Панорамная камера A7 собирает изображения пользователя через полуотражающее, полупрозрачное зеркало A21 и смешивает его с фоновым изображением A6 мехов A5 камеры. Темное фоновое изображение позади удаленного пользователя позволяет специально декорировать локальное фоновое изображение A6 так, чтобы оно было видимым для локального пользователя A15 через темную область, за исключением яркой области, где расположено тело удаленного пользователя. Поскольку физическое расстояние существует между изображением A101 удаленного пользователя, видимого для локального пользователя, и локальным фоновым изображением A6, оно выглядит, как если бы изображение удаленного пользователя в глазах локального пользователя находилось перед фоновым изображением. Следует отметить, что отражающее зеркало A23 является необязательным. Когда отражающее зеркало A23 исключено, можно использовать решение передней проекции для проектора A9.

Как можно видеть из представленного выше описания, четвертый вариант осуществления обеспечивает панорамное присутствие через панорамную камеру A7 и обеспечивает присутствие глубины и контакт глаз через полуотражающее, полупрозрачное зеркало A21 на основе реализации отображения без стыков через проекцию.

Пятый вариант осуществления настоящего изобретения будет описан ниже.

На фиг.17 показана схема системы дистанционного присутствия в соответствии с пятым вариантом осуществления настоящего изобретения. В данном варианте осуществления используется прозрачный оптический электропроводный компонент A25, который имеет область A25 оптического перенаправления для ввода изображения. Как волноводное устройство A24 передает изображение участника A15 исключительно в панорамную камеру A7 в нижней части мехов A5 камеры, используя внутреннее отражение. Как показано на фигуре, падающий луч A102 многократно отражается между двумя внутренними поверхностями A26 и A27 волноводного компонента и в конечном итоге излучается как падающий луч A103 в нижней части мехов A5 камеры и собирается панорамной камерой A7. Компонент оптической проводимости размещен перед проекционным экраном A4, и входная область A25 собирает свет с поверхности проекционного экрана A4. Область A25 должна быть достаточно прозрачной для предотвращения воздействия на пользователя A15. Внутренние поверхности A26 и A27 входной области могут быть выполнены через решетку, полученную голографическим способом. Этот компонент представляет собой прозрачную панель, изготовленную из стекла или пластика.

Из приведенного выше описания можно видеть, что пятый вариант осуществления обеспечивает панорамное присутствие через панорамную камеру A7, обеспечивает отображение без стыков через проекционный экран A4 и обеспечивает контакт глаз через компонент A25 оптической электропроводности. Предпочтительно, проекционный экран A4 представляет собой голографический прозрачный проекционный экран, выполненный с возможностью представления глубины.

Шестой вариант осуществления настоящего изобретения описан ниже.

Данный вариант осуществления осуществляет панорамную систему дистанционного присутствия, которая поддерживает вертикальный эффект контакта глаз через поляризатор.

Принципы хорошо известного поляризованного света будут представлены здесь в общих чертах.

Световые волны представляют собой поперечные волны. Таким образом, направление колебаний вектора волны света является вертикальным направлению распространения света. Обычно для световой волны, излучаемой из источника света, вибрация вектора световой волны принимает нерегулярную тенденцию в направлении, вертикальном направлению распространения света. В среднем во всех направлениях в пространстве распределение векторов световых волн рассматривают, как равновероятное. Их сумма симметрична сумме в направлении распространения света. Таким образом, вектор света отличается осевой симметрией, равномерным распределением и равной амплитудой колебаний во всех направлениях. Такой свет называется естественным светом. Поляризованный свет относится к волне света, направление колебаний вектора света которой не меняется или изменяется регулярно. В зависимости от природы поляризованный свет разделяют на категории света, поляризованного в плоскости (линейно поляризованный свет), кругового поляризованного света, эллиптического поляризованного света и частично поляризованного света. Если направление колебаний электрического вектора волны света ограничено определенной плоскостью, такой поляризованный свет называется светом, поляризованным в плоскости; и, если орбита представляет собой прямую линию в процессе распространения, поляризованный свет называется линейно поляризованным светом. Если электрический вектор световой волны изменяется регулярно с течением времени, а именно орбита окончания электрического вектора является вертикальной прямой линией в процессе распространения, поляризованный свет называется линейно поляризованным светом. Если электрический вектор световой волны изменяется регулярно с течением времени, а именно орбита окончания электрического вектора является круглой или эллиптической на плоскости, вертикальной направлению распространения, поляризованный свет называется светом с круговой или эллиптической поляризацией. Если колебания электрического вектора световой волны относительно доминирует только в определенном направлении в процессе распространения, поляризованный свет называется частично поляризованным светом. Поляризатор представляет собой тонкую пленку, изготовленную вручную. Частицы кристаллов с избирательным поглощением расположены в прозрачных слоях регулярно специфическим образом для формирования поляризатора. Поляризатор является проницаемым для света в определенном направлении колебаний электрического вектора (это направление называется направлением поляризации), но поглощает свет с вертикальными колебаниями, а именно поляризатор проявляет дихроизм.

На фиг.18 показана схема системы дистанционного присутствия в шестом варианте осуществления настоящего изобретения. В этом варианте осуществления линейный поляризатор размещен перед линзами проектора A9 и панорамной камерой A7. Угол поляризации линейного поляризатора проектора A9 отличается от угла поляризации линейного поляризатора панорамной камеры A7. (Направление поляризации поляризатора перед панорамной камерой отличается от направления поляризации света, проецируемого проектором. Это связано с тем, что в соответствии с принципами поляризованного света свет, проецируемый проектором в этом случае, не может попасть в камеру через поляризатор, установленный перед панорамной камерой). В идеальных условиях разность составляет 90 градусов. Таким образом, направление поляризации проектора A9 является вертикальным направлению поляризации панорамной камеры A7. Например, направление поляризации проектора A9 является вертикальным, но направление поляризации панорамной камеры A7 является горизонтальным. Проекционный экран A4, изготовленный из специальных материалов, может использоваться вместо поляризатора перед камерой. Проекционный экран является полупрозрачным экраном, взаимно сплетенным из материала A41 поляризатора панорамной камеры A7 и других материалов A42. Таким образом, входной свет круговой поляризации сцены изменяется на горизонтальный линейно поляризованный свет после прохода через проекционный экран A4, и он может быть собран панорамной камерой A7; свет, проецируемый проектором A9, является вертикальным линейно поляризованным светом и не может пройти через горизонтальный линейный поляризатор камеры A7 и, таким образом, он не собирается камерой A7. Таким образом, съемка, выполняемая панорамной камерой A7, и проецирование проектором A9 не создают взаимные помехи.

Из приведенного выше описания можно видеть, что шестой вариант осуществления позволяет обеспечить панорамное присутствие с использованием панорамной камеры A7, обеспечивает отображение без стыков с помощью проекционного экрана A4 и контакт глаз через поляризатор, добавленный в передней части камеры и проектора.

Седьмой вариант осуществления настоящего изобретения описан ниже.

Седьмой вариант осуществления направлен на решение компоновки темного фона позади пользователя в предшествующих решениях. В предшествующем решении для представления глубины фон позади пользователя должен быть фиксирован как темный фон, например черная занавеска или стена, окрашенная в черный цвет. Такое фоновое изображение может быть неприемлемым для пользователя в некоторых помещениях для проведения конференций. Например, пользователь ощущает, что темный фон не согласуется с дизайном декораций помещения для конференций.

На фиг.19 показана первая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения. Проектор A50 фонового изображения используется для проецирования фонового изображения пользователя, которое должно отображаться на совершенно черный занавес A13 проецирования. Проектор A50 фонового изображения подключен к модулю A16 синхронизации. Модуль A16 синхронизации координирует сбор, выполняемый панорамной камерой A7, и проецирование, выполняемое проектором A50 фонового изображения. В соответствии со способом разделения по времени, рабочие режимы такой системы разделены по категориям на два режима: режим проецирования фонового изображения и режим сбора камеры. В режиме проецирования фонового изображения проектор A50 фонового изображения проецирует фоновое изображение на черный занавес A13. В это время панорамная камера A7 является неактивной и не собирает сигналы. В режиме сбора, выполняемом камерой, проектор A50 фонового изображения является неактивным и не проецирует изображения и камера A7 панорамного изображения снимает сцену. В этом случае фоновое изображение для пользователя A15, снимаемое панорамной камерой A7, представляет собой темное фоновое изображение. Локальное фоновое изображение, видимое пользователем, не является черным, но является изображением, проецируемым проектором A50 фонового изображения, только если сдвиг будет достаточно быстрым. Изображение является взаимозаменяемым, и может быть гармонизировано с декорациями помещения для проведения конференций.

На фиг.20 показана вторая схема системы дистанционного присутствия в соответствии с седьмым вариантом осуществления настоящего изобретения. На фиг.20 линейный поляризатор добавлен перед проектором A50 фонового изображения таким образом, что свет, проецируемый на заднюю стенку, является линейным поляризованным светом. Другой линейный поляризатор добавлен перед панорамной камерой A7, и угол поляризации такого поляризатора является вертикальным для угла поляризации поляризатора, расположенного перед проектором A50 фонового изображения. Таким образом, свет фонового изображения, проецируемый проектором A50 фонового изображения, не собирается панорамной камерой A7 и свет лампы в помещении для проведения конференций, отражаемый описанным выше человеком, имеет круговую поляризацию и может быть снят с помощью камеры A7. Поэтому фоновое изображение позади человека является черным на снимаемом изображении, решая, таким образом, задачу темного фонового изображения.

На фиг.21 показана третья схема системы дистанционного присутствия в соответствии с седьмым вариантом осуществления настоящего изобретения. На фиг.21 монитор A51 фонового изображения с большими размерами используется позади пользователя для отображения фонового изображения. Монитор A51 фонового изображения соединен с модулем A16 синхронизации. Модуль A16 синхронизации координирует сбор, выполняемый панорамной камерой A7, и отображение, выполняемое монитором A51 фонового изображения. В соответствии со способом разделения времени рабочие режимы системы разделяются по категориям на два режима: режим фонового отображения и режим сбора камеры. В режиме фонового отображения монитор A51 фонового изображения отображает нормальное изображение. В это время панорамная камера A7 является неактивной и не собирает сигналы. В режиме сбора камеры монитор A51 фонового изображения отображает полностью черное фоновое изображение и панорамная камера A7 снимает сцену. В этом случае фоновое изображение пользователя A15, снимаемое панорамной камерой A7, представляет собой темное фоновое изображение. Изображение, видимое пользователем и отображаемое в A51, не будет выглядеть просто черным, если переключение будет достаточно быстрым.

На фиг.22 показана четвертая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения. На фиг.22 большой монитор A51 фонового изображения размещен позади человека, линейный поляризатор добавлен перед монитором A51 фонового изображения и другой линейный поляризатор добавлен перед панорамной камерой A7. Если фоновый монитор A51 представляет собой монитор LCD, фоновый свет, излучаемый LCD, представляет собой поляризованный свет. Поэтому только один линейный поляризатор требуется добавить перед панорамной камерой A7 и угол поляризации линейного поляризатора является вертикальным относительно угла поляризации поляризованного света фонового изображения, излучаемого монитором A51 фонового изображения. Таким образом, свет фонового изображения монитора A51 фонового изображения не собирается панорамной камерой A7, и свет лампы в помещении для конференций, отражаемый человеком, находящимся на переднем плане, является поляризованным с круговой поляризацией и может быть снят панорамной камерой A7. Поэтому фоновое изображение позади человека является черным на снимаемом изображении, решая, таким образом, задачу темного фонового изображения.

В приведенном выше описании можно видеть, что в седьмом варианте осуществления проектор A50 фонового изображения или фоновый монитор A51 проецирует фоновое изображение пользователя, предназначенное для отображения, на полностью черный занавес A13 проецирования, решая, таким образом, компоновку темного фонового изображения позади пользователя. Седьмой вариант осуществления может быть скомбинирован с вариантами 1-6 осуществления.

В заключение данный вариант осуществления представляет собой обновление по сравнению с существующей системой дистанционного присутствия. Обычная камера может быть заменена панорамной камерой для съемки панорамы локального помещения для конференций и обеспечения панорамы конференции для находящегося с другой стороны участника. Таким образом, система дистанционного присутствия обеспечивает хороший панорамный эффект присутствия и совместима с существующей системой дистанционного присутствия.

Предпочтительно, обычный проекционный экран или голографический прозрачный проекционный экран используют для представления панорамных изображений интегрированным способом, воплощая, таким образом, присутствие без стыков и преодолевая дефект, привносимый при комбинировании множества плоских телевизоров.

Предпочтительно, голографический прозрачный проекционный экран и полуотражающее, полупрозрачное зеркало используют для предоставления присутствия глубины для участников.

Предпочтительно, благодаря управлению модулем синхронизации на панорамную камеру не воздействует проецирование изображения проектором при съемке локальных изображений, что исключает, таким образом, несоответствие, вызванное невозможностью размещения камеры на линии обзора пользователя и обеспечивающее для участника на другой стороне возможность наслаждаться контактом глаз. Кроме того, полуотражающее, полупрозрачное зеркало или компонент оптической передачи, или линейный поляризатор можно использовать для обеспечения возможности контакта глаз.

Предпочтительно, разворачивают специальное темное фоновое изображение, используют проектор фонового изображения или монитор фонового изображения и темное фоновое изображение разворачивают позади пользователя. Таким образом, изображение пользователя отделяют от фонового изображения и генерируют эффект присутствия глубины. Кроме того, способ удаленного присутствия предусмотрен в варианте осуществления настоящего изобретения. Как показано на фиг.23, способ включает в себя следующие этапы:

S2301: Получают локальные панорамные изображения и звуки, снимают изображения через панорамную камеру из разных перспектив, и объединяют изображения с низким разрешением, снятые панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением через модуль формирования мозаичного изображения.

S2302: Передают локальные панорамные изображения и звуки в удаленный конец через сеть для отображения и воспроизведения.

Панорамная камера снимает сцену в любом из следующих режимов: виртуальный общий оптический центр плоских отражающих зеркал, режим схождения множества камер и режим плотного массива камеры.

Предпочтительно, изображения и звуки собирают поочередно во временном порядке. Предпочтительно, способ дополнительно включает в себя: собирают локальные 3D-видеоизображения через стереоскопическую камеру, передают видеоизображение для удаленного конца через сеть и отображают видеоизображение через вспомогательное устройство отображения. Предпочтительно, перед отображением панорамного изображения способ дополнительно включает в себя: выполняют геометрическую коррекцию и смешивание кромок для панорамного изображения. Предпочтительно, способ дополнительно включает в себя: принимают информацию о месте расположения удаленного участника и выполняют перестройку и воспроизведение звукового поля для принимаемых звуков в соответствии с информацией о местах расположения. Предпочтительно, способ дополнительно включает в себя: синхронизируют локально полученные аудиоданные и видеоданные.

Устройство сбора видеоданных в системе дистанционного присутствия предусмотрено в варианте осуществления настоящего изобретения.

Устройство сбора видеоданных работает вместе с устройством видеодисплея, устройством сбора аудиоданных, проигрывателем звука и устройством передачи аудио-видеоданных в системе дистанционного присутствия. Устройство передачи аудио-видеоданных передает изображения, собранные локальным устройством сбора видеоданных, и аудиоданные, собранные локальным устройством сбора звуков, в удаленный конец через сеть. Устройство отображения видеоизображения и проигрыватель звуков на удаленном конце отображают и воспроизводят изображения и звуки соответственно. По сравнению с предшествующим уровнем техники, устройство сбора видеоизображений в соответствии с вариантами осуществления настоящего изобретения представляет собой панорамную камеру и модуль формирования мозаичного изображения используется для объединения изображений с низким разрешением, снятых панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением.

Модуль формирования мозаичного изображения представляет собой независимое устройство, или часть панорамной камеры, или часть устройства передачи аудио-видеоданных. Панорамная камера снимает сцену в любом одном из следующих режимов: виртуальный общий оптический центр плоских отражающих зеркал, режим схождения множества камер и режим плотного массива камеры.

Выше описаны просто некоторые примерные варианты осуществления настоящего изобретения, но они не предназначены для ограничения объема настоящего изобретения. Любая модификация, эквивалентная замена и улучшение, выполненные без выхода за пределы принципа настоящего изобретения, попадают в пределы объема настоящего изобретения.

Claims

1. Система дистанционного присутствия, содержащая:
устройство сбора видеоданных, выполненное с возможностью сбора изображений сцены в различных перспективах на локальном конце;
устройство сбора звука, выполненное с возможностью сбора звука на локальном конце;
устройство отображения видеоизображения, выполненное с возможностью отображения видеоизображений из удаленного конца;
аудиопроигрыватель, выполненный с возможностью воспроизведения звуков из удаленного конца;
устройство обмена аудио-видеоданными, выполненное с возможностью передачи изображений, собранных устройством сбора видеоданных на локальном конце, и звуков, собранных устройством сбора звука на локальном конце, в удаленный конец через сеть, причем эти изображения и звуки отображаются и воспроизводятся, соответственно, устройством отображения видеоизображения и аудиопроигрывателем на удаленном конце;
при этом устройство сбора видеоданных представляет собой панорамную камеру и система дополнительно содержит модуль формирования мозаичного изображения, выполненный с возможностью объединения изображений с низким разрешением, снятых панорамной камерой с разных перспектив, в панорамное изображение с высоким разрешением,
при этом система содержит одну или более камер объекта, снимающих объект, который требуется представлять в сцене, и вспомогательное устройство отображения, причем устройство обмена аудио-видеоданными передает видеоданные, собранные этими одной или более камерами на локальном конце, во вспомогательное устройство отображения на удаленном конце через сеть для отображения,
при этом система дополнительно содержит черный фон, расположенный позади участника, и проектор заднего фона для проецирования фонового изображения на черный фон, или
система дополнительно содержит монитор заднего фона, помещенный позади участника, для отображения фонового изображения.

2. Система по п.1, в которой: устройство отображения видеоизображения содержит по меньшей мере одну плоскую панель дисплея; или устройство отображения видеоизображения содержит проекционный экран и по меньшей мере один проектор, причем проекционный экран представляет собой непрозрачный проекционный экран, или полупрозрачный проекционный экран, или прозрачный проекционный экран.

3. Система по п.2, в которой: проекционный экран размещен как передняя поверхность меха камеры напротив участника; или проекционный экран развернут на столе для конференций напротив участника и может быть автоматически или вручную поднят или опущен в стол для конференций.

4. Система по п.2, в которой проекционный экран представляет собой прозрачный проекционный экран, и панорамная камера расположена позади проекционного экрана на высоте, эквивалентной или аналогичной линии взора участника.

5. Система по п.4, в которой панорамная камера расположена позади прозрачного проекционного экрана, и система дополнительно содержит модуль синхронизации, выполненный с возможностью вывода сигналов синхронизации для управления панорамной камерой и проектором так, чтобы они работали поочередно.

6. Система по п.2, дополнительно содержащая полуотражающее, полупрозрачное зеркало, причем это полуотражающее, полупрозрачное зеркало установлено перед мехом камеры системы, при этом проекционный экран расположен сбоку и выше полуотражающего, полупрозрачного зеркала и имеется определенный угол между проекционным экраном и полуотражающим, полупрозрачным зеркалом, при этом полуотражающее, полупрозрачное зеркало формирует виртуальное изображение панорамного изображения, представляемого устройством отображения.

7. Система по п.2, в которой задний фон, который создает точный эффект глубины, развернут позади прозрачного проекционного экрана или позади виртуального изображения, формируемого полуотражающим, полупрозрачным зеркалом, и темный задний фон развернут позади участника.

8. Система по п.2, в которой устройство отображения видеоизображения содержит проекционный экран и по меньшей мере один проектор, при этом система дополнительно содержит прозрачный оптически проводящий компонент, который помещен рядом с участником перед проекционным экраном.

9. Система по п.2, в которой устройство отображения видеоизображения содержит проекционный экран и по меньшей мере один проектор, при этом система дополнительно содержит линейный поляризатор, который помещен перед проектором и объективом панорамной камеры, причем угол поляризации поляризатора проектора отличается от угла поляризации поляризатора панорамной камеры.

10. Система по любому из пп.1-9, в которой проектор заднего фона и монитор заднего фона работают поочередно с панорамной камерой под управлением модуля синхронизации системы.

11. Система по п.9, в которой линейный поляризатор добавлен перед проектором заднего фона и объективом панорамной камеры, соответственно, и угол поляризации поляризатора проектора заднего фона отличается от угла поляризации поляризатора панорамной камеры.

12. Система по п.9, в которой линейный поляризатор добавлен перед монитором заднего фона и объективом панорамной камеры, соответственно, и угол поляризации поляризатора монитора заднего фона отличается от угла поляризации поляризатора панорамной камеры.

13. Система по любому одному из пп.1-9, в которой упомянутые одна или более камер объекта содержат множество камер объекта, составляющих стереоскопическую камеру для сбора информации трехмерного (3D) изображения объекта, который должен быть представлен.

14. Система по любому одному из пп.1-9, в которой устройство сбора звука представляет собой по меньшей мере одну совокупность микрофонов, и проигрыватель звуков представляет собой по меньшей мере одну совокупность громкоговорителей.

15. Система по любому одному из пп.1-9, дополнительно содержащая модуль коррекции/совмещения изображений, причем модуль коррекции/совмещения изображений на локальном конце выполнен с возможностью геометрической коррекции и совмещения кромок в отношении изображений, передаваемых из удаленного конца, при этом изображения, в отношении которых выполнены геометрическая коррекция и совмещение кромок, отображаются через устройство отображения видеоизображений на локальном конце.

16. Система по п.15, в которой устройство отображения содержит два или более проекторов, при этом модуль коррекции/совмещения изображений дополнительно выполнен с возможностью разделения панорамного изображения на изображения, количество которых равно количеству проекторов, и вывода разделенных и обработанных изображений в проекторы соответственным образом для отображения.

17. Система по любому из пп.1-9, в которой устройство обмена аудио-видеоданными принимает информацию о местоположении удаленного участника, передаваемую устройством обмена аудио-видеоданными на удаленном конце, причем информация о местоположении детектируется устройством обмена аудио-видеоданными на удаленном конце через устройство сбора звука на удаленном конце, при этом проигрыватель звуков восстанавливает и воспроизводит звуковое поле принимаемого звука в соответствии с информацией о местоположении.

18. Способ дистанционного присутствия, содержащий этапы, на которых:
получают локальные панорамные изображения и звуки, снимают изображения сцены через панорамную камеру с разных перспектив и объединяют изображения с низким разрешением, снятые панорамной камерой с разных перспектив, в панорамное изображение с высоким разрешением через модуль формирования мозаичного изображения;
передают локальные панорамные изображения и звуки в удаленный конец через сеть для отображения и воспроизведения;
собирают видеоданные объекта, который требуется представлять в сцене, через одну или более камер объекта, передают эти видеоданные на удаленный конец через сеть и отображают эти видеоданные через вспомогательное устройство отображения; и
проецируют, посредством проектора заднего фона, фоновое изображение на черный фон, расположенный позади участника, или
отображают фоновое изображение посредством монитора заднего фона, помещенного позади участника.

19. Способ по п.18, в котором упомянутые одна или более камер объекта содержат множество камер объекта, составляющих стереоскопическую камеру для сбора информации трехмерного (3D) изображения объекта, который должен быть представлен.

20. Способ по п.18, дополнительно содержащий, перед отображением панорамного изображения, этап, на котором выполняют геометрическую коррекцию и совмещение кромок в отношении панорамного изображения.

21. Способ по п.18, дополнительно содержащий этапы, на которых: принимают информацию о местоположении удаленного участника; и восстанавливают и воспроизводят звуковое поле для принимаемых звуков в соответствии с информацией о местоположении.