RU2015101179A

RU2015101179A - Способ и система отображения масштабных сцен в режиме реального времени

Info

Publication number: RU2015101179A
Application number: RU2015101179A
Authority: RU
Inventors: Владимир Викторович Уфнаровский; Михаил Николаевич Смирнов; Николай Александрович Пенкрат; Алексей Алексеевич Гориловский; Владимир Алексеевич Кочерыжкин; Иван Александрович Богданюк; Сергей Игоревич ФЕДОРЕНКО; Евгений Игоревич Бочаров
Original assignee: Общество с ограниченной ответственностью "Системы Компьютерного зрения"
Priority date: 2015-01-16
Filing date: 2015-01-16
Publication date: 2016-08-10
Also published as: RU2606875C2

Abstract

1. Способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги:- получают видеопоток кадров из набора видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях;- проводят реконструкцию динамических элементов 3D модели на основе полученного видеопотока кадров;- формируют и накладывают текстуры объектов на 3D модель;- выставляют ракурсы отображения 3D модели;- проводят рендеринг 3D модели в соответствии с конфигурацией устройств отображения;- выводят результат рендеринга на, по меньшей мере, на одно устройство отображения.2. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят их комбинирование для получения кадра объекта целиком.3. Способ по п. 1, характеризующийся тем, что для набора видеокамер известно их взаимное расположение и направление съемки в любой момент времени.4. Способ по п. 1, характеризующийся тем, что направление съемки видеокамер выбирается исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.5. Способ по п. 1, характеризующийся тем, что в наборе видеокамер выделяют контролирующие видеокамеры.6. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры в наборе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.7. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры могут регистрировать изображения последовательно с разными настройками.8. Способ по п. 1, характеризующийся тем, что возможна одновременная работа, по меньшей мере, двух видеокамер с различными параметрами и настройками объективов,

Claims

1. Способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги:

- получают видеопоток кадров из набора видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях;

- проводят реконструкцию динамических элементов 3D модели на основе полученного видеопотока кадров;

- формируют и накладывают текстуры объектов на 3D модель;

- выставляют ракурсы отображения 3D модели;

- проводят рендеринг 3D модели в соответствии с конфигурацией устройств отображения;

- выводят результат рендеринга на, по меньшей мере, на одно устройство отображения.

2. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят их комбинирование для получения кадра объекта целиком.

3. Способ по п. 1, характеризующийся тем, что для набора видеокамер известно их взаимное расположение и направление съемки в любой момент времени.

4. Способ по п. 1, характеризующийся тем, что направление съемки видеокамер выбирается исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.

5. Способ по п. 1, характеризующийся тем, что в наборе видеокамер выделяют контролирующие видеокамеры.

6. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры в наборе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.

7. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры могут регистрировать изображения последовательно с разными настройками.

8. Способ по п. 1, характеризующийся тем, что возможна одновременная работа, по меньшей мере, двух видеокамер с различными параметрами и настройками объективов, например, фокусное расстояние, диафрагма, не ограничиваясь этим.

9. Способ по п. 1, характеризующийся тем, что возможна одновременная работа видеокамер, работающих в различном разрешении и с различной частотой кадров.

10. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят стыковку изображений, по меньшей мере, двух камер для получения панорамного вида и/или для получения изображения объекта, который не снимается одной камерой.

11. Способ по п. 1, характеризующийся тем, что составляют статическую и/или динамическую модель на основе данных, полученных от видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях.

12. Способ по п. 1, характеризующийся тем, что предварительно составляют статическую 3D модель сцены в другом приложении, предназначенном для 3D моделирования.

13. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, отделяют объекты от их фона на основании данных о цветах и яркости объектов или фона для моделирования разных планов сцены.

14. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, выделяют объекты с использованием данных с нескольких видеокамер при помощи алгоритмов стереозрения.

15. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, получают карты глубин всей или части сцены при помощи алгоритмов стереозрения.

16. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель, проводят комбинирование фрагментов текстур из нескольких камер.

17. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель, совмещают текстуры одного объекта, по меньшей мере, двух камер в одну текстуру объекта.

18. Способ по п. 1, характеризующийся тем, что при выставлении ракурсов отображения модели, доступен ручной или автоматический режим выбора.

19. Способ по п. 18, характеризующийся тем, что в автоматическом режиме ракурс задается на основе данных от внешних датчиков.

20. Способ по п. 18, характеризующийся тем, что в ручном режиме, пользователь самостоятельно меняет ракурс в процессе работы системы в конфигурируемых пределах ограничений модели.

21. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели, проводят рендеринг для, по меньшей мере, двух ракурсов одновременно.

22. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели, проводят рендеринг используя существующие технологии рендеринга, например, Z-буфер, сканлайн, трассировка лучей, глобальное освещение, но, не ограничиваясь.

23. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, добавляют в созданную модель сцены дополнительные элементы, которые отсутствовали на первоначальных кадрах изображений.

24. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, изменяют существующие элементы сцены.

25. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, добавляют смоделированные дополнительно погодные явления.

26. Система отображения масштабных сцен в режиме реального времени, включающая:

- одну или более групп видеокамер, синхронизированных по параметрам съемки, при этом видеокамеры выполнены с возможностью передачи данных на компьютерную систему и синхронизированы по параметрам съемки при помощи мастер-видеокамеры;

- по крайней мере, одну мастер-видеокамеру, в каждой из вышеупомянутых групп видеокамер, выполненную с возможностью передачи данных на компьютерную систему;

- компьютерную систему, включающую:

(i) одно или более устройств обработки команд;

(ii) одно или более устройств хранения данных;

(iii) одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более устройстве обработки команд, причем одна или более программ включает инструкции для выполнения способа по п. 1.

27. Система по п. 26, дополнительно включающая, по крайней мере, одну отдельную видеокамеру для получения вида сцены с независимыми параметрами съемки, выполненную с возможностью передачи данных на компьютерную систему.

28. Система по п. 26, дополнительно включающая, по крайней мере, один дисплей для отображения результирующего изображения.

29. Система по п.26, дополнительно включающая, по крайней мере, одну камеру глубины для получения карты глубин при реконструкции динамических элементов трехмерной модели.