RU2015101179A - Способ и система отображения масштабных сцен в режиме реального времени - Google Patents
Способ и система отображения масштабных сцен в режиме реального времени Download PDFInfo
- Publication number
- RU2015101179A RU2015101179A RU2015101179A RU2015101179A RU2015101179A RU 2015101179 A RU2015101179 A RU 2015101179A RU 2015101179 A RU2015101179 A RU 2015101179A RU 2015101179 A RU2015101179 A RU 2015101179A RU 2015101179 A RU2015101179 A RU 2015101179A
- Authority
- RU
- Russia
- Prior art keywords
- cameras
- model
- display
- scene
- frames
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
1. Способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги:- получают видеопоток кадров из набора видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях;- проводят реконструкцию динамических элементов 3D модели на основе полученного видеопотока кадров;- формируют и накладывают текстуры объектов на 3D модель;- выставляют ракурсы отображения 3D модели;- проводят рендеринг 3D модели в соответствии с конфигурацией устройств отображения;- выводят результат рендеринга на, по меньшей мере, на одно устройство отображения.2. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят их комбинирование для получения кадра объекта целиком.3. Способ по п. 1, характеризующийся тем, что для набора видеокамер известно их взаимное расположение и направление съемки в любой момент времени.4. Способ по п. 1, характеризующийся тем, что направление съемки видеокамер выбирается исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.5. Способ по п. 1, характеризующийся тем, что в наборе видеокамер выделяют контролирующие видеокамеры.6. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры в наборе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.7. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры могут регистрировать изображения последовательно с разными настройками.8. Способ по п. 1, характеризующийся тем, что возможна одновременная работа, по меньшей мере, двух видеокамер с различными параметрами и настройками объективов,
Claims (29)
1. Способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги:
- получают видеопоток кадров из набора видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях;
- проводят реконструкцию динамических элементов 3D модели на основе полученного видеопотока кадров;
- формируют и накладывают текстуры объектов на 3D модель;
- выставляют ракурсы отображения 3D модели;
- проводят рендеринг 3D модели в соответствии с конфигурацией устройств отображения;
- выводят результат рендеринга на, по меньшей мере, на одно устройство отображения.
2. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят их комбинирование для получения кадра объекта целиком.
3. Способ по п. 1, характеризующийся тем, что для набора видеокамер известно их взаимное расположение и направление съемки в любой момент времени.
4. Способ по п. 1, характеризующийся тем, что направление съемки видеокамер выбирается исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.
5. Способ по п. 1, характеризующийся тем, что в наборе видеокамер выделяют контролирующие видеокамеры.
6. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры в наборе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.
7. Способ по п. 1, характеризующийся тем, что, по меньшей мере, две камеры могут регистрировать изображения последовательно с разными настройками.
8. Способ по п. 1, характеризующийся тем, что возможна одновременная работа, по меньшей мере, двух видеокамер с различными параметрами и настройками объективов, например, фокусное расстояние, диафрагма, не ограничиваясь этим.
9. Способ по п. 1, характеризующийся тем, что возможна одновременная работа видеокамер, работающих в различном разрешении и с различной частотой кадров.
10. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер, проводят стыковку изображений, по меньшей мере, двух камер для получения панорамного вида и/или для получения изображения объекта, который не снимается одной камерой.
11. Способ по п. 1, характеризующийся тем, что составляют статическую и/или динамическую модель на основе данных, полученных от видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях.
12. Способ по п. 1, характеризующийся тем, что предварительно составляют статическую 3D модель сцены в другом приложении, предназначенном для 3D моделирования.
13. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, отделяют объекты от их фона на основании данных о цветах и яркости объектов или фона для моделирования разных планов сцены.
14. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, выделяют объекты с использованием данных с нескольких видеокамер при помощи алгоритмов стереозрения.
15. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели, получают карты глубин всей или части сцены при помощи алгоритмов стереозрения.
16. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель, проводят комбинирование фрагментов текстур из нескольких камер.
17. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель, совмещают текстуры одного объекта, по меньшей мере, двух камер в одну текстуру объекта.
18. Способ по п. 1, характеризующийся тем, что при выставлении ракурсов отображения модели, доступен ручной или автоматический режим выбора.
19. Способ по п. 18, характеризующийся тем, что в автоматическом режиме ракурс задается на основе данных от внешних датчиков.
20. Способ по п. 18, характеризующийся тем, что в ручном режиме, пользователь самостоятельно меняет ракурс в процессе работы системы в конфигурируемых пределах ограничений модели.
21. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели, проводят рендеринг для, по меньшей мере, двух ракурсов одновременно.
22. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели, проводят рендеринг используя существующие технологии рендеринга, например, Z-буфер, сканлайн, трассировка лучей, глобальное освещение, но, не ограничиваясь.
23. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, добавляют в созданную модель сцены дополнительные элементы, которые отсутствовали на первоначальных кадрах изображений.
24. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, изменяют существующие элементы сцены.
25. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга, добавляют смоделированные дополнительно погодные явления.
26. Система отображения масштабных сцен в режиме реального времени, включающая:
- одну или более групп видеокамер, синхронизированных по параметрам съемки, при этом видеокамеры выполнены с возможностью передачи данных на компьютерную систему и синхронизированы по параметрам съемки при помощи мастер-видеокамеры;
- по крайней мере, одну мастер-видеокамеру, в каждой из вышеупомянутых групп видеокамер, выполненную с возможностью передачи данных на компьютерную систему;
- компьютерную систему, включающую:
(i) одно или более устройств обработки команд;
(ii) одно или более устройств хранения данных;
(iii) одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более устройстве обработки команд, причем одна или более программ включает инструкции для выполнения способа по п. 1.
27. Система по п. 26, дополнительно включающая, по крайней мере, одну отдельную видеокамеру для получения вида сцены с независимыми параметрами съемки, выполненную с возможностью передачи данных на компьютерную систему.
28. Система по п. 26, дополнительно включающая, по крайней мере, один дисплей для отображения результирующего изображения.
29. Система по п.26, дополнительно включающая, по крайней мере, одну камеру глубины для получения карты глубин при реконструкции динамических элементов трехмерной модели.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2015101179A RU2606875C2 (ru) | 2015-01-16 | 2015-01-16 | Способ и система отображения масштабных сцен в режиме реального времени |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2015101179A RU2606875C2 (ru) | 2015-01-16 | 2015-01-16 | Способ и система отображения масштабных сцен в режиме реального времени |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2015101179A true RU2015101179A (ru) | 2016-08-10 |
RU2606875C2 RU2606875C2 (ru) | 2017-01-10 |
Family
ID=56612538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015101179A RU2606875C2 (ru) | 2015-01-16 | 2015-01-16 | Способ и система отображения масштабных сцен в режиме реального времени |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2606875C2 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274353A (zh) * | 2023-11-20 | 2023-12-22 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3547704A1 (en) | 2018-03-30 | 2019-10-02 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
RU188093U1 (ru) * | 2018-10-31 | 2019-03-28 | Общество с ограниченной ответственностью "Биганто" | Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства |
US20210183138A1 (en) * | 2019-12-13 | 2021-06-17 | Sony Corporation | Rendering back plates |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
RU2421933C2 (ru) * | 2009-03-24 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ формирования и воспроизведения трехмерного видеоизображения |
US20140015832A1 (en) * | 2011-08-22 | 2014-01-16 | Dmitry Kozko | System and method for implementation of three dimensional (3D) technologies |
-
2015
- 2015-01-16 RU RU2015101179A patent/RU2606875C2/ru active IP Right Revival
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274353A (zh) * | 2023-11-20 | 2023-12-22 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
CN117274353B (zh) * | 2023-11-20 | 2024-02-20 | 光轮智能(北京)科技有限公司 | 合成图像数据生成方法、控制装置及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
RU2606875C2 (ru) | 2017-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
US10417829B2 (en) | Method and apparatus for providing realistic 2D/3D AR experience service based on video image | |
KR102083767B1 (ko) | 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체 | |
US10755675B2 (en) | Image processing system, image processing method, and computer program | |
CN107003600A (zh) | 包括观察大场景的多个数字照相机的系统 | |
CN105282421B (zh) | 一种去雾图像获取方法、装置及终端 | |
CA2927046A1 (en) | Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing | |
JP7489960B2 (ja) | 画像の合成のための方法及びデータ処理システム | |
MX2018012147A (es) | Control de exposicion de camara de realidad virtual de 360 grados de tres dimensiones. | |
KR102067823B1 (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
CN108833877B (zh) | 图像处理方法及装置、计算机装置及可读存储介质 | |
RU2015101179A (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
JP7461504B2 (ja) | モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体 | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
US20230063215A1 (en) | Information processing apparatus, information processing method, and program | |
CN103747236A (zh) | 结合人眼跟踪的立体视频处理系统及方法 | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
US10244220B2 (en) | Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images | |
US20160037148A1 (en) | 3d-mapped video projection based on on-set camera positioning | |
JP7500512B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
EP3665656A1 (en) | Three-dimensional video processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200117 |
|
NF4A | Reinstatement of patent |
Effective date: 20201106 |