RU2715797C1 - Способ и устройство для синтеза объектов виртуальной реальности - Google Patents
Способ и устройство для синтеза объектов виртуальной реальности Download PDFInfo
- Publication number
- RU2715797C1 RU2715797C1 RU2018143709A RU2018143709A RU2715797C1 RU 2715797 C1 RU2715797 C1 RU 2715797C1 RU 2018143709 A RU2018143709 A RU 2018143709A RU 2018143709 A RU2018143709 A RU 2018143709A RU 2715797 C1 RU2715797 C1 RU 2715797C1
- Authority
- RU
- Russia
- Prior art keywords
- depth information
- virtual object
- target
- terminal device
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000005094 computer simulation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к способу и устройству для синтеза объектов виртуальной реальности. Технический результат заключается в уменьшении вычислений в процессе наложения виртуального объекта на изображение, захваченное терминальным устройством в реальном времени, получении при этом корректного отображения виртуального объекта. Обнаруживают целевой объект на изображении, захваченном терминальным устройством. В режиме синтеза информации о глубине получают информацию о глубине для целевого объекта съемочным блоком терминального устройства. Получают информацию о глубине для целевого объекта. Осуществляют наложение виртуального объекта на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта. Объекты с различной информацией о глубине имеют разные окклюзионные связи, после обнаружения целевого объекта виртуальный объект накладывают на изображение, захваченное терминальным устройством, в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта. 2 н. и 8 з.п. ф-лы, 6 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
[0001] Изобретение относится к технической области обработки изображений и, в частности, относится к способу и устройству для синтеза объектов виртуальной реальности.
УРОВЕНЬ ТЕХНИКИ
[0002] Технология дополненной реальности (AR, Augmented Reality) - это технология, которая улучшает восприятие пользователем реального мира посредством информации, предоставляемой компьютерной системой. Она может применять виртуальную информацию к реальному миру и накладывать виртуальные объекты, создаваемые компьютерами, на реальные сцены, тем самым реализуя усовершенствование реальности.
[0003] Способ синтеза объектов виртуальной реальности на известном уровне техники может в некоторых случаях корректно управлять окклюзионными связями между виртуальными и реальными объектами, однако он имеет проблемы большого количества вычислений и непригоден для терминальных устройств, таких как мобильный телефон или планшетный компьютер.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] Для преодоления проблем существующего уровня техники настоящее изобретение предлагает способ и устройство для синтеза объектов виртуальной реальности, которые могут корректно отображать виртуальный объект на изображении, захваченном терминальным устройством в реальном времени.
[0005] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предлагается способ синтеза объектов виртуальной реальности, применяемый к терминальному устройству, причем способ включает в себя: обнаружение целевого объекта на изображении, захваченном терминальным устройством; получение информации о глубине для целевого объекта в режиме синтеза информации о глубине с помощью съемочного блока терминального устройства, причем режим синтеза информации о глубине используется для наложения виртуального объекта, генерируемого с помощью компьютерного моделирования, на изображение, а информация о глубине для целевого объекта используется для указания расстояния между целевым объектом и терминальным устройством; получение информации о глубине для виртуального объекта; и наложение виртуального объекта на изображение в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта.
[0006] В возможном способе реализации наложение виртуального объекта на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта содержит: когда информация о глубине для целевого объекта меньше информации о глубине для виртуального объекта, наложение части виртуального объекта, которая не заслонена целевым объектом, на изображение.
[0007] В возможном способе реализации наложение виртуального объекта на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта содержит: когда информация о глубине для целевого объекта больше или равна информации о глубине для виртуального объекта, наложение виртуального объекта на изображение.
[0008] В возможном способе реализации съемочный блок терминального устройства содержит по меньшей мере две камеры, а получение информации о глубине для целевого объекта с помощью съемочного блока терминального устройства включает в себя: определение информации о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
[0009] В возможном способе реализации получение информации о глубине для виртуального объекта включает в себя: получение информации о позиции для позиции виртуального объекта; и определение информации о глубине для виртуального объекта в соответствии с информацией о позиции.
[0010] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предлагается устройство для синтеза объектов виртуальной реальности, применяемое к терминальному устройству, причем упомянутое устройство содержит: модуль обнаружения объекта, выполненный с возможностью обнаруживать целевой объект на изображении, захваченном терминальным устройством; первый модуль получения информации, выполненный с возможностью получать информацию о глубине для целевого объекта с помощью съемочного блока терминального устройства в режиме синтеза информации о глубине, причем режим синтеза информации о глубине используется для наложения виртуального объекта, генерируемого с помощью компьютерного моделирования, на изображение; а информация о глубине для целевого объекта используется для указания расстояния между целевым объектом и терминальным устройством; второй модуль получения информации, выполненный с возможностью получать информацию о глубине для виртуального объекта; и модуль наложения, выполненный с возможностью накладывать виртуальный объект на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта.
[0011] В возможном способе реализации модуль наложения содержит: первый подмодуль наложения, выполненный с возможностью, когда информация о глубине для целевого объекта меньше информации о глубине для виртуального объекта, накладывать часть виртуального объекта, которая не заслонена целевым объектом, на изображение.
[0012] В возможном способе реализации модуль наложения дополнительно содержит: второй подмодуль наложения, выполненный с возможностью, когда информация о глубине для целевого объекта больше или равна информации о глубине для виртуального объекта, накладывать виртуальный объект на изображение.
[0013] В возможном способе реализации первый модуль получения информации содержит: первый подмодуль определения, выполненный с возможностью определять информацию о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
[0014] В возможном варианте осуществления второй модуль получения информации содержит: подмодуль получения, выполненный с возможностью получать информацию о позиции для позиции виртуального объекта, и второй подмодуль определения, выполненный с возможностью определять информацию о глубине для виртуального объекта в соответствии с информацией о позиции.
[0015] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предлагается устройство для синтеза объектов виртуальной реальности, содержащее процессор и память для хранения команд, исполняемых процессором, причем процессор выполнен с возможностью выполнять описанный выше способ.
[0016] В соответствии с четвертым аспектом вариантов осуществления настоящего изобретения предлагается машиночитаемый носитель данных, содержащий сохраненные на нем команды, которые при выполнении процессором выполняют описанный выше способ.
[0017] Технические решения, предлагаемые вариантами осуществления настоящего изобретения, могут давать следующие положительные эффекты: объекты с различной информацией о глубине имеют различные окклюзионные связи, в вариантах осуществления настоящего изобретения после обнаружения целевого объекта терминальное устройство накладывает виртуальный объект на изображение, захваченное терминальным устройством, в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта; таким образом, можно определить способ наложения на основе результата сравнения информации о глубине, когда обнаружен целевой объект. В сравнении с непосредственным наложением виртуального объекта без сравнения информации о глубине объекта и информации о глубине для виртуального объекта или наложением виртуального объекта после сравнения информации о глубине всех объектов и информации о глубине для виртуального объекта, технические решения в вариантах осуществления настоящего изобретения могут сократить объем вычислений во время процесса наложения и могут быть успешно применены к приложениям AR в терминальных устройствах. Кроме того, в вариантах осуществления настоящего изобретения используют съемочный блок терминального устройства для получения информации о глубине для целевого объекта, что является полезным для применения в терминальном устройстве. В результате, способ и устройство для синтеза объектов виртуальной реальности в соответствии с различными аспектами настоящего изобретения могут корректно отображать виртуальный объект на изображении, захваченном терминальным объектом в реальном времени.
[0018] Следует понимать, что как приведенное выше общее описание, так и последующее подробное описание являются только иллюстративными и не ограничивают настоящее изобретение.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0019] Сопроводительные чертежи, которые включены в это описание и составляют его часть, иллюстрируют варианты осуществления, соответствующие настоящему изобретению, и вместе с описанием служат для объяснения принципов настоящего изобретения.
[0020] Фиг. 1 представляет блок-схему способа синтеза объектов виртуальной реальности в соответствии с примером осуществления.
[0021] Фиг. 2 представляет блок-схему способа синтеза объектов виртуальной реальности в соответствии с примером осуществления.
[0022] Фиг. 3 представляет структурную схему устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления.
[0023] Фиг. 4 представляет структурную схему устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления.
[0024] Фиг. 5 представляет структурную схему устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления.
[0025] Фиг. 6 представляет структурную схему устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0026] Теперь будет сделана подробная ссылка на варианты осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. Последующее описание относится к сопроводительным чертежам, на которых одинаковые номера на разных чертежах представляют одни и те же или аналогичные элементы, если не указано иное. Реализации, изложенные в последующем описании примеров осуществления, не представляют собой все реализации, соответствующие изобретению, а являются только примерами устройств и способов, соответствующих аспектам, которые относятся к изобретению, как оно описано в прилагаемой формуле изобретения.
[0027] Фиг. 1 представляет блок-схему способа синтеза объектов виртуальной реальности в соответствии с примером осуществления. Как показано на фиг. 1, способ синтеза объектов виртуальной реальности применяется к терминальному устройству, такому как мобильный телефон, планшетный компьютер и т.д. Способ синтеза объектов виртуальной реальности включает в себя следующие шаги.
[0028] На шаге S11 обнаруживают целевой объект на изображении, захваченном терминальным устройством.
[0029] Изображение, захваченное терминальным устройством, может быть изображением, соответствующим реальной сцене, и это изображение может быть захвачено съемочным блоком терминального устройства. В возможном способе реализации терминальное устройство может захватывать изображение в реальном времени или терминальное устройство может непрерывно захватывать множество изображений. Следует понимать, что множество изображений в реальном времени, непрерывно захватываемых терминальным устройством, может представлять собой видео.
[0030] Целевым объектом может быть реальный объект в реальной сцене, например, реальный человек или реальный объект. Целевым объектом может быть определенный конкретный объект в реальной сцене или определенный тип объектов в реальной сцене. Например, когда в реальной сцене присутствует множество людей, целевым объектом может быть определенный человек среди множества людей в реальной сцене, или им могут быть все люди в реальной сцене. В примере целевым объектом может быть объект, который имеет окклюзионную связь с реальным объектом. Целевой объект не ограничен в настоящем изобретении.
[0031] В возможном способе реализации терминальное устройство может распознавать и обнаруживать целевой объект на изображении с помощью технологии распознавания изображений известного уровня техники.
[0032] В возможном способе реализации целевой объект может перемещаться по изображению, захваченному терминальным устройством, например, человек может перемещаться в реальной сцене. В возможном способе реализации целевой объект может войти в изображение или выйти из него, например, человек входит в реальную сцену или покидает реальную сцену.
[0033] На шаге S12 в режиме синтеза информации о глубине получают информацию о глубине для целевого объекта с помощью съемочного блока терминального устройства, причем режим синтеза информации о глубине используют для наложения виртуального объекта, генерируемого с помощью компьютерного моделирования, на изображение, и информацию о глубине для целевого объекта используют для указания расстояния между целевым объектом и терминальным устройством.
[0034] Технология AR может накладывать виртуальные объекты на реальные сцены. Виртуальный объект может использоваться для указания объекта, генерируемого с помощью компьютерного моделирования, такого как виртуальные люди, объекты и т.д. Виртуальный объект может быть математической моделью, созданной компьютером, и эта математическая модель может включать в себя данные, представляющие особенности виртуального объекта, такие как контуры и текстуры. Такие данные могут быть извлечены на основе реальных объектов, таких как реальные люди, объекты и т.д., или могут быть искусственно созданы в соответствии с потребностью. Можно воспроизвести изображение на основе данных и представить виртуальный объект в реальной сцене. Позиция виртуального объекта может быть изменена терминальным устройством, так что виртуальный объект будет перемещаться по изображению в соответствии с реальной сценой. В настоящем раскрытии способы генерирования виртуальных объектов не ограничены.
[0035] В примере виртуальный объект может быть сгенерирован локально терминальным устройством или получен от других устройств. Терминальное устройство может настраивать виртуальный объект локально, после того как виртуальный объект получают от других устройств.
[0036] В примере терминальное устройство может непосредственно отображать виртуальный объект, когда целевой объект не обнаружен или перед отображением захваченного изображения. Например, терминальное устройство может отображать виртуальный объект выше уровня, на котором находится изображение. Таким образом, терминальное устройство может быстро и удобно накладывать виртуальный объект на реальную сцену. Настоящее изобретение не ограничивает работу, когда целевой объект не обнаружен.
[0037] В примере терминальное устройство может запустить режим синтеза информации о глубине, когда обнаружен целевой объект. Режим синтеза информации о глубине может использоваться для наложения виртуального объекта на изображение. Например, режим синтеза информации о глубине может определять окклюзионную связь между виртуальным объектом и целевым объектом на основе информации о глубине, а затем определять способ наложения виртуального объекта на изображение в соответствии с окклюзионной связью. В режиме синтеза информации о глубине синтез виртуальных объектов в терминальном устройстве является относительно более реалистичным. Когда целевой объект обнаружен, на изображении, захваченном терминальным устройством, может быть объект, который имеет окклюзионную связь с виртуальным объектом. В этом случае неправильная окклюзия может стать причиной плохого эффекта синтеза, и некоторые сценарии не могут быть реализованы. Поэтому терминальное устройство может начать режим синтеза информации о глубине для достижения относительно более реалистичного синтеза.
[0038] В примере целевым объектом является человек, а виртуальным объектом является стул. Когда получают информацию о человеке, может быть активирован режим синтеза информации о глубине, тем самым реализуя сцену, в которой человек стоит перед стулом или сидит на стуле и т.д.
[0039] Информация о глубине для целевого объекта используется для указания расстояния между целевым объектом и терминальным устройством. Реалистичный объективный мир представляет собой трехмерное пространство, и он может стать двухмерным изображением, которое теряет информацию о трехмерной глубине после формирования изображения съемочным блоком. Следовательно, терминальное устройство может получать информацию о глубине для целевого объекта посредством съемочного блока.
[0040] В возможном способе реализации съемочный блок терминального устройства содержит по меньшей мере две камеры, и терминальное устройство может определять информацию о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
[0041] Если, в качестве примера, съемочный блок терминального устройства, содержит две камеры, терминальное устройство может определять информацию о глубине для целевого объекта в соответствии с углами между двумя соединительными линиями между целевым объектом и двумя камерами и соединительной линией между двумя камерами и расстоянием между двумя камерами. Вышеупомянутое является только одним примером определения информации о глубине для целевого объекта, и терминальное устройство может также определять информацию о глубине для целевого объекта в соответствии с другими способами известного уровня техники.
[0042] На шаге S13 получают информацию о глубине для виртуальной информации.
[0043] Терминальное устройство может размещать виртуальную модель, соответствующую виртуальному объекту, в различные позиции захваченного изображения и может перемещать позицию виртуальной модели. Виртуальный объект не является объектом, реально существующим на изображении, захваченном терминальным устройством, и он соответствует одной виртуальной модели. Виртуальная модель может быть названа виртуальным объектом при ее отображении на изображении.
[0044] В возможном способе реализации, информация о глубине для виртуального объекта может быть фиксированной. Если, в качестве примера, виртуальная модель генерирована локально терминальным устройством, терминальное устройство может записывать соответствующую связь между виртуальной моделью и информацией о глубине в процессе генерирования виртуальной модели. При этом, когда виртуальная модель перемещается на изображении, информация о глубине виртуальной модели остается неизменной. В возможном способе реализации терминальное устройство может получать информацию о глубине, соответствующую виртуальному объекту, в соответствии с соответствующей связью между виртуальной моделью и информацией о глубине.
[0045] В возможном способе реализации информация о глубине для виртуального объекта может изменяться при перемещении виртуальной модели на изображении. Если, в качестве примера, виртуальная модель генерирована локально терминальным устройством, терминальное устройство может записывать информацию о глубине в информацию о позиции виртуальной модели в процессе генерирования виртуальной модели и может использовать информацию о позиции виртуальной модели в качестве информации о позиции виртуального объекта. При этом, когда виртуальная модель перемещается на изображении, информация о глубине виртуальной модели связана с позицией виртуальной модели на изображении. В возможном способе реализации терминальное устройство может получать информацию о позиции виртуального объекта и определять информацию о глубине для виртуального объекта в соответствии с информацией о позиции.
[0046] На шаге S14 виртуальный объект накладывается на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта.
[0047] Понятно, что чем больше расстояние между объектом на изображении и съемочным блоком терминального устройства, тем больше информация о глубине. Объект с относительно большой информацией о глубине может быть заслонен объектом, имеющим относительно небольшую информацию о глубине, и только часть объекта, имеющую относительно большую информацию о глубине, может быть отображена на захваченном изображении терминального устройства.
[0048] Фиг. 2 представляет блок-схему способа синтеза объектов виртуальной реальности в соответствии с примером осуществления. Как показано на фиг. 2, шаг S14 включает в себя следующие шаги.
[0049] На шаге S141 определяют, меньше ли информация о глубине для целевого объекта, чем информация о глубине для виртуального объекта. Когда информация о глубине для целевого объекта меньше, чем информация о глубине для виртуального объекта, тогда выполняют шаг S142; в противном случае выполняют шаг S143.
[0050] На шаге S142 часть виртуального объекта, которая не заслонена целевым объектом, накладывается на изображение.
[0051] В возможном способе реализации может быть получена позиция пикселя для каждой пиксельной точки целевого объекта и позиция пикселя для каждой пиксельной точки виртуального объекта. Когда и пиксельная точка целевого объекта, и пиксельная точки виртуального объекта находятся в одной и той же позиции пикселя, пиксельная точка виртуального объекта может не отображаться в этой позиции. Когда в одной позиции пикселя отсутствует пиксельная точка целевого объекта, а пиксельная точка виртуального объекта присутствует, пиксельная точка виртуального объекта может быть нанесена в эту позицию.
[0052] В примере целевым объектом является человек, а виртуальным объектом является стул, и информация о глубине для человека меньше, чем информация о глубине для стула. Терминальное устройство может накладывать часть стула, которая не заслоняется человеком, на изображение. Таким образом, может быть представлена сцена, в которой человек стоит перед стулом или сидит на стуле.
[0053] На шаге S143 виртуальный объект накладывают на изображение.
[0054] В примере целевым объектом является человек, а виртуальным объектом является стул, и информация о глубине для человека больше или равна информации о глубине для стула. Терминальное устройство может накладывать стул на изображение. Таким образом, можно представить сцену, в которой человек стоит за стулом, и тому подобное.
[0055] Окклюзионные связи объектов, имеющих различную информацию о глубине, различны. В этом варианте осуществления, когда обнаружен целевой объект, терминальное устройство накладывает виртуальный объект на изображение, захваченное терминальным устройством, на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта. Способ наложения может быть определен в соответствии с результатом сравнения информации о глубине, когда обнаружен целевой объект, вместо непосредственного наложения без сравнения или наложения после сравнения информации о глубине всех объектов. Таким образом, способ может уменьшить объем вычислений во время процесса наложения и может быть лучше применим к приложениям AR в терминальных устройствах. Кроме того, в вариантах осуществления настоящего изобретения используют съемочный блок терминального устройства для получения информации о глубине для целевого объекта, что является полезным для применения в терминальном устройстве. Следовательно, способ синтеза объектов виртуальной реальности в соответствии с настоящим вариантом осуществления может корректно отображать виртуальный объект на изображении, захваченном терминальным устройством в реальном времени.
[0056] На фиг. 3 представлена структурная схема устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления. Как показано на фиг.3, устройство 30 для синтеза объектов виртуальной реальности применяют к терминальному устройству, и устройство 30 содержит модуль 31 обнаружения объекта, первый модуль 32 получения информации, второй модуль 33 получения информации и модуль 34 наложения.
[0057] Модуль 31 обнаружения объекта выполнен с возможностью обнаруживать целевой объект на изображении, захваченном терминальным устройством.
[0058] Первый модуль 32 получения информации выполнен с возможностью получать информацию о глубине для целевого объекта с помощью съемочного блока терминального устройства в режиме синтеза информации о глубине, причем режим синтеза информации о глубине используется для наложения виртуального объекта, сгенерированного с помощью компьютерного моделирования, на изображение, а информация о глубине для целевого объекта используется для указания расстояния между целевым объектом и терминальным устройством.
[0059] Второй модуль 33 получения информации выполнен с возможностью получать информацию о глубине для виртуального объекта.
[0060] Модуль 34 наложения выполнен с возможностью накладывать виртуальный объект на изображение в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта.
[0061] Фиг. 4 представляет структурную схему устройства для синтеза объектов виртуальной реальности в соответствии с примером осуществления. Как показано на фиг. 4, в возможном способе реализации модуль 34 наложения содержит первый подмодуль 341 наложения.
[0062] Первый подмодуль 341 наложения выполнен с возможностью, когда информация о глубине для целевого объекта меньше информации о глубине для виртуального объекта, накладывать часть виртуального объекта, который не заслонен целевым объектом, на изображение.
[0063] В возможном способе реализации модуль наложения дополнительно содержит второй подмодуль 352 наложения.
[0064] Второй подмодуль 352 наложения выполнен с возможностью, когда информация о глубине для целевого объекта больше или равна информации о глубине для виртуального объекта, накладывать виртуальный объект на изображение.
[0065] В возможном способе реализации терминальное устройство содержит по меньшей мере две камеры, и первый модуль 32 получения информации содержит первый подмодуль 321 определения.
[0066] Первый подмодуль 321 определения выполнен с возможностью определять информацию о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
[0067] В возможном способе реализации второй модуль 33 получения информации содержит подмодуль 331 получения информации и второй подмодуль 332 определения.
[0068] Подмодуль 331 получения выполнен с возможностью получать информацию о позиции виртуального объекта на изображении.
[0069] Второй подмодуль 332 определения выполнен с возможностью определять информацию о глубине для виртуального объекта в соответствии с информацией о позиции виртуального объекта.
[0070] Что касается устройств в вышеприведенных вариантах осуществления, то конкретные способы выполнения операций для отдельных модулей в них были подробно описаны в вариантах осуществления, относящихся к способам, и не будут рассматриваться здесь.
[0071] Фиг. 5 представляет структурную схему устройства 800 для синтеза объектов виртуальной реальности в соответствии с примером осуществления. Например, устройство 800 может быть мобильным телефоном, компьютером, цифровым вещательным терминалом, устройством обмена сообщениями, игровой консолью, планшетом, медицинским устройством, тренажером, персональным цифровым помощником и т.п.
[0072] Как показано на фиг. 5, устройство 800 может содержать один или более из следующих компонентов: компонент 802 обработки, память 804, компонент 806 питания, мультимедийный компонент 808, аудиокомпонент 810, интерфейс 812 ввода/вывода (I/O), измерительный компонент 814 и компонент 816 связи
[0073] Компонент 802 обработки, как правило, управляет всеми операциями устройства 800, например операциями, связанными с отображением, телефонными звонками, передачей данных, операциями с камерой и операциями записи. Компонент 802 обработки может содержать один или более процессоров 820 для исполнения команд с целью выполнения всех или части шагов вышеуказанных способов. Кроме того, компонент 802 обработки может содержать один или более модулей, которые обеспечивают взаимодействие между компонентом 802 обработки и другими компонентами. Например, компонент 802 обработки может содержать мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 808 и компонентом 802 обработки.
[0074] Память 804 выполнена с возможностью хранить различные виды данных для поддержки работы устройства 800. Примеры таких данных включают в себя команды для любых приложений или способов, реализуемых в устройстве 800, контактные данные, данные телефонной книги, сообщения, изображения, видео и т.д. Память 804 может быть выполнена с использованием любого вида энергозависимых или энергонезависимых запоминающих устройств или их комбинации, таких как статическое оперативное запоминающее устройство (static random access memory) (SRAM), электрически стираемое программируемое постоянное запоминающее устройство (electrically erasable programmable read-only memory) (EEPROM), стираемое программируемое постоянное запоминающее устройство (erasable programmable read-only memory) (EPROM), программируемое постоянное запоминающее устройство (programmable read-only memory) (PROM), постоянное запоминающее устройство (read-only memory) (ROM), магнитная память, флэш-память, магнитный или оптический диск.
[0075] Компонент 806 питания обеспечивает питанием различные компоненты устройства 800. Компонент 806 питания может включать в себя систему управления питанием, один или более источников питания и любые другие компоненты, связанные с производством, управлением и распределением энергии в устройстве 800.
[0076] Мультимедийный компонент 808 включает в себя экран, создающий выходной интерфейс между устройством 800 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (liquid crystal display) (LCD) и сенсорную панель (touch panel) (TP). Если экран включает в себя сенсорную панель, то этот экран может быть реализован в виде сенсорного экрана для приема входных сигналов от пользователя. Сенсорная панель содержит один или более датчиков касания для восприятия касаний, скольжений и жестов на сенсорной панели. Датчики касания могут не только воспринимать границу действия касания или скольжения, но и измерять период времени и давление, связанные с действием касания или скольжения. В некоторых вариантах осуществления мультимедийный компонент 808 содержит переднюю и/или заднюю камеру. Передняя камера и задняя камера могут принимать внешние мультимедийные данные, в то время как устройство 800 находится в рабочем режиме, например режиме фотографирования или видеорежиме. Каждая из передней камеры и задней камеры может быть системой с фиксированными оптическими линзами или может иметь способность к фокусировке и оптическому увеличению.
[0077] Аудиокомпонент 810 выполнен с возможностью выводить и/или вводить аудиосигналы. Например, аудиокомпонент 810 включает в себя микрофон ("MIC"), выполненный с возможностью принимать внешний аудиосигнал, когда устройство 800 находится в режиме работы, например режиме вызова, режиме записи и режиме распознавания голоса. Полученный аудиосигнал может быть далее запомнен в памяти 804 или передан посредством компонента 816 связи. В некоторых вариантах осуществления аудиокомпонент 810 дополнительно включает в себя динамик для вывода аудиосигналов.
[0078] Интерфейс 812 ввода/вывода предлагает интерфейс между компонентом 802 обработки и периферийными интерфейсными модулями, например клавиатурой, колесом прокрутки, кнопками и т.п. Кнопки могут включать в себя, но не ограничиваются этим, кнопку «домой», кнопку громкости, пусковую кнопку и кнопку блокировки.
[0079] Измерительный компонент 814 содержит один или более датчиков, выполненных с возможностью обеспечивать оценку состояния различных аспектов устройства 800. Например, измерительный компонент 814 может обнаруживать открытое/закрытое состояние устройства 800, относительное расположение компонентов, например дисплея и клавиатуры устройства 800, изменение в положении устройства 800 или компонента устройства 800, наличие или отсутствие контакта между пользователем и устройством 800, ориентацию или ускорение/замедление устройства 800, и изменение температуры устройства 800. Измерительный компонент 814 может представлять собой датчик близости, выполненный с возможностью обнаруживать присутствие близлежащих объектов без физического контакта. Измерительный компонент 814 может также представлять собой датчик света, например датчик изображения на структуре комплементарный металл-оксид-полупроводник (Complementary Metal Oxide Semiconductor) (CMOS, КМОП) или приборе с зарядовой связью (Charge Coupled Device) (CCD, ПЗС), для использования в применении, связанном с изображением. В некоторых вариантах осуществления измерительный компонент 814 может также представлять собой акселерометрический датчик, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.
[0080] Компонент 816 связи выполнен с возможностью обеспечения связи, проводной или беспроводной, между устройством 800 и другими устройствами. Устройство 800 может получать доступ к беспроводной сети на основе стандарта связи, например беспроводного интернета (WiFi), сети 2-го поколения (2G) или 3-го поколения (3G), или их комбинации. В одном примере осуществления компонент 816 связи принимает широковещательный сигнал или связанную с широковещанием информацию из внешней системы управления широковещанием через широковещательный канал. В одном примере осуществления компонент 816 связи дополнительно содержит модуль коммуникации ближнего поля (Near Field Communication) (NFC) для обеспечения коммуникации ближнего радиуса действия. Например, NFC-модуль может быть реализован на основе технологии радиочастотной идентификации (Radio Frequency Identification) (RFID), технологии Ассоциации по инфракрасной технологии передачи данных (Infrared Data Association) (IrDA), технологии сверхширокополосной передачи данных (Ultra-WideBand) (UWB), технологии Bluetooth (ВТ) и других технологий.
[0081] В примерах осуществления устройство 800 может быть реализовано с помощью одной или более специализированных интегральных схем (Application Specific Integrated Circuits) (ASIC), цифровых сигнальных процессоров (Digital Signal Processors) (DSP), устройств цифровой обработки сигналов (Digital Signal Processing Devices) (DSPD), программируемых логических устройств (Programmable Logic Devices) (PLD), программируемых вентильных матриц (Field Programmable Gate Arrays) (FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных элементов для выполнения способов отображения интерфейса приложения, предлагаемых вышеописанными вариантами осуществления.
[0082] В примерах осуществления также предлагается машиночитаемый носитель данных, содержащий команды, такие как включенные в память 804, выполняемые процессором 820 в устройстве 800, для выполнения вышеописанных способов. Например, машиночитаемым носителем может быть ПЗУ (ROM), ОЗУ (RAM), компакт-диск (Compact Disc Read-Only Memory) (CD-ROM), магнитная лента, гибкий диск, оптическое устройство для хранения информации и тому подобное.
[0083] Фиг. 6 представляет структурную схему устройства 1900 для синтеза объектов виртуальной реальности в соответствии с примером осуществления. Например, устройство 1900 может быть представлено в виде сервера. Как показано на фиг. 6, устройство 1900 содержит компонент 1922 обработки, который также содержит один или более процессоров, и ресурсы памяти, представленные памятью 1932, для хранения команд, исполняемых компонентом 1922 обработки, например прикладных программ. Прикладные программы, хранящиеся в памяти 1932, могут включать в себя один или более модулей, каждый из которых соответствует набору команд. Кроме того, компонент 1922 обработки выполнен с возможностью выполнять команды для выполнения вышеописанного способа.
[0084] Устройство 1900 может также содержать компонент 1926 питания, выполненный с возможностью осуществлять управление питанием устройства 1900, проводной или беспроводной сетевой интерфейс (ы) 1950, выполненный с возможностью соединять устройство 1900 с сетью, и интерфейс 1958 ввода/вывода (I/O). Устройство 1900 может работать на основе операционной системы в памяти 1932, такой как Windows Server™, Mac OS X™, Unix™, Linux™, FreeBSD™ и т.п.
[0085] В примерах осуществления также предлагается машиночитаемый носитель данных для хранения команд, такой как память 1932, содержащая команды, исполняемые процессором 1922 в устройстве 1900. Например, машиночитаемым носителем может быть ПЗУ (ROM), ОЗУ (RAM), компакт-диск (Compact Disc Read-Only Memory) (CD-ROM), магнитная лента, гибкий диск, оптическое устройство для хранения информации и тому подобное.
[0086] Другие варианты осуществления изобретения будут очевидны специалистам в данной области из данного описания и практики использования изобретения, раскрытого в настоящем документе. Эта заявка предназначена для охвата любых вариантов, применений или адаптаций изобретения в соответствии с его общими принципами и включает в себя такие отклонения от настоящего раскрытия, которые входят в известную или обычную практику в данной области техники. Предполагается, что описание и примеры должны рассматриваться только как иллюстративные, при этом истинные объем и сущность представлены в формуле изобретения.
[0087] Очевидно, что настоящее изобретения не ограничено точной конструкцией, которая была описана выше и проиллюстрирована на прилагаемых чертежах, и могут быть сделаны различные модификации и изменения в рамках изобретения. Предполагается, что объем изобретения ограничивается только прилагаемой формулой изобретения.
Claims (30)
1. Способ объединения виртуальных и реальных объектов, применяемый к терминальному устройству, причем способ включает в себя:
обнаружение целевого объекта на изображении, захваченном терминальным устройством;
в режиме синтеза информации о глубине получение информации о глубине для целевого объекта с помощью съемочного блока терминального устройства, причем режим синтеза информации о глубине используют для наложения виртуального объекта, генерируемого с помощью компьютерного моделирования, на изображение, а информацию о глубине для целевого объекта используют для указания расстояния между целевым объектом и терминальным устройством;
получение информации о глубине для виртуального объекта; и
наложение виртуального объекта на изображение в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта;
при этом виртуальный объект непосредственно отображают, когда целевой объект не обнаружен или перед отображением захваченного изображения.
2. Способ по п. 1, в котором наложение виртуального объекта на изображение в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта содержит:
когда информация о глубине для целевого объекта меньше информации о глубине для виртуального объекта, наложение части виртуального объекта, которая не заслонена целевым объектом, на изображение.
3. Способ по п. 1, в котором наложение виртуального объекта на изображение в соответствии с информацией о глубине для целевого объекта и информацией о глубине для виртуального объекта содержит:
когда информация о глубине для целевого объекта больше или равна информации о глубине для виртуального объекта, наложение виртуального объекта на изображение.
4. Способ по любому из пп. 1-3, в котором съемочный блок терминального устройства содержит по меньшей мере две камеры и получение информации о глубине для целевого объекта с помощью съемочного блока терминального устройства содержит:
определение информации о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
5. Способ по любому из пп. 1-3, в котором получение информации о глубине для виртуального объекта содержит:
получение информации о позиции, в которой размещается виртуальный объект; и
определение информации о глубине для виртуального объекта в соответствии с информацией о позиции.
6. Устройство для объединения виртуальных и реальных объектов, применяемое к терминальному устройству, причем терминальное устройство содержит:
модуль обнаружения объекта, выполненный с возможностью обнаруживать целевой объект на изображении, захваченном терминальным устройством;
первый модуль получения информации, выполненный с возможностью получать информацию о глубине для целевого объекта с помощью съемочного блока терминального устройства в режиме синтеза информации о глубине, причем режим синтеза информации о глубине используют для наложения виртуального объекта, генерируемого с помощью компьютерного моделирования, на изображение, а информацию о глубине для целевого объекта используют для указания расстояния между целевым объектом и терминальным устройством;
второй модуль получения информации, выполненный с возможностью получать информацию о глубине для виртуального объекта; и
модуль наложения, выполненный с возможностью накладывать виртуальный объект на изображение на основе информации о глубине для целевого объекта и информации о глубине для виртуального объекта;
при этом виртуальный объект непосредственно отображают, когда целевой объект не обнаружен или перед отображением захваченного изображения.
7. Устройство по п. 6, в котором модуль наложения содержит:
первый подмодуль наложения, выполненный с возможностью, когда информация о глубине для целевого объекта меньше информации о глубине для виртуального объекта, накладывать часть виртуального объекта, которая не заслонена целевым объектом, на изображение.
8. Устройство по п. 6, в котором модуль наложения дополнительно содержит:
второй подмодуль наложения, выполненный с возможностью, когда информация о глубине для целевого объекта больше или равна информации о глубине для виртуального объекта, накладывать виртуальный объект на изображение.
9. Устройство по любому из пп. 6-8, в котором съемочный блок терминального устройства содержит по меньшей мере две камеры, причем первый модуль получения информации содержит:
первый подмодуль определения, выполненный с возможностью определять информацию о глубине для целевого объекта в соответствии с позиционной связью между целевым объектом и по меньшей мере двумя камерами и расстоянием между по меньшей мере двумя камерами.
10. Устройство по любому из пп. 6-8, в котором второй модуль получения информации содержит:
подмодуль получения, выполненный с возможностью получать информацию о позиции для позиции, в которой размещается виртуальный объект; и
второй подмодуль определения, выполненный с возможностью определять информацию о глубине для виртуального объекта в соответствии с информацией о позиции.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810029995.2A CN108182730B (zh) | 2018-01-12 | 2018-01-12 | 虚实对象合成方法及装置 |
| CN201810029995.2 | 2018-01-12 | ||
| PCT/CN2018/101241 WO2019137006A1 (zh) | 2018-01-12 | 2018-08-20 | 虚实对象合成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2715797C1 true RU2715797C1 (ru) | 2020-03-03 |
Family
ID=62550371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018143709A RU2715797C1 (ru) | 2018-01-12 | 2018-08-20 | Способ и устройство для синтеза объектов виртуальной реальности |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11636653B2 (ru) |
| EP (1) | EP3511864A1 (ru) |
| JP (1) | JP2020507136A (ru) |
| KR (1) | KR102194094B1 (ru) |
| CN (1) | CN108182730B (ru) |
| RU (1) | RU2715797C1 (ru) |
| WO (1) | WO2019137006A1 (ru) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182730B (zh) * | 2018-01-12 | 2022-08-12 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
| CN108961197A (zh) * | 2018-06-27 | 2018-12-07 | 联想(北京)有限公司 | 一种对象合成方法及装置 |
| CN110716685B (zh) * | 2018-07-11 | 2023-07-18 | 广东虚拟现实科技有限公司 | 图像显示方法，图像显示装置、系统及其实体对象 |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| CN109474816B (zh) * | 2018-12-28 | 2024-04-05 | 上海北冕信息科技有限公司 | 增强现实的虚实融合装置及其虚实融合方法、设备、介质 |
| CN109922331B (zh) * | 2019-01-15 | 2021-12-07 | 浙江舜宇光学有限公司 | 一种图像处理方法及装置 |
| CN111651031B (zh) * | 2019-03-04 | 2023-08-29 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| JP2021064320A (ja) * | 2019-10-17 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110910512B (zh) * | 2019-11-29 | 2024-04-30 | 北京达佳互联信息技术有限公司 | 虚拟物体自适应调整方法、装置、计算机设备和存储介质 |
| CN110889890B (zh) * | 2019-11-29 | 2023-07-28 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN111223192B (zh) * | 2020-01-09 | 2023-10-03 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
| US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| CN111416938B (zh) * | 2020-03-27 | 2021-11-02 | 咪咕文化科技有限公司 | 一种增强现实合拍方法、设备及计算机可读存储介质 |
| CN111638798A (zh) * | 2020-06-07 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar合影方法、装置、计算机设备及存储介质 |
| CN111640203B (zh) * | 2020-06-12 | 2024-04-12 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置 |
| CN111898640B (zh) * | 2020-06-28 | 2023-10-31 | 武汉旷视金智科技有限公司 | 模拟抓拍机推送图片的方法、装置、测试系统及电子设备 |
| CN114125421A (zh) * | 2020-09-01 | 2022-03-01 | 华为技术有限公司 | 图像处理方法、移动终端及存储介质 |
| CN112394815A (zh) * | 2020-11-20 | 2021-02-23 | 歌尔科技有限公司 | 基于增强现实的绘画辅助方法、增强现实设备和存储介质 |
| CN112906467A (zh) * | 2021-01-15 | 2021-06-04 | 深圳市慧鲤科技有限公司 | 合影图像生成方法及装置、电子设备和存储介质 |
| CN113160308A (zh) * | 2021-04-08 | 2021-07-23 | 北京鼎联网络科技有限公司 | 一种图像处理方法和装置、电子设备及存储介质 |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| CN113269782B (zh) * | 2021-04-21 | 2023-01-03 | 青岛小鸟看看科技有限公司 | 数据生成方法、装置及电子设备 |
| CN113538318B (zh) * | 2021-08-24 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN114564108B (zh) * | 2022-03-03 | 2024-07-09 | 北京小米移动软件有限公司 | 图像展示的方法、装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| US20120056992A1 (en) * | 2010-09-08 | 2012-03-08 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| US20150356785A1 (en) * | 2014-06-06 | 2015-12-10 | Canon Kabushiki Kaisha | Image synthesis method and image synthesis apparatus |
| RU2606874C1 (ru) * | 2015-12-02 | 2017-01-10 | Виталий Витальевич Аверьянов | Способ управления устройством формирования среды дополненной реальности |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
| JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| DE102008060301B4 (de) | 2008-12-03 | 2012-05-03 | Grenzebach Maschinenbau Gmbh | Verfahren und Vorrichtung zum kraftschlüssigen Verbinden von glasartigen Bauteilen mit Metallen sowie Computerprogramm und maschinenlesbarer Träger zur Durchführung des Verfahrens |
| DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
| US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| JP5791434B2 (ja) * | 2011-08-31 | 2015-10-07 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
| CN104021590A (zh) * | 2013-02-28 | 2014-09-03 | 北京三星通信技术研究有限公司 | 虚拟试穿试戴系统和虚拟试穿试戴方法 |
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
| US9224237B2 (en) * | 2013-09-27 | 2015-12-29 | Amazon Technologies, Inc. | Simulating three-dimensional views using planes of content |
| JP2015114307A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
| US9761049B2 (en) * | 2014-03-28 | 2017-09-12 | Intel Corporation | Determination of mobile display position and orientation using micropower impulse radar |
| US9690370B2 (en) * | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| US20160019718A1 (en) * | 2014-07-16 | 2016-01-21 | Wipro Limited | Method and system for providing visual feedback in a virtual reality environment |
| US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| CN105931289B (zh) * | 2016-04-14 | 2019-08-09 | 大连新锐天地文化科技有限公司 | 实现真实模型遮盖虚拟物体的系统及方法 |
| GB2551396B (en) * | 2016-06-17 | 2018-10-10 | Imagination Tech Ltd | Augmented reality occlusion |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| CN108182730B (zh) | 2018-01-12 | 2022-08-12 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
-
2018
- 2018-01-12 CN CN201810029995.2A patent/CN108182730B/zh active Active
- 2018-08-20 KR KR1020197004558A patent/KR102194094B1/ko active IP Right Grant
- 2018-08-20 WO PCT/CN2018/101241 patent/WO2019137006A1/zh active Application Filing
- 2018-08-20 RU RU2018143709A patent/RU2715797C1/ru active
- 2018-08-20 JP JP2018567578A patent/JP2020507136A/ja active Pending
- 2018-12-17 US US16/222,546 patent/US11636653B2/en active Active
-
2019
- 2019-01-11 EP EP19151454.6A patent/EP3511864A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| US20120056992A1 (en) * | 2010-09-08 | 2012-03-08 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| US20150356785A1 (en) * | 2014-06-06 | 2015-12-10 | Canon Kabushiki Kaisha | Image synthesis method and image synthesis apparatus |
| RU2606874C1 (ru) * | 2015-12-02 | 2017-01-10 | Виталий Витальевич Аверьянов | Способ управления устройством формирования среды дополненной реальности |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190086658A (ko) | 2019-07-23 |
| CN108182730B (zh) | 2022-08-12 |
| EP3511864A1 (en) | 2019-07-17 |
| JP2020507136A (ja) | 2020-03-05 |
| KR102194094B1 (ko) | 2020-12-22 |
| US20190221041A1 (en) | 2019-07-18 |
| CN108182730A (zh) | 2018-06-19 |
| US11636653B2 (en) | 2023-04-25 |
| WO2019137006A1 (zh) | 2019-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2715797C1 (ru) | Способ и устройство для синтеза объектов виртуальной реальности | |
| US11315336B2 (en) | Method and device for editing virtual scene, and non-transitory computer-readable storage medium | |
| EP3929922A1 (en) | Method and device for generating multimedia resources | |
| CN104243819B (zh) | 照片获取方法及装置 | |
| KR102018887B1 (ko) | 신체 부위 검출을 이용한 이미지 프리뷰 | |
| WO2021135678A1 (zh) | 生成剪辑模板的方法、装置、电子设备及存储介质 | |
| CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| CN108632543B (zh) | 图像显示方法、装置、存储介质及电子设备 | |
| CN113490010B (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
| CN108124102B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN108965769B (zh) | 视频显示方法及装置 | |
| JP2011217202A (ja) | 画像取得装置 | |
| CN114009003A (zh) | 图像采集方法、装置、设备及存储介质 | |
| WO2023273498A1 (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| TW202301276A (zh) | 深度檢測方法及裝置、電子設備、儲存媒體和程式產品 | |
| CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
| US11265529B2 (en) | Method and apparatus for controlling image display | |
| CN115552879A (zh) | 锚点信息处理方法、装置、设备及存储介质 | |
| KR102557592B1 (ko) | 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 | |
| WO2022151687A1 (zh) | 合影图像生成方法、装置、设备、存储介质、计算机程序及产品 | |
| TWI759004B (zh) | 一種目標對象顯示方法、電子設備和電腦可讀儲存介質 | |
| CN113989424A (zh) | 三维虚拟形象的生成方法、装置及电子设备 | |
| CN114155175B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN116012661A (zh) | 动作识别方法、装置、存储介质及终端 |