RU2815753C1 - Способ и устройство отображения, оконечное устройство и носитель для хранения данных - Google Patents

Abstract

Изобретение относится к средствам отображения информации. Техническим результатом является повышение реалистичности при отображении трехмерной сцены. Способ содержит этапы, на которых: получают информацию о взгляде пользователя на текущее изображение; определяют целевую плоскость глубины, соответствующую информации о взгляде; и регулируют параметры отображения остальных плоскостей глубины, причем параметры отображения остальных плоскостей глубины определяются согласно расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины, и остальные плоскости глубины на текущем изображении являются плоскостями глубины, отличными от целевой плоскости глубины, при этом параметры отображения содержат радиус размытия, причем радиус размытия пропорционален неопределенности текущего изображения; при этом, в случае когда количество остальных плоскостей глубины по меньшей мере равно двум, радиус размытия каждой остальной плоскости глубины пропорционален расстоянию между указанной остальной плоскостью глубины и целевой плоскостью глубины. 4 н. и 5 з.п. ф-лы, 6 ил.

Description

Область техники, к которой относится изобретение

Варианты осуществления настоящего изобретения относятся к области техники компьютеров и, в частности, к способу и устройству отображения и к оконечному устройству и носителю для хранения данных.

Уровень техники

Технология виртуальной реальности (Virtual Reality, VR) является системой компьютерного моделирования, которая может создать и апробировать виртуальный мир. Технология VR использует компьютер для формирования виртуальной среды, которая является моделированием интерактивной системы, объединенной с информацией от множества источников, что позволяет пользователям погружаться в среду.

Технология дополненной реальности (Augmented Reality, AR) искусно интегрирует виртуальную информацию и реальный мир и широко использует такие технические средства, как мультимедийное трехмерное моделирование, слежение и регистрация в реальном времени, интеллектуальное взаимодействие и восприятие. Виртуальная информация, такая как слова, изображения, трехмерные модели, музыка и видео, сформированные компьютером, применяется к реальному миру после его моделирования. Два типа информации взаимно дополняют друг друга, достигая, таким образом, «улучшения» реального мира.

Во время разработки виртуальной сцены с использованием технологии VR и AR, требуется полностью использовать восприятие визуальной системы пользователя на глубине для создания более сильного стереовосприятия и восприятия глубины. Однако, стереовосприятие и восприятие глубины в виртуальной сцене не могут быть реализованы из-за зависимости от визуальной системы пользователя в некоторых сценах (например, в сцене с чрезвычайно малым углом зрения или в сцене, содержащей удаленные объекты).

Раскрытие сущности изобретения

По меньшей мере некоторые варианты осуществления настоящего изобретения представляют способ и устройство отображения, а также оконечное устройство и носитель для хранения данных, которые улучшают восприятие пользователем глубины при просмотре пользователем текущего изображения.

Вариант осуществления настоящего изобретения представляет способ отображения, содержащий этапы, на которых: получают информацию о взгляде пользователя на текущее изображение; определяют целевую плоскость глубины, соответствующую информации о взгляде; и регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяются согласно расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины – это все плоскости глубины на текущем изображении, отличные от целевой плоскости глубины.

В дополнительном варианте осуществления информация о взгляде содержит информацию о точке взгляда. Операция определения целевой плоскости глубины, соответствующей информации о взгляде, содержит этапы, на которых: определяют целевой объект, соответствующий информации о точке взгляда на текущее изображение; и определяют плоскость глубины, на которой расположен целевой объект, в качестве целевой плоскости глубины.

В дополнительном варианте осуществления параметры отображения содержат радиус размытия.

В дополнительном варианте осуществления в случае, когда количество остальных плоскостей глубины равно по меньшей мере двум, радиус размытия каждой из остальных плоскостей глубины пропорционален расстоянию между этой каждой из остальных плоскостей глубины и целевой плоскостью глубины.

В дополнительном варианте осуществления, расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины определяется согласно различию между информацией о расстоянии до каждой из остальных плоскостей глубины и информацией о расстоянии до целевой плоскости глубины.

В дополнительном варианте осуществления способ дополнительно содержит этапы, на которых: определяют плоскость глубины и информацию о расстоянии, соответствующую этой плоскости глубины, содержащуюся в каждом изображении кадра в видео виртуальной реальности (VR) или дополненной реальности (AR). Текущее изображение является изображением, которое в настоящее время отображается в видео AR или VR. Информацией о расстоянии представляет собой абсолютное расстояние между плоскостью глубины, содержащейся в каждом изображении кадра, и пользователем.

В дополнительном варианте осуществления операция определения плоскости глубины, содержащейся в каждом изображении кадра в видео VR или AR, содержит этапы, на которых: получают целевое изображение в покадровом видео VR или AR; получают информацию о глубине каждого объекта, содержащегося в целевом изображении; и сегментируют целевое изображение на основе информации о глубине, чтобы получить по меньшей мере одну плоскость глубины. Информация о расстоянии по меньшей мере до одной плоскости глубины определяется в соответствии с информацией о глубине.

В дополнительном варианте осуществления информация о глубине объектов, содержащихся в одной и той же плоскости глубины, является одинаковой.

Другой вариант осуществления настоящего изобретения дополнительно обеспечивает устройство отображения, содержащее: модуль получения, выполненный с возможностью получения информации о взгляде пользователя на текущее изображение; модуль определения, выполненный с возможностью определения целевой плоскости глубины, соответствующей информации о взгляде; и модуль регулирования, выполненный с возможностью регулирования параметров отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяются согласно расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, отличными от целевой плоскости глубины.

Другой вариант осуществления настоящего изобретения дополнительно представляет оконечное устройство, содержащее: по меньшей мере один процессор и устройство хранения данных, выполненное с возможностью хранения по меньшей мере одной программы. Когда указанная по меньшей мере одна программа исполняется указанным по меньшей мере одним процессором, указанный по меньшей мере один процессор выполнен с возможностью реализации упомянутого выше способа.

Другой вариант осуществления настоящего изобретения дополнительно представляет считываемый компьютером носитель, хранящий меньшей мере одну компьютерную программу. Способ реализуется, когда указанная по меньшей мере одна компьютерная программа исполняется по меньшей мере одним процессором.

По меньшей мере некоторые варианты осуществления настоящего изобретения представляют способ и устройство отображения, а также оконечное устройство и носитель для хранения данных. Сначала получают информацию о взгляде пользователя на текущее изображение. Затем определяют целевую плоскость глубины, содержащую информацию о взгляде. Наконец, регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяют в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, отличными от целевой плоскости глубины. Восприятие глубины текущего изображения, просматриваемого пользователем, может быть улучшено с использованием представленного выше технического решения.

Краткое описание чертежей

Фиг. 1 - блок-схема последовательности выполнения операций способа отображения, соответствующего варианту I настоящего изобретения.

Фиг. 2 - блок-схема последовательности выполнения операций способа отображения, соответствующего варианту II осуществления настоящего изобретения.

Фиг. 3a – схематичное представление результата предварительной обработки изображения, соответствующего варианту II осуществления настоящего изобретения.

Фиг. 3b – сцены с многочисленными плоскостями глубины, соответствующими варианту II осуществления настоящего изобретения.

Фиг. 4 – устройство отображения, соответствующее варианту III осуществления настоящего изобретения.

Фиг. 5 - структурная схема оконечного устройства, соответствующего варианту IV осуществления настоящего изобретения.

Осуществление изобретения

Настоящее изобретение ниже описывается подробно со ссылкой на сопроводительные чертежи и варианты осуществления. Следует понимать, что конкретные варианты осуществления, описанные здесь, используются для объяснения настоящего изобретения, а не для ограничения настоящего изобретения. Кроме того, дополнительно следует заметить, что для простоты описания на чертежах показаны части структуры, связанные с настоящим изобретением, а не вся структура.

Прежде чем обсуждать примерные варианты осуществления более подробно, следует упомянуть, что некоторые примерные варианты осуществления представляются как процессы или способы, описываемые в виде блок-схем последовательности выполнения операций. Хотя блок-схемы последовательности выполнения операций описывают различные операции (или этапы) как последовательный процесс, но многие операции могут выполняться параллельно или одновременно. Кроме того, последовательность операций может перестраиваться. Когда операции завершаются, процессы могут быть закончены, но могут также иметься дополнительные этапы, которые не содержатся на чертежах. Процессы могут соответствовать способам, функциям, процедурам, подпрограммам и т.п. Кроме того, при отсутствии противоречия варианты осуществления настоящего изобретения и признаки в вариантах осуществления при отсутствии противоречий могут объединяться с другими вариантами осуществления и признаками.

Термин «содержит» и его варианты, используемые в настоящем изобретении, открыт для включения, то есть, понимается как «содержит, но не ограничивается только этим». Термин «основываясь на» означает «основываясь, по меньшей мере частично, на». Термин «один из вариантов осуществления» означает «по меньшей мере один из вариантов осуществления».

Вариант I осуществления

На фиг. 1 представлена блок-схема последовательности выполнения операций способа отображения, соответствующего варианту I осуществления настоящего изобретения. Способ может применяться для улучшения глубины восприятия изображения. Способ может исполняться устройством отображения. Устройство отображения может быть реализовано программными и/или аппаратными средствами и может обычно интегрироваться в оконечном устройстве. Оконечное устройство в этом варианте осуществления содержит, но не ограничиваясь только этим, устройство, которое может отображать сцену виртуальной реальности (VR), такое как устройство VR, или устройство, которое может отображать сцену дополненной реальности (AR), такое как устройство AR.

Способ отображения, представленный в этом варианте осуществления, можно рассматривать как способ улучшения восприятия глубины трехмерной виртуальной сцены. Восприятие глубины относится к процессу, в котором визуальная система человеческого глаза определяет расстояния до различных объектов. В целом, источник подачи сигнала, который с помощью визуальной системы воспринимает глубину, может быть разделен на две категории. Одна категория является источником монокулярного сигнала, который может быть получен посредством визуальной информации одного глаза. Другая категория является источником бинокулярного сигнала, для которого может иметь место совместное действие обоих глаз.

Фокусировка и расфокусировка являются одним из основных монокулярных сигналов для визуальной системы, чтобы воспринимать глубину. Когда наблюдатель внимательно смотрит на определенный объект, изображения вокруг объекта, находящиеся в той же самой плоскости глубины, являются относительно четкими (сфокусированными), а изображения в других плоскостях глубины являются относительно размытыми (расфокусированными). Степень размывания зависит от абсолютной разности расстояний между плоскостями глубины.

Бинокулярный параллакс является одним из основных бинокулярных сигналов для визуальной системы, чтобы воспринимать глубину. Когда объект находится вблизи наблюдателя, различие между объектами, наблюдаемыми двумя глазами, увеличивается, так что формируется бинокулярный параллакс. Мозг может оценить расстояние между объектом и глазами путем измерения параллакса.

Способ отображения, предоставленный в этом варианте осуществления, использует технологию слежения за взглядом (айтрекинга) для улучшения восприятия глубины, когда пользователь просматривает изображение. Технология айтрекинга может оценивать точку взгляда посредством алгоритма распознавания изображений, использующего айтрекер. Айтрекинг глаза может также называться слежением за взглядом, которое может оценивать направление взгляда и/или точку взгляда, измеряя движение глаз. Направление взгляда может пониматься как трехмерный вектор. Точка взгляда может пониматься как трехмерный вектор, находящийся в определенной плоскости, например, двумерные координаты на просматриваемой плоскости.

Способ отображения, представленный в этом варианте осуществления, может реализовывать айтрекинг, используя способ отражения зрачка-роговой оболочки при оптическом способе записи. С другой стороны, движение глаз также может вычисляться, например, основываясь на контактном или бесконтактном датчике (таком как электрод или емкостной датчик), но не на основе способа изображения глаза.

Оптический способ записи состоит в том, чтобы использовать камеру или видеокамеру для записи движения глаза за предметом, то есть, получать изображение глаза, отражающее движение глаза, и извлекать признак глаза из полученного изображения глаза, чтобы установить линию взгляда или модель оценки точки расположения глаза. Признак глаза может содержать положение зрачка, форму зрачка, положение радужной оболочки, форму радужной оболочки, положение века, положение угла глазной щели, положение пятна (также известного как изображение Пуркинье) и т.п.

Принцип работы способа отражения зрачка-радужной оболочки может быть обобщен следующим образом. Получают изображение глаза и линия взгляда или точка взгляда оценивается в соответствии с изображением глаза.

В качестве оборудования для выполнения способа отражения зрачок-роговая оболочка требуется источник света и устройство получения изображений.

Источником света обычно является источник инфракрасного света, поскольку инфракрасный свет не влияет на зрение. Источник света может быть множеством источников инфракрасного света, расположенных заданным образом, например, в форме треугольника и/или по линии.

Устройство получения изображений может быть, например, устройством инфракрасной фотокамеры, инфракрасным формирователем изображения, фотокамерой или видеокамерой.

Конкретная реализация способа отражения зрачок-роговая оболочка может содержать процесс получения изображения глаза и процесса оценки линии взгляда или точки взгляда.

В процессе получения изображения глаза источник света светит на глаза, устройство получения изображений фотографирует глаза и затем точка отражения источника света на роговой оболочке соответственно фотографируется и эта точка является пятном (которое также называют изображением Пуркинье), так чтобы получить изображение глаза, несущее в себе пятно.

В процессе оценки направления или точки взгляда, когда глаза вращаются, взаимосвязь между относительными положениями центра зрачка и пятном соответственно изменяется. Эта взаимосвязь изменений положения отражается многочисленными изображениями глаз, несущими в себе соответственно полученные пятна.

Затем направление или точка взгляда оценивается в соответствии с взаимосвязью изменений положений.

Как показано на фиг. 1, способ отображения, представленный в этом варианте осуществления, содержит следующие этапы.

На этапе S110 получают информацию о взгляде пользователя на текущее изображение.

В настоящем изобретении сцена может быть сценой, в которой пользователь рассматривает изображение AR, или сценой, в которой пользователь просматривает видео VR, например, сценой, в которой пользователь смотрит видео VR, используя устройство VR.

В этом варианте осуществления пользователь может быть человеком, который в настоящее время просматривает изображение. Текущее изображение может быть изображением, на которое в настоящее время смотрит пользователь. Информация о взгляде может пониматься как информация о глазе, когда пользователь пристально смотрит на текущее изображение. Информация о взгляде содержит, но не ограничивается только этим, информацию о направлении взгляда и информацию о точке взгляда. Информацией о направлении взгляда может быть информация, представляющей направление линии взгляда пользователя, например, направление. Информацией о точке взгляда может быть информация, представляющая точку взгляда пользователя, например, координаты. Информация о взгляде может быть получена, используя устройство айтрекера. Устройство айтрекера может быть смонтировано на устройстве, отображающем текущее изображение, например, на устройстве VR или на устройстве AR.

В настоящем изобретении информация о взгляде пользователя на текущее изображение может быть получена посредством способа отражения зрачок-роговая оболочка или другими способами. Например, устройство айтрекера может быть электромеханической микросистемой (Micro Electro Mechanical System, MEMS), содержащей MEMS-зеркало инфракрасного сканирования, источник инфракрасного света и инфракрасный приемник. В другом варианте осуществления устройство айтрекера может также быть емкостным датчиком, который обнаруживает движение глаз, используя значение емкости между глазами и конденсаторной пластиной. В еще одном другом варианте осуществления устройство айтрекера может также быть детектором миоэлектрического тока. Например, электроды помещаются на переносицу, лоб, уши или мочки ушей и затем движение глаз обнаруживается посредством режима обнаружения миоэлектрического токового сигнала. В этом отношении здесь нет никаких ограничений.

На этапе S120 определяют целевую плоскость глубины, соответствующую информации о взгляде.

Целевая плоскость глубины может пониматься как плоскость глубины, соответствующая информации о взгляде в текущем изображении. Как пример, в случае, когда информацией о взгляде является информация о точке взгляда, целевая плоскость глубины может рассматриваться как плоскость глубины, на которой располагается целевой объект, соответствующий информации о точке взгляда на текущем изображении.

Следует понимать, что текущее изображение может содержать несколько объектов. Каждый объект задается информацией об объекте и информация об объекте выполнена с возможностью идентификации каждого объекта. Информация об объекте содержит информацию о положении и информацию о глубине. Информация о глубине может рассматриваться как информация, представляющую глубину каждого объекта в текущем изображении. Другая информация о глубине может соответствовать другим плоскостям глубины, так чтобы каждый объект мог соответствовать одной плоскости глубины. Целевая плоскость глубины может рассматриваться как плоскость глубины объекта, на который в настоящее время смотрит пользователь. Целевой объект может рассматриваться как объект, на который в настоящее время смотрит пользователь.

При определении целевой плоскости глубины информация о взгляде может согласовываться с информацией о положении в информации об объекте для объекта, содержащегося в текущем изображении, чтобы определить информацию об объекте, соответствующую информации о взгляде, и затем целевая плоскость глубины определяется, основываясь на информации о глубине в информации об объекте.

В дополнительном варианте осуществления, в случае, когда информация о взгляде является информация о точке взгляда, информация о точке взгляда может сравниваться с информацией о положении в информации об объекте для объекта, содержащегося в текущем изображении, например, выполняя сравнение координат. Объект, для которого информация о положении в текущем изображении равняется информации о точке взгляда или для которого отклонение находится в заданном диапазоне, используется в качестве целевого объекта и плоскость глубины целевого объекта используется в качестве целевой плоскости глубины.

На этапе S130 регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяются в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, за исключением целевой плоскости глубины.

Для улучшения восприятия глубины текущего изображения, после того, как в настоящем изобретении определена целевая плоскость глубины, могут быть скорректированы параметры отображения остальных плоскостей глубины. Количество остальных плоскостей глубины может равняться по меньшей мере единице. В случае, когда имеются по меньшей мере две остальные плоскости глубины, отрегулированный параметр отображения каждой из остальных плоскостей глубины может быть тем же самым или другим.

Параметр отображения можно рассматриваться как параметр, определяющий результат отображения. Параметры отображения содержат, но не ограничиваясь только этим, пиксельное значение и радиус размытия. Различные параметры отображения могут иметь различные средства регулирования, которые здесь не ограничиваются, пока результат определения остальной плоскости глубины ниже, чем результат определения целевой плоскости глубины.

Конкретно, параметр отображения для каждой из остальных плоскостей глубины может быть определен на основе расстояния между этой каждой остальной плоскостью глубины и целевой плоскостью глубины. Принимая в качестве примера параметры отображения, включая радиус размытия, когда расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины больше, радиус размытия остальной плоскости глубины может быть больше. Когда расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины меньше, радиус размытия остальной плоскости глубины может быть меньше. Здесь конкретное числовое значение радиуса размытия остальной плоскости глубины не ограничивается, пока гарантируется, что расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины будет пропорционально радиусу размытия. Когда параметры отображения содержат пиксельное значение, расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины обратно пропорционально пиксельному значению.

Расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины может быть определено путем непосредственного выполнения анализа глубины на текущем изображении или может быть определено на основе абсолютного расстояния между этой каждой из остальных плоскостей глубины и пользователем и абсолютного расстояния между целевой плоскостью глубины и пользователем.

После того, как параметры отображения каждой из остальных плоскостей глубины отрегулированы, существует разность между параметром отображения каждой из остальных плоскостей глубины и параметром отображения целевой плоскости глубины, так что восприятие глубины текущего изображения улучшается.

В дополнительном варианте осуществления параметры отображения содержат радиус размытия. Радиус размытия пропорционален неопределенности изображения. В настоящем изобретении радиус размытия может регулироваться, используя алгоритм размытия Гаусса.

При способе отображения, представленном в этом варианте осуществления, сначала получают информацию о взгляде пользователя на текущее изображение. Затем определяют целевую плоскость глубины, соответствующую информации о взгляде. И наконец, регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяют в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, за исключением целевой плоскости глубины. Используя представленный выше способ, восприятие глубины текущего изображения, просматриваемого пользователем, может быть улучшено. Основываясь на вышеупомянутом варианте осуществления, предложен модифицированный вариант осуществления вышеупомянутого варианта осуществления. Здесь следует заметить, что для упрощения описания в измененном варианте осуществления описывается только отличие от представленного выше варианта осуществления. В дополнительном варианте осуществления в случае, когда количество остальных плоскостей глубины равно по меньшей мере двум, радиус размытия каждой из остальных плоскостей глубины пропорционален расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины. В случае, когда радиус размытия каждой из остальных плоскостей глубины пропорционален расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины, гарантируется, что каждая из остальных плоскостей размывается больше, когда находится дальше от целевой плоскости глубины, так что восприятие стерео и восприятие глубины текущего изображения могут быть улучшены.

В дополнительном варианте осуществления расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины определяется в соответствии с различием между информацией о расстоянии до этой каждой остальной плоскости глубины и информацией о расстоянии до целевой плоскости глубины.

Информация о расстоянии до каждой остальной плоскости глубины может пониматься как абсолютное расстояние между этой остальной плоскостью глубины и пользователем. Информация о расстоянии до целевой плоскости глубины может пониматься как абсолютное расстояние между целевой плоскостью глубины и пользователем.

Когда параметры отображения остальных плоскостей глубины отрегулированы, различие между информацией о расстоянии до каждой из остальных плоскостей глубины и информацией о расстоянии до целевой плоскости глубины может использоваться в качестве расстояния между этой каждой из остальных плоскостей глубины и целевой плоскостью глубины.

Вариант II осуществления

На фиг. 2 представлена блок-схема последовательности выполнения операций способа отображения, соответствующего варианту II осуществления настоящего изобретения. Вариант II осуществления оптимизируется на основе вышеупомянутых вариантов осуществления. В этом варианте осуществления информация о взгляде конкретно содержит информацию о точке взгляда. Соответственно, операция определения целевой плоскости глубины, соответствующая информации о взгляде, содержит нижеследующие операции.

Определяют целевой объект, соответствующий информации о точке взгляда на текущем изображении.

Определяют в качестве целевой плоскости глубины плоскость глубины, на которой расположен целевой объект. Так как объект не обязательно является плоскостью, а может быть трехмерным, плоскость глубины трехмерного объекта может быть определена как плоскость глубины на основе плоскости, на которой объект является самым близким к пользователю, или использоваться в качестве плоскости глубины, используя плоскость, на которой расположен центр объекта. С другой стороны, любая поверхность трехмерного объекта используется в качестве плоскости глубины, что здесь не ограничивается.

В дополнительном варианте осуществления способ далее содержит нижеследующие этапы. Информацию о плоскости глубины и информацию о расстоянии, соответствующую этой плоскости глубины, содержащиеся в каждом кадре, отображают в видео AR или VR. Текущее изображение является изображением, которое в настоящее время отображают в видео AR или VR. Информацией о расстоянии является абсолютное расстояние между плоскостью глубины, содержащейся в каждом изображении кадра, и пользователем.

Для содержания, которое еще не было подробно описано в этом варианте осуществления, обратитесь к варианту I осуществления.

Как показано на фиг. 2, способ отображения, представленный в этом варианте осуществления, содержит нижеследующие этапы.

На этапе S210 определяют плоскость глубины и информацию о расстоянии, соответствующую этой плоскости глубины, содержащейся в каждом изображении кадра в видео VR или AR. Текущее изображение является изображением, которое в настоящее время отображается в видео AR или VR. Информацией о расстоянии является абсолютное расстояние между плоскостью глубины, содержащейся в каждом изображении кадра, и пользователем.

Текущее изображение может быть изображением кадра в видео AR или VR. Прежде чем текущее изображение отображается, в настоящем изобретении каждое изображение кадра в видео VR или AR может быть сначала обработано, чтобы определить информацию об объекте, содержащуюся в каждом изображении. Информация об объекте может быть информацией, которая задается в изображении, например, плоскость глубины и соответствующая информация о расстоянии, относящаяся к этой плоскости глубины, содержащаяся в каждом изображении.

Видео VR можно рассматриваться как видео, демонстрируемое, используя технологию VR. Видео AR можно рассматриваться как видео, демонстрируемое, используя технологию AR. Плоскость глубины, содержащаяся в изображении, может быть определена в соответствии с информацией о глубине объекта, содержащейся в изображении. Изображение может быть обработано, чтобы получить информацию о глубине каждого объекта, или информация о глубине каждого объекта может быть напрямую считана из изображения, полученного камерой глубины, и здесь нет никакого ограничения, пока информация о глубине каждого объекта в изображении может быть считана. В этом варианте осуществления каждая плоскость с различной информацией о глубине может использоваться в качестве одной из плоскостей глубины, так что изображение разделяется на плоскости со множеством различных глубин.

После того, как плоскости глубины, содержащиеся в изображении, определены, может быть определена информация о расстоянии, соответствующая каждой плоскости глубины. Информацией о расстоянии может быть абсолютное расстояние между каждой плоскостью глубины и пользователем. Здесь способ определения абсолютного расстояния между каждой плоскостью глубины и пользователем ничем не ограничивается. Например, абсолютное расстояние может быть определено в соответствии с информацией о глубине каждой плоскости глубины и размером отображения. Например, информация о расстоянии каждой плоскости глубины определяется на основе расстояния между плоскостью, на которой устройство отображения отображает текущее изображение, и глазом пользователя и информации о глубине каждой плоскости глубины.

На этапе S220 получают информацию о взгляде пользователя на текущее изображение.

На этапе S230 определяют целевой объект, соответствующий информации о точке взгляда на текущее изображение.

Когда в настоящем изобретении целевая плоскость глубины определена, целевой объект, соответствующий информации о точке взгляда на текущее изображение, может быть определен согласно способу сравнения координат. Например, пересекают каждый объект в текущем изображении и затем объект, координаты которого совпадают с информацией о взгляде или не совпадают, но находятся в пределах заданного диапазона отклонения, используется в качестве целевого объекта.

На этапе S240 плоскость глубины, на которой расположен целевой объект, определяется как целевая плоскость глубины.

После того, как целевой объект определен, в настоящем изобретении плоскость глубины, на которой расположен целевой объект, может использоваться в качестве целевой плоскости глубины, то есть, плоскости глубины, которая в настоящий момент просматривается пользователем.

На этапе S250 регулируют параметры отображения каждой из остальных плоскостей глубины. Настоящее изобретение в качестве примера описано ниже.

При разработке трехмерной виртуальной сцены (например, видео VR) требуется полностью использовать восприятие визуальной системы пользователя на глубине, так чтобы создавать более сильное восприятие стерео и глубины. В существующей трехмерной виртуальной сцене визуальная система пользователя воспринимает глубину, главным образом, в зависимости от бинокулярного параллакса. Когда в сцене наблюдается удаленный объект, то поскольку визуальная ось почти параллельна и бинокулярный параллакс нулевой, источник сигнала для восприятия глубины представляется бесполезным. В этом случае пользователь может воспринимать глубину на опыте посредством информации об изображении объекта, такой как относительный размер и перспектива, что значительно влияет на восприятие стерео и на восприятие глубины трехмерной виртуальной сцены.

Кроме того, часто существует проблема, когда при практическом применении (например, гарнитура VR) для трехмерной виртуальной сцены угол поля зрения является чрезвычайно малым, приводя в результате к малому количеству подробностей, отображаемых в диапазоне монокулярного зрения. В этом случае, когда один глаз пользователя видит один объект в сцене, а другой глаз не видит объект, пользователю может быть трудно определить глубину объекта, влияя, таким образом, на восприятие сцены.

В существующей трехмерной виртуальной сцене, поскольку в схеме показано неподвижное сфокусированное изображение, пользователь не может получить сигналы сфокусированной и расфокусированной глубины для различных плоскостей глубины. В этом случае, когда пользователь не может воспринимать глубину посредством бинокулярного параллакса из-за большого абсолютного расстояния и чрезмерно маленького угла поля зрения объекта, это оказывает сильное влияние на события игры или взаимодействия в трехмерной виртуальной сцене.

В этом варианте осуществления, маркируя абсолютное расстояние различных плоскостей глубины в трехмерной виртуальной сцене, изображения сцены предварительно обрабатываются. Затем информацию о точке взгляда пользователя получают на основе технологии айтрекинга и абсолютное расстояние плоскости глубины, на которой расположена точка взгляда, изучается в соответствии с местоположением этой точки взгляда. Таким образом, пользователю могут быть предоставлены сигналы сфокусированной и расфокусированной глубины. Поэтому недостатки и неполнота существующих сигналов глубины могут быть эффективно получены и восприятие стерео и восприятие глубины пользователем в трехмерной виртуальной сцене могут быть значительно улучшены.

Способ отображения, предоставленный в этом варианте осуществления, может быть нацелен на восприятие глубины трехмерной виртуальной сцены. Способ может содержать нижеследующие этапы.

На этапе I может быть предварительно обработано трехмерное виртуальное изображение сцены.

В трехмерной виртуальной сцене области изображения на различных плоскостях глубины покадрово сегментируются. Затем абсолютное расстояние маркируется на каждой области изображения в соответствии с глубиной плоскости, на которой расположено изображение.

Информация о глубине конкретного объекта каждой области в изображении может содержаться в изображении заранее.

На фиг. 3a схематично представлен результат предварительной обработки изображения, соответствующий варианту II осуществления настоящего изобретения. Как показано на фиг. 3a, изображение сегментируется для получения первого объекта 1, второго объекта 2 и третьего объекта 3 на различных плоскостях глубины. «Первый», «второй» и «третий» используются для различения соответствующего содержания и не используются для ограничения последовательности или взаимозависимости.

Информация о глубине каждого объекта может заранее содержаться в изображении. Абсолютное расстояние каждого объекта относительно пользователя может быть определено на основе информации о глубине каждого объекта. На фиг. 3b схематично показаны многочисленные плоскости глубины сцены в соответствии с вариантом II осуществления настоящего изобретения. Как показано на фиг. 3b, информацией о расстоянии до плоскости глубины, соответствующей первому объекту 1, является абсолютное расстояние между первым объектом 1 и пользователем 4. Информацией о расстоянии до плоскости глубины второго объекта 2 является абсолютное расстояние b между вторым объектом 2 и пользователем 4. Информацией о расстоянии до плоскости глубины третьего объекта 3 является абсолютное расстояние c между третьим объектом 3 и пользователем 4. Из фиг. 3b можно видеть, что c > b > a. То есть, абсолютное расстояние между третьим объектом 3 и пользователем 4 является наибольшим, а абсолютное расстояние между первым объектом 1 и пользователь 4 является наименьшим.

Принимая фиг. 3b в качестве примера, когда пользователь 4 смотрит на первый объект 1, плоскость глубины первого объекта 1 является целевой плоскостью глубины. Параметры отображения плоскости глубины второго объекта 2 могут регулироваться в соответствии с расстоянием между вторым объектом 2 и целевой плоскостью глубины. Параметры отображения плоскости глубины третьего объекта 3 могут регулироваться в соответствии с расстоянием между третьим объектом 3 и целевой плоскостью глубины. Так как расстояние между плоскостью глубины второго объекта 2 и целевой плоскостью глубины меньше, чем расстояние между плоскостью глубины третьего объекта 3 и целевой плоскостью глубины, величина регулирования параметров отображения второго объекта 2 меньше, чем величина регулирования параметров отображения третьего объекта 3. Поэтому, когда пользователь смотрит на первый объект 1, второй объект 2 будет более четким, чем третий объект 3.

Как показано на фиг. 3b, степень четкости может характеризоваться на основе плотности заполнения в чертеже. На фиг. 3b более плотное заполнение указывает, что четкость выше, а более редкое заполнение указывает, что четкость ниже. Расстояние между плоскостью глубины первого объекта 1 и плоскостью глубины второго объекта 2 меньше, чем расстояние между плоскостью глубины первого объекта 1 и плоскостью глубины третьего объекта 3, так что четкость первого объекта 1, когда пользователь смотрит на второй объект 2, выше, чем четкость первого объекта 1, когда пользователь смотрит на третий объект 3.

На этапе II получают информацию о точке взгляда. Когда пользователь имеет дело с трехмерной виртуальной сценой, информация о точке взгляда в реальном времени пользователя может быть получена, используя айтрекер для определения плоскости глубины, на которой находится область изображения, на которую устремлен взгляд.

Айтрекер может быть расположен на устройстве VR.

На этапе III представлены результаты фокусировки и расфокусировки различных плоскостей глубины. Изображение в реальном времени трехмерной виртуальной сцены фокусируется на плоскости глубины, на которой расположена точка взгляда пользователя, а области изображения на других плоскостях глубины представляют различные расфокусированные состояния, соответствующие разнице между абсолютными расстояниями. В этом случае, в трехмерной виртуальной сцене непосредственно перед пользователем плоскость глубины, соответствующая объекту, на который смотрит пользователь, является четкой, а объекты на других плоскостях глубины представляют другие состояния размытости, соответствующие разности абсолютных расстояний от “пристально рассматриваемой плоскости глубины”.

В дополнительном варианте осуществления, чем меньше абсолютное расстояние от плоскости глубины, на которой расположена точка взгляда, тем более отчетливой является плоскость глубины, в противном случае, чем больше абсолютное расстояние от плоскости глубины, на которой расположена точка взгляда, тем более размытой является плоскость глубины.

В этом варианте осуществления, посредством сегментации и маркировки изображения в трехмерной виртуальной сцене и сочетания с технологией айтрекинга, при наблюдении трехмерной виртуальной сцены визуальная система человеческого глаза получает сигналы для сфокусированной и расфокусированной глубины. Таким образом, в трехмерной виртуальной сцене пользователю предоставляются сигналы для сфокусированной и расфокусированной глубины. Поэтому недостатки и неполнота сигналов глубины в существующей сцене, полученные в результате неподвижного сфокусированного изображения, могут быть эффективно скомпенсированы и восприятие стерео и восприятие глубины пользователем в трехмерной виртуальной сцене могут быть значительно улучшены.

Способ отображения, представленный в этом варианте осуществления, описывает операцию определения целевой плоскости глубины, операцию определения плоскости глубины и соответствующей информации о расстоянии. Используя описанный способ, восприятие стерео и восприятие глубины видео VR или AR могут быть улучшены.

На основе технических решений, представленных выше, в этом варианте осуществления настоящего изобретения обеспечиваются несколько конкретных реализаций.

В дополнительном варианте осуществления операция определения плоскости глубины, содержащейся в каждом изображении кадра в видео VR или AR, содержит нижеследующие операции.

Целевое изображение в видео VR или AR получают покадрово и получают информацию о глубине объекта, содержащуюся в целевом изображении.

Целевое изображение сегментируют на основе информации о глубине для получения по меньшей мере одной плоскости глубины. Информация о расстоянии по меньшей мере одной плоскости глубины определяется в соответствии с информацией о глубине.

Когда плоскость глубины определена, изображение в видео VR или AR может быть получено покадрово в качестве целевого изображения. Затем информацию о глубине объекта, содержащаяся в целевом изображении, получают для каждого целевого изображения. Различные объекты могут должным образом соответствовать различной информации о глубине. После того, как информация о глубине определена, в настоящем изобретении целевое изображение может быть сегментировано, основываясь на информации о глубине, чтобы получить по меньшей мере одну плоскость глубины. Количество плоскостей глубины может определяться на основе различной информации о глубине. Когда численные значения множества фрагментов информации о глубине являются одинаковыми, количество многочисленных фрагментов информации о глубине может быть определено как равное 1.

Целевое изображение делится на плоскости, содержащие многочисленные глубины, в соответствии с информацией о глубине. Информация о расстоянии каждой плоскости глубины может быть определена согласно информации о глубине. Например, информация о расстоянии плоскости глубины определяется в соответствии с различием информации о глубине, соответствующей плоскости глубины.

В дополнительном варианте осуществления информация о глубине объектов, содержащихся в одной и той же плоскости глубины, является одной и той же.

Вариант III осуществления

На фиг. 4 схематично представлена структурная схема устройства отображения, соответствующего варианту III отображения настоящего изобретения. Устройство отображения применимо для улучшения восприятия глубины изображения. Устройство отображения может быть реализован посредством программного обеспечения и/или аппаратных средств, которые обычно интегрируются на оконечном устройстве.

Как показано на фиг. 4, устройство отображения содержит модуль 31 получения, модуль 32 определения и модуль 33 регулирования. Модуль 31 получения выполнен с возможностью получения информации о взгляде пользователя на текущее изображение. Модуль 32 определения выполнен с возможностью определения целевой плоскости глубины, соответствующей информации о взгляде. Модуль 33 регулирования выполнен с возможностью регулирования параметров отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяются в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, за исключением целевой плоскости глубины.

В этом варианте осуществления устройство отображения получает информацию о взгляде пользователя на текущее изображение, используя модуль 31 получения. Затем целевая плоскость глубины, соответствующая информации о взгляде, определяется, используя модуль 32 определения. Наконец, параметры отображения остальных плоскостей глубины регулируют, используя модуль 33 регулирования. Параметры отображения остальных плоскостей глубины определяются согласно расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, за исключением целевой плоскости глубины.

Согласно устройству отображения, представленному в этом варианте осуществления, восприятие глубины текущего изображения, просматриваемого пользователем, может быть улучшено.

В дополнительном варианте осуществления информация о взгляде содержит информацию о точке взгляда. Операция определения целевой плоскости глубины, соответствующей информации о взгляде, содержит нижеследующие операции.

Определяют целевой объект, соответствующий информации о точке взгляда на текущем изображении. Плоскость глубины, на которой расположен целевой объект, определяется как целевая плоскость глубины. В дополнительном варианте осуществления параметры отображения содержат радиус размытия.

В дополнительном варианте осуществления в случае, когда количество остальных плоскостей глубины равно по меньшей мере двум, радиус размытия каждой из остальных плоскостей глубины пропорционален расстоянию между этой остальной плоскостью глубины и целевой плоскостью глубины.

В дополнительном варианте осуществления расстояние между каждой из остальных плоскостей глубины и целевой плоскостью глубины определяется в соответствии с различием между информацией о расстоянии каждой из остальных плоскостей глубины и информацией о расстоянии целевой плоскости глубины.

В дополнительном варианте осуществления устройство дополнительно содержит модуль определения информации, выполненный с возможностью осуществления нижеследующей операции.

Определяют плоскость глубины и информация о расстоянии, соответствующая этой плоскости глубины, содержащейся в каждом изображении кадра в видео виртуальной реальности (VR) или дополненной (AR). Текущее изображение является изображением, которое в настоящее время отображается в видео VR или AR, и информацией о расстоянии является абсолютное расстояние между плоскостью глубины, содержащейся в каждом изображении кадра, и пользователем.

В дополнительном варианте осуществления модуль определения информации выполнен с возможностью осуществления нижеследующих операций.

Покадрово получают целевое изображение в видео VR или AR. Получают информацию о глубине каждого объекта, содержащегося в целевом изображении. Целевое изображение сегментируется на основе информации о глубине для получения по меньшей мере одной плоскости глубины. Информация о расстоянии по меньшей мере одной плоскости глубины определяется согласно информации о глубине.

В дополнительном варианте осуществления информация о глубине объектов, содержащаяся в одной и той же плоскости глубины, является одной и той же.

Устройство отображения может выполнить способ отображения, представленный в любом варианте осуществления настоящего изобретения, и имеет соответствующие функциональные модули для выполнения способа и соответствующих благоприятных результатов.

Вариант IV осуществления

На фиг. 5 схематично представлена структурная схема оконечного устройства, соответствующего варианту IV осуществления настоящего изобретения. Как показано на фиг. 5, оконечное устройство, показанное в этом варианте осуществления, содержит по меньшей мере один процессор 41 и устройство 42 хранения данных. В оконечном устройстве может быть по меньшей мере один процессор 41. На фиг. 5 в качестве примера используется один процессор 41.

Устройство 42 хранения данных выполнено с возможностью хранения по меньшей мере одной программы. По меньшей мере одна программа исполняется по меньшей мере одним процессором 41, так чтобы по меньшей мере один процессор 41 реализовывал способ, описанный в любом из вариантов осуществления настоящего изобретения.

Оконечное устройство дополнительно может содержать устройство 43 ввода и устройство 44 вывода.

Процессор 41, устройство 42 хранения данных, устройство 43 ввода и устройство 44 вывода могут соединяться через шину или другими способами. На фиг. 5 соединение через шину используется в качестве примера.

Устройство 42 хранения данных в оконечном устройстве действует в качестве считываемого компьютером носителя и может быть выполнено с возможностью хранения по меньшей мере одной программы. По меньшей мере одна программа может быть программой программного обеспечения, исполняемыми компьютером программами и модулями, например, программной командой/модулем (например, модули в устройстве отображения, показанном на фиг. 4, содержат модуль 31 получения, модуль 32 определения и модуль 33 регулирования), соответствующим способу, предоставленному в варианте I или II осуществления. Процессор 41 исполняет различные функциональные приложения и обработку данных оконечного устройства, выполняя программы, команды и модули, хранящиеся в устройстве 42 хранения данных. То есть, процессор реализует способ отображения в вышеупомянутых вариантах осуществления.

Устройство 42 хранения данных может содержать область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему и прикладную программу, требуемую по меньшей мере для одной функции. Область хранения данных может хранить данные, создаваемые в соответствии с использованием оконечного устройства. Кроме того, устройство 42 хранения данных может содержать высокоскоростную оперативную память и может дополнительно содержать память долгосрочного хранения данных, такую как по меньшей мере одно запоминающее устройство на магнитных дисках, устройство флэш-памяти или другие устройства твердотельной памяти для долгосрочного хранения данных. В некоторых вариантах осуществления устройство 42 хранения данных может дополнительно содержать памяти, расположенные на удалении от процессора 41. Удаленные памяти могут соединяться с устройством через сеть. Примеры вышеупомянутой сети содержат, но не ограничиваясь только этим, Интернет, интранет, локальную сеть, сеть мобильной связи и их сочетания.

Устройство 43 ввода может быть выполнено с возможностью приема вводимой числовой или символьной информации и формирования вводимого ключевого сигнала, связанного с настройками пользователя и функциональным управлением оконечного устройства. Устройство 44 вывода может содержать другие устройства отображения, такие как экран отображения. Когда по меньшей мере одна программа, содержащаяся в оконечном устройстве, выполняется по меньшей мере одним процессором 41, по меньшей мере одна программа выполняет нижеследующие операции.

Получают информацию о взгляде пользователя на текущее изображение.

Определяют целевую плоскость глубины, соответствующую информации о взгляде.

Регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяются в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, за исключением целевой плоскости глубины.

Вариант V осуществления

Вариант V осуществления настоящего изобретения обеспечивает считываемый компьютером носитель, хранящий по меньшей мере одну компьютерную программу. Способ отображения, представленный в настоящем изобретении, исполняется, когда по меньшей мере одна компьютерная программа исполняется по меньшей мере одним процессором. Способ содержит нижеследующие операции.

Получают информацию о взгляде пользователя на текущее изображение.

Определяют целевую плоскость глубины, соответствующую информации о взгляде.

Регулируют параметры отображения остальных плоскостей глубины. Параметры отображения остальных плоскостей глубины определяют в соответствии с расстоянием между каждой из остальных плоскостей глубины и целевой плоскостью глубины. Остальные плоскости глубины являются плоскостями глубины на текущем изображении, исключая целевую плоскость глубины.

Как вариант, по меньшей мере одна компьютерная программа, когда она исполняется по меньшей мере одним процессором, может быть дополнительно выполнена с возможностью осуществления способа отображения, представленного в любых вариантах осуществления настоящего изобретения.

Компьютерный носитель для хранения данных в этом варианте осуществления настоящего изобретения может быть любым сочетанием по меньшей мере одного считываемого компьютером носителя. Считываемый компьютером носитель может быть считываемым компьютером носителем сигнала или считываемым компьютером носителем для хранения данных. Считываемый компьютером носитель может быть, например, но не ограничиваясь только этим, электрической, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой, устройством или оборудованием или сочетанием любого из вышеупомянутого. Более конкретные примеры (список не является исчерпывающим) считываемого компьютером носителя содержат элемент электрического соединения, содержащий по меньшей мере один проводник, диск портативного компьютера, жесткий диск, оперативную память (Random Access Memory, RAM), постоянную память (Read-Only Memory, ROM), стираемую программируемую постоянную память (Erasable Programmable Read-Only Memory, EPROM), флэш-память, оптоволокно, портативное постоянное запоминающее устройство на компактных дисках (Compact Disc Read-Only Memory, CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любое соответствующее их сочетание. Считываемый компьютером носитель может быть любым физическим носителем, который содержит или хранит программу. Программа может использоваться системой исполнения команд, устройством, оборудованием или их сочетанием.

Считываемый компьютером носитель сигнала может содержать сигнал данных, который распространяется в основной полосе частот или распространяется как часть несущей волны, которая переносит содержащуюся в ней считываемую компьютером управляющую программу. Распространяющийся сигнал передачи данных может принимать разнообразные формы, такие как, но не ограничиваясь только этим, электромагнитный сигнал, оптический сигнал или любое подходящее их сочетание. Считываемый компьютером носитель сигнала может также быть любым считываемым компьютером носителем, кроме считываемого компьютером носителя для хранения данных. Считываемый компьютером носитель может посылать, распространять или передавать программу, которая используется системой, устройством, оборудованием или в сочетании с ними.

Управляющая программа, содержащаяся на считываемом компьютером носителе, может передаваться с помощью любого соответствующего носителя, включая, но не ограничиваясь только этим: Wi-Fi, провода, оптоволоконные кабели и радиочастота (RF) или любое подходящее сочетание перечисленного. Компьютерная управляющая программа, выполненная с возможностью исполнения операций в настоящем изобретении, может быть скомпилирована, используя по меньшей мере один язык программирования или их сочетания. По меньшей мере один язык программирования содержит объектный язык программирования, такой как Java, Smalltalk или C++ и дополнительно содержит стандартный язык процедурного программирования, такой как язык «C» или подобные языки программирования. Управляющая программа может полностью исполняться в компьютере пользователя или частично исполняться на компьютере пользователя, исполняться как независимый пакет программного обеспечения, исполняться частично на компьютере пользователя и частично на удаленном компьютере или исполняться полностью на удаленном сервере или на сервере. При условии использования удаленного компьютера, удаленный компьютер может быть связан с компьютером пользователя через любой тип сети, в том числе, локальную сеть (Local Area Network, LAN) или глобальную вычислительную сеть (Wide Area Network, WAN), или может быть связан с внешним компьютером (например, связан Интернет-провайдером через Интернет).

Следует заметить, что вышесказанное является примерными вариантами осуществления и используемыми техническими принципами настоящего изобретения. Специалисты в данной области техники должны понимать, что настоящее изобретение не ограничивается описанными здесь конкретными вариантами осуществления и специалистами в данной области техники могут быть сделаны различные очевидные изменения, реорганизации и замены, не отступая от объема защиты настоящего изобретения. Поэтому настоящее изобретение подробно описано в предшествующих вариантах осуществления, но настоящее изобретение не ограничивается предшествующими вариантами осуществления. Не отступая от концепции настоящего изобретения в него могут быть также включены и другие эквивалентные варианты осуществления. Поэтому объем защиты настоящего изобретения зависит от объема защиты приложенной формулы изобретения.

Claims (24)

1. Способ отображения глубины трехмерной виртуальной информации, содержащий этапы, на которых:

получают информацию о взгляде пользователя на текущее изображение;

определяют целевую плоскость глубины, соответствующую информации о взгляде; и

регулируют параметры отображения остальных плоскостей глубины, причем параметры отображения остальных плоскостей глубины определяются согласно расстоянию между каждой из остальных плоскостей глубины и целевой плоскостью глубины, и остальные плоскости глубины являются плоскостями глубины на текущем изображении, отличными от целевой плоскости глубины, при этом параметры отображения содержат радиус размытия, причем радиус размытия пропорционален неопределенности текущего изображения;

при этом, в случае когда количество остальных плоскостей глубины по меньшей мере равно двум, радиус размытия каждой остальной плоскости глубины пропорционален расстоянию между указанной остальной плоскостью глубины и целевой плоскостью глубины.

2. Способ по п. 1, в котором информация о взгляде содержит информацию о точке взгляда, причем на этапе определения целевой плоскости глубины, соответствующей информации о взгляде:

определяют на текущем изображении целевой объект, соответствующий информации о точке взгляда; и

определяют плоскость глубины, на которой расположен целевой объект, в качестве целевой плоскости глубины.

3. Способ по п. 1, в котором расстояние между каждой остальной плоскостью глубины и целевой плоскостью глубины определяется в соответствии с различием между информацией о расстоянии указанной остальной плоскости глубины и информацией о расстоянии целевой плоскости глубины.

4. Способ по п. 1, дополнительно содержащий этап, на котором:

определяют плоскость глубины и информацию о расстоянии, соответствующую указанной плоскости глубины, содержащейся в каждом изображении кадра в видео виртуальной реальности (VR) или дополненной реальности (AR), причем текущее изображение является изображением, которое в настоящее время отображается в видео VR или AR, и информация о расстоянии представляет собой абсолютное расстояние между плоскостью глубины, содержащейся в каждом изображении кадра, и пользователем.

5. Способ по п. 4, в котором на этапе определения плоскости глубины, содержащейся в каждом изображении кадра в видео VR или AR:

получают целевое изображение покадрово в видео VR или AR;

получают информацию о глубине каждого объекта, содержащегося в целевом изображении; и

сегментируют целевое изображение на основе информации о глубине, чтобы получить по меньшей мере одну плоскость глубины,

при этом информацию о расстоянии для указанной по меньшей мере одной плоскости глубины определяют согласно информации о глубине.

6. Способ по п. 5, в котором информация о глубине объектов, содержащихся в одной и той же плоскости глубины, является одинаковой.

7. Устройство отображения глубины трехмерной виртуальной информации, содержащее:

модуль получения, выполненный с возможностью получения информации о взгляде пользователя на текущее изображение;

модуль определения, выполненный с возможностью определения целевой плоскости глубины, соответствующей информации о взгляде; и

модуль регулирования, выполненный с возможностью регулирования параметров отображения остальных плоскостей глубины, причем параметры отображения остальных плоскостей глубины определяются в соответствии с расстоянием между каждой остальной плоскостью глубины и целевой плоскостью глубины, и остальные плоскости глубины представляют собой плоскости глубины на текущем изображении, отличные от целевой плоскости глубины, при этом параметры отображения содержат радиус размытия, причем радиус размытия пропорционален неопределенности текущего изображения;

при этом, в случае когда количество остальных плоскостей глубины по меньшей мере равно двум, радиус размытия каждой остальной плоскости глубины пропорционален расстоянию между указанной остальной плоскостью глубины и целевой плоскостью глубины.

8. Оконечное устройство, содержащее по меньшей мере один процессор и устройство хранения данных, выполненное с возможностью хранения по меньшей мере одной программы, причем, когда указанная по меньшей мере одна программа исполняется указанным по меньшей мере одним процессором, указанный по меньшей мере один процессор выполнен с возможностью реализации способа по любому из пп. 1-6.

9. Считываемый компьютером носитель, хранящий по меньшей мере одну компьютерную программу, при этом способ по любому из пп. 1-6 реализуется, когда указанная по меньшей мере одна компьютерная программа исполняется по меньшей мере одним процессором.