WO2014175778A1 - Способ реализации адаптивного видео - Google Patents

Способ реализации адаптивного видео Download PDF

Info

Publication number
WO2014175778A1
WO2014175778A1 PCT/RU2014/000267 RU2014000267W WO2014175778A1 WO 2014175778 A1 WO2014175778 A1 WO 2014175778A1 RU 2014000267 W RU2014000267 W RU 2014000267W WO 2014175778 A1 WO2014175778 A1 WO 2014175778A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
coordinates
visual
account
Prior art date
Application number
PCT/RU2014/000267
Other languages
English (en)
French (fr)
Inventor
Александр Николаевич ЛУКОЯНОВ
Original Assignee
Lukoyanov Aleksandr Nikolaevich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lukoyanov Aleksandr Nikolaevich filed Critical Lukoyanov Aleksandr Nikolaevich
Publication of WO2014175778A1 publication Critical patent/WO2014175778A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • a method for implementing adaptive video is a method for implementing adaptive video.
  • the claimed invention relates to the field of adaptive data processing, image reproduction in real time, taking into account the coordinates, parameters of the user's gaze and features of human visual perception.
  • Methods for recording eye movement also known as eye tracking or oculography, are used to determine the coordinates and parameters of the gaze (determine the orientation of the optical axis of the eyeball and the dynamics of changes in this orientation over time).
  • the devices used for i-tracking are called eye-tracker.
  • Describing methods for recording eye movements two main groups can be distinguished. The first group uses contact methods associated with the installation of recording sensors directly on the cornea of the eye or around it (electrooculography, photo-optical, electromagnetic method). The second group uses non-contact methods (video recording, photoelectric method).
  • the closest analogues to the presented invention are systems consisting of three main devices.
  • the first type of device is designed to visually display information, in particular on displays.
  • the second type of device monitors the coordinates, parameters of the gaze and / or movement of the user's eyes relative to the screen / image (eye-tracker).
  • the third type of device is electronic computing devices (hardware, computers).
  • a pseudo-volume information display system on a two-dimensional display describes a system designed to change the coordinates of the observation point (angular displacement, scaling) in virtual space depending on the position of the user's eyes relative to the device for visual display of information.
  • the system replaces or complements input devices (keyboard, mouse) used to change the position and direction of the virtual camera when viewing the image (virtual scene) by the user.
  • the closest technical solution taken as a prototype, is “A method of presenting video information and a device for its implementation”, the task of which is to determine the direction of the optical axes, the coordinates of the user's eyes, the identification of the portion of the screen that the gaze is directed at, followed by image formation, consisting of sections with variable boundaries and different resolution (patent RU 2134053).
  • the method allows for dynamic control of image quality, as well as reduce the amount of excessive video information during its formation, conversion, transmission and display.
  • the main difference between the present invention and the existing analogs and prototypes described above is that when forming and reproducing the image in real time, parameters, coordinates of the user's gaze, and also features are taken into account human visual perception (relative to the virtual object of observation of its coordinates and spatial environment) in order to visualize the image and / or create visual effects (volumetric, spatial vision of the user in three-dimensional virtual space) according to the properties of visual perception, close to the real world.
  • the human eye both in pairs and alone, well distinguishes volumetric objects from flat images.
  • the human eyes are a dynamic system, and we constantly look from one subject to another, gaining a more complete picture of the relative position of objects and the space surrounding us.
  • the dynamic characteristics of the eyes include the coordinates and directions of the visual lines, accommodation of the eyes, convergence, and other features of the human visual perception, which can be taken into account when creating and reproducing video images using adaptive video to create full-fledged virtual reality. The essence of the invention.
  • the basis of the invention is the task of creating the concept of adaptive video, that is, the implementation of the method of adaptive processing and reproduction of the image in real time, taking into account the coordinates, parameters of the user's gaze (visual axis (1), fixation point (2), convergence angle), as well as visual features human perception (reflex of fixation, accommodation of eyes, disparity).
  • the technical result is the creation of visual effects (volumetric, spatial perception by the user of three-dimensional virtual space) by forming images (computer graphics, image visualization, video) according to the properties of sensory perception, close to the real world.
  • the task can be achieved by the fact that during the visual perception of the image (7) by the user (8), the data is processed, the coordinates and / or eye parameters (1, 2) are determined on the image (in three-dimensional virtual space relative to the observation object (4 or 5)) with the subsequent formation and reproduction of the image in real time, taking into account the peculiarities of human visual perception.
  • Fig. 1 illustrates an example of a user’s visual interaction with a virtual environment, taking into account the particularities of a person’s binocular vision with image formation for both the left and right eyes of the user.
  • those of the features of human visual perception that have their own spatial coordinates relate to the peculiarities of human visual perception (like accommodation of the eyes, disparity) and have their own spatial coordinates, tracking which you can determine the point of fixation of the gaze on the image plane (virtual object of observation), the time of fixation of the gaze and the angle of convergence .
  • the characteristics of a person’s visual perception including those that fall under determination of coordinates and / or parameters of the user's gaze) will be taken into account when implementing this invention, depend on the tasks and are not limited to the presented examples and options.
  • the present invention will find the greatest application in the field of virtual reality or mixed reality (the effect of spatial vision in a user in three-dimensional virtual space) in the field of visual perception.
  • spatial vision begins with the transformation of plane perception into deep.
  • an important role belongs to accommodation and convergence of the eye, that is, to each angle of convergence there corresponds a certain state of accommodation of the eyes, and when perceiving depth to them.
  • the functions performed by the corresponding and disparate points of the retina join.
  • visualization of objects is carried out, while the fixation reflex is observed, the visual axis of the eyes intersect at some point in space called the fixation point.
  • this invention allows to obtain a dynamic image (stereo image) relative to the user's gaze, which will allow to reach a new level of visual perception in areas such as computer graphics, virtual reality, games, films.
  • a dynamic image stereo image
  • areas such as computer graphics, virtual reality, games, films.
  • Fig. 1 illustrates the interaction (visual analyzer) of a user with an image, a virtual environment, and also presents several methods for the technical implementation of the present invention.
  • Fig. 2 illustrates some features of the visual perception of the real world by man.
  • the user (8) is in front of the image (7) reproduced on the screen (9) by the device for visual display of information (projector, display (10)).
  • an image is formed and / or reproduced for the left and right eyes of the user individually or with some differences.
  • a device whose task is to determine the coordinates and parameters of the user's gaze / eyes (1 1) is located in front of the user (8) or attached directly to it. Data processing is performed using a computer system (computer (12) and / or server (13)) and the corresponding software. Lines (14, 15, 1 6) show the main directions of data transfer, and also, as an example, several methods of interaction between systems and devices (10, 1 1, 1 2, 1 3) used in the technical implementation of this invention are presented.
  • the first method (1 4) data processing is performed using a computing system (computer (1 2)), to which a visual device is connected information display (display (10)) and a device that determines the coordinates and parameters of the gaze / eye (eye tracker (1 1)).
  • the second method (1 5) differs from the first one in that part of the data is processed by a computer system (server (13)) through an information network (Internet).
  • the third method (16) characterizes itself by the fact that a device for visual display of information (10) and a device for determining coordinates and parameters of gaze / eyes (1 1) are connected through an information network to a computer system (13), where the main part of data processing occurs.
  • the user receives visual information from a device belonging to the class of wearable visualization systems (virtual reality helmet) with an integrated system for determining the coordinates and parameters of the user's gaze / eyes.
  • a device belonging to the class of wearable visualization systems virtual reality helmet
  • the user receives visual information from a device belonging to the class of wearable visualization systems (virtual reality helmet) with an integrated system for determining the coordinates and parameters of the user's gaze / eyes.
  • a device for visual display of information (display) and / or screen lenses are attached between them at a minimum distance from the eyes, a device for determining the coordinates and parameters of the gaze / eyes is located in the nose bridge.
  • the main objective of lenses is to minimize the distance from the eyes to the screen, at which the user can focus his vision on the image, perceiving it without any particular load, while the screen occupies the entire visible field view.
  • the technical benefit of using this technology is that there is a more complete visual perception of virtual space by the user.
  • the visual line (the visual axis, the line of fixation, the axis of fixation) is a straight line connecting the point fixed by sight with the middle of the central fossa of the retina of the human eye (user).
  • Corresponding points - conjugate points displayed on the retinas which are images of a fixed point in space. Formed on the central fossae of the retina of the right and left eyes.
  • Binocular vision means vision with two eyes, but at the same time the object is seen singly, as if with one eye. The highest degree of binocular vision is deep, embossed, spatial, stereoscopic vision. In addition, with binocular perception of objects, visual acuity increases and the field of view expands.
  • Monocular vision the perception of observed objects or their images with one eye. With monocular vision, the extent of the space and the degree of relief of the objects located in it are estimated based on secondary factors of spatial vision. The usual single-lens photo, film, or video shooting is a partial imitation of monocular vision.
  • One of the objectives of this invention is that a person (user) uses the same visual functions with respect to the virtual world / space that he uses in the real world, thereby erasing the boundaries of visual perception between the two worlds.
  • spatial vision begins with the transformation of plane perception into deep.
  • an important role belongs to accommodation and convergence of the eyes, that is, to each angle of convergence there corresponds a certain state of accommodation of the eyes, and when perceiving depth, they are joined by functions performed by the corresponding and disparate points of the retina.
  • visual localization of objects is carried out, while the fixation reflex, the visual axis of the eyes intersect at some point in space called the fixation point.
  • the fixation of the gaze in the periphery of the field of view, the direction of the next saccade and the next fixation point are selected. Eye movements (gaze) are required for spatial vision.
  • FIG. 2 shows that when a person glances (8) at the object of observation (4), the vision is focused, the visual lines (1) converge at the fixation point (2), forming a convergence angle with the subsequent accommodation process, the direction of the next saccade is chosen in the periphery of the visual field and the next fixation point (at facility 5).
  • a person clearly sees only that object (part of the object) on which the gaze itself is focused; all other objects look defocused to varying degrees depending on the distance between them and the observer himself.
  • the real world depicted in fig. 2 corresponds to the coordinate system of three-dimensional virtual space in fig. 1 reproduced as an image (7). For example, in fig.
  • the features of human visual perception taken into account during the implementation of this invention, can be adapted to virtual space (image).
  • Fig. 1 illustrates a case in which a user (8) is in front of a screen (9) on which a stereo image is reproduced by the information display device (10).
  • the image is formed and reproduced taking into account the parameters and coordinates of the user's gaze (1, 2), as well as the peculiarities of human visual perception in real time.
  • visual lines (1), crossing the image plane, conditionally pass through the virtual space and converge at the fixation point (2) on the virtual object (4), forming a convergence angle.
  • the process of accommodation of the eyes is imitated, the field of general vision, the field of vision for the left and right eyes, as well as the areas of clear vision, acute vision (macula), highest resolution (feofal) with respect to the object of observation (4) and the surrounding area are determined its virtual space with the formation of various zones of definition (resolution) of the image.
  • the imitation of the accommodation process consists in the fact that the user sees clearly on the image that object (part of the object (4)) on which the gaze itself is focused, all other virtual objects (5) look differently out of focus.
  • image (7) is a display of three-dimensional virtual space modeled using computer graphics using 3D visualization methods.
  • the coordinates, parameters of the user's gaze, as well as the location of the observation point (virtual camera) in three-dimensional space are changed, which are taken into account when forming and reproducing the image. If there is a change in the observation point (virtual camera) and / or the object of observation in three-dimensional space, for example, using an input device, then this will also lead to changes in the coordinates and parameters of the user's gaze taken into account when implementing adaptive video.
  • the use of images with elements is possible.
  • adaptive video can also be represented in two stages.
  • software and / or graphic data images are created with the possibility or purpose of use in the implementation of adaptive video.
  • software and / or graphic data are used that are created for use in the implementation of adaptive video. It should be understood that the coordinates and parameters of the user's gaze, as well as the features of human visual perception, taken into account when implementing adaptive video, depend on the tasks and are not limited to the options and examples presented above. For the implementation of this invention can be applied not only the above devices and systems, but also the corresponding software and graphic data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к способам адаптивной обработки и воспроизведения изображения в режиме реального времени с учетом координат, параметров взгляда пользователя (зрительной оси (1), точки фиксации (2), угла конвергенции), а также особенностей зрительного восприятия человека (рефлекса фиксации, диспаратности, аккомодации глаз). Техническим результатом является создание визуальных эффектов (объемного, пространственного восприятия пользователем трехмерного виртуального пространства) путем формирования изображений (компьютерной графики, визуализации изображения, видео) по свойствам сенсорного восприятия, приближенных к реальному миру. Указанный технический результат достигается тем, что при зрительном восприятии изображения (7) пользователем (8) происходит процесс обработки данных, определение координат и параметров взгляда пользователя (1, 2) на изображении (в трехмерном виртуальном пространстве относительно объекта наблюдения (4 или 5)) с последующим формированием и воспроизведением изображения (стереоизображения 7) в режиме реального времени.

Description

Способ реализации адаптивного видео.
Область техники, к которой относится изобретение.
Заявляемое изобретение относится к области адаптивной обработки данных, воспроизведения изображения в режиме реального времени с учетом координат, параметров взгляда пользователя и особенностей зрительного восприятия человека.
Предшествующий уровень техники изобретения.
Методы регистрации движения глаз, известные так же, как ай-трекинг (eye- tracking) или окулография, используются для определения координат и параметров взгляда (определения ориентации оптической оси глазного яблока и динамики изменения этой ориентации во времени). Устройства, используемые для ай-трекинга, получили название ай-трекер (eye-tracker). Описывая методы регистрации движений глаз, можно выделить две основные группы. Первая группа использует контактные методы, связанные с установкой регистрирующих датчиков непосредственно на роговицу глаза или вокруг него (электроокулография, фотооптический, электромагнитный метод). Вторая группа использует бесконтактные методы (видеорегистрация, фотоэлектрический метод). Методы регистрации движения глаз нашли свое применение в исследованиях (маркетинге, медицине) или в качестве устройств ввода, управляемых взглядом (ассистивиые средства коммуникации), тем самым дополняя или заменяя устройства ввода, управляемые при помощи рук (клавиатуры, мыши, джойстика). По своему техническому воплощению наиболее близкими аналогами к представленному изобретению являются системы состоящие из трех основных устройств. Первый тип устройств предназначен для визуального отображения информации, в частности на дисплеях. Второй тип устройств отслеживает координаты, параметры взгляда и/или движения глаз пользователя относительно экрана/изображения (eye-tracker). Третий тип устройств - это электронные вычислительные устройства (аппаратное обеспечение, компьютеры). Так в заявке на патент RU2007135972 (А) «Система отображения информации в псевдообъемном виде на двухмерном дисплее» описывается система, предназначенная для изменения координат точки наблюдения (углового смещения, масштабирования) в виртуальном пространстве в зависимости от положения глаз пользователя относительно устройства визуального отображения информации. Система заменяет или дополняет устройства ввода (клавиатуру, мышь), используемые для смены позиции и направления виртуальной камеры, при просмотре изображения (виртуальной сцены) пользователем. Наиболее близким техническим решением, взятым в качес тве прототипа, является «Способ представления видеоинформации и устройство для его осуществления», в задачу которого входит определение направления оптических осей, координат глаз пользователя, идентификацию участка экрана, на который направлен взгляд, с последующим формированием изображения, состоящего из участков с переменными границами и разной разрешающей способностью (патент RU 2134053). Способ позволяет осуществлять динамическое управление качеством изображения, а также снизить объем избыточной видеоинформации при ее формировании, преобразовании, передаче и отображении.
Основное отличие настоящего изобретения от существующих и описанных выше аналогов, прототипа в том, что при формировании и воспроизведении изображения в режиме реального времени учитываются параметры, координаты взгляда пользователя, а также особенности зрительного восприятия человека (относительно виртуального объекта наблюдения его координат и пространственного окружения) с целью визуализации изображения и/или создания визуальных эффектов (эффект объемного, пространственного зрения у пользователя в трехмерном виртуальном пространстве) по свойствам зрительного восприятия, приближенного к реальному миру.
В настоящее время подавляющее большинство трёхмерных изображений показывается при помощи стереоскопического эффекта, как наиболее лёгкого в реализации, хотя использование одной лишь стереоскопии нельзя назвать достаточным для объёмного восприятия. Человеческий глаз, как в паре, так и в одиночку хорошо отличает объёмные объекты от плоских изображений. Глаза человека - это динамическая система, и мы постоянно переводим взгляд с одного предмета на другой, получая более полное представление о взаимном расположении объектов и окружающем нас пространстве. К динамическим характеристикам глаз относят координаты и направления зрительных линий, аккомодацию глаз, конвергенцию и другие особенности зрительного восприятия человека, которые могут учитываться при формировании и воспроизведении видеоизображения с применением адаптивного видео для создания полноценной виртуальной реальности. Сущность изобретении.
В основу изобретения положена задача создания концепции адаптивного видео, то есть осуществление способа адаптивной обработки и воспроизведения изображения в реальном времени с учетом координат, параметров взгляда пользователя (зрительной оси (1 ), точки фиксации (2), угла конвергенции), а также особенностей зрительного восприятия человека (рефлекса фиксации, аккомодации глаз, диспаратности). Техническим результатом является создание визуальных эффектов (объемного, пространственного восприятия пользователем трехмерного виртуального пространства) путем формирования изображений (компьютерной графики, визуализации изображения, видео) по свойствам сенсорного восприятия, приближенных к реальному миру. Поставленная задача, к примеру, может быть достигнута тем, что при зрительном восприятии изображения (7) пользователем (8) происходит процесс обработки данных, определение координат и/или параметров взгляда ( 1 , 2) на изображении (в трехмерном виртуальном пространстве относительно объекта наблюдения (4 или 5)) с последующим формированием и воспроизведением изображения в режиме реального времени с учетом особенностей зрительного восприятия человека. Fig. 1 иллюстрирует пример зрительного взаимодействия пользователя с виртуальной средой, при этом учитываются особенности бинокулярного зрения человека с формированием изображения, как для левого, так и для правого глаза пользователя. При реализации адаптивного видео используются программное, аппаратное обеспечение (компьютер (1 2), сервер ( 1 3)) и устройства, обладающие функциями отображения визуальной информации (проектор, дисплей ( 1 0)), регистрации движения глаз и/или определения координат, параметров взгляда пользователя (eye tracker (1 1 )).
В данном изобретении те из особенностей зрительного восприятия человека, которые имеют собственные пространственные координаты (зрительные оси, оптические оси глаз, точки фиксации взгляда) или обладают определенными параметрами (угол конвергенции, направление, время фиксации взгляда), получили определения координат и/или параметров взгляда пользователя. К примеру, зрительные оси относятся к особенностям зрительного восприятия человека (так же, как аккомодация глаз, диспаратность) при этом имеют свои пространственные координаты, отслеживая которые можно определить точки фиксации взгляда на плоскости изображения (виртуальном объекте наблюдения), время фиксации взгляда и угол конвергенции. То, какие из особенностей зрительного восприятия человека (включая те, что подпадают под определения координат и/или параметров взгляда пользователя) будут учитываться при реализации данного изобретения, зависят от поставленных задач и не ограничиваются представленными примерами и вариантами.
Настоящее изобретение найдет наибольшее применение в сфере виртуальной реальности или смешанной реальности (эффект пространственного зрения у пользователя в трехмерном виртуальном пространстве) в области зрительного восприятия. В реальном мире пространственное зрение начинается с превращения плоскостного восприятия в глубинное. В пространственном зрении на плоскости значительная роль принадлежит аккомодации и конвергенции глаза, то есть каждому углу конвергенции соответствует определенное состояние аккомодации глаз, а при восприятии глубины к ним. присоединяются функции, выполняемые корреспондирующими и диспаратными точками сетчатки. В процессе пространственного зрения осуществляется зрительная локализация предметов, при этом соблюдается фиксационный рефлекс, зрительные оси глаз пересекаются в некоторой точке пространства, называемой точкой фиксации. Во время фиксации взгляда в периферии поля зрения выбирается направление очередной саккады и следующая точка фиксации. Движения глаз (взгляда) обязательны для пространственного зрения. Добиться эффекта максимального погружения в виртуальную среду за счет увеличения разрешения дисплеев или стереоэффекта и т.п. без применения концепции адаптивного видео маловероятно, так как изображение будет статично по отношению к взгляду пользователя, чего не происходит в реальном мире, где зрительные образы формируются за счет взгляда, а также особенностей зрительной системы человека, которая на данный момент учитывается не в полной мере при создании визуальных эффектов. Использование данного изобретения позволяет получить динамичное изображение (стереоизображение) относительно взгляда пользователя, что позволит выйти на новый уровень зрительного восприятия в таких областях как компьютерная графика, виртуальная реальность, игры, фильмы. В описании настоящего изобретения (предшествующем уровне техники изобретения, сущности изобретения, подробном описании изобретения) а также в реферате в скобках приведены возможные варианты и/или примеры.
Краткое описание чертежей.
Настоящее изобретение может быть более понятым, исходя из нижеследующего описания и приложенных графических данных, иллюстрирующих особенности представленного изобретения в качестве примера.
Fig. 1 иллюстрирует взаимодействия (зрительного анализатора) пользователя с изображением, виртуальной средой, а также представляет несколько способов технической реализации данного изобретения.
Fig. 2 иллюстрирует некоторые особенности зрительного восприятия реального мира человеком.
Подробное описание изобретения.
В следующем описании изобретения дается ссылка на сопроводительные чертежи, которые являются его частью в качестве иллюстрации, изображая конкретные примеры, посредством которых изобретение может быть осуществлено. Должно быть понятно, что могут быть использованы и другие варианты осуществления данного изобретения, сделаны структурные изменения, не отступая от объема настоящего изобретения. В данных примерах описано взаимодействие устройств для реализации адаптивной обработки графических данных, воспроизведения изображения в реальном времени с учетом координат, параметров взгляда пользователя, а также психофизиологических особенностей зрения человека. Полученный результат реализуется в виде визуальных эффектов (глубинного, пространственного изображения, графических эффектов), оптимизированных под зрительное восприятие человека (пользователя). Fig. 1 иллюстрирует первый вариант, в котором описываются взаимодействия зрительной системы пользователя с виртуальным трехмерным пространством, смоделированным при помощи компьютерной графики в виде изображения, а также представляет несколько способов технической реализации данного изобретения. В представленном варианте пользователь (8) находится перед изображением (7), воспроизведенным на экране (9) устройством визуального отображения информации (проектором, дисплеем ( 10)). При зрительном восприятии изображения (7) пользователем (8) в режиме реального времени происходит процесс определения параметров и координат взгляда ( 1 , 2) относительно изображения (объекта наблюдения 4 или 5) и/или в пространстве (реальном, виртуальном), исходя из полученной информации, с учетом особенностей зрительного восприятия человека формируется и воспроизводится изображение. В данном примере для достижения стереоэффекта изображение формируется и/или воспроизводится для левого и правого глаза пользователя в отдельности или с некоторыми отличиями. Устройство, в задачу которого входит определение координат и параметров взгляда/глаз пользователя ( 1 1 ), находится перед самим пользователем (8) или крепится непосредственно на нем. Обработка данных производится с помощью вычислительной системы (компьютера ( 12) и/или сервера ( 13)) и соответствующего программного обеспечения. Линиями (14, 15, 1 6) показаны основные направления передачи данных, а также в качестве примера представлено несколько способов взаимодействия систем и устройств ( 10, 1 1 , 1 2, 1 3), используемых при технической реализации данного изобретения. В первом способе ( 1 4) обработка данных происходит с помощью вычислительной системы (компьютера ( 1 2)), к которой подключено устройство визуального отображения информации (дисплей ( 10)) и устройство, определяющее координаты и параметры взгляда/глаз (eye tracker ( 1 1 )). Второй способ ( 1 5) отличается от первого тем, что часть данных обрабатывается вычислительной системой (сервером (13)) через информационную сеть (интернет). Третий способ ( 16) характеризует себя тем, что устройство визуального отображения информации ( 10) и устройство для определения координат и параметров взгляда/глаз ( 1 1 ) связаны через информационную сеть с вычислительной системой ( 13), где и происходит основная часть обработки данных.
Отличие второго варианта (лучшего варианта осуществления изобретения) от первого варианта в том, что визуальную информацию пользователь получает от устройства, относящегося к классу носимых систем визуализации (шлема виртуальной реальности) со встроенной системой определения координат и параметров взгляда/глаз пользователя. Рассмотрим в качестве примера одно из устройств, относящегося к данному классу в упрощенной форме. В описываемом шлеме виртуальной реальности перед каждым глазом пользователя расположено устройство визуального отображения информации (дисплей) и/или экран, между ними на минимальном расстоянии от глаз крепятся линзы, устройство для определения координат и параметров взгляда/глаз расположено в области переносицы. Основная задача линз (асферических линз с положительной диоптрией, выполненных из материалов с высоким показателем преломления) - максимально уменьшить расстояние от глаз до экрана, при котором пользователь сможет фокусировать свое зрение на изображении, воспринимая его без особой нагрузки, экран при этом занимает все видимое поле зрения. Техническая выгода использования данной технологии в том, что происходит более полное визуальное восприятия виртуального пространства пользователем. В представленных выше вариантах возможно применение систем с функцией (tracking) определения пространственных координат материальных объектов (шлема виртуальной реальности) для взаимодействия пользователя с виртуальной средой/пространством.
Для лучшего понимания адаптивного видео рассмотрим некоторые особенности зрительного восприятия человека, которые приведены в качестве примера в данном описании изобретения или могут учитываться при его реализации.
• Точка фиксации - точка, на которой фиксирован взгляд пользователя.
• Зрительная фиксация— проецирование изображения рассматриваемого объекта на определенное место сетчатки, осуществляемое путем
изменения положения глазного яблока.
• Зрительная линия (зрительная ось, линия фиксации, ось фиксации) - прямая, соединяющая фиксированную взглядом точку с серединой центральной ямки сетчатки глаза человека (пользователя).
• Конвергенция - движение глаз, в результате которого обе зрительные линии сходятся вместе на предмете, возбудившем внимание.
• Корреспондирующие точки - сопряженные точки, отображенные на сетчатках глаз, являющиеся изображениями фиксируемой взглядом точки пространства. Формируются на центральных ямках сетчаток правого и левого глаз.
• Диспаратность - различие взаимного положения точек, отображаемых на сетчатках левого и правого глаза.
• Параллакс - изменение видимого положения объекта относительно удалённого фона в зависимости от положения наблюдателя.
• Аккомодация глаза - приспособление к ясному видению предметов, находящихся на различных расстояниях от глаза, то есть время, затраченное на фокусировку и расфокусированность объектов, находящихся в этот момент в поле зрения в зависимости от расстояния. • Периферийное зрение - зрение, при котором используется периферия сетчатки.
• Поле зрения - угловое пространство, видимое глазом при фиксированном взгляде.
• Бинокулярное зрение означает зрение двумя глазами, однако при этом предмет видится единично, как бы одним глазом. Наивысшей степенью бинокулярного зрения является глубинное, рельефное, пространственное, стереоскопическое зрение. Кроме того, при бинокулярном восприятии объектов повышается острота зрения и расширяется поле зрения.
• Монокулярное зрение - восприятие наблюдаемых объектов или их изображений одним глазом. При монокулярном зрении оценка протяженности пространства и степени рельефности, находящихся в нем объектов, производится на основе вторичных факторов пространственного зрения. Обычная однообъективная фото-, кино - или видеосъемка является частичной имитацией монокулярного зрения.
Одна из задач данного изобретения заключается в том, чтоб человек (пользователь) использовал те же зрительные функции по отношению к виртуальному миру/пространству, что использует в реальном мире, стирая тем самым границы визуального восприятия между двумя мирами. В реальном мире пространственное зрение начинается с превращения плоскостного восприятия в глубинное. В пространственном зрении на плоскости значительная роль принадлежит аккомодации и конвергенции глаз, то есть каждому углу конвергенции соответствует определенное состояние аккомодации глаз, а при восприятии глубины к ним присоединяются функции, выполняемые корреспондирующими и диспаратными точками сетчатки. В процессе пространственного зрения осуществляется зрительная локализация предметов, при этом соблюдается фиксационный рефлекс, зрительные оси глаз пересекаются в некоторой точке пространства, называемой точкой фиксации. Во время фиксации взгляда в периферии поля зрения выбирается направление очередной саккады и следующая точка фиксации. Движения глаз (взгляда) обязательны для пространственного зрения.
Рассмотрим в качестве примера на fig. 2 некоторые особенности зрительного восприятия реального мира человеком (8) и сопоставим их на fig. 1 со зрительным восприятием изображения (виртуального пространства (7)) этого же мира, воспроизведенного устройством визуального отображения информации с использованием принципов представленного изобретения. В данном примере (на fig. 1 ) при создании стереоизображения учитываются особенности бинокулярного зрения человека, а в случае создания изображения без применения стереоэффекта будут учитываться особенности монокулярного зрения.
На fig. 2 показано, что при переводе взгляда человеком (8) на объект наблюдения (4) происходит фокусировка зрения, зрительные линии ( 1 ) сходятся в точке фиксации (2), образуя угол конвергенции с последующим процессом аккомодации, в периферии поля зрения выбирается направление очередной саккады и следующая точка фиксации (на объекте 5). При этом человек отчетливо видит только тот объект (часть объекта), на котором сфокусирован сам взгляд, все остальные объекты выглядят в разной степени расфокусированными в зависимости от расстояния между ними и самим наблюдателем. Реальный мир, изображенный на fig. 2, соответствует системе координат трехмерного виртуального пространства на fig. 1 , воспроизводимого в виде изображения (7). К примеру, на fig. 1 у пользователя (8) при фиксации взгляда на объекте наблюдения (5) зрительные линии ( 1 ), пересекая (в точке (6)) плоскость изображения, условно проходят через виртуальное пространство к точке фиксации (2), образуя угол конвергенции, соответствующий углу конвергенции человека (8), изображенного на fig. 2, при фиксации взгляда последнего на идентичном объекте (5). Как показано в вышеописанном примере особенности зрительного восприятия человека, учитываемые во время реализации данного изобретения, могут быть адаптированы к виртуальному пространству (изображению).
Fig. 1 , иллюстрирует случай, в котором пользователь (8) находится перед экраном (9), на котором воспроизведено стереоизображение устройством визуального отображения информации ( 10). Изображение формируется и воспроизводится с учетом параметров и координат взгляда пользователя ( 1 ,2), а также особенностей зрительного восприятия человека в режиме реального времени. Рассмотрим более подробно влияние особенностей зрительного восприятия человека (пользователя) на формирование изображения при реализации данного изобретения. В представленном примере, зрительные линии (1 ), пересекая плоскость изображения, условно проходят через виртуальное пространство и сходятся в точке фиксации (2) на виртуальном объекте (4), образуя угол конвергенции. С учетом полученных данных происходит имитация процесса аккомодации глаз, определяется поле общего зрения, поле зрения для левого и правого глаза, а также области ясного видения, острого зрения (макула), наибольшего разрешения (феофала) по отношению к объекту наблюдения (4) и окружающего его виртуального пространства с формированием различных зон четкости (разрешения) изображения. Имитация процесса аккомодации заключается в том, что пользователь видит на изображении четко тот объект (часть объекта (4)), на котором сфокусирован сам взгляд, все остальные виртуальные объекты (5) выглядят в разной степени расфокусированными. При этом учитывается время фиксации взгляда, время формирования изображения, расстояние от наблюдателя (пользователя) до плоскости изображения и от точки наблюдения (виртуальной камеры) до объекта наблюдения, освещенности, диаметра зрачка и других факторов. При переводе взгляда пользователем (8) на следующий объект наблюдения (5) происходит тот же процесс формирования и воспроизведения изображения, что описан выше, с учетом особенностей зрительного восприятия человека и новых полученных данных по отношению к объекту наблюдения и окружающего его виртуального пространства (сцены, объекта (4)). Если бы к примеру, изображение создавалось без стереоэффекта, то вероятнее всего учитывались бы пространственные координаты зрительных линий для определения точки фиксации взгляда пользователя, а также учитывалось расстояние от точки наблюдения (виртуальной камеры) до объекта наблюдения, расположенного в трехмерном пространстве с последующим определением поля зрения и имитацией процесса аккомодации. Границу между реальным миром и виртуальным пространством на fig. 1 можно провести в точке пресечения (6) зрительных линий (1 ) с плоскостью изображения (7) при фиксации взгляда пользователя на виртуальном объекте наблюдения (4 или 5). По своей сути, изображение (7) является отображением трехмерного виртуального пространства, смоделированного при помощи компьютерной графики с применением методов 3D визуализации. Следует понимать, что при смене пространственной позиции пользователем (зрительного анализатора) во время просмотра изображения с использованием данного изобретения меняются и координаты, параметры взгляда пользователя, а также расположение точки наблюдения (виртуальной камеры) в трехмерном пространстве, что учитываются при формировании и воспроизведении изображения. Если происходит изменение точки наблюдения (виртуальной камеры) и/или объекта наблюдения в трехмерном пространстве, к примеру, с помощью устройства ввода, то это также приведет к изменениям координат, параметров взгляда пользователя, учитываемых при реализации адаптивного видео. В данном изобретении возможно применение изображений с элементами компьютерной графики (частичной компьютерной графики) или вообще без таковой, в отличие от примера, описанного выше, где трехмерная виртуальная среда/пространство полностью генерирована с помощью компьютерной графики с применением методов 3D визуализации (rendering) изображения. К примеру, большинство кадров, использованных при создании видеоизображения, могут иметь несколько вариантов исполнения. Рассмотрим представленный пример также на fig. 1 . При переводе взгляда пользователя (8) на объект наблюдения (4) воспроизводится первый вариант кадра. Если бы пользователь фиксировал свой взгляд на другом объекте (5), то воспроизводился бы второй вариант кадра и так далее. В следующем примере на изображении все объекты сфокусированы одинаково четко, но при определении пространственных координат взгляда пользователя на данном изображении (объекте наблюдения (4) или (5)) происходит обработка, формирование и воспроизведение изображения, исходя из поставленных задач и полученных данных. Реализацию адаптивного видео также можно представить в двух этапах. На первом этапе создается программное обеспечение и/или графические данные, изображения с возможностью или целью использования при реализации адаптивного видео. На втором этапе применяется программное обеспечение и/или графические данные, созданные для использования при реализации адаптивного видео. Следует понимать, что координаты и параметры взгляда пользователя, а также особенности зрительного восприятия человека, учитываемые при реализации адаптивного видео, зависят от поставленных задач и не ограничиваются представленными выше вариантами и примерами. Для реализации данного изобретения могут применяться не только вышеописанные устройства и системы, а также соответствующее программное обеспечение и графические данные.

Claims

Формула изобретения.
1. Способ реализации адаптивного видео, включающий процесс обработки данных с помощью программного, аппаратного обеспечения и реализуемый в виде изображения, воспроизводимого устройством визуального отображения информации, отличающийся тем, что визуализация 3D изображения и/или создание визуальных эффектов происходит с учетом координат и/или параметров взгляда пользователя в режиме реального времени.
2. Способ по п.1 , отличающийся тем, что с учетом координат и/или параметров взгляда пользователя учитываются особенности зрительного восприятия человека.
3. Способ по п.1 , отличающийся тем, что при зрительном восприятии изображения пользователем в режиме реального времени происходит процесс обработки данных, определение параметров и/или координат взгляда пользователя относительно изображения, исходя из полученных данных с учетом особенностей зрительного восприятия человека, формируется и воспроизводится изображение.
4. Способ по п.1 , отличающийся тем, что учитываются координаты, параметры взгляда пользователя и/или особенности зрительного восприятия человека относительно объекта наблюдения, расположенного в трехмерном виртуальном пространстве его координат и пространственного окружения.
5. Способ по п.1 , отличающийся тем, что трехмерное виртуальное пространство моделируется при помощи компьютерной графики в виде изображения, воспроизводимого на плоскости устройством визуального отображения информации.
6. Способ по п. 1 , отличающийся тем, что при создании и/или редактировании изображения применяется компьютерная графика и/или используются методы визуализации изображения.
7. Способ по п. 1 , отличающийся тем, что изображение формируется и/или воспроизводится для левого и правого глаза пользователя в отдельности или с некоторыми отличиями.
8. Способ по п. 1 , отличающийся тем, что при создании изображения со стереоскопическим эффектом учитываются особенности бинокулярного зрения человека, а при создании изображения без стереоскопического эффекта - особенности монокулярного зрения человека.
9. Способ по п.1 , отличающийся тем, что создается программное обеспечение и/или графические данные, изображения с возможностью или целью использования при реализации адаптивного видео.
10. Способ по п. 1 , о тличающийся тем, что применяется программное обеспечение и/или графические данные, созданные для использования при реализации адаптивного видео.
PCT/RU2014/000267 2013-04-23 2014-04-11 Способ реализации адаптивного видео WO2014175778A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2013118993/08A RU2013118993A (ru) 2013-04-23 2013-04-23 Способ реализации адаптивного видео
RU2013118993 2013-04-23

Publications (1)

Publication Number Publication Date
WO2014175778A1 true WO2014175778A1 (ru) 2014-10-30

Family

ID=49164665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2014/000267 WO2014175778A1 (ru) 2013-04-23 2014-04-11 Способ реализации адаптивного видео

Country Status (2)

Country Link
RU (1) RU2013118993A (ru)
WO (1) WO2014175778A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424103B2 (en) 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287813A (ja) * 2005-04-04 2006-10-19 Fuji Photo Film Co Ltd ３次元画像表示装置
KR20080010041A (ko) * 2006-07-25 2008-01-30 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
RU2427918C2 (ru) * 2005-09-09 2011-08-27 Майкрософт Корпорейшн Метафора двумерного редактирования для трехмерной графики
US20120169724A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics.Co., Ltd Apparatus and method for adaptively rendering subpixel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287813A (ja) * 2005-04-04 2006-10-19 Fuji Photo Film Co Ltd ３次元画像表示装置
RU2427918C2 (ru) * 2005-09-09 2011-08-27 Майкрософт Корпорейшн Метафора двумерного редактирования для трехмерной графики
KR20080010041A (ko) * 2006-07-25 2008-01-30 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US20120169724A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics.Co., Ltd Apparatus and method for adaptively rendering subpixel

Also Published As

Publication number Publication date
RU2013118993A (ru) 2013-09-10

Similar Documents

Publication Publication Date Title
US11290706B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11132056B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US10917634B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11880043B2 (en) Display systems and methods for determining registration between display and eyes of user
JP7443332B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
CN110187855B (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US9807361B2 (en) Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
JP2020202569A (ja) 眼と異なるレンズの位置を補正する、実際のシーンを見るための仮想眼鏡セット
JP2022075797A (ja) コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
US10438418B2 (en) Information processing method for displaying a virtual screen and system for executing the information processing method
JP2022540675A (ja) １つ以上の眼追跡カメラを用いた眼回転中心の決定
Hwang et al. Instability of the perceived world while watching 3D stereoscopic imagery: a likely source of motion sickness symptoms
WO2020024593A1 (zh) 一种图像处理方法及装置
US20240085980A1 (en) Eye tracking using alternate sampling
KR20170100371A (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
Wibirama et al. Design and implementation of gaze tracking headgear for Nvidia 3D Vision®
CN105933690A (zh) 一种自适应调整3d画面内容大小的方法和装置
WO2014175778A1 (ru) Способ реализации адаптивного видео
JP3347514B2 (ja) 眼光学系のシミュレーション装置
JP7241702B2 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
Jin et al. Comparison of Differences between Human Eye Imaging and HMD Imaging
CN111757089A (zh) 利用眼睛的瞳孔增强调节来渲染图像的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14787407

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14787407

Country of ref document: EP

Kind code of ref document: A1