RU2451982C1 - Method for producing effect on virtual objects - Google Patents
Method for producing effect on virtual objects Download PDFInfo
- Publication number
- RU2451982C1 RU2451982C1 RU2010154217/08A RU2010154217A RU2451982C1 RU 2451982 C1 RU2451982 C1 RU 2451982C1 RU 2010154217/08 A RU2010154217/08 A RU 2010154217/08A RU 2010154217 A RU2010154217 A RU 2010154217A RU 2451982 C1 RU2451982 C1 RU 2451982C1
- Authority
- RU
- Russia
- Prior art keywords
- virtual
- real
- dimensional space
- coordinates
- pointer
- Prior art date
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
Изобретение относится к области информационных технологий и вычислительной техники, а более конкретно к устройствам ввода информации и управления виртуальными объектами в виртуальном трехмерном пространстве, изображаемыми на экране монитора или иного устройства отображения информации. Заявляемый способ позволяет осуществлять управление виртуальными объектами в виртуальном трехмерном пространстве с привязкой осуществляемых операций к координатам реального трехмерного пространства.The invention relates to the field of information technology and computer technology, and more particularly to devices for inputting information and controlling virtual objects in virtual three-dimensional space, displayed on a monitor screen or other information display device. The inventive method allows you to manage virtual objects in a virtual three-dimensional space with the binding of the operations to the coordinates of the real three-dimensional space.
Известен «Способ автоматического позиционирования указателя для трехмерного компьютерного моделирования» (см. патент США №6,057,827 [1]), в котором пользователь имеет возможность позиционирования указателя в районе двумерного геометрического места точек, представляющих трехмерный объект на экране монитора. Согласно этому решению, указатель автоматически перемещается к геометрическому месту точек, задающему трехмерный объект, ближайший к заданному пользователем расположению указателя, задаваемого курсором на экране. Однако в данном способе точное позиционирование указателя (курсора) является для пользователя сложной задачей, поскольку во многих случаях достаточно сложно на основе двумерного плоского изображения оценить правильное пространственное расположение объектов виртуального пространства и правильно позиционировать указатель. Кроме того, возможны дополнительные ошибки на этапе автоматического выбора трехмерного виртуального объекта. Это приводит к необходимости повторения процесса позиционирования курсора и существенно затрудняет работу пользователя.The well-known "Method of automatic positioning of the pointer for three-dimensional computer simulation" (see US patent No. 6,057,827 [1]), in which the user has the ability to position the pointer in the area of a two-dimensional geometric location of the points representing a three-dimensional object on the monitor screen. According to this solution, the pointer automatically moves to the geometric location of the points, which defines a three-dimensional object, closest to the user-specified location of the pointer specified by the cursor on the screen. However, in this method, the exact positioning of the pointer (cursor) is a difficult task for the user, since in many cases it is quite difficult to assess the correct spatial arrangement of objects in virtual space and correctly position the pointer based on a two-dimensional flat image. In addition, additional errors are possible at the stage of automatic selection of a three-dimensional virtual object. This makes it necessary to repeat the cursor positioning process and substantially complicates the user's work.
Наиболее близким к заявленному изобретению является компьютеризированный способ и компьютерная система позиционирования указателя (выложенная заявка на патент США №2006/0244745 [2]), в котором пользователь при позиционировании указателя в трехмерном виртуальном пространстве имеет возможность наблюдать алгоритмически созданное трехмерное изображение на двумерном дисплее и действовать с учетом получаемой дополнительной информации о глубине изображения. Это позволяет позиционировать указатель в трехмерном виртуальном пространстве более точно и осуществлять позиционирование с меньшим количеством проб и ошибок. Недостатком данного метода является то, что трехмерное изображение на двумерном дисплее создается на основе аффекта динамической глубины (см. Н.Wallach et al "The kinetic depth effect", Journal of Experimental Psychology, 45, 205-217 [3]). Использование принудительной анимации отображаемых объектов для создания эффекта объемного изображения является искусственным способом, который применим лишь для решения узкоспециальных задач (например, трехмерного математического моделирования или синтеза трехмерных объектов), требует дополнительного времени и ресурсов для осуществления. В системах реального времени, симуляторах, игровых приложениях использование данного метода малоэффективно.Closest to the claimed invention is a computerized method and a computer pointer positioning system (US Patent Application Laid-Open No. 2006/0244745 [2]), in which the user, when positioning the pointer in three-dimensional virtual space, is able to observe an algorithmically generated three-dimensional image on a two-dimensional display and act taking into account the additional information received about the image depth. This allows you to position the pointer in three-dimensional virtual space more accurately and perform positioning with less trial and error. The disadvantage of this method is that a three-dimensional image on a two-dimensional display is created on the basis of the dynamic depth affect (see H. Wallach et al "The kinetic depth effect", Journal of Experimental Psychology, 45, 205-217 [3]). The use of forced animation of displayed objects to create the effect of a three-dimensional image is an artificial method that is applicable only for solving highly specialized problems (for example, three-dimensional mathematical modeling or synthesis of three-dimensional objects), requires additional time and resources for implementation. In real-time systems, simulators, gaming applications, the use of this method is ineffective.
Кроме того, общим недостатком как первого [1], так и второго [2] описанных методов является тот факт, что данные методы основаны на управлении объектами виртуального трехмерного пространства на двумерной плоскости устройства отображения информации без осуществления привязки осуществляемых операций к координатам реального трехмерного пространства.In addition, a common drawback of both the first [1] and second [2] described methods is the fact that these methods are based on the management of virtual three-dimensional space objects on the two-dimensional plane of an information display device without realizing the binding of the operations to the coordinates of the real three-dimensional space.
Задачей данного изобретения является создание способа воздействия на виртуальные объекты трехмерного виртуального пространства, при котором управляющие воздействия на объекты трехмерного виртуального пространства осуществляются с учетом точной измеряемой (и в последующем вычисляемой) информации о взаимном расположении пользователя, устройства отображения и объектов виртуального пространства в реальной физической трехмерной системе координат - базовой системе координат.The objective of the invention is to provide a method for influencing virtual objects of three-dimensional virtual space, in which control actions on objects of three-dimensional virtual space are carried out taking into account the accurate measured (and subsequently calculated) information about the relative position of the user, display device and objects of virtual space in real physical three-dimensional coordinate system - the basic coordinate system.
Поставленная задача решена за счет разработки способа воздействия на виртуальные объекты, заключающегося в том, что:The problem is solved by developing a method of influencing virtual objects, which consists in the fact that:
- размещают в реальном трехмерном пространстве первую группу блоков идентификации;- place the first group of identification blocks in real three-dimensional space;
- формируют в реальном трехмерном пространстве реальную физическую базовую систему координат, привязанную к пространственному положению блоков идентификации первой группы;- form in real three-dimensional space a real physical basic coordinate system, tied to the spatial position of the identification blocks of the first group;
- определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;- determine the coordinates of the working area of the display devices in real three-dimensional space relative to the real physical base coordinate system;
- задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат;- specify the coordinates of pre-created in digital format three-dimensional virtual objects in real three-dimensional space relative to the real physical base coordinate system;
- размещают вторую группу блоков идентификации, которая задает в реальном трехмерном пространстве положение точки фиксации виртуального указателя, и определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно реальной физической базовой системы координат;- place the second group of identification blocks, which sets the position of the fixation point of the virtual pointer in real three-dimensional space, and determines the coordinates of the fixation point of the virtual pointer in real three-dimensional space relative to the real physical base coordinate system;
- задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя;- set with the necessary detail the coordinates of the set of geometric locations of the points of the virtual pointer relative to the fixation point of the virtual pointer;
- определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройства отображения;- determine in real three-dimensional space relative to the real physical basic coordinate system with the necessary detail the coordinates of the set of geometric locations of the points of the virtual pointer, falling into the coordinate region of the working area of the display device;
- формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройства отображения;- form a set of virtual objects, the coordinates of which in real three-dimensional space fall into the region calculated taking into account the location of the geometric location of the points of the virtual pointer falling into the coordinate region of the working area of the display device;
- выполняют заданные виртуальные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов.- perform specified virtual actions to modify virtual objects for all or part of objects from the generated set of virtual objects.
Как видно из вышеизложенного, основным отличием заявляемого способа от всех известных из уровня техники способов позиционирования указателя на объекты трехмерного виртуального пространства является то, что указатель (в соответствии с заявляемым способом) позиционируется в реальной физической базовой системе координат и все объекты трехмерного виртуального пространства, как и само устройство отображения информации, также имеют конкретные координаты, заданные в этой реальной физической базовой системе координат или преобразованные к реальной физической системе координат.As can be seen from the foregoing, the main difference between the proposed method and all methods known from the prior art for positioning a pointer to objects of three-dimensional virtual space is that the pointer (in accordance with the claimed method) is positioned in a real physical base coordinate system and all objects of three-dimensional virtual space, as and the information display device itself also has specific coordinates specified in this real physical base coordinate system or transformed real physical coordinates.
Таким образом, техническим результатом заявленного изобретения является создание способа позиционирования указателя, управляющего объектами виртуального трехмерного пространства, положение которого задается точно в физической системе координат, а не условно - в двумерной плоскости экрана, причем управление с помощью указателя осуществляется лишь теми виртуальными объектами трехмерного виртуального пространства, эквивалентные физические координаты которых попадают в зону воздействия указателя. Такие новые свойства данного указателя существенно расширяют область применения предлагаемого способа за счет обеспечения возможности реализации высокоточных симуляторов физических процессов с высочайшей степенью достоверности при имитации пространственных операций в трехмерном виртуальном пространстве - движений, перемещений, вращений и иных эффектов, связанных с виртуальными объектами.Thus, the technical result of the claimed invention is the creation of a method for positioning a pointer that controls objects of virtual three-dimensional space, the position of which is set exactly in the physical coordinate system, and not conditionally - in the two-dimensional plane of the screen, and control with the help of the pointer is carried out only by those virtual objects of three-dimensional virtual space equivalent physical coordinates of which fall into the zone of influence of the pointer. Such new properties of this index significantly expand the scope of the proposed method by providing the possibility of implementing high-precision simulators of physical processes with the highest degree of reliability when simulating spatial operations in three-dimensional virtual space - movements, displacements, rotations and other effects associated with virtual objects.
Способ воздействия на виртуальные объекты, согласно заявляемому изобретению, имеет самостоятельное значение, но особенно эффективно применение данного способа в сочетании с адаптивным формированием отображаемой совокупности виртуальных объектов на основе анализа положения наблюдателя. Для этого размещают третью группу блоков идентификации, которая задает в реальном трехмерном пространстве относительно реальной физической базовой системы координат положение точки наблюдения рабочей зоны устройства отображения пользователем; модифицируют набор отображаемых данных путем включения в него отображаемой совокупности геометрического места точек виртуального указателя и формируют текущий набор отображаемых трехмерных виртуальных объектов исходя из:The method of influencing virtual objects, according to the claimed invention, is of independent importance, but the application of this method in combination with the adaptive formation of a displayed set of virtual objects based on an analysis of the position of the observer is especially effective. To do this, place the third group of identification blocks, which sets the position of the observation point of the working area of the display device by the user in real three-dimensional space relative to the real physical base coordinate system; modify the set of displayed data by including in it the displayed set of geometric locations of the points of the virtual pointer and form the current set of displayed three-dimensional virtual objects based on:
- информации о взаимном положении в реальном трехмерном пространстве относительно реальной физической базовой системы координат полной совокупности трехмерных виртуальных объектов, модифицированных с учетом выполненной совокупности заданных виртуальных действий и положения отображаемой части виртуального указателя;- information about the relative position in the real three-dimensional space relative to the real physical base coordinate system of the complete set of three-dimensional virtual objects, modified taking into account the completed set of specified virtual actions and the position of the displayed part of the virtual pointer;
- информации о положении точки наблюдения пользователем, рабочей зоны устройства отображения;- information about the position of the observation point by the user, the working area of the display device;
- информации о положении рабочей зоны устройства отображения,- information about the position of the working area of the display device,
после чего сформированный набор подают на устройство отображения.then the generated set is fed to the display device.
Вышеизложенная последовательность действий позволяет добиться эффекта, аналогичного обзору виртуального трехмерного пространства через обычное окно, роль которого играет экран устройства отображения, а управление виртуальными объектами с помощью указателя также осуществляется через это «окно», причем это дает возможность управлять объектами виртуального мира, расположенными как прямо перед «окно», так и справа или слева от «окна», а также объектами, расположенными на различном расстоянии от «окна».The above sequence of actions allows you to achieve an effect similar to the review of virtual three-dimensional space through a regular window, the role of which is played by the screen of the display device, and the management of virtual objects using the pointer is also carried out through this "window", and this makes it possible to manage objects of the virtual world located directly before the “window”, and to the right or left of the “window”, as well as objects located at different distances from the “window”.
Способ воздействия на объекты виртуального мира, примеры расчета координат физических и виртуальных объектов, а также пример методики установления взаимно однозначного соответствия между виртуальными координатами и реальными физическими координатами базовой системы рассматриваются ниже.The method of influencing the objects of the virtual world, examples of calculating the coordinates of physical and virtual objects, as well as an example of a method for establishing a one-to-one correspondence between virtual coordinates and real physical coordinates of the base system are discussed below.
Сущность заявляемого изобретения поясняется с привлечением графических материалов на примере одного из вариантов практической реализации предлагаемого способа в рамках системы, содержащей аппаратные средства, необходимые для задания базовой системы координат и идентификации положения физических объектов - самого пользователя, технических средств ввода информации, управляемых пользователем, устройства отображения информации, а также включающей в себя необходимые алгоритмические и программные решения, которые осуществляют совокупность действий над материальными объектами (аппаратными средствами), необходимые для реализации предложенного способа.The essence of the claimed invention is illustrated with the use of graphic materials on the example of one of the options for the practical implementation of the proposed method within the framework of the system containing the hardware necessary for setting the basic coordinate system and identifying the position of physical objects - the user himself, user-driven information input devices, display devices information, as well as including the necessary algorithmic and software solutions that implement the aggregate the number of actions on material objects (hardware) necessary for the implementation of the proposed method.
Фиг.1. Общая схема системы визуализации трехмерных объектов виртуального пространства и пример схемы индикации виртуального указателя для случая, когда указатель проходит через рабочую зону устройства отображения.Figure 1. The general scheme of the visualization system for three-dimensional objects of virtual space and an example of a virtual pointer display scheme for the case when the pointer passes through the working area of the display device.
Фиг.2. Пример схемы индикации виртуального указателя для случая, когда виртуальный указатель проходит в стороне от рабочей зоны устройства отображения.Figure 2. An example of a virtual pointer display scheme for the case when the virtual pointer passes away from the working area of the display device.
Фиг.3. Блок-схема алгоритма реализации способа воздействия на виртуальные объекты.Figure 3. The block diagram of the algorithm for implementing the method of impact on virtual objects.
Фиг.4. Пример определения пространственного положения объекта (маркера) по изображениям с двух видео- или фотокамер.Figure 4. An example of determining the spatial position of an object (marker) from images from two video or cameras.
На Фиг.1 показан пример взаимодействия пользователя 1 с системой, содержащей третью группу блоков 110 идентификации, закрепляемых на голове пользователя 1, вторую группу блоков 120 идентификации, закрепленных на теле пользователя 1 (например, на руке), базовое устройство, включающее в себя первую группу 130 блоков идентификации и блок первичной обработки информации (не показан), вычислительный блок 140, содержащий блоки процессоров, блоки памяти и интерфейсные блоки, выполненные с возможностью поддержания связи с устройством 150 отображения, блоками 110, 120, 130 идентификации и устройством 150 отображения с группой закрепленных на нем блоков 160 идентификации, базовую систему 170 координат, привязанную к первой группе 130 блоков идентификации, трехмерное виртуальное пространство 180, объекты 190 трехмерного виртуального пространства, виртуальный указатель 200 заданной относительно базовой системы координат длины в реальном трехмерном пространстве, геометрическое место 210 точек пересечения виртуального указателя 200 с рабочей зоной устройства 150 отображения информации, отображение 220 на экране устройства отображения виртуального указателя 200, отображение 230 на экране устройства отображения объектов трехмерного виртуального пространства, точка взаимодействия 240 виртуального указателя 200 с объектами 190 трехмерного виртуального пространства в реальном трехмерном пространстве относительно базовой системы координат, отображение 250 на экране устройства отображения точки взаимодействия 240 виртуального указателя 200 с объектами 190 трехмерного виртуального пространства.Figure 1 shows an example of the interaction of
Кроме того, на Фиг.1 показаны дополнительные элементы, иллюстрирующие механизм взаимодействия с виртуальными объектами согласно предложенному способу - схематическое изображение виртуального указателя 200, иллюстрирующее намерение пользователя 1 управлять выбранным виртуальным объектом 190 трехмерного виртуального пространства, пример индикации 220 данного виртуального указателя на экране устройства отображения и пример визуального эффекта 250 воздействия указателем на выбранный виртуальный объект трехмерного виртуального пространства. Виртуальное пространство 180 с находящимися в нем виртуальными объектами 190 является набором заранее созданных данных изображений трехмерных виртуальных объектов, размещенных в блоке памяти вычислительного блока 140. Размещение виртуальных объектов 190 в реальном пространстве осуществляют путем задания их координат относительно базовой системы 170 координат, размещенной в реальном пространстве. Координаты элементов системы (устройство отображения (Xd, Yd, Zd), точка фиксации виртуального указателя (Хр, Yp, Zp), начало базовой системы координат (Xb, Yb, Zb) по отношению к первой группе 130 блоков идентификации и другие) также содержатся в блоке памяти вычислительного блока 140 и при необходимости изменяются в соответствии с алгоритмом, изложенным ниже. Координаты виртуальных объектов 190 в реальном пространстве, например, как показано на Фиг.1, координаты (Xv1, Yv1, Zv1), (XV2, YV2, ZV2), …, (XVN, YVN, ZVN) рассчитывают на основе относительных координат виртуальных объектов 190 в виртуальном пространстве, заранее загруженных в блоке памяти вычислительного блока 140, и реальных физических координат элементов системы. Преобразование координат при переходе от виртуальной системы к физической осуществляют по известным формулам преобразования координат.In addition, figure 1 shows additional elements illustrating the mechanism for interacting with virtual objects according to the proposed method - a schematic representation of a
Фиг.2 иллюстрирует принципиальную возможность индикации виртуального указателя на экране устройства отображения даже для случая, когда виртуальный указатель проходит в стороне от рабочей зоны устройства отображения (вид сверху). Как показано на Фиг.2, виртуальный указатель, проходящий через точки А и В на экране, индицируется (отображается) в виде объекта, проходящего от точки D к точке С.Figure 2 illustrates the fundamental possibility of displaying a virtual pointer on the screen of the display device even for the case when the virtual pointer passes away from the working area of the display device (top view). As shown in FIG. 2, a virtual pointer passing through points A and B on the screen is displayed (displayed) as an object passing from point D to point C.
Алгоритм (Фиг.3) содержит следующие шаги:The algorithm (Figure 3) contains the following steps:
300 - начало;300 - beginning;
301 - размещают в реальном трехмерном пространстве первую группу блоков идентификации;301 - place in a real three-dimensional space the first group of identification blocks;
302 - формируют в реальном трехмерном пространстве базовую систему координат, привязанную к пространственному положению блоков идентификации первой группы;302 - form a basic coordinate system in real three-dimensional space, tied to the spatial position of the identification blocks of the first group;
303 - размещают в реальном трехмерном пространстве вторую группу блоков идентификации, которая задает в реальном трехмерном пространстве положение точки фиксации виртуального указателя;303 - place in a real three-dimensional space the second group of identification blocks, which sets the position of the fixation point of the virtual pointer in real three-dimensional space;
304 - размещают третью группу блоков идентификации, которая задает в реальном трехмерном пространстве относительно реальной физической базовой системы координат положение точки наблюдения рабочей зоны устройств отображения пользователем;304 - place the third group of identification blocks, which sets the position of the observation point of the working area of the display devices by the user in real three-dimensional space relative to the real physical base coordinate system;
305 - задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат;305 - specify the coordinates of pre-created in digital format three-dimensional virtual objects in real three-dimensional space relative to a real physical base coordinate system;
306 - определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;306 - determine the coordinates of the working area of the display devices in real three-dimensional space relative to the real physical base coordinate system;
307 - анализируют команду пользователя по управлению положением или формой виртуального указателя или иные внешние факторы, влияющие на управление положением или формой виртуального указателя;307 - analyze the user command to control the position or shape of the virtual pointer or other external factors affecting the management of the position or shape of the virtual pointer;
308 - определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно базовой системы координат;308 - determine the coordinates of the fixation point of the virtual pointer in real three-dimensional space relative to the base coordinate system;
309 - задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя;309 - set with the necessary detail the coordinates of the totality of the geometric location of the points of the virtual pointer relative to the fixation point of the virtual pointer;
310 - определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения;310 - determine in real three-dimensional space relative to the real physical base coordinate system with the necessary detail of the coordinates of the set of geometric locations of the points of the virtual pointer, falling into the coordinate region of the working area of the display devices;
311 - формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройств отображения;311 - form a set of virtual objects, the coordinates of which in real three-dimensional space fall into the region calculated taking into account the location of the geometric location of the points of the virtual pointer falling into the coordinate region of the working area of the display devices;
312 - анализируют команду пользователя по формированию требуемой совокупности виртуальных действий или иные внешние факторы, влияющие на формирование требуемой совокупности виртуальных действий над виртуальными объектами, попадающими в сферу действия виртуального указателя;312 - analyze the user’s command to form the required set of virtual actions or other external factors affecting the formation of the required set of virtual actions on virtual objects falling within the scope of the virtual pointer;
313 - выполняют заданные виртуальные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов;313 - perform specified virtual actions to modify virtual objects for all or part of objects from the generated set of virtual objects;
314 - модифицируют набор отображаемых данных путем включения в него отображаемой совокупности геометрического места точек виртуального указателя и формируют текущий набор отображаемых трехмерных виртуальных объектов;314 - modify the set of displayed data by including in it the displayed set of geometric locations of the points of the virtual pointer and form the current set of displayed three-dimensional virtual objects;
315 - сформированный набор отображаемых данных индицируют (отображают) на устройстве (устройствах) отображения;315 - the generated set of displayed data is displayed (displayed) on the display device (s);
316 - по команде окончания работы осуществляют переход к п.317, иначе переходят к шагу 303;316 - at the end of work command, they proceed to step 317, otherwise go to step 303;
317 - окончание.317 - ending.
Данная система является одним из вариантов реализации предложенного метода и специалисту ясно, что возможны и другие варианты конкретной аппаратной реализации предложенного метода. В частности, конкретная аппаратная реализация предложенного метода зависит от конкретного исполнения блоков идентификации.This system is one of the options for implementing the proposed method and it is clear to the specialist that other options for specific hardware implementation of the proposed method are possible. In particular, the specific hardware implementation of the proposed method depends on the specific implementation of the identification blocks.
Блок идентификации представляет собой устройство, осуществляющее прием или передачу, или прием/передачу, сигналов в одном из диапазонов (ультразвуковой, инфракрасный, оптический или радио). В зависимости от реализации, это может быть активное или пассивное (маркер) устройство. Примеры реализации ультразвуковых приемопередатчиков, видеокамер и стереовидеокамер, приемопередатчиков, работающих в диапазоне радиоволн, широко представлены в патентной и технической литературе. Выбор конкретного вида приемопередатчиков является стандартной задачей инженерного проектирования. В зависимости от выбранного типа блока идентификации некоторые блоки идентификации (кроме базового) могут быть исключены из системы.The identification unit is a device that receives or transmits, or receives / transmits, signals in one of the ranges (ultrasonic, infrared, optical or radio). Depending on the implementation, it can be an active or passive (marker) device. Examples of the implementation of ultrasonic transceivers, video cameras and stereo video cameras, transceivers operating in the radio wave range are widely presented in the patent and technical literature. The selection of a specific type of transceiver is a standard engineering design challenge. Depending on the type of identification block selected, some identification blocks (except the base one) may be excluded from the system.
Сигналы, поступающие от блоков идентификации, работающих в режиме передатчика, принимаются блоками идентификации, работающими в режиме приемника, и после обработки в вычислительном устройстве используются для определения расположения рабочей зоны устройств отображения, точки фиксации виртуального указателя, а также (возможно) положения точки наблюдения рабочей зоны устройств отображения пользователем относительно реальной физической базовой системы координат.The signals from identification blocks operating in transmitter mode are received by identification blocks operating in receiver mode and, after processing in a computing device, are used to determine the location of the working area of the display devices, the fixation point of the virtual pointer, and also (possibly) the position of the observation point of the working zones of display devices by the user relative to a real physical base coordinate system.
Заявляемый способ полностью базируется на корректном и точном определении вышеуказанных координат элементов системы. Например, при реализации блока идентификации на основе видеокамер координаты пространственного объекта вычисляют следующим образом (рассмотренный случай является конкретным примером реализации теории, которая подробно излагается в курсе эпиполярной геометрии).The inventive method is fully based on the correct and accurate determination of the above coordinates of the elements of the system. For example, when implementing an identification block based on video cameras, the coordinates of a spatial object are calculated as follows (the case considered is a specific example of the implementation of a theory that is described in detail in the course of epipolar geometry).
Рассмотрим ситуацию, когда две камеры, находящиеся в разных точках, регистрируют одну и ту же сцену. Пара изображений, получаемых при этом, называется стереопарой. Рассмотрим случай, при котором одинаковые камеры расположены так, что их оптические оси параллельны, а прямая, проходящая через оптические центры, перпендикулярна оптическим осям (эта прямая называется базовой линией, а ее отрезок, заключенный между оптическими центрами - базой). Более общий случай может быть получен на основе рассмотренных принципов путем применения методов преобразования систем координат и аппарата эпиполярной геометрии.Consider a situation where two cameras located at different points register the same scene. A pair of images obtained in this case is called a stereo pair. Consider the case in which the same cameras are arranged so that their optical axes are parallel, and the straight line passing through the optical centers is perpendicular to the optical axes (this straight line is called the base line, and its segment between the optical centers is the base). A more general case can be obtained on the basis of the principles considered by applying the methods of transformation of coordinate systems and the apparatus of epipolar geometry.
Положим длину базы равной b. Выберем такую глобальную систему координат, начало которой О расположено на базовой линии посередине между оптическими центрами камер, ось OZ параллельна оптическим осям, а ось ОХ направлена вдоль базовой линии (Фиг.3).Let the base length be b. We choose a global coordinate system whose origin O is located on the baseline in the middle between the optical centers of the cameras, the axis OZ is parallel to the optical axes, and the axis OX is directed along the baseline (Figure 3).
Пусть начала координат в плоскостях изображений камер совпадают с точками пересечения оптической оси с плоскостью изображения, а единицы измерения координат в глобальной системе и в плоскостях изображения камер одинаковы.Let the origin in the image planes of the cameras coincide with the intersection points of the optical axis with the image plane, and the coordinate units in the global system and in the image planes of the cameras are the same.
Выберем точку с глобальными координатами (X, Y, Z). Координаты ее проекции в плоскости изображения первой (левой) камеры обозначим через (х′, y′), а в плоскости изображения второй (правой) камеры - через (х″, y″). (Проекции одной и той же точки в плоскостях изображений разных камер называются сопряженными точками.) Нетрудно проверить, что х′=f(X+b/2)/Z, х″=f(X-b/2)/Z, y′=y″=fY/Z.Choose a point with global coordinates (X, Y, Z). The coordinates of its projection in the image plane of the first (left) camera are denoted by (x ′, y ′), and in the image plane of the second (right) camera, by (x ″, y ″). (Projections of the same point in the image planes of different cameras are called conjugate points.) It is easy to verify that x ′ = f (X + b / 2) / Z, x ″ = f (Xb / 2) / Z, y ′ = y ″ = fY / Z.
Заметим, что в направлении, перпендикулярном направлению базовой линии, координаты сопряженных точек (y-координаты) совпадают. Это обстоятельство имеет большое значение при автоматизированном поиске сопряженных точек на стереопаре, позволяя существенно сократить размеры зоны поиска. Из первых двух соотношений следует, что Z-fb/(x′-x″).Note that in the direction perpendicular to the direction of the baseline, the coordinates of the conjugate points (y-coordinates) coincide. This circumstance is of great importance in the automated search for conjugate points on a stereo pair, making it possible to significantly reduce the size of the search zone. From the first two relations it follows that Z-fb / (x′-x ″).
Это означает, что, зная геометрию съемки и выполнив измерения координат проекций одной и той же точки в плоскостях изображения камер, можно вычислить глубину (координату Z) этой точки. Более того, полученные соотношения позволяют вычислить полностью трехмерные координаты точки.This means that, knowing the geometry of the survey and taking measurements of the coordinates of the projections of the same point in the image planes of the cameras, one can calculate the depth (Z coordinate) of this point. Moreover, the obtained relations allow us to calculate fully three-dimensional coordinates of the point.
При реализации блока идентификации на основе ультразвуковых приемопередатчиков для повышения точности используют не менее трех приемопредатчиков, пространственное положение которых связано с системой координат, например, реальной физической базовой системой. Методика определения координат пространственных объектов для данного случая подробно раскрыта в опубликованной международной заявке на изобретение «Способ и система для визуализации виртуальных трехмерных объектов» (PCT/RU 2005/000465 [4]). Таким образом, из изложенного ясно, что техническая реализация и практическое воплощение предлагаемого способа воздействия на виртуальные объекты осуществимы на основе решений, известных из уровня техники. Новизна и изобретательский уровень предлагаемого способа заключаются в применении предложенных принципов точного пространственного позиционирования как реальных, физических, так и виртуальных, отображаемых объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат, причем указанное позиционирование дает новые, ранее не реализованные возможности работы с объектами в виртуальной реальности. Рассмотрим детальный алгоритм реализации заявляемого способа для случая его применения в сочетании с адаптивным формированием отображаемой совокупности виртуальных объектов на основе анализа положения наблюдателя. Блок-схема алгоритма представлена на Фиг.3. и в достаточной степени поясняется функциями 301-315 блоков алгоритма.When implementing an identification unit based on ultrasonic transceivers, at least three transceivers are used to improve accuracy, the spatial position of which is associated with a coordinate system, for example, a real physical base system. The methodology for determining the coordinates of spatial objects for this case is described in detail in the published international application for the invention "Method and system for visualization of virtual three-dimensional objects" (PCT / RU 2005/000465 [4]). Thus, it is clear from the foregoing that the technical implementation and practical implementation of the proposed method of influencing virtual objects are feasible on the basis of solutions known from the prior art. The novelty and inventive step of the proposed method consists in the application of the proposed principles of accurate spatial positioning of both real, physical and virtual, displayed objects in real three-dimensional space relative to the real physical base coordinate system, and the specified positioning gives new, previously unrealized opportunities for working with objects in virtual reality. Consider a detailed implementation algorithm of the proposed method for the case of its application in combination with adaptive formation of the displayed set of virtual objects based on the analysis of the observer's position. The block diagram of the algorithm is presented in figure 3. and is sufficiently explained by the functions of 301-315 blocks of the algorithm.
Некоторые дополнительные пояснения полезны с точки зрения понимания новых возможностей, предоставляемых заявляемым способом.Some additional explanations are useful in terms of understanding the new features provided by the claimed method.
Как уже отмечалось, указатель (в соответствии с заявляемым способом) позиционируется в реальной физической базовой системе координат, и все объекты трехмерного виртуального пространства, а также и само устройство отображения информации также имеют конкретные координаты, заданные в этой реальной физической базовой системе координат. Например, пользователь имеет намерение произвести действия с объектом виртуального трехмерного пространства, например человеком, как показано на Фиг.1. Координаты данного человека (Хv3, Yv3, Zv3) заданы в реальном трехмерном пространстве относительно реальной физической базовой системы координат. Расстояние от пользователя до данного человека в реальном мире составляет, например, 10 м (1000 см). Это легко рассчитывается, поскольку координаты как данного человека (Xv3, Yv3, Zv3), так и пользователя 1 (Хр, Yp, Zp) известны или могут быть рассчитаны путем обработки сигналов, поступающих от блоков идентификации (обработка осуществляется одним из вышеизложенных методов). Пользователь 1 имеет возможность задать определенный масштаб - это может быть масштаб 1:1 или какой-либо другой масштаб.As already noted, the pointer (in accordance with the claimed method) is positioned in a real physical base coordinate system, and all objects of the three-dimensional virtual space, as well as the information display device itself, also have specific coordinates specified in this real physical base coordinate system. For example, the user intends to perform actions on an object of virtual three-dimensional space, for example, by a person, as shown in FIG. The coordinates of this person (X v3 , Y v3 , Z v3 ) are given in real three-dimensional space relative to the real physical base coordinate system. The distance from a user to a given person in the real world is, for example, 10 m (1000 cm). This is easily calculated, since the coordinates of both a given person (X v3 , Y v3 , Z v3 ) and user 1 (Xp, Yp, Zp) are known or can be calculated by processing signals from identification blocks (processing is carried out by one of the above methods).
Например, при использовании масштаба, задаваемого пользователем и равного 1:20, пользователь, для того чтобы коснуться дерева, должен двинуть руку, оснащенную датчиками второй системы блоков идентификации, вперед точно на 50 см.For example, when using a user-defined scale of 1:20, the user, in order to touch the tree, must move his hand, equipped with sensors of the second system of identification blocks, exactly 50 cm forward.
Если же используется масштаб 1:1, то в этом случае все действия пользователя с виртуальными объектами потребуют выполнения точно таких же действий, как и в случае управления объектами реального физического пространства (или при воздействии на такие объекты).If the scale is 1: 1, then in this case all user actions with virtual objects will require the execution of exactly the same actions as in the case of managing objects of real physical space (or when acting on such objects).
На Фиг.1 показано, что хотя индикация 220 данного виртуального указателя на экране устройства отображения осуществляется в двумерной плоскости дисплея, все действия пользователя будут осуществляться в реальной физической системе координат (возможно, с учетом выбранного масштаба), что схематически представлено на Фиг.1 изображением виртуального указателя 200, которое иллюстрирует намерение пользователя управлять выбранным виртуальным объектом 190 трехмерного виртуального пространства.Figure 1 shows that although the indication 220 of this virtual pointer on the screen of the display device is carried out in a two-dimensional plane of the display, all user actions will be carried out in a real physical coordinate system (possibly taking into account the selected scale), which is schematically represented in figure 1 by the image
Это условный пример, но из него ясно, что данный способ позволяет осуществить обучение пользователя, например, на симуляторе, в процессе которого будут отработаны не только необходимые действия и манипуляции объектами виртуального мира, но и точно воспроизведены реальные размеры обстановки, в которой эти действия осуществляются. Это резко повышает эффективность обучения пользователя.This is a conditional example, but it is clear from this that this method allows user training, for example, on a simulator, during which not only the necessary actions and manipulations of objects of the virtual world will be worked out, but also the actual dimensions of the environment in which these actions are performed . This dramatically increases the effectiveness of user training.
Таким образом, предлагаемый способ промышленно применим в устройствах обучения, симуляторах, компьютерных играх, основанных на моделировании реальности и других применениях.Thus, the proposed method is industrially applicable in training devices, simulators, computer games based on reality modeling and other applications.
Claims (10)
- размещают в реальном трехмерном пространстве первую группу блоков идентификации;
- формируют в реальном трехмерном пространстве реальную физическую базовую систему координат, привязанную к пространственному положению блоков идентификации первой группы;
- определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
- задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат, отличающийся тем, что: размещают вторую группу блоков идентификации, задающую в реальном трехмерном пространстве положение точки фиксации виртуального указателя, и определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя;
определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения; формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройств отображения; выполняют заданные виртуальные действия по модификации виртуальных объектов из сформированной совокупности виртуальных объектов.1. The method of exposure to virtual objects, which consists in the fact that
- place the first group of identification blocks in real three-dimensional space;
- form in real three-dimensional space a real physical basic coordinate system, tied to the spatial position of the identification blocks of the first group;
- determine the coordinates of the working area of the display devices in real three-dimensional space relative to the real physical base coordinate system;
- set the coordinates of pre-created in digital format three-dimensional virtual objects in real three-dimensional space relative to the real physical base coordinate system, characterized in that: place a second group of identification blocks that sets the position of the fixation point of the virtual pointer in real three-dimensional space, and determine the coordinates of the fixation point of the virtual a pointer in real three-dimensional space relative to a real physical base coordinate system;
set with the necessary detail the coordinates of the set of geometric locations of the points of the virtual pointer relative to the fixation point of the virtual pointer;
determine in real three-dimensional space relative to the real physical base coordinate system with the necessary detail the coordinates of the set of geometric locations of the points of the virtual pointer, falling into the coordinate region of the working area of the display devices; form a set of virtual objects, the coordinates of which in real three-dimensional space fall into the area calculated taking into account the location of the geometric location of the points of the virtual pointer falling into the coordinate area of the working area of the display devices; perform specified virtual actions to modify virtual objects from the generated set of virtual objects.
- информации о взаимном положении в реальном трехмерном пространстве относительно реальной физической базовой системы координат полной совокупности трехмерных виртуальных объектов, модифицированных с учетом выполненной совокупности заданных виртуальных действий и положения отображаемой части виртуального указателя;
- информации о положении точки наблюдения пользователем рабочей зоны устройств отображения;
- информации о положении рабочей зоны устройств отображения.3. The method according to claim 1, characterized in that the set of displayed data is modified by including in it the displayed set of geometric locations of the points of the virtual pointer and form the current set of displayed three-dimensional virtual objects based on:
- information about the relative position in the real three-dimensional space relative to the real physical base coordinate system of the complete set of three-dimensional virtual objects, modified taking into account the completed set of specified virtual actions and the position of the displayed part of the virtual pointer;
- information about the position of the observation point by the user of the working area of the display devices;
- information about the position of the working area of the display devices.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010154217/08A RU2451982C1 (en) | 2008-06-24 | 2008-06-24 | Method for producing effect on virtual objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010154217/08A RU2451982C1 (en) | 2008-06-24 | 2008-06-24 | Method for producing effect on virtual objects |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2451982C1 true RU2451982C1 (en) | 2012-05-27 |
Family
ID=46231784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2010154217/08A RU2451982C1 (en) | 2008-06-24 | 2008-06-24 | Method for producing effect on virtual objects |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2451982C1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2616884C2 (en) * | 2011-09-08 | 2017-04-18 | Эрбас Дифенс Энд Спейс Гмбх | Selection of object in three-dimensional virtual dynamic display |
| RU2617557C1 (en) * | 2015-11-18 | 2017-04-25 | Виталий Витальевич Аверьянов | Method of exposure to virtual objects of additional reality |
| RU2667720C1 (en) * | 2014-11-06 | 2018-09-24 | Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд. | Method of imitation modeling and controlling virtual sphere in mobile device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2123718C1 (en) * | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Method for information input to computer |
| US6198485B1 (en) * | 1998-07-29 | 2001-03-06 | Intel Corporation | Method and apparatus for three-dimensional input entry |
| EP1594040A2 (en) * | 2004-05-06 | 2005-11-09 | Alpine Electronics, Inc. | Operation input device and method of operation input |
| US20060244745A1 (en) * | 2005-05-02 | 2006-11-02 | Bitplane Ag | Computerized method and computer system for positioning a pointer |
-
2008
- 2008-06-24 RU RU2010154217/08A patent/RU2451982C1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2123718C1 (en) * | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Method for information input to computer |
| US6198485B1 (en) * | 1998-07-29 | 2001-03-06 | Intel Corporation | Method and apparatus for three-dimensional input entry |
| EP1594040A2 (en) * | 2004-05-06 | 2005-11-09 | Alpine Electronics, Inc. | Operation input device and method of operation input |
| US20060244745A1 (en) * | 2005-05-02 | 2006-11-02 | Bitplane Ag | Computerized method and computer system for positioning a pointer |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2616884C2 (en) * | 2011-09-08 | 2017-04-18 | Эрбас Дифенс Энд Спейс Гмбх | Selection of object in three-dimensional virtual dynamic display |
| US10372288B2 (en) | 2011-09-08 | 2019-08-06 | Airbus Defence and Space GmbH | Selection of objects in a three-dimensional virtual scene |
| RU2667720C1 (en) * | 2014-11-06 | 2018-09-24 | Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд. | Method of imitation modeling and controlling virtual sphere in mobile device |
| RU2617557C1 (en) * | 2015-11-18 | 2017-04-25 | Виталий Витальевич Аверьянов | Method of exposure to virtual objects of additional reality |
| WO2017086841A1 (en) * | 2015-11-18 | 2017-05-26 | Виталий Витальевич АВЕРЬЯНОВ | Method for acting on augmented reality virtual objects |
| EP3379396A4 (en) * | 2015-11-18 | 2019-06-12 | Devar Entertainment Limited | Method for acting on augmented reality virtual objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2009157792A1 (en) | Method for producing an effect on virtual objects | |
| US8487871B2 (en) | Virtual desktop coordinate transformation | |
| CN105074617A (en) | Three-dimensional user interface device and three-dimensional operation processing method | |
| Jacobsen et al. | Active personalized construction safety training using run-time data collection in physical and virtual reality work environments | |
| JP5817953B1 (en) | Projector system and calibration board | |
| Buń et al. | Possibilities and determinants of using low-cost devices in virtual education applications | |
| CN101426446A (en) | Apparatus and method for haptic rendering | |
| JP2003270719A (en) | Projection method, projector, and method and system for supporting work | |
| JP2020052790A (en) | Information processor, information processing method, and program | |
| Behzadan et al. | Automated generation of operations level construction animations in outdoor augmented reality | |
| Chen et al. | A naked eye 3D display and interaction system for medical education and training | |
| US20240019241A1 (en) | System and method for measuring using multiple modalities | |
| RU2451982C1 (en) | Method for producing effect on virtual objects | |
| JP2009087161A (en) | Image processor and image processing method | |
| Panchaphongsaphak et al. | Three-dimensional touch interface for medical education | |
| KR20220098321A (en) | a First aid training type medical system based on extended reality first aid guide information | |
| Vlasov et al. | Haptic rendering of volume data with collision determination guarantee using ray casting and implicit surface representation | |
| GB2539182A (en) | Dynamic augmented reality system | |
| CN109840943B (en) | Three-dimensional visual analysis method and system | |
| CN115100257A (en) | Sleeve alignment method and device, computer equipment and storage medium | |
| CN208225113U (en) | A kind of data acquisition device for the simulation of VR device emulation | |
| Mizuguchi et al. | Development of reactor design aid tool using virtual reality technology | |
| JP2007213437A (en) | Information-processing method and information-processing device | |
| Ootsubo et al. | Support system for slope shaping based on a teleoperated construction robot | |
| Stenholt et al. | Shaping 3-D boxes: A full 9 degree-of-freedom docking experiment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20120408 |