WO2009157792A1 - Способ воздействия на виртуальные объекты - Google Patents

Способ воздействия на виртуальные объекты Download PDF

Info

Publication number
WO2009157792A1
WO2009157792A1 PCT/RU2008/000392 RU2008000392W WO2009157792A1 WO 2009157792 A1 WO2009157792 A1 WO 2009157792A1 RU 2008000392 W RU2008000392 W RU 2008000392W WO 2009157792 A1 WO2009157792 A1 WO 2009157792A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
real
coordinates
virtual pointer
pointer
Prior art date
Application number
PCT/RU2008/000392
Other languages
English (en)
French (fr)
Inventor
Олег Станиславович РУРИН
Original Assignee
Rurin Oleg Stanislavovich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rurin Oleg Stanislavovich filed Critical Rurin Oleg Stanislavovich
Priority to PCT/RU2008/000392 priority Critical patent/WO2009157792A1/ru
Priority to EP08874819A priority patent/EP2325725A4/de
Priority to KR1020117001806A priority patent/KR20110025216A/ko
Priority to US13/001,418 priority patent/US20110109628A1/en
Publication of WO2009157792A1 publication Critical patent/WO2009157792A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the invention relates to the field of information technology and computer technology, and more particularly to devices for inputting information and controlling virtual objects in virtual three-dimensional space, displayed on a monitor screen or other information display device.
  • the inventive method allows you to manage virtual objects in a virtual three-dimensional space with the binding of the operations to the coordinates of the real three-dimensional space.
  • the “Method for automatic positioning of a pointer for three-dimensional computer simulation)) is known (see US Pat. No. 6,057,827 [I]), in which the user has the ability to position the pointer in the area of a two-dimensional geometric location of points representing a three-dimensional object on a monitor screen.
  • the pointer automatically moves to the geometric location of the points, which defines a three-dimensional object, closest to the user-specified location of the pointer specified by the cursor on the screen.
  • the exact positioning of the pointer (cursor) is a difficult task for the user, since in many cases it is quite difficult to evaluate the correct spatial arrangement of virtual space objects and correctly position the pointer based on a two-dimensional flat image.
  • additional errors are possible at the stage of automatic selection of a three-dimensional virtual object. This leads to the need for repetition. cursor positioning process and significantly complicates the user’s work.
  • Closest to the claimed invention is a computerized method and a computer system for positioning the pointer)) (CTTTA JVG patent application “ 2006/0244745 [2]), in which the user, when positioning the pointer in three-dimensional virtual space, is able to observe an algorithmically generated three-dimensional image on two-dimensional display and act on the basis of the additional information received about the image depth. This allows you to position the pointer in three-dimensional virtual space more accurately and perform positioning with less trial and error.
  • the disadvantage of this method is that a three-dimensional image on a two-dimensional display is created on the basis of the affect of dynamic depth (see H.
  • first [1] and second [2] described methods are based on the management of virtual three-dimensional space objects on the two-dimensional plane of an information display device, without the implementation of the binding of operations to the coordinates of the real three-dimensional space.
  • the objective of the invention is to provide a method for influencing virtual objects of three-dimensional virtual space, in which control actions on objects of three-dimensional virtual space are carried out taking into account the accurate measured (and subsequently calculated) information about the relative position of the user, display device and objects of virtual space in real physical three-dimensional coordinate system - the basic coordinate system.
  • the problem is solved by developing a method of influencing virtual objects, which consists in the fact that
  • the pointer in accordance with the claimed way is positioned in a real physical base coordinate system, and all objects of a three-dimensional virtual space, like the information display device itself, also have specific coordinates specified in this real physical base coordinate system or converted to a real physical coordinate system.
  • the technical result of the claimed invention is the creation of a method for positioning a pointer that controls objects of virtual three-dimensional space, the position of which is set exactly in the physical coordinate system, and not conditionally - in the two-dimensional plane of the screen, and control with the help of the pointer is carried out only by those virtual objects of three-dimensional virtual space equivalent, the physical coordinates of which fall into the zone of influence of the pointer.
  • Such new properties of this index significantly expand the scope of the proposed method by providing the possibility of implementing high-precision simulators of physical processes with the highest degree of reliability when simulating spatial operations in three-dimensional virtual space - movements, displacements, rotations and other effects associated with virtual objects.
  • the method of influencing virtual objects is of independent importance, but the application of this method in combination with the adaptive formation of a displayed set of virtual objects based on an analysis of the position of the observer is especially effective.
  • place the third group of identification blocks which sets real three-dimensional space relative to the real physical base coordinate system, the position of the observation point of the working area of the display devices by the user; modify the set of displayed data by including in it the displayed set of geometric locations of the points of the virtual pointer and form the current set of displayed three-dimensional virtual objects based on:
  • Window as well as objects located at different distances from the “window”.
  • the method of influencing the objects of the virtual world, examples of calculating the coordinates of physical and virtual objects, as well as an example of a method for establishing a one-to-one correspondence between virtual coordinates and real physical coordinates of the base system are discussed below.
  • FIG. 1 General diagram of a visualization system for three-dimensional objects of virtual space and an example of a virtual pointer display scheme for the case when the pointer passes through the working area of the display device.
  • FIG. 2. An example of a virtual pointer display scheme for the case when the virtual pointer passes away from the working area of the display device.
  • FIG. 3 Block diagram of an algorithm for implementing a method of influencing virtual objects.
  • FIG. 4 An example of determining the spatial position of an object (marker) from images from two video or photo cameras.
  • FIG. 1 shows an example of the interaction of user 1 with a system containing a third group of identification software blocks fixed on the head of user 1, a second group of identification blocks 120 mounted on the body of user 1 (for example, on the arm), a basic device including the first group of 130 blocks identification unit and the primary information processing unit (not shown in FIG.
  • a computing unit 140 comprising processor units, memory units and interface units configured to communicate with the display device 150, kami software, 120, 130 identification and display device 150 with a group of identification blocks 160 attached to it, a basic coordinate system 170 associated with the first group 130 of identification blocks, three-dimensional virtual space 180, objects 190 of three-dimensional virtual space, virtual pointer 200 given relative the base coordinate system of length in real three-dimensional space, a geometrical location 210 of the intersection points of the virtual pointer 200 with the working area of the information display device 150, display 220 per screen not a virtual pointer display device 200, display 230 on a screen of a three-dimensional virtual space object display device, an interaction point 240 of a virtual pointer 200 with three-dimensional virtual space objects 190 in a real three-dimensional space relative to the base coordinate system, display 250 on a screen of a virtual pointer pointer interaction point display device 240 200 with objects 190 of three-dimensional virtual space.
  • FIG. 1 shows additional elements illustrating the mechanism of interaction with virtual objects according to the proposed method, a schematic representation of a virtual pointer 200, illustrating the intention of user 1 to control a selected virtual object 190 of three-dimensional virtual space, an example of the indication 220 of this virtual pointer on the screen of a display device, and an example of the visual effect 250 of a pointer affecting a selected virtual object of three-dimensional virtual space.
  • Virtual space 180 with virtual objects 190 located in it is a set of pre-created image data of three-dimensional virtual objects located in the memory block of computing unit 140.
  • Virtual objects 190 are placed in real space by setting their coordinates relative to the base coordinate system 170 located in real space .
  • the coordinates of the system elements are also contained in the memory block of the computing unit 140 and, if necessary, are changed in accordance with the algorithm described below.
  • the coordinates of the virtual objects 190 in real space for example, as shown in FIG.
  • FIG. 2 illustrates the fundamental possibility of displaying a virtual pointer on the screen of the display device even for the case when the virtual pointer passes away from the working area of the display device (top view). As shown in FIG. 2, a virtual pointer passing through points A and B on the screen is displayed (displayed) as an object passing from point D to point C.
  • the algorithm (Fig. 3) contains the following steps: zoo. The beginning of zoi. place in a real three-dimensional space the first group of identification blocks;
  • the 309 specify, with the necessary detail, the coordinates of the geometric locus of the points of the virtual pointer relative to the fixation point of the virtual pointer; the zu is determined in real three-dimensional space relative to the real physical base coordinate system with the necessary detail of the coordinates of the set of geometric locations of the points of the virtual pointer, falling into the coordinate region of the working area of the display devices; sn form a set of virtual objects, the coordinates of which in real three-dimensional space fall into the region calculated taking into account the location of the geometric place of the points a virtual pointer falling into the coordinate area of the working area of the display devices;
  • the generated set of displayed data is displayed (displayed) on the display device (s);
  • the identification unit is a device that receives or transmits, or receives / transmits, signals in one of the ranges (ultrasonic, infrared, optical or radio). Depending on the implementation, it can be an active or passive (marker) device. Examples of the implementation of ultrasonic transceivers, video cameras and stereo video cameras, transceivers operating in the radio wave range are widely presented in patent and technical literature. The selection of a specific type of transceiver is a standard engineering design task. Depending on the type of identification block selected, some identification blocks (except the base one) may be excluded from the system.
  • the signals from identification blocks operating in transmitter mode are received by identification blocks operating in receiver mode and, after processing in a computing device, are used to determine the location of the working area of the display devices, the fixation points of the virtual pointer, and (possibly) the position of the observation point of the working area display devices by the user relative to a real physical base coordinate system.
  • the inventive method is fully based on the correct and accurate determination of the above coordinates of the elements of the system.
  • the coordinates of a spatial object are calculated as follows (the case considered is specific an example of the implementation of the theory, which is described in detail in the course of epipolar geometry):
  • the base length be b.
  • O origin of the optical system
  • the OZ axis is parallel to the optical axes
  • the OX axis is directed along the baseline (Fig. 3J.
  • At least three transceivers are used to improve accuracy, the spatial position of which is associated with a coordinate system, for example, a real physical base system.
  • a coordinate system for example, a real physical base system.
  • the methodology for determining the coordinates of spatial objects for this case is described in detail in the published international application for the invention “Method and system for visualization of virtual three-dimensional objects)) (PCT / RU2005 / 000465
  • the pointer (in accordance with the claimed method) is positioned in a real physical base coordinate system, and all objects of a three-dimensional virtual space, as well as the information display device itself, also have specific coordinates specified in this real physical base coordinate system.
  • the user intends to perform actions with an object of virtual three-dimensional space, for example, by a person, as shown in FIG. 1.
  • the coordinates of this person (X v s, Y v s > Z v3 ) are given in real three-dimensional space relative to real physical base coordinate system.
  • the distance from the user to this person in the real world is, for example, 10 m (1000 cm).
  • the user when using a scale defined by the user and equal to 1: 20, the user, in order to touch the tree, must move his hand, equipped with sensors of the second system of identification blocks, exactly 50 cm forward.
  • FIG. 1 it is shown that although the indication 220 of this virtual pointer on the screen of the display device is carried out in a two-dimensional display plane, all user actions will be carried out in a real physical coordinate system (possibly taking into account the selected scale), which is shown schematically in FIG. 1 with a virtual pointer 200, which illustrates a user’s intention to control a selected virtual object 190 of three-dimensional virtual space.
  • a virtual pointer 200 which illustrates a user’s intention to control a selected virtual object 190 of three-dimensional virtual space.
  • This is a conditional example, but it is clear from it that this method allows user training, for example, on a simulator, during which not only the necessary actions will be worked out and manipulations with objects of the virtual world, but also accurately reproduced the real dimensions of the environment in which these actions are carried out. This dramatically increases the effectiveness of user training.
  • the proposed method is industrially applicable in training devices, simulators, computer games based on reality modeling and other applications.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

В способе воздействия на виртуальные объекты размещают вторую группу блоков идентификации, задающую в реальном трехмерном пространстве положение точки фиксации виртуального указателя, и определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно реальной физической базовой системы координат; задают координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя; определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения; формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в указанную область; выполняют заданные виртуальные действия по модификации виртуальных объектов из сформированной совокупности виртуальных объектов.

Description

Способ воздействия на виртуальные объекты
Изобретение относится к области информационных технологий и вычислительной техники, а более конкретно к устройствам ввода информации и управления виртуальными объектами в виртуальном трехмерном пространстве, изображаемыми на экране монитора или иного устройства отображения информации. Заявляемый способ позволяет осуществлять управление виртуальными объектами в виртуальном трехмерном пространстве с привязкой осуществляемых операций к координатам реального трехмерного пространства.
Известен «Cпocoб автоматического позиционирования указателя для трехмерного компьютерного моделирования)) (см. патент США N»6,057,827 [I]), в котором пользователь имеет возможность позиционирования указателя в районе двумерного геометрического места точек, представляющих трехмерный объект на экране монитора. Согласно этому решению, указатель автоматически перемещается к геометрическому месту точек, задающему трехмерный объект, ближайший к заданному пользователем расположению указателя, задаваемого курсором на экране. Однако, в данном способе точное позиционирование указателя (курсора) является для пользователя сложной задачей, поскольку во многих случаях достаточно сложно на основе двумерного плоского изображения оценить правильное пространственное расположение объектов виртуального пространства и правильно позиционировать указатель. Кроме того, возможны дополнительные ошибки на этапе автоматического выбора трехмерного виртуального объекта. Это приводит к необходимости повторения процесса позиционирования курсора и существенно затрудняет работу пользователя.
Наиболее близким к заявленному изобретению является компьютеризированный способ и компьютерная система позиционирования указателя)) (выложенная заявка на патент CTTTA JVГ«2006/0244745 [2]), в котором пользователь при позиционировании указателя в трехмерном виртуальном пространстве имеет возможность наблюдать алгоритмически созданное трехмерное изображение на двумерном дисплее и действовать с учетом получаемой дополнительной информации о глубине изображения. Это позволяет позиционировать указатель в трехмерном виртуальном пространстве более точно и осуществлять позиционирование с меньшим количеством проб и ошибок. Недостатком данного метода является то, что трехмерное изображение на двумерном дисплее создается на основе аффекта динамической глубины (см. H. Wаllасh еt аl "Тhе kiпеtiс dерth ;effect", Jоurпаl оf Ехреrimепtаl Рsусhоlоgу, 45, 205-217 [3]). Использование принудительной анимации отображаемых объектов для создания эффекта объемного изображения является искусственным способом, который применим лишь для решения узкоспециальных задач (например, трехмерного математического моделирования или синтеза трехмерных объектов) требует дополнительного времени и ресурсов для осуществления. В системах реального времени, симуляторах, игровых приложениях использование данного метода малоэффективно.
Кроме того, общим недостатком как первого [1], так и второго [2] описанных методов является тот факт, что данные методы основаны на управлении объектами виртуального трехмерного пространства на двумерной плоскости устройст ва отображения информации, без осуществления привязки осуществляемых операций к координатам реального трехмерного пространства.
Задачей данного изобретения является создание способа воздействия на виртуальные объекты трехмерного виртуального пространства, при котором управляющие воздействия на объекты трехмерного виртуального пространства осуществляются с учетом точной измеряемой (и в последующем вычисляемой) информации о взаимном расположении пользователя, устройства отображения и объектов виртуального пространства в реальной физической трехмерной системе координат — базовой системе координат.
Поставленная задача решена за счет разработки способа воздействия на виртуальные объекты, заключающегося в том, что
- размещают в реальном трехмерном пространстве первую группу блоков идентификации: - формируют в реальном трехмерном пространстве реальную, физическую базовую систему координат, привязанную к пространственному положению блоков идентификации первой группы;
- определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
- задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат
- размещают вторую группу блоков идентификации, которая задает в реальном трехмерном пространстве положение точки фиксации виртуального указателя, и определяют координаты точки фиксации виртуального указателя в реальном
трехмерном пространстве относительно реальной физической базовой системы координат;
- задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя;
- определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения;
- формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройств отображения; - выполняют заданные виртуальные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов.
Как видно из вышеизложенного, основным отличием заявляемого способа от всех известных из уровня техники способов позиционирования указателя на объекты трехмерного виртуального пространства является то, что указатель (в соответствии с заявляемым способом) позиционируется в реальной физической базовой системе координат, и все объекты трехмерного виртуального пространства, как и само устройство отображения информации, также имеют конкретные координаты, заданные в этой реальной физической базовой системе координат или преобразованные к реальной физической системе координат.
Таким образом, техническим результатом заявленного изобретения является создание способа позиционирования указателя, управляющего объектами виртуального трехмерного пространства, положение которого задается точно в физической системе координат, а не условно - в двумерной плоскости экрана, причем управление с помощью указателя осуществляется лишь теми виртуальными объектами трехмерного виртуального пространства, эквивалентные , физические координаты которых попадают в зону воздействия указателя. Такие новые свойства данного указателя существенно расширяют область применения предлагаемой способа за счет обеспечения возможности реализации высокоточных симуляторов физических процессов с высочайшей степенью достоверности при имитации пространственных операций в трехмерном виртуальном пространстве - движений, перемещений, вращений и иных эффектов, связанных с виртуальными объектами.
Способ воздействия на виртуальные объекты, согласно заявляемому изобретению, имеет самостоятельное значение, но особенно эффективно применение данного способа в сочетании с адаптивным формированием отображаемой совокупности виртуальных объектов на основе анализа положения наблюдателя. Для этого размещают третью группу блоков идентификации, которая задает в реальном трехмерном пространстве относительно реальной физической базовой системы координат положение точки наблюдения рабочей зоны устройств отображения пользователем; модифицируют набор отображаемых данных путем включения в него отображаемой совокупности геометрического места точек виртуального указателя и формируют текущий набор отображаемых трехмерных виртуальных объектов исходя из:
• информации о взаимном положении в реальном трехмерном пространстве относительно реальной физической базовой системы координат полной совокупности трехмерных виртуальных объектов, модифицированных с учетом выполненной совокупности заданных виртуальных действий и положения отображаемой части виртуального указателя;
• информации о положении точки наблюдения пользователем , рабочей зоны устройств отображения;
• информации о положении рабочей зоны устройств,, отображения; после чего сформированный набор подают на устройство отображения.
Вышеизложенная последовательность действий позволяет добиться эффекта, аналогичного обзору виртуального трехмерного пространства через обычное окно, роль которого играет экран устройства отображения, а управление виртуальными объектами с помощью указателя также осуществляется через это «oкнo», причем это дает возможность управлять объектами виртуального мира, расположенными как прямо перед «oкнo», так и справа или слева от
«oкнa», а также объектами, расположенными на различном расстоянии от «oкнa». Способ воздействия на объекты виртуального мира, примеры расчета координат физических и виртуальных объектов, а также пример методики установления взаимно однозначного соответствия между виртуальными координатами и реальными физическими координатами базовой системы рассматриваются ниже.
Сущность заявляемого изобретения поясняется с привлечением графических материалов на примере одного из вариантов практической реализации предлагаемого способа в рамках системы, содержащей аппаратные средства, необходимые для задания базовой системы координат и идентификации положения физических объектов - самого пользователя, технических средств ввода информации, управляемых пользователем, устройства ортображения информации, а также , включающей в себя необходимые алгоритмические и программные решения, которые осуществляют совокупность действий над материальными объектами (аппаратными средствами), необходимые для реализации предложенного способа.
Фиг. 1. Общая схема системы визуализации трехмерных объектов виртуального пространства и пример схемы индикации виртуального указателя для случая, когда указатель проходит через рабочую зону устройства отображения.
Фиг. 2. Пример схемы индикации виртуального указателя для случая когда виртуальный указатель проходит в стороне от рабочей зоны устройства отображения. Фиг. 3 Блок-схема алгоритма реализации способа воздействия на виртуальные объекты.
Фиг. 4 Пример определения пространственного положения объекта (маркера) по изображениям с двух видео- или фото- камер. На Фиг. 1 показан пример взаимодействия пользователя 1 с системой, содержащей третью группу блоков ПО идентификации, закрепляемых на голове пользователя 1, вторую группу блоков 120 идентификации, закрепленную на теле пользователя 1 (например, на руке), базовое устройство, включающее в себя первую группу 130 блоков идентификации и блок первичной обработки информации (на Фиг. 1 не показан), вычислительный блок 140, содержащий блоки процессоров, блоки памяти и интерфейсные блоки, выполненные с возможностью поддержания связи с устройством 150 отображения, блоками ПО, 120, 130 идентификации и устройством 150 отображения с группой закрепленных на нем блоков 160 идентификации, базовую систему 170 кординат, привязанную- к первой группе 130 блоков идентификации, трехмерное виртуальное пространство 180, объекты 190 трехмерного виртуального пространства, виртуальный указатель 200 заданной относительно базовой системы координат длины в реальном трехмерном пространстве, геометрическое место 210 точек пересечения виртуального указателя 200 с рабочей зоной устройства 150 отображения информации, отображение 220 на экране устройства отображения виртуального указателя 200, отображение 230 на экране устройства отображения объектов трехмерного виртуального пространства, точка взаимодействия 240 виртуального указателя 200 с объектами 190 трехмерного виртуального пространства в реальном трехмерном пространстве относительно базовой системы координат, отображение 250 на экране устройства отображения точки взаимодействия 240 виртуального указателя 200 с объектами 190 трехмерного виртуального пространства.
Кроме того, на Фиг. 1 показаны дополнительные элементы, иллюстрирующие механизм взаимодействия с виртуальными объектами согласно предложенному способу - схематическое изображение виртуального указателя 200, иллюстрирующее намерение пользователя 1 управлять выбранным виртуальным объектом 190 трехмерного виртуального пространства, пример индикации 220 данного виртуального указателя на экране устройства отображения и пример визуального эффекта 250 воздействия указателем на выбранный виртуальный объект трехмерного виртуального пространства. Виртуальное пространство 180 с находящимися в нем виртуальными объектами 190 является набором заранее созданных данных изображений трехмерных виртуальных объектов, размещенных в блоке памяти вычислительного блока 140. Размещение виртуальных объектов 190 в реальном пространстве осуществляют путем задания их координат относительно базовой системы 170 координат, размещенной в реальном пространстве. Координаты элементов системы (устройство отображения (Xd, Yd, Zd), точка фиксации виртуального указателя (Xp, Yp, Zp), начало базовой системы координат (Xb, Yb, Zb) по отношению к первой группе 130 блоков идентификации и другие) также содержатся в блоке памяти вычислительного блока 140 и при необходимости изменяются в соответствии с алгоритмом, изложенным ниже. Координаты виртуальных объектов 190 в реальном пространстве - например, как показано на Фиг. 1, координаты (Xvь Yvь Zvi), (XV2, YV2> Zy2), •••, (XVN> YVN, ZvN) рассчитывают на основе относительных координат виртуальных объектов 190 в виртуальном пространстве, заранее загруженных в блоке памяти вычислительного блока 140, и реальных физических координат элементов системы. Преобразование координат при переходе от виртуальной системы к физической осуществляют по известным формулам преобразования координат. Фиг. 2 иллюстрирует принципиальную возможность индикации виртуального указателя на экране устройства отображения даже для случая, когда виртуальный указатель проходит в стороне от рабочей зоны устройства отображения (вид сверху). Как показано на Фиг. 2, виртуальный указатель, проходящий через точки А и В на экране, индицируется (отображается) в виде объекта, проходящего от точки D к точке С.
Алгоритм (Фиг. 3) содержит следующие шаги: зоо. Начало зоi. размещают в реальном трехмерном пространстве первую группу блоков идентификации;
302. формируют - в реальном трехмерном пространстве базовую систему координат, привязанную к пространственному положению блоков идентификации^ первой группы;
303. размещают в реальном трехмерном пространстве вторую группу блоков идентификации, которая задает в реальном трехмерном пространстве положение точки фиксации виртуального указателя 304. размещают третью группу блоков идентификации, которая задает в реальном трехмерном пространстве относительно реальной физической базовой системы координат положение точки наблюдения рабочей зоны устройств отображения пользователем; 305. задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат
306 определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
307 анализируют команду пользователя по управлению положением или формой виртуального указателя или иные внешние факторы, влияющие на управление положением или формой виртуального указателя;
308 определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно базовой системы координат;
309 задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя; зю определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения; зп формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройств отображения;
312. анализируют команду пользователя по формированию требуемой совокупности виртуальных действий или иные внешние факторы, влияющие на формированию требуемой совокупности виртуальных действий над виртуальными объектами, попадающими в сферу действия виртуального указателя;
313. выполняют заданные виртуальные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов;
314. модифицируют набор отображаемых данных путем включения в него отображаемой совокупности геометрического места точек виртуального указателя и , формируют текущий набор отображаемых трехмерных ,t виртуальных объектов;
315. сформированный набор отображаемых данных индицируют (отображают) на устройстве (устройствах) отображения;
316. по команде окончания работы осуществляют переход к п. 317, иначе переход к п. 303;
317. окончание.
Данная система является одним из вариантов реализации предложенного метода и специалисту ясно, что возможны и другие варианты конкретной аппаратнорj реализации предложенного метода. В частности, конкретная аппаратная реализация предложенного метода зависит от конкретного исполнения блоков идентификации.
Блок идентификации представляет собой устройство, осуществляющее прием или передачу, или прием/передачу, сигналов в одном из диапазонов (ультразвуковой, инфракрасный, оптический или радио). В зависимости от реализации, это может быть активное или пассивное (маркер) устройство. Примеры реализации ультразвуковых приемо-передатчиков, видеокамер и стерео видеокамер, приемопередатчиков, работающих в диапазоне радиоволн, широко представлены в патентной и технической литературе. Выбор конкретного вида приемо-передатчиков является стандартной задачей инженерного проектирования. В зависимости от выбранного типа блока идентификации некоторые блоки идентификации (кроме базового) могут быть исключены из системы.
Сигналы, поступающие от блоков идентификации, работающих в режиме передатчика, принимаются блоками идентификации, работающими в режиме приемника и после обработки в вычислительном устройстве используются для определения расположения рабочей зоны устройств отображения, точки фиксации виртуального указателя, а также (возможно) положение точки наблюдения рабочей зоны устройств отображения пользователем относительно реальной физической базовой системы координат.
Заявляемый способ полностью базируется на корректном и точном определении вышеуказанных координат элементов системы. Например, при реализации блока идентификации на основе видеокамер координаты пространственного объекта вычисляют следующим образом (рассмотренный случай является конкретным примером реализации теории, которая подробно излагается в курсе эпиполярной геометрии):
Рассмотрим ситуацию, когда две камеры, находящиеся в разных точках, регистрируют одну и ту же сцену. Пара изображений, получаемых при этом, называется стереопарой. Рассмотрим случай, при котором одинаковые камеры расположены так, что их оптические оси параллельны, а прямая, проходящая через оптические центры, перпендикулярна оптическим осям (эта прямая называется базовой линией, а ее отрезок, заключенный между оптическими центрами — базой). Более общий случай может быть получен на основе рассмотренных принципов путем применения методов преобразования систем координат и аппарата эпиполярной геометрии.
Положим длину базы равной b. Выберем такую глобальную систему координат, начало которой О расположено на базовой линии посередине между оптическими центрами камер, ось OZ параллельна оптическим осям, а ось OX направлена вдоль базовой линии (Фиг. ЗJ.
Пусть начала координат в плоскостях изображений камер совпадают, с точками пересечения оптической оси с плоскостью изображения, а единицы измерения координат в глобальной системе и в плоскостях изображения камер одинаковы.
Выберем точку с глобальными координатами (X,Y,Z). Координаты ее проекции в плоскости изображения первой (левой) камеры обозначим через (х^У \ а в плоскости изображения второй (правой) камеры - через (У-y") . (Проекции одной и той же точки в плоскостях изображений разных камер называются сопряженными точками.) Нетрудно проверить, что λ' = fiX - b' 2) <Z . x" = f(X - Ы l)IZ . \ ' = y" = JYf Z . Заметим, что в направлении, перпендикулярном направлению базовой линии, координаты сопряженных точек (у-координаты) совпадают. Это обстоятельство имеет большое значение при автоматизированном поиске сопряженных точек на стереопаре, позволяя существенно сократить размеры зоны поиска. Из первых двух соотношений следует, что
Z = fb J(x - .Vя) ,
Это означает, что, зная геометрию съемки и выполнив измерения координат проекций одной и той же точки в плоскостях изображения камер, можно вычислить глубину (координату Z) этой точки. Более того, полученные соотношения позволяют вычислить полностью трехмерные координаты точки:
Figure imgf000017_0001
При реализации блока идентификации на основе ультразвуковых приемопередатчиков для повышения точности используют не менее трех приемопредатчиков, пространственное положение которых связано с системой координат, например, реальной физической базовой системой. Методика определения координат пространственных объектов для данного случая подробно раскрыта в опубликованной международной заявке на изобретение «Cпocoб и система для визуализации виртуальных трехмерных объектов)) (PCT/RU2005/000465
[4])- Таким образом, из изложенного ясно, что техническая реализация и практическое воплощение предлагаемого способа воздействия на виртуальные объекты осуществимы на основе решений, известных из уровня техники. Новизна и изобретательский уровень предлагаемого способа заключаются в применении предложенных принципов точного пространственного позиционирования как реальных, физических так и виртуальных, отображаемых объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат, причем указанное позиционирование дает новые, ранее не реализованные, возможности работы с объектами в виртуальной реальности. Рассмотрим детальный алгоритм реализации заявляемого способа для случая его применения в сочетании с адаптивным формированием отображаемой совокупности виртуальных объектов на основе анализа положения наблюдателя. Блок-схема алгоритма представлена на Фиг. 3. и в достаточной степени поясняется функциями 301 -315 блоков алгоритма.
Некоторые дополнительные пояснения полезны с точки зрения понимания новых возможностей, предоставляемых заявляемым способом.
Как уже отмечалось, указатель (в соответствии с заявляемым способом) позиционируется в реальной физической базовой системе координат, и все объекты трехмерного виртуального пространства, а также и само устройство отображения информации, также имеют конкретные координаты, заданные в этой реальной физической базовой системе координат. Например, пользователь имеет намерение произвести действия с объектом виртуального трехмерного пространства например, человеком, как показано на Фиг. 1. Координаты данного человека (Xvз, Yvз> Zv3) заданы в в реальном трехмерном пространстве относительно реальной физической базовой системы координат. Расстояние от пользователя до данного человека в реальном мире составляет, например 10 м (1000 см). Это легко рассчитывается, поскольку координаты, как данного человека (Xv3, Yv3, Zv3), так и пользователя 1 - (Xp, Yp, Zp), известны или могут быть расчитаны путем обработки сигналов, поступающих от блоков идентификации (обработка осуществляется одним из вышеизложенных методов). Пользователь 1 имеет возможность задать определенный масштаб - это может быть масштаб 1 :1 или какой-либо другой масштаб.
Например, при использовании масштаба, задаваемого пользователем и равного 1 :20, пользователь, для того, чтобы коснуться дерева, должен двинуть руку, оснащенную датчиками второй системы блоков идентификации, вперед точно на 50 см.
Если же используется масштаб 1 : 1, то в этом случае все действия пользователя с виртуальными объектами потребуют выполнения точно таких же действий, как и в случае управления объектами реального физического пространства (или при воздействии на такие объекты) v
На Фиг. 1 показано, что хотя индикация 220 данного виртуального указателя на экране устройства отображения осуществляется в двумерной плоскости дисплея, все действия пользователя будут осуществляться в реальной физической системе координат (возможно, с учетом выбранного масштаба), что схематически представлено на Фиг. 1 изображением виртуального указателя 200, которое иллюстрирует намерение пользователя управлять выбранным виртуальным объектом 190 трехмерного виртуального пространства. Это — условный пример, но из него ясно, что данный способ позволяет осуществить обучение пользователя, например, на симуляторе, в процессе которого будут отработаны не только необходимые действия и манипуляции объектами виртуального мира, но и точно воспроизведены реальные размеры обстановки, в которой эти действия осуществляются. Это резко повышает эффективность обучения пользователя. Таким образом, предлагаемый способ промышленно применим в устройствах обучения, симуляторах, компьютерных играх, основанных на моделировании реальности и других применениях.

Claims

Формула изобретения
1. Способ воздействия на виртуальные объекты, заключающийся в том, что
- размещают в реальном трехмерном пространстве первую группу блоков идентификации;
- формируют в реальном трехмерном пространстве реальную физическую базовую систему координат, привязанную к пространственному положению блоков идентификации первой группы; - определяют координаты рабочей зоны устройств отображения в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
- задают координаты заранее созданных в цифровом формате трехмерных виртуальных объектов в реальном трехмерном пространстве относительно реальной физической базовой системы координат, отличающийся тем, что:
размещают вторую группу блоков идентификации, задающую в реальном трехмерном пространстве положение точки фиксации виртуального указателя, и определяют координаты точки фиксации виртуального указателя в реальном трехмерном пространстве относительно реальной физической базовой системы координат;
задают с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя относительно точки фиксации виртуального указателя; определяют в реальном трехмерном пространстве относительно реальной физической базовой системы координат с необходимой детализацией координаты совокупности геометрического места точек виртуального указателя, попадающие в область координат рабочей зоны устройств отображения; формируют совокупность виртуальных объектов, координаты которых в реальном трехмерном пространстве попадают в область, расчитанную с учетом расположения геометрического места точек виртуального указателя, попадающих в область координат рабочей зоны устройств отображения; выполняют заданные виртуальные действия по модификации виртуальных объектов из сформированной совокупности виртуальных объектов.
2. Способ по п. 1 , отличающийся тем, что дополнительно размещают третью группу блоков идентификации, задающую в реальном „ „ трехмерном пространстве положение, относительно реальной - _N физической базовой системы координат, точки наблюдения рабочей зоны устройств отображения пользователем;
3. Способ по п. 1, отличающийся тем, что модифицируют набор отображаемых данных путем включения в него отображаемой совокупности геометрического места точек виртуального указателя, и формируют текущий набор отображаемых трехмерных виртуальных объектов на основе:
- информации о взаимном положении в реальном трехмерном пространстве относительно реальной физической базовой системы координат полной совокупности трехмерных виртуальных объектов, модифицированных с учетом выполненной совокупности заданных виртуальных действий и положения отображаемой части виртуального указателя;
информации о положении точки наблюдения пользователем рабочей зоны устройств отображения
- информации о положении рабочей зоны устройств отображения.
4. Способ по любому из пунктов 1, 2, 3, отличающийся тем, что вторую группу блоков идентификации размещают на теле пользователя.
5. Способ по п. 3, отличающийся тем, что сформированный набор отображаемых данных индицируют на, по меньшей мере, одном устройстве отображения.
6. Способ по п. 1, отличающийся тем, что вторую группу блоков идентификации перемещают относительно реальной физической базовой системы координат произвольным образом.
7. Способ по п. 1, отличающийся тем, что вторую группу блоков идентификации вращают вокруг, по меньшей мере, одной координатной оси, обеспечивая эффект вращения виртуального указателя.
8. Способ по п. 1, отличающийся тем, что геометрическое место точек виртуального указателя рассчитывают динамически с учетом команд, подаваемых пользователем.
9. Способ по п. 1 , отличающийся тем, что геометрическое место точек виртуального указателя рассчитывают динамически с учетом заданного алгоритма.
10. Способ по п. 9, отличающийся тем, что алгоритм расчета геометрического места точек виртуального указателя динамически модифицируют с учетом внешних факторов.
1 1. Способ по п. 10, отличающийся тем, что в качестве внешних факторов используют команды пользователя.
12. Способ по п. 10, отличающийся тем, что в качестве внешних факторов используют сигналы, поступающие от датчиков.
13. Способ по п. 12, отличающийся тем, что визуальные эффекты сопровождают звуковыми эффектами.
14. Способ по п. 1 , отличающийся тем, что заданные виртуальные действия в точках, координаты которых попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, выполняют в автоматическом режиме на основе заданного алгоритма.
15. Способ по п. 1, отличающийся тем, что заданные виртуальные действия в точках, координаты которых попадают в область, рассчитанную с учетом расположения геометрического места точек виртуального указателя, выполняют в соответствии с командами, подаваемыми пользователем.
16. Способ по любому из пунктов 14, 15, отличающийся тем, что изменение виртуальной формы или размера виртуального указателя сопровождают генерацией механического эффекта, пропорционального соответствующему изменению веса виртуального указателя.
17. Способ по п. 1, отличающийся тем, что в качестве заданных виртуальных действий используют создание визуальных эффектов в точках, координаты которых попадают в область, расчитанную с учетом расположения геометрического места точек виртуального указателя.
18. Способ по любому из пунктов 1 , 12-17, отличающийся тем, что с помощью присутствия виртуального указателя в определенной области виртуального пространства воздействие на окружающие виртуальные объекты оказывают без отображения виртуального указателя на устройстве отображения.
19. Способ по п. 1, отличающийся тем, что операции по изменению расположения или формы виртуального указателя сопровождают визуальными, звуковыми, электромагнитными или механическими эффектами в районе координат точки фиксации виртуального указателя.
20. Способ по п. 1, в котором для определения координат точки фиксации виртуального указателя относительно базовой системы координат выполняют следующие операции:
- задают положение точки фиксации виртуального указателя относительно положения блоков идентификации второй группы, закрепленных на теле пользователя;
- определяют расстояния между блоками идентификации второй и первой групп;
- вычисляют координаты блоков идентификации второй группы в реальном трехмерном пространстве относительно базовой системы координат на основе информации о расстояниях между блоками идентификации первой и второй групп;
- вычисляют положение точки фиксации виртуального указателя в реальном трехмерном пространстве относительно базовой системы координат, используя информацию о положении блока идентификации второй группы и информацию о положении точки фиксации виртуального указателя относительно положения блока идентификации второй группы.
21. Способ по п.l отличающийся тем, что блок идентификации используют в качестве приемо- передатчика сигналов в любом из следующих диапазонов: ультразвуковой, инфракрасный, оптический или радио.
22. Способ по п.l отличающийся тем, что в блок идентификации подают видео информацию.
23. Способ по п.l отличающийся тем, что блок идентификации выполняют в виде маркера, идентифицируемого с помощью видеообработки в оптическом или инфракрасном диапазонах или локации в ультразвуковом диапазоне или в радиодиапазоне.
24. Способ по п.l отличающийся тем, что вычисление расстояния между блоками идентификации осуществляют методом локации.
25. Способ по п.l отличающийся тем, что вычисление расстояния меjжду блоками идентификации осуществляют методом обработки видеоинформации о положении блоков идентификации.
26. Способ по п.l , отличающийся тем, что относительное положение каждого входящего в первую группу блока задают и фиксируют до начала применения способа.
27. Способ по п.l, отличающийся rем, что блоки идентификации первой группы закрепляют на устройстве отображения информации.
28. Способ по п.l, отличающийся тем, что работу блоков идентификации синхронизируют импульсами синхронизации.
29. Способ по п.l, отличающийся тем, что на устройство отображения подают дву- или трех- мерное изображение.
PCT/RU2008/000392 2008-06-24 2008-06-24 Способ воздействия на виртуальные объекты WO2009157792A1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/RU2008/000392 WO2009157792A1 (ru) 2008-06-24 2008-06-24 Способ воздействия на виртуальные объекты
EP08874819A EP2325725A4 (de) 2008-06-24 2008-06-24 Verfahren zum reduzieren eines effekts auf virtuelle objekte
KR1020117001806A KR20110025216A (ko) 2008-06-24 2008-06-24 가상 오브젝트들 상에 효과를 발생시키는 방법
US13/001,418 US20110109628A1 (en) 2008-06-24 2008-06-24 Method for producing an effect on virtual objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2008/000392 WO2009157792A1 (ru) 2008-06-24 2008-06-24 Способ воздействия на виртуальные объекты

Publications (1)

Publication Number Publication Date
WO2009157792A1 true WO2009157792A1 (ru) 2009-12-30

Family

ID=41444720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2008/000392 WO2009157792A1 (ru) 2008-06-24 2008-06-24 Способ воздействия на виртуальные объекты

Country Status (4)

Country Link
US (1) US20110109628A1 (ru)
EP (1) EP2325725A4 (ru)
KR (1) KR20110025216A (ru)
WO (1) WO2009157792A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486127A (zh) * 2020-12-07 2021-03-12 北京达美盛软件股份有限公司 一种数字工厂的虚拟巡检系统
CN114432696A (zh) * 2021-12-22 2022-05-06 网易（杭州）网络有限公司 虚拟对象的特效配置方法、装置、存储介质及电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762869B2 (en) * 2008-12-23 2014-06-24 Intel Corporation Reduced complexity user interface
KR101283929B1 (ko) * 2011-11-30 2013-07-16 강릉원주대학교산학협력단 가상 디스플레이 장치의 사용자 입력 시스템 및 방법
WO2013111119A1 (en) * 2012-01-27 2013-08-01 Saar Wilf Simulating interaction with a three-dimensional environment
US9898844B2 (en) * 2013-12-31 2018-02-20 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10338687B2 (en) 2015-12-03 2019-07-02 Google Llc Teleportation in an augmented and/or virtual reality environment
CN106484140A (zh) * 2016-10-14 2017-03-08 乐视控股（北京）有限公司 一种在虚拟现实系统中识别编码信息的方法及装置
EP3574646B1 (en) 2017-05-12 2023-05-03 Samsung Electronics Co., Ltd. Electronic apparatus and method for displaying a content screen on the electronic apparatus thereof
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
KR102396944B1 (ko) * 2019-10-17 2022-05-13 주식회사 듀얼아이엔씨 세그먼트 기반의 가상 물리 시스템을 위한 시스템 모델링 방법 및 시스템 연동 방법
CN111667558B (zh) * 2020-06-11 2023-11-28 深圳市瑞立视多媒体科技有限公司 基于虚幻引擎的绳索连接优化方法和相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61196317A (ja) * 1985-02-27 1986-08-30 Nippon Telegr & Teleph Corp <Ntt> 情報入力方式
RU2123718C1 (ru) * 1996-09-27 1998-12-20 Кузин Виктор Алексеевич Способ ввода информации в компьютер
US6057827A (en) 1993-06-18 2000-05-02 Artifice, Inc. Automatic pointer positioning for 3D computer modeling
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
EP1594040A2 (en) * 2004-05-06 2005-11-09 Alpine Electronics, Inc. Operation input device and method of operation input
US20060244745A1 (en) 2005-05-02 2006-11-02 Bitplane Ag Computerized method and computer system for positioning a pointer

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736990A (en) * 1995-08-28 1998-04-07 Mitsubishi Electric Information Technology Center America, Inc. System for designing a virtual environment utilizing locales
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US6219028B1 (en) * 1998-08-19 2001-04-17 Adobe Systems Incorporated Removing a cursor from over new content
US7084888B2 (en) * 2001-08-09 2006-08-01 Konami Corporation Orientation detection marker, orientation detection device and video game device
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
US8610664B2 (en) * 2005-07-11 2013-12-17 Koninklijke Philips N.V. Method of controlling a control point position on a command area and method for control of a device
KR101229283B1 (ko) * 2005-09-15 2013-02-15 올레그 스탄니슬라보비치 루린 가상 3차원 객체들의 시각화를 위한 방법 및 시스템
JP4916390B2 (ja) * 2007-06-20 2012-04-11 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61196317A (ja) * 1985-02-27 1986-08-30 Nippon Telegr & Teleph Corp <Ntt> 情報入力方式
US6057827A (en) 1993-06-18 2000-05-02 Artifice, Inc. Automatic pointer positioning for 3D computer modeling
RU2123718C1 (ru) * 1996-09-27 1998-12-20 Кузин Виктор Алексеевич Способ ввода информации в компьютер
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
EP1594040A2 (en) * 2004-05-06 2005-11-09 Alpine Electronics, Inc. Operation input device and method of operation input
US20060244745A1 (en) 2005-05-02 2006-11-02 Bitplane Ag Computerized method and computer system for positioning a pointer

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. WALLACH ET AL.: "The kinetic depth effect", JOURNAL OF EXPERIMENTAL PSYCHOLOGY, vol. 45, pages 205 - 217
See also references of EP2325725A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486127A (zh) * 2020-12-07 2021-03-12 北京达美盛软件股份有限公司 一种数字工厂的虚拟巡检系统
CN114432696A (zh) * 2021-12-22 2022-05-06 网易（杭州）网络有限公司 虚拟对象的特效配置方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
KR20110025216A (ko) 2011-03-09
EP2325725A4 (de) 2012-04-18
US20110109628A1 (en) 2011-05-12
EP2325725A1 (de) 2011-05-25

Similar Documents

Publication Publication Date Title
WO2009157792A1 (ru) Способ воздействия на виртуальные объекты
KR101229283B1 (ko) 가상 3차원 객체들의 시각화를 위한 방법 및 시스템
US7965304B2 (en) Image processing method and image processing apparatus
US9336629B2 (en) Coordinate geometry augmented reality process
CN105074617A (zh) 三维用户界面装置和三维操作处理方法
JP4926826B2 (ja) 情報処理方法および情報処理装置
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
JP2003270719A (ja) 投影方法、投影装置、作業支援方法及び作業支援システム
JP2020052790A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013195274A (ja) ３次元線量評価マッピングシステム及びその方法
US12085380B2 (en) System and method for measuring using multiple modalities
WO2018156087A1 (en) Finite-element analysis augmented reality system and method
RU2451982C1 (ru) Способ воздействия на виртуальные объекты
CN113129362B (zh) 一种三维坐标数据的获取方法及装置
Tushev et al. Photogrammetric system accuracy estimation by simulation modelling
CN109840943B (zh) 三维可视化分析方法及系统
KR20220098321A (ko) 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템
RU2406150C2 (ru) Способ и система для визуализации виртуальных трехмерных объектов
JP2007213437A (ja) 情報処理方法、情報処理装置
JP2006267026A (ja) 画像処理方法、画像処理装置
EP3674660A2 (en) A computer-implemented method, a computer program product, and an apparatus for facilitating placement of a surveying tool
CN114587584B (zh) 提高骨科置钉操作安全性的导航系统可视化方法及系统
CN114366330B (zh) 一种混合现实系统及基于混合现实的标识物配准方法
RU2702495C1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени
CN110472365B (zh) 一种建立模态测试三维几何模型的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08874819

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13001418

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117001806

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010154217

Country of ref document: RU

Ref document number: 2008874819

Country of ref document: EP