WO2016108720A1 - Способ и устройство для отображения трехмерных объектов - Google Patents

Способ и устройство для отображения трехмерных объектов Download PDF

Info

Publication number
WO2016108720A1
WO2016108720A1 PCT/RU2014/001019 RU2014001019W WO2016108720A1 WO 2016108720 A1 WO2016108720 A1 WO 2016108720A1 RU 2014001019 W RU2014001019 W RU 2014001019W WO 2016108720 A1 WO2016108720 A1 WO 2016108720A1
Authority
WO
WIPO (PCT)
Prior art keywords
markers
marker
coordinates
image
matrix optical
Prior art date
Application number
PCT/RU2014/001019
Other languages
English (en)
French (fr)
Inventor
Петр Вячеславович СЕВОСТЬЯНОВ
Original Assignee
Общество С Ограниченной Ответственностью "Заботливый Город"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Заботливый Город" filed Critical Общество С Ограниченной Ответственностью "Заботливый Город"
Priority to CN201480084605.1A priority Critical patent/CN107430785B/zh
Priority to EA201791295A priority patent/EA032105B1/ru
Priority to PCT/RU2014/001019 priority patent/WO2016108720A1/ru
Priority to EP14909609.1A priority patent/EP3242274B1/en
Priority to US15/540,313 priority patent/US10187635B2/en
Priority to SG11201705370QA priority patent/SG11201705370QA/en
Publication of WO2016108720A1 publication Critical patent/WO2016108720A1/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals

Definitions

  • the invention relates to multi-user means of realistic display of three-dimensional objects, in particular, to means using
  • Means of displaying three-dimensional objects are used in systems
  • visualizations i.e., forming an image on the screen surface, and not in the volume of the medium
  • Visual perception mechanisms are divided into monocular and binocular and physiological and psychological.
  • Monocular mechanisms include occlusion, recognizability of the size of a known object, movement parallax, linear perspective, texture gradient, shading and accommodation.
  • Binocular mechanisms include convergence and binocular retinal disparity.
  • Physiological mechanisms include mechanisms that can be described using conceptual and
  • Occlusion or interposition is a mechanism that provides depth perception due to the fact that one observed object partially covers another.
  • a linear perspective is a proportional decrease in the visible sizes of objects and the distances between them when moving away from the observer, giving the impression of depth when observing two-dimensional images.
  • a texture gradient is an optical effect when, as the distance from the observer to the texture surface changes, not only the visible size of the texture elements changes, but also the perceived nature of the texture. Shading - reducing the illumination of objects as they move away from the light source and shading some parts of the image with others.
  • Shading is an important sign of depth perception, because it allows you to judge the shape and size of the object without directly observing the object itself, by comparing the shape of the surface onto which the object casts a shadow, the shape of the shadow, and information about the position of the light source or sources.
  • Accommodation is a depth perception mechanism in which to evaluate
  • the brain uses the degree of background blur when focusing the optical system of the eye on the object observed against this background.
  • the additivity strategy is used more often and is more effective in perception of space and, in particular, the depth of the image. Occlusion, movement parallax, or binocular disparity are most often used as the dominant feature in the selectivity strategy.
  • Realism of a three-dimensional image should involve as many mechanisms of perception of volume as possible and ensure that their action confirms and enhances the action of each other.
  • the mechanisms used one should give preference to physiological mechanisms, since each of them can be dominant in the electoral strategy and they all have a lot of weight in the additive strategy.
  • the brain With the right choice of the used mechanisms of perception of volume in the virtual reality system, it is possible to achieve that the brain will filter out the information provided by unused mechanisms, since it will consider it less reliable. In any case, to ensure the realism of three-dimensional images in a virtual reality system, it is necessary
  • MP3D binocular disparity and motion parallax simultaneously
  • the projection of the 3D scene should be displayed on the surface of the display screen, as it is visible from the current point of viewer position.
  • the effect of the parallax of motion must be ensured taking into account binocular disparity, i.e. changing the image on the screen in accordance with the change in the position of the observer must be implemented for each eye of the observer.
  • the time interval between the moment of the start of determining the position of the observer and the moment the image is displayed on the screen should not exceed 5 ms.
  • the application also mentions markers based on light emitting diodes (LEDs). There is no indication of multi-user mode in the application.
  • PHILIPS a three-dimensional object display system is known that provides binocular parallax and motion parallax effects. It is proposed to implement the motion parallax effect using optical tracking of the observer’s head position, and the binocular parallax effect using an autostereoscopic display. There is no indication of multi-user mode in the application.
  • LG a system for displaying three-dimensional objects is known, which provides the effects of binocular parallax and motion parallax. It is proposed to implement the parallax effect of motion using optical tracking of the position of the observer’s head using optical
  • an autostereoscopic display can be implemented with the number of working areas tending to infinity.
  • the resolution and the number of display angles are imposed
  • optical elements display subpixels, lenses, prisms, gratings, etc.
  • bandwidth of data transmission channels to the display since even for one observer in such a system it is necessary to transmit a significant amount of redundant information necessary for displaying the image visible from those points in space at which the observer may be due to his movement.
  • visual discomfort manifests itself differently in systems of various configurations and depends, inter alia, on the presence of real objects in the user's field of vision that serve as guidelines for visual perception mechanisms. In the presence of such objects, the user is more noticeable geometric distortions of virtual objects relative to real ones. In particular, in single-surface systems for displaying an image, discomfort is felt to a greater extent than in full-immersive systems.
  • the aim of the present invention is the realistic display of three-dimensional objects for one or more observers using visualization tools that create an image on the screen surface, and using at least two basic physiological visual mechanisms for perceiving a three-dimensional image - binocular parallax and motion parallax, with a degree of realism, not inferior to the hypothetical MP3D system with a total delay of not more than 5 ms, ensuring a high degree of geometric correlation projection projection at an observer moving speed from 0 m / s to 3 m / s and accelerating the observer moving from 0 m / s 2 to 10 m / s 2 , as well as using manipulators to influence virtual objects whose orientation and position in space is tracked essentially in the same way as the position of the eye of the observer.
  • binocular parallax and parallax movement which includes the following steps:
  • At least one display device At least one display device
  • At least one glasses for stereoscopic separation of images containing at least two optical shutters and at least two markers;
  • At least one marker coordinate prediction device device for constructing a Zy scene
  • At least one image output device At least one image output device
  • the markers may be light emitting markers.
  • the device used may comprise at least one control unit for a follow-up window.
  • observer position tracking means comprising markers, matrix optical sensors, reading and processing devices, and a device for calculating the 3O coordinates of the markers.
  • the device used may further comprise at least one radio communication device
  • the glasses of the device used may comprise at least one radio communication device.
  • the device used may comprise a marker identification device.
  • the device used may comprise at least three matrix optical sensors, three readers and processors, and three follow-up window control devices.
  • displaying an image for each eye of an observer may be performed for more than one observer.
  • the processing of data read from the matrix optical sensor may begin before the end of the frame reading.
  • the processing of data read from a matrix optical sensor can be performed in a distributed manner in readers and processors.
  • the determination of the 20-coordinate markers can be performed with subpixel accuracy.
  • radio communication device by means of a radio communication device, can be used to determine the 3D coordinates of the markers of glasses in case of temporary inability to detect markers by means of matrix optical sensors;
  • the device used may comprise at least one radio communication device, the glasses of the device used may comprise at least one radio communication device and
  • the data obtained from the manipulator orientation device by means of a radio communication device can be used to determine the 3D coordinates of the manipulator markers in the case of temporary inability to detect markers by means of matrix optical sensors; the device used may comprise at least one radio communication device and at least one manipulator comprising at least one radio communication device and an orientation device.
  • the device used may comprise at least one radio communication device
  • the glasses of the device used may comprise at least one radio communication device and an orientation device.
  • the data obtained from the orientation device of the manipulator by means of a radio communication device can be used to set the size and location of the tracking window; the device used may comprise at least one radio communication device and at least one manipulator comprising at least one radio communication device and an orientation device.
  • the step of detecting markers and determining their 2P coordinates may include the following steps:
  • the detection of the outline of the marker image is performed and go to the step of calculating the size marker image contour, and if the pixel signal intensity does not exceed a threshold value, they return to the step of reading the selected row of the matrix optical sensor;
  • the step of calculating the geometric center of the contour of the marker image if the size of the contour of the marker image is within predetermined limits, go to the step of calculating the geometric center of the contour of the marker image, and if the size of the contour of the image of the marker is not within predetermined limits, go to the step of excluding the contour of the marker image; calculating the geometric center of the outline of the marker image;
  • the step of controlling the tracking window may include the following steps: checking whether all markers are present in the image obtained from the matrix optical sensor;
  • optical sensor not all markers are present, determine the area in which the marker may be absent in the frame, determine the size and location of the tracking window for the corresponding step;
  • the dimensions and location of the tracking window are determined and transmitted for the corresponding step.
  • the purpose of the present invention is also achieved by means of a device for creating the effect of the volume of the image formed on the surface of the display devices, while simultaneously providing at least effects
  • binocular parallax and parallax movement containing:
  • At least one glasses made with the possibility of stereoscopic separation of images, containing at least two optical shutters and at least two markers arranged in a known manner;
  • At least two matrix optical sensors made with
  • At least two readers and processors configured to read data from the matrix optical sensor and determine the 2D coordinates of the markers
  • a device for calculating the coordinate coordinates of the markers configured to calculate the coordinates of the markers based on the 20 coordinates of the markers;
  • At least one marker coordinate prediction device configured to extrapolate marker coordinates in such a way that the effective total delay does not exceed 5 ms;
  • a device for constructing a 3D scene made with the possibility of constructing a 3D scene taking into account the 3D coordinates of the markers;
  • At least one image output device configured to output an image of the ZO-scene to at least one display device.
  • the markers may be light emitting markers.
  • Such a device may comprise at least one follow-up window control device configured to define an area matrix optical sensor for reading data from it depending on the image position of at least one marker, while the size of the region of the matrix optical sensor may be less than the size of the full frame of the matrix optical sensor.
  • Such a device can be configured to calibrate observer position tracking means comprising markers, matrix optical sensors, reading and processing devices, and a device for calculating the Zy coordinate of the markers.
  • Such a device may comprise a synchronization device configured to synchronize matrix optical sensors with each other or with each other and with markers.
  • Such a device may further comprise at least one radio communication device, wherein the glasses also comprise at least one radio communication device, and may be configured to selectively turn on and off the markers of the glasses.
  • Such a device may include a marker identification device, configured to determine token ownership based on data obtained from matrix optical sensors.
  • the device for predicting the coordinates of the markers can be configured to extrapolate the 20 coordinates of the markers, in addition, it can be configured to extrapolate the 3D coordinates of the markers.
  • Such a device may comprise at least three matrix optical sensors, three readers and processors, and three follow-up window control devices.
  • Such a device can be configured to display three-dimensional objects for more than one observer.
  • Such a device can be arranged to start processing data read from a matrix optical sensor before the frame is read.
  • Such a device can be arranged for distributed processing of data read from a matrix optical sensor in reading and processing devices.
  • the reader and the processing can be configured to determine 20-coordinate markers with subpixel accuracy.
  • glasses may include at least one radio communication device.
  • glasses may comprise at least one orientation device comprising at least one of the following:
  • accelerometer magnetometer
  • gyroscope gyroscope
  • Such a device can be adapted to use the data obtained from the device for orienting glasses through a radio communication device to determine the coordinates of the markers in the event that markers cannot be detected by means of matrix optical sensors, and may further comprise at least one radio communication device.
  • Such a device can be configured to use the data obtained from the device for orienting glasses through a radio communication device, when setting the size and location of the tracking window, and may further comprise at least one radio communication device and at least one monitoring window control device configured to define an area
  • the size of the region of the matrix optical sensor may be less than the size of the full frame of the matrix optical sensor.
  • Such a device may include at least one manipulator.
  • the manipulator may contain at least one marker.
  • the manipulator may comprise at least one orientation device comprising at least one of the following: accelerometer, magnetometer, gyroscope.
  • Such a device can be configured to use data obtained from the device orientation of the manipulator through the device
  • radio communication to determine the coordinates of the coordinates of the markers in the case of impossibility of detecting markers by means of matrix optical sensors, and may further comprise at least one radio communication device.
  • Such a device can be configured to use data obtained from the device orientation of the manipulator through the device
  • radio communications when setting the size and location of the tracking window, and can
  • Such a device may further comprise at least one radio communication device, wherein the manipulator also comprises at least one a radio communication device, and can be configured to selectively turn on and off the markers of the manipulators.
  • Such a device may contain at least one radio communication device and may be configured to use the data obtained from the manipulator orientation device to determine the 3O coordinates of the markers if it is not possible to detect the markers using matrix optical sensors.
  • Such a device may contain at least one radio communication device and may be configured to use data obtained from the manipulator orientation device when setting the size and location of the tracking window.
  • Such a device can be configured to generate an irradiance map with the markers turned off to automatically detect interfering radiation sources and eliminate their influence on the detection of markers.
  • markers can be configured to emit light in the infrared range.
  • markers and / or matrix optical sensors can be equipped with narrow-band optical filters.
  • FIG. 1A, 1B a prior art rendering method is presented in which a frame rendering time exceeds a frame display time.
  • FIG. 2A illustrates a prior art rendering method in which a frame rendering time does not exceed a frame display time.
  • FIG. 2B shows an ALAP rendering method in which a frame rendering time does not exceed a frame display time.
  • FIG. 3 is a perspective view of an LCMP3D system in one embodiment of the invention.
  • FIG. 4 is a functional diagram of an LCMP3D system in one embodiment of the invention.
  • FIG. 5 depicts a method for calculating the 3D coordinates of markers in one embodiment of the invention.
  • FIG. 6 shows a general view of a smart camera in one embodiment
  • FIG. 7A shows a general view of glasses in one embodiment of the invention.
  • FIG. 7B is a perspective view of a partially removed housing marker in one embodiment of the invention.
  • FIG. 8 is a general view of a general view of an LCMP3D system in another embodiment of the invention.
  • FIG. 9 is a general view of a general view of an LCMP3D system in yet another embodiment of the invention.
  • FIG. 10 shows a general view of glasses in another embodiment of the invention.
  • FIG. 11 is a general view of a general view of an LCMP3D system in yet another embodiment of the invention.
  • FIG. 12 shows the process of displaying three-dimensional objects
  • FIG. 13 illustrates the process of searching for markers and determining their 2D coordinates, implemented in the LCMP3D system in one embodiment of the invention.
  • FIG. 14 shows a process for controlling a smart camera tracking window in an LCMP3D system in one embodiment of the invention.
  • the quality of MP3D systems is determined by the quality of stereoscopic
  • the quality of stereoscopic separation is reduced due to ghosting, a phenomenon in which each eye, in addition to its intended image, also perceives an image intended for the other eye.
  • the reason for hosting can be various factors, for example, the residual glow of the phosphor in plasma screens or incomplete coincidence of direction
  • Rendering quality as a whole is not critical in modern MP3D systems, however, high rendering detail and the use of special effects enable the use of psychological mechanisms of volume perception, such as texture gradient, shading, etc., which helps to increase
  • the geometric correctness of the projection of the ZO scene is the most significant indicator of the quality of the MP3D system. If the image is formed for observation from the first position and is shown to the observer in the second position, then the observer sees the object distorted, i.e. receives incorrect information about its shape and proportions. Distortions become noticeable upon error positioning of the observer (the distance between the first and second positions) is about 5% of the distance between the observer and the screen (which is less than 5 mm for most virtual reality systems).
  • the geometric correctness of the projection is affected by the accuracy of tracking the position of the observer and the time interval between the moment of the start of determining the position of the observer and the moment the image is displayed on the screen.
  • Tracking accuracy directly affects the correctness of the projection of a virtual object and is determined by a) a general geometric error, depending on the architecture and geometry of the tracking tools and calibration quality, and b) noise introduced by noise.
  • the time interval between the moment the observer’s position is determined and the moment the image is displayed on the screen (hereinafter referred to as the total delay) is the main reason for the geometric incorrectness of the projection of the 3R scene in MP3D systems.
  • the moving observer manages to move a certain distance, which is a positioning error. As shown below, in existing MP3D systems, this delay is more than 60 ms.
  • the speed of the observer can be about 2 m / s and the error
  • the total delay consists of several components that arise at the next stages of the system.
  • markers are used for optical positioning
  • markers allows not only easy identification of the tracked object in the image, but also provides high accuracy in determining coordinates.
  • optical positioning is used in Motion Capture technologies to record facial expressions or body movements,
  • MP3D systems are significantly more demanding on the accuracy and purity (noisiness) of the data, since the position data of the markers are used immediately after they are received and cannot be adjusted during subsequent processing.
  • this approach can significantly expand the scope of MP3D systems, but in practice modern face tracking systems do not have sufficient positioning accuracy and, more importantly, they are characterized by extreme resource consumption, which leads to an unacceptably large total delay for virtual reality systems (of the order of 80 120 ms), which inhibits the use of such optical positioning systems in MP3D systems.
  • the hypothetical marker-based positioning system in accordance with the state of the art, implemented on the basis of the Point Gray Firefly MV camera (http://ptgrey.com/) with the Micron MT9V022 optical sensor, has the following delay components:
  • the total delay in determining the position of the observer of this system is approximately 36.6 ms to 46.6 ms.
  • the image is calculated in real time and cannot be fully prepared in advance.
  • the imaging technologies in MP3D systems are similar to those used in the production of video games.
  • a projection matrix with non-orthogonal axes is used and many algorithms for constructing three-dimensional scenes are either completely incompatible with this type of matrix or require significant improvements. This primarily relates to rendering effects in the screen space, such as SSAO (Screen Space Ambient Occlusion).
  • the duration of the rendering is determined by the volume of the ZR scene (i.e., it depends on the number of geometric elements, the complexity of the lighting, the presence and degree of manifestation of additional optical effects) and the performance of the GPU (graphics processor, Graphics Processing Unit).
  • the task of limiting the duration of rendering to the output period of one image frame is solved by increasing the performance of the GPU, as well as optimizing the 3D scene and to evaluate the full delays in the MP3D system with a frame output frequency of 120 Hz, the average rendering duration can be taken equal to 8.3 ms.
  • an additional waiting time is characteristic between the moment the frame is fully ready and the beginning of its output to the display device, which can be from 0 ms to 8.3 ms.
  • the maximum delay of 8.3 ms occurs, for example, in the case when the rendering of the frame for the left eye is completed at the moment when the output of the frame for the right eye begins and the wait for the output of the frame for the left eye is equal to the time of the output of the frame for the right eye.
  • the time to build a three-dimensional scene of one frame can be estimated on average as
  • a display device directly affects the total latency of the system, since most modern displays (unlike older CRT displays) carry out buffering and additional image processing to improve its quality, and this leads to a delay in output, often very substantial.
  • This indicator can be designated as the native delay of the display device.
  • the minimum value of the self-delay depends on the type of display device and, as a rule, is 8.3 ms, but in practice, devices with such a self-delay are quite rare.
  • the authors of the present invention are not aware of models with a native delay of less than 30 ms.
  • liquid crystal LCD, Liquid-Crystal Display
  • 3D displays or projectors based on DLP Digital Light Processing
  • the output time of one image frame for MP3D stereoscopic systems with a frequency of 120 Hz is 8.3 ms, while, depending on the technology of the display device, the image is displayed on the screen in different ways: it can
  • this time is half the frame duration, i.e. 4.15 ms
  • this figure will be slightly less - about one third of the frame duration.
  • the typical delay for modern MP3D systems from the start of determining the position of the observer to the image on the screen is approximately 61.4 ms to 71.4 ms for displays with a small
  • the observer may experience a dissonance between the data coming through the visual channels of perception and the data from
  • the influence of the total delay on the geometric distortions of the image perceived by the observer differs for cases of uniform movement of the observer and his movement with acceleration.
  • the perceptual apparatus of a person makes it possible to perceive geometric distortions of the image arising with a uniform movement of the observer relatively painlessly, especially with uniform rectilinear movement.
  • distortions although they exist, but their nature does not change. For example, a cubic object will be perceived by the user as a parallelogram, but a parallelogram with
  • the total delay should not exceed 5 ms.
  • the implementation of the MP3D system for several observers (multi-user mode) imposes even more severe restrictions on the system. Obviously, by trivial optimization of software algorithms and improvement of the existing hardware of MP3D systems, it is impossible to achieve such a total delay value.
  • the effective total delay is the time interval from the moment the observer’s position is determined to the moment the image is displayed on the screen, taking into account the compensation of the delay, and the main criterion for the virtual reality system is the reliability of the prediction of the user's position, which largely depends on the total delay to its compensation .
  • LCMP3D Layer Compensated MP3D
  • One of the key technical solutions of LCMP3D is predicting the position of the observer at the time of future image display. This allows you to compensate for the objectively existing total delay in such a way that the realistic display of three-dimensional system objects
  • LCMP3D is not inferior to the realism of the hypothetical MP3D system without compensation, in which the total delay does not exceed 5 ms. It should be noted that the availability
  • the extrapolation accuracy increases with increasing sample size, however, at a fixed sampling rate, increasing the sample size over a certain critical value reduces the extrapolation accuracy, which is associated with obsolescence of data at the beginning of the sample;
  • the extrapolation horizon should not exceed 50 ms.
  • the extrapolation horizon is caused by the objectively existing total delay, the high accuracy of extrapolation can be achieved only due to the remaining three parameters - the maximum possible reduction in the age of the input data, ensuring the optimal sample size, as well as reducing the noise level of the input data.
  • a passive marker is an area on the surface of the glasses or manipulator, covered with retroreflective material. In some cases, the passive marker looks like a small ball (about 10 mm in diameter). When such a marker is illuminated by a light source located near the lens of the tracking camera, the marker is visible in the frame as a bright area.
  • a light source located near the lens of the tracking camera
  • the LCMP3D system uses active markers, which themselves are a light source in
  • the exposure time is about 100 ⁇ s, while the active marker on the frame is visible as a bright white area on a black background.
  • the frame size of the tracking camera is 0.36 megapixels (matrix 752x480 pixels). Due to the small frame size in the LCMP3D system
  • the LCMP3D system uses radio-controlled tokens.
  • Using a radio communication device allows you to remotely turn on and off each marker or group of markers, which allows you to uniquely identify the markers, which is especially important when the system is initialized or when tracking fails.
  • the absence of the marker’s luminescence leads to the absence of its image in the corresponding frame of the tracking camera; therefore, this procedure should be performed as rarely as possible and only at those moments where data on their position is recoverable (for example, with uniform linear movement of the observer).
  • the ability to control active markers also makes it possible to significantly save the battery power of the glasses or the manipulator and,
  • the synchronization of the operation of markers and tracking cameras provides an increase in the pulsed radiation power of the markers without exceeding the allowable average power of the light sources of the markers, therefore, provides a very short exposure time of the tracking cameras while maintaining high contrast frames and, thus, increases the performance of tracking tools.
  • the first prototype LCMP3D system used LeanXcam cameras (Supercomputing Systems AG, Zurich, Switzerland) with an integrated Blackfin ADSP-BF537 processor, running the pCLinux operating system. This solution made it possible to transfer the processing of frames from the computer’s CPU directly to the cameras, distribute its computational load between the cameras and achieve an average performance of tracking tools of approximately 350 frames per second.
  • the next step in this direction was the development of new smart cameras optimized for LCMP3D. The maximum performance of the new cameras was more than 900 frames per second, the cameras became significantly more resistant to external physical influences (fluctuations
  • the marker position in frame N and frame N + 1 differs slightly. This makes it possible to predefine a tracking window, i.e. the area of the frame that should be read from the matrix optical sensor of the tracking camera in the next frame instead of reading the full frame. This can significantly reduce the time it takes to read data from a matrix optical sensor and the time of their subsequent processing.
  • the tracking window size and its position in the frame are controlled by combining
  • the computer performs “strategic” control, determining which markers each camera should monitor, and smart cameras independently perform “operational” control, determining the size and position of the tracking window.
  • “strategic” control determines which markers each camera should monitor
  • smart cameras independently perform “operational” control, determining the size and position of the tracking window.
  • information is transmitted from the computer to this camera, allowing it to “capture” the marker again and resume tracking.
  • the LCMP3D multi-user system uses at least three surveillance cameras. Compared to the number of cameras (one or two) traditional for existing P3D systems, this has significantly improved tracking reliability in situations where markers are accidentally closed from cameras and created an effective filtering algorithm for interfering radiation sources
  • marker positioning The closer the marker is to the camera, the more pixels its image occupies in the frame and the higher the accuracy of the sub-pixel positioning algorithm. This allows you to assign weights for positioning data obtained from different cameras, and use them to determine the position of the observer. In particular, the data from the camera, to which the marker is closer, make a greater contribution to the formation of the final result.
  • the rendering time of one frame should not exceed the time it takes to output the frame to the screen (for example, 8.3 me for MP3D systems with a frame output frequency of 120 Hz). Otherwise, a situation arises when the frame output buffer is modified directly during output, and this leads to the fact that the composite frame is displayed on the screen, partially consisting of an image of one frame and partially from another.
  • FIG. 1A a situation is presented where rendering of frames L2, L3, L7, L8 for the left eye and frames R2, R3, R7, R8 for the right eye is completed while the previous frame is output for the corresponding eye.
  • the observer is shown composite frames L1 / L2, L2 / L3, L6 / L7, L7 / L8 for the left eye and R1 / R2, R2 / R3, R6 / R7, R7 / R8 for the right eye and when the observer is positioned relative to the object image, the effect of jitter of this object in the image is observed.
  • the effect of jittering the object in the image when the observer's position relative to the image changes also arises due to the fact that frames are displayed with varying degrees of delay relative to the time when they should be displayed.
  • FIG. Figure 1A shows that Atu, At L , At L 5, At L 6, and At Lg are delayed in frames L1, L4, L5, L6, and L9 for the left eye and At R4 , At R5, and At R9 frames R4, R5, and R9 for the right eye. Only frames R1 and R6 for the right eye are fully correctly reproduced.
  • the first problem (frame heterogeneity) is solved by vertical synchronization, but it exacerbates the second problem (object jitter).
  • FIG. Figure 1B shows the situation where due to vertical synchronization there are no composite frames in the image, but a different degree of delay is observed in all frames except frames R1 and R6 for the right eye, and frames L1 and L6 for the left eye and frames R1 and R6 for the right eye are played twice.
  • FIG. 2A shows a situation where the latency increases for frames L1, L2, L3 and L4, and the L5 frame falls out of the display sequence, then the latency increases for frames L6, L7, L8 and L9, and the L10 frame drops out of the display sequence, etc. d.
  • Figure 2B shows ALAP rendering, in which the time moment of the start of rendering of each frame (for example, R1) is shifted relative to the time of the end of rendering of the previous frame (for example, L1) by a certain amount (for example, Atum). This allows you to almost completely eliminate
  • LCMP3D uses point cloud calibration.
  • the initial data for the algorithm is a sequence of data of non-calibrated tracking tools, i.e. for initial calibration, it is enough to move the on marker in the camera visibility for about 30 s, and the entire calibration procedure takes about five minutes.
  • FIG. 3 is a perspective view of one embodiment of the invention in the form of a demo table for three-dimensional presentations.
  • the LCMP3D system (10) contains a supporting structure (16), a display (18), four smart tracking cameras (17), a computer (19), one or more glasses (12), and one or more manipulators (13) for observers.
  • the observer has the opportunity to observe a three-dimensional image on the display (18) through the glasses (12), while the image correctly changes in accordance with the position of the eyes of each observer when he moves near the table in the upper hemisphere above the plane of the display screen.
  • FIG. 4 is a functional diagram of an LCMP3D system in the embodiment of FIG. 3. To facilitate understanding of the present invention, FIG. 4 only devices whose functions are specific for this embodiment of the LCMP3D system (10) are shown. In the supporting structure (16), a display (18), four smart cameras (17) and a computer (19) are mounted. In addition, at least one glasses (12) is included in the LCMP3D system (10). At least one manipulator (13) can be used to act on virtual objects. It should be noted that the LCMP3D system (10) also includes other parts that ensure the functioning of this system.
  • goggles, manipulators, a computer and smart cameras contain power supplies, indicators and controls, interfaces, data lines, load-bearing and enclosing structures, as well as other elements ensuring the fulfillment of technical, ergonomic and aesthetic requirements .
  • the display (18) is a so-called plasma panel with a screen size of 1268 mm diagonally, which provides an image output of 1280x720 pixels with a frequency of 120 frames per second, dynamic contrast of 5,000,000: 1 and a native delay of about 30 ms, for example, TH-50PF50E (Panasonic , http://www.panasonic.com/).
  • plasma panels it is possible to use other types of displays with similar or better characteristics.
  • a display with the indicated characteristics provides good stereoscopic image quality for one observer (with a frame rate of 60 Hz and a duty cycle of 2 for each observer's eye).
  • the appearance on the market of more advanced displays and interfaces for image transmission will increase the number of users without significant changes.
  • Computer (19) is a general-purpose computer of traditional architecture, containing, among other things, specialized LCMP3D system software.
  • the functions of the devices in the computer (19) shown in FIG. 4 are implemented by a combination of hardware (general purpose and specialized), general purpose software (where applicable) and specialized system software (10) LCMP3D.
  • the computer radio communication device (191) is designed to provide communication between the computer (19) on the one hand and the glasses (12) and the manipulator (13) on the other hand.
  • the radio channel (14) operates in the 2.4 GHz frequency band with GFSK modulation, implemented using a controller
  • radio channel nRF24L01 and the Enhanced ShockBurst protocol (Nordic Semiconductor, http://www.nordicsemi.com/) and provides a stable communication range of about 10 m.
  • Enhanced ShockBurst protocol Nordic Semiconductor, http://www.nordicsemi.com/
  • radio channel (14) other similar technical solutions are also possible.
  • the device (194) for predicting the 2E coordinates of the markers based on data obtained from the tracking cameras predicts the position of the image of the markers in the frame of each tracking camera at a certain point in time in the future, realizing full delay compensation. It should be noted that with the use of prediction, determining the position of the observer becomes probabilistic.
  • the device (196) for calculating the coordinate coordinates of the markers calculates the coordinates of the markers in three-dimensional space.
  • the calculation of the coordinates of the markers is carried out on the basis of the 20 coordinates of the markers obtained using data on the position of the reference point, as well as on the basis of the lens function and angular values
  • the reference point is the intersection point of the main optical axis of the lens with the working surface of the matrix optical camera tracking sensor.
  • the lens function is the dependence of the position of the point on the working surface of the matrix optical sensor of the tracking camera on the angle between the beam passing through the center of the working surface of the matrix optical sensor and the location point of the conditional center of the marker, and the normal to the working surface of the matrix optical sensor.
  • the lens function is generally non-linear and asymmetric and depends on the optical properties of the tracking camera lens and on the alignment of the lens relative to the matrix optical sensor.
  • Angular mismatch is a complex parameter that includes the angular deviation of the real position of the main optical axis of the camera lens from the axis position specified in the camera settings, and the angle of rotation of the camera’s matrix sensor relative to the position specified in the camera settings.
  • the direction to the point corresponding to the center of the marker is determined for each tracking camera (in this case, four cameras # 1, # 2, # 3, # 4).
  • each tracking camera in this case, four cameras # 1, # 2, # 3, # 4.
  • all the rays corresponding to these directions should intersect at the center point of the marker.
  • these rays may not intersect, but rather pass fairly close to each other in a certain region of space near the center of the marker. For the point of their intersection in space, point A is taken, for which the rms distance to the rays
  • the monitoring window control device (193) based on the Zy coordinates of the markers determines the parameters (sizes and position in the frame) of the monitoring window, which, if necessary, are transmitted to the monitoring window control device (173) and are used by the signal reading and processing device (172) when reading data from a matrix optical sensor (171) of a smart camera (17).
  • the 3D coordinates of the markers are used as input by the device (198) for constructing the 3D scene directly or after they are processed by the logic device (197).
  • the direct use of the coordinate coordinates of the markers is possible in the single-user version of the LCMP3D system (10), where only one points are used, and the manipulator does not contain markers. In the case of a multi-user system (10), LCMP3D using multiple points (and possibly multiple
  • manipulators equipped with markers data from the device (196) for calculating the 3D coordinates of the markers are processed by the marker identification device (199), which determines whether each marker belongs to one or another
  • a user device glasses or a manipulator
  • a logic device (197) which takes into account game logic (i.e., laws of the game) and physical logic (i.e., laws of nature), and from which data are transmitted to the device (198) constructing a ZR scene.
  • game logic i.e., laws of the game
  • physical logic i.e., laws of nature
  • the data from the marker identification device (199) can also be transmitted to the computer's radio communication device (191) for controlling the markers (in particular, to address blanking or to prevent the inclusion of markers in order to facilitate their identification during initialization or in case of tracking violation).
  • the device (192) output image provides the formation of the image signal displayed on the display (18) and representing
  • LCMP3D based on information from a device (198) for constructing a 3D scene.
  • the synchronization device (195) provides the installation of a single time for the computer (19), glasses (12), manipulators (13) and smart cameras (17), as well as
  • Smart cameras (17) are designed to track the position of markers.
  • One embodiment of a smart camera (17) is shown in FIG. 6.
  • Smart cameras (17) are located in the upper part of the supporting structure (16), while the camera lenses (174) are located essentially in the plane of the display screen (18) near its corners and are oriented upward.
  • the matrix optical sensor (171) of the smart camera (17) is equipped with a lens (174) and is mounted on a supporting structure (175) having flanges (176) on both sides for attachment to a table supporting structure (16).
  • the flange mount of the smart camera (17) provides the structural rigidity necessary to ensure the high resistance of the LCMP3D system to vibration and shock loads.
  • the smart camera (17) also comprises a reading and processing device (172) and a tracking window control device (173).
  • smart cameras (17) can be equipped with narrowband
  • the tracking window control device (173) also comprises means for transmitting information via a communication line connecting smart cameras (17) to each other and to a computer (9).
  • Glasses (12) are designed for temporary separation of stereoscopic images for the left and right eyes of the observer.
  • FIG. 7 shows one embodiment of the constructive implementation of glasses (12) that contain stereoscopic glasses (120) and markers (121).
  • Stereoscopic glasses (120) comprise optical shutters and optical shutter controls.
  • Stereoscopic glasses (120) themselves are well known in the art, so a detailed description thereof is omitted.
  • glasses (12) are based on stereoscopic glasses (120) XPAND Universal 3D Glasses (X6D Ltd,
  • the stereoscopic glasses (120) in this case are controlled by an IR control signal, i.e. the synchronization of the optical shutter of the glasses (120) with the display (18) is performed by the IR signal emitted by the IR radiation source (11) (see Fig. 3).
  • Glasses (12) can also be implemented on the basis of other stereoscopic glasses of a similar design and with similar characteristics, for example, 3D Vision 2 Wireless Glasses (NVIDIA Corp., http://www.nvidia.com/), with IR control or a radio channel (e.g. Bluetooth).
  • the marker (121) contains a control circuit (125), at least one emitter (123), at least one power source (124), at least one radio communication device (122), at least one indicator ( 126) marker operation mode, at least one button (157) for controlling the marker operation mode and at least one electrical connector (128). Additionally, the marker (121) may include an orientation device (129).
  • the emitters (123) can be equipped with narrow-band light filters to reduce the influence of interfering light sources on the tracking means.
  • Glasses and markers can be made in the form of a single design and have common control channels (for example, a radio channel), a single power source and a single charging connector. In another embodiment, the glasses may not have
  • the electrical connector for recharging in this case, the charging of the power source is carried out inductively. Glasses may not have control buttons and may be in standby mode when not in use. In this case, the command to turn on the markers and turn on the optical shutters is given through the control channel.
  • the glasses may also contain other devices, for example, sound emitters, vibration sources, and augmented reality displays, which provide the user with additional information in numerical, textual or graphical form.
  • other devices for example, sound emitters, vibration sources, and augmented reality displays, which provide the user with additional information in numerical, textual or graphical form.
  • the control circuit (125) controls the emitter (123) of the signal in the infrared range.
  • Each marker is controlled via a radio channel (14) through a radio communication device (122).
  • the indicator (126) of the marker operation mode is intended to indicate the operating state of the marker and the charge level of the power source (124).
  • Information about the charge level of the power sources of the power source (124) can be transmitted via a radio channel to a computer and displayed on the control panel. Turning the marker on and off, and, if necessary, also switching marker operation modes, is performed using the button (127).
  • the power source (124) is charged through an electrical connector (128), which, if necessary, also serves to configure and diagnose the marker (121).
  • the manipulator (13) is designed to influence the image and / or the course of the game.
  • the manipulator (13) may contain controls (e.g. buttons, joysticks (joysticks), ball-joysticks (trackballs), touch surfaces (touchscreens), etc.) that are well known in the art and are omitted. .
  • controls e.g. buttons, joysticks (joysticks), ball-joysticks (trackballs), touch surfaces (touchscreens), etc.
  • the manipulator (13) can be a product depicting a particular weapon or instrument that the player is holding in his hand, a token or cuff attached to one or another part of the player’s body, or any other device justified from the point of view of the plot and game mechanics.
  • FIG. 4 presents a functional diagram
  • a manipulator designed to operate as a target designation tool (i.e., to act on predetermined portions of an image).
  • a manipulator (13) allows the system (10) to track its position and orientation in space and is equipped with markers (132) containing emitters (133) for this purpose. If the manipulator is used to track the position and orientation in space of the body or part of the body of the observer, such a manipulator may contain one marker (132). If the manipulator is used only to influence everything
  • markers (132) may be absent.
  • the orientation device (139) contains devices that allow the LCMP3D system (10) to determine not only the position in space, but also the orientation
  • the orientation device (139) may comprise at least one of the following devices: gyroscope, accelerometer, magnetometer. Sharing the orientation data obtained from these devices makes it possible to more accurately determine the orientation of the manipulator (13). For example, averaging the accelerometer data over a time interval of about 60 s allows us to determine the downward direction with reasonable accuracy, i.e. to the center of mass of the Earth and compensate for the drift of the gyro data.
  • FIG. 8 is a general view of another embodiment of the invention in the form of a single-user desktop system designed for scientific, engineering, educational or entertainment purposes.
  • the LCMP3D system (20) contains a supporting structure (26), a projector (24), three smart cameras (27), a computer (29), glasses (22) and one or more manipulators (23) for the observer, as well as a source (21 ) IR signal for synchronizing optical shutter glasses (22).
  • the observer has the opportunity to observe a three-dimensional image on the projection screen (28) located on the working surface of the table through the glasses (22), while the image correctly changes in accordance with the position of the observer's eyes when moving near the table in the upper hemisphere above the plane of the screen.
  • a projector a DLP projector can be used, which provides an image output of 1280x800 pixels with a frequency of 120 frames per second,
  • 3000 1 dynamic contrast ratio and an average response time of 8.5 ms, for example, WD720U (Mitsubishi, http://www.mitsubishi.com/).
  • a reverse optical projection system can be used in which the projector (24) is located under the working surface of the table, into which the screen (28) for the rear projection is integrated.
  • radio synchronization can be used instead of synchronizing the optical shutter of the glasses (22) via the IR channel.
  • FIG. 9 is a general view of yet another embodiment of the invention in the form of a single-user or multi-user floor-playing gaming system.
  • the LCMP3D system (30) is similar in composition and function to the system shown in FIG. 8, and differs in form factor, i.e. contains a larger screen (38), which may be a projection panel for direct or reverse projection located on the floor surface or built into the floor or flooring, or a plasma or liquid crystal panel built into the floor or flooring (or several panels connected in the so-called seamless way).
  • a larger screen 38
  • FIG. Figure 9 shows the LCMP3D system (30) with a direct projection of the image from the projector (34).
  • LCMP3D system (30) differs from the LCMP3D system (20) in that the number of tracking cameras (37) (at least four) and their location (above the playing area, for example, on the ceiling of the room or on masts or other supporting structures in the room or outdoors) .
  • Another difference is the use of glasses (32) of a different design (see Fig. 10), in which the markers (321) are located in such a way as to ensure their minimum shading
  • FIG. 11 is a general view of yet another embodiment of the invention in the form of a multiplayer outdoor gaming system.
  • the LCMP3D system (40) is similar in composition and function to the system shown in FIG. 9, and differs in that tracking the position of the point markers (42) and at least one manipulator (43) of each of the observers (who in this case are players) makes it possible to accurately track the change in position in space and posture at least a part of the body of each player to be displayed on the screen (48) in the form of a time-varying position in space and the pose of the corresponding game character. It should be noted that compensation of the total delay in the LCMP3D system (40) provides not only the absence of noticeable geometric distortions of the image, but also the synchronism of the player’s movements and the corresponding game character.
  • LCMP3D systems (10, 20, 30, 40) with a display or displays located on the same plane
  • LCMP3D systems (10, 20, 30, 40) with a display or displays, located in different planes, for example in the form of virtual rooms (CAVE, Cave Automatic Virtual Environment), etc., as well as with a display or displays with non-flat screens, for example, forming a hemisphere screen, for
  • the method for displaying three-dimensional objects implemented in the LCMP3D system is presented in the form of a block diagram of the algorithm in FIG. 12.
  • the tracking cameras are turned on and initialized.
  • the irradiance map is formed with the markers turned off. This is necessary to determine extraneous interfering sources of infrared radiation and to exclude (or at least reduce) their influence on the accuracy of tracking markers. Filtration of extraneous sources of infrared radiation
  • map formation Illumination is performed at increased exposure compared to the working exposure.
  • the markers are turned on by a command from a computer transmitted through the computer's radio communication device.
  • the tracking cameras are synchronized by a command from a computer transmitted through the synchronization device.
  • the tracking cameras fix the position of the markers at different times and, as a result, in different places.
  • the reliability of the 2P coordinates of the markers calculated in step (55) deteriorates, which leads to a decrease in the extrapolation accuracy of the 20 coordinates of markers, which in turn causes a “blurring” of the CE coordinates of the markers calculated in step (58), which leads to to reduce the accuracy of tracking the position of the observer and, thus, reduces the realism of the three-dimensional image.
  • Synchronization is the provision of a uniform time in all tracking cameras, in glasses, markers and in the computer.
  • commands for reading the frame and the inclusion of the corresponding marker or several markers can be issued by one camera tracking, which is leading in relation to other cameras, or the synchronization device can give such a command.
  • step (54) the tracking means are calibrated.
  • the calibration result is data on the position of the reference point, the lens function and the values of the angular misalignment of each camera.
  • the data on the position of the reference point are then transferred to the corresponding smart cameras, and the lens function and the values of the angular mismatch of each camera are transmitted to the computer.
  • the markers are detected on the images obtained from the matrix optical sensors of the tracking cameras and the 2P coordinates of the markers are determined, i.e. calculation of their position in the coordinate grid of the corresponding frame of the tracking camera.
  • the process of detecting markers and determining their 2D coordinates is described in detail below with reference to FIG. 13.
  • false markers are clipped.
  • False markers are third-party sources of infrared radiation, the image of which in the frame is similar to the image of markers and is not rejected in the process shown in FIG. 14.
  • Image of such special frames on which there are intentionally no certain markers, but there are interference, used to eliminate (or at least reduce) the influence of third-party sources of infrared radiation, for example, by subtracting image frames from the image.
  • step (57) the tracking window is controlled.
  • the tracking window control process is described in detail below with reference to FIG. fourteen.
  • the extrapolation of the 2nd coordinate of the markers is a linear extrapolation.
  • non-linear extrapolation can be used, for example, cubic, bicubic, spline, etc.
  • the choice of extrapolation algorithm can be carried out
  • the extrapolation horizon is determined by the total delay time in a specific configuration of the LCMP3D system without extrapolation and is chosen so that the effective total delay in the LCMP3D system with extrapolation does not exceed 5 ms.
  • the total delay without compensation is approximately 50.6 ms, including the operation time of the tracking tools 4 ms, the time to build a three-dimensional scene 8.3 ms, the image on the display 38.3 ms, therefore, the extrapolation horizon in such a system is approximately 45.6 ms.
  • the 3-coordinates of the markers are determined, i.e. calculation of their position in three-dimensional space.
  • the ZO coordinates of the markers are calculated based on extrapolated 20 coordinates calculated for each of the tracking cameras. The calculation is carried out in a computer using the calibration results - the lens function and the values of the angular mismatch.
  • extrapolation of the 3R coordinates of the markers instead of extrapolating the 20 coordinates of the markers, extrapolation of the 3R coordinates of the markers, i.e. in this case, the current 20 coordinates of the markers can be transferred to a computer, where they can be used to determine the ZE coordinates of the markers and already these ZO coordinates of the markers can be extrapolated in the device for predicting the ZR coordinates of the markers (not shown in Fig. 4).
  • the extrapolation of the 20 coordinates of the markers can be performed in smart cameras (which in this case contain a device for predicting the 2D coordinates of the markers, not shown in Fig.
  • extrapolation of the Ze coordinates of the markers can be performed in a computer, and different algorithms and / or different extrapolation horizons can be used to extrapolate the 20-coordinates and 3D-coordinates of the markers.
  • extrapolation of the ZO coordinates of the markers can be fully or partially performed in smart cameras. Mode selection (2D / 3D) and algorithm (linear / non-linear)
  • extrapolation can be carried out automatically depending on the expected nature of the movement of observers and on the workload of the smart camera and / or computer processors in a specific LCMP3D system configuration.
  • step (60) marker identification is performed. Identification of markers is not mandatory in systems (10) and (20) LCMP3D in single-user mode without the use of manipulators equipped with markers, and is necessary in all other cases. In single-user mode in systems (10) and (20) LCMP3D it is assumed that the left eyeglass marker is always to the left of the observer's eyes, and the right eyeglass marker is always to the right of the observer's eyes, i.e. upside down points are not allowed.
  • Token identification is performed by a marker identification device.
  • a pause is used in the marker radiation at a predetermined point in time for a predetermined short time (for example, the marker may not be included in one of the periods of its normal operation), which allows to determine the missing and then reappeared marker.
  • Further identification of markers is carried out by tracking the movement of the marker within the frame. If necessary, re-identification of markers similar to the primary
  • marker identification may be any marker identification
  • a device may contain more than two markers.
  • each device is characterized by a unique marker arrangement. This option can be used if, for example, due to the high motor activity of observers, the identification of markers by tracking movement the marker within the frame is unreliable, and the frequent re-identification of markers by a pause in marker radiation is undesirable.
  • step (61) the construction of the ZO-scene is performed, i.e. image formation for each eye of each observer. For the construction of the ZO-scene is responsible
  • image output is provided for each eye of each observer in the required order and the synchronization of stereoscopic glasses.
  • FIG. 13 shows the process of detecting markers and determining their 2D coordinates. This process is carried out independently in each smart camera and its result is data on each marker — coordinates of the weighted center of the marker image contour in the frame of the tracking camera, the size of this contour and the integral indicator of the marker image brightness, which are then transferred to the computer for further processing.
  • the exposure can be considered optimal, in which the brightest point of the marker is located practically on the upper boundary of the dynamic range of the camera. This allows you to get the most accurate weighted value of the coordinates of the center of the contour.
  • Insufficient exposure time leads to a decrease in the radius of the contour of the marker image, while the weighted coordinates of the center of the contour are calculated on the basis of less data and the accuracy of its calculation is reduced.
  • Another important factor that must be taken into account in this process is that in a wide-angle fisheye lens, the brightness of the marker image at low angles of deviation from the optical axis of the lens is significantly higher than at large angles. Therefore, in the process of reading the frame to ensure uniform brightness of the entire frame, it is necessary to take into account the correction factor of brightness of each pixel, depending on the distance of the pixel from the reference point.
  • a row of a matrix optical sensor for reading is determined.
  • not all rows can be read from the matrix of the optical sensor, but only a part of them, for example, every second or every third row.
  • This "thinning" allows you to reduce the time required to read the frame, and is performed depending on the exposure time of the tracking camera, which, in turn, depends on the overall illumination. The higher the illumination, the more thinning of the lines is possible without a noticeable risk of marker loss.
  • the selected matrix row is read
  • optical sensor and a sequence of signals is generated corresponding to the brightness of the pixels forming the image line.
  • the signal intensity i.e.
  • step (553) is performed.
  • step (553) the marker image contour is detected by a traversal, for example, when reading pixels in a row from left to right and reading rows in a frame from top to bottom, clockwise traversal around each last detected pixel of the contour starts from the previous checked pixel .
  • a traversal for example, when reading pixels in a row from left to right and reading rows in a frame from top to bottom, clockwise traversal around each last detected pixel of the contour starts from the previous checked pixel .
  • a closed loop is formed corresponding to the border of the marker image.
  • the size of the contour in pixels is calculated.
  • step (555) the size of the contour is checked. If the size of the circuit is within the permissible limits determined by the size of the marker emitter and the maximum and minimum possible distance from the tracking camera to the marker, go to step (556). If the size of the contour does not fit into the permissible limits, go to step (561).
  • the geometric center of the contour is calculated.
  • the maximum and minimum radius of the contour are calculated, i.e. distance from the geometric center of the contour to its border.
  • the contour can have a shape noticeably different from a round one, for example, elliptical.
  • the maximum and minimum radius of the contour allows you to characterize the shape of the contour.
  • the brightness uniformity of the marker image is checked, i.e. uniformity of brightness of the area inside the contour. Outlines within which there are dark areas are subject to rejection. If the uniformity of the brightness of the area inside the circuit is within acceptable limits, the circuit is accepted
  • step (561) If the uniformity of brightness of this region does not fit into the acceptable limits, the transition to step (561) is performed.
  • the coordinates of the weighted center of the contour are calculated.
  • the coordinates of the weighted center of the contour are determined taking into account the gradient of brightness at the border of the marker image.
  • the weighted center of the contour can be taken equal to the mathematical expectation point for distributing the brightness of the marker image along the X and Y coordinates.
  • the calculated coordinates of the weighted center of the contour are the 20 coordinates of the marker. These coordinates can be determined with subpixel (about 1/30 pixel) accuracy.
  • the coordinates of the weighted center of the marker image contour, the size of the marker image contour and, in some embodiments, the ratio of the maximum and minimum radius of the marker image contour are adjusted taking into account the position of the reference point for this camera, i.e.
  • step (562) is translated into the local coordinates of the camera, while the center of the local coordinate system is located at the reference point. After that, the coordinates of the weighted center of the marker image contour, the size of the marker image contour and the ratio of the maximum and minimum radius of the marker image contour are saved as an array of parameters of the supposed markers for this frame. In some embodiments, only a few of the above parameters may be stored in an array of parameters of putative markers. Then proceeds to step (562).
  • the circuit is ignored, i.e. the analyzed circuit is recognized as defective (not corresponding to the marker) and is excluded from the following
  • step (562) the contour is marked, i.e. the processed contour is marked in such a way as to exclude it and the area inside it from further analysis of the frame, which can further reduce the processing time for each frame and, accordingly, increase the speed of tracking tools.
  • data from the array of parameters of the supposed markers are transmitted to the computer (19).
  • the transmission of parameters of prospective markers can be performed directly during the reading of the frame as they are calculated.
  • FIG. Figure 14 shows the tracking window control process in each tracking camera.
  • the control of the tracking window consists in periodically checking and, if necessary, adjusting the parameters of the tracking window - its size and position in the frame. When the system is initialized or all markers are lost, the dimensions of the tracking window are set equal to the size of the full frame.
  • step (601) a check is made to see if all the markers are present in the image obtained from the matrix optical sensor. It should be noted that the set of markers that should be present in the frame for different tracking cameras may differ. If all the markers are present in the image obtained from the matrix optical sensor, go to step (602). If the image obtained from the matrix optical sensor does not contain all the markers that should be present, go to step (603).
  • step (602) it is checked whether correction of the parameters of the tracking window is required. For example, if some marker is close to the edge of the tracking window, this edge can be shifted outward, and the magnitude of such a shift may depend on the proximity of the marker to the edge and the size of the light spot of the marker. If some marker is far from the edge of the tracking window, this edge can be shifted inward, and the magnitude of such a shift can also depend on the proximity of the marker to the edge. If it is determined at step (602) that correction of the tracking window parameters is required, then go to step (604). If correction of the tracking window parameters is not required, the operation of the algorithm of FIG. 14 ends.
  • new parameters of the tracking window are calculated.
  • at least two criteria are taken into account.
  • the first criterion is a condition according to which the sum of the areas of the tracking windows of all tracking cameras should be minimal.
  • the first criterion directly affects the performance of tracking tools.
  • the second criterion is in the nature of a boundary condition (i.e., a constraint) while minimizing the sum of the areas of the tracking windows and is a condition for the approximate equality of the areas tracking windows of all cameras.
  • the second criterion is that different tracking cameras may have different conditions for tracking certain markers, which directly affects the reliability of their tracking.
  • the second criterion characterizes the imbalance in computing load between smart cameras. If the limitation of the difference in the area of the tracking windows of all cameras is quite soft, which may be characteristic of the LCMP3D multi-user system, then the imbalance in the computational load between smart cameras can be significant. In this case, smart cameras can distribute among themselves the computational burden associated with processing the image in frames, calculating data about each marker and determining the parameters of the tracking window. This feature is provided by the presence of a communication line between all smart cameras (not shown in Fig. 4), the corresponding protocol for the exchange of data between smart cameras, and the embedded software of smart cameras. Such communication lines and data exchange protocols are well known in the art, therefore, their description is omitted. After performing step (604), the parameters of the tracking window
  • Step (605) is substantially similar to step (604). After performing step (605), it returns to step (601).
  • FIG. 12 shows only those steps of the aforementioned method that are essential for understanding the invention, and the aforementioned method contains other steps that ensure the functioning of this system. Such steps are understandable to a person skilled in the art, their implementation does not cause difficulties for a specialist and therefore their description is omitted.
  • the technical result of the present invention is a realistic display of three-dimensional objects for one or more observers using visualization tools that create an image on the screen surface, and using at least two main
  • the devices, means, methods and parts thereof referred to herein relate to one or more specific embodiments of the invention, if referred to with a numerical reference designation, or to all embodiments of the invention in which they are possible
  • the hardware parts of some devices may differ, partially coincide or completely coincide with the hardware parts of other devices, unless otherwise specified explicitly.
  • the hardware of the devices may be located in various parts of other devices, means, unless otherwise specified explicitly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Устройство для отображения трехмерных объектов с применением двумерных средств визуализации, одновременно обеспечивающее, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащее: по меньшей мере, один дисплей для отображения последовательности изображений; по меньшей мере, одни очки для стереоскопической сепарации изображений, содержащие, по меньшей мере, два оптических затвора и, по меньшей мере, два маркера; по меньшей мере, два матричных оптических датчика; по меньшей мере, два модуля считывания и обработки, выполненные с возможностью считывания данных с области матричного оптического датчика и определения 2D-координат маркеров; по меньшей мере, один модуль предсказания координат маркеров, выполненный с возможностью экстраполяции координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс; модуль вычисления 3D-координат маркеров; модуль построения 3D-сцены; по меньшей мере, один модуль вывода изображения. Изобретение включает в себя также соответствующий способ отображения трехмерных объектов и обеспечивает реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей.

Description

СПОСОБ И УСТРОЙСТВО ДЛЯ ОТОБРАЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ
Область техники, к которой относится изобретение
Изобретение относится к многопользовательским средствам реалистичного отображения трехмерных объектов, в частности, к средствам, использующим
монокулярные и бинокулярные зрительные механизмы восприятия объема изображения с применением средств визуализации, создающих изображение на поверхности экрана.
Уровень техники
Средства отображения трехмерных объектов применяются в системах
виртуальной реальности (virtual reality) различного назначения - научного,
производственного, образовательного, игрового и т.д. При этом для создания иллюзии глубины объемного изображения при использовании традиционных средств
визуализации (т.е. формирующих изображение на поверхности экрана, а не в объеме среды), например, на основе условно плоских панелей - жидкокристаллических, плазменных, проекционных и т.п., целесообразно применять способы, в которых задействовано как можно больше зрительных механизмов восприятия объема изображения.
Зрительные механизмы восприятия разделяют на монокулярные и бинокулярные и на физиологические и психологические. К монокулярным механизмам относят окклюзию, узнаваемость размера известного объекта, параллакс движения, линейную перспективу, градиент текстуры, затенение и аккомодацию. К бинокулярным механизмам относят конвергенцию и бинокулярную ретинальную диспаратность. К физиологическим относят механизмы, которые могут быть описаны с помощью понятийного и
формульного аппарата физики и математики (параллакс движения, аккомодация, конвергенция и бинокулярная диспаратность), к психологическим - основывающиеся на перцептивном опыте человека (все остальные механизмы). Как правило,
физиологические механизмы восприятия объема имеют большее значение при зрительном восприятии объема, а психологические механизмы лишь дополняют физиологические.
Окклюзия или интерпозиция - механизм, обеспечивающий восприятие глубины за счет того, что один наблюдаемый предмет частично закрывает другой.
Параллакс движения - смещение частей изображения друг относительно друга с угловой скоростью, пропорциональной разнице расстояния между ними и
наблюдателем, при изменении взаимного положения наблюдателя и объекта
наблюдения. Это явление наиболее заметно на объектах, расположенных на небольших расстояниях от наблюдателя в окружении, неподвижном относительно наблюдателя. Узнаваемость размера основывается на наличии в перцептивном опыте человека представлений о размере объекта, что позволяет использовать информацию о его видимом размере для того, чтобы понять, насколько он удален от наблюдателя.
Линейная перспектива - пропорциональное уменьшение видимых размеров предметов и расстояний между ними при удалении от наблюдателя, создающее впечатление глубины при наблюдении двумерных изображений.
Градиент текстуры - оптический эффект, когда по мере изменения расстояния от наблюдателя до текстурной поверхности изменяется не только видимый размер элементов текстуры, но и воспринимаемый характер текстуры. Затенение - уменьшение освещенности предметов по мере их удаления от источника света и затенение одних частей изображения другими.
Затенение является важным признаком восприятия глубины, поскольку позволяет судить о форме и размерах объекта без непосредственного наблюдения самого объекта, путем сопоставления формы поверхности, на которую объект отбрасывает тень, формы тени и информации о положении источника или источников света.
Аккомодация - механизм восприятия глубины, при котором для оценки
расстояния до объекта мозг использует степень размытия фона при фокусировке оптической системы глаза на объект, наблюдаемый на этом фоне. Чем ближе объект, на который направлено внимание наблюдателя, тем больше кривизна хрусталика глаза и тем сильнее размывается фон. Получение информации с помощью аккомодации, в основном, происходит при малых и очень малых расстояниях от наблюдателя до объекта.
Конвергенция - тенденция глаз к сближению при рассматривании объектов, расположенных вблизи наблюдателя. Удаленные объекты, напротив, рассматриваются так, что линии взгляда обоих глаз приближаются к параллельным линиям.
Бинокулярная диспаратность - различие между двумя ретинальными
изображениями двух глаз. Это явление также называют бинокулярным параллаксом или стереоскопичностью. Именно диспаратность ретинальных изображений создает сильное впечатление объемности изображения.
В процессе визуального восприятия мира человек одновременно используюет все доступные из вышеперечисленных механизмов восприятия объема, при этом мозг сводит данные всех механизмов в единую общую картину. Взаимодействие этих механизмом происходит на основе двух основных стратегий: стратегия аддитивности предполагает интеграцию информации, полученной посредством разных механизмов, стратегия избирательности основана на преимущественном использовании
информации, предоставляемой одним ведущим механизмом восприятия глубины.
Стратегия аддитивности используется чаще и обладает большей эффективностью при восприятии пространства и, в частности, глубины изображения. В качестве доминирующего признака в стратегии избирательности чаще всего используются окклюзия, параллакс движения или бинокулярная диспаратность.
При построении систем виртуальной реальности для обеспечения
реалистичности трехмерного изображения следует задействовать как можно больше механизмов восприятия объема и добиваться, чтобы их действие подтверждало и усиливало действие друг друга. При выборе используемых механизмов следует отдавать предпочтение физиологическим механизмам, поскольку каждый из них может являться доминирующим в избирательной стратегии и все они имеют большой вес в аддитивной стратегии. При правильном выборе используемых механизмов восприятия объема в системе виртуальной реальности возможно добиться того, что мозг будет отсеивать информацию, предоставляемую неиспользуемыми механизмами, поскольку будет считать ее менее достоверной. В любом случае, для обеспечения реалистичности трехмерного изображения в системе виртуальной реальности необходимо
одновременно использовать бинокулярную диспаратность и параллакс движения (далее такая система обозначена как MP3D, Motion Parallax 3D).
Для получения эффекта параллакса движения необходимо реализовать изменение изображения на экране в соответствии с изменением положения
наблюдателя: в каждом кадре на поверхность экрана дисплея должна выводиться проекция Зй-сцены, как она видна из текущей точки положения зрителя. При этом эффект параллакса движения необходимо обеспечивать с учетом бинокулярной диспаратности, т.е. изменение изображения на экране в соответствии с изменением положения наблюдателя необходимо реализовать для каждого глаза наблюдателя. Для уменьшения геометрических искажений изображения до границы заметности и обеспечения зрительного комфорта наблюдателя промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран не должен превышать 5 мс.
Из патентной заявки US2012200676 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса (stereo cue) и параллакса движения (parallax cue) в горизонтальной и вертикальной плоскостях.
Эффект параллакса движения предлагается реализовать с использованием
отслеживания положения головы наблюдателя посредством триангуляции с
применением магнитных или инфракрасных датчиков или с использованием
отслеживания положения глаз наблюдателя посредством оптической системы (Kinect). Эффект бинокулярного параллакса предлагается реализовать с использованием двумерного дисплея и затворных очков либо с использованием автостереоскопического дисплея. В заявке упоминается также возможность многопользовательского режима работы системы.
Из патентной заявки US2013147931 (SONY) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения лица наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея, причем параметры автостереоскопического дисплея предлагается изменять ступенчатым (дискретным) образом в зависимости от дальности и скорости перемещения
наблюдателя. В заявке также упоминаются маркеры на основе светоизлучающих диодов (СИД). Указание на многопользовательский режим в заявке отсутствует.
Из патента US7705876 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света инфракрасной (ИК) подсветки от сетчатки глаза, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки WO2005009052 (PHILIPS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патента US858 966 (SHENZHEN SUPER PERFECT OPTICS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы
наблюдателя, а эффект бинокулярного параллакса - ступенчатым (дискретным) образом с применением автостереоскопического дисплея. Указание на
многопользовательский режим в патенте отсутствует.
Из патента US8199186 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя с предсказанием положения на основе скорости движения, ускорения и т.п. параметров, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Описана также калибровка такой системы. Указание на многопользовательский режим в патенте отсутствует. Кроме того, в патенте содержится декларативное указание на возможность предсказания положения головы пользователя, но не раскрыты технические решения, которые позволили бы предположить, что такое предсказание способно обеспечить реалистичность трехмерного изображения, соответствующую полной задержке в пределах 5 мс, в системе без компенсации задержки, т.е. что такое предсказание способно обеспечить полную эффективную задержку не более 5 мс и что ошибки в предсказании не приведут к заметному снижению реалистичности трехмерного изображения.
Из патента US7692640 (PHILIPS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения головы наблюдателя с применением магнитных,
ультразвуковых датчиков или инфракрасных датчиков и маркеров, или видеокамер, а эффект бинокулярного параллакса - с применением поляризационных очков или автостереоскопического дисплея. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки US2012172119 (BALLY GAMING et al) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением
автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патентной заявки US2012019908 (SAMSUNG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея с временным разделением диспаратных изображений. Указание на
многопользовательский режим в заявке отсутствует.
Из патента US5872590 (FUJITSU) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения глаз наблюдателя с применением двух фотокамер или с применением магнитных либо ультразвуковых датчиков, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. В патенте есть указание на многопользовательский режим, однако также указано, что стереоскопический режим обеспечивается лишь в определенной зоне, за пределами которой изображение носит обычный двумерный характер.
Из патента US8537206 (LG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя с применением оптического
распознавания лица наблюдателя или с применением светоизлучающих маркеров, а эффект бинокулярного параллакса - с применением пространственного разделения (автостереоскопии), временного разделения (затворных очков) или поляризационного разделения (поляризационных очков), в том числе, в многопользовательском режиме.
Из патента US8203599 (SAMSUNG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света ИК подсветки от сетчатки глаза, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея, причем дисплей способен к автоподстройке
изображения на основе измеренной частоты моргания наблюдателя. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки US2012038635 (SONY) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя по маркерам, а эффект бинокулярного параллакса - с применением затворных очков или автостереоскопического дисплея. В заявке есть указание на многопользовательский режим, однако также указано, что изображение демонстрируется группе наблюдателей, имеющих близкие параметры ориентации в пространстве.
Из патентной заявки US2012044330 (PANASONIC) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя путем оптического распознавания, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. В заявке есть указание на многопользовательский режим, однако полноценная реализация такого режима средствами
автостереоскопического дисплея весьма сомнительна.
Из патентной заявки US2012062556 (TOSHIBA) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения наблюдателя путем оптического
распознавания или с применением акселерометра или дальномера, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патентной заявки US2006139447 (AGILENT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света ИК подсветки от сетчатки глаза, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Следует отметить, что указание в упомянутых выше документах на применение или возможность применения автостереоскопического дисплея ставит под сомнение саму возможность полноценной реализации эффекта параллакса движения, поскольку в данной области техники хорошо известно, что автостереоскопические дисплеи способны обеспечить вывод информации лишь для ограниченного числа ракурсов, и это число в настоящий момент сильно ограничено как оптическими параметрами
автостереоскопических дисплеев, так и вычислительной мощностью компьютеров и пропускной способностью каналов передачи видеосигнала. Недостаток существующих автостереоскопических систем заключается в том, что пока пользователь находится в одной рабочей зоне автостереоскопического дисплея, эффект параллакса движения для него отсутствует полностью, а в момент смены пользователем рабочей зоны
разрушается эффект бинокулярного параллакса. Применение автостереоскопических экранов в многопользовательских системах при современном уровне развития данной технологии также вызывает серьезные сомнения, поскольку в таких системах
невозможно одновременное использование разными наблюдателями одной и той же рабочей зоны при сохранении для всех наблюдателей эффекта параллакса движения.
Теоретически, эффект параллакса движения в случае применения
автостереоскопического дисплея возможно реализовать при количестве рабочих зон, стремящемся к бесконечности. Однако при практической реализации подобной системы на разрешающую способность и количество ракурсов дисплея накладывают
ограничения конечные размеры оптических элементов (субпикселей дисплея, линз, призм, решеток и т.п.), а также пропускная способностью каналов передачи данных на дисплей, поскольку даже для одного наблюдателя в такой системе необходимо передавать значительное количество избыточной информации, необходимой для отображения изображения, видимого из тех точек пространства, в которых наблюдатель может оказаться вследствие своего движения.
Кроме того, ни в одном из упомянутых выше документов не раскрыты
технические решения, которые обеспечили бы полную задержку не более 5 мс или позволили бы обойти это ограничение с обеспечением высокой степени реалистичности виртуальных объектов.
Более того, ни в одном из упомянутых выше документов не раскрыты технические решения, которые обеспечили бы полноценную реализацию многопользовательского режима - с независимым отслеживанием положения каждого из нескольких
наблюдателей вблизи дисплея и выводом трехмерного изображения приемлемого качества для каждого из них.
Из приведенных выше примеров современного уровня техники очевидно, что задача реалистичного отображения трехмерных объектов с применением двумерных средств визуализации в настоящее время не решена. Так же очевидно, что поскольку на построение трехмерной сцены и отображение изображения на дисплее физически требуется порядка 25 мс, эта задача и не может быть решена лишь оптимизацией алгоритмов существующего программного обеспечения и совершенствованием существующей аппаратной части систем MP3D.
Этот вывод подтверждается свойствами представленных в настоящее время на рынке систем MP3D - EON Ibench, Idesk, lcube и т.п. (EON Reality, Inc.,
www.eonreality.com) и zSpace (zSpace, Inc., www.zspace.com): по оценке авторов настоящего изобретения, геометрические искажения изображений трехмерных объектов в этих системах при изменении положения пользователя со скоростью порядка 1 м/с вызывают отчетливый зрительный дискомфорт у наблюдателя, что ограничивает сферу их применения областями, в которых наблюдатель относительно статичен и/или в значительной степени удален от плоскости отображения изображения, в частности, настольными или «окружающими» системами для образовательных, научных или инженерных целей, и делает их малоприменимыми для интерактивных игровых систем виртуальной реальности с высокой подвижностью игроков. Также следует отметить, что зрительный дискомфорт по-разному проявляется в системах различной конфигурации и зависит, в том числе, от наличия в поле зрения пользователя реальных объектов, которые служат ориентирами для механизмов зрительного восприятия. При наличии таких объектов пользователю более заметны геометрические искажения виртуальных объектов относительно реальных. В частности, в системах с одной поверхностью для отображения изображения дискомфорт ощущается в большей степени, чем в системах с полным погружением (full-immersive systems). Таким образом, целью настоящего изобретения является реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей с применением средств визуализации, создающих изображение на поверхности экрана, и использованием, по меньшей мере, двух основных физиологических зрительных механизмов восприятия объемного изображения - бинокулярного параллакса и параллакса движения, со степенью реалистичности, не уступающей гипотетической системе MP3D с полной задержкой не более 5 мс, обеспечение высокой степени геометрической корректности проекции при скорости перемещения наблюдателя от 0 м/с до 3 м/с и ускорении перемещения наблюдателя от 0 м/с2 до 10 м/с2, а также использование для воздействия на виртуальные объекты манипуляторов, ориентация и положение которых в пространстве отслеживается по существу тем же способом, что и положение глаз наблюдателя.
Раскрытие изобретения
Цель настоящего изобретения достигается посредством способа создания эффекта объемности изображения, формируемого на поверхности устройств
отображения, одновременно обеспечивающего, по меньшей мере, эффекты
бинокулярного параллакса и параллакса движения, включающего в себя следующие шаги:
используют устройство, содержащее
по меньшей мере, одно устройство отображения;
по меньшей мере, одни очки для стереоскопической сепарации изображений, содержащие, по меньшей мере, два оптических затвора и, по меньшей мере, два маркера;
по меньшей мере, два матричных оптических датчика;
по меньшей мере, два устройства считывания и обработки; устройство вычисления Зй-координат маркеров;
по меньшей мере, одно устройство предсказания координат маркеров; устройство построения Зй-сцены;
по меньшей мере, одно устройство вывода изображения,
обнаруживают маркеры на изображениях, получаемых с матричных оптических датчиков, и определяют 20-координаты маркеров;
определяют ЗР-координаты маркеров на основе 20-координат маркеров;
выполняют экстраполяцию координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
выполняют построение ЗО-сцены с учетом ЗР-координат маркеров; выводят изображения ЗО-сцены на, по меньшей мере, одно устройство отображения, при этом обеспечивают вывод изображений ЗО-сцены для каждого глаза наблюдателя поочередно.
В таком способе маркеры могут быть светоизлучающими маркерами.
В таком способе возможно управление следящим окном, а используемое устройство может содержать, по меньшей мере, одно устройство управления следящим окном.
В таком способе возможно выполнение калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления ЗО-координат маркеров.
В таком способе возможно обнаружение мешающих источников излучения и устранение их влияния на обнаружение маркеров.
В таком способе до шага получения изображения с матричных оптических датчиков возможна синхронизация матричных оптических датчиков друг с другом или друг с другом и с маркерами.
В таком способе возможно избирательное включение и выключение маркеров, используемое устройство может дополнительно содержать, по меньшей мере, одно устройство радиосвязи, кроме того, очки используемого устройства могут содержать, по меньшей мере, одно устройство радиосвязи.
В таком способе до шага поиска маркеров возможно формирование карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
В таком способе после шага определения 20-координат маркеров возможно выполнение идентификации маркеров, а используемое устройство может содержать устройство идентификации маркеров.
В таком способе возможно выполнение экстраполяции 20-координат маркеров до шага определения ЗО-координат маркеров.
В таком способе возможно выполнение экстраполяции ЗР-координат маркеров после шага определения ЗО-координат маркеров.
В таком способе используемое устройство может содержать, по меньшей мере, три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
В таком способе отображение изображения для каждого глаза наблюдателя может выполняться для более чем одного наблюдателя.
В таком способе обработка данных, считываемых с матричного оптического датчика, может начинаться до окончания считывания кадра. В таком способе обработка данных, считываемых с матричного оптического датчика, может выполняться распределенным образом в устройствах считывания и обработки.
В таком способе определение 20-координат маркеров может выполняться с субпиксельной точностью.
В таком способе данные, полученные с устройства ориентации очков
посредством устройства радиосвязи, могут использоваться для определения 3D- координат маркеров очков в случае временной невозможности обнаружения маркеров посредством матричных оптических датчиков; используемое устройство может содержать, по меньшей мере, одно устройство радиосвязи, очки используемого устройства могут содержать, по меньшей мере, одно устройство радиосвязи и
устройство ориентации.
В таком способе данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, могут использоваться для определения 3D- координат маркеров манипулятора в случае временной невозможности обнаружения маркеров посредством матричных оптических датчиков; используемое устройство может содержать, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, один манипулятор, содержащий, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
В таком способе данные, полученные с устройства ориентации очков
посредством устройства радиосвязи, могут использоваться при задании размеров и расположения следящего окна; используемое устройство может содержать, по меньшей мере, одно устройство радиосвязи, очки используемого устройства могут содержать, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
В таком способе данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, могут использоваться при задании размеров и расположения следящего окна; используемое устройство может содержать, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, один манипулятор, содержащий, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
В таком способе шаг обнаружения маркеров и определения их 2Р-координат может включать в себя следующие шаги:
определяют строки матричного оптического датчика для считывания;
выполняют считывание выбранной строки матричного оптического датчика;
проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение;
если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика;
вычисляют размер контура изображения маркера;
проверяют размер контура изображения маркера;
если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера; вычисляют геометрический центр контура изображения маркера;
вычисляют максимальный и минимальный радиус контура изображения маркера; проверяют соотношение максимального и минимального радиуса контура изображения маркера;
если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки
равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
проверяют равномерность яркости области внутри контура изображения маркера; если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага, по меньшей мере, одно из следующего:
координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.
В таком способе шаг управления следящим окном может включать в себя следующие шаги: выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика;
если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции
параметров следящего окна, а если в изображении, полученном с матричного
оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна;
проверяют необходимость коррекции следящего окна;
если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.
Цель настоящего изобретения достигается также посредством устройства для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающего, по меньшей мере, эффекты
бинокулярного параллакса и параллакса движения, содержащего:
по меньшей мере, одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие, по меньшей мере, два оптических затвора и, по меньшей мере, два маркера, расположенные заранее известным образом;
по меньшей мере, два матричных оптических датчика, выполненные с
возможностью получения изображения маркеров, расположенные заранее известным образом;
по меньшей мере, два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D- координат маркеров;
устройство вычисления Зй-координат маркеров, выполненное с возможностью вычисления ЗЭ-координат маркеров на основе 20-координат маркеров;
по меньшей мере, одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
устройство построения Зй-сцены, выполненное с возможностью построения 3D- сцены с учетом Зй-координат маркеров;
по меньшей мере, одно устройство вывода изображения, выполненное с возможностью вывода изображения ЗО-сцены на, по меньшей мере, одно устройство отображения.
В таком устройстве маркеры могут быть светоизлучающими маркерами.
Такое устройство может содержать, по меньшей мере, одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения, по меньшей мере, одного маркера, при этом размер области матричного оптического датчика может быть меньше размера полного кадра матричного оптического датчика.
Такое устройство может быть выполнено с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления Зй-координат маркеров.
Такое устройство может быть выполнено с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на
обнаружение маркеров.
Такое устройство может содержать устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом или друг с другом и с маркерами.
Такое устройство может дополнительно содержать, по меньшей мере, одно устройство радиосвязи, при этом очки также содержат, по меньшей мере, одно устройство радиосвязи, и может быть выполнено с возможностью избирательного включения и выключения маркеров очков.
Такое устройство может содержать устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.
В таком устройстве устройство предсказания координат маркеров может быть выполнено с возможностью экстраполяции 20-координат маркеров, кроме того, оно может быть выполнено с возможностью экстраполяции ЗО-координат маркеров.
Такое устройство может содержать, по меньшей мере, три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
Такое устройство может быть выполнено с возможностью отображения трехмерных объектов для более чем одного наблюдателя.
Такое устройство может быть выполнено с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.
Такое устройство может быть выполнено с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
В таком устройстве устройство считывания и обработки может быть выполнено с возможностью определения 20-координат маркеров с субпиксельной точностью. В таком устройстве очки могут содержать, по меньшей мере, одно устройство радиосвязи.
В таком устройстве очки могут содержать, по меньшей мере, одно устройство ориентации, содержащее, по меньшей мере, одно устройство из следующих:
акселерометр, магнетометр, гироскоп.
Такое устройство может быть выполнено с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения ЗО-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, и может дополнительно содержать, по меньшей мере, одно устройство радиосвязи.
Такое устройство может быть выполнено с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, и может дополнительно содержать, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, одно устройство управления следящим окном, выполненное с возможностью задания области
матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика может быть меньше размера полного кадра матричного оптического датчика.
Такое устройство может содержать, по меньшей мере, один манипулятор.
Манипулятор может содержать, по меньшей мере, один маркер. Манипулятор может содержать, по меньшей мере, одно устройство ориентации, содержащее, по меньшей мере, одно устройство из следующих: акселерометр, магнетометр, гироскоп.
Такое устройство может быть выполнено с возможностью использования данных, полученных с устройства ориентации манипулятора посредством устройства
радиосвязи, для определения ЗР-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, и может дополнительно содержать, по меньшей мере, одно устройство радиосвязи.
Такое устройство может быть выполнено с возможностью использования данных, полученных с устройства ориентации манипулятора посредством устройства
радиосвязи, при задании размеров и расположения следящего окна, и может
дополнительно содержать, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, одно устройство управления следящим окном, выполненное с
возможностью задания области матричного оптического датчика для считывания данных.
Такое устройство может дополнительно содержать, по меньшей мере, одно устройство радиосвязи, при этом манипулятор также содержит, по меньшей мере, одно устройство радиосвязи, и может быть выполнено с возможностью избирательного включения и выключения маркеров манипуляторов.
Такое устройство может содержать, по меньшей мере, одно устройство радиосвязи и может быть выполнено с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения ЗО-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.
Такое устройство может содержать, по меньшей мере, одно устройство радиосвязи и может быть выполнено с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна.
Такое устройство может быть выполнено с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
В таком устройстве маркеры могут быть выполнены с возможностью излучения света в ИК-диапазоне.
В таком устройстве маркеры и/или матричные оптические датчики могут быть оснащены узкополосными оптическими фильтрами.
Краткое описание чертежей
На фиг. 1А, 1 Б представлен способ рендеринга из уровня техники, в котором время рендеринга кадра превышает время отображения кадра на дисплее.
На фиг. 2А представлен способ рендеринга из уровня техники, в котором время рендеринга кадра не превышает времени отображения кадра на дисплее.
На фиг. 2Б представлен способ ALAP-рендеринга, в котором время рендеринга кадра не превышает времени отображения кадра на дисплее.
На фиг. 3 представлен общий вид системы LCMP3D в одном варианте осуществления изобретения.
На фиг. 4 приведена функциональная схема системы LCMP3D в одном варианте осуществления изобретения.
На фиг. 5 представлен способ вычисления ЗО-координат маркеров в одном варианте осуществления изобретения.
На фиг. 6 представлен общий вид смарт-камеры в одном варианте
осуществления изобретения.
На фиг. 7А показан общий вид очков в одном варианте осуществления изобретения.
На фиг. 7Б показан общий вид маркера с частично удаленным корпусом в одном варианте осуществления изобретения. На фиг. 8 представлен общий вид общий вид системы LCMP3D в другом варианте осуществления изобретения.
На фиг. 9 представлен общий вид общий вид системы LCMP3D в еще одном варианте осуществления изобретения.
На фиг. 10 показан общий вид очков в другом варианте осуществления изобретения.
На фиг. 11 представлен общий вид общий вид системы LCMP3D в еще одном варианте осуществления изобретения.
На фиг. 12 представлен процесс отображения трехмерных объектов,
реализованный в системе LCMP3D в одном варианте осуществления изобретения.
На фиг. 13 представлен процесс поиска маркеров и определения их 2D- координат, реализованный в системе LCMP3D в одном варианте осуществления изобретения.
На фиг. 14 представлен процесс управления следящим окном смарт-камеры в системе LCMP3D в одном варианте осуществления изобретения.
Осуществление изобретения
Качество MP3D систем, основным критерием которого является реалистичность восприятия виртуального мира, определяется качеством стереоскопического
разделения, качеством рендеринга и геометрической корректностью проекции.
Качество стереоскопического разделения снижается вследствие гостинга (ghosting) - явления, при котором каждый глаз, помимо предназначенного для него изображения, воспринимает также и изображение, предназначенное для другого глаза. Причиной гостинга могут служить различные факторы, например, остаточное свечение люминофора в плазменных экранах или неполное совпадение направления
поляризации при поляризационном стереоскопическом разделении. В настоящее время лучшее качество стереоскопического разделения обеспечивает сочетание DLP- проектора и затворных очков.
Качество рендеринга в целом не является критичным в современных MP3D системах, однако высокая детализация рендеринга и использование специальных эффектов позволяет задействовать психологические механизмы восприятия объема, такие как градиент текстуры, затенение, и т.д., что содействует повышению
реалистичности восприятия.
Геометрическая корректность проекции ЗО-сцены - наиболее значимый показатель качества MP3D системы. Если изображение сформировано для наблюдения из первого положения и демонстрируется наблюдателю, находящемуся во втором положении, то наблюдатель видит объект искаженным, т.е. получает неверную информацию о его форме и пропорциях. Искажения становятся заметными при ошибке позиционирования наблюдателя (расстоянии между первым и вторым положениями) порядка 5% от расстояния между наблюдателем и экраном (что составляет менее 5 мм для большинства систем виртуальной реальности).
На геометрическую корректность проекции влияют точность отслеживания положения наблюдателя и промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран. Точность отслеживания непосредственно влияет на корректность проекции виртуального объекта и определяется а) общей геометрической ошибкой, зависящей от архитектуры и геометрии средств отслеживания и качества калибровки и б) ошибки, вносимой шумом. Промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран (далее именуемый полной задержкой) является основной причиной геометрической некорректности проекции ЗР-сцены в системах MP3D. За время полной задержки движущийся наблюдатель успевает переместиться на некоторое расстояние, которое представляет собой ошибку позиционирования. Как показано далее, в существующих системах MP3D эта задержка составляет более 60 мс. Скорость перемещения наблюдателя может быть порядка 2 м/с и ошибка
позиционирования наблюдателя в таких системах оказывается весьма значительной (более 100 мм).
Полная задержка складывается из нескольких составляющих, возникающих на следующих этапах работы системы.
А. Определение положения наблюдателя
Определять положение наблюдателя возможно несколькими способами, наиболее широко в системах виртуальной реальности применяется позиционирование с помощью оптических систем. Кроме того, существуют системы позиционирования с использованием ультразвуковых, магнитных и радиочастотных датчиков, но они не получили распространения из-за недостаточной точности позиционирования.
Чаще всего для оптического позиционирования применяют маркеры,
закрепляемые на отслеживаемом объекте (например, на очках наблюдателя).
Применение маркеров позволяет не только легко идентифицировать отслеживаемый объект на изображении, но и обеспечивает высокую точность определения координат. Помимо систем MP3D, оптическое позиционирование используется в технологиях «захвата движения» (Motion Capture) для записи мимики или движения тела,
применяемых в кинематографе и при создании видеоигр.
В отличие от систем, применяемых в ЗР-кинематографе, системы MP3D значительно более требовательны к точности и чистоте (незашумленности) данных, поскольку данные о положении маркеров используются тотчас после их получения и не могут корректироваться при последующей обработке. Помимо систем оптического позиционирования с применением маркеров, существуют системы без применения маркеров, определяющие положение глаз пользователя посредством обработки изображения лица в последовательности кадров, получаемых с видеокамеры. В теории этот подход позволяет значительно расширить область применения систем MP3D, но на практике современные системы отслеживания лица не обладают достаточной точностью позиционирования и, что более важно, они характеризуются чрезвычайной ресурсоемкостью, что приводит к недопустимо большой для систем виртуальной реальности полной задержке (порядка 80-120 мс), что сдерживает применение подобных систем оптического позиционирования в системах MP3D.
Соответствующая современному уровню техники гипотетическая система позиционирования с применением маркеров, реализованная на базе камеры Firefly MV производства компании Point Grey (http://ptgrey.com/) с оптическим сенсором Micron MT9V022, имеет следующие значения составляющих задержки:
- съемка кадра (время экспозиции) - 16,6 мс;
- считывание данных с сенсора и отправка кадра через порт USB в компьютер - приблизительно 20 мс;
- запись кадра в память и обработка данных в компьютере - от 10 мс до 20 мс в зависимости от вычислительной мощности компьютера и применяемых алгоритмов распознавания отслеживаемого объекта.
Следовательно, суммарная задержка определения положения наблюдателя этой системы составляет приблизительно от 36,6 мс до 46,6 мс.
Б. Построение трехмерной сцены
В системах MP3D изображение рассчитывается в реальном масштабе времени и не может быть полностью заранее подготовленным. Технологии формирования изображения в системах MP3D сходны с технологиями, применяемыми в производстве видеоигр. Однако при построении трехмерных сцен в системах MP3D применяется проекционная матрица с неортогональными осями и многие алгоритмы построения трехмерных сцен либо полностью несовместимы с таким типом матриц, либо требуют значительных доработок. В первую очередь это относится к эффектам рендеринга в экранном пространстве, таким как SSAO (Screen Space Ambient Occlusion).
Длительность рендеринга определяется объемом ЗР-сцены (т.е. зависит от количества геометрических элементов, сложности освещения, наличия и степени проявления дополнительных оптических эффектов) и производительностью GPU (графического процессора, Graphics Processing Unit). Задача ограничения длительности рендеринга периодом вывода одного кадра изображения решается увеличением производительности GPU, а также оптимизацией 3D сцены и для оценки полной задержки в системе MP3D с частотой вывода кадров 120 Гц среднюю длительность рендеринга можно принять равной 8,3 мс.
Помимо этого, для систем, реализующих временное разделение
стереоскопических каналов, характерно дополнительное время ожидания между моментом полной готовности кадра и началом его вывода на устройство отображения, которое может составлять от 0 мс до 8,3 мс. Максимальная задержка 8,3 мс возникает, например, в случае, когда рендеринг кадра для левого глаза завершается в тот момент, когда начинается вывод кадра для правого глаза и ожидание вывода кадра для левого глаза равно времени вывода кадра для правого глаза.
Следовательно, время построения трехмерной сцены одного кадра можно оценить в среднем как
8,3 + (8,3/2) = 12,4 (мс).
В. Отображение изображения на дисплее
Выбор устройства отображения (дисплея, проектора) прямо влияет на величину полной задержки системы, поскольку большинство современных дисплеев (в отличие от устаревших ЭЛТ-дисплеев), выполняют буферизацию и дополнительную обработку изображения для улучшения его качества, а это приводит к задержке вывода, зачастую весьма существенной. Этот показатель можно обозначить как собственную задержку устройства отображения. Минимальное значение собственной задержки зависит от типа устройства отображения и, как правило, составляет 8,3 мс, но на практике устройства с такой собственной задержкой встречаются довольно редко. В случае плазменных панелей, авторам настоящего изобретения неизвестны модели с собственной задержкой менее 30 мс. В случае жидкокристаллических (LCD, Liquid-Crystal Display) 3D дисплеев или проекторов на основе DLP (Digital Light Processing) известны устройства с собственной задержкой, лишь незначительно превышающей 8,3 мс.
Время вывода одного кадра изображения для стереоскопических систем MP3D с частотой 120 Гц составляет 8,3 мс, при этом, в зависимости от технологии устройства отображения, изображение отображается на экране по-разному: оно может
отображаться построчно в течение всего времени вывода кадра, как в LCD-дисплеях, отображаться поканально, как в DLP-проекторах, или отображаться для всего кадра в самом начале периода вывода кадра и далее постепенно угасать, как в плазменных панелях.
В качестве показателя времени вывода изображения на экран можно принять время, прошедшее с начала отображения кадра до момента, когда на сетчатку глаза попала половина фотонов из числа тех, которые должны попасть на нее за время отображения всего кадра. В дальнейшем описании момент времени вывода
изображения на экран соответствует именно этому моменту, если явно не указано иначе. В случае с LCD-дисплеями и DLP-проекторами это время составляет половину длительности кадра, т.е. 4,15 мс. В случае с плазменными панелями этот показатель будет несколько меньше - порядка одной трети длительности кадра.
Следовательно, минимальное время вывода изображения на экран на практике составляет
8,3 + (8,3/2) = 12,4 (мс)
для дисплеев с небольшой собственной задержкой (LCD-дисплеев и DLP-проекторов), и 30 + (8,3/3) = 32,8 (мс)
для дисплеев с большой собственной задержкой (плазменных панелей).
Таким образом, типичная для современных систем MP3D полная задержка от начала определения положения наблюдателя до вывода изображения на экран составляет приблизительно от 61 ,4 мс до 71 ,4 мс для дисплеев с небольшой
собственной задержкой и от 81 ,8 мс до 9 ,8 мс для дисплеев с большой собственной задержкой, что вызывает значительные геометрические искажения изображения. Эти искажения негативно сказываются на ощущении достоверности виртуальной реальности и приводят к сильному зрительному дискомфорту наблюдателя.
Следует отметить, что в системах MP3D пользователь воспринимает полную задержку не как запаздывание изменения изображения при движении, а как
геометрические искажения объектов сцены, в частности, вертикальные элементы объектов выглядят как отклоненные от вертикали (т.е. наклоненные), а горизонтальные элементы выглядят как имеющие некорректные пропорции.
В результате таких явлений у наблюдателя может возникать диссонанс между данными, поступающими по зрительным каналам восприятия, и данными от
вестибулярного аппарата. Такой диссонанс приводит к проявлению симптомов морской болезни (тошнота, головокружение, головная боль). Такое явление получило название virtual reality motion sickness или VR-sickness.
При этом влияние полной задержки на воспринимаемые наблюдателем геометрические искажения изображения различается для случаев равномерного движения наблюдателя и его движения с ускорением. В частности, авторами настоящего изобретения экспериментально установлено, что перцептивный аппарат человека позволяет относительно безболезненно воспринимать геометрические искажения изображения, возникающие при равномерном движении наблюдателя, в особенности - при равномерном прямолинейном движении. В этом случае искажения, хоть и существуют, но их характер не изменяется. К примеру, объект кубической формы будет восприниматься пользователем, как параллелограмм, но параллелограмм с
неизменными параметрами (до тех пор, пока наблюдатель двигается равномерно), а вертикальный объект будет выглядеть наклонным, но не будет раскачиваться из стороны в сторону, провоцируя симптомы морской болезни. В случае же движения с ускорением, особенно, при резкой смене направления движения, искажения становятся весьма заметными и крайне неприятными для наблюдателя. Это дополнительно указывает на важность минимизации полной задержки в игровых системах MP3D с характерной для них высокой двигательной активностью наблюдателей.
По оценке авторов настоящего изобретения, для уменьшения геометрических искажений изображения до границы заметности и обеспечения зрительного комфорта наблюдателя полная задержка не должна превышать 5 мс. Реализация системы MP3D для нескольких наблюдателей (многопользовательский режим) накладывает на систему еще более жесткие ограничения. Очевидно, что тривиальной оптимизацией алгоритмов программного обеспечения и совершенствованием существующей аппаратной части систем MP3D достигнуть такого значения полной задержки невозможно.
Указанное значение полной задержки справедливо как для систем без
предсказания положения наблюдателя, так и для систем с предсказанием положения наблюдателя, т.е. с временной экстраполяцией координат наблюдателя. В последнем случае эффективная полная задержка представляет собой промежуток времени от момента начала определения положения наблюдателя до момента вывода изображения на экран с учетом компенсации задержки, а основным критерием системы виртуальной реальности становится достоверность предсказания положения пользователя, которая во многом зависит от величины полной задержки до ее компенсации.
Цель настоящего изобретения достигнута за счет реализации системы LCMP3D (Lag Compensated MP3D). Одним из ключевых технических решений LCMP3D является предсказание положения наблюдателя в момент будущего вывода изображения на экран. Это позволяет компенсировать объективно существующую полную задержку таким образом, что реалистичность отображения трехмерных объектов системы
LCMP3D не уступает реалистичности гипотетической системы MP3D без компенсации, в которой полная задержка не превышает 5 мс. Следует отметить, что наличие
компенсации полной задержки в системе MP3D само по себе не гарантирует
реалистичность отображения трехмерных объектов, поскольку предсказание положения наблюдателя носит вероятностный характер и в силу этого является дополнительным источником искажений. Например, компенсация полной задержки величиной 80-120 мс, характерной для систем отслеживания на основе оптического распознавания лица наблюдателя, не способно обеспечить реалистичность отображения трехмерных объектов из-за низкой точности экстраполяции координат наблюдателя на столь значительном временном интервале.
Для достижения показателей системы LCMP3D, при которых возможно достаточно точное предсказание положения наблюдателя и компенсация полной задержки, был разработан комплекс оригинальных конструкторско-технологических и алгоритмических решений, которые в сочетании друг с другом позволили добиться высокой степени реалистичности восприятия объемного изображения в системе виртуальной реальности.
Очевидно, что реалистичность отображения трехмерных объектов в системе с предсказанием положения наблюдателя непосредственно зависит от точности такого предсказания. Известно также, что результаты работы алгоритмов экстраполяции крайне чувствительны к количеству и качеству входных данных. В частности, на точность экстраполяции влияют:
а) возраст данных - точность экстраполяции нелинейно и резко снижается при увеличении возраста данных;
б) объем выборки, по которой производится экстраполяция - точность экстраполяции повышается при увеличении объема выборки, однако при фиксированной частоте дискретизации повышение объема выборки сверх некоторого критического значения приводит к снижению точности экстраполяции, что связано с устареванием данных в начале выборки;
в) зашумленность данных - точность экстраполяции снижается с увеличением уровня шума;
г) горизонт экстраполяции - точность экстраполяции нелинейно и резко снижается с увеличением горизонта экстраполяции.
Авторы настоящего изобретения опытным путем установили, что для получения высокой достоверности экстраполяции положения наблюдателя в системе LCMP3D горизонт экстраполяции не должен превышать 30 мс, для получения
удовлетворительной достоверности экстраполяции горизонт экстраполяции не должен превышать 50 мс.
Поскольку горизонт экстраполяции обусловлен объективно существующей полной задержкой, высокую точность экстраполяции возможно обеспечить лишь за счет остальных трех параметров - максимально возможного уменьшения возраста входных данных, обеспечения оптимального объема выборки, а также снижения зашумленности входных данных.
Для обеспечения необходимого для экстраполяции количества и качества входных данных был реализован целый комплекс технических решений:
- применение активных управляемых маркеров;
- применение в качестве камер отслеживания «смарт-камер»;
- применение «следящего окна»;
- увеличение количества камер отслеживания;
- применение ALAP-рендеринга; - калибровка средств отслеживания.
Активные маркеры
В большинстве систем MP3D применяются пассивные маркеры. Как правило, пассивный маркер представляет собой область на поверхности очков или манипулятора, покрытую световозвращающим материалом. В некоторых случаях пассивный маркер имеет вид небольшого шара (порядка 10 мм в диаметре). При освещении такого маркера источником света, расположенным вблизи объектива камеры отслеживания, маркер виден в кадре как яркая область. Минусом такого метода является
необходимость подсветки, что приводит к появлению бликов в кадре. В системе LCMP3D применены активные маркеры, которые сами являются источником света в
инфракрасном диапазоне (длина волны приблизительно 850 нм). Активные маркеры позволяют избавиться от бликов и имеют существенно большую яркость, чем пассивные маркеры, что позволяет значительно уменьшить время экспозиции камеры
отслеживания при сохранении высокой контрастности изображения. В свою очередь, уменьшение времени экспозиции позволяет уменьшить «смазывание» изображения маркеров при высокой скорости их перемещения, что особенно важно для игровых вариантов системы LCMP3D. В системе LCMP3D время экспозиции составляет порядка 100 мкс, при этом активный маркер на кадре виден как яркая белая область на черном фоне. Это позволило применить в системе LCMP3D особый алгоритм обработки, позволяющий достичь субпиксельной точности позиционирования маркера в кадре за счет анализа яркости пикселей по краям изображения маркера. Этот алгоритм позволил практически полностью избавиться от влияния оптического шума на качество выходных данных, а также достичь точности позиционирования маркера в кадре, равной
приблизительно 1/30 пикселя, что, в свою очередь, обеспечило увеличение
производительности средств отслеживания за счет снижения размера кадра, а также возможность применения более дешевых матриц камер отслеживания. В системе LCMP3D размер кадра камеры отслеживания составляет 0,36 мегапикселей (матрица 752x480 пикселей). Благодаря небольшому размеру кадра в системе LCMP3D
обеспечена высокая скорость считывания кадра, что позволило уменьшить возраст входных данных для алгоритма экстраполяции, а также существенно увеличить
«плотность» этих входных данных. Таким образом, применение активных маркеров способствует повышению точности предсказания положения наблюдателя.
Управляемые маркеры
В системе LCMP3D применены маркеры с управлением по радиоканалу.
Использование устройства радиосвязи позволяет дистанционно включать и выключать каждый маркер или группу маркеров, что позволяет однозначно идентифицировать маркеры, что особенно важно при инициализации системы или при сбое отслеживания. Однако отсутствие свечения маркера приводит к отсутствию его изображения в соответствующем кадре камеры отслеживания, следовательно, производить данную процедуру следует по возможности реже и только в те моменты, где данные об их положении восстановимы (например, при равномерном линейном перемещении наблюдателя). Возможность управления активными маркерами также дает возможность значительной экономии заряда аккумулятора очков или манипулятора и,
соответственно, увеличения времени их непрерывной работы, поскольку позволяет включать активные маркеры синхронно со срабатыванием электронных затворов камер отслеживания. Синхронизация работы маркеров и камер отслеживания обеспечивает повышение импульсной мощности излучения маркеров без превышения допустимой средней мощности источников света маркеров, следовательно, обеспечивает весьма короткое время экспозиции камер отслеживания с сохранением высокой контрастности кадров и, таким образом, способствует увеличению производительности средств отслеживания.
Смарт-камеры
Передача изображения с камер отслеживания на компьютер занимает
значительное время, поэтому было принято решение обрабатывать изображение непосредственно в камере. В первом опытном образце системы LCMP3D были применены камеры LeanXcam (Supercomputing Systems AG, Zurich, Switzerland) со встроенным процессором Blackfin ADSP-BF537, работающие под управлением операционной системы pCLinux. Это решение позволило перенести обработку кадров с CPU компьютера непосредственно в камеры, распределять ее вычислительную нагрузку между камерами и достигнуть средней производительности средств отслеживания, равной приблизительно 350 кадрам в секунду. Следующим шагом в этом направлении стала разработка новых смарт-камер, оптимизированных для LCMP3D. Максимальная производительность новых камер составила более 900 кадров в секунду, камеры стали существенно устойчивей к внешним физическим воздействиям (колебаниям
температуры, вибрации, ударам). Кроме того, примененные технические решения, при необходимости, позволяют начинать обработку кадра еще до окончания считывания всего кадра, что обеспечивает дополнительные возможности для увеличения
производительности средств отслеживания.
Следящее окно
В высокопроизводительных системах отслеживания положение маркера в кадре N и в кадре N+1 отличается незначительно. Это дает возможность заранее определить следящее окно, т.е. ту область кадра, которую следует считать с матричного оптического датчика камеры отслеживания в следующем кадре вместо чтения полного кадра. Это позволяет существенно сократить время на чтение данных с матричного оптического датчика и время их последующей обработки. В системе LCMP3D управление размером следящего окна и его положением в кадре осуществляется путем сочетания
централизованного и децентрализованного принципов управления: компьютер выполняет «стратегическое» управление, определяя, какие именно маркеры должна отслеживать каждая камера, а смарт-камеры самостоятельно выполняют «оперативное» управление, определяя размеры и положение следящего окна. В случае «потери» смарт-камерой маркера (например, когда маркер закрыт от камеры рукой наблюдателя, другим наблюдателем или иным предметом) с компьютера в эту камеру передается информация, позволяющая вновь «захватить» маркер и возобновить его отслеживание.
Увеличение количества камер отслеживания
В многопользовательской системе LCMP3D использовано не менее трех камер отслеживания. По сравнению с традиционным для существующих систем P3D количеством камер (одна или две) это позволило существенно повысить надежность отслеживания в ситуациях, когда маркеры случайно оказываются закрытыми от камер, и создать эффективный алгоритм фильтрации мешающих источников излучения
(отопительных приборов, ламп накаливания, вспышек и дальномеров фотоаппаратов и видеокамер и т.п.). Кроме того, это дало возможность повысить точность
позиционирования маркеров. Чем ближе маркер расположен к камере, тем больше пикселей его изображение занимает в кадре и тем выше точность работы алгоритма субпиксельного позиционирования. Это позволяет назначать весовые коэффициенты для данных позиционирования, получаемых с разных камер, и использовать их при определении положения наблюдателя. В частности, данные с камеры, к которой маркер расположен ближе, вносят больший вклад в формирование конечного результата.
ALAP-рендеринг
В оптимизированной системе MP3D время рендеринга одного кадра не должно превышать времени вывода кадра на экран (например, 8,3 ме для систем MP3D с частотой вывода кадров 120 Гц). В противном случае возникает ситуация, когда буфер вывода кадра модифицируется непосредственно во время вывода, а это приводит к тому, что на экране отображается составной кадр, частично состоящий из изображения одного кадра и частично - из другого. На фиг. 1А представлена ситуация, когда рендеринг кадров L2, L3, L7, L8 для левого глаза и кадров R2, R3, R7, R8 для правого глаза завершается во время вывода предыдущего кадра для соответствующего глаза. В результате наблюдателю демонстрируются составные кадры L1/L2, L2/L3, L6/L7, L7/L8 для левого глаза и R1/R2, R2/R3, R6/R7, R7/R8 для правого глаза и при изменении положения наблюдателя относительно объекта изображения наблюдается эффект дрожания этого объекта на изображении. Кроме того, эффект дрожания объекта на изображении при изменении положения наблюдателя относительно изображения возникает также вследствие того, что кадры отображаются с различной степенью запаздывания относительно того времени, когда они должны отображаться. На фиг. 1А видно, что наблюдается запаздывание Atu, AtL , AtL5, AtL6 и AtLg на кадрах L1 , L4, L5, L6 и L9 для левого глаза и AtR4, AtR5 и AtR9 кадрах R4, R5 и R9 для правого глаза. Полностью корректно воспроизводятся лишь кадры R1 и R6 для правого глаза. Первую проблему (неоднородность кадра) решает вертикальная синхронизация, но она усугубляет вторую проблему (дрожание объектов). На фиг. 1 Б представлена ситуация, когда за счет вертикальной синхронизации в изображении отсутствуют составные кадры, но различная степень запаздывания наблюдается на всех кадрах, кроме кадров R1 и R6 для правого глаза, а кадры L1 и L6 для левого глаза и кадры R1 и R6 для правого глаза воспроизводятся дважды.
Тем не менее, даже если время рендеринга одного кадра существенно меньше времени вывода кадра на экран, возникает ситуация, когда рендеринг кадра уже завершен, но система еще не готова его выводить (например, идет вывод кадра для другого глаза). Возникает ожидание от момента готовности кадра до начала его вывода, а некоторые кадры, рендеринг которых завершен, могут и вовсе не попасть на экран, что также приводит к дрожанию изображения. На фиг. 2А представлена ситуация, когда время ожидания увеличивается для кадров L1 , L2, L3 и L4, а кадр L5 выпадает из последовательности отображения, затем время ожидания увеличивается для кадров L6, L7, L8 и L9, а кадр L10 выпадает из последовательности отображения и т.д. Аналогичное увеличение времени ожидания наблюдается для кадров R5, R6, R7 и R8, а кадр R9 выпадает из последовательности отображения. Помимо дрожания изображения, это приводит к излишней вычислительной нагрузке на GPU, поскольку часть времени тратится на рендеринг кадров, которые не попадают на экран. Эти недостатки позволяет устранить применение рендеринга ALAP (As Late As Possible) - способа, в котором на основе показателей сложности сцены и производительности GPU прогнозируется время рендеринга кадра и время начала рендеринга вычисляется таким образом, чтобы рендеринг закончился непосредственно перед началом вывода кадра на устройство отображения. На фиг. 2Б представлен ALAP-рендеринг, при котором момент времени начала рендеринга каждого кадра (например, R1 ) сдвинут относительно момента времени конца рендеринга предыдущего кадра (например, L1 ) на определенную величину (например, Atum). Это позволяет практически полностью устранить
упомянутую дополнительную задержку, связанную с ожиданием вывода кадра и предотвратить дрожание изображения. Кроме того, применение ALAP-рендеринга позволяет использовать для экстраполяции координат маркеров максимально свежие данные с камер, что способствует повышению точности предсказания положения наблюдателя. Калибровка средств отслеживания
В системе LCMP3D применена калибровка по облаку точек. Исходными данными для алгоритма является последовательность данных некалиброванных средств отслеживания, т.е. для первичной калибровки достаточно перемещать включенный маркер в области видимости камер в течение приблизительно 30 с, а вся процедура калибровки занимает порядка пяти минут. Для последующей самодиагностики средств отслеживания с целью контроля точности и надежности отслеживания, как правило, достаточно данных, формируемых во время работы системы LCMP3D.
На фиг. 3 представлен общий вид одного варианта осуществления изобретения в виде демонстрационного стола для трехмерных презентаций. Система (10) LCMP3D содержит несущую конструкцию (16), дисплей (18), четыре смарт-камеры (17) отслеживания, компьютер (19), одни или несколько очков (12) и один или несколько манипуляторов (13) для наблюдателей. Наблюдатель имеет возможность наблюдать трехмерное изображение на дисплее (18) сквозь очки (12), при этом изображение корректно изменяется в соответствии с положением глаз каждого наблюдателя при его перемещении вблизи стола в верхней полусфере над плоскостью экрана дисплея.
На фиг. 4 приведена функциональная схема системы LCMP3D в варианте осуществления, представленном на фиг. 3. Для облегчения понимания настоящего изобретения на фиг. 4 показаны лишь устройства, функции которых специфичны для данного варианта реализации системы (10) LCMP3D. В несущей конструкции (16) смонтирован дисплей (18), четыре смарт-камеры (17) и компьютер (19). Кроме того, в состав системы (10) LCMP3D входят, по меньшей мере, одни очки (12). Для воздействия на виртуальные объекты может использоваться, по меньшей мере, один манипулятор (13). Следует отметить, что в состав системы (10) LCMP3D входят и другие части, обеспечивающие функционирование этой системы. В частности, очки, манипуляторы, компьютер и смарт-камеры, по мере необходимости, содержат источники питания, средства индикации и управления, интерфейсы, линии передачи данных, несущие и ограждающие конструкции, а также иные элементы, обеспечивающие выполнение технических, эргономических и эстетических требований.
Дисплей (18) представляет собой так называемую плазменную панель с размером экрана 1268 мм по диагонали, обеспечивающую вывод изображения размером 1280x720 пикселей с частотой 120 кадров в секунду, динамической контрастностью 5000000:1 и собственной задержкой приблизительно 30 мс, например, TH-50PF50E (Panasonic, http://www.panasonic.com/). Помимо плазменных панелей, возможно использование и других видов дисплеев с аналогичными или лучшими характеристиками. Следует отметить, что дисплей с указанными характеристиками обеспечивает хорошее качество стереоскопического изображения для одного наблюдателя (с частотой смены кадров 60 Гц и скважностью 2 для каждого глаза наблюдателя). Появление на рынке более совершенных дисплеев и интерфейсов для передачи изображения позволит увеличить количество пользователей без существенного изменения
архитектуры и принципа действия системы (10) LCMP3D. В частности, применение дисплея высокой четкости (HD, High Definition) с частотой вывода изображения 240 кадров в секунду обеспечит хорошее качество стереоскопического изображения для двух наблюдателей, а с частотой 360 кадров в секунду - для трех наблюдателей.
Компьютер (19) представляет собой компьютер общего назначения традиционной архитектуры, содержащий, помимо прочего, специализированное программное обеспечение системы LCMP3D. Функции устройств в составе компьютера (19), представленных на фиг. 4, реализованы сочетанием аппаратных средств (общего назначения и специализированных), программного обеспечения общего назначения (где это применимо) и специализированного программного обеспечения системы (10) LCMP3D.
Устройство (191) радиосвязи компьютера предназначен для обеспечения связи между компьютером (19) с одной стороны и очками (12) и манипулятором (13) - с другой стороны. В одном варианте осуществления радиоканал (14) действует в диапазоне частот 2,4 ГГц с модуляцией GFSK, реализован с применением контроллера
радиоканала nRF24L01 и протокола Enhanced ShockBurst (Nordic Semiconductor, http://www.nordicsemi.com/) и обеспечивает дальность устойчивой связи порядка 10 м. Для реализации радиоканала (14) возможно использование и других подобных технических решений.
Устройство (194) предсказания 2Э-координат маркеров на основании данных, полученных с камер отслеживания, прогнозирует положение изображения маркеров в кадре каждой камеры отслеживания в определенный момент времени в будущем, реализуя компенсацию полной задержки. Следует отметить, что с применением предсказания определение положения наблюдателя приобретает вероятностный характер.
Устройство (196) вычисления ЗР-координат маркеров вычисляет координаты маркеров в трехмерном пространстве. Принцип вычисления ЗО-координат
проиллюстрирован на фиг. 5. Вычисление Зй-координат маркеров выполняется на основе 20-координат маркеров, полученных с использованием данных о положении опорной точки, а также на основе функции объектива и значений углового
рассогласования каждой камеры. Опорная точка представляет собой точку пересечения главной оптической оси объектива с рабочей поверхностью матричного оптического датчика камеры отслеживания. Функция объектива представляет собой зависимость положения точки на рабочей поверхности матричного оптического датчика камеры отслеживания от угла между лучом, проходящим через центр рабочей поверхности матричного оптического датчика и точку расположения условного центра маркера, и нормалью к рабочей поверхности матричного оптического датчика. Функция объектива в общем случае является нелинейной и несимметричной и зависит от оптических свойств объектива камеры отслеживания и от юстировки объектива относительно матричного оптического датчика. Угловое рассогласование - комплексный параметр, включающий в себя угловое отклонение реального положения главной оптической оси объектива камеры от положения оси, заданного в настройках камеры, и угол поворота матричного датчика камеры относительно положения, заданного в настройках камеры.
На основе 20-координат маркеров, функции объектива и значений углового рассогласования определяется направление на точку, соответствующую центру маркера, для каждой камеры отслеживания (в данном случае - четыре камеры #1 , #2, #3, #4). В идеальной системе все лучи, соответствующие этим направлениям, должны пересечься в точке центра маркера. В реальной системе, даже с учетом калибровки, эти лучи могут не пересекаться, а проходить достаточно близко друг друга в некоторой области пространства вблизи центра маркера. За точку их пересечения в пространстве принимается точка А, для которой среднеквадратичное расстояние до лучей
минимально.
Устройство (193) управления следящим окном на основании Зй-координат маркеров определяет параметры (размеры и положение в кадре) следящего окна, которые при необходимости передаются устройству (173) управления следящим окном и используются устройством (172) считывания и обработки сигнала при считывании данных с матричного оптического датчика (171) смарт-камеры (17). Кроме того, 3D- координаты маркеров используются в качестве входных данных устройством (198) построения Зй-сцены непосредственно или после их обработки устройством (197) логики. Непосредственное использование Зй-координат маркеров возможно в однопользовательском варианте системы (10) LCMP3D, где применяются лишь одни очки, а манипулятор не содержит маркеров. В случае многопользовательской системы (10) LCMP3D с использованием нескольких очков (и, возможно, нескольких
манипуляторов, снабженных маркерами) данные с устройства (196) вычисления 3D- координат маркеров обрабатываются устройством (199) идентификации маркеров, в котором определяется принадлежность каждого маркера тому или иному
пользовательскому устройству (очкам или манипулятору), и устройством (197) логики, в котором учитывается игровая логика (т.е. законы игры) и физическая логика (т.е. законы природы), и с которого данные поступают в устройство (198) построения ЗР-сцены. Данные с устройства (199) идентификации маркеров могут также передаваться устройству (191) радиосвязи компьютера для управления маркерами (в частности, для адресного гашения или предотвращения включения маркеров с целью облегчения их идентификации в процессе инициализации или при нарушении отслеживания).
Устройство (192) вывода изображения обеспечивает формирование сигнала изображения, выводимого на дисплей (18) и представляющего собой
последовательность сигналов изображений для левого и правого глаза наблюдателя, в том числе для нескольких наблюдателей в многопользовательской системе (10)
LCMP3D, на основе информации от устройства (198) построения Зй-сцены.
Устройство (195) синхронизации обеспечивает установку единого времени для компьютера (19), очков (12), манипуляторов (13) и смарт-камер (17), а также
синхронизацию срабатывания затворов камер и включения маркеров.
Смарт-камеры (17) предназначены для отслеживания положения маркеров. Один вариант конструктивной реализации смарт-камеры (17) представлен на фиг. 6. Смарт- камеры (17) расположены в верхней части несущей конструкции (16), при этом объективы (174) камер расположены, по существу, в плоскости экрана дисплея (18) вблизи его углов и ориентированы в направлении вверх. Матричный оптический датчик (171) смарт-камеры (17) снабжен объективом (174) и смонтирован на несущей конструкции (175), имеющей с двух сторон фланцы (176) для крепления к несущей конструкции (16) стола. Фланцевое крепление смарт-камеры (17) обеспечивает жесткость конструкции, необходимую для обеспечения высокой стойкости системы LCMP3D к вибрационным и ударным нагрузкам. Смарт-камера (17) содержит также устройство (172) считывания и обработки и устройство (173) управления следящим окном. Кроме того, смарт-камеры (17) могут быть оснащены узкополосными
светофильтрами для снижения влияния мешающих источников света на средства отслеживания. Устройство (173) управления следящим окном также содержит средства передачи информации по линии связи, соединяющей смарт-камеры (17) между собой и с компьютером (9).
Очки (12) предназначены для временного разделения стереоскопического изображения для левого и правого глаза наблюдателя. На фиг. 7 показан один вариант конструктивной реализации очков (12), которые содержат стереоскопические очки (120) и маркеры (121). Стереоскопические очки (120) содержат оптические затворы и средства управления оптическими затворами. Сами по себе стереоскопические очки (120) хорошо известны в данной области техники, поэтому их подробное описание опущено.
В этом варианте осуществления изобретения очки (12) реализованы на базе стереоскопических очков (120) XPAND Universal 3D Glasses (X6D Ltd,
http://www.xpand.me/), которые дополнительно оборудованы двумя маркерами (121). Стереоскопические очки (120) в этом случае управляются посредством ИК-сигнала управления, т.е. синхронизация оптических затворов очков (120) с дисплеем (18) выполняется ИК-сигналом, излучаемым источником (11) ИК-излучения (см. фиг. 3). Очки (12) могут быть реализованы и на базе других стереоскопических очков подобной конструкции и с подобными характеристиками, например, 3D Vision 2 Wireless Glasses (NVIDIA Corp., http://www.nvidia.com/), с управлением по ИК-каналу или радиоканалу (например, Bluetooth).
Маркер (121) содержит схему (125) управления, по меньшей мере, один излучатель (123), по меньшей мере, один источник (124) питания, по меньшей мере, одно устройство (122) радиосвязи, по меньшей мере, один индикатор (126) режима работы маркера, по меньшей мере, одну кнопку (157) управления режимом работы маркера и, по меньшей мере, один электрический соединитель (128). Дополнительно маркер (121) может содержать устройство (129) ориентации. Излучатели (123) могут быть оснащены узкополосными светофильтрами для снижения влияния мешающих источников света на средства отслеживания.
Очки и маркеры могут быть изготовлены в виде единой конструкции и иметь общие каналы управления (например, радиоканал), единый источник питания и единый разъем для зарядки. В другом варианте осуществления очки могут не иметь
электрического соединителя для подзарядки, в этом случае зарядка источника питания осуществляется индукционно. Очки могут не иметь кнопок управления и находиться в режиме ожидания, когда они не используются. В этом случае команда на включение маркеров и включение оптических затворов подается по каналу управления.
Дополнительно очки могут содержать и иные устройства, например, излучатели звука, источники вибрации и дисплеи дополненной реальности (augmented reality displays), обеспечивающие пользователю дополнительную информацию в числовом, текстовом или графическом виде.
Схема (125) управления осуществляет управление излучателем (123) сигнала в ИК-диапазоне. Управление каждым маркером выполняется по радиоканалу (14) через устройство (122) радиосвязи. Индикатор (126) режима работы маркера предназначен для индикации рабочего состояния маркера и уровня заряда источника (124) питания. Информация об уровне заряда источников питания источника (124) питания может по радиоканалу поступать в компьютер и отображаться на панели управления. Включение и выключение маркера, а при необходимости также и переключение режимов работы маркера выполняется с помощью кнопки (127). Зарядка источника (124) питания производится через электрический соединитель (128), он же при необходимости служит также для конфигурирования и диагностирования маркера (121). Манипулятор (13) предназначен для воздействия на изображение и/или на ход игры. Манипулятор (13) может содержать органы управления (например, кнопки, кнюпельные механизмы (джойстики), шарово-кнюпельные механизмы (трекболы), сенсорные поверхности (тачскины) и т.п.), которые хорошо известны в данной области техники и их описание опущено. В системе (10) LCMP3D игрового назначения
манипулятор (13) может представлять собой изделие, изображающее то или иное оружие или инструмент, который игрок держит в руке, жетон или манжету, закрепляемую на той или иной части тела игрока, либо любое другое приспособление, оправданное с точки зрения сюжета и механики игры.
Следует отметить, что на фиг. 4 представлена функциональная схема
манипулятора, предназначенного для работы в качестве средства целеуказания (т.е. для воздействия на заранее определенные части изображения). Такой манипулятор (13) позволяет системе (10) отслеживать его положение и ориентацию в пространстве и для этой цели оснащен маркерами (132), содержащими излучатели (133). В случае, если манипулятор используется для отслеживания положения и ориентации в пространстве тела или части тела наблюдателя, такой манипулятор может содержать один маркер (132). В случае если манипулятор используется лишь для воздействия на все
изображение в целом (например, вращение, перемещение, приближение, удаление и т.п.), отслеживать его положение и ориентацию в пространстве не требуется и маркеры (132) могут отсутствовать.
Устройство (139) ориентации содержит устройства, позволяющие системе (10) LCMP3D определять не только положение в пространстве, но и ориентацию
манипулятора (13). Устройство (139) ориентации может содержать, по меньшей мере, одно из следующих устройств: гироскоп, акселерометр, магнетометр. Совместное использование данных ориентации, получаемых с этих устройств, позволяет более точно определять ориентацию манипулятора (13). Например, усреднение данных акселерометра на временном промежутке порядка 60 с позволяет с приемлемой точностью определить направление «вниз», т.е. к центру масс Земли и компенсировать дрейф данных гироскопа. Применение быстродействующего твердотельного
магнетометра в условиях искусственно созданного магнитного поля заранее известной ориентации вблизи системы (10) LCMP3D также позволяет калибровать гироскоп. Кроме того, совместное использование гироскопа, акселерометра и/или магнетометра позволяет с высокой точностью экстраполировать положение манипулятора (13) в пространстве в ситуациях, когда один или несколько маркеров (132) закрыты от камер отслеживания и надежное оптическое слежение оказывается невозможным. Сказанное выше применительно к устройству (139) ориентации манипулятора по существу справедливо также и в отношении устройства (129) ориентации очков. На фиг. 8 представлен общий вид другого варианта осуществления изобретения в виде однопользовательской настольной системы, предназначенной для научных, инженерных, образовательных или развлекательных целей. Система (20) LCMP3D содержит несущую конструкцию (26), проектор (24), три смарт-камеры (27), компьютер (29), очки (22) и один или несколько манипуляторов (23) для наблюдателя, а также источник (21) ИК-сигнала для синхронизации оптических затворов очков (22).
Наблюдатель имеет возможность наблюдать трехмерное изображение на проекционном экране (28), расположенном на рабочей поверхности стола, сквозь очки (22), при этом изображение корректно изменяется в соответствии с положением глаз наблюдателя при его перемещении вблизи стола в верхней полусфере над плоскостью экрана. В качестве проектора (24) может быть использован DLP-проектор, обеспечивающий вывод изображения размером 1280x800 пикселей с частотой 120 кадров в секунду,
динамической контрастностью 3000:1 и средним временем отклика 8,5 мс, например, WD720U (Mitsubishi, http://www.mitsubishi.com/). Вместо системы прямой оптической проекции в данном варианте осуществления изобретения может использоваться система обратной оптической проекции, в которой проектор (24) расположен под рабочей поверхностью стола, в которую встроен экран (28) для обратной проекции. Вместо синхронизации оптических затворов очков (22) по ИК-каналу может быть использована синхронизация по радиоканалу.
Применение в системе (20) LCMP3D по фиг. 8 трех смарт-камер (27)
обеспечивает высокую надежность отслеживания положения наблюдателя, но система (20) LCMP3D по фиг. 8 сохраняет работоспособность и с двумя смарт-камерами (27), поскольку закрывание маркеров очков (22) от смарт-камер (27) какими-либо предметами в такой системе маловероятно.
На фиг. 9 представлен общий вид еще одного варианта осуществления изобретения в виде однопользовательской или многопользовательской игровой системы напольного исполнения. В целом, система (30) LCMP3D по составу и функциям подобна системе, представленной на фиг. 8, и отличается форм-фактором, т.е. содержит более крупный экран (38), который может представлять собой проекционную панель для прямой или обратной проекции, расположенную на поверхности пола или встроенную в пол или в настил, либо плазменную или жидкокристаллическую панель, встроенную в пол или в настил (или несколько панелей, соединенных так называемым бесшовным способом). В частности, на фиг. 9 представлена система (30) LCMP3D с прямой проекцией изображения от проектора (34). Другим отличием системы (30) LCMP3D от системы (20) LCMP3D является количество камер (37) отслеживания (не менее четырех) и их расположение (над игровой зоной, например на потолке помещения либо на мачтах или иных несущих конструкциях в помещении или вне помещения). Еще одним отличием является применение очков (32) иной конструкции (см. фиг. 10), в которой маркеры (321) расположены таким образом, чтобы обеспечить их минимальное затенение
(перекрывание) другими предметами при движении наблюдателя и, таким образом, обеспечить максимальную свободу передвижения наблюдателя при соблюдении условия надежного отслеживания положения маркеров. Еще одним отличием является применение манипулятора (33), содержащего устройство ориентации, подобное описанному ранее устройству (139) ориентации.
На фиг. 11 представлен общий вид еще одного варианта осуществления изобретения в виде многопользовательской игровой системы напольного исполнения. В целом, система (40) LCMP3D по составу и функциям подобна системе, представленной на фиг. 9, и отличается тем, что отслеживание положения маркеров очков (42) и, по меньшей мере, одного манипулятора (43) каждого из наблюдателей (которые в данном случае являются игроками) позволяет с достаточной степенью точности отслеживать изменение положения в пространстве и позу, по меньшей мере, части тела каждого игрока для воспроизведения на экране (48) в виде изменяющегося во времени положения в пространстве и позы соответствующего персонажа игры. Следует отметить, что компенсация полной задержки в системе (40) LCMP3D обеспечивает не только отсутствие заметных геометрических искажений изображения, но и синхронность движений игрока и соответствующего ему персонажа игры.
Представленные выше варианты осуществления изобретения в виде систем (10, 20, 30, 40) LCMP3D с дисплеем или дисплеями, расположенными в одной плоскости, могут быть реализованы также в виде систем (10, 20, 30, 40) LCMP3D с дисплеем или дисплеями, расположенными в разных плоскостях, например в виде виртуальных комнат (CAVE, Cave Automatic Virtual Environment) и т.п., а также с дисплеем или дисплеями с неплоскими экранами, например, образующими экран в виде полусферы, для
реализации систем с «полным погружением» (immersive VR systems).
Способ отображения трехмерных объектов, реализуемый в системе LCMP3D, представлен в виде блок-схемы алгоритма на фиг. 12.
На шаге (50) выполняется включение и инициализация камер отслеживания.
На шаге (51) выполняется формирование карты освещенности при выключенных маркерах. Это необходимо для определения посторонних мешающих источников ИК- излучения и исключения (или, по меньшей мере, снижения) их влияния на точность отслеживания маркеров. Фильтрация посторонних источников ИК-излучения
выполняется вычитанием изображения, полученного с камер отслеживания при выключенных маркерах, из изображения, полученного с камер отслеживания при включенных маркерах. Для повышения надежности фильтрации формирование карты освещенности выполняется при увеличенной экспозиции по сравнению с рабочей экспозицией.
На шаге (52) выполняется включение маркеров по команде с компьютера, передаваемой через устройство радиосвязи компьютера.
На шаге (53) выполняется синхронизация камер отслеживания по команде с компьютера, передаваемой через устройство синхронизации. В случае несинхронной работы камер отслеживания при перемещении пользователя они фиксируют положение маркеров в разное время и, как следствие, в разных местах. В результате ухудшается достоверность 2Р-координат маркеров, вычисляемых на шаге (55), что приводит к снижению точности экстраполяции 20-координат маркеров, в свою очередь, это вызывает «размывание» ЗЭ-координат маркеров, вычисляемых на шаге (58), что приводит к снижению точности отслеживания положения наблюдателя и, таким образом, снижает реалистичность объемного изображения. Необходимым условием
синхронизации является обеспечение единого времени во всех камерах отслеживания, в очках, маркерах и в компьютере.
При синхронизированной работе системы NMP3D происходит упреждающая подача команд на считывание кадра и включение соответствующего маркера или нескольких маркеров. Эти команды может подавать одна камера отслеживания, являющаяся ведущей по отношению к другим камерам отслеживания, либо такую команду может подавать устройство синхронизации.
На шаге (54) выполняется калибровка средств отслеживания. Результатом калибровки являются данные о положении опорной точки, функция объектива и значения углового рассогласования каждой камеры. Данные о положении опорной точки далее передаются в соответствующие смарт-камеры, а функция объектива и значения углового рассогласования каждой камеры - в компьютер.
На шаге (55) выполняется обнаружение маркеров на изображениях, получаемых с матричных оптических датчиков камер отслеживания, и определение 2Р-координат маркеров, т.е. расчет их положения в координатной сетке соответствующего кадра камеры отслеживания. Подробно процесс обнаружения маркеров и определения их 2D- координат описан далее со ссылкой на фиг. 13.
На шаге (56) выполняется отсечение ложных маркеров. Ложными маркерами являются сторонние источники ИК-излучения, изображение которых в кадре оказывается подобным изображению маркеров и не отбраковывается в процессе, представленном на фиг. 14. Для отсечения ложных маркеров используется изображение с кадров, на которых отсутствуют заранее известные маркеры, выключенные на некоторое время по команде устройства идентификации маркеров. Изображение таких особых кадров, на которых намеренно отсутствуют определенные маркеры, но присутствуют помехи, используется для устранения (или, по меньшей мере, снижения) влияния сторонних источников ИК-излучения, например, путем вычитания из изображения рабочих кадров. Для снижения затрат ресурсов предпочтительно изображение таких особых кадров считывать лишь в пределах следящего окна.
На шаге (57) выполняется управление следящим окном. Подробно процесс управления следящим окном описан далее со ссылкой на фиг. 14.
На шаге (58) выполняется экстраполяция 20-координат маркеров для
компенсации полной задержки. В простейшем случае экстраполяция 2й-координат маркеров представляет собой линейную экстраполяцию. В других случаях может применяться нелинейная экстраполяция, например, кубическая, бикубическая, сплайновая и т.п. Выбор алгоритма экстраполяции может осуществляться
автоматически в зависимости от ожидаемого характера движения наблюдателей и от загруженности процессора компьютера в конкретной конфигурации системы LCMP3D. Зависимость алгоритма экстраполяции от ожидаемого характера движения
наблюдателей определяется тем, что движение с ускорением сложнее предсказать, чем равномерное движение. Горизонт экстраполяции определяется временем полной задержки в конкретной конфигурации системы LCMP3D без экстраполяции и выбирается такой, чтобы эффективная полная задержка в системе LCMP3D с экстраполяцией не превышала 5 мс. Например, в одном варианте осуществления системы (10) LCMP3D полная задержка без компенсации составляет приблизительно 50,6 мс, в том числе время работы средств отслеживания 4 мс, время построения трехмерной сцены 8,3 мс, отображение изображения на дисплее 38,3 мс, следовательно, горизонт экстраполяции в такой системе составляет приблизительно 45,6 мс.
На шаге (59) выполняется определение Зй-координат маркеров, т.е. расчет их положения в трехмерном пространстве. ЗО-координаты маркеров рассчитываются на основе экстраполированных 20-координат, вычисленных для каждой из камер отслеживания. Расчет осуществляется в компьютере с использованием результатов калибровки - функции объектива и значений углового рассогласования.
Следует отметить, что в одном из вариантов осуществления изобретения вместо экстраполяции 20-координат маркеров может применяться экстраполяция ЗР-координат маркеров, т.е. в этом случае текущие 20-координаты маркеров могут передаваться в компьютер, где на их основе может выполняться определение ЗЭ-координат маркеров и уже эти ЗО-координаты маркеров могут подвергаться экстраполяции в устройстве предсказания ЗР-координат маркеров (не показано на фиг. 4). В еще одном из вариантов осуществления изобретения экстраполяция 20-координат маркеров может выполняться в смарт-камерах (которые в этом случае содержат устройство предсказания 2D- координат маркеров, не показанное на фиг. 4), а экстраполяция ЗЭ-координат маркеров может выполняться в компьютере, при этом для экстраполяции 20-координат и 3D- координат маркеров могут быть использованы разные алгоритмы и/или разные горизонты экстраполяции. В еще одном из вариантов осуществления изобретения экстраполяция ЗО-координат маркеров может полностью или частично выполняться в смарт-камерах. Выбор режима (2D/3D) и алгоритма (линейный/нелинейный)
экстраполяции может осуществляться автоматически в зависимости от ожидаемого характера движения наблюдателей и от загруженности процессоров смарт-камер и/или компьютера в конкретной конфигурации системы LCMP3D.
На шаге (60) выполняется идентификация маркеров. Идентификация маркеров не является обязательной в системах (10) и (20) LCMP3D в однопользовательском режиме без применения манипуляторов, оснащенных маркерами, и необходима во всех остальных случаях. В однопользовательском режиме в системах (10) и (20) LCMP3D предполагается, что левый маркер очков всегда находится слева от глаз наблюдателя, а правый маркер очков всегда находится справа от глаз наблюдателя, т.е. переворот очков нижней стороной вверх не допускается. В многопользовательском режиме всех вариантов системы LCMP3D, а также в системах (30) и (40) LCMP3D переворот очков нижней стороной вверх может встречаться, что связано с необходимостью обеспечения свободы движения игроков в соответствии со сценарием игры и/или с учетом возможных проявлений азарта игроков. В таких системах также возможен и переворот
манипуляторов нижней стороной вверх, в том числе, оснащенных более чем одним маркером. Идентификация маркеров осуществляется устройством идентификации маркеров. В частности, для первичной идентификации маркеров применяется пауза в излучении маркера в заранее заданный момент времени на заранее заданное непродолжительное время (например, маркер может не включаться в один из периодов его обычной работы), что позволяет определить пропавший и затем вновь появившийся маркер. В дальнейшем идентификация маркеров осуществляется за счет отслеживания перемещения маркера в пределах кадра. При необходимости может выполняться повторная идентификация маркеров, подобная описанной выше первичной
идентификации.
В другом варианте осуществления идентификация маркеров может
осуществляться путем соотнесения заранее известной информации о взаимном расположении в пространстве маркеров конкретного устройства (очков или
манипулятора) с вычисленными Зй-координатами маркеров, при этом каждое
устройство может содержать более двух маркеров. В этом варианте осуществления каждое устройство характеризуется уникальным расположением маркеров. Такой вариант может применяться, если, например, вследствие высокой двигательной активности наблюдателей идентификация маркеров за счет отслеживания перемещения маркера в пределах кадра оказывается ненадежной, а частая повторная идентификация маркеров посредством паузы в излучении маркера - нежелательной.
На шаге (61) выполняется построение ЗО-сцены, т.е. формирование изображения для каждого глаза каждого наблюдателя. За построение ЗО-сцены отвечает
специализированное программное обеспечение (т.н. «Зй-движок»), например, в системах (10) и (20) LC P3D достаточно использования ЗЭ-движка Unity (Unity
Technologies, http://unity3d.com/), в системах LCMP3D с большими составными экранами (т.н. полиэкранами) целесообразно использовать ЗР-движок, поддерживающий несколько GPU, предпочтительно с открытым исходным кодом, собственной разработки или выполненный на заказ.
На шаге (62) выполняется вывод изображения на дисплей. При этом
обеспечивается вывод изображения для каждого глаза каждого из наблюдателей в требуемом порядке и синхронизация стереоскопических очков.
На фиг. 13 представлен процесс обнаружения маркеров и определения их 2D- координат. Этот процесс выполняется независимо в каждой смарт-камере и его результатом являются данные о каждом маркере - координаты взвешенного центра контура изображения маркера в кадре камеры отслеживания, размер этого контура и интегральный показатель яркости изображения маркера, которые далее передаются в компьютер для дальнейшей обработки.
Следует отметить, что весьма важным фактором в этом процессе является выбор экспозиции. Оптимальной можно считать экспозицию, при которой наиболее яркая точка маркера находится практически на верхней границе динамического диапазона камеры. Это позволяет получить наиболее точное взвешенное значение координат центра контура.
Следует также отметить, что увеличение экспозиции сверх оптимальной снижает производительность камеры, поскольку на получение каждого кадра тратится больше времени. Кроме того, в этом случае может снизиться и точность определения 2D- координат движущегося маркера вследствие «размазывания» его изображения в кадре. Также вероятно появление большего количества ложных маркеров, поскольку при повышении экспозиции яркость изображения посторонних источников света
увеличивается и приближается к яркости изображения маркера, которая не
увеличивается вследствие насыщения.
Недостаточное же время экспозиции приводит к уменьшению радиуса контура изображения маркера, при этом взвешенное значение координат центра контура вычисляется на основе меньшего количества данных и точность его вычисления снижается. Еще одним важным фактором, который необходимо учитывать в этом процессе, является то, что в широкоугольном объективе типа «fisheye» яркость изображения маркера при малых углах отклонения от оптической оси объектива существенно выше, чем при больших углах. Поэтому в процессе считывания кадра для обеспечения равномерной яркости всего кадра необходимо учитывать поправочный коэффициент яркости каждого пикселя, зависящий от удаленности пикселя от опорной точки.
На шаге (550) выполняется определение строки матричного оптического датчика для считывания. Для обеспечения требуемого быстродействия средств отслеживания с матрицы оптического датчика могут считываться не все строки, а лишь часть из них, например, каждая вторая или каждая третья строка. Такое «прореживание» позволяет сократить время, необходимое на считывание кадра, и выполняется в зависимости от времени экспозиции камеры отслеживания, которая, в свою очередь, зависит от общей освещенности. Чем выше освещенность, тем большее прореживание строк возможно без заметного риска потери маркера.
На шаге (551) выполняется считывание выбранной строки матричного
оптического датчика и формируется последовательность сигналов, соответствующих яркости пикселей, образующих строку изображения.
На шаге (552) последовательно анализируется интенсивность сигнала (т.е.
яркость) каждого пикселя выбранной строки. Если интенсивность сигнала пикселя превышает пороговое значение, такой пиксель предполагается принадлежащим контуру изображения маркера и выполняется переход к шагу (553).
На шаге (553) выполняется обнаружение контура изображения маркера способом обхода, например, при считывании пикселей в строке в направлении слева направо и считывании строк в кадре в направлении сверху вниз обход осуществляется по часовой стрелке вокруг каждого последнего обнаруженного пикселя контура, начиная с предыдущего проверенного пикселя. В результате обхода формируется замкнутый контур, соответствующий границе изображения маркера.
На шаге (554) вычисляется размер контура в пикселях.
На шаге (555) выполняется проверка размера контура. Если размер контура находится в допустимых пределах, определяемых размером излучателя маркера и максимальным и минимальным возможным расстоянием от камеры отслеживания до маркера, выполняется переход к шагу (556). Если размер контура не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (556) вычисляется геометрический центр контура.
На шаге (557) вычисляются максимальный и минимальный радиус контура, т.е. расстояние от геометрического центра контура до его границы. В общем случае контур может иметь форму, заметно отличающуюся от круглой, например, эллиптическую. Максимальный и минимальный радиус контура позволяет охарактеризовать форму контура.
На шаге (558) выполняется проверка соотношения максимального и
минимального радиуса контура. Чрезмерно вытянутые контуры или контуры, имеющие явно выраженную форму невыпуклой плоской фигуры, подлежат отбраковке. Если соотношение максимального и минимального радиуса контура находится в допустимых пределах, выполняется переход к шагу (559). Если это соотношение не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (558) выполняется проверка равномерности яркости изображения маркера, т.е. равномерность яркости области внутри контура. Контуры, внутри которых имеются темные области, подлежат отбраковке. Если равномерность яркости области внутри контура находится в допустимых пределах, контур принимается
соответствующим маркеру и выполняется переход к шагу (560). Если равномерность яркости этой области не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (560) вычисляются координаты взвешенного центра контура. Координаты взвешенного центра контура определяются с учетом градиента яркости на границе изображения маркера. Например, взвешенный центр контура может приниматься равным точке математического ожидания для распределения яркости изображения маркера по координатам X и Y. Вычисленные координаты взвешенного центра контура представляют собой 20-координаты маркера. Эти координаты могут определяться с субпиксельной (порядка 1/30 пикселя) точностью. Далее координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и, в некоторых вариантах осуществления, соотношение максимального и минимального радиуса контура изображения маркера корректируются с учетом положения опорной точки для данной камеры, т.е. переводятся в локальные координаты камеры, при этом центр локальной координатной системы расположен в опорной точке. После этого координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера сохраняются в виде массива параметров предполагаемых маркеров для данного кадра. В некоторых вариантах осуществления в массиве параметров предполагаемых маркеров могут сохраняться лишь некоторые из указанных выше параметров. Затем выполняется переход к шагу (562).
На шаге (561) контур игнорируется, т.е. анализируемый контур признается дефектным (не соответствующим маркеру) и исключается из дальнейшего
рассмотрения. Далее выполняется переход к шагу (562). На шаге (562) выполняется маркирование контура, т.е. обработанный контур помечается таким образом, чтобы исключить его и область внутри него из дальнейшего анализа кадра, что позволяет дополнительно сократить время на обработку каждого кадра и, соответственно, повысить быстродействие средств отслеживания.
По окончании считывания кадра данные из массива параметров предполагаемых маркеров передаются в компьютер (19). В другом варианте осуществления передача параметров предполагаемых маркеров может выполняться непосредственно в процессе считывания кадра по мере их вычисления.
На фиг. 14 представлен процесс управления следящим окном в каждой камере отслеживания. Управление следящим окном заключается в периодической проверке и, при необходимости, корректировке параметров следящего окна - его размеров и положения в кадре. При инициализации системы или потере всех маркеров размеры следящего окна устанавливаются равными размеру полного кадра.
На шаге (601) выполняется проверка того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика. Следует отметить, что множества маркеров, которые должны присутствовать в кадре, для разных камер отслеживания могут отличаться. Если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняется переход к шагу (602). Если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, которые должны присутствовать, выполняется переход к шагу (603).
На шаге (602) производится проверка того, требуется ли коррекция параметров следящего окна. Например, если некоторый маркер оказывается близко к краю следящего окна, этот край может сдвигаться в наружную сторону, причем величина такого сдвига может зависеть от близости маркера к краю и размера светового пятна маркера. Если некоторый маркер оказывается далеко от края следящего окна, этот край может сдвигаться во внутреннюю сторону, причем величина такого сдвига также может зависеть от близости маркера к краю. Если на шаге (602) определено, что коррекция параметров следящего окна требуется, то далее выполняется переход к шагу (604). Если коррекция параметров следящего окна не требуется, работа алгоритма по фиг. 14 завершается.
На шаге (604) вычисляются новые параметры следящего окна. При вычислении новых параметров следящего окна учитываются, по меньшей мере, два критерия.
Первый критерий представляет собой условие, согласно которому сумма площадей следящих окон всех камер отслеживания должна быть минимальной. Первый критерий непосредственно влияет на быстродействие средств отслеживания. Второй критерий носит характер краевого условия (т.е. ограничения) при минимизации суммы площадей следящих окон и представляет собой условие приблизительного равенства площадей следящих окон всех камер. Второй критерий связан с тем, что различные камеры отслеживания могут иметь неодинаковые условия для отслеживания определенных маркеров, что непосредственно влияет на надежность их отслеживания.
Кроме того, второй критерий характеризует дисбаланс вычислительной нагрузки между смарт-камерами. Если ограничение различия площадей следящих окон всех камер достаточно мягкое, что может быть характерным для многопользовательской системы LCMP3D, то дисбаланс вычислительной нагрузки между смарт-камерами может быть значительным. В этом случае смарт-камеры могут распределять между собой вычислительную нагрузку, связанную с обработкой изображения в кадрах, вычислением данных о каждом маркере и определением параметров следящего окна. Такая возможность обеспечивается наличием линии связи между всеми смарт-камерами (не показана на фиг. 4), соответствующего протокола обмена данными между смарт- камерами и встраиваемого программного обеспечения смарт-камер. Такие линии связи и протоколы обмена данными хорошо известны в данной области техники, поэтому их описание опущено. После выполнения шага (604) параметры следящего окна
передаются соответствующему процессу и работа алгоритма по фиг. 14 завершается.
На шаге (603) выполняется определение области, в которой может находиться маркер, отсутствующий в кадре некоторой камеры отслеживания. Определение этой области производится путем сопоставления текущих данных с других камер
отслеживания и, при необходимости, более ранних данных с других камер отслеживания и с данной камеры отслеживания.
Шаг (605) по существу аналогичен шагу (604). После выполнения шага (605) выполняется возврат к шагу (601).
Следует отметить, что облегчения понимания настоящего изобретения на фиг. 12 показаны лишь те шаги упомянутого способа, которые существенны для понимания изобретения, и упомянутый способ содержит и другие шаги, обеспечивающие функционирование этой системы. Такие шаги понятны специалисту в данной области техники, их реализация не вызывает затруднений у специалиста и поэтому их описание опущено.
Техническим результатом настоящего изобретения является реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей с применением с применением средств визуализации, создающих изображение на поверхности экрана, и использованием, по меньшей мере, двух основных
физиологических зрительных механизмов восприятия объемного изображения - бинокулярного параллакса и параллакса движения, при скорости перемещения наблюдателя от 0 м/с до 3 м/с и ускорении перемещения наблюдателя от 0 м/с2 до 10 м/с2. Указанный технический результат достигается за счет того, что эффективная полная задержка для этого наблюдателя составляет не более 5 мс, что обеспечивается предсказанием положения наблюдателя, т.е. экстраполяцией 20-координат и/или 3D- координат маркеров во времени. Точность экстраполяции определяется параметрами входных данных для экстраполяции: их количеством (объемом выборки), качеством (точностью и чистотой) и актуальностью (возрастом). Требуемые значения параметров обеспечиваются реализацией комплекса взаимосвязанных технических решений:
применением активных управляемых маркеров, использованием «смарт-камер» в качестве камер отслеживания, применением «следящего окна». Обеспечению этих значений параметров способствуют также увеличение количества камер отслеживания, применение ALAP-рендеринга и калибровка средств отслеживания.
Устройства, средства, способы и их части, упомянутые в настоящем документе, относятся к одному или нескольким определенным вариантам осуществления изобретения, если они упоминаются со ссылкой на числовое позиционное обозначение, или ко всем вариантам осуществления изобретения, в которых возможно их
применение, если они упоминаются без ссылки на числовое позиционное обозначение.
Устройства, упомянутые в формуле изобретения, представляют собой
программно-аппаратные средства, при этом аппаратные части одних устройств могут отличаться, частично совпадать или полностью совпадать с аппаратными частями других устройств, если иное не указано в явном виде. Аппаратные части устройств могут располагаться в различных частях других устройств, средств, если иное не указано в явном виде.
Последовательность действий в описании способа в настоящем документе носит иллюстративный характер и в различных вариантах осуществления изобретения эта последовательность может отличаться от описанной при условии сохранения выполняемой функции и достигаемого результата.
Части и признаки настоящего изобретения могут сочетаться в различных вариантах осуществления изобретения, если они не противоречат друг другу.
Описанные выше варианты осуществления изобретения приведены исключительно с иллюстративной целью и не предназначены для ограничения объема настоящего изобретения, определяемого формулой изобретения. Все разумные модификации, модернизации и эквивалентные замены в конструкции, составе и принципе действия, выполненные в пределах сущности настоящего изобретения, входят в объем
настоящего изобретения.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающий, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающий в себя следующие шаги:
используют устройство, содержащее
по меньшей мере, одно устройство отображения;
по меньшей мере, одни очки для стереоскопической сепарации изображений, содержащие, по меньшей мере, два оптических затвора и, по меньшей мере, два маркера;
по меньшей мере, два матричных оптических датчика;
по меньшей мере, два устройства считывания и обработки; устройство вычисления Зй-координат маркеров;
по меньшей мере, одно устройство предсказания координат маркеров; устройство построения Зй-сцены;
по меньшей мере, одно устройство вывода изображения,
обнаруживают маркеры на изображениях, получаемых с матричных оптических датчиков, и определяют 20-координаты маркеров;
определяют ЗО-координаты маркеров на основе 20-координат маркеров;
выполняют экстраполяцию координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
выполняют построение ЗР-сцены с учетом ЗР-координат маркеров;
выводят изображения ЗР-сцены на, по меньшей мере, одно устройство отображения, при этом обеспечивают вывод изображений ЗР-сцены для каждого глаза наблюдателя поочередно.
2. Способ по п. 1 , в котором маркеры являются светоизлучающими маркерами.
3. Способ по п. 1 , в котором дополнительно управляют следящим окном, а используемое устройство дополнительно содержит, по меньшей мере, одно устройство управления следящим окном.
4. Способ по п. 1 , в котором дополнительно выполняют калибровку средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления ЗО-координат маркеров.
5. Способ по п. 1 , в котором дополнительно обнаруживают мешающие источники излучения и устраняют их влияние на обнаружение маркеров.
6. Способ по п. 1 , в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом.
7. Способ по п. 2, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом и с маркерами.
8. Способ по п. 2, в котором избирательно включают и выключают маркеры, используемое устройство дополнительно содержит, по меньшей мере, одно устройство радиосвязи, кроме того, очки используемого устройства содержат, по меньшей мере, одно устройство радиосвязи.
9. Способ по п. 8, в котором до шага поиска маркеров формируют карту освещенности при выключенных маркерах для автоматического обнаружения
мешающих источников излучения и устранения их влияния на обнаружение маркеров.
10. Способ по п. 1 или п. 8, в котором после шага определения 20-координат маркеров выполняют идентификацию маркеров, а используемое устройство
дополнительно содержит устройство идентификации маркеров.
11. Способ по п. 1 , в котором выполняют экстраполяцию 2Р-координат маркеров до шага определения ЗР-координат маркеров.
12. Способ по п. 1 , в котором выполняют экстраполяцию Зй-координат маркеров после шага определения Зй-координат маркеров.
13. Способ по п. 1 , в котором используемое устройство содержит, по меньшей мере, три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
14. Способ по п. 1 , в котором отображение изображения для каждого глаза наблюдателя выполняют для более чем одного наблюдателя.
15. Способ по п. 1 , в котором обработку данных, считываемых с матричного оптического датчика, начинают до окончания считывания кадра.
16. Способ по п. 1 , в котором выполняют распределенную обработку данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
17. Способ по п. 1 , в котором определение 20-координат маркеров выполняют с субпиксельной точностью.
18. Способ по п. 1 , в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, для определения 3D- координат маркеров очков в случае невозможности обнаружения маркеров посредством матричных оптических датчиков; используемое устройство дополнительно содержит, по меньшей мере, одно устройство радиосвязи, кроме того, очки используемого устройства содержат, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
19. Способ по п. 1 , в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, для определения ЗО-координат маркеров манипулятора в случае невозможности
обнаружения маркеров посредством матричных оптических датчиков; используемое устройство дополнительно содержит, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, один манипулятор, дополнительно содержащий, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
20. Способ по п. 3, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна; используемое устройство дополнительно содержит, по меньшей мере, одно устройство радиосвязи, кроме того, очки
используемого устройства содержат, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
21. Способ по п. 3, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна; используемое устройство дополнительно содержит, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, один манипулятор, дополнительно содержащий, по меньшей мере, одно устройство радиосвязи и устройство ориентации.
22. Способ по п. 1 или п. 3, в котором шаг обнаружения маркеров и определения их 20-координат включает в себя следующие шаги:
определяют строки матричного оптического датчика для считывания;
выполняют считывание выбранной строки матричного оптического датчика; проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение;
если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика;
вычисляют размер контура изображения маркера;
проверяют размер контура изображения маркера;
если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера; вычисляют геометрический центр контура изображения маркера; вычисляют максимальный и минимальный радиус контура изображения маркера; проверяют соотношение максимального и минимального радиуса контура изображения маркера;
если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки
равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
проверяют равномерность яркости области внутри контура изображения маркера; если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага, по меньшей мере, одно из следующего:
координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.
23. Способ по п. 3, в котором шаг управления следящим окном включает в себя следующие шаги:
выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика;
если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции
параметров следящего окна, а если в изображении, полученном с матричного
оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна;
проверяют необходимость коррекции следящего окна;
если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.
24. Устройство для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающее, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащее:
по меньшей мере, одно устройство отображения, выполненное с возможностью отображения последовательности изображений;
по меньшей мере, одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие, по меньшей мере, два оптических затвора и, по меньшей мере, два маркера, расположенные заранее известным образом;
по меньшей мере, два матричных оптических датчика, выполненные с
возможностью получения изображения маркеров, расположенные заранее известным образом;
по меньшей мере, два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D- координат маркеров;
устройство вычисления ЗО-координат маркеров, выполненное с возможностью вычисления ЗР-координат маркеров на основе 20-координат маркеров;
по меньшей мере, одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
устройство построения ЗР-сцены, выполненное с возможностью построения 3D- сцены с учетом ЗО-координат маркеров;
по меньшей мере, одно устройство вывода изображения, выполненное с возможностью вывода изображения ЗО-сцены на, по меньшей мере, одно устройство отображения.
25. Устройство по п. 24, в котором маркеры являются светоизлучающими маркерами.
26. Устройство по п. 24, дополнительно содержащее, по меньшей мере, одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения, по меньшей Мере, одного маркера, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
27. Устройство по п. 24, дополнительно выполненное с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления ЗО- координат маркеров.
28. Устройство по п. 24, дополнительно выполненное с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
29. Устройство по п. 24, дополнительно содержащее устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом.
30. Устройство по п. 25, дополнительно содержащее устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом и с маркерами.
31. Устройство по п. 25, дополнительно содержащее, по меньшей мере, одно устройство радиосвязи, при этом очки также содержат, по меньшей мере, одно устройство радиосвязи, и выполненное с возможностью избирательного включения и выключения маркеров.
32. Устройство по п. 24 или п. 31 , дополнительно содержащее устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.
33. Устройство по п. 24, в котором устройство предсказания координат маркеров выполнено с возможностью экстраполяции 20-координат маркеров.
34. Устройство по п. 24, в котором устройство предсказания координат маркеров выполнено с возможностью экстраполяции Зй-координат маркеров.
35. Устройство по п. 24, содержащее, по меньшей мере, три матричных оптических датчика, три устройства считывания и обработки и три устройства
управления следящим окном.
36. Устройство по п. 24, выполненное с возможностью отображения трехмерных объектов для более чем одного наблюдателя.
37. Устройство по п. 24, дополнительно выполненное с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.
38. Устройство по п. 24, дополнительно выполненное с возможностью
распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
39. Устройство по п. 24, в котором устройство считывания и обработки выполнено с возможностью определения 20-координат маркеров с субпиксельной точностью.
40. Устройство по п. 24, в котором очки содержат, по меньшей мере, одно устройство радиосвязи.
41. Устройство по п. 40, в котором очки содержат, по меньшей мере, одно устройство ориентации, содержащее, по меньшей мере, одно устройство из следующих: акселерометр, магнетометр, гироскоп.
42. Устройство по п. 41 , выполненное с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения Зй-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, и дополнительно содержащее, по меньшей мере, одно устройство радиосвязи.
43. Устройство по п. 41 , выполненное с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, и дополнительно содержащее, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, одно устройство управления следящим окном, выполненное с возможностью задания области
матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
44. Устройство по п. 24, дополнительно содержащее, по меньшей мере, один манипулятор.
45. Устройство по п. 44, в котором манипулятор содержит, по меньшей мере, один маркер.
46. Устройство по п. 25, дополнительно содержащее, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, один манипулятор.
47. Устройство по п. 46, в котором манипулятор содержит, по меньшей мере, один маркер.
48. Устройство по п. 47, в котором манипулятор содержит, по меньшей мере, одно устройство радиосвязи.
49. Устройство по п. 48, выполненное с возможностью избирательного включения и выключения маркеров.
50. Устройство по п. 48, в котором манипулятор дополнительно содержит, по меньшей мере, одно устройство ориентации, содержащее, по меньшей мере, одно устройство из следующих: акселерометр, магнетометр, гироскоп.
51. Устройство по п. 50, дополнительно содержащее, по меньшей мере, одно устройство радиосвязи и выполненное с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения Зй-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.
52. Устройство по п. 50, выполненное с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна, дополнительно содержащее, по меньшей мере, одно устройство радиосвязи и, по меньшей мере, одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
53. Устройство по п. 25, в котором маркеры выполнены с возможностью излучения света в ИК-диапазоне.
54. Устройство по любому из п. 24, п. 25, п. 45, п. 47, в котором матричные оптические датчики оснащены узкополосными оптическими фильтрами.
55. Устройство по любому из п. 24, п. 25, п. 45, п. 47, в котором маркеры оснащены узкополосными оптическими фильтрами.
56. Устройство по п. 31 или п. 49, выполненное с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
PCT/RU2014/001019 2014-12-31 2014-12-31 Способ и устройство для отображения трехмерных объектов WO2016108720A1 (ru)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201480084605.1A CN107430785B (zh) 2014-12-31 2014-12-31 用于显示三维对象的方法和系统
EA201791295A EA032105B1 (ru) 2014-12-31 2014-12-31 Способ и система для отображения трехмерных объектов
PCT/RU2014/001019 WO2016108720A1 (ru) 2014-12-31 2014-12-31 Способ и устройство для отображения трехмерных объектов
EP14909609.1A EP3242274B1 (en) 2014-12-31 2014-12-31 Method and device for displaying three-dimensional objects
US15/540,313 US10187635B2 (en) 2014-12-31 2014-12-31 Method and system for displaying three-dimensional objects
SG11201705370QA SG11201705370QA (en) 2014-12-31 2014-12-31 Method and device for displaying three-dimensional objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2014/001019 WO2016108720A1 (ru) 2014-12-31 2014-12-31 Способ и устройство для отображения трехмерных объектов

Publications (1)

Publication Number Publication Date
WO2016108720A1 true WO2016108720A1 (ru) 2016-07-07

Family

ID=56284734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2014/001019 WO2016108720A1 (ru) 2014-12-31 2014-12-31 Способ и устройство для отображения трехмерных объектов

Country Status (6)

Country Link
US (1) US10187635B2 (ru)
EP (1) EP3242274B1 (ru)
CN (1) CN107430785B (ru)
EA (1) EA032105B1 (ru)
SG (1) SG11201705370QA (ru)
WO (1) WO2016108720A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196982A1 (en) * 2017-04-27 2018-11-01 Brainlab Ag Removing ghost markers from a measured set of medical markers
WO2019014718A1 (en) 2017-07-19 2019-01-24 Euclideon Holographics Pty Ltd IMPROVEMENT FOR MULTIPLE OBSERVERS FOR A VIRTUAL ENVIRONMENT
WO2019122950A1 (ru) 2017-12-18 2019-06-27 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3514765A4 (en) * 2016-09-14 2020-04-22 Square Enix Co.,Ltd. VIDEO DISPLAY SYSTEM, VIDEO DISPLAY METHOD AND VIDEO DISPLAY PROGRAM
US10699165B2 (en) * 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
WO2019178635A1 (en) * 2018-03-21 2019-09-26 Euclideon Holographics Pty Ltd Computer assisted virtual reality display system
CN108492663A (zh) * 2018-05-08 2018-09-04 南京铁道职业技术学院 基于vr技术的动车组制动系统检修实训系统
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
JP7137743B2 (ja) * 2018-12-26 2022-09-15 株式会社Ｊｖｃケンウッド 映像表示システム、映像表示装置、及び映像表示方法
US11443495B2 (en) 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
EP4013050A4 (en) * 2019-08-05 2022-12-21 Sony Group Corporation SURGICAL IMAGING SYSTEM, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD
US11403775B2 (en) 2020-02-28 2022-08-02 Unity Technologies Sf Active marker enhancements for performance capture
US11048925B1 (en) 2020-02-28 2021-06-29 Weta Digital Limited Active marker device for performance capture
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
CN111814260B (zh) * 2020-07-28 2024-01-30 招商局邮轮制造有限公司 邮轮在风浪中航行的运动舒适度评价方法
US11308644B2 (en) 2020-08-28 2022-04-19 Weta Digital Limited Multi-presence detection for performance capture
US20220132042A1 (en) * 2020-10-26 2022-04-28 Htc Corporation Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera
WO2023108222A1 (en) * 2021-12-15 2023-06-22 Axiom Holographics Pty Ltd A three-dimensional image display system
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality
US20240046568A1 (en) * 2022-08-02 2024-02-08 Palo Alto Research Center Incorporated Method and system for mixing static scene and live annotations for efficient labeled image dataset collection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система
US20120038635A1 (en) * 2010-08-10 2012-02-16 Sony Computer Entertainment Inc. 3-d rendering for a rotated viewer
US20120062556A1 (en) * 2010-09-13 2012-03-15 Sumihiko Yamamoto Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
RU118462U1 (ru) * 2011-12-13 2012-07-20 Общество с ограниченной ответственностью "Графика Вперед" Сенсорная поверхность для интерактивной системы визуализации
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
US20140184588A1 (en) * 2010-08-31 2014-07-03 Nintendo Co., Ltd. Eye tracking enabling 3d viewing on conventional 2d display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
EP1068607A4 (en) * 1998-04-03 2009-07-08 Image Guided Technologies Inc WIRELESS POSITION MEASURING OPTIC INSTRUMENT AND METHOD OF USING SAME
US20010043266A1 (en) * 2000-02-02 2001-11-22 Kerry Robinson Method and apparatus for viewing stereoscopic three- dimensional images
US7148913B2 (en) * 2001-10-12 2006-12-12 Hrl Laboratories, Llc Vision-based pointer tracking and object classification method and apparatus
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
JP2012501506A (ja) * 2008-08-31 2012-01-19 ミツビシ エレクトリック ビジュアル ソリューションズ アメリカ， インコーポレイテッド 観察者位置にマッチする３ｄビデオコンテンツの変換
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
GB201001152D0 (en) * 2010-01-25 2010-03-10 Chawla Naveen A right-angled-bracket self-adhesive calibration-less multi-camera tracking system for realitic human-computer 3D interaction
WO2012014462A1 (ja) * 2010-07-29 2012-02-02 パナソニック株式会社 無線通信装置
US8836772B2 (en) * 2010-11-17 2014-09-16 Sony Computer Entertainment, Inc. 3D shutter glasses with frame rate detector
CN103037233A (zh) * 2011-08-09 2013-04-10 索尼电脑娱乐公司 基于眼镜取向的三维自动关闭
TWI473432B (zh) 2012-08-28 2015-02-11 Novatek Microelectronics Corp 多相位時脈除頻器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система
US20120038635A1 (en) * 2010-08-10 2012-02-16 Sony Computer Entertainment Inc. 3-d rendering for a rotated viewer
US20140184588A1 (en) * 2010-08-31 2014-07-03 Nintendo Co., Ltd. Eye tracking enabling 3d viewing on conventional 2d display
US20120062556A1 (en) * 2010-09-13 2012-03-15 Sumihiko Yamamoto Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
RU118462U1 (ru) * 2011-12-13 2012-07-20 Общество с ограниченной ответственностью "Графика Вперед" Сенсорная поверхность для интерактивной системы визуализации

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3242274A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196982A1 (en) * 2017-04-27 2018-11-01 Brainlab Ag Removing ghost markers from a measured set of medical markers
US10699409B2 (en) 2017-04-27 2020-06-30 Brainlab Ag Removing ghost markers from a measured set of medical markers
WO2019014718A1 (en) 2017-07-19 2019-01-24 Euclideon Holographics Pty Ltd IMPROVEMENT FOR MULTIPLE OBSERVERS FOR A VIRTUAL ENVIRONMENT
JP2020528162A (ja) * 2017-07-19 2020-09-17 ユークリデオン ホログラフィクス プロプリエタリー リミテッドＥｕｃｌｉｄｅｏｎ Ｈｏｌｏｇｒａｐｈｉｃｓ Ｐｔｙ Ｌｔｄ 仮想環境における複数の観察者のための改良
EP3655927A4 (en) * 2017-07-19 2021-04-28 Euclideon Holographics Pty Ltd IMPROVEMENT FOR MULTIPLE OBSERVERS FOR A VIRTUAL ENVIRONMENT
US11122246B2 (en) 2017-07-19 2021-09-14 Euclideon Holographics Pty Ltd Multiple observer improvement for a virtual environment
WO2019122950A1 (ru) 2017-12-18 2019-06-27 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта

Also Published As

Publication number Publication date
EP3242274B1 (en) 2020-04-15
CN107430785B (zh) 2021-03-30
EA032105B1 (ru) 2019-04-30
US10187635B2 (en) 2019-01-22
EP3242274A4 (en) 2018-06-20
EA201791295A1 (ru) 2017-10-31
SG11201705370QA (en) 2017-08-30
EP3242274A1 (en) 2017-11-08
CN107430785A (zh) 2017-12-01
US20170366805A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
EP3242274B1 (en) Method and device for displaying three-dimensional objects
US11868675B2 (en) Methods and systems of automatic calibration for dynamic display configurations
CN108292489B (zh) 信息处理装置和图像生成方法
KR102658303B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US9554126B2 (en) Non-linear navigation of a three dimensional stereoscopic display
US10019831B2 (en) Integrating real world conditions into virtual imagery
US9848184B2 (en) Stereoscopic display system using light field type data
JP5965410B2 (ja) 拡張現実ディスプレイ用最適焦点エリア
US20160371884A1 (en) Complementary augmented reality
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US10867164B2 (en) Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking
CN105992965A (zh) 响应于焦点移位的立体显示
US11659158B1 (en) Frustum change in projection stereo rendering
CN106415364A (zh) 立体渲染至眼睛位置
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
CN109714588A (zh) 多视点立体图像定位输出方法、装置、设备以及存储介质
CN105892217A (zh) 体验空间集成操控系统
CN115097973A (zh) 桌面全息显示一体机设备、方法、计算机程序产品及存储介质
CN115022615A (zh) 基于投影的虚拟感知系统及方法
Nysjö Rendering Software for Multiple Projectors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14909609

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11201705370Q

Country of ref document: SG

WWE Wipo information: entry into national phase

Ref document number: 201791295

Country of ref document: EA

REEP Request for entry into the european phase

Ref document number: 2014909609

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15540313

Country of ref document: US