WO2014065697A1 - Способ и устройство жестового управления для мультимедийного дисплея - Google Patents

Способ и устройство жестового управления для мультимедийного дисплея Download PDF

Info

Publication number
WO2014065697A1
WO2014065697A1 PCT/RU2013/000104 RU2013000104W WO2014065697A1 WO 2014065697 A1 WO2014065697 A1 WO 2014065697A1 RU 2013000104 W RU2013000104 W RU 2013000104W WO 2014065697 A1 WO2014065697 A1 WO 2014065697A1
Authority
WO
WIPO (PCT)
Prior art keywords
radiation
infrared radiation
receivers
infrared
sources
Prior art date
Application number
PCT/RU2013/000104
Other languages
English (en)
French (fr)
Inventor
Валентин Валентинович ВАСИЛЕВСКИЙ
Максим Алексеевич КАМАНИН
Владислав Рубенович КАРИБЬЯНЦ
Александр Игоревич КРАСНОЦВЕТОВ
Ильяс Зинурович САЛИХОВ
Владислав Михайлович СМИРНОВ
Станислав Викторович ФЕДОРОВ
Original Assignee
Общество С Ограниченной Ответственностью Инновационное Предприятие "Дисплаир Компани"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью Инновационное Предприятие "Дисплаир Компани" filed Critical Общество С Ограниченной Ответственностью Инновационное Предприятие "Дисплаир Компани"
Publication of WO2014065697A1 publication Critical patent/WO2014065697A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to a method and apparatus for gesturing for a multimedia display, in particular, to a method and apparatus for gesturing for a multimedia display with a non-solid-state screen.
  • Gesture control of devices includes control technologies that use the determination of the coordinates of the touch area of the screen by the control object - single-touch, the determination of the coordinates of several areas of touch of the screen by the control object - multi-touch and multi-touch
  • control object or its elements without touching the screen - recognition of more complex gestures of fingers, hands, hands in general, legs, head, other parts of the human body, as well as facial expressions, eye movements, etc.
  • Gesture control is used to control various devices, usually containing means for displaying visual information (displays or screens in one form or another) or related.
  • Examples of such devices are computers, multimedia devices (TVs, monitors, video projection devices, players, game devices, etc.), mobile devices (telephones, smartphones, tablet devices, etc.), household appliances (refrigerators, stoves , ovens, microwave ovens, washing machines, humidifiers, security systems, smart home systems, etc.).
  • a multimedia display refers to any means of displaying visual information within a device, examples of which are given above.
  • the multimedia display can be equipped with a non-solid-state screen, i.e. a screen that is physically permeable to humans, other living things, and also to objects.
  • a non-solid-state screen i.e. a screen that is physically permeable to humans, other living things, and also to objects.
  • the implementation of the functions of single-touch, multi-touch and other methods of gesture control when using a non-solid-state screen differs from traditional technical solutions when using screens with a solid
  • a known implementation of the gesture control functions when using a non-solid state screen in US20100295823 (Korea Electronics Technology Institute, 11/25/2010).
  • a line of IR LEDs is used, which provides illumination of the touch plane, and an IR camera, which acts as an optical sensor.
  • the image from the camera is processed in such a way as to determine the coordinates of the center of the touch area, which are then used to perform the corresponding control functions.
  • a feature of this solution is the impossibility of determining the coordinates of the centers of several touch areas, which is necessary to implement multi-touch functions and more complex methods of gesture control.
  • it does not provide for special measures to ensure noise immunity, which can lead to errors due to exposure to the camera external sources of infrared radiation.
  • gesture control functions when using a non-solid state screen is known in US20110148822 (Korea Electronics Technology Institute, June 23, 2011), which uses pulsed illumination of the touch plane and uses two IR cameras located in the plane coinciding with the touch plane, and images from cameras are processed in such a way as to determine the coordinates X, ⁇ , Z of the center of the touch area, which are then used to perform the corresponding control functions.
  • a feature of this solution is the impossibility of determining the coordinates of the centers of several touch areas, which is necessary to implement multi-touch functions and more complex methods of gesture control.
  • the operability of this solution is provided only in the central part of the screen.
  • gesture control functions when using a non-solid state screen is known in the patent FI117307 (Ismo Rakkolainen, 08/31/2006), in which an infrared radiation source and one or two infrared cameras are used, the source and cameras being located outside the touch plane.
  • FI117307 Ismo Rakkolainen, 08/31/2006
  • the features of this solution are associated with the restrictions typical for IR depth cameras - limited range, low viewing angle, low resolution and insufficient speed.
  • gesture control functions is known regardless of the specific type of screen in the technical solutions of Kinect (Microsoft), Softkinetic (Softkinetic Software) and Leap (Leap Motion), which use an IR radiation source and one or more IR cameras, moreover, the concept of a touch plane in These cases are not applicable.
  • Kinect Microsoft
  • Softkinetic Softkinetic Software
  • Leap Leap Motion
  • the aim of the present invention is the implementation of the functions of gesture control and data input using a non-solid state screen, including single-touch, multi-touch and gesture control functions of one or more human hands.
  • the aim of the present invention is also the implementation of the functions of gesture control and data input using a non-solid-state screen with
  • the aim of the present invention is also the implementation of the functions of gesture control and data input, simulating actions with physical objects in real time, for example, their capture, movement, rotation, deformation, etc.
  • One aspect of the present invention is a gesture control device for a multimedia display with a non-solid-state projection screen, comprising
  • pulsed IR radiation sources equipped with focusing optical elements and oriented so that their radiation is directed along a non-solid-state projection screen
  • IR radiation detectors equipped with focusing optical elements, configured to receive IR radiation reflected from a control object, oriented in the same direction as IR radiation sources located in close proximity to IR radiation sources and in conjunction with IR sources - emissions defining at least one sensory region, and
  • a computing device configured to read signals from infrared receivers, determine a first coordinate of a control object based on a previously known location of each infrared receiver, and determine a second coordinate of a control object based on a phase difference of an emitted infrared signal and a received infrared signal .
  • Another aspect of the present invention is a gesture control device for a non-solid state multimedia display
  • projection screen containing pulsed IR radiation sources equipped with focusing optical elements and oriented so that their radiation is directed along a non-solid-state projection screen
  • IR radiation detectors equipped with focusing optical elements, configured to receive IR radiation reflected from a control object, oriented in the same direction as IR radiation sources located in close proximity to IR radiation sources and in conjunction with IR sources - radiation defining at least one sensory region,
  • At least one matrix receiver of infrared radiation configured to receive infrared radiation reflected from the control object, and located on the side of the projection screen, opposite the side of the user's location, and
  • a computing device configured to read signals from infrared receivers and at least one matrix infrared receiver, determine a first coordinate of a control object based on a predetermined location of each infrared receiver, determine a second coordinate of a control object based on a difference phases of the emitted infrared signal and the infrared signal received by each infrared receiver and determining the third coordinate of the control object based on different gical phases emitted infrared radiation and the received signal, at least one matrix of IR radiation receiver IR signal.
  • the computing device may be configured to
  • adjacent infrared radiation receivers having the highest signal level among the infrared radiation receivers with a signal level exceeding a predetermined threshold value
  • the ability to determine the second coordinate of the control object based on the phase difference of the emitted infrared signal and the infrared signal received infrared radiation receivers, constituting a group of adjacent infrared radiation receivers having the highest signal level among the infrared radiation receivers with a signal level exceeding previously e a predetermined threshold value
  • the ability to determine the third coordinate of the control object based on the phase difference of the emitted infrared signal and the infrared signal received by adjacent elements of the matrix receiver of infrared radiation having the highest signal level among the elements of the matrix receiver of infrared radiation with a signal level exceeding a predetermined threshold value.
  • the computing device may include means for reading and primary processing the signals of infrared receivers, means for recognizing gestures, means for controlling the image, means for controlling sound, smell, etc. and means for coordinating the operating modes of infrared sources and infrared receivers.
  • the computing device may also contain means for reading and primary processing of signals of at least one matrix receiver of infrared radiation and / or means for coordinating the operating modes of infrared sources of at least one additional source of infrared radiation, infrared receivers radiation and at least one matrix receiver of infrared radiation.
  • the sensory region may have a flat shape or a shape other than flat.
  • Sources of infrared radiation and receivers of infrared radiation can be located in one row or in several parallel rows.
  • IR sources and / or IR receivers can be optionally equipped with narrow-band IR filters.
  • the focusing optical elements of the infrared radiation receivers provide a radiation pattern having a width in the plane tangent to the sensor region in the range of 5 ° to 15 ° and a width in the plane normal to the sensor region of 1 ° to 10 °.
  • the gesture control device may further comprise opaque screens or apertures providing the aforementioned radiation pattern characteristics of the infrared receivers.
  • Adjacent at least one source of infrared radiation and at least one receiver of infrared radiation can be combined in one housing with
  • adjacent at least one source of infrared radiation and at least one receiver of infrared radiation can be combined in one housing using a common focusing optical element.
  • touch areas can be oriented in the same direction and are located on one or different sides of the projection screen, while
  • the computing device may further be configured to determine a third coordinate of the control object based on a predetermined location of the sensor areas.
  • IR sources designed for different sensory areas can be shifted relative to each other in time so that they do not substantially overlap in time.
  • IR sources designed for different sensory areas may have different wavelengths
  • IR receivers designed for different sensory areas may have different maximum wavelengths
  • the signals of infrared sources intended for one sensor region can be shifted relative to each other in time so that they do not substantially overlap in time.
  • the computing device may be configured to
  • the computing device may contain specialized hardware
  • a computing device structurally integrated with a device for
  • the computing device may also comprise a separate general purpose computing device.
  • the computing device may be configured to subtract at least one image obtained during a time interval in which all signals of infrared radiation sources are missing from images obtained during each of the time intervals corresponding to the signals of infrared radiation sources.
  • the gesture control device may include at least two matrix infrared radiation detectors configured to simultaneously form images containing a contrast area corresponding to the touch area of the touch area by the control object and a contrast area corresponding to the interfering source of infrared radiation, and a computing device can be made with the possibility of forming on the basis of images formed by at least two matrix receivers of infrared radiation, a single image from which the contrast region corresponding to the interfering source of infrared radiation is removed.
  • Gesture control device may contain at least one additional source of infrared radiation, operating in a pulsed mode, located on the side of the projection screen, opposite the side of the user's location, so as to prevent direct radiation from entering infrared radiation receivers and matrix IR receivers.
  • At least one additional source of infrared radiation can be configured to emit signals that coincide in time with the signals of infrared sources or with the possibility of emitting signals that are different in time from the sources of infrared radiation.
  • At least one additional source of infrared radiation can be structurally combined with at least one matrix receiver of infrared radiation.
  • the computing device may be configured to
  • the computing device may be configured to
  • the laws of the three-dimensional spatial model can correspond to the physical laws of the real world, and when converting signals received from infrared radiation receivers and at least one matrix infrared radiation receiver into control commands, not only the motion path can be taken into account control object in space, but also the ratio of the coordinates of the control object with the coordinates of the managed object in a three-dimensional spatial model.
  • Another aspect of the present invention is a gesture control method for a multimedia display using the aforementioned gesture control device for a multimedia display with a non-solid-state projection screen, including the following:
  • infrared radiation sources infrared radiation detectors, together with infrared radiation sources defining at least one sensor region, and a computing device configured to process signals received from infrared radiation receivers,
  • the first coordinate of the control object is determined based on the previously known location of each infrared radiation receiver
  • the second coordinate of the control object is determined based on the phase difference of the emitted infrared signal and the received infrared signal
  • Another aspect of the present invention is a gesture control method for a multimedia display using the above-mentioned gesture control device for a multimedia display with a non-solid-state projection screen, including the following:
  • infrared sources infrared detectors, together with infrared sources that define at least one sensor area, at least one matrix infrared detector, located on the side of the projection screen, opposite the location side
  • a user and a computing device configured to process signals received from infrared radiation receivers and at least one matrix infrared radiation receiver, and
  • each receiver of infrared radiation determines the second coordinate of the control object based on the phase difference of the emitted infrared signal and received by the infrared radiation receivers of the infrared signal, and determine the third coordinate based on the phase difference of the emitted infrared signal and received by at least one matrix receiver of infrared radiation of the infrared signal, and
  • control object with the coordinates of the managed object in three-dimensional
  • FIG. 1 multimedia display with a solid-state projection screen.
  • FIG. 2 is a gesture control device for a multimedia display with a non-solid-state projection screen.
  • FIG. 3 is an illustration of an arrangement of IR photodiodes and IR LEDs alternating in one row.
  • FIG. 4 is an illustration of an arrangement of IR photodiodes and IR LEDs in two parallel rows.
  • FIG. 5 is an illustration of an arrangement of IR photodiodes and IR LEDs interspersed in two parallel rows.
  • FIG. 6 is an illustration of the principle of determining the coordinates of touch areas on the touch plane.
  • FIG. 7 illustration of the principle of determining the coordinates of one area and touch on the touch plane.
  • FIG. 8 is an illustration of the principle of determining the coordinates of several touch areas on the touch plane.
  • FIG. 9 is an example of the implementation of the backlight signals of three touch planes.
  • FIG. 10 is an example block diagram of a gesture control device.
  • FIG. 11 is an example implementation of the backlight signals of three sensor planes to provide filtering of interference from interfering light sources.
  • FIG. 12 is an example of the implementation of the backlight signal of one touch plane on the principle of "running fire".
  • FIG. 1 shows a general view of a multimedia display with a solid state projection screen.
  • the multimedia display comprises a device (50) for forming an aerosol projection screen (40) in the form of a flat cloud of aerosol, the dispersed phase of which consists, for example, of droplets (particles) of liquid, i.e. in the form of fog, and a projection device (30) for imaging on an aerosol projection screen (40).
  • a different method for generating physically permeable images may be used in the multimedia display, for example, using coherent laser radiation generating a two-dimensional or three-dimensional image in a gas or aerosol medium.
  • the sensory plane (20) is formed by the gesture control device (60) (Fig. 2).
  • the projection screen may have a shape other than flat.
  • the sensory region also has a shape other than flat.
  • the projection screen and, accordingly, the touch area can be in the form of a part of the side surface of the cylinder (with a vertical orientation of the screen) or the shape of the side surface of a truncated cone (with an inclined orientation of the screen).
  • the area of space for recognizing control gestures may be a three-dimensional figure, the shape of which depends on the needs of the user.
  • such a touch region may be limited by a plane substantially coinciding with the projection screen and a hemisphere located on the user side, the diameter of which is comparable to the dimensions of the projection screen.
  • FIG. 2 shows a gesture control device for a multimedia display with a non-solid-state projection screen.
  • Signature device (60)
  • the control includes an optical device (70) containing many sources of infrared radiation and many optical sensors, and a computing device (32) that processes the signals of the optical sensors in order to detect and recognize gestures.
  • the optical device (70) comprises a line of IR light-emitting diodes (26) and IR-photo diodes (1 1) equipped with narrow-band IR filters and lenses providing the required spectral characteristics and radiation pattern.
  • one or more other types of infrared radiation sources may be used, for example, a laser source with a corresponding optical scanning system.
  • other types of optical sensors may also be used, for example
  • IR light diodes (26) and IR photo diodes (1 1) can be interspersed in one row (Fig. 3), or in several parallel rows (Fig. 4), or interspersed in several parallel rows (Fig. 5) .
  • Adjacent IR LEDs (26) and IR photo diodes (11) can be combined in one housing using a common narrow-band IR filter and / or a common lens.
  • optical focusing elements prisms, mirrors, and the like — can be used in place of or in conjunction with lenses.
  • IR LEDs (26) provide illumination of the touch plane (20).
  • the type, wavelength of radiation, radiation power, and radiation pattern of IR LEDs (26) are determined depending on the geometric dimensions of the projection screen (40) or its touch area. The selection of these parameters is a trivial task for a person skilled in the art and a detailed description thereof is omitted.
  • IR radiation reflected from a control object (finger, hand, other part of a human body or other object) introduced into the sensory region enters the IR photo diodes (11).
  • the type, wavelength of maximum sensitivity, sensitivity, and radiation pattern of IR photo diodes (11) are determined depending on the geometric dimensions of the projection screen (40) or its touch area.
  • FIG. 6 is a diagram for determining coordinates of touch areas on a touch plane.
  • IR photo diodes (1-I2) are arranged in a row and are equipped with lenses that provide the desired radiation pattern.
  • the angle a, characterizing the width of the radiation pattern in the touch plane (20), in one embodiment of the invention is approximately 10 °, and in other embodiments
  • the implementation of the invention may be from 5 ° to 15 °.
  • the width of the radiation pattern in the plane transverse to the touch plane (20) depends on the type of gestures and in the general case can be from 1 ° to 10 °.
  • opaque screens or apertures can also be used.
  • the touch area is a section of the control object with the touch plane (20).
  • the detected touch area may be unique (in the case of a single touch) or there may be several detected touch areas (in the case of multi-touch).
  • FIG. Figure 6 shows the case of two touch areas (21, 22), the touch area (22) being in the shadow of the touch area (21), which is the most difficult case for detecting and recognizing control gestures.
  • FIG. 7 illustrates the principle of determining the coordinates of one touch area on the touch plane.
  • the computing device (32) sequentially reads the signals of the IR photo diodes (1-I2) with the determination of the average illumination of each IR photo diode (1-I2), which in FIG. 7 and 8 conditionally
  • the X coordinate of the characteristic point of the contact area (for example, its geometric center) is calculated by the computing device (32) based on the previously known coordinates of the location of each IR photodiode (1st 2).
  • the X coordinate is calculated from the previously known coordinates of two adjacent IR photodiodes having the highest signal level from among IR photodiodes with a signal level
  • Xi, Xi + i are the coordinates, respectively, of the first and second of the above IR photodiodes, aj, aj + i - weighting coefficients, the values of which depend on the signal level, respectively, of the first and second of the above IR photodiodes.
  • the signal level of IR photodiodes depends on their illumination, and the signals of a group of IR photodiodes located next to each other and having the highest signal level from among IR photodiodes with a signal level exceeding a predetermined threshold value correspond to a contrasting touch area.
  • the X coordinate is calculated from the previously known coordinates of three adjacent IR photodiodes having the highest signal level from among IR photodiodes with a signal level
  • Xj_i, Xj, Xj + i are the coordinates, respectively, of the first, second and third of the above IR photodiodes
  • an, a, a, +1 are weighting coefficients, the values of which depend on the signal level, respectively, of the first, second, and third of the above IR photodiodes.
  • the distribution of the average illumination of IR photodiodes (1-I2) indicates the location of the center of the contact area (21) between the IR photodiodes (5) and (6).
  • the Y coordinate of the characteristic point of the touch region (for example, its geometric center) is calculated by the computing device (32) based on the phase difference of the emitted and received infrared signals.
  • the phase difference depends on the distance of the reflective surface and the method
  • the Y coordinate is calculated from the measured range of the control object based on the signals of three adjacent IR photodiodes having
  • Yj_i, Yj, Yj + i is the range determined, respectively, by the signals of the first, second and third of the above IR photodiodes, ai_i, aj, aj + i - weighting coefficients, the values of which depend on the signal level, respectively, of the first, second and third of the above IR photodiodes.
  • the IR LEDs (26) operate in a pulsed mode, implemented by a power source and / or an IR LED driver (26) under the control of a computing device (32).
  • FIG. Figure 8 illustrates the principle of determining the coordinates of several (in particular, two) contact areas on the touch plane.
  • the coordinates of the center of the touch region (21) are calculated similarly to the case in FIG. 7.
  • the coordinates of the center of the touch region (22) are calculated in a similar way, but taking into account the lower illumination of the control object in the touch region (22) and, accordingly, the lower signal level of IR photodiodes, which is due to the greater range of the touch region (22) and the control facility
  • the distribution of the average illumination of IR photodiodes indicates the location of the center of the contact region (22) between the IR photodiodes (7) and (8).
  • the computing device can determine several groups of IR photodiodes located nearby and having the highest signal level from among the IR photodiodes with a signal level exceeding a predetermined threshold value, while the signals of each such group of IR photodiodes can correspond to different contrast areas of contact.
  • the X coordinate is calculated according to the coordinates calculated by one of the above or another similar method, taking into account the fact that the shadowing of one control object by another can lead to the existence of two groups of IR photodiodes having the highest signal level from among the IR photodiodes with the signal level exceeding a predetermined threshold value corresponding to one touch area.
  • a more complex algorithm is used, which also takes into account the Y coordinate when determining which region of contact this or that detected characteristic point belongs to.
  • the number of IR photodiodes depends on the required accuracy of determining the X coordinate. For example, for a medium-sized screen (about 1 m wide), an acceptable accuracy of determining the X coordinate is achieved when the number of IR photodiodes is 128.
  • a time shift of the signals emitted by IR LEDs (26), which form different touch planes is used.
  • FIG. Figure 9 shows an example of signals for three sensory planes, where the signals of the first, second, and third sensory planes are sequentially emitted in the time interval t c , and these signals do not substantially overlap in time.
  • IR LEDs (26) of various sensor planes can have different radiation wavelengths, and IR photo diodes (1 1), respectively, different wavelengths of maximum sensitivity.
  • FIG. 10 is a block diagram of a gesture control device (60).
  • the computing device (32) performs the processing of the signals of the optical sensors in order to detect and recognize gestures.
  • the computing device (32) comprises means (34) for reading and primary processing the signals of the infrared radiation receivers, means (37) for recognizing gestures, means (38) for controlling the image, means (39) for controlling the sound, smell and other auxiliary multimedia
  • the means (34) for reading and primary processing of the signals of the infrared radiation receivers contains at least a multiplexing circuit and one or more digital signal processing processors and reads the signals of the infrared photodiodes (11) in a certain sequence and at a certain time, as well as performs calculation of the coordinates of the characteristic point of the touch area or several touch areas by the control object of the touch plane (20).
  • the gesture recognition tool (37) performs gesture recognition based on the calculated coordinates taking into account the change in these coordinates over time and generates control commands that affect the image, sound, smells and other means of information delivery involved in the multimedia display.
  • the means (38) for managing the image based on these control commands generates a video stream displayed on the screen of the multimedia display.
  • Means (39) for controlling sound, smell, etc. generates a sound stream, odor synthesizer control commands, etc.
  • the means (36) for matching operation modes comprises at least a demultiplexing circuit and a synchronization circuit, and generates signals emitted by infrared radiation sources, and also performs coordination of operation modes of infrared radiation sources and infrared radiation receivers. Behind
  • the technical implementation of the computing device (32) is quite traditional in the art and can be carried out by a specialist of average skill without any special difficulties.
  • the computing device (32) is structurally integrated with the device (50) for forming a projection screen and / or with the projection device (30).
  • computing device (32) may include a separate general purpose computing device.
  • the functions of matching the operating modes of infrared sources and infrared receivers, reading and primary processing of signals from infrared receivers can be performed by one or more specialized computing devices based on one or more processors of digital signal processing (DSP), programmable logic integrated circuits (FPLD), custom integrated circuits (ASIC), multiplexers, demultiplexers, etc., structurally integrated with a device (50) for forming a projection screen and / or a projection device (30), and the control gesture and the image recognition function (if necessary including the formation of three-dimensional
  • DSP digital signal processing
  • FPLD programmable logic integrated circuits
  • ASIC custom integrated circuits
  • the gesture control device (60) comprises one or more IR cameras (31) located on the side of the projection screen opposite to the user’s location side and, accordingly, the side on which the control object approaches or is located for the most part driven
  • the computing device (32) also processes the signals of the IR cameras (31) in order to detect and recognize gestures.
  • various types of photosensitive devices operable in the infrared range can be used, forming a two-dimensional or three-dimensional image and having sufficient
  • photosensitive devices are matrix infrared detectors using bolometric sensors, pyroelectric sensors,
  • thermoelectric sensors photon sensors
  • CMOS sensors on CMOS structures, including ⁇ sensors with separate exposure of pixels
  • CCD sensors with charge coupling
  • CPD sensors with charge pumping
  • CID sensors with charge injection
  • the Z coordinate is calculated from the measured range of the control object based on the signals
  • Z 0.25b, Z ,. + 0.25b i + Z M + 0.25c, Z + 0.25c y + 1 Z ; +1?
  • Zj, Zj +1 is the range determined, respectively, for the first and second adjacent adjacent horizontal pixels of the image from among the above four pixels of the image,
  • Zj, Z j + 1 is the range determined, respectively, for the third and fourth pixels of the image adjacent to the vertical pixels of the image from among the above four pixels of the image,
  • bi, bj + i Cj, Cj + i - weighting coefficients the values of which depend on the brightness level, respectively, of the first, second, third and fourth pixels of the image from the number of the above image pixels.
  • the second, third and fourth pixels constitute a compactly located group, where these pixels have two adjacent sides.
  • IR cameras (31) located outside the touch plane (20), together with IR photo diodes (1 1) located in the touch plane (20), allows to increase the resolution of the gesture control device and the reliability of detection and recognition control gestures, especially if one control object is obscured by another
  • FIG. 11 illustrates an example of backlight signals for implementing said image filtering.
  • the IR camera (31) performs sequential formation of at least one frame during each of the time intervals ti, t 2 , t 3 , U, and the computing device (32) performs the subtraction of at least one image obtained on the interval time U, from the corresponding images obtained at time intervals tj, t 2 , t 3 .
  • the images obtained at time intervals ti, t 2 , t 3 contain contrasting touch areas in the touch planes, and the image obtained at the time interval does not contain these contrasting areas of touch. Moreover, the images obtained at all time intervals contain contrast regions corresponding to interfering sources of infrared radiation. Thus, subtracting the image obtained at the time interval from the images obtained at the time intervals ti, t 2 , t 3 can significantly reduce the influence of interfering sources of infrared radiation and increase the noise immunity of the gesture control device.
  • the signals of IR LEDs (26), designed to illuminate one sensor plane (20), can be shifted relative to each other in time so that they do not substantially overlap in time.
  • switching IR LEDs (26), intended for illumination of one sensor plane (20) it is carried out according to the “running fire” principle, and the reading of signals from IR photodiodes (11) in each sensor plane (20) is coordinated in time with the signals of IR LEDs (26), which allows increasing the backlight intensity without exceeding the permissible average power consumed by each of the IR LEDs (26) and, accordingly, increase the noise immunity of the gesture control device.
  • FIG. 12 shows an example of backlight signals according to the “running fire” principle of one touch plane corresponding to the time interval ti in FIG. eleven.
  • FIG. 2 shows an example implementation of the specified image filtering.
  • Two IR cameras (31) perform the simultaneous formation of frames containing contrasting regions corresponding to the touch plane (20) of the touch plane (20) and the interfering IR radiation source (23).
  • the contrast region (24) corresponds to the interfering source (23) of IR radiation
  • the interfering IR source (23) corresponds to a contrast region (25) different from the contrast region (24).
  • the gesture control device (60) contains one or more additional sources (33) of infrared radiation (Fig. 2) arranged so as to prevent direct radiation from entering the infrared photo diodes (11) or IR cameras (31).
  • the computing device (32) also matches the operating modes of additional sources (33) of IR radiation and IR cameras (31).
  • the signals of additional sources (33) of infrared radiation can coincide in time with the signals of one or more sensor planes, or the signals of such additional sources of infrared radiation can be emitted on time intervals other than the time intervals of the emission of the signals of the sensor planes.
  • additional sources (33) of IR radiation reflected from the control object turns out to be closer to the normal with respect to IR cameras (31) than of the reflected radiation of IR photo diodes (11), which makes it possible to obtain a more contrast image with IR cameras (31) and to further increase the resolution of the gesture control device, especially along the Z coordinate, and due to this, to implement control using the most complex gestures.
  • additional sources (33) of infrared radiation operate in a pulsed mode implemented by a power source and / or driver
  • additional sources (33) of infrared radiation can be structurally combined with infrared cameras (31).
  • the computing device (32) converts certain sequences of signals received from IR photo diodes (11) and IR cameras (31) into appropriate control commands, for example, “rotation”, “increase”, “decrease”, “approximation” ",” Deletion ", etc.
  • control commands constitute a gesture system that allows three-dimensional manipulation of three-dimensional images displayed on the plane of the screen.
  • control object for example, clenching fingers into a fist
  • control object without reference to the coordinates of the control object in space and converting them into certain
  • control commands for example, “decrease”
  • a selection gesture can be a single touch of a managed object with one finger
  • a rotation gesture can be a circular motion with a finger performed in any part of the screen.
  • a flat image of a controlled object is formed on the basis of a three-dimensional spatial model, which is calculated by a computing device, while control objects (for example, hands) are recreated in a three-dimensional spatial model and interact with other objects of this model according to the laws of this model.
  • the laws of the model can imitate the physical laws of the real world (take into account gravity, elastic interaction, linear perspective, etc.). Moreover, it is important not only the trajectory of the control object in space, but also how the coordinates of the control object relate to
  • the selection of a managed object can be performed in conjunction with the management itself.
  • the selection of a controlled object can be carried out by the “capture” brush gesture, and the rotation can be performed directly by the “rotation” brush gesture immediately after it.
  • Three-dimensional images imitates interaction with physical objects in three-dimensional space and can be used in business applications, medical systems, computer-aided design systems, games, when navigating three-dimensional sites, etc.
  • 3D image manipulation can be performed by one or more
  • the technical result of the present invention is the implementation of the gesture control and data input functions when using a non-solid-state screen, including the single-touch, multi-touch and gesture control functions of one or more human hands, achieved through the use of pulsed IR radiation sources equipped with focusing optical elements and oriented so that their radiation is directed along a non-solid-state projection screen, infrared radiation receivers equipped with a focusing and optical elements configured to receive infrared radiation reflected from the control object, oriented in the same direction as the infrared sources located in the immediate vicinity of the infrared sources and together with the infrared sources determining at least at least one touch area, the use of one or more matrix receivers of infrared radiation, configured to receive infrared radiation reflected from the control object, and located on the projection side nnogo screen opposite the location of the user, applying one or more
  • a computing device configured to read signals from infrared receivers and at least one a matrix infrared receiver, determining the first coordinate of the control object based on a previously known location of each infrared receiver, determining the second coordinate of the control object based on the phase difference of the emitted infrared signal and the infrared signal received by each infrared receiver and determining the third coordinates of the control object based on the phase difference of the emitted infrared signal and the infrared signal received by at least one matrix receiver of infrared radiation Eden.
  • the technical result of the present invention is also to increase the noise immunity when implementing the functions of gesture control and data input using a non-solid-state screen, achieved through the use of
  • dynamic illumination of the touch plane due to the sequential formation of at least one image during each of the time intervals corresponding to the signals of infrared radiation sources, and at least one image during the time interval, which lacks all the signals of the sources of infrared radiation, subtracting at least one image obtained during the time interval, in which there are no signals of the sources of infrared radiation, from the images obtained during each of the time intervals corresponding to the signals of the sources of infrared radiation, as well as due to the simultaneous formation of at least two matrix receivers of infrared radiation of images containing a contrast region corresponding to the region of contact of the sensor region with the control object, and a contrast region corresponding to the interfering the source of infrared radiation, and the formation on the basis of the at least two images of a single image from which the contrast region corresponding to the mesh is removed source of infrared radiation.
  • the technical result of the present invention is also the implementation of the functions of gesture control and data input, simulating actions with

Abstract

Заявлено устройство жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном, содержащее источники ИК-излучения, работающие в импульсном режиме, оснащенные фокусирующими оптическими элементами и ориентированные так, что их излучение направлено вдоль нетвердотельного проекционного экрана, приемники ИК-излучения, оснащенные фокусирующими оптическими элементами, выполненные с возможностью приема ИК-излучения, отраженного от управляющего объекта, ориентированные в том же направлении, что и источники ИК-излучения, расположенные в непосредственной близости от источников ИК-излучения и совместно с источниками ИК-излучения определяющие, по меньшей мере, одну сенсорную область, и вычислительное устройство, выполненное с возможностью считывания сигналов с приемников ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника ИК-излучения и определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого сигнала ИК-излучения.

Description

СПОСОБ И УСТРОЙСТВО ЖЕСТОВОГО УПРАВЛЕНИЯ
ДЛЯ МУЛЬТИМЕДИЙНОГО ДИСПЛЕЯ
Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству жестового управления для мультимедийного дисплея, в частности, к способу и устройству жестового управления для мультимедийного дисплея с нетвердотельным экраном.
Уровень техники
Жестовое управление устройствами включает в себя технологии управления, использующие определение координат области касания экрана управляющим объектом - синглтач (single-touch), определение координат нескольких областей касания экрана управляющим объектом - мультитач (multi-touch) и определение координат
управляющего объекта или его элементов без касания экрана - распознавание более сложных жестов пальцев, кистей, рук в целом, ног, головы, иных частей тела человека, а также мимики, движений глаз и т.п.
Жестовое управление применяется для управления различными устройствами, как правило, содержащими средства отображения визуальной информации (дисплеи или экраны в том или ином виде) или связанными с ними. Примерами таких устройств являются компьютеры, мультимедийные устройства (телевизоры, мониторы, видеопроекционные устройства, плееры, игровые устройства и т.п.), мобильные устройства (телефоны, смартфоны, планшетные устройства и т.п.), бытовая техника (холодильники, кухонные плиты, духовые шкафы, микроволновые печи, стиральные машины, увлажнители воздуха, охранные системы, системы «умный дом» и т.п.). В настоящем документе под мультимедийным дисплеем понимается любое средство отображения визуальной информации в составе устройства, примеры которого приведены выше.
Мультимедийный дисплей может быть оснащен нетвердотельным экраном, т.е. экраном, который является физически проницаемым для людей, иных живых существ, а также для предметов. Реализация функций синглтач, мультитач и иных способов жестового управления при использовании нетвердотельного экрана отличается от традиционных технических решений при использовании экранов с твердой
поверхностью.
Известна реализация функций жестового управления при использовании нетвердотельного экрана в патенте US20100295823 (Korea Electronics Technology Institute, 25.11.2010). В данном решении применяется линейка ИК-светодиодов, обеспечивающая подсветку сенсорной плоскости, и ИК-камера, выполняющая роль оптического датчика. Изображение с камеры обрабатывается таким образом, чтобы определить координаты центра области касания, которые затем используются при выполнении соответствующих функций управления. Особенностью указанного решения является невозможность определения координат центров нескольких областей касания, что необходимо для реализации функций мультитач и более сложных способов жестового управления. Кроме того, в нем не предусмотрено особых мер по обеспечению помехоустойчивости, что может приводить к ошибкам вследствие воздействия на камеру внешних источников ИК-излучения.
Известна реализация функций жестового управления при использовании нетвердотельного экрана в патенте US201 10148821 (Korea Electronics Technology Institute, 23.06.2011), в котором реализована импульсная подсветка сенсорной плоскости, причем работа ИК-камеры синхронизирована с подсветкой. По сравнению с непрерывной подсветкой, применение импульсной подсветки с высокой скважностью позволяет увеличить интенсивность подсветки в моменты работы ИК-камеры без превышения средней допустимой мощности ИК-светодиодов, что позволяет несколько повысить помехоустойчивость работы. Особенностью указанного решения также является невозможность определения координат центров нескольких областей касания, что необходимо для реализации функций мультитач и более сложных способов жестового управления.
Известна реализация функций жестового управления при использовании нетвердотельного экрана в патенте US20110148822 (Korea Electronics Technology Institute, 23.06.2011), в котором использована импульсная подсветка сенсорной плоскости и применены две ИК-камеры, расположенные в плоскости, совпадающей с сенсорной плоскостью, причем изображения с камер обрабатываются таким образом, чтобы определить координаты X, Υ, Z центра области касания, которые затем используются при выполнении соответствующих функций управления. Особенностью указанного решения является невозможность определения координат центров нескольких областей касания, что необходимо для реализации функций мультитач и более сложных способов жестового управления. Кроме того, работоспособность указанного решения обеспечивается лишь в центральной части экрана.
Известна реализация функций жестового управления при использовании нетвердотельного экрана в патенте US6857746 (102 Technology, 22.02.2005), в котором W
3 с помощью лазерного источника ИК-излучения и вращающегося зеркала реализована подсветка одной или двух сенсорных плоскостей, расположенных с одной или с двух сторон нетвердотельного экрана, причем длины волн подсветки двух сенсорных плоскостей различаются, что позволяет определять координаты X, Υ, Z области касания. Особенностью указанного решения является невозможность определения координат центров нескольких областей касания, что необходимо для реализации функций мультитач и более сложных способов жестового управления. Кроме того, в нем не предусмотрено особых мер по обеспечению помехоустойчивости, что приводит к ошибкам вследствие воздействия на оптический датчик внешних источников ИК- излучения.
Известна реализация функций жестового управления при использовании нетвердотельного экрана в патенте FI117307 (Ismo Rakkolainen, 31.08.2006), в котором применены источник ИК-излучения и одна или две ИК-камеры, причем источник и камеры расположены вне сенсорной плоскости. Особенности указанного решения связаны с ограничениями, характерными для ИК-камер глубины - ограниченной дальностью действия, малым углом обзора, низкой разрешающей способностью и недостаточным быстродействием.
Известна реализация функций жестового управления, пригодная для
использования совместно с нетвердотельным экраном, в патентной заявке
US20110304586А1 (Yeh Chia-Jui и др., 15.12.2011). Особенностью указанного решения является невозможность определения координат центров нескольких областей касания, что необходимо для реализации функций мультитач и более сложных способов жестового управления. Кроме того, в нем не предусмотрено особых мер по
обеспечению помехоустойчивости, что может приводить к ошибкам вследствие воздействия на оптический датчик внешних источников ИК-излучения.
Известна реализация функций жестового управления безотносительно к конкретному типу экрана в технических решениях Kinect (Microsoft), Softkinetic (Softkinetic Software) и Leap (Leap Motion), в которых применены источник ИК- излучения и одна или несколько ИК-камер, причем понятие сенсорной плоскости в этих случаях неприменимо. Особенностью указанных решений также определяются ограничениями, характерными для ИК-камер глубины.
Целью настоящего изобретения является реализация функций жестового управления и ввода данных при использовании нетвердотельного экрана, включая функции синглтач, мультитач и управление жестами одной или нескольких кистей рук человека.
Целью настоящего изобретения также является реализация функций жестового управления и ввода данных при использовании нетвердотельного экрана с
обеспечением повышенной помехоустойчивости.
Целью настоящего изобретения также является реализация функций жестового управления и ввода данных, имитирующих действия с физическими объектами в реальном времени, например, их захват, перемещение, вращение, деформацию и т.п.
Раскрытие изобретения
Указанные выше цели достигнуты посредством одного или нескольких аспектов настоящего изобретения.
Один аспект настоящего изобретения представляет собой устройство жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном, содержащее
источники ИК-излучения, работающие в импульсном режиме, оснащенные фокусирующими оптическими элементами и ориентированные так, что их излучение направлено вдоль нетвердотельного проекционного экрана,
приемники ИК-излучения, оснащенные фокусирующими оптическими элементами, выполненные с возможностью приема ИК-излучения, отраженного от управляющего объекта, ориентированные в том же направлении, что и источники ИК- излучения, расположенные в непосредственной близости от источников ИК-излучения и совместно с источниками ИК-излучения определяющие, по меньшей мере, одну сенсорную область, и
вычислительное устройство, выполненное с возможностью считывания сигналов с приемников ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника ИК- излучения и определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого сигнала ИК-излучения.
Другой аспект настоящего изобретения представляет собой устройство жестового управления для мультимедийного дисплея с нетвердотельным
проекционным экраном, содержащее источники ИК-излучения, работающие в импульсном режиме, оснащенные фокусирующими оптическими элементами и ориентированные так, что их излучение направлено вдоль нетвердотельного проекционного экрана,
приемники ИК-излучения, оснащенные фокусирующими оптическими элементами, выполненные с возможностью приема ИК-излучения, отраженного от управляющего объекта, ориентированные в том же направлении, что и источники ИК- излучения, расположенные в непосредственной близости от источников ИК-излучения и совместно с источниками ИК-излучения определяющие, по меньшей мере, одну сенсорную область,
по меньшей мере, один матричный приемник ИК-излучения, выполненный с возможностью приема ИК-излучения, отраженного от управляющего объекта, и расположенный со стороны проекционного экрана, противоположной стороне расположения пользователя, и
вычислительное устройство, выполненное с возможностью считывания сигналов с приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника ИК-излучения, определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого каждым приемником ИК-излучения сигнала ИК-излучения и определения третьей координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого, по меньшей мере, одним матричным приемником ИК-излучения сигнала ИК-излучения.
Вычислительное устройство может быть выполнено с возможностью
определения первой координаты управляющего объекта на основании заранее известного расположения приемников ИК-излучения, составляющих группу
расположенных рядом приемников ИК-излучения, имеющих наибольший уровень сигнала из числа приемников ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение, с возможностью определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и сигнала ИК-излучения, принятого приемниками ИК-излучения, составляющими группу расположенных рядом приемников ИК-излучения, имеющих наибольший уровень сигнала из числа приемников ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение, и с возможностью определения третьей координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и сигнала ИК-излучения, принятого расположенными рядом элементами матричного приемника ИК-излучения, имеющими наибольший уровень сигнала из числа элементов матричного приемника ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
Вычислительное устройство может содержать средство для считывания и первичной обработки сигналов приемников ИК-излучения, средство для распознавания жестов, средство для управления изображением, средство для управления звуком, запахом и т.п. и средство для согласования режимов работы источников ИК-излучения и приемников ИК-излучения.
Вычислительное устройство также может содержать средство для считывания и первичной обработки сигналов, по меньшей мере, одного матричного приемника ИК- излучения и/или средство для согласования режимов работы источников ИК- излучения, по меньшей мере, одного дополнительного источника ИК-излучения, приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК- излучения.
Сенсорная область может иметь плоскую форму или форму, отличную от плоской.
Источники ИК-излучения и приемники ИК-излучения могут быть расположены в один ряд или в несколько параллельных рядов.
Источники ИК-излучения и/или приемники ИК-излучения могут быть дополнительно оснащены узкополосными ИК-фильтрами.
Фокусирующие оптические элементы приемников ИК-излучения обеспечивают диаграмму направленности, имеющую ширину в плоскости, касательной к сенсорной области, в диапазоне от 5° до 15° и ширину в плоскости, нормальной к сенсорной области, от 1° до 10°. Устройство жестового управления может дополнительно содержать непрозрачные экраны или диафрагмы, обеспечивающие упомянутые характеристики диаграммы направленности приемников ИК-излучения.
Смежные, по меньшей мере, один источник ИК-излучения и, по меньшей мере, один приемник ИК-излучения могут быть объединены в одном корпусе с
использованием общего узкополосного ИК-фильтра. Кроме того, смежные, по меньшей мере, один источник ИК-излучения и, по меньшей мере, один приемник ИК-излучения могут быть объединены в одном корпусе с использованием общего фокусирующего оптического элемента. Несколько сенсорных областей могут быть ориентированы в одном направлении и расположены с одной или с разных сторон проекционного экрана, при этом
вычислительное устройство дополнительно может быть выполнено с возможностью определения третьей координаты управляющего объекта на основании заранее известного расположения сенсорных областей.
Сигналы источников ИК-излучения, предназначенных для разных сенсорных областей, могут быть сдвинуты друг относительно друга во времени таким образом, что они существенно не перекрываются во времени. Кроме того, источники ИК- излучения, предназначенные для разных сенсорных областей, могут иметь различную длину волны излучения, а приемники ИК-излучения, предназначенные для разных сенсорных областей, могут иметь различную длину волны максимальной
чувствительности.
Сигналы источников ИК-излучения, предназначенных для одной сенсорной области, могут быть сдвинуты друг относительно друга во времени таким образом, что они существенно не перекрываются во времени.
Вычислительное устройство может быть выполнено с возможностью
преобразования сигналов, полученных от приемников ИК-излучения, в управляющие команды, воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
Вычислительное устройство может содержать специализированное
вычислительное устройство, конструктивно объединенное с устройством для
формирования проекционного экрана мультимедийного дисплея и/или с проекционным устройством мультимедийного дисплея. Вычислительное устройство также может содержать отдельное вычислительное устройство общего назначения.
Вычислительное устройство может быть выполнено с возможностью вычитания, по меньшей мере, одного изображения, полученного в течение интервала времени, в котором отсутствуют все сигналы источников ИК-излучения, из изображений, полученных в течение каждого из интервалов времени, соответствующих сигналам источников ИК-излучения.
Устройство жестового управления может содержать, по меньшей мере, два матричных приемника ИК-излучения, выполненных с возможностью одновременного формирования изображений, содержащих контрастную область, соответствующую области касания сенсорной области управляющим объектом, и контрастную область, соответствующую мешающему источнику ИК-излучения, а вычислительное устройство может быть выполнено с возможностью формирования на основе изображений, сформированных, по меньшей мере, двумя матричными приемниками ИК-излучения, единого изображения, из которого удалена контрастная область, соответствующая мешающему источнику ИК-излучения.
Устройство жестового управления может содержать, по меньшей мере, один дополнительный источник ИК-излучения, работающий в импульсном режиме, расположенный со стороны проекционного экрана, противоположной стороне расположения пользователя, таким образом, чтобы исключить попадание его прямого излучения в приемники ИК-излучения и в матричные приемники ИК-излучения.
По меньшей мере, один дополнительный источник ИК-излучения может быть выполнен с возможностью излучения сигналов, совпадающих по времени с сигналами источников ИК-излучения или с возможностью излучения сигналов, отличных по времени от сигналов источников ИК-излучения.
По Меньшей мере, один дополнительный источник ИК-излучения может быть конструктивно объединен с, по меньшей мере, одним матричным приемником ИК- излучения.
Вычислительное устройство может быть выполнено с возможностью
преобразования сигналов, полученных от приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК-излучения, в управляющие команды, воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
Вычислительное устройство может быть выполнено с возможностью
преобразования сигналов, полученных от приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК-излучения, в управляющие команды, используемые для формирования на нетвердотельным проекционном экране
изображения управляемого объекта на основе трехмерной пространственной модели, существующей в вычислительном устройстве, при этом управляющий объект может быть воссоздан в трехмерной пространственной модели и обеспечена возможность его взаимодействия с управляемым объектом по законам трехмерной пространственной модели. При этом законы трехмерной пространственной модели могут соответствовать физическим законам реального мира, а при преобразовании сигналов, полученных от приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК- излучения, в управляющие команды может быть учтена не только траектория движения управляющего объекта в пространстве, но и соотношение координат управляющего объекта с координатами управляемого объекта в трехмерной пространственной модели.
Еще один аспект настоящего изобретения представляет собой способ жестового управления для мультимедийного дисплея с использованием упомянутого выше устройства жестового управления для мультимедийного дисплея с нетвердотельным проекционньм экраном, включающий в себя следующие действия:
обеспечивают источники ИК-излучения, приемники ИК-излучения, совместно с источниками ИК-излучения определяющие, по меньшей мере, одну сенсорную область, и вычислительное устройство, выполненное с возможностью обработки сигналов, полученных от приемников ИК-излучения,
обрабатывают сигналы, полученные от приемников ИК-излучения, при этом определяют первую координату управляющего объекта на основании заранее известного расположения каждого приемника ИК-излучения, определяют вторую координату управляющего объекта на основании разницы фаз излученного сигнала ИК- излучения и принятого сигнала ИК-излучения и
преобразуют упомянутые координаты в управляющие команды,
воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
Еще один аспект настоящего изобретения представляет собой способ жестового управления для мультимедийного дисплея с использованием упомянутого выше устройства жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном, включающий в себя следующие действия:
обеспечивают источники ИК-излучения, приемники ИК-излучения, совместно с источниками ИК-излучения определяющие, по меньшей мере, одну сенсорную область, по меньшей мере, один матричный приемник ИК-излучения, расположенный со стороны проекционного экрана, противоположной стороне расположения
пользователя, и вычислительное устройство, выполненное с возможностью обработки сигналов, полученных от приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК-излучения, и
обрабатывают сигналы, полученные от приемников ИК-излучения и от, по меньшей мере, одного матричного приемника ИК-излучения, при этом определяют первую координату управляющего объекта на основании заранее известного
расположения каждого приемника ИК-излучения, определяют вторую координату управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого приемниками ИК-излучения сигнала ИК-излучения, и определяют третью координату на основании разницы фаз излученного сигнала ИК-излучения и принятого, по меньшей мере, одним матричным приемником ИК-излучения сигнала ИК- излучения, и
преобразуют упомянутые координаты в управляющие команды,
воздействующие на управляемый объект в соответствии с траекторией движения управляющего объекта в пространстве и с учетом соотношения координат
управляющего объекта с координатами управляемого объекта в трехмерной
пространственной модели и используемые для формирования на нетвердотельном проекционном экране изображения управляемого объекта на основе трехмерной пространственной модели, существующей в вычислительном устройстве, при этом управляющий объект воссоздают в трехмерной пространственной модели и
обеспечивают возможность его взаимодействия с управляемым объектом по законам трехмерной пространственной модели.
Краткое описание чертежей
Фиг. 1 - мультимедийный дисплей с нетвердотельным проекционным экраном.
Фиг. 2 - устройство жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном.
Фиг. 3 - иллюстрация варианта расположения ИК-фотодиодов и ИК- светодиодов вперемежку в один ряд.
Фиг. 4 - иллюстрация варианта расположения ИК-фотодиодов и ИК- светодиодов в два параллельных ряда.
Фиг. 5 - иллюстрация варианта расположения ИК-фотодиодов и ИК- светодиодов вперемежку в два параллельных ряда.
Фиг. 6 - иллюстрация принципа определения координат областей касания на сенсорной плоскости.
Фиг. 7 - иллюстрация принципа определения координат одной области а касания на сенсорной плоскости.
Фиг. 8 - иллюстрация принципа определения координат нескольких областей касания на сенсорной плоскости.
Фиг. 9 - пример реализации сигналов подсветки трех сенсорных плоскостей.
Фиг. 10 - пример блок-схемы устройства жестового управления. Фиг. 11 - пример реализации сигналов подсветки трех сенсорных плоскостей для обеспечения фильтрации помех от мешающих источников света.
Фиг. 12 - пример реализации сигнала подсветки одной сенсорной плоскости по принципу «бегущего огня».
Осуществление изобретения
На фиг. 1 представлен общий вид мультимедийного дисплея с нетвердотельным проекционным экраном. В предпочтительном варианте осуществления изобретения мультимедийный дисплей содержит устройство (50) для формирования аэрозольного проекционного экрана (40) в виде плоского облака аэрозоля, дисперсная фаза которого состоит, например, из капель (частиц) жидкости, т.е. в виде тумана, и проекционное устройство (30) для формирования изображения на аэрозольном проекционном экране (40). В других вариантах осуществления изобретения в мультимедийном дисплее может использоваться другой способ формирования физически проницаемых изображений, например, с использованием когерентного лазерного излучения, формирующего двумерное или трехмерное изображение в газовой или аэрозольной среде.
Параллельно проекционному экрану (40) расположена сенсорная плоскость (20), в которой выполняется обнаружение жестов. Сенсорная плоскость (20) формируется устройством (60) жестового управления (фиг. 2).
В другом варианте осуществления изобретения проекционный экран может иметь форму, отличную от плоской. В этом случае сенсорная область также имеет форму, отличную от плоской. Например, проекционный экран и, соответственно, сенсорная область могут иметь форму части боковой поверхности цилиндра (при вертикальной ориентации экрана) или форму боковой поверхности усеченного конуса (при наклонной ориентации экрана). В других вариантах осуществления изобретения область пространства, предназначенная для распознавания управляющих жестов (сенсорная область), может представлять собой объемную фигуру, форма которой зависит от потребностей пользователя. Например, такая сенсорная область может быть ограничена плоскостью, по существу совпадающей с проекционным экраном, и полусферой, расположенной со стороны пользователя, диаметр которой сопоставим с размерами проекционного экрана.
На фиг. 2 представлено устройство жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном. Устройство (60) жестового управления содержит оптическое устройство (70), содержащее множество источников ИК-излучения и множество оптических датчиков, и вычислительное устройство (32), выполняющее обработку сигналов оптических датчиков с целью обнаружения и распознавания жестов.
В предпочтительном варианте осуществления изобретения оптическое устройство (70) содержит линейку ИК-свето диодов (26) и ИК-фото диодов (1 1), оснащенных узкополосными ИК-фильтрами и линзами, обеспечивающими требуемые спектральные характеристики и диаграмму направленности. В других вариантах осуществления изобретения может использоваться один или несколько источников ИК- излучения другого типа, например, источник лазерного излучения с соответствующей оптической системой развертки. В других вариантах осуществления изобретения также могут использоваться другие типы оптических датчиков, например
фоточувствительные ПЗС -устройства, КМОП-устройства, болометрические датчики и т.п. ИК-свето диоды (26) и ИК-фото диоды (1 1) могут располагаться вперемежку в один ряд (фиг. 3), или в несколько параллельных рядов (фиг. 4), или вперемежку в несколько параллельных рядов (фиг. 5). Смежные ИК-светодиоды (26) и ИК-фото диоды (11) могут объединяться в одном корпусе с использованием общего узкополосного ИК- фильтра и/или общей линзы.
В других вариантах осуществления изобретения вместо линз или совместно с ними могут использоваться другие оптические фокусирующие элементы - призмы, зеркала и т.п.
ИК-светодиоды (26) обеспечивают подсветку сенсорной плоскости (20). Тип, длина волны излучения, мощность излучения и диаграмма направленности излучения ИК-светодиодов (26) определяются в зависимости от геометрических размеров проекционного экрана (40) или его сенсорной области. Выбор указанных параметров является тривиальной задачей для специалиста в данной области техники и его подробное описание опущено. ИК-из лучение, отраженное от управляющего объекта (пальца, кисти руки, иной части тела человека или другого предмета), введенного в сенсорную область, попадает в ИК-фото диоды (11). Тип, длина волны максимальной чувствительности, чувствительность и диаграмма направленности ИК-фото диодов (11) определяются в зависимости от геометрических размеров проекционного экрана (40) или его сенсорной области. Выбор указанных параметров также является тривиальной задачей для специалиста в данной области техники и его подробное описание опущено. На фиг. 6 представлена схема определения координат областей касания на сенсорной плоскости. ИК-фото диоды (1-И2) расположены в ряд и снабжены линзами, обеспечивающими требуемую диаграмму направленности. Угол а, характеризующий ширину диаграммы направленности в сенсорной плоскости (20), в одном из вариантов осуществления изобретения приблизительно равен 10°, а в других вариантах
осуществления изобретения может составлять от 5° до 15°. Ширина диаграммы направленности в плоскости, поперечной сенсорной плоскости (20), зависит от вида жестов и в общем случае может составлять от 1° до 10°. Для обеспечения указанных значений ширины диаграммы направленности, кроме линз, дополнительно могут использоваться непрозрачные экраны или диафрагмы.
Область касания представляет собой сечение управляющего объекта сенсорной плоскостью (20). В зависимости от реализуемого способа управления обнаруживаемая область касания может быть единственной (в случае синглтач) или обнаруживаемых областей касания может быть несколько (в случае мультитач). На фиг. 6 показан случай двух областей (21, 22) касания, причем область (22) касания находится в тени области (21) касания, что представляет собой наиболее сложный случай для обнаружения и распознавания управляющих жестов.
На фиг. 7 представлена иллюстрация принципа определения координат одной области касания на сенсорной плоскости. Вычислительное устройство (32) производит последовательное считывание сигналов ИК-фото диодов (1-И2) с определением средней освещенности каждого ИК-фото диода (1-И2), которая на фиг. 7 и 8 условно
представлена высотой зачерненной части.
Координата X характеристической точки области касания (например, ее геометрического центра) рассчитывается вычислительным устройством (32) на основании заранее известных координат расположения каждого ИК-фотодиода (1-й 2).
В одном варианте осуществления изобретения координата X рассчитывается по заранее известным координатам двух расположенных рядом ИК-фотодиодов, имеющих наибольший уровень сигнала из числа ИК-фотодиодов с уровнем сигнала,
превышающим заранее заданное пороговое значение:
Х = 0 а,Х, + 0,5амХм
где Xi, Xi+i - координаты, соответственно, первого и второго из упомянутых выше ИК-фотодиодов, aj, aj+i - взвешивающие коэффициенты, значения которых зависят от уровня сигнала, соответственно, первого и второго из упомянутых выше ИК-фотодиодов.
Уровень сигнала ИК-фотодиодов зависит от их освещенности и сигналы группы ИК-фотодиодов, расположенных рядом и имеющих наибольший уровень сигнала из числа ИК-фотодиодов с уровнем сигнала, превышающим заранее заданное пороговое значение, соответствуют контрастной области касания.
В другом варианте осуществления изобретения координата X рассчитывается по заранее известным координатам трех расположенных рядом ИК-фотодиодов, имеющих наибольший уровень сигнала из числа ИК-фотодиодов с уровнем сигнала,
превышающим заранее заданное пороговое значение:
X = 0,2α,_, Μ + Ο,βα,Χ, + 0,2амХм >
где Xj_i, Xj, Xj+i - координаты, соответственно, первого, второго и третьего из упомянутых выше ИК-фотодиодов,
an, аь а,+1 - взвешивающие коэффициенты, значения которых зависят от уровня сигнала соответственно, первого, второго и третьего из упомянутых выше ИК- фотодиодов.
Приведенное на фиг. 7 распределение средней освещенности ИК-фотодиодов (1-И2) указывает на расположение центра области (21) касания между ИК- фото диодами (5) и (6).
Координата Y характеристической точки области касания (например, ее геометрического центра) рассчитывается вычислительным устройством (32) на основании разности фаз излученного и принятого сигналов ИК-излучения. Разность фаз зависит от дальности расположения отражающей поверхности и способ
определения этой дальности, используемый в дальномерах, хорошо известен в данной области техники. В одном варианте осуществления изобретения координата Y рассчитывается по измеренной дальности расположения управляющего объекта на основании сигналов трех расположенных рядом ИК-фотодиодов, имеющих
наибольший уровень сигнала из числа ИК-фотодиодов с уровнем сигнала,
превышающим заранее заданное пороговое значение:
Y = 0,25^., + 0,5α,Υ, + 0,25aMYM ,
где Yj_i, Yj, Yj+i - дальность, определенная, соответственно, по сигналам первого, второго и третьего из упомянутых выше ИК-фотодиодов, ai_i, aj, aj+i - взвешивающие коэффициенты, значения которых зависят от уровня сигнала соответственно, первого, второго и третьего из упомянутых выше ИК- фотодиодов.
Для обеспечения возможности измерения упомянутой разности фаз ИК- светодиоды (26) работают в импульсном режиме, реализованном источником питания и/или драйвером ИК-светодиодов (26) под управлением вычислительного устройства (32).
На фиг. 8 представлена иллюстрация принципа определения координат нескольких (в частности, двух) областей касания на сенсорной плоскости. Координаты центра области (21) касания рассчитываются аналогично случаю на фиг. 7. Координаты центра области (22) касания рассчитываются подобным образом, но с учетом меньшей освещенности управляющего объекта в области (22) касания и, соответственно, меньшего уровня сигналов ИК-фотодиодов, что обусловлено большей дальностью расположения области (22) касания и затенением управляющего объекта,
соответствующего области (22) касания, управляющим объектом, соответствующим области (21) касания. Учет разницы указанных уровней сигналов (т.е. выбор заранее определенного порогового значения уровня сигнала) выполняется вычислительным устройством (32) за счет программной селекции паттернов сигналов, соответствующих известным управляющим объектам. Возможны также и другие способы учета разницы указанных уровней сигналов. На фиг. 8 распределение средней освещенности ИК- фотодиодов указывает на расположение центра области (22) касания между ИК- фотодиодами (7) и (8).
При наличии на сенсорной плоскости нескольких областей касания
вычислительное устройство может определить несколько групп ИК-фотодиодов, расположенных рядом и имеющих наибольший уровень сигнала из числа ИК- фотодиодов с уровнем сигнала, превышающим заранее заданное пороговое значение, при этом сигналы каждой такой группы ИК-фотодиодов могут соответствовать разным контрастным областям касания. В этом случае координата X рассчитывается по координатам, рассчитанным одним из приведенных выше или другим подобным способом, с учетом того, что затенение одного управляющего объекта другим может приводить к существованию двух групп ИК-фотодиодов имеющих наибольший уровень сигнала из числа ИК-фотодиодов с уровнем сигнала, превышающим заранее заданное пороговое значение, соответствующих одной области касания. В этом случае для вычисления координаты X такой «размытой» области касания может использоваться более сложный алгоритм, учитывающий также и координату Y при определении того, к какой области касания относится та или иная обнаруженная характеристическая точка.
Количество ИК-фотодиодов зависит от необходимой точности определения координаты X. Например, для экрана среднего размера (шириной порядка 1 м) приемлемая точность определения координаты X достигается при количестве ИК- фотодиодов, равном 128.
Для реализации функции одноточечного управления (в случае синглтач) или многоточечного управления (в случае мультитач) достаточно одной сенсорной плоскости (20). Для обнаружения и распознавания более сложных жестов требуется определение третьей координаты Z управляющего объекта, для чего может
применяться несколько сенсорных плоскостей (20), расположенных параллельно друг другу с одной или с разных сторон проекционного экрана (40). Для надежного различения областей касания, соответствующих различным сенсорным плоскостям, применяется временной сдвиг сигналов, излучаемых ИК-свето диодами (26), формирующими различные сенсорные плоскости. На фиг. 9 представлен пример сигналов для трех сенсорных плоскостей, где на интервале времени tc последовательно излучаются сигналы первой, второй и третьей сенсорных плоскостей, причем указанные сигналы существенно не перекрываются во времени. Кроме того, ИК- светодиоды (26) различных сенсорных плоскостей могут иметь различную длину волны излучения, а ИК-фото диоды (1 1) - соответственно, различную длину волны максимальной чувствительности.
На фиг. 10 представлена блок-схема устройства (60) жестового управления. Вычислительное устройство (32) вьшолняет обработку сигналов оптических датчиков с целью обнаружения и распознавания жестов. В одном варианте осуществления изобретения вычислительное устройство (32) содержит средство (34) для считывания и первичной обработки сигналов приемников ИК-излучения, средство (37) для распознавания жестов, средство (38) для управления изображением, средство (39) для управления звуком, запахом и иными вспомогательными мультимедийными
средствами и средство (36) для согласования режимов работы (фиг. 10). Средство (34) для считывания и первичной обработки сигналов приемников ИК-излучения содержит, по меньшей мере, схему мультиплексирования и один или несколько процессоров цифровой обработки сигналов и выполняет считывание сигналов ИК-фотодиодов (11) в определенной последовательности и в определенное время, а также выполняет вычисление координат характеристической точки области касания или нескольких областей касания управляющим объектом сенсорной плоскости (20). Средство (37) для распознавания жестов выполняет распознавание жестов на основании вычисленных координат с учетом изменения этих координат во времени и формирует управляющие команды, воздействующие на изображение, звук, запахи и иные средства доставки информации, задействованные в мультимедийном дисплее. Средство (38) для управления изображением на основании этих управляющих команд формирует видеопоток, отображаемый на экране мультимедийного дисплея. Средство (39) для управления звуком, запахом и т.п. формирует звуковой поток, команды управления синтезатором запахов и т.п. Средство (36) для согласования режимов работы содержит, по меньшей мере, схему демультиплексирования и схему синхронизации, и формирует сигналы, излучаемые источниками ИК-излучения, а также выполняет согласование режимов работы источников ИК-излучения и приемников ИК-излучения. За
исключением особенностей, описанных в данной заявке, техническая реализация вычислительного устройства (32) имеет вполне традиционный в данной области техники характер и может быть осуществлена специалистом средней квалификации без особых сложностей.
В предпочтительном варианте осуществления изобретения вычислительное устройство (32) конструктивно объединено с устройством (50) для формирования проекционного экрана и/или с проекционным устройством (30). В других вариантах осуществления изобретения вычислительное устройство (32) может включать в себя отдельное вычислительное устройство общего назначения. Например, функции согласования режимов работы источников ИК-излучения и приемников ИК-излучения, считывания и первичной обработки сигналов приемников ИК-излучения могут выполняться одним или несколькими специализированными вычислительными устройствами на основе одного или нескольких процессоров цифровой обработки сигналов (DSP), программируемых логических интегральных схем (FPLD), заказных интегральных схем (ASIC), мультиплексоров, демультиплексоров и т.п., конструктивно объединенным с устройством (50) для формирования проекционного экрана и/или с проекционным устройством (30), а функции распознавания жестов и управления изображением (при необходимости включая формирование трехмерной
пространственной модели), звуком, запахом и т.п. могут выполняться персональным компьютером (35). В другом предпочтительном варианте осуществления изобретения устройство (60) жестового управления содержит одну или большее количество ИК-камер (31), расположенных со стороны проекционного экрана, противоположной стороне расположения пользователя и, соответственно, стороне, с которой приближается или по большей части расположен управляющий объект, приводимый в движение
пользователем. В этом случае вычислительное устройство (32) выполняет также обработку сигналов ИК-камер (31) с целью обнаружения и распознавания жестов. В других вариантах осуществления изобретения могут применяться различные типы фоточувствительных устройств, работоспособных в ИК-диапазоне, формирующих двумерное или трехмерное изображение и обладающих достаточной
чувствительностью, быстродействием и разрешающей способностью. Примерами таких фоточувствительных устройств являются матричные приемники ИК-излучения с применением болометрических датчиков, пироэлектрических датчиков,
термоэлектрических датчиков, фотонных датчиков, CMOS-датчиков (на КМОП- структурах, включая ΡΙΧΙΜ-датчики с раздельной экспозицией пикселей), CCD- датчиков (с зарядовой связью), CPD-датчиков (с подкачкой заряда), CID-датчиков (с инжекцией заряда) и т.п.
В случае применения одной или большего количества ИК-камер (31) в одном варианте осуществления изобретения координата Z рассчитывается по измеренной дальности расположения управляющего объекта на основании сигналов,
соответствующих четырем расположенным рядом пикселям изображения,
сформированного такой ИК-камерой (31), имеющим наибольший уровень яркости из числа пикселей с уровнем яркости, превышающим заранее заданное пороговое значение:
Z = 0,25b,Z,. + 0,25bi+ ZM + 0,25c,Z + 0,25cy+1Z;+1 ? где Zj, Zj+1 - дальность, определенная, соответственно, для первого и второго смежно расположенных по горизонтали пикселей изображения из числа упомянутых выше четырех пикселей изображения,
Zj, Zj+1 - дальность, определенная, соответственно, для третьего и четвертого пикселей изображения, смежно расположенных по вертикали пикселей изображения из числа упомянутых выше четырех пикселей изображения,
bi, bj+i Cj, Cj+i - взвешивающие коэффициенты, значения которых зависят от уровня яркости соответственно, первого, второго, третьего и четвертого пикселей изображения из числа упомянутых выше пикселей изображения. При этом первый, второй, третий и четвертый пиксели составляют компактно расположенную группу, где указанные пиксели имеют по две смежные стороны.
Применение одной или нескольких ИК-камер (31), расположенных вне сенсорной плоскости (20), совместно с ИК-фото диодами (1 1), расположенными в сенсорной плоскости (20), позволяет повысить разрешающую способность устройства жестового управления и надежность обнаружения и распознавания управляющих жестов, особенно в случае затенения одного управляющего объекта другим
управляющим объектом.
Поскольку ИК-камера (31), расположенная вне сенсорной плоскости (20) и направленная в сторону проекционного экрана (40), в значительной степени
подвержена влиянию мешающих источников ИК-излучения (солнце, осветительные и нагревательные приборы, дальномеры фотоаппаратов и видеокамер и т.п.), для повышения помехоустойчивости устройства (60) жестового управления применена программная или программно-аппаратная фильтрация изображений, получаемых с ИК- камеры (31). На фиг. 11 представлен пример сигналов подсветки для реализации указанной фильтрации изображений. ИК-камера (31) выполняет последовательное формирование, по меньшей мере, одного кадра в течение каждого из интервалов времени ti, t2, t3, U и вычислительное устройство (32) выполняет вычитание, по меньшей мере, одного изображения, полученного на интервале времени U, из соответствующих изображений, полученных на интервалах времени tj, t2, t3. Поскольку подсветка соответствующих сенсорных плоскостей выполняется на интервалах времени ti, t2, t3, изображения, полученные на интервалах времени ti, t2, t3, содержат контрастные области касания в сенсорных плоскостях, а изображение, полученное на интервале времени , не содержит этих контрастных областей касания. При этом изображения, полученные на всех интервалах времени, содержат контрастные области, соответствующие мешающим источникам ИК-излучения. Таким образом, вычитание изображения, полученного на интервале времени , из изображений, полученных на интервалах времени ti, t2, t3, позволяет существенно снизить влияние мешающих источников ИК-излучения и повысить помехоустойчивость устройства жестового управления.
Для повышения контрастности изображения сигналы ИК-светодиодов (26), предназначенных для подсветки одной сенсорной плоскости (20), могут быть сдвинуты друг относительно друга во времени таким образом, что они существенно не перекрываются во времени. Иными словами, коммутация ИК-светодиодов (26), предназначенных для подсветки одной сенсорной плоскости (20), осуществляется по принципу «бегущего огня», причем считывание сигналов с ИК-фотодиодов (11) в каждой сенсорной плоскости (20) согласовано по времени с сигналами ИК-светодиодов (26), что позволяет увеличить интенсивность подсветки без превышения допустимой средней мощности, потребляемой каждым из ИК-светодиодов (26) и, соответственно, повысить помехоустойчивость устройства жестового управления. На фиг. 12 представлен пример сигналов подсветки по принципу «бегущего огня» одной сенсорной плоскости, соответствующей интервалу времени ti на фиг. 1 1.
Другой способ программной или программно-аппаратной фильтрации изображений, получаемых с ИК-камеры (31), применяется в случае использования двух или большего количества ИК-камер (31). На фиг. 2 представлен пример реализации указанной фильтрации изображений. Две ИК-камеры (31) выполняют одновременное формирование кадров, содержащих контрастные области, соответствующие области (21) касания сенсорной плоскости (20) и мешающему источнику (23) ИК-излучения. При этом в кадре, сформированном одной из упомянутых выше двух ИК-камер (31), мешающему источнику (23) ИК-излучения соответствует контрастная область (24), а в кадре, сформированном другой из упомянутых выше двух ИК-камер (31), мешающему источнику (23) ИК-излучения соответствует контрастная область (25), отличная от контрастной области (24). Дальнейшая обработка пары указанных кадров известным способом, применяемым в производстве стереоскопического видеоконтента, позволяет различить контрастную область, соответствующую области (21) касания сенсорной плоскости (20), и контрастную область, соответствующую мешающему источнику (23) ИК-излучения, расположенному вне сенсорной плоскости (20). После этого известным способом выполняется удаление из изображения контрастной области,
соответствующей мешающему источнику (23) ИК-излучения.
В еще одном предпочтительном варианте осуществления изобретения устройство (60) жестового управления содержит один или большее количество дополнительных источников (33) ИК-излучения (фиг. 2), расположенных таким образом, чтобы исключить попадание их прямого излучения в ИК-фото диоды (11) или ИК-камеры (31). В этом случае вычислительное устройство (32) также выполняет согласование режимов работы дополнительных источников (33) ИК-излучения и ИК- камер (31). При этом сигналы дополнительных источников (33) ИК-излучения могут совпадать по времени с сигналами одной или нескольких сенсорных плоскостей или сигналы таких дополнительных источников ИК-излучения могут излучаться на интервалах времени, отличных от интервалов времени излучения сигналов сенсорных плоскостей. Направление наибольшей интенсивности отраженного от управляющего объекта излучения дополнительных источников (33) ИК-излучения оказывается ближе к нормали по отношению к ИК-камерам (31), чем отраженного излучения ИК- фото диодов (11), что позволяет получить более контрастное изображение с ИК-камер (31) и дополнительно повысить разрешающую способность устройства жестового управления, особенно по координате Z, и благодаря этому реализовать управление с использованием наиболее сложных жестов. Для обеспечения возможности измерения упомянутой разности фаз дополнительные источники (33) ИК-излучения работают в импульсном режиме, реализованном источником питания и/или драйвером
дополнительного источника (33) ИК-излучения под управлением вычислительного устройства (32).
В некоторых вариантах осуществления изобретения дополнительные источники (33) ИК-излучения могут быть конструктивно объединены с ИК-камерами (31).
При этом вычислительное устройство (32) преобразует определенные последовательности сигналов, полученные от ИК-фото диодов (11) и ИК-камер (31), в соответствующие управляющие команды, например, «вращение», «увеличение», «уменьшение», «приближение», «удаление» и т.п. Указанные управляющие команды составляют систему жестов, позволяющую осуществлять трехмерное манипулирование трехмерными изображениями, отображаемыми на плоскости экрана. Такое
манипулирование может выполняться двумя основными способами. В первом, наиболее простом, способе производится распознавание отдельных жестов
управляющего объекта (например, сжатие пальцев в кулак) без привязки к координатам управляющего объекта в пространстве и преобразование их в определенные
управляющие команды (например, «уменьшение»), которая воздействует на заранее выбранный управляемый объект, при этом выбор управляемого объекта выполняется управляющей командой, соответствующей жесту выбора, отличному от других управляющих жестов. Например, жест выбора может представлять собой однократное касание управляемого объекта одним пальцем, а жест вращения - круговое движение пальцем, выполняемое в любой части экрана. Во втором, более сложном, способе плоское изображение управляемого объекта формируется на основе трехмерной пространственной модели, которая просчитывается вычислительным устройством, при этом управляющие объекты (например, кисти рук) воссоздаются в трехмерной пространственной модели и взаимодействуют с другими объектами этой модели по законам этой модели. Законы модели могут имитировать физические законы реального мира (учитывать силу тяжести, упругое взаимодействие, линейную перспективу и т.п.). При этом важным является не только траектория движения управляющего объекта в пространстве, но и то, как соотносятся координаты управляющего объекта с
координатами других объектов трехмерной пространственной модели. При этом выбор управляемого объекта может выполняться совместно с самим управлением. Например, выбор управляемого объекта может выполняться кистевым жестом «захвата», а вращение - непосредственно следующим за ним кистевым жестом «вращения».
Манипулирование трехмерными изображениями имитирует взаимодействие с физическими объектами в трехмерном пространстве и может быть использовано в деловых приложениях, медицинских системах, системах автоматизированного проектирования, играх, при навигации по трехмерным сайтам и т.п. Манипулирование трехмерными изображениями может выполняться одним или несколькими
пользователями одновременно.
Техническим результатом настоящего изобретения является реализация функций жестового управления и ввода данных при использовании нетвердотельного экрана, включая функции синглтач, мультитач и управление жестами одной или нескольких кистей рук человека, достигнутая за счет применения источников ИК- излучения, работающих в импульсном режиме, оснащенных фокусирующими оптическими элементами и ориентированных так, что их излучение направлено вдоль нетвердотельного проекционного экрана, приемников ИК-излучения, оснащенных фокусирующими оптическими элементами, выполненных с возможностью приема ИК- излучения, отраженного от управляющего объекта, ориентированных в том же направлении, что и источники ИК-излучения, расположенных в непосредственной близости от источников ИК-излучения и совместно с источниками ИК-излучения определяющих, по меньшей мере, одну сенсорную область, применения одного или большего количества матричных приемников ИК-излучения, выполненных с возможностью приема ИК-излучения, отраженного от управляющего объекта, и расположенных со стороны проекционного экрана, противоположной стороне расположения пользователя, применения одного или большего количества
дополнительных источников ИК-излучения, расположенных со стороны
проекционного экрана, противоположной стороне расположения пользователя, а также за счет применения вычислительного устройства, выполненного с возможностью считывания сигналов с приемников ИК-излучения и, по меньшей мере, одного матричного приемника ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника ИК- излучения, определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого каждым приемником ИК- излучения сигнала ИК-излучения и определения третьей координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого, по меньшей мере, одним матричным приемником ИК-излучения сигнала ИК-излучения.
Техническим результатом настоящего изобретения также является повышение помехоустойчивости при реализации функций жестового управления и ввода данных с использованием нетвердотельного экрана, достигнутое за счет применения
динамической подсветки сенсорной плоскости по принципу «бегущего огня», за счет последовательного формирования, по меньшей мере, одного изображения в течение каждого из интервалов времени, соответствующих сигналам источников ИК-излучения, и, по меньшей мере, одного изображения в течение интервала времени, в котором отсутствуют все сигналы источников ИК-излучения, вычитания, по меньшей мере, одного изображения, полученного в течение интервала времени, в котором отсутствуют все сигналы источников ИК-излучения, из изображений, полученных в течение каждого из интервалов времени, соответствующих сигналам источников ИК-излучения, а также за счет одновременного формирования, по меньшей мере, двумя матричными приемниками ИК-излучения изображений, содержащих контрастную область, соответствующую области касания сенсорной области управляющим объектом, и контрастную область, соответствующую мешающему источнику ИК-излучения, и формирования на основе упомянутых, по меньшей мере, двух изображений единого изображения, из которого удалена контрастная область, соответствующая мешающему источнику ИК-излучения.
Техническим результатом настоящего изобретения также является реализация функций жестового управления и ввода данных, имитирующих действия с
физическими объектами в реальном времени, например, их захват, перемещение, вращение, деформацию и т.п. за счет воссоздания управляющего объекта в трехмерной пространственной модели и обеспечения возможности его взаимодействия с другими объектами трехмерной пространственной модели по законам этой модели, а также за счет учета не только траектории движения управляющего объекта в пространстве, но и соотношения координат управляющего объекта с координатами управляемого объекта в трехмерной пространственной модели. Устройства, средства, элементы и признаки, описанные в настоящем изобретении, могут сочетаться в различных вариантах осуществления, если они не противоречат друг другу. Описанные выше варианты осуществления настоящего изобретения приведены исключительно с иллюстративной целью и не предназначены для ограничения объема настоящего изобретения, определяемого формулой изобретения. Все разумные модификации, модернизации и эквивалентные замены в конструкции и принципе действия, выполненные в пределах сущности настоящего изобретения, входят в объем настоящего изобретения.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Устройство (60) жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном, содержащее
источники (26) ИК-излучения, работающие в импульсном режиме, оснащенные фокусирующими оптическими элементами и ориентированные так, что их излучение направлено вдоль нетвердотельного проекционного экрана,
приемники (11) ИК-излучения, оснащенные фокусирующими оптическими элементами, выполненные с возможностью приема ИК-излучения, отраженного от управляющего объекта, ориентированные в том же направлении, что и источники (26) ИК-излучения, расположенные в непосредственной близости от источников (26) ИК- излучения и совместно с источниками (26) ИК-излучения определяющие, по меньшей мере, одну сенсорную область, и
вычислительное устройство (32), выполненное с возможностью считывания сигналов с приемников (1 1) ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника (11) ИК-излучения и определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого сигнала ИК-излучения.
2. Устройство по п. 1, в котором вычислительное устройство (32) выполнено с возможностью определения первой координаты управляющего объекта на основании заранее известного расположения приемников (11) ИК-излучения, составляющих группу расположенных рядом приемников (11) ИК-излучения, имеющих наибольший уровень сигнала из числа приемников (1 1) ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
3. Устройство по п. 1, в котором вычислительное устройство (32) выполнено с возможностью определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и сигнала ИК-излучения, принятого приемниками (1 1) ИК-излучения, составляющими группу расположенных рядом приемников (11) ИК-излучения, имеющих наибольший уровень сигнала из числа приемников (11) ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
4. Устройство по п. 1, в котором сенсорная область имеет плоскую форму.
5. Устройство по п. 1, в котором сенсорная область имеет форму, отличную от плоской.
6. Устройство по любому из п.п. 1-5, в котором источники (26) И -излучения и приемники (1 1) ИК-излучения расположены в один ряд.
7. Устройство по любому из п.п. 1-5, в котором источники (26) ИК-излучения и приемники (11) ИК-излучения расположены в несколько параллельных рядов.
8. Устройство по любому из п.п. 1-5, в котором источники (26) ИК-излучения дополнительно оснащены узкополосными ИК-фильтрами.
9. Устройство по любому из п.п. 1-5, в котором приемники (11) ИК-излучения дополнительно оснащены узкополосными ИК-фильтрами.
10. Устройство по любому из п.п. 1-5, в котором фокусирующие оптические элементы приемников (11) ИК-излучения обеспечивают диаграмму направленности, имеющую ширину в плоскости, касательной к сенсорной области, в диапазоне от 5° до 15° и ширину в плоскости, нормальной к сенсорной области, от 1° до 10°.
11. Устройство по п. 10, характеризующееся тем, что дополнительно содержит непрозрачные экраны или диафрагмы, обеспечивающие упомянутые характеристики диаграммы направленности приемников (1 1) ИК-излучения.
12. Устройство по любому из п.п. 1-5, в котором смежные, по меньшей мере, один источник (26) ИК-излучения и, по меньшей мере, один приемник (11) ИК- излучения объединены в одном корпусе с использованием общего узкополосного ИК- фильтра.
13. Устройство по любому из п.п. 1-5, в котором смежные, по меньшей мере, один источник (26) ИК-излучения и, по меньшей мере, один приемник (11) ИК- излучения объединены в одном корпусе с использованием общего фокусирующего оптического элемента.
14. Устройство по любому из п.п. 1-5, в котором несколько сенсорных областей ориентированы в одном направлении и расположены с одной или с разных сторон проекционного экрана, при этом вычислительное устройство (32) дополнительно выполнено с возможностью определения третьей координаты управляющего объекта на основании заранее известного расположения сенсорных областей.
15. Устройство по п. 14, в котором сигналы источников (26) ИК-излучения, предназначенных для разных сенсорных областей, сдвинуты друг относительно друга во времени таким образом, что они существенно не перекрываются во времени.
16. Устройство по п. 14, в котором источники (26) ИК-излучения,
предназначенные для разных сенсорных областей, имеют различную длину волны излучения, а приемники (11) ИК-излучения, предназначенные для разных сенсорных областей, имеют различную длину волны максимальной чувствительности.
17. Устройство по любому из п.п. 1-5, в котором сигналы источников (26) ИК- излучения, предназначенных для одной сенсорной области, сдвинуты друг
относительно друга во времени таким образом, что они существенно не перекрываются во времени.
18. Устройство по любому из п.п. 1-5, в котором вычислительное устройство (32) содержит, по меньшей мере, средство (34) для считывания и первичной обработки сигналов приемников (11) ИК-излучения, средство (37) для распознавания жестов, средство (38) для управления изображением и средство (36) для согласования режимов работы источников (26) ИК-излучения и приемников (11) ИК-излучения.
19. Устройство по любому из п.п. 1-5, в котором вычислительное устройство (32) выполнено с возможностью преобразования сигналов, полученных от приемников (1 1) ИК-излучения, в управляющие команды, воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
20. Устройство по любому из п.п. 1-5, в котором вычислительное устройство (32) содержит специализированное вычислительное устройство, конструктивно объединенное с устройством (50) для формирования проекционного экрана
мультимедийного дисплея.
21. Устройство по любому из п.п. 1-5, в котором вычислительное устройство (32) содержит специализированное вычислительное устройство, конструктивно объединенное с проекционным устройством (30) мультимедийного дисплея.
22. Устройство по любому из п.п. 1-5, в котором вычислительное устройство (32) содержит отдельное вычислительное устройство общего назначения.
23. Устройство (60) жестового управления для мультимедийного дисплея с нетвердотельным проекционным экраном, содержащее
источники (26) ИК-излучения, работающие в импульсном режиме, оснащенные фокусирующими оптическими элементами и ориентированные так, что их излучение направлено вдоль нетвердотельного проекционного экрана,
приемники (11) ИК-излучения, оснащенные фокусирующими оптическими элементами, выполненные с возможностью приема ИК-излучения, отраженного от управляющего объекта, ориентированные в том же направлении, что и источники (26) ИК-излучения, расположенные в непосредственной близости от источников (26) ИК- излучения и совместно с источниками (26) ИК-излучения определяющие, по меньшей мере, одну сенсорную область,
по меньшей мере, один матричный приемник (31) ИК-излучения, выполненный с возможностью приема ИК-излучения, отраженного от управляющего объекта, и расположенный со стороны проекционного экрана, противоположной стороне расположения пользователя, и
вычислительное устройство (32), выполненное с возможностью считывания сигналов с приемников (11) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК-излучения, определения первой координаты управляющего объекта на основании заранее известного расположения каждого приемника (1 1) ИК-излучения, определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого каждым приемником (11) ИК- излучения сигнала ИК-излучения и определения третьей координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого, по меньшей мере, одним матричным приемником (31) ИК-излучения сигнала ИК- излучения.
24. Устройство по п. 23, в котором вычислительное устройство (32) выполнено с возможностью определения первой координаты управляющего объекта на основании заранее известного расположения приемников (11) ИК-излучения, составляющих группу расположенных рядом приемников (11) ИК-излучения, имеющих наибольший уровень сигнала из числа приемников (1 1) ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
25. Устройство по п. 23, в котором вычислительное устройство (32) выполнено с возможностью определения второй координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и сигнала ИК-излучения, принятого приемниками (11) ИК-излучения, составляющими группу расположенных рядом приемников (11) ИК-излучения, имеющих наибольший уровень сигнала из числа приемников (1 1) ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
26. Устройство по п. 23, в котором вычислительное устройство (32) выполнено с возможностью определения третьей координаты управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и сигнала ИК-излучения, принятого расположенными рядом элементами матричного приемника (31) ИК-излучения, имеющими наибольший уровень сигнала из числа элементов матричного приемника (31) ИК-излучения с уровнем сигнала, превышающим заранее заданное пороговое значение.
27. Устройство по п. 23, в котором сенсорная область имеет плоскую форму.
28. Устройство по п. 23, в котором сенсорная область имеет форму, отличную от плоской.
29. Устройство по любому из п.п. 23-28, в котором, каждый из, по меньшей мере, одного матричного приемника (31) ИК-излучения выполнен с возможностью последовательного формирования, по меньшей мере, одного изображения в течение каждого из интервалов времени, соответствующих сигналам источников (26) ИК- излучения, и, по меньшей мере, одного изображения в течение интервала времени, в котором отсутствуют все сигналы источников (26) ИК-излучения, а вычислительное устройство (32) выполнено с возможностью вычитания, по меньшей мере, одного изображения, полученного в течение интервала времени, в котором отсутствуют все сигналы источников (26) ИК-излучения, из изображений, полученных в течение каждого из интервалов времени, соответствующих сигналам источников (26) ИК- излучения.
30. Устройство по любому из п.п. 23-28, характеризующееся тем, что содержит, по меньшей мере, два матричных приемника (31) ИК-излучения, выполненных с возможностью одновременного формирования изображений, содержащих контрастную область, соответствующую области (21) касания сенсорной области управляющим объектом, и контрастную область, соответствующую мешающему источнику (23) ИК- излучения, а вычислительное устройство (32) выполнено с возможностью
формирования на основе изображений, сформированных, по меньшей мере, двумя матричными приемниками (31) ИК-излучения, единого изображения, из которого удалена контрастная область, соответствующая мешающему источнику (23) ИК- излучения.
31. Устройство по любому из п.п. 23-28, характеризующееся тем, что содержит, по меньшей мере, один дополнительный источник (33) ИК-излучения, работающий в импульсном режиме, расположенный со стороны проекционного экрана,
противоположной стороне расположения пользователя, таким образом, чтобы исключить попадание его прямого излучения в приемники (1 1) ИК-излучения и в матричные приемники (31) ИК-излучения.
32. Устройство по п. 31, в котором, по меньшей мере, один дополнительный источник (33) ИК-излучения выполнен с возможностью излучения сигналов, совпадающих по времени с сигналами источников (26) ИК-излучения.
33. Устройство по п. 31, в котором, по меньшей мере, один дополнительный источник (33) ИК-излучения выполнен с возможностью излучения сигналов, отличных по времени от сигналов источников (26) ИК-излучения.
34. Устройство по п. 31, в котором, по меньшей мере, один дополнительный источник (33) ИК-излучения конструктивно объединен с, по меньшей мере, одним матричным приемником (31) ИК-излучения.
35. Устройство по любому из п. п. 23-28, в котором вычислительное устройство (32) содержит средство (34) для считывания и первичной обработки сигналов приемников (1 1) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК-излучения, средство (37) для распознавания жестов, средство (38) для управления изображением и средство (36) для согласования режимов работы источников (26) ИК- излучения, по меньшей мере, одного дополнительного источника (33) ИК-излучения, приемников (11) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК-излучения.
36. Устройство по любому из п.п. 23-28, в котором вычислительное устройство (32) выполнено с возможностью преобразования сигналов, полученных от приемников (11) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК- излучения, в управляющие команды, воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
37. Устройство по любому из п.п. 23-28, в котором вычислительное устройство (32) выполнено с возможностью преобразования сигналов, полученных от приемников (1 1) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК- излучения, в управляющие команды, используемые для формирования на
нетвердотельным проекционном экране изображения управляемого объекта на основе трехмерной пространственной модели, существующей в вычислительном устройстве (32), при этом управляющий объект воссоздан в трехмерной пространственной модели и обеспечена возможность его взаимодействия с управляемым объектом по законам трехмерной пространственной модели.
38. Устройство по п. 37, в котором законы трехмерной пространственной модели соответствуют физическим законам реального мира, а при преобразовании сигналов, полученных от приемников (11) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК-излучения, в управляющие команды учтена не только траектория движения управляющего объекта в пространстве, но и соотношение координат управляющего объекта с координатами управляемого объекта в трехмерной пространственной модели.
39. Способ жестового управления для мультимедийного дисплея с
использованием устройства (60), охарактеризованного в любом из п.п. 1-22,
включающий в себя следующие действия:
обеспечивают источники (26) ИК-излучения, приемники (1 1) ИК-излучения, совместно с источниками (26) ИК-излучения определяющие, по меньшей мере, одну сенсорную область, и вычислительное устройство (32), выполненное с возможностью обработки сигналов, полученных от приемников (11) ИК-излучения,
обрабатывают сигналы, полученные от приемников (11) ИК-излучения, при этом определяют первую координату управляющего объекта на основании заранее известного расположения каждого приемника (1 1) ИК-излучения, определяют вторую координату управляющего объекта на основании разницы фаз излученного сигнала ИК- излучения и принятого сигнала ИК-излучения и
преобразуют упомянутые координаты в управляющие команды,
воздействующие на заранее выбранный управляемый объект, в соответствии с траекторией движения управляющего объекта в пространстве.
40. Способ жестового управления для мультимедийного дисплея с
использованием устройства (60), охарактеризованного в любом из п.п. 23-38, включающий в себя следующие действия:
обеспечивают источники (26) ИК-излучения, приемники (1 1) ИК-излучения, совместно с источниками (26) ИК-излучения определяющие, по меньшей мере, одну сенсорную область, по меньшей мере, один матричный приемник (31) ИК-излучения, расположенный со стороны проекционного экрана, противоположной стороне расположения пользователя, и вычислительное устройство (32), выполненное с возможностью обработки сигналов, полученных от приемников (11) ИК-излучения и, по меньшей мере, одного матричного приемника (31) ИК-излучения, и
обрабатывают сигналы, полученные от приемников (1 1) ИК-излучения и от, по меньшей мере, одного матричного приемника (31) ИК-излучения, при этом определяют первую координату управляющего объекта на основании заранее известного
расположения каждого приемника (1 1) ИК-излучения, определяют вторую координату управляющего объекта на основании разницы фаз излученного сигнала ИК-излучения и принятого приемниками (1 1) ИК-излучения сигнала ИК-излучения, определяют третью координату на основании разницы фаз излученного сигнала ИК-излучения и принятого, по меньшей мере, одним матричным приемником (31) ИК-излучения сигнала ИК- излучения, и
преобразуют упомянутые координаты в управляющие команды,
воздействующие на управляемый объект в соответствии с траекторией движения управляющего объекта в пространстве и с учетом соотношения координат
управляющего объекта с координатами управляемого объекта в трехмерной
пространственной модели и используемые для формирования на нетвердотельном проекционном экране изображения управляемого объекта на основе трехмерной пространственной модели, существующей в вычислительном устройстве (32), при этом управляющий объект воссоздают в трехмерной пространственной модели и
обеспечивают возможность его взаимодействия с управляемым объектом по законам трехмерной пространственной модели.
PCT/RU2013/000104 2012-10-26 2013-02-08 Способ и устройство жестового управления для мультимедийного дисплея WO2014065697A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2012145783 2012-10-26
RU2012145783/08A RU2012145783A (ru) 2012-10-26 2012-10-26 Способ и устройство жестового управления для мультимедийного дисплея

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/751,619 Continuation US9584936B2 (en) 2012-12-27 2015-06-26 Method for controlling sound in an auditorium

Publications (1)

Publication Number Publication Date
WO2014065697A1 true WO2014065697A1 (ru) 2014-05-01

Family

ID=50544958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2013/000104 WO2014065697A1 (ru) 2012-10-26 2013-02-08 Способ и устройство жестового управления для мультимедийного дисплея

Country Status (2)

Country Link
RU (1) RU2012145783A (ru)
WO (1) WO2014065697A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113777621A (zh) * 2020-06-09 2021-12-10 北京小米移动软件有限公司 电子设备、相对位置关系检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6812466B2 (en) * 2002-09-25 2004-11-02 Prospects, Corp. Infrared obstacle detection in the presence of sunlight
RU2399949C1 (ru) * 2009-03-20 2010-09-20 Открытое Акционерное Общество "Интеллект Телеком" Способ определения координат манипулятора на сенсорной панели
US20110205185A1 (en) * 2009-12-04 2011-08-25 John David Newton Sensor Methods and Systems for Position Detection
US20110298704A1 (en) * 2005-10-21 2011-12-08 Apple Inc. Three-dimensional imaging and display system
US20110304586A1 (en) * 2010-06-14 2011-12-15 Yeh Chia-Jui Infrared type handwriting input apparatus and scanning method
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6812466B2 (en) * 2002-09-25 2004-11-02 Prospects, Corp. Infrared obstacle detection in the presence of sunlight
US20110298704A1 (en) * 2005-10-21 2011-12-08 Apple Inc. Three-dimensional imaging and display system
RU2399949C1 (ru) * 2009-03-20 2010-09-20 Открытое Акционерное Общество "Интеллект Телеком" Способ определения координат манипулятора на сенсорной панели
US20110205185A1 (en) * 2009-12-04 2011-08-25 John David Newton Sensor Methods and Systems for Position Detection
US20110304586A1 (en) * 2010-06-14 2011-12-15 Yeh Chia-Jui Infrared type handwriting input apparatus and scanning method
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113777621A (zh) * 2020-06-09 2021-12-10 北京小米移动软件有限公司 电子设备、相对位置关系检测方法、装置及存储介质

Also Published As

Publication number Publication date
RU2012145783A (ru) 2014-05-10

Similar Documents

Publication Publication Date Title
EP1393549B1 (en) Interactive video display system
US20080062123A1 (en) Interactive video display system using strobed light
JP5740822B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN105593786B (zh) 对象位置确定
Dohse et al. Enhancing multi-user interaction with multi-touch tabletop displays using hand tracking
CN103999025B (zh) 基于视觉的交互式投影系统
US20150049063A1 (en) Touch Sensing Systems
US20140037135A1 (en) Context-driven adjustment of camera parameters
KR100974894B1 (ko) 멀티 적외선 카메라 방식의 3차원 공간 터치 장치
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
KR20160108386A (ko) 3d 실루엣 감지 시스템
KR102481774B1 (ko) 이미지 장치 및 그것의 동작 방법
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
JP2011524034A (ja) 対話型入力装置と、該装置のための照明組み立て品
CN106201118B (zh) 触控及手势控制系统与触控及手势控制方法
CN107066962A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
KR20100109420A (ko) 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법
CN101464745A (zh) 一种背投光源式触摸识别装置及其触摸识别方法
JP2010152924A (ja) 機能選択キーを有する光ポインティングデバイス及び光トラッキング受信器並びにこれらを用いる装置
JP2011188023A (ja) 情報処理装置、情報処理方法およびプログラム
US20150193085A1 (en) Object tracking system and method
WO2014065697A1 (ru) Способ и устройство жестового управления для мультимедийного дисплея
JP6465197B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10613621B2 (en) Interactive display system and method for operating such a system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13848935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 16/09/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13848935

Country of ref document: EP

Kind code of ref document: A1