WO2012177171A1 - Электронно-оптический манипулятор - Google Patents

Электронно-оптический манипулятор Download PDF

Info

Publication number
WO2012177171A1
WO2012177171A1 PCT/RU2011/000855 RU2011000855W WO2012177171A1 WO 2012177171 A1 WO2012177171 A1 WO 2012177171A1 RU 2011000855 W RU2011000855 W RU 2011000855W WO 2012177171 A1 WO2012177171 A1 WO 2012177171A1
Authority
WO
WIPO (PCT)
Prior art keywords
computer
light
radiation
video camera
screen
Prior art date
Application number
PCT/RU2011/000855
Other languages
English (en)
French (fr)
Inventor
Вадим Викторович ГОЛИКОВ
Original Assignee
Golikov Vadim Viktorovich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Golikov Vadim Viktorovich filed Critical Golikov Vadim Viktorovich
Priority to CN201190001126.0U priority Critical patent/CN203930707U/zh
Priority to US14/128,044 priority patent/US20140184506A1/en
Publication of WO2012177171A1 publication Critical patent/WO2012177171A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Definitions

  • the utility model relates to computer control systems (computer interfaces) through the impact on the image created on the screen by the projector, and can be used to ensure user interaction with the computer during presentations or educational events.
  • presentation software products provide tools for interactively interacting with presentation content.
  • the presentation often consists in demonstrating the operation of a program.
  • the speaker can control applications on the computer. Including working with documents, making changes to the presented material, making notes and so on.
  • the speaker spends additional time on his own movements, including the fact that he periodically approaches and bends to the computer.
  • Known electron-optical manipulator including a radiation source in the form of a light pointer and a video camera connected to a computer and fixing the movement of the light spot on the screen onto which the image transmitted from the computer is projected (see patent US 51 15230, class G06F 3/00, publ. May 19, 1992).
  • the disadvantages of the known device are the need to use specific equipment and the complexity of its installation, which is not allows you to provide high-quality presentation in those rooms where there is only a computer and a projector (or large monitor).
  • the objective of the utility model is to eliminate these drawbacks.
  • the technical result consists in simplifying the design of the device while maintaining its efficiency.
  • the electron-optical manipulator which includes a radiation source in the form of a light pointer and a video camera connected to a computer and fixing the movement of the light spot on the screen onto which the image transmitted from the computer is projected;
  • the radiation source is a laser or LED, the radiation of which lies in the infrared range of the spectrum, and an infrared filter is installed in front of the camera lens.
  • Figure 1 shows the radiation source in the form of a light pointer
  • figure 2 elements of equipment necessary for the presentation
  • Fig. 3 is a signal exchange diagram.
  • the principle of operation of the proposed device is based on the sensitivity of CCDs (charge-coupled devices) of most cameras, including cameras of mobile devices and webcams, to the light of that part of the light range that is invisible to the human eye.
  • This application is about the infrared (IR) wavelength range.
  • the light belonging to this region has a wavelength range from 740 to 2500 nm, but it is preferable to use the range of the light source and filter to 1000-1 100 nm, since most CCD matrices effective sensitivity decreases greatly with a further increase in wavelength.
  • the choice of the specified range allows using the filter to highlight the position of the light point on the plane.
  • the prevalence of laser and diode sources, the radiation of which lies in the HF range of the spectrum greatly simplifies the search for components for the proposed device.
  • the electron-optical manipulator itself is a set of a light filter 1 and a light (laser or just LED) pointer 2 installed in front of the camera, both of which work in the short-wave region of the infrared (RH) range of the spectrum.
  • a light filter 1 and a light (laser or just LED) pointer 2 installed in front of the camera, both of which work in the short-wave region of the infrared (RH) range of the spectrum.
  • Light pointer 2 (Fig. 1) includes a housing 3 for a power source (battery, battery or a set thereof) and a light source 4 (RJ laser LED or conventional RJ LEDs). At least 3 on / off buttons of the RJ light source are located on the housing 3 (other control buttons may also be equipped).
  • the cover of the battery pack 6 may be located on one side of the housing 3.
  • the design of the cap 7, if provided, may vary depending on the type of light source 4.
  • the place for presentation (figure 2), in addition to the standard computer 8, projector 9 and screen 10, is equipped with a camera 1 1.
  • a light pointer 2 At the speaker in the hand is a light pointer 2, which is used by him for presentation and for commands to move the cursor.
  • a light filter 1 In front of the camera 1 1 there is a light filter 1, which together with the camera 1 1 is a signal receiver from the light pointer 2 and a source of data about its movement for the computer).
  • the signal receiver (camera 1 1) may be a camera embedded in a computer, a separate camera, or a camera of a mobile device.
  • the speaker can give point commands to move the cursor or draw lines, draw, etc., touching or not touching the surface of the screen with the emulator, including pointer 2 at the right moments.
  • the principle of operation of the proposed device is to put 2 marks on the screen 10 using the IR light pointer, select 1 light signals 2 using the IR filter 1, and then fix only the light pointer 2 signals. Next, these signals must be converted to the operating system commands of the cursor control computer.
  • Computer 8 transmits a signal to projector 9.
  • Projector 9 projects the image on screen 10.
  • the image drawn on screen 10 with light pointer 2 enters camera 1 1.
  • Camera 1 1 transfers the position of the light spot from pointer 2 to the computer in raw or processed mode (in form of coordinates X, Y) form.
  • Processing an optical signal consists of the following steps: 1. [Preparatory] Calibration of the coordinates of the projection angles of the image relative to the angles of the visible part of the camera.
  • the coordinate processing is performed using the computer driver.
  • the computing power of modern mobile devices is sufficient not only to transfer the cursor position to the computer, but also to calibrate the visible part of the image and coordinate conversion in order to transmit the exact coordinates of the light spot relative to the corners of the image on the screen of the projector and computer.
  • the proposed utility model allows you to easily and quickly adapt ordinary demonstration equipment for the tasks of a comprehensive interactive presentation, simply by installing a light filter in front of a standard video camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

Полезная модель относится к системам интерфейса с компьютером через управление изображением, создаваемым на экране проектором, и может быть использована для обеспечения взаимодействия пользователя с компьютером в процессе презентаций, тренингов или образовательных мероприятий. Электронно-оптический манипулятор включает источник излучения в виде световой указки и видеокамеру. Видеокамера связана с компьютером и фиксирует перемещение светового пятна по экрану, на который проецируется передаваемое с компьютера изображение. Источник излучения представляет собой лазер или светодиод, излучение которого лежит в инфракрасном диапазоне спектра. Перед объективом видеокамеры установлен светофильтр инфракрасного диапазона. Полезная модель позволяет упростить конструкцию устройства при сохранении эффективности его работы.

Description

ЭЛЕКТРОННО-ОПТИЧЕСКИЙ МАНИПУЛЯТОР
Полезная модель относится к системам управления компьютером (компьютерным интерфейсам) через воздействие на изображение, создаваемое на экране проектором, и может быть использована для обеспечения взаимодействия пользователя с компьютером в процессе презентаций или образовательных мероприятий.
Существующие технологии презентаций требуют от выступающего наглядной работы с информацией. То же касается и проведения образовательных мероприятий перед группой слушателей. Обработка информации, отображенной на проекторе и компьютере, который подключен к проектору, должна происходить синхронно.
Большинство программных продуктов для презентаций предоставляют инструменты для интерактивного взаимодействия с содержимым презентаций. Кроме того, презентация часто заключается в демонстрации работы той или иной программы. В ходе презентации выступающий может управлять приложениями на компьютере. В том числе работать с документами, вносить в презентуемый материал изменения, делать пометки и так далее.
Однако необходимость синхронности работы с информацией, с одной стороны, и быстрая наглядная обработка материала, с другой стороны, трудно совместимы. Это заставляет дополнительно оборудовать выступление досками для рисования или подставками для листов бумаги (флип-борд). Выступающий же вынужден постоянно перемещаться между компьютером с мышкой, экраном презентации и флип-бордом . При этом закономерны следующие недостатки подачи материала и восприятия его слушателями:
1. Выступающий тратит дополнительное время на собственные перемещения, в том числе, на то чтобы периодически подходить и наклоняться к компьютеру.
2. Слушатели вынуждены переключать фокус восприятия информации на различные и не связанные друг с другом фрагменты. При этом выступающий периодически выпадает из поля зрения слушателей.
3. Фрагменты презентации не связаны, показанное на экране опережает или отстает от пометок, сделанных на флип-борде.
4. Содержание пометок никоим образом не фиксируется в материале презентации и не сохраняется, когда это необходимо.
5. Необходимо локально освещать или затемнять различные зоны презентаций, а также зону, где расположены слушатели.
Для исключения части недостатков может быть использовано существующее дополнительное оборудование. Это могут быть интерактивные планшетные экраны с возможностью перьевого ввода, копирующие доски, интерактивные доски, документ - камеры, специальные bluetooth указки и прочее. Недостатками таких устройств являются громоздкость, сложность использования и высокая цена.
Известен электронно-оптический манипулятор, включающий источник излучения в виде световой указки и видеокамеру, связанную с компьютером и фиксирующую перемещение светового пятна по экрану, на который проецируется передаваемое с компьютера изображение (см. патент US 51 15230, кл. G06F 3/00, опубл. 19.05.1992). Недостатками известного устройства являются необходимость использования специфического оборудования и сложность его установки, что не позволяет обеспечить качественную презентацию в тех помещениях, где есть только компьютер и проектор (или крупный монитор).
Задачей полезной модели является устранение указанных недостатков. Технический результат заключается в упрощении конструкции устройства при сохранении эффективности его работы.
Поставленная задача решается, а технический результат достигается тем, что в электронно-оптическом манипуляторе, включающем источник излучения в виде световой указки и видеокамеру, связанную с компьютером и фиксирующую перемещение светового пятна по экрану, на который проецируется передаваемое с компьютера изображение; источник излучения представляет собой лазер или светодиод, излучение которого лежит в инфракрасном диапазоне спектра, а перед объективом видеокамеры установлен светофильтр инфракрасного диапазона.
На фиг.1 изображен источник излучения в виде световой указки;
на фиг.2 - элементы оборудования, необходимого для проведения презентации;
на фиг.З - схема обмена сигналами.
Принцип работы предлагаемого устройства основан на чувствительности матриц ПЗС (приборов с зарядовой связью) большинства камер, в том числе камер мобильных устройств и веб-камер к свету той части светового диапазона, которая невидима человеческому глазу. В настоящей заявке речь идет об инфракрасном (ИК) диапазоне волн. Свет, относящийся к этой области, имеет диапазон длин волн от 740 до 2500 нм, но предпочтительней использовать диапазон источника света и светофильтра до 1000-1 100 нм, так как у большинства ПЗС матриц эффективная чувствительность сильно убывает с дальнейшим увеличением длины волны. Выбор указанного диапазона позволяет, используя светофильтр, выделить положение световой точки на плоскости. При этом распространенность лазерных и диодных источников, излучение которых лежит в РЖ диапазоне спектра, значительно упрощает поиск комплектующих для предлагаемого устройства.
Сам электронно-оптический манипулятор представляет собой комплект из установленного перед видеокамерой светофильтра 1 и световой (лазерной или просто светодиодной) указки 2, и то и другое работает в коротковолновой области инфракрасного (РЖ) диапазона спектра.
Световая указка 2 (фиг.1) включает корпус 3 для источника питания (батарейка, аккумулятор или их комплект) и источник света 4 (РЖ лазерный светодиод или обычные РЖ светодиоды). На корпусе 3 расположена хотя бы одна кнопка 5 включения/выключения источника РЖ света (могут также быть оборудованы другие кнопки управления). С одной стороны корпуса 3 может быть расположена крышка батарейного блока 6. Конструкция колпачка 7, если он предусматривается, может меняться в зависимости от типа источника света 4.
Место для презентации (фиг.2), кроме стандартных компьютера 8, проектора 9 и экрана 10, оборудуется камерой 1 1. У выступающего в руке световой указка 2, которая используется им для презентации и для команд перемещения курсора. Перед камерой 1 1 располагают светофильтр 1 , который вместе с камерой 1 1 является приемником сигнала от световой указки 2 и источником данных о её движении для компьютера). Приемником сигнала (камерой 1 1) может быть камера, встроенная в компьютер, отдельная камера или камера мобильного устройства. Выступающий может давать точечные команды перемещения курсора или проводить линии, рисовать и т.д., касаясь или не касаясь эмулятором поверхности экрана, включая указку 2 в нужные моменты.
Принцип действия предлагаемого устройства заключается в нанесении ИК световой указкой 2 отметок на экране 10, выделении с помощью ИК светофильтра 1 и фиксации камерой 1 1 только сигналов световой указки 2. Далее требуется преобразование этих сигналов в команды операционной системы компьютера управления курсором.
Прохождение сигналов и обмен информации показан на фиг.З. Компьютер 8 передает сигнал на проектор 9. Проектор 9 проецирует изображение на экран 10. Изображение, рисуемое на экране 10 световой указкой 2, попадает в камеру 1 1. Камера 1 1 передает положение светового пятна от указки 2 на компьютер в необработанном или обработанном (в виде координат X, Y) виде.
Так как изображение проектора и проекция видимой области камеры на экран являются прямоугольным лишь условно, требуется преобразование координат светового пятна и приведение их в вид координат изображения компьютера. Чтобы сделать это возможным, при каждом новом относительном положении проектора, экрана и камеры требуется калибровка. При калибровке отмечаются четыре угла, которые определяют оси координат и масштабы по координатным осям. Калибровка необходима только один раз перед началом каждой презентации. Однако так как изображение проектора при презентации обычно ярче фона, калибровка может производиться автоматически перед презентацией или в ходе презентации.
Обработка оптического сигнала состоит из следующих шагов: 1. [Подготовительный] Калибровка координат углов проекции изображения относительно углов видимой части камеры.
2. [Остальные шаги - выполняются в ходе презентации] Выделение ИК светофильтром сигнала указки в виде светового пятна.
3. Определение координат светового пятна относительно видимой области камеры.
4. Передача данных в компьютер по соединительному кабелю или по беспроводной связи.
5. Обработка [преобразование] координат светового пятна с целью получения координат относительно углов изображения на экране проектора, а, значит, и компьютера.
В том случае, если для ввода оптической информации от манипулятора используется внешняя (например USB) камера или камера, встроенная в компьютер, обработка координат выполняется средствами компьютерного драйвера. Вычислительные мощности современных мобильных устройств достаточны, чтобы не только передать компьютеру положение курсора, но и сделать калибровку видимой части изображения и преобразование координат, с тем, чтобы передать точные координаты светового пятна относительно углов изображения на экране проектора и компьютера.
Таким образом, предлагаемая полезная модель позволяет легко и быстро адаптировать обычное демонстрационное оборудование под задачи комплексной интерактивной презентации, просто установив светофильтр перед стандартной видеокамерой.

Claims

ФОРМУЛА ПОЛЕЗНОЙ МОДЕЛИ
Электронно - оптический манипулятор для обеспечения интерфейса с компьютерной техникой, включающий источник излучения в виде световой указки и видеокамеру, связанную с компьютером или встроенную в компьютер, и фиксирующую перемещение светового пятна по экрану, на который проецируется передаваемое с компьютера изображение, отличающийся тем, что источник излучения представляет собой лазер или светодиод, излучение которого лежит в инфракрасном диапазоне спектра, а перед объективом видеокамеры установлен светофильтр инфракрасного диапазона.
PCT/RU2011/000855 2011-06-21 2011-11-03 Электронно-оптический манипулятор WO2012177171A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201190001126.0U CN203930707U (zh) 2011-06-21 2011-11-03 电光指向装置
US14/128,044 US20140184506A1 (en) 2011-06-21 2011-11-03 Electro-optical pointing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2011125329 2011-06-21
RU2011125329 2011-06-21

Publications (1)

Publication Number Publication Date
WO2012177171A1 true WO2012177171A1 (ru) 2012-12-27

Family

ID=47422803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2011/000855 WO2012177171A1 (ru) 2011-06-21 2011-11-03 Электронно-оптический манипулятор

Country Status (3)

Country Link
US (1) US20140184506A1 (ru)
CN (1) CN203930707U (ru)
WO (1) WO2012177171A1 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD795256S1 (en) * 2016-06-01 2017-08-22 Microsoft Corporation Augmented reality input device
USD795870S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Augmented reality input device
USD795871S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Illuminated augmented reality input device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185395A (ja) * 1997-09-08 1999-03-30 Sharp Corp ポインティング機能付き液晶プロジェクタ装置
RU2216766C2 (ru) * 2002-02-11 2003-11-20 Талыгин Алексей Константинович Система для дистанционного управления компьютером
US20110109554A1 (en) * 2008-07-04 2011-05-12 Optinnova Interactive display device and method, using a detection camera and optical pointer
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
JP4991829B2 (ja) * 2009-11-09 2012-08-01 株式会社デンソー 遠隔操作デバイス用表示制御装置
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185395A (ja) * 1997-09-08 1999-03-30 Sharp Corp ポインティング機能付き液晶プロジェクタ装置
RU2216766C2 (ru) * 2002-02-11 2003-11-20 Талыгин Алексей Константинович Система для дистанционного управления компьютером
US20110109554A1 (en) * 2008-07-04 2011-05-12 Optinnova Interactive display device and method, using a detection camera and optical pointer
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images

Also Published As

Publication number Publication date
CN203930707U (zh) 2014-11-05
US20140184506A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN105045375B (zh) 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
CN101859210A (zh) 一种交互式投影系统及其实现方法
CN102331884A (zh) 具有可触控投影画面的投影系统
CN104615237A (zh) 图像显示系统、控制其的方法及头部佩戴型显示装置
JP6264871B2 (ja) 情報処理装置および情報処理装置の制御方法
CN102662498A (zh) 一种投影演示的无线控制方法及系统
KR20140000436A (ko) 적외선 카메라를 이용한 전자칠판 시스템
CN107077363B (zh) 信息处理装置、控制信息处理装置的方法、记录介质
US20200241721A1 (en) Interactive display apparatus and method
JP2017182110A (ja) 表示システム、表示装置、情報処理装置及び情報処理方法
JPH0980372A (ja) 投写型表示装置
WO2012177171A1 (ru) Электронно-оптический манипулятор
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
US20170168592A1 (en) System and method for optical tracking
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN100504576C (zh) 光标与光学投影同步操作的装置、方法
RU109884U1 (ru) Электронно-оптический манипулятор
CN201359720Y (zh) 多点触摸控制台
WO2015013937A1 (zh) 一种带互动功能的显示系统
CN102520859A (zh) 一种面向教学的多点触控方法及系统
CN201741291U (zh) 基于Wiimote的红外虚拟现实教学系统
KR100660137B1 (ko) 레이저 포인터를 이용한 입력 장치와 그를 이용한프리젠테이션 제공 시스템
CN109669557A (zh) 一种激光鼠标、远程控制系统及鼠标指针定位方法
CN1598748A (zh) 一种实现无线鼠标功能的方法和装置
KR20100082171A (ko) 스크린 원격 제어 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201190001126.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11868323

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14128044

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 26/05/2014)

122 Ep: pct application non-entry in european phase

Ref document number: 11868323

Country of ref document: EP

Kind code of ref document: A1