WO2015119525A1 - Система виртуального управления - Google Patents
Система виртуального управления Download PDFInfo
- Publication number
- WO2015119525A1 WO2015119525A1 PCT/RU2014/000086 RU2014000086W WO2015119525A1 WO 2015119525 A1 WO2015119525 A1 WO 2015119525A1 RU 2014000086 W RU2014000086 W RU 2014000086W WO 2015119525 A1 WO2015119525 A1 WO 2015119525A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- computer system
- management
- computer
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
Изобретение относится к области управления и ввода информации в компьютерные системы, а более конкретно - к системе индивидуального ввода информации и управления для пользователя компьютерной системы. Настоящее изобретение может найти применение при создании систем управления и обслуживания компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, организации интерфейса с различными компьютерными системами в произвольном месте расположения, а также для различных технических систем. Данная система описывает законченное полнофункциональное решение и расширяет способ управления компьютерной системой таким образом, что для управления пользователю предоставляется естественный и привычный вид экрана и органов управления компьютерной системы в любом удобном пользователю месте, причем управлять можно несколькими компьютерными системами одновременно. Кроме того, система позволяет управлять произвольными. компьютерными системами, имитируя их интерфейс и органы управления, доносить отображаемую компьютерными системами информацию индивидуально для пользователя, без возможности ее восприятия другими пользователями, а также позволяет создать виртуальную реальность, связанную с работой управляемых компьютерных систем.
Description
СИСТЕМА ВИРТУАЛЬНОГО УПРАВЛЕНИЯ
Описание
Изобретение относится к области управления и ввода информации в компьютерные системы, а более конкретно - к системе индивидуального ввода информации и управления для пользователя компьютерной системы.
Настоящее изобретение может найти применение при создании систем управления и обслуживания компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, организации интерфейса с различными компьютерными системами в произвольном месте расположения, а также для различных технических систем.
В настоящее время весьма актуальной является задача управления
различными устройствами путем естественных человеческих жестов и
бесконтактным путем в условиях, исключающих или затрудняющих возможность использования клавиатур или контактных экранов. При этом актуально также повысить скорость ввода команд и данных и скорость управления в целом, а предоставлять пользователю вычислительные ресурсы различных компьютерных систем в удобном ему месте. Кроме того, весьма важно персонализировать выводимую для пользователя информацию таким образом, чтобы она была индивидуально направлена и не мешала другим пользователям.
Наиболее близкой к заявляемой системе является устройство Google Glass— гарнитура для смартфонов (или нательный компьютер, что несколько ближе к функциональному набору устройства) на базе Android, разрабатываемая компанией Google. В устройстве используется прозрачный дисплей, который крепится на голову (англ. HMD— head-mounted display) и находится чуть выше правого глаза, и камера, способная записывать видео высокого качества.
Взаимодействие Glass с пользователем осуществляется через голосовые команды (базовой является команда «Ok, Glass», после которой должна идти
просьба выполнить какую-либо функцию; кроме того, через гарнитуру можно надиктовывать тексты), жесты, распознаваемые тачпадом, который расположен на дужке за дисплеем, и систему передачи звука с использованием костной
проводимости. Интерфейс устройства был продемонстрирован Google в
опубликованном в феврале 2013 года видео.
Концепция Google Glass в конечном счёте должна реализовывать
одновременно три отдельные функции, сведя их воедино: дополненную
реальность, мобильную связь + интернет, видеодневник. Первая версия очков полноценно реализует видеодневник и лишь частично дополненную реальность и коммуникационную составляющую. В последующих версиях возможна более полноценная реализация всех трёх целевых составляющих.
Заявляемое изобретение решает другие задачи, а именно:
1. Позволяет управлять произвольными компьютерными системами, имитируя их интерфейс и органы управления
2. Позволяет доносить отображаемую компьютерными системами
информацию индивидуально для пользователя, без возможности ее восприятия другими пользователями.
3. Позволяет создать виртуальную реальность, связанную с работой
управляемых компьютерных систем.
Поставленные задачи решены в системе индивидуального ввода информации и управления для пользователя компьютерной системы, содержащей по меньшей мере одно устройство отображения информации, необязательно прозрачное, которое воспроизводит изображение, непосредственно воспринимаемое по меньше мере одним глазом пользователя, по меньшей мере одну видеокамеру, по меньше мере один вычислительный блок, по меньшей мере один коммуникационный блок, необязательно средства передачи звука и необязательно средства управления, отличающаяся тем, что средство отображения информации создает изображение органов управления и/или средств отображения по меньшей мере одной избранной пользователем внешней компьютерной системы, с которой пользователь соединен через коммуникационный блок, а видеокамера фиксирует естественные движения рук и/или пальцев пользователя и передает их в вычислительный блок, который транслирует зафиксированные движения в управляющие воздействия и процедуры
ввода информации в избранной компьютерной системе, которые передаются через коммуникационный блок в избранную компьютерную систему, в результате чего пользователь вводит информацию и управляет избранной компьютерной системой.
Технически целесообразно рассматривать ситуацию, когда избранных компьютерных систем несколько и система индивидуального ввода информации и управления для пользователя самостоятельно определяет необходимые для каждой из них процедуры управления и ввода информации.
Также технически целесообразно рассматривать ситуацию, когда избранных компьютерных систем несколько и система индивидуального ввода информации и управления располагает их все в поле зрения пользователя и обеспечивает управление всеми доступными пользователю компьютерными системами и необязательно обеспечивает перенос информации между ними путем естественных жестов.
Для удобства пользователя целесообразно, чтобы положение в пространстве органов управления и/или средств отображения по меньшей мере одной избранной пользователем компьютерной системы не зависело бы от положения средства отображения и/или, глаз, и/или головы пользователя.
Для постоянного управления компьютерными системами целесообразно, чтобы средство отображения информации было выполнено в виде очков или аналогичного оптического прибора.
Для эпизодического управления компьютерными системами целесообразно, чтобы средство отображения информации выполнено в виде монокуляра или аналогичного оптического прибора.
Для эпизодического управления компьютерными системами и в том случае, когда управляемых компьютерных систем несколько и их изображения подаются для разных глаз пользователя целесообразно, чтобы средство отображения информации выполнено в виде бинокля или аналогичного оптического прибора.
Для имитации существующей реальности средство отображения информации является непрозрачным, а видеокамера создает в средстве отображения
изображения по меньшем мере части окружающих пользователя объектов.
Для имитации виртуальной реальности средство отображения информации является непрозрачным, а видеокамера создает в средстве отображения
изображение по меньшем мере части окружающих пользователя объектов, причем в виде, измененном согласно пожеланиям и/или потребностям пользователя и/или в соответствии с результатами работы по меньше мере одной избранной
компьютерной системы.
Для передачи звуковых эффектов или для изоляции от внешнего звукового поля целесообразно, что в работе описываемой системы участвуют средства передачи звука.
Для реализации единых команд управления целесообразно, чтобы
описываемая система сама управлялась бы движениями рук и/или пальцев, и/или глаз пользователя.
Для реализации удобного управления целесообразно, чтобы описываемая система управлялась бы голосовыми командами пользователя.
Также для реализации удобного управления целесообразно, чтобы
описываемая система управлялась бы пользователем через по меньшем пере одну из избранных компьютерных систем.
В ряде случаев удобно чтобы описываемая система управлялась бы
пользователем через внешний пульт.
Для оптимального энергообеспечения описываемой системы для зарядки ее источников питания целесообразно использовать индукционный принцип, а также для зарядки ее источников питания использовать футляр для ее хранения.
Для иллюстрации технической реализуемости предлагаемых способов предлагаются рассмотреть технологический сценарий и Фиг. 1 и Фиг. 2.
Технически целесообразно рассматривать виртуальное управление
компьютерной системой в двух режимах - непрерывное управление и
эпизодическое управление. В первом случае устройство лучше выполнить в виде очков или монокуляра небольшого веса, который крепится на голове пользователя непосредственно перед его глазами, во втором случае - устройство можно выполнить в виде бинокля, который пользователь периодически подносит к глазам и выполняет необходимые операции по управления, вводу информации и восприятию результатов своих действий.
При включении питания система виртуального управления (СВУ) создает для восприятия пользователя (далее будем для краткости говорить - для пользователя)
исходную картинку, которая может содержать меню управления, например - подключить компьютерную систему, настройки и выключить СВУ.
Управление через меню производится также путем движения пальцами в поле зрения камеры, которая через вычислительный блок транслирует их в выбор строк меню.
При выборе «подключить компьютерную систему» через коммуникационный блок происходит соединение с заранее выбранной компьютерной системой и отображение ее экрана на заранее указанном в настройках месте картинки, отображаемой СВУ.
Пользователь имеет возможность также путем движения пальцев в поле зрения видеокамеры СВУ переместить мнимый экран подключенной
компьютерной системы в любое место поля зрения и изменить его размеры.
В настоящее время возможно два основных способа управления - непосредственное движение пальцев в поле видеокамеры, которое преобразуется вычислительным блоком СВУ в движения по отображенному экрану в средстве отображения СВУ (для планшетов) и создание виртуальных органов управления в поле зрения пользователя в средстве отображения СВУ (для настольных
компьютеров). Во втором случае в средстве отображения СВУ создается
изображение клавиатуры и тачпэда (или мыши), которые также управляются движениями пальцев пользователя.
Пример получающегося изображения для планшета под управлением
Андроид приведен на Фиг. 1
В случае управления и ввода через клавиатуру пользователь в настройках может иметь возможность выбора числа пальцев, которые участвуют в управлении.
Пример получающегося изображения для компьютера под управлением
Windows приведен на Фиг. 2.
На Фиг.2 также приведен пример, когда изменен размер окна Microsoft Word для достижения максимальной видимости вводимого текста и в поле зрения также спроецирована клавиатура.
Меню, находящееся на Фиг.1 и Фиг.2 справа в поле зрения фиксирует состояние СВУ, когда выбранная компьютерная система подключена, в правом и
левом глазу пользователя одинаковое изображение, указан тип подключенной компьютерной системы.
По сравнению с другими способами и устройствами ввода и управления, известными авторам, данная система описывает законченное полнофунциональное решение и расширяет способ управления компьютерной системой таким образом, что для управления пользователю предоставляется естественный и привычный вид экрана и органов управления компьютерной системы в любом удобном
пользователю месте, причем управлять можно несколькими компьютерными системами одновременно. Кроме того, система позволяет управлять
произвольными компьютерными системами, имитируя их интерфейс и органы управления, доносить отображаемую компьютерными системами информацию индивидуально для пользователя, без возможности ее восприятия другими пользователями, а также позволяет создать виртуальную реальность, связанную с работой управляемых компьютерных систем.
Claims
1. Система индивидуального ввода информации и управления для
пользователя компьютерной системы, содержащая, по меньшей мере, одно устройство отображения информации, необязательно прозрачное, которое воспроизводит изображение, непосредственно воспринимаемое по меньшей мере одним глазом пользователя, по меньшей мере одну видеокамеру, по меньшей мере один вычислительный блок, по меньшей мере один коммуникационный блок, необязательно средства передачи звука и необязательно средства управления, отличающаяся тем, что средство отображения информации создает изображение органов управления и/или средств отображения, по меньшей мере, одной
избранной пользователем внешней компьютерной системы, с которой пользователь соединен через коммуникационный блок, а видеокамера фиксирует естественные движения рук и/или пальцев пользователя и передает их в вычислительный блок, который транслирует зафиксированные движения в управляющие воздействия и процедуры ввода информации в избранной компьютерной системе, которые передаются через коммуникационный блок в избранную компьютерную систему, в результате чего пользователь вводит информацию и управляет избранной компьютерной системой.
2. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что избранных компьютерных систем несколько и система индивидуального ввода информации и управления для пользователя самостоятельно определяет необходимые для каждой из них процедуры управления и ввода информации.
3. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что избранных компьютерных систем несколько и система индивидуального ввода информации и управления располагает их все в поле зрения пользователя и обеспечивает управление всеми доступными пользователю компьютерными системами и необязательно обеспечивает перенос информации между ними путем естественных жестов.
4. Система индивидуального ввода информации и управления для пользователя компьютерной системы по п.1, отличающаяся тем, что положение в пространстве органов управления и/или средств отображения, по меньшей мере, одной избранной пользователем компьютерной системы не зависит от положения средства отображения и/или, глаз, и/или головы пользователя.
5. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1 , отличающаяся тем, что средство отображения информации выполнено в виде очков или аналогичного оптического прибора.
6. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что средство отображения информации выполнено в виде монокуляра или аналогичного оптического прибора.
7. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что средство отображения информации выполнено в виде бинокля или аналогичного
оптического прибора.
8. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что средство отображения информации является непрозрачным, а видеокамера создает в средстве отображения изображения, по меньшей мере, части окружающих пользователя объектов.
9. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что средство отображения информации является непрозрачным, а видеокамера создает в средстве отображения изображение, по меньшем мере, части окружающих пользователя объектов, причем в виде, измененном согласно пожеланиям и/или потребностям пользователя и/или в соответствии с результатами работы, по меньшей мере, одной избранной компьютерной системы.
10. Система индивидуального ввода информации и управления для пользователя компьютерной системы по п.1, отличающаяся тем, что в его работе участвуют средства передачи звука.
1 1. Система индивидуального ввода информации и управления для пользователя компьютерной системы по п.1, отличающаяся тем, что она сама управляется движениями рук и/или пальцев, и/или глаз пользователя.
12. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1 , отличающаяся тем, что она
управляется голосовыми командами пользователя.
13. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что она
управляется пользователем через, по меньшей мере, одну из избранных
компьютерных систем.
14. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что она
управляется пользователем через внешний пульт.
15. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что для зарядки ее источников питания используется индукционный принцип.
16. Система индивидуального ввода информации и управления для
пользователя компьютерной системы по п.1, отличающаяся тем, что для зарядки ее источников питания используется футляр для ее хранения.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2014/000086 WO2015119525A1 (ru) | 2014-02-07 | 2014-02-07 | Система виртуального управления |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2014/000086 WO2015119525A1 (ru) | 2014-02-07 | 2014-02-07 | Система виртуального управления |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015119525A1 true WO2015119525A1 (ru) | 2015-08-13 |
Family
ID=53778240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2014/000086 WO2015119525A1 (ru) | 2014-02-07 | 2014-02-07 | Система виртуального управления |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2015119525A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9298283B1 (en) | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080122736A1 (en) * | 1993-10-22 | 2008-05-29 | Kopin Corporation | Portable communication display device |
| US20100079356A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
| US20120320100A1 (en) * | 2011-06-16 | 2012-12-20 | Sony Corporation | Display apparatus |
| US20130242262A1 (en) * | 2005-10-07 | 2013-09-19 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20130300204A1 (en) * | 2011-01-18 | 2013-11-14 | Mojo Mobility, Inc. | Systems and methods for wireless power transfer |
-
2014
- 2014-02-07 WO PCT/RU2014/000086 patent/WO2015119525A1/ru active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080122736A1 (en) * | 1993-10-22 | 2008-05-29 | Kopin Corporation | Portable communication display device |
| US20130242262A1 (en) * | 2005-10-07 | 2013-09-19 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20100079356A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
| US20130300204A1 (en) * | 2011-01-18 | 2013-11-14 | Mojo Mobility, Inc. | Systems and methods for wireless power transfer |
| US20120320100A1 (en) * | 2011-06-16 | 2012-12-20 | Sony Corporation | Display apparatus |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9298283B1 (en) | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US9804394B2 (en) | 2015-09-10 | 2017-10-31 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US10345588B2 (en) | 2015-09-10 | 2019-07-09 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US11125996B2 (en) | 2015-09-10 | 2021-09-21 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US11803055B2 (en) | 2015-09-10 | 2023-10-31 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220121344A1 (en) | Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments | |
| US20220091722A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| EP3311249B1 (en) | Three-dimensional user input | |
| US11853527B2 (en) | Devices, methods, and graphical user interfaces for providing computer-generated experiences | |
| KR102411768B1 (ko) | 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스 | |
| US11256336B2 (en) | Integration of artificial reality interaction modes | |
| WO2021133572A1 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
| CN102779000B (zh) | 一种用户交互系统和方法 | |
| JP7382972B2 (ja) | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 | |
| JP2014186361A (ja) | 情報処理装置、操作制御方法及びプログラム | |
| US11232643B1 (en) | Collapsing of 3D objects to 2D images in an artificial reality environment | |
| US11270116B2 (en) | Method, device, and system for generating affordances linked to a representation of an item | |
| US20180032139A1 (en) | Interactive system control apparatus and method | |
| WO2022067054A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| Budhiraja et al. | Interaction techniques for HMD-HHD hybrid AR systems | |
| WO2015119525A1 (ru) | Система виртуального управления | |
| CN116940915A (zh) | 虚拟现实中的部分透视 | |
| Lu et al. | Classification, application, challenge, and future of midair gestures in augmented reality | |
| GB2535730A (en) | Interactive system control apparatus and method | |
| US20230011453A1 (en) | Artificial Reality Teleportation Via Hand Gestures | |
| US20230042447A1 (en) | Method and Device for Managing Interactions Directed to a User Interface with a Physical Object | |
| WO2024061163A1 (zh) | 人机交互方法、显示方法、装置、设备 | |
| EP4348403A1 (en) | Method and device for dynamically selecting an operation modality for an object | |
| WO2023196258A1 (en) | Methods for quick message response and dictation in a three-dimensional environment | |
| CN117561492A (zh) | 用于基于用户输入和注视来改变显示的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14881576 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13/01/2017) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14881576 Country of ref document: EP Kind code of ref document: A1 |