RU2609066C2 - Управление элементом или изделием на основе жестов - Google Patents
Управление элементом или изделием на основе жестов Download PDFInfo
- Publication number
- RU2609066C2 RU2609066C2 RU2013151462A RU2013151462A RU2609066C2 RU 2609066 C2 RU2609066 C2 RU 2609066C2 RU 2013151462 A RU2013151462 A RU 2013151462A RU 2013151462 A RU2013151462 A RU 2013151462A RU 2609066 C2 RU2609066 C2 RU 2609066C2
- Authority
- RU
- Russia
- Prior art keywords
- feature
- screen
- dimension
- action
- view
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к устройствам управления. Технический результат заключается в обеспечении возможности использования одного и того же объекта для просмотра и для настройки просмотра. Устройство содержит детектор для детектирования первого признака объекта в первом измерении и второго признака объекта в другом, втором, измерении и содержит преобразователь для преобразования первого признака в действие, которое должно выполняться над элементом или управляемым изделием, причем действие зависит от второго признака, при этом первый признак является перемещением объекта и второй признак является положением объекта, при этом первое измерение является направлением (X), параллельным экрану, и второе измерение является направлением (Z), перпендикулярным экрану, и действие содержит просмотр. 4 н. и 7 з.п. ф-лы, 5 ил.
Description
Область техники, к которой относится изобретение
Изобретение относится к устройству для управления элементом или изделием.
Дополнительно изобретение относится к прибору, способу, компьютерному программному продукту и носителю.
Примерами такого устройства являются пользовательские устройства слежения и устройства взаимодействия, основанные на распознавании жестов и использующие эти распознанные жесты.
Уровень техники
US 2009/0217211 А1 раскрывает усовершенствованный ввод с использованием распознанных жестов.
US 2010/0235786 А1 раскрывает усовершенствованный 3D интерфейс для удаленных устройств.
ЕР 2105844 А2 раскрывает способ отображения информации.
US 2007/0126696 А1 раскрывает способ отображения виртуальных координат.
US 2009/0058830 А1 раскрывает способ интерпретации жеста пальца.
Раскрытие изобретения
Технический результат, достигаемый при использовании настоящего изобретения, состоит в повышении эффективности работы пользователя с элементом, отображаемым на экране, или управляемым изделием, представляемым посредством элемента, за счет детектирования и использования более одного признака объекта, предназначенного для управления элементом или управляемым изделием.
Задачей изобретения является обеспечение усовершенствованного устройства.
Дополнительными задачами изобретения являются обеспечение прибора, способа, компьютерного программного продукта и носителя.
Согласно первому аспекту, обеспечено устройство для управления элементом или изделием, причем устройство содержит детектор для детектирования первого признака объекта в первом измерении и второго признака объекта в другом, втором, измерении и содержит преобразователь для преобразования первого признака в действие, выполняемое на элементе или изделии, при этом действие зависит от второго признака, причем первый признак является перемещением объекта, а второй признак является положением объекта, причем элемент показан на экране и изделие представлено посредством этого элемента, при этом первое измерение является направлением, параллельным экрану, а второе измерение является направлением, перпендикулярным экрану, и действие содержит просмотр.
Объектом может быть, например, часть тела или физический объект, удерживаемый частью тела, или физический объект, соединенный с частью тела, и т.д. Частью тела может быть, например, кисть, или палец, или рука, или нога, или голень, или нос и т.д. Элементом может быть, например, иконка, или символ, или пиктограмма, или окно и т.д. на экране. Элемент может представлять данные, хранящиеся в компьютере, например изображение, или программу, или аудио, или видео и т.д. Элемент может представлять собой управляемое изделие, расположенное отдельно от экрана, например, лампу, прибор, аудиоплеер, видеоплеер и т.д.
Детектор выполнен с возможностью детектирования первого признака объекта в первом измерении и выполнен с возможностью детектирования второго признака объекта в другом, втором, измерении. Преобразователь выполнен с возможностью преобразования первого признака в действие, выполняемое на элементе или изделии, представленном посредством элемента.
Так, действие было определено через первый признак, детектированный в первом измерении. Выполняя это действие, в зависимости от второго признака, аспект, или тип, или параметр и т.д. этого действия был определен через этот второй признак. Это увеличивает число возможностей, что является большим усовершенствованием.
Устройство имеет дополнительное преимущество в том, что операция, выполняемая пользователем, стала более эффективной. В прошлом, чтобы адаптировать аспект, или тип, или параметры и т.д. действия, пользователь должен был посетить, например, другое место на экране, чтобы выполнить такую адаптацию. Это неэффективная процедура. Теперь, не покидая элемента на экране, пользователь может сделать адаптацию. Это более эффективная процедура.
Первым признаком является перемещение объекта, и вторым признаком является положение объекта. Интерпретация перемещения может быть адаптирована через положение. Это положение может быть определено с учетом экрана и/или с учетом другого объекта. Перемещение может включать в себя вращение, наклон, шаг, качение, отклонение, удар, прыжок и т.д.
Перемещение объекта, когда он находится ближе к экрану и/или на большем расстоянии от другого объекта, будет иметь первый результат, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, будет иметь другой, второй, результат. Действие содержит просмотр.
Вариант воплощения устройства определяется посредством просмотра, содержащего просмотр группы элементов, содержащей элемент, на скорости, которая зависит от положения. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большем расстоянии от другого объекта, приведет к просмотру на первой скорости, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру на другой, второй, скорости, такой как, например, более высокая скорость.
Вариант воплощения устройства определен посредством просмотра, содержащего просмотр множества групп элементов, причем одна группа содержит элемент для положения, являющегося первым положением, и просмотра, содержащего просмотр одной из групп для положения, являющегося другим, вторым, положением. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большом расстоянии от другого объекта, приведет к просмотру на первом уровне, таком как уровень элемента, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру на другом, втором, уровне, например на уровне группы.
Вариант воплощения устройства определен посредством просмотра, содержащего просмотр в относительно общем масштабе для положения, являющегося первым положением, и просмотра, содержащего просмотр в относительно определенном масштабе для положения, являющегося другим, вторым, положением. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большом расстоянии от другого объекта, приведет к просмотру в первом масштабе, таком как определенный масштаб, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру в другом, втором, масштабе, таком как общий масштаб.
Вариант воплощения устройства определен посредством детектора, выполненного с возможностью детектирования перемещения объекта или положения объекта также в другом, третьем, измерении, причем третье измерение является другим направлением, параллельным экрану.
Перемещение объекта, например, в горизонтальном направлении, при расположении выше (или ниже), будет иметь первый результат, и перемещение объекта в горизонтальном направлении, при расположении ниже (или выше), будет иметь другой, второй, результат. Аналогично, перемещение объекта, например, в вертикальном направлении, при расположении левее (или правее), будет иметь третий результат, и перемещение объекта в вертикальном направлении, при расположении правее (или левее), будет иметь другой, четвертый, результат.
Для изделия в виде лампы, которая производит свет, посредством перемещения может быть адаптирована, например, яркость света и посредством положения может быть адаптирован, например, цвет света. Для изделия в виде аудиоплеера, который производит звук, посредством перемещения может быть адаптирована, например, громкость звука и посредством положения может быть адаптирована, например, частота звука, или, для различных положений, может быть адаптирована громкость различных частотных компонентов. Оба варианта возможны для одного и того же элемента и без необходимости создания нового элемента для каждого варианта.
Вариант воплощения устройства определен посредством второго признака, определяющего аспект, или тип, или параметр действия.
Вариант воплощения устройства определен посредством объекта, являющегося частью тела или физическим объектом, удерживаемым или соединенным с частью тела, и положение предпочтительно представляет собой относительное положение по отношению к другому объекту, причем другой объект является другой частью тела или остальной частью тела. Упомянутое управление также известно как управление на основе жестов. Положение может быть абсолютным положением (например, по отношению к экрану), но предпочтительно может быть относительным положением, например, по отношению к другому объекту, такому как, например, другая часть тела или остальная часть тела. В случае если положение является абсолютным положением, детектор должен быть способен совершать абсолютные детектирования. В случае если положение является относительным положением, детектору нужно только совершать относительные детектирования путем детектирования обоих объектов и их относительных положений без необходимости совершения абсолютных детектирований.
Вариант воплощения устройства определен посредством преобразователя, выполненного с возможностью преобразования второго признака в информацию, показываемую на экране или воспроизводимую иным образом. Согласно этому варианту воплощения, обратная связь предоставляется пользователю на экране или иным образом (через аудио или с помощью сигнала, подаваемого на объект или изделие, и т.д.), чтобы помогать пользователю.
Следует отметить, что и первый признак объекта в первом измерении, и второй признак объекта в другом, втором, измерении относятся к одному и тому же элементу. Так, второй признак не детектируется с помощью другого элемента, расположенного на экране рядом с элементом, когда для второго измерения, являющегося вторым направлением, параллельным экрану, происходит перемещение во втором измерении. Дополнительно первый признак преобразуется в действие, выполняемое на элементе или изделии, представленном этим элементом, и действие, выполняемое на этом элементе или этом изделии, представленном этим элементом, зависит от второго признака. Таким образом, второй признак определяет аспект, или тип, или параметр и т.д. этого действия.
Согласно второму аспекту, обеспечен прибор, содержащий устройство, определенное выше, и дополнительно содержащий изделие и/или экран.
В соответствии с третьим аспектом, обеспечен способ управления элементом или изделием, содержащий этап детектирования первого признака объекта в первом измерении и второго признака объекта в другом, втором, измерении и содержащий этап преобразования первого признака в действие, выполняемое на элементе или изделии, причем действие зависит от второго признака, причем первый признак является перемещением объекта и второй признак является положением объекта, причем элемент показан на экране и изделие представлено посредством элемента, причем первое измерение является направлением, параллельным экрану, и второе измерение является направлением, перпендикулярным экрану, и действие содержит просмотр.
Согласно четвертому аспекту, обеспечен компьютерный программный продукт для выполнения этапов способа, определенного выше.
В соответствии с пятым аспектом, обеспечен носитель для хранения и содержания компьютерного программного продукта, определенного выше.
Варианты воплощения способа соответствуют вариантам воплощения устройства.
Должно быть понятно, что более чем одно измерение может быть использовано для управления элементом, который может быть показан на экране, или для управления изделием, которое может быть представлено элементом и которое может быть расположено отдельно от экрана. Основная идея может быть в том, что посредством детектирования первого и второго признаков объекта в первом и втором измерениях и преобразования первого признака в действие, выполняемое на элементе или изделии, число возможностей может быть увеличено путем выполнения действия, зависящего от второго признака.
Была решена задача обеспечения улучшенного устройства. Дополнительным преимуществом может быть то, что операция, выполняемая пользователем, стала более эффективной.
Эти и другие аспекты изобретения будут очевидны из и объяснены со ссылкой на варианты воплощения, описанные ниже.
Краткое описание чертежей
На чертежах:
Фиг. 1 изображает прибор, содержащий устройство,
Фиг. 2 изображает прибор и устройство отдельно друг от друга,
Фиг. 3 изображает (верхняя часть) просмотр групп элементов на экране и (нижняя часть) просмотр в группе элементов на экране,
Фиг. 4 изображает изделие, представленное элементом на экране и управляемое посредством объекта, и
Фиг. 5 изображает изделие, не представленное элементом на экране, но также управляемое посредством объекта.
Осуществление изобретения
На Фиг. 1 показан прибор, содержащий устройство. Устройство 1 содержит детектор 11 в виде 3D-камеры и преобразователь 14, соединенный с детектором 11. Прибор 3 дополнительно содержит экран 31 и процессор 32. Преобразователь 14 может быть другим процессором и/или может быть выполнен как часть процессора 32.
На Фиг. 2 показаны прибор и устройство отдельно друг от друга. Устройство 1 содержит детектор 12-13 в виде первой 2D-камеры и второй 2D-камеры и преобразователь 14, соединенный с детектором 12-13. Прибор 3 содержит экран 31 и процессор 32, соединенный с преобразователем 14. Преобразователь 14 может быть другим процессором.
Другие виды детекторов не должны быть исключены, такие как детекторы для детектирования абсолютных положений, такие как детекторы глобальной системы позиционирования и детекторы локальной системы позиционирования, детекторы для детектирования нарушений в электромагнитных полях, детекторы на основе радара или технологии ультразвукового локатора и т.д.
На Фиг. 3 показан в верхней части экрана просмотр групп элементов и показан в нижней части экрана просмотр в группе элементов на экране. В верхней части Фиг. 3 показан экран 31 (вид спереди), который отображает три группы 4-6, каждая состоящая из десяти элементов 40-49, 50-59 и 60-69. Дополнительно, показан объект 2 (вид сверху), такой как, например, часть тела или физический объект, удерживаемый частью тела, или физический объект, соединенный с частью тела, и т.д. Частью тела может быть, например, рука, или палец, или кисть, или нога, или голень, или нос и т.д. Элементы 40-69 могут быть, например, иконками, или символами, или миниатюрами, или окнами и т.д. на экране 31. Элементы 40-69 могут представлять собой данные, сохраненные в компьютере, например изображение, или программу, или аудио, или видео и т.д. В верхней части Фиг. 3 объект 2 совершает перемещение влево, как показано стрелкой, например, пользователем, который взмахивает пальцами руки влево (направление Х). Это делается на первом расстоянии от экрана 31 (направление Z).
В нижней части Фиг. 3 показан экран 31 (вид спереди), который отображает десять элементов 50-59. Дополнительно, показан объект 2 (вид сверху). Здесь, объект 2 снова совершает перемещение влево, как показано стрелкой, например, пользователем, который взмахивает пальцами руки влево (направление Х). Но здесь это делается на втором расстоянии от экрана 31 (направление Z), причем второе расстояние меньше, чем первое расстояние. В результате, пользователь больше не просматривает группы 4-6, но теперь пользователь просматривает элементы 50-59 в пределах одной группы 5 из групп 4-6. Таким образом, элементы 50-59 могут быть увеличены или нет и могут быть показаны более отдаленно друг от друга или нет.
Таким образом, в целом, в данном случае устройство 1 выполнено с возможностью управления элементом 40-69, показанным на экране 31. Детектор 11-13 выполнен с возможностью детектирования первого признака объекта 2 в первом измерении и второго признака объекта 2 в другом, втором, измерении. Преобразователь 14 выполнен с возможностью преобразования первого признака в действие, выполняемое на элементе 40-69. В соответствии с большим усовершенствованием действие может зависеть от второго признака.
Предпочтительно, первый признак может быть перемещением объекта 2 и второй признак может быть положением объекта 2. Первое измерение может быть направлением Х, параллельным экрану 31, и второе измерение может быть направлением Z, перпендикулярным экрану 31.
Как показано, действие может содержать просмотр множества групп 4-6 элементов 40-69 для положения, являющегося первым положением, и действие может содержать просмотр (в пределах) одной группы 5 из групп 4-6 для положения, являющегося другим, вторым, положением.
Точно так же, в качестве альтернативы, действие может содержать просмотр одной или более групп 4-6 элементов 40-69 на скорости, которая зависит от положения. Точно так же, в качестве альтернативы, действие может содержать просмотр в сравнительно общем масштабе для положения, являющегося первым положением, и действие может содержать просмотр в относительно определенном масштабе для положения, являющегося отличным, вторым, положением.
Упомянутое управление также известно как управление на основе жеста. Положение может быть определено с учетом экрана 31 и/или с учетом другого объекта. Положение может быть абсолютным положением, например, по отношению к экрану 31, и может быть относительным положением, например, по отношению к другому объекту. Другим объектом может быть, например, другая часть тела или остальная часть тела. В случае если положение является абсолютным положением, детектор 11-13 должен иметь возможность совершать абсолютные детектирования. В случае если положение является относительным положением, детектор 11-13 должен иметь возможность совершать только относительные детектирования посредством детектирования обоих объектов и их относительных положений, без необходимости совершения абсолютных детектирований.
На Фиг. 4, показано изделие 71, представленное посредством элемента 70 на экране 31 и управляемое с помощью объекта 2. При этом изделие 71 является лампой, но, альтернативно, изделием может быть прибор, аудиоплеер, видеоплеер или продукт, такой как потребительский продукт или профессиональный продукт и т.д. Изделие 71, как правило, является управляемым изделием, расположенным отдельно от экрана 31.
Как правило, здесь устройство 1 выполнено с возможностью управления изделием 71, представленным посредством элемента 70 на экране 31. Детектор 11-13 выполнен с возможностью детектирования первого признака объекта 2 в первом измерении и второго признака объекта в другом, втором, измерении. Преобразователь 14 выполнен с возможностью преобразования первого признака в действие, выполняемое на этом изделии 71. В соответствии с большим усовершенствованием действие может зависеть от второго признака.
Предпочтительно, первый признак может быть перемещением объекта 2 и второй признак может быть положением объекта 2. Здесь первое измерение может быть направлением Х, параллельным экрану 31, и второе измерение может быть другим направлением Y, параллельным экрану 31, причем оба направления Х и Y являются, например, перпендикулярными направлениями.
Действие может содержать регулирование первого параметра изделия 71 в зависимости от перемещения, и действие может содержать регулирование другого, второго, параметра изделия 71 в зависимости от положения. Для изделия 71 в виде лампы, которая производит свет, посредством перемещения, например, может быть адаптирована яркость света и посредством положения, например, может быть адаптирован цвет света.
Альтернативно, для изделия в виде аудиоплеера, который производит звук, посредством перемещения, например, может быть адаптирована громкость звука и посредством положения, например, может быть адаптирована частота звука или, для различных положений, может быть адаптирована громкость различных частотных компонентов и т.д.
Кроме того, в соответствии с дополнительным улучшением преобразователь 14 может быть выполнен с возможностью преобразования второго признака в информацию, показываемую на экране 31 или воспроизводимую иным образом, для предоставления пользователю обратной связи на экране 31 или иным образом посредством звука или посредством сигнала, подаваемого на объект 2 или изделие 71 и т.д., чтобы способствовать задачам.
Альтернативно и/или дополнительно, второй признак может быть изменением положения объекта 2, другими словами, (временным) перемещением объекта 2, причем (временно) первый признак с перемещением объекта 2 может быть остановлен. Таким образом, первый и второй признаки не следует рассматривать слишком ограниченно. Кроме того, скорость и/или просмотр на Фиг. 3 могут быть отрегулированы для перемещений и положений в направлениях X и Y, и параметры на Фиг. 4 могут быть отрегулированы для перемещений и положений в направлениях X и Z или Y и Z и т.д. Каждый раз вместо двух измерений может быть использовано также третье измерение и даже четвертое измерение в виде времени, или даты, или количества света, или количества шума, или температуры, или может быть включен другой признак.
На Фиг. 5 показано изделие, которое не представлено элементом на экране, но которое также управляется посредством объекта. Здесь, изделие 71 выполнено в виде громкоговорителя. При перемещении объекта 2 на первом расстоянии (выраженном в направлении Z) от изделия 71 параллельно к громкоговорителю (например, в направлении Х) управляется громкость звука (например, влево: низший уровень громкости и вправо: наибольшая громкость звука) и при перемещении объекта 2 на втором расстоянии (выраженном в направлении Z) от изделия 71 параллельно к громкоговорителю (например, в направлении Х) управляется выбор звуковых дорожек (например, влево: предыдущая песня и вправо: следующая песня). Таким образом, второе расстояние должно быть отличным от первого расстояния и может быть больше или меньше этого первого расстояния. Таким образом, были созданы различные зоны, и то же самое перемещение получает свое собственное отличное значение в каждой зоне.
Для изделия 71 в виде громкоговорителя, как показано на Фиг. 5, один или более детекторов, не показанных здесь, могут составлять часть этого изделия 71 или могут образовывать часть устройства, не показанного здесь. Дополнительно, изделие 71 может быть обеспечено блоком, не показанным здесь, таким как один или несколько светоизлучающих диодов и т.д., для обеспечения обратной связи с пользователем, чтобы указывать, в какой зоне пользователь перемещает объект 2, чтобы помогать пользователю.
Так, например, расстояние жестикуляции, например, по отношению к телу или более абсолютно или к другому, например, в горизонтальном или вертикальном положениях, например, по отношению к телу или более абсолютно, может быть связано с уровнем просмотра или прокрутки, причем некоторое количество элементов могут быть просмотрены или прокручены. Возможно, на экране дается обратная связь для указания уровня просмотра или прокрутки, который представляет диапазон элементов, которые могут быть просмотрены или прокручены.
В соответствии с версией отслеживания жеста отслеживание кисти или пальца используется для просмотра или прокрутки элементов. Кисть или палец на левой стороне тела могут быть сопоставлены с первым элементом группы. Кисть или палец на правой стороне тела могут быть сопоставлены с последним элементом группы. В соответствии с версией дискретного жеста левый и правый удары используются для перепрыгивания некоторого количества элементов внутри группы. Когда кисть или палец находится близко к телу, происходят большие прыжки, и полный набор элементов может быть пропущен. Когда кисть или палец перемещается далеко от тела, удары приведут к меньшим прыжкам внутри набора элементов.
В режиме переключения может быть создано приложение для просмотра изображений. Пользователь может просматривать медицинские XR изображения с помощью горизонтальных жестов. Жесты, которые выполнены близко к телу, используются для просмотра отдельных прогонов (прогон является последовательностью изображений, выполненных за один оборот XR машины). Всякий раз, когда пользователь вытягивает свою руку, режим просмотра изменяется, и отдельные изображения в прогоне могут быть просмотрены с перемещением слева направо.
В соответствии с просмотром изображения в динамическом диапазоне диапазон изображений, которые могут быть просмотрены, связан с расстоянием взаимодействия жеста. Например, когда пользователь делает жесты близко к телу, при перемещении слева направо отображаются все изображения в прогоне. Когда кисть находится на левой стороне, представляется первое изображение. Перемещение слева направо будет перелистывать через изображения в наборе. Когда кисть находится на правой стороне, представляется последнее изображение. Как правило, набор будет иметь сотни изображений в медицинской XR среде. Когда пользователь перемещает кисть ближе к экрану, диапазон изображений может быть сужен, и можно просматривать выборку. Изображение в фокусе может быть использовано в качестве среднего изображения в этой выборке. Отображение было дано в более динамичной форме, чтобы дать пользователю больше управления и обеспечить возможность быстрого просмотра в сочетании с более мелкозернистым просмотром изображения за изображением.
Принципы управления динамическим диапазоном с помощью жеста могут быть также применены при использовании дискретных жестов (левый или правый удары). В приведенном выше примере удар будет перепрыгивать через первое количество изображений слева или справа. Когда жест удара выполняется ближе к экрану, этот прыжок будет через второе количество изображений, меньшее, чем первое количество изображений, может быть равное одному, для просмотра изображения за изображением.
Подводя итог, устройство 1 для управления элементами 40-70, которые могут быть показаны на экранах 31, или изделиями 71, которые могут быть представлены посредством элементов 70, содержит датчики 11-13 для детектирования признаков объектов 2, таких как части тела в первом и втором измерениях, и преобразователи 14 для преобразования первых признаков в действия для элементов 40-70 или изделий 71. Совершая действия, зависящие от второго признака, увеличивается некоторое количество возможностей. Первые признаки могут быть перемещениями объектов 2 и вторые признаки могут быть абсолютными или относительными положениями объектов 2. Первые измерения могут быть параллельными экранам 31 и вторые измерения могут быть перпендикулярными или параллельными экранам 31, или наоборот. Действия могут содержать просмотр групп 4-6 элементов 40-69 в положении, зависящем от скорости, или просмотр одной или более групп 4-6 в зависимости от положений. Изделия 71 могут быть лампами, приборами, аудиоплеерами, видеоплеерами, причем их параметры могут быть отрегулированы в зависимости от перемещений и положений.
Хотя настоящее изобретение было проиллюстрировано и описано подробно на чертежах и в вышеприведенном описании, такая иллюстрация и описание должны рассматриваться иллюстративно или в качестве примера и не ограниченно, причем настоящее изобретение не ограничивается раскрытыми вариантами воплощения. Другие изменения в раскрытых вариантах воплощения могут быть поняты и осуществлены специалистами в данной области техники при практическом осуществлении заявленного изобретения, при изучении чертежей, описания и прилагаемой формулы изобретения. В формуле изобретения слово «содержащий» не исключает других элементов или этапов, а единственное число не исключает множества. Простой факт, что определенные признаки изложены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих признаков не может быть использована для преимущества. Любые ссылочные обозначения в формуле изобретения не должны рассматриваться как ограничивающие ее объем.
Claims (11)
1. Устройство (1) для управления элементом (40-70), который должен быть показан на экране (31), или управляемым изделием (71), которое должно быть представлено посредством элемента (70), причем устройство (1) содержит детектор (11-13) для детектирования первого признака объекта (2) в первом измерении и второго признака объекта (2) в другом, втором, измерении и содержит преобразователь (14) для преобразования первого признака в действие, которое должно выполняться над элементом (40-70) или управляемым изделием (71), причем действие зависит от второго признака, при этом первый признак является перемещением объекта (2) и второй признак является положением объекта (2), при этом первое измерение является направлением (X), параллельным экрану (31), и второе измерение является направлением (Z), перпендикулярным экрану (31), и действие содержит просмотр.
2. Устройство (1) по п. 1, в котором просмотр содержит просмотр группы (4-6) элементов, содержащей элемент (40-70), на скорости, которая зависит от положения.
3. Устройство (1) по п. 1, в котором просмотр содержит просмотр множества групп (4-6) элементов, при этом одна группа (4-6) содержит элемент (40-70) для положения, являющегося первым положением, и просмотр содержит просмотр одной (5) из групп (4-6) для положения, являющегося другим, вторым, положением.
4. Устройство (1) по п. 1, в котором просмотр содержит просмотр в относительно общем масштабе для положения, являющегося первым положением, и просмотр содержит просмотр в относительно определенном масштабе для положения, являющегося отличным, вторым, положением.
5. Устройство (1) по п. 1, в котором детектор (11-13) выполнен с возможностью детектирования перемещения объекта (2) или положения объекта (2) также в другом, третьем, измерении, причем третье измерение является другим направлением (Y), параллельным экрану (31).
6. Устройство (1) по п. 1, в котором второй признак определяет аспект, или тип, или параметр действия.
7. Устройство (1) по п. 1, в котором объект (2) является частью тела или физическим объектом, принадлежащим или соединенным с частью тела, и положение предпочтительно является относительным положением по отношению к другому объекту, при этом другой объект является другой частью тела или остальной частью этого тела.
8. Устройство (1) по п. 1, в котором преобразователь (14) выполнен с возможностью преобразования второго признака в информацию, которая должна быть показана на экране (31) или воспроизведена иным образом.
9. Прибор (3) для управления элементом (40-70), который должен быть показан на экране (31), или управляемым изделием (71), которое должно быть представлено посредством элемента (70), причем прибор (3) содержит устройство (1) по п. 1 и дополнительно содержит управляемое изделие (71) и/или экран (31).
10. Способ управления элементом (40-70), который должен быть показан на экране (31), или управляемым изделием (71), которое должно быть представлено посредством элемента (70), причем способ содержит этап детектирования первого признака объекта (2) в первом измерении и второго признака объекта (2) в другом, втором, измерении и содержит этап преобразования первого признака в действие, которое должно быть выполнено над элементом (40-70) или управляемым изделием (71), при этом действие зависит от второго признака, причем первый признак является перемещением объекта (2) и второй признак является положением объекта (2), причем первое измерение является направлением (X), параллельным экрану (31), и второе измерение является направлением (Z), перпендикулярным экрану (31), и действие содержит просмотр.
11. Носитель для хранения и содержания компьютерного программного продукта, который при исполнении процессором побуждает процессор выполнять этапы способа по п. 10.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11163125 | 2011-04-20 | ||
EP11163125.5 | 2011-04-20 | ||
PCT/IB2012/051810 WO2012143829A2 (en) | 2011-04-20 | 2012-04-13 | Gesture based control of element or item |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2013151462A RU2013151462A (ru) | 2015-05-27 |
RU2609066C2 true RU2609066C2 (ru) | 2017-01-30 |
Family
ID=46062652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013151462A RU2609066C2 (ru) | 2011-04-20 | 2012-04-13 | Управление элементом или изделием на основе жестов |
Country Status (7)
Country | Link |
---|---|
US (1) | US9417703B2 (ru) |
EP (1) | EP2699984A2 (ru) |
JP (1) | JP6297484B2 (ru) |
CN (1) | CN103477305B (ru) |
BR (1) | BR112013026624A2 (ru) |
RU (1) | RU2609066C2 (ru) |
WO (1) | WO2012143829A2 (ru) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD749085S1 (en) * | 2011-08-23 | 2016-02-09 | Sony Corporation | Display panel or screen with graphical user interface |
US20140282224A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a scrolling gesture |
AU2017315767A1 (en) | 2016-08-24 | 2019-03-07 | Nupulsecv, Inc. | Blood pump assembly and method of use thereof |
CA3095323A1 (en) * | 2018-03-27 | 2019-10-03 | Vizetto Inc. | Systems and methods for multi-screen display and interaction |
US11416077B2 (en) | 2018-07-19 | 2022-08-16 | Infineon Technologies Ag | Gesture detection system and method using a radar sensor |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030210255A1 (en) * | 2002-03-26 | 2003-11-13 | Sony Corporation | Image display processing apparatus, image display processing method, and computer program |
US20070126696A1 (en) * | 2005-12-01 | 2007-06-07 | Navisense, Llc | Method and system for mapping virtual coordinates |
US20090058830A1 (en) * | 2007-01-07 | 2009-03-05 | Scott Herz | Portable multifunction device, method, and graphical user interface for interpreting a finger gesture |
EP2105844A2 (en) * | 2008-03-25 | 2009-09-30 | LG Electronics Inc. | Mobile terminal and method of displaying information therein |
RU2406108C2 (ru) * | 2005-06-02 | 2010-12-10 | Самсунг Электроникс Ко., Лтд. | Электронное устройство для ввода команды пользователя 3-мерным способом и способ, использующий это устройство |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6570557B1 (en) * | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
US7030861B1 (en) * | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
JP4153818B2 (ja) * | 2003-03-31 | 2008-09-24 | 本田技研工業株式会社 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7786980B2 (en) * | 2004-06-29 | 2010-08-31 | Koninklijke Philips Electronics N.V. | Method and device for preventing staining of a display device |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US7834850B2 (en) | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
US7940250B2 (en) * | 2006-09-06 | 2011-05-10 | Apple Inc. | Web-clip widgets on a portable multifunction device |
JP4766340B2 (ja) * | 2006-10-13 | 2011-09-07 | ソニー株式会社 | 近接検知型情報表示装置およびこれを使用した情報表示方法 |
US7975242B2 (en) * | 2007-01-07 | 2011-07-05 | Apple Inc. | Portable multifunction device, method, and graphical user interface for conference calling |
JP2008210348A (ja) | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | 画像表示装置 |
JP4670860B2 (ja) | 2007-11-22 | 2011-04-13 | ソニー株式会社 | 記録再生装置 |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
JP5427385B2 (ja) * | 2008-09-29 | 2014-02-26 | 日立コンシューマエレクトロニクス株式会社 | 操作制御装置及び操作表示方法 |
US20100235786A1 (en) | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
JP5182202B2 (ja) | 2009-04-14 | 2013-04-17 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
JP5282661B2 (ja) * | 2009-05-26 | 2013-09-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5177078B2 (ja) | 2009-05-26 | 2013-04-03 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
JP2011053971A (ja) | 2009-09-02 | 2011-03-17 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
US8766928B2 (en) * | 2009-09-25 | 2014-07-01 | Apple Inc. | Device, method, and graphical user interface for manipulating user interface objects |
US8261212B2 (en) * | 2009-10-20 | 2012-09-04 | Microsoft Corporation | Displaying GUI elements on natural user interfaces |
EP2579955B1 (en) * | 2010-06-11 | 2020-07-08 | Harmonix Music Systems, Inc. | Dance game and tutorial |
US8593331B2 (en) * | 2010-06-16 | 2013-11-26 | Qualcomm Incorported | RF ranging-assisted local motion sensing |
US9134800B2 (en) * | 2010-07-20 | 2015-09-15 | Panasonic Intellectual Property Corporation Of America | Gesture input device and gesture input method |
US9024166B2 (en) * | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
US8698092B2 (en) * | 2010-09-10 | 2014-04-15 | Samsung Electronics Co., Ltd. | Method and apparatus for motion recognition |
US9164581B2 (en) * | 2010-10-22 | 2015-10-20 | Hewlett-Packard Development Company, L.P. | Augmented reality display system and method of display |
US8854802B2 (en) * | 2010-10-22 | 2014-10-07 | Hewlett-Packard Development Company, L.P. | Display with rotatable display screen |
KR101792866B1 (ko) * | 2011-04-06 | 2017-11-20 | 삼성전자주식회사 | 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법 |
JP5826407B2 (ja) * | 2011-12-02 | 2015-12-02 | エンパイア テクノロジー ディベロップメント エルエルシー | ジェスチャーベースのゲームシステムの安全方式 |
US8638989B2 (en) * | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
KR101516245B1 (ko) * | 2012-02-24 | 2015-05-04 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 제스처 기반 게임 시스템을 위한 안전 방안 |
US8777226B1 (en) * | 2012-06-21 | 2014-07-15 | Robert Hubert Decker, Jr. | Proxy target system |
US8512140B1 (en) * | 2012-07-26 | 2013-08-20 | Zynga Inc. | Gaming system for updating a presentation of a virtual game environment |
-
2012
- 2012-04-13 JP JP2014505753A patent/JP6297484B2/ja active Active
- 2012-04-13 US US14/006,795 patent/US9417703B2/en active Active
- 2012-04-13 CN CN201280019096.5A patent/CN103477305B/zh active Active
- 2012-04-13 BR BR112013026624A patent/BR112013026624A2/pt not_active IP Right Cessation
- 2012-04-13 WO PCT/IB2012/051810 patent/WO2012143829A2/en active Application Filing
- 2012-04-13 EP EP12720613.4A patent/EP2699984A2/en not_active Ceased
- 2012-04-13 RU RU2013151462A patent/RU2609066C2/ru not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030210255A1 (en) * | 2002-03-26 | 2003-11-13 | Sony Corporation | Image display processing apparatus, image display processing method, and computer program |
RU2406108C2 (ru) * | 2005-06-02 | 2010-12-10 | Самсунг Электроникс Ко., Лтд. | Электронное устройство для ввода команды пользователя 3-мерным способом и способ, использующий это устройство |
US20070126696A1 (en) * | 2005-12-01 | 2007-06-07 | Navisense, Llc | Method and system for mapping virtual coordinates |
US20090058830A1 (en) * | 2007-01-07 | 2009-03-05 | Scott Herz | Portable multifunction device, method, and graphical user interface for interpreting a finger gesture |
EP2105844A2 (en) * | 2008-03-25 | 2009-09-30 | LG Electronics Inc. | Mobile terminal and method of displaying information therein |
Also Published As
Publication number | Publication date |
---|---|
EP2699984A2 (en) | 2014-02-26 |
US20140047395A1 (en) | 2014-02-13 |
US9417703B2 (en) | 2016-08-16 |
JP6297484B2 (ja) | 2018-03-20 |
WO2012143829A3 (en) | 2013-03-07 |
WO2012143829A2 (en) | 2012-10-26 |
RU2013151462A (ru) | 2015-05-27 |
CN103477305A (zh) | 2013-12-25 |
JP2014512060A (ja) | 2014-05-19 |
CN103477305B (zh) | 2017-06-13 |
BR112013026624A2 (pt) | 2016-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936145B2 (en) | Dynamic interactive objects | |
JP2021177397A (ja) | 着用可能電子機器のための竜頭入力 | |
Zaiţi et al. | On free-hand TV control: experimental results on user-elicited gestures with Leap Motion | |
CN105229582B (zh) | 基于近距离传感器和图像传感器的手势检测 | |
RU2635285C1 (ru) | Способ и устройство управления перемещением на сенсорном экране | |
US20180074680A1 (en) | Enhanced roll-over, button, menu, slider, and hyperlink environments for high dimensional touchpad (hdtp), other advanced touch user interfaces, and advanced mice | |
TWI631487B (zh) | 用於穿戴式電子器件的可按壓旋鈕輸入 | |
US20180292907A1 (en) | Gesture control system and method for smart home | |
US9684372B2 (en) | System and method for human computer interaction | |
US8959013B2 (en) | Virtual keyboard for a non-tactile three dimensional user interface | |
RU2609066C2 (ru) | Управление элементом или изделием на основе жестов | |
Datcu et al. | On the usability and effectiveness of different interaction types in augmented reality | |
Jeong et al. | Single-camera dedicated television control system using gesture drawing | |
US20150242179A1 (en) | Augmented peripheral content using mobile device | |
CN106796810A (zh) | 在用户界面上从视频选择帧 | |
Havlucu et al. | It made more sense: Comparison of user-elicited on-skin touch and freehand gesture sets | |
Williams | Finger tracking and gesture interfacing using the Nintendo® wiimote | |
TWI768407B (zh) | 預測控制方法、輸入系統及電腦可讀取記錄媒體 | |
US20130201095A1 (en) | Presentation techniques | |
Gadea et al. | Finger-based gesture control of a collaborative online workspace | |
KR20160084583A (ko) | 인터랙티브 증강현실 구현 시스템 및 방법 | |
Badillo et al. | Literature survey on interaction techniques for large displays | |
GB2560344A (en) | Method of control | |
Hachet | 3D User Interfaces, from Mobile Devices to Immersive Virtual Environments | |
Mäkelä | Capturing movement for interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20170414 |