RU2558620C2 - Устройство и способ пользовательского ввода для управления отображаемой информацией - Google Patents

Устройство и способ пользовательского ввода для управления отображаемой информацией Download PDF

Info

Publication number
RU2558620C2
RU2558620C2 RU2013123025/08A RU2013123025A RU2558620C2 RU 2558620 C2 RU2558620 C2 RU 2558620C2 RU 2013123025/08 A RU2013123025/08 A RU 2013123025/08A RU 2013123025 A RU2013123025 A RU 2013123025A RU 2558620 C2 RU2558620 C2 RU 2558620C2
Authority
RU
Russia
Prior art keywords
input surface
virtual layer
input
virtual
accordance
Prior art date
Application number
RU2013123025/08A
Other languages
English (en)
Other versions
RU2013123025A (ru
Inventor
Микко НУРМИ
Original Assignee
Нокиа Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн filed Critical Нокиа Корпорейшн
Publication of RU2013123025A publication Critical patent/RU2013123025A/ru
Application granted granted Critical
Publication of RU2558620C2 publication Critical patent/RU2558620C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к компьютерной технике, а именно к системам пользовательского ввода для управления отображаемой информацией. Техническим результатом является обеспечение управления отображением перемещения виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта. Предложено устройство для управления виртуальными слоями. Устройство содержит процессор, память, код компьютерной программы. Устройство выполнено с возможностью обнаруживать присутствие объекта в непосредственной близости от поверхности ввода. А также устройство выполнено с возможностью связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода. Кроме того, устройство выполнено с возможностью обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода. 6 н. и 20 з.п. ф-лы, 18 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к устройству и способу пользовательского ввода для управления отображаемой информацией.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Сенсорные экраны широко распространенны среди многих портативных электронных устройств, например, таких как карманные компьютеры (PDA - Personal Digital Assistant), планшеты, сенсорные поверхности и мобильные устройства. Сенсорные экраны управляются посредством указательного устройства (или стилуса) и/или пальцем. Как правило, устройства также имеют традиционные кнопки для выполнения некоторых операций.
3D-экраны, которые могут показывать стереоскопические изображения, также были разработаны для портативных и мобильных устройств. Стереоскопические экраны могут использоваться для отображения элементов UI (пользовательского интерфейса - user interface), воспринимаемых пользователем как трехмерные (3D - three-dimensional) изображения. Появление 3D-экранов также поставило ряд новых задач и возможностей для разработки взаимодействия пользователя и электронного устройства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Различные аспекты примеров изобретения изложены в формуле изобретения.
В соответствии с одним аспектом, предлагается устройство, включающее по меньшей мере один процессор и по меньшей мере одну память, включающую код компьютерной программы. По меньшей мере одна память и код компьютерной программы конфигурированы побуждать устройство с помощью по меньшей мере одного процессора по меньшей мере выполнять следующее: обнаруживать присутствие объекта в непосредственной близости от поверхности ввода, определять отображаемый виртуальный слой, связанный на данный момент с объектом, на основании расстояния между объектом и поверхностью ввода, обнаруживать ввод данных объектом при его зависании и вызывать операцию отображения перемещения по меньшей мере части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта.
В соответствии с аспектом изобретения, предлагается способ, включающий: обнаружение присутствия объекта в непосредственной близости от поверхности ввода, определение отображаемого виртуального слоя, связанного на данный момент с объектом, на основании расстояния между объектом и поверхностью ввода, обнаружение ввода данных объектом при его зависании и вызов операции отображения перемещения по меньшей мере части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта.
В соответствии с примером осуществления, расстояние между поверхностью ввода и по меньшей мере частью слоя адаптируется в соответствии с вводом данных при зависании объекта.
В соответствии с другим примером осуществления, смена режима отображения между двумерным и трехмерным режимами обнаруживается на основании обнаружения ввода данных при зависании объекта, и отображением двумерного и трехмерного видов управляют в соответствии с обнаруженным изменением режима отображения.
Изобретение и различные варианты осуществления изобретения предоставляют ряд преимуществ, которые станут очевидны из представленного ниже подробного описания.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для более полного понимания примеров осуществления настоящего изобретения далее приводится описание совместно с прилагаемыми чертежами, на которых:
Фиг.1a и 1b иллюстрируют управление виртуальными слоями в соответствии с примером осуществления;
Фиг.2 является упрощенной структурной схемой вида сбоку устройства в соответствии с примером осуществления изобретения;
Фиг.3 и 4 иллюстрируют способы в соответствии с примерами осуществления изобретения;
Фиг.5 и 6 иллюстрируют вид сбоку изменяющейся формы виртуальных слоев на основании ввода данных при зависании объекта в соответствии с примерами осуществления изобретения; и
Фиг.7a и 7b иллюстрируют вид сверху изменяющейся формы виртуальных слоев в соответствии с примером осуществления;
Фиг.8 иллюстрирует способ в соответствии с примером осуществления;
Фиг.9, 10, 11a, 11b, 12 и 13 иллюстрируют вид сбоку изменяющейся формы виртуальных слоев на основании ввода данных при зависании объекта в соответствии с некоторыми примерами осуществления;
Фиг.14 иллюстрирует способ в соответствии с примером осуществления; и
Фиг.15 иллюстрирует электронное устройство в соответствии с примером осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Фиг.1a иллюстрирует расположение виртуальных слоев 2a, 2b, 2 с виртуального трехмерного пространства. Виртуальные слои 2a-2с могут отображаться стереоскопическим экраном как располагаемые на поверхности 3 экрана. Под виртуальным слоем, как правило, понимают уровень или отображение из некоторого набора расположенных послойно 3D-уровней или отображений, которые могут частично перекрывать друг друга. Также виртуальный слой может называться 3D-слоем и рассматриваться как составная часть получающейся в 3D-пространстве иллюзии. Виртуальный слой может покрывать лишь часть области экрана, а отдельные виртуальные слои могут использоваться для одновременного покрытия различных областей экрана. Виртуальный слой может отображать множество 2D- и/или 3D- элементов графического пользовательского интерфейса (GUI - graphical user interface), которые могут быть по меньшей мере частично прозрачными. Необходимо понимать, что виртуальные слои могут иметь различную форму, а в некоторых вариантах осуществления их форма может быть изменена пользователем.
В примерах осуществления "зависание" объекта используется для управления отображением и/или расположением одного или более виртуальных слоев 2a-2с. Под зависанием (hovering) как правило понимают расположение объекта 1 ввода, такого как, например, палец или стилус, в непосредственной близости от поверхности 3 ввода, такой как, например, поверхность ввода сенсорного экрана, однако без непосредственного контакта с нею. Среди отображаемых виртуальных слоев 2a-с 3D-отображения слой 2a, связанный в данный момент с объектом, может быть определен на основании расстояния 4 между объектом 1 и поверхностью 3 ввода. Данное понятие необходимо понимать широко, так как оно может включать определение, основанное, например, на специально заданном значении расстояния или на значении сигнала, которое зависит от расстояния до объекта.
Операция экрана по отображению перемещения по меньшей мере части связанного виртуального слоя может управляться в соответствии с обнаруженным вводом данных при зависании объекта. Ввод данных при зависании объекта, связанный с виртуальным слоем 2a, может быть обнаружен путем простого обнаружения зависания объекта 1 ввода, связанного с виртуальным слоем, или же, например, может требоваться какой-либо определенный жест, выполненный объектом ввода. Данные свойства обеспечивают множество интуитивно понятных возможностей воздействия для управления отображением 3D-экрана посредством использования пространства, расположенного над поверхностью 3 ввода. Виртуальные слои могут визуализироваться при их взаимодействии с реальными объектами, такими как, например, пальцы пользователя, позволяя усиливать 3D-восприятие пользователя.
Как показано в примере фиг.1b, связанный слой 2a может управляться на основании дальнейшего движения пальца, определяемого как ввод данных при зависании объекта, посредством изменения расположения связанного слоя 2a и перемещения слоя ближе к другому слою, например, к слою 2b.
Фиг.2 иллюстрирует пример устройства 100, в котором может быть обеспечено управление виртуальными слоями на основе зависания. Устройство 100 может быть периферийным устройством или же оно может быть встроено в электронное устройство. Примеры электронных устройств включают потребительские электронные устройства, такие как, например, компьютеры, медиа-проигрыватели, устройства доступа к беспроводной связи и т.д.
Устройство 100 включает систему или модуль 120 обнаружения приближения объекта, конфигурированный на обнаружение объекта 1 ввода в непосредственной близости, но без осуществления контакта, с поверхностью 112 ввода. Поверхность 112 ввода может быть поверхностью сенсорного экрана или другим устройством ввода, способным обнаруживать пользовательский ввод.
Область 140 воздействия, которая также может называться областью обнаружения зависания, может являться ближайшей областью и/или расстоянием, на котором обнаруживается объект 1 ввода или ввод данных при зависании объекта. Пользовательский ввод, такой как, например, определенный обнаруживаемый жест, обнаруживаемый в области 140 обнаружения зависания по меньшей мере частично на основе объекта 1 ввода, без его касания поверхности 112 ввода, может называться вводом данных при зависании объекта. Такой ввод данных при зависании объекта связан по меньшей мере с одной функцией, например, с выбором UI-элемента, выбором виртуального слоя, увеличением области экрана, активацией всплывающего меню, изменением UI-элемента или виртуального слоя или с перемещением виртуального слоя. Объект 1 ввода данных при зависании или ввод данных при зависании могут быть обнаружены на основании сенсорного сигнала или расстояния 150 между объектом 1 ввода и поверхностью 112 ввода, который удовлетворяет заранее заданному пороговому значению. В некоторых вариантах осуществления область 140 обнаружения зависания позволяют осуществлять ввод и/или получение доступа к данным в устройстве 100 даже без непосредственного касания поверхности 112 ввода.
В некоторых вариантах осуществления система 120 обнаружения создает поле воздействия посредством одного или более датчиков 122 приближения. В одном примере осуществления применяется емкостная система обнаружения приближения, в которой датчики 122 являются емкостными сенсорными узлами. Возмущения, вызванные одним или более объектами 100 ввода в поле воздействия, отслеживаются, и присутствие одного или более объектов обнаруживается на основании обнаруженных возмущений. Емкостная схема 120 обнаружения обнаруживает изменения емкости в области над поверхностью сенсорного экрана 110.
Однако необходимо понимать, что данные признаки не ограничиваются лишь применением какого-либо конкретного типа обнаружения приближения. Система 120 обнаружения приближения может основываться на инфракрасном обнаружении приближения, оптическом обнаружении тени, обнаружении излучения звука, ультразвуковом обнаружении или на другой подходящей технологии обнаружения приближения. Например, для случая системы 120 обнаружения приближения, основанной на инфракрасном обнаружении, система будет включать один или более излучателей, испускающих импульсы инфракрасного излучения. Также будет иметься один или более детекторов для обнаружения отражений данного излучения от ближайших объектов 100. Если система обнаружит отраженный луч, то будет считаться, что объект ввода найден.
Система 120 обнаружения может быть выполнена таким образом, чтобы устанавливать (или обеспечивать сигнал, позволяющий установить) расстояние от объекта 1 ввода до поверхности 112 ввода, что позволяет получить данные о z-координате местоположения объекта 1 относительно поверхности 112 ввода. Система 120 обнаружения приближения может быть также выполнена таким образом, чтобы генерировать информацию о x- и y-позициях объекта 1 с целью определения целевого UI-элемента или области ввода данных при зависании. Как правило, направления x и y располагаются параллельно поверхности 112 ввода, а направление z в основном располагается перпендикулярно ей. В зависимости от применяемой технологии обнаружения приближения, размера устройства 100 и поверхности 112 ввода, а также в зависимости от желаемого пользовательского воздействия область 140 обнаружения зависания может быть выполнена таким образом, чтобы иметь протяженность от поверхности 112 ввода, например, от нескольких миллиметров вплоть до нескольких десятков сантиметров. Система 120 обнаружения приближения может позволять обнаруживать также и другие части руки пользователя, и система может быть выполнена таким образом, чтобы обнаруживать ложный ввод данных и избегать соответствующей реакции на него.
Виртуальные слои могут отображаться дисплеем 110 в области 140 обнаружения зависания. В некоторых вариантах осуществления система 120 обнаружения приближения представлена в устройстве, включающем сенсорный экран. Таким образом, экран 110 может быть сенсорным экраном, включающим множество сенсорных датчиков 114 для обнаружения ввода данных посредством касания поверхности ввода сенсорного экрана.
Устройство 100 может включать стереоскопический экран, способный отображать стереоскопические изображения. Стереоскопический экран может быть выполнен таким образом, чтобы генерировать 3D-изображение(я) одного или более виртуальных слоев, таких как, например, виртуальные слои 2a-2c, показанные на фиг.1a и 1b. Стереоскопический экран может направлять информацию от нескольких субпикселей изображения в различные направления так, что наблюдатель каждым глазом видит различные картинки. Если картинки достаточно схожи, то человеческий мозг полагает, что наблюдатель смотрит на единственный объект, и объединяет совпадающие точки двух картинок для создания восприятия единого объекта. Данные о 3D-изображении могут быть получены, например, посредством взятия множества двумерных изображений и комбинирования пикселей изображений в субпиксели одного изображения для его последующего представления на стереоскопическом экране. В одном варианте две камеры с целью захвата двумерных изображений для 3D-представления располагаются на небольшом заранее заданном расстоянии друг относительно друга. Каждая камера может включать цепь обработки изображения, осуществляющую обработку захваченных изображений. Система стереоскопического экрана может также включать пользовательскую систему захвата изображения и функцию слежения за движением глаз. Экран 110 может иметь отдельные 2D- и 3D- режимы, а система может иметь возможность переключаться между этими режимами. В зависимости от желаемой реализации и применяемой технологии стереоскопического экрана экран 110, который в некоторых вариантах осуществления является сенсорным экраном, может быть выполнен таким образом, чтобы обеспечивать возможности стереоскопического экрана, или же элементы стереоскопического экрана могут по меньшей мере частично находиться отдельно от сенсорного экрана 110 (не показано на фиг.2). В одном варианте осуществления стереоскопический экран является автостереоскопическим экраном, а виртуальные слои являются автостереоскопическими отображениями, что подразумевает такое стереоскопическое представление UI-элемента, которое не требует от пользователя наличия специальных очков. Могут использоваться различные автостереоскопические экраны, например, автостереоскопические экраны, основанные на границах параллакса, и/или с использованием двояковыпуклых линз или за счет применения голографии и/или системы слежения за движением глаз.
Система 120 обнаружения приближения подключается к контроллеру 130. Система 120 обнаружения приближения конфигурирована отправлять в контроллер 130 сигналы, когда происходит обнаружения объекта 1 ввода в области 140 обнаружения зависания. Основываясь на этих сигналах о вводе данных, могут генерироваться команды, процедуры выбора и другие виды действий, как правило, создающие для пользователя видео-, аудио- и/или тактильный отклик. Информация о вводе данных посредством касания сенсорных датчиков 114 может передаваться на контроллер 130 или на другой контроллер посредством управляющей схемы.
Контролер 130 может также подключаться к одному или более устройствам вывода данных, таким как, например, сенсорный экран с возможности 3D-отображения и/или отдельный модуль 3D-отображения. Контроллер 130 может быть конфигурирован управлять различными отображениями приложения на экране 110. Контроллер 130 может обнаруживать ввод данных посредством касания и при зависании на основании сигналов, поступающих от системы 120 обнаружения приближения и сенсорных датчиков 114. В этом случае контроллер 130 может управлять функцией отображения, связанной с обнаруженным вводом данных посредством касания или зависания. Кроме того, контроллер 130 может быть выполнен таким образом, чтобы обнаруживать виртуальный слой, который связан на данный момент с зависающим объектом 1, и побуждать экран осуществлять перемещение по меньшей мере части связанного слоя в соответствии с обнаруженным вводом данных при зависании объекта. Некоторые примеры других свойств, которые могут частично выполняться контроллером 130, проиллюстрированы ниже. Необходимо понимать, что функции контроллера 130 могут быть реализованы в едином управляющем элементе или же во множестве управляющих элементов.
Необходимо понимать, что устройство 100 может включать различные элементы, которые здесь детально не описаны. Хотя устройство 100 и контроллер 130 представлены как отдельные модули, различные свойства могут быть реализованы в одном или более физическом или логическом модулях. Например, может быть представлено устройство на основе микросхем, конфигурированное выполнять функции управления контроллера 130. Кроме того, могут иметься другие специальные функциональные модули (или один модуль), например, для выполнения одного или более шагов, описанных касательно фиг.3, 4, 8 и 14. В одном примере осуществления система 120 обнаружения приближения и поверхность 112 ввода располагаются отдельно от экрана 110, например, сбоку или же сзади (относительно расположения экрана) карманного электронного устройства.
На фиг.3 показан способ управления виртуальными слоями, основанный на зависании объекта, в соответствии с примерами осуществления. Способ, например, может использоваться как алгоритм управления для контроллера 130.
Присутствие объекта в непосредственной близости от поверхности ввода обнаруживается на шаге 300. На шаге 310 на основании расстояния от объекта до поверхности ввода из по меньшей мере двух виртуальных слоев стереоскопического экрана определяется слой, связанный на данный момент с объектом.
Ввод данных при зависании объекта обнаруживается на шаге 320. Необходимо понимать, что обнаружение ввода данных при зависании объекта и определение связанного на данный момент слоя могут осуществляться в один и тот же момент времени, или же пользователь может осуществлять ввод данных при зависании объекта лишь спустя некоторое время после выполнения шага 310. Кроме того, в одном варианте осуществления фиг.3 связанный слой определяется после обнаружения (320) ввода данных при зависании объекта.
Операция по отображению перемещения по меньшей мере части связанного слоя выполняется на шаге 330 в соответствии с обнаруженным вводом данных при зависании объекта. Обратимся также к примеру, представленному на фиг.1, где устройство 100 может также быть выполнено таким образом, чтобы побуждать экран отображать выбранный слой 2a как перемещающийся в одном или более направлениях x, y, z. Например, относительное расстояние между по меньшей мере частью слоя 2a и поверхностью ввода адаптируется в соответствии с вводом данных при зависании. Таким образом, виртуальные слои могут быть выполнены так, чтобы реагировать на движения пальцами, и пользователю может казаться, что он осуществляет пальцем перемещение слоя. С движением объекта 1 в одном или более направлениях x, y, z могут быть связаны различные действия над выбранным слоем. Некоторые из примеров представлены ниже.
Устройство 100 может быть конфигурировано обнаруживать жест(ы) зависания. В одном примере осуществления на шаге 320 устройство конфигурировано обнаруживать жест зависания, связанный с по меньшей мере одним виртуальным слоем 1a. Выбор и/или отображение перемещения по меньшей мере части слоя может управляться (шаг 330) в соответствии с жестом зависания. Например, устройство 100 может быть выполнено таким образом, чтобы определять движения вращения или двойного нажатия, связанные с виртуальным слоем.
Как показано на фиг.4, в некоторых примерах осуществления устройство 100 конфигурировано определять (шаг 400) поперечное расположение объекта 1 в направлениях x и y параллельно поверхности 3 ввода. Движение по меньшей мере части слоя может управляться (шаг 410) в соответствии с определенным поперечным расположением: Фиг.1a, 1b, 5, 6, 7a и 7b иллюстрируют некоторые примеры, в которых позиции x и y объекта влияют на отображаемое движение связанного виртуального слоя.
Например, см. фиг.5, когда в центральной позиции 500 слоя 2 обнаруживается движение зависания, осуществляется выбор всего слоя, а операция отображения управляется так, чтобы отобразить движение 510 всего слоя 2 к поверхности ввода. В одном примере осуществления слой 2a может перемещаться относительно другого слоя 2b за счет зависания объекта, выбирающего весь слой, и слои, таким образом, будут расположены на одном уровне. Устройство 100 может быть также выполнено таким образом, чтобы изображать разделение 3D-отображений различных уровней путем обратного ввода при зависании объекта.
В одном примере осуществления, как показано на фиг.6, 7a и 7b, устройство 100 конфигурировано побуждать часть слоя 2 приближаться (610, 620) к поверхности ввода. Кроме того, для слоя 2 в случае поперечного расположения 600 объекта может предусматриваться операция 700 наклона. Например, слой 2 может представлять собой 3D-вид карты города. В ответ на зависание пальца над поверхностью ввода с одной стороны слоя 2, вид карты может «наклоняться» в одну сторону, а карта может просматриваться в горизонтальной плоскости, позволяя, таким образом, пользователю достаточно просто изменить ориентацию вида карты, а также увидеть большую ее часть, так как наклон карты открывает большую область карты.
Необходимо понимать, что для упрощения восприятия того, что слой следует за удаляющимся объектом, часть слоя 2 может быть выбрана и отображена как перемещающаяся в направлении от поверхности ввода 3, 112.
В другом примере осуществления, как показано на фиг.8, устройство 100 конфигурировано обнаруживать (800) объект, осуществляющий виртуальное касание части виртуального слоя. В ответ на обнаружение нажатия после зависания, например, когда объект приблизился (810) к поверхности ввода после того, как было обнаружено виртуальное касание, устройство может быть конфигурировано реагировать (820) посредством изменения по меньшей мере части слоя. Изменение слоя (или его части) может представлять собой имитацию ответа на нажатие на по меньшей мере часть слоя. Таким образом, может отображаться прогиб на слое или же перемещение слоя от поверхности ввода, например так, как показано на фиг.10.
С перемещением всего или же части виртуального слоя 2 могут ассоциироваться различные действия. В качестве примеров можно назвать операции увеличения, вращения, растягивания, выполняющиеся в ответ на зависание пользовательского объекта над виртуальным слоем. В еще одном примере виртуальные слои 2a-2c могут изменять порядок своего расположения посредством того, что пользователь выбирает целый слой и перемещает его по отношению к другому(-им) слою(-ям).
В некоторых примерах осуществления устройство 100 конфигурировано управлять (330) операциями отображения в виртуальном слое на основании других свойств, связанных с зависанием объекта 1 ввода в области 140 обнаружения зависания.
В еще одном примере осуществления устройство 100 конфигурировано определять скорость движения объекта 1 и осуществлять выбор операции отображения для подстройки (330) внешнего вида слоя в соответствии с определенной скоростью. Для этого могут существовать одно или более пороговых значений для выполнения выбора операции отображения в зависимости от скорости движения объекта. Например, на фиг.9 палец 1 может быть приближен к поверхности ввода на небольшой скорости, в результате чего экран обновляется посредством отображения движения всего слоя 2 целиком. На фиг.10 палец может быть приближен к поверхности ввода с большей скоростью (например, сверх некоторого заданного порогового значения скорости), и на слое 2 может быть отображен прогиб (1000) в ответ на более быстрое выполнение операции зависания объекта.
В некоторых примерах осуществления поверхность 3 ввода и дисплей, отображающий виртуальные слои, размещаются на противоположных сторонах карманного электронного устройства. Например, поверхность ввода может быть размещена на задней стороне карманного электронного устройства. Система обнаружения приближения может быть выполнена таким образом, чтобы обнаруживать ввод данных пользователем при зависании объекта над задней стороной, и пользователь может управлять виртуальными слоями при зависании объекта без непосредственного воздействия пальцами на их 3D-отображение. В другом примере устройство 100 может быть выполнено таким образом, чтобы поддерживать ввод данных при зависании объекта над обеими сторонами устройства, и даже при одновременном зависании над обеими сторонами. Таким образом, например, пользователь может наводить пальцы на обе стороны устройства одновременно для управления виртуальными слоями, отображаемыми на передней стороне экрана, а также на его задней стороне.
В одном примере осуществления виртуальный слой может быть визуально расширен или полностью расположен на задней стороне электронного устройства (для случая, когда экран расположен на лицевой стороне устройства). Как показано в примере на фиг.11a, виртуальный слой 2 может быть визуально расположен на задней стороне устройства. Система обнаружения зависания может быть выполнена таким образом, чтобы обнаруживать объекты на задней стороне устройства и приближать виртуальный слой к объекту 1100, расположенному на поверхности 1110. Как показано в примере на фиг.11b, в ответ на дальнейшее приближение поверхности по меньшей мере часть виртуального слоя перемещается, и, таким образом, внешний вид виртуального слоя реагирует на объект 1100, виртуально касающийся виртуального слоя. Например, может быть обнаружено расположение объекта 1100, а на связанной области виртуального слоя 2 может быть отображен прогиб.
В некоторых примерах осуществления перемещение и/или внешний вид по меньшей мере части слоя 2а-2c управляется в соответствии с одним или несколькими физическими свойствами, связанными со слоем или с одним или более элементами графического пользовательского интерфейса данного слоя. В одном варианте осуществления различные слои 2a-2c могут быть связаны с различной толщиной, и отображаемая реакция на ввод данных при зависании объекта может зависеть от этой толщины. Например, обращаясь к фиг.12, ввод данных при зависании объекта и нажатия на слой 2b, связанный с большим значением толщины, приводит к визуальному перемещению слоя без изменения его формы. Однако в примере на фиг.13, в ответ на аналогичный ввод данных при зависании объекта над слоем 2c, обладающим меньшим значением толщины, слой 2c визуально прогибается (1300).
В другом примере осуществления виртуальный слой 2a-c может быть связан с определенным материалом, с одним или несколькими свойствами, связанными с данным материалом. Поэтому виртуальные слои могут быть связаны с различными свойствами веса, гибкости и/или растяжимости и т.д.
Операции отображения на шаге 330 фиг.3 могут быть выбраны на основании данных свойств слоя.
В некоторых примерах осуществления смена режима отображения с 2D-режима на 3D-режим и обратно обнаруживается на основании ввода данных при зависании, связанного с одним или более слоями 2a-c. Устройство 100 может быть конфигурировано управлять изменением отображением 2D- или 3D- вида в соответствии с обнаруженным вводом данных при зависании.
Как показано на фиг.14, в одном примере осуществления, устройство 100 конфигурировано обнаруживать (шаг 1400) выбор всего слоя, например, в ответ на обнаружение виртуального касания объектом центральной части слоя. В ответ на обнаружение (1410) зависания объекта над поверхностью ввода, например, над сенсорным экраном, (и в одном примере осуществления с последующим его касанием) осуществляется управление изменением режима отображения с 3D-режима на 2D-режим. Далее пользователь может осуществлять ввод данных лишь посредством касания экрана. Таким образом, пользователю обеспечивается интуитивно понятный способ включения/выключения 3D-режима. Переключение с режима 2D на режим 3D может быть также осуществляться по меньшей мере частично на основании ввода данных при зависании объекта. Например, когда пользователь поднимает свой палец с поверхности экрана, происходит отображение виртуальных слоев. Аналогичные операции отображения могут быть выполнены для случая, когда устройство 100 лежит на поверхности (виртуальные слои «разглаживаются»), а затем устройство поднимается с данной поверхности.
В некоторых примерах осуществления свойства объекта(-ов) 1 ввода связаны с обнаруживаемым вводом данных при зависании и могут применяться для управления операциями отображения на шаге 330. Например, устройство 100 может быть выполнено таким образом, чтобы обнаруживать поднесение ладони руки к области обнаружения зависания; и может осуществляться управление операцией отображения, отличной от той, которая связана с пальцем. В другом примере виртуальные слои могут удаляться (а режим отображения может изменяться на 20-режим), только когда обнаружено приближение ладони к поверхности ввода. Таким образом, для адаптации внешнего вида виртуального слоя в ответ на зависание объекта может быть использован размер объекта.
Система 120 обнаружения приближения может быть выполнена таким образом, чтобы обнаруживать одновременное или комбинированное использование двух и более объектов 1. В одном примере осуществления связанный слой и/или ввод данных при зависании обнаруживается в ответ на зависание двух или более пальцев над поверхностью ввода. В другом примере внешний вид виртуального слоя 2a-2c может изменяться посредством одновременного использования двух или более пальцев.
В одном примере осуществления различные функции зависания могут назначаться различным (по меньшей мере двум) пальцам. В этом случае устройство 100 может быть выполнено таким образом, чтоб поддерживать распознавание пальцев, например, на основании информации, получаемой от системы обнаружения приближения и/или от другого(-их) датчика(-ов). Например, два зависающих пальца могут побуждать виртуальный слой 2 прогибаться на большую величину, чем при аналогичном движении, выполняемом одним пальцем. Устройство 100 может быть выполнено таким образом, чтобы на основании обнаруженного движения пальцев в области 140 обнаружения зависания вычислять (виртуальную) силу, прилагаемую каждым пальцем, суммировать вычисленную силу и, например, осуществлять прогиб виртуального слоя на основании полученной общей силы. Свойства, представленные выше, например, свойства касательно фиг.3, 4 и 8, могут использоваться отдельно для каждого обнаруженного пальца или для комбинации пальцев.
В качестве еще одного примера размер области обнаружения зависания может влиять на управление 330 операциями отображения. В еще одном примере устройство 100 выполнено таким образом, чтобы обнаруживать направление движения объекта 1 в области 140 обнаружения зависания, то есть направление зависания. Направление зависания может влиять на управление 330 операциями отображения для связанного(-ых) виртуального(-ых) слоя(-ев). Необходимо понимать, что два или более из представленных выше примеров свойств могут использоваться для воздействия на операции отображения. Например, на шаге 330 могут одновременно рассматриваться скорость движения и число пальцев.
В дополнение к уже проиллюстрированным вариантам осуществления на выбор доступен широкий набор других функций для их связывания с вводом данных, обнаруживаемым сенсорной системой обнаружения и/или системой 120 обнаружения приближения. Контроллер 130 может быть конфигурирован использовать данные связи в соответствии, например, с текущим рабочим состоянием устройства 100, пользовательским вводом данных или выполняемым в устройстве 100 приложением. Например, связи могут зависеть от приложения, текущего меню, конкретного вида и/или зависеть от контекста (что может быть определено на основании информации, полученной от текущего окружения или используемого устройства 100).
На фиг.15 показана структурная схема электронного устройства 1500 в соответствии с примером осуществления. Электронное устройство может включать устройство 100. Хотя один из примеров осуществления электронного устройства 1500 проиллюстрирован и далее будет описываться для иллюстрации, данные варианты осуществления могут использоваться и с другими электронными устройствами, такими как, например (но не ограничиваясь лишь перечисленным), PDA, пейджеры, мобильные компьютеры, настольные компьютеры, ноутбуки, планшеты, медиа-проигрыватели, телевизоры, игровые приставки, камеры, видеокамеры, устройства позиционирования, электронные книжки, носимые устройства, проекторы, сенсорные поверхности, сенсорные стены и другие типы электронных систем.
Кроме того, устройство в примере осуществления не обязательно должно быть целым электронным устройством, а может представлять собой, в других примерах осуществления, часть или группу частей электронного устройства. Например, устройство может быть выполнено в форме чипсета или какого-либо другого вида аппаратного модуля для управления выполнением по меньшей мера некоторых из описанных выше функций, таких как, например, функции контроллера 130 на фиг.2. Процессор 1502 конфигурирован выполнять инструкции и операции, связанные с электронным устройством 1500. Процессор 1502 может включать средства, такие как, например, устройство цифровой обработки сигналов, микропроцессорное устройство и другие микросхемы, для выполнения различных функций, включающих, например, одну или более функций, описанных касательно фиг.1-14. Процессор 1502 может управлять приемом и обработкой входных и выходных данных, передаваемых между компонентами электронного устройства 1500 посредством использования функций, извлекаемых из памяти. Процессор 1502 может быть реализован на одном кристалле, на множестве кристаллов или в множестве электронных компонентов. Некоторые примеры архитектуры, которая может использоваться для процессора 1502, включают отдельный или встроенный процессор и ASIC (проблемно-ориентированная интегральная микросхема - Application-Specific Integrated Circuit). Для простоты на фиг.15 процессор 1502 показан в виде одного блока, однако необходимо понимать, что электронное устройство 1500 может включать множество подсистем управления, таких как, например, одна или более подсистем ввода/вывода данных, подсистема обработки приложения и подсистема обработки протокола связи, каждая из которых может включать один или более контроллеров.
Процессор 1502 может включать возможность выполнения одной или более компьютерных программ. Код компьютерной программы может храниться в памяти 1504. По меньшей мере одна память и код компьютерной программы могут быть конфигурированы побуждать устройство при помощи по меньшей мере одного процессора выполнять по меньшей мере один вариант осуществления, включая, например, управление одной или более функцией, описанных касательно фиг.1-14. Например, процессор 1502 может быть выполнен таким образом, чтобы выполнять по меньшей мере часть функций контроллера 130 из фиг.2. Как правило, процессор 1502 работает совместно с операционной системой для выполнения компьютерного кода и создания и использования данных.
Примером памяти 1504 может быть постоянная память, такая как, например, EEPROM (электрически стираемое программируемое постоянное запоминающее устройство - Electrically Erasable Programmable Read-Only Memory), флеш-память и тому подобное, и непостоянная память, такая как, например, оперативная память (RAM - random access memory), включающая кеш-область для временного хранения данных. Информация для управления функциональностью процессора 802 может также размещаться на съемном носителе информации и загружаться или инсталлироваться при необходимости на электронное устройство 1500.
Электронное устройство 1500 может включать антенну (или множество антенн), подключенную к модулю приемопередатчика 1506, включающего передатчик и приемник. Электронное устройство 1500 может работать, используя один или более стандартов радиоинтерфейса и протоколов связи. В качестве примера электронное устройство 1500 может работать в соответствии с любым числом протоколов связи первого, второго, третьего и/или четвертого поколения и тому подобными. Например, электронное устройство 1500 может работать в соответствии с протоколами проводной связи, такими как, например, Ethernet и протокол цифровой абонентской линии (DSL - digital subscriber line), с протоколами беспроводной связи второго поколения (2G - second generation), такими как, например, протокол глобальной системы связи с подвижными объектами (GSM - Global System for Mobile communications), с протоколами беспроводной связи третьего поколения (3G - third generation), такими как, например, протокол проекта сотрудничества по сетям третьего поколения (3GPP - Third Generation Partnership Project), CDMA2000, широкополосный CDMA (WCDMA - wideband CDMA) и протокол синхронного CDMA с временным разделением (TD-SCDMA - time division-synchronous CDMA), с протоколами беспроводной связи четвертого поколения (4G - fourth generation), такими как, например, протокол долгосрочного развития 3GPP (LTE - Long Term Evolution), с протоколами беспроводной локальной сети, такими как, например, 802.11, с протоколами беспроводной связи малого радиуса действия, таким как, например, Bluetooth и/или тому подобное.
Пользовательский интерфейс электронного устройства 1500 может включать устройство 1508 вывода данных, такое как динамик, одно или более устройств 1510 ввода данных, таких как микрофон, клавиатура или одна или более клавиш или переключателей, и дисплейное устройство 1512, подходящее для обсуждаемого электронного устройства 1500.
Устройство 1510 ввода данных может включать сенсорное устройство, конфигурированное принимать входные данные от пользовательских касаний и отправлять данную информацию на процессор 1502. Такое сенсорное устройство может также быть конфигурировано распознавать позицию и силу нажатий на сенсорную поверхность. Сенсорное устройство может быть основано на сенсорных технологиях, включающих, но не ограниченных перечисленным, емкостное сенсорное восприятие, резистивное сенсорное восприятие, сенсорное восприятие на основе поверхностной звуковой волны, сенсорное восприятие на основе давления, индуктивное сенсорное восприятие, оптическое сенсорное восприятие. Кроме того, сенсорное устройство может основываться на одиночных касаниях или множественных касаниях. В одном варианте осуществления устройство ввода данных является сенсорным экраном, который располагается на передней части экрана 1512.
Электронное устройство 1500 также включает систему 1514 обнаружения приближения с датчиком(-ами) приближения, такую как система 120, описанная ранее, подключенную к процессору 1502. Система 1514 обнаружения приближения конфигурирована обнаруживать, когда палец, стилус или другое указательное устройство находится в непосредственной близости от, однако не касаясь, некоторых из компонентов компьютерной системы, включая, например, корпус или устройства ввода/вывода, такие как, например, сенсорный экран.
Кроме того, электронное устройство 1500 может также включать блоки и элементы, не показанные на фиг.15, такие как, например, другие интерфейсные устройства, другие датчики (например, датчик ускорения), батарея, элементы захвата медиаданных, такие как, например, камера, видео- и/или аудио- модуль, блок позиционирования и блок идентификации пользователя.
В некоторых вариантах осуществления устройство 100 на основании, например, обнаруженного ввода данных при зависании объекта, может производить иные выходные сигналы, такие как, например, аудио- и/или тактильные выходные сигналы. Например, процессор 1502 может быть выполнен таким образом, чтобы управлять в электронном устройстве 1500 динамиком и/или выходным тактильным переключателем, таким как, например, вибромотор, для обеспечения подобных выходных сигналов.
Варианты осуществления настоящего изобретения могут быть реализованы в программном обеспечении, аппаратном обеспечении, программной логике или в комбинации программного обеспечения, аппаратного обеспечения и программной логики. В примере осуществления программная логика, программное обеспечение или инструкции находятся на любом из традиционных машиночитаемых носителей данных. В контексте данного документа «машиночитаемым носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования (возможно, совместного) системой выполнения инструкций или устройством, таким как, например, компьютер, один из примеров которого описан и изображен на фиг.15. Машиночитаемый носитель данных может включать вещественное и постоянное машиночитаемое хранилище данных, которое может быть любой средой или средством, содержащим и хранящим инструкции для их использования (возможно, совместного) системой выполнения инструкций или устройством, таким как, например, компьютер.
В одном примере осуществления может предлагаться схема или схема пользовательского интерфейса, конфигурированная предоставлять по меньшей мере некоторые из управляющих функций, описанных выше. Под термином «схема», используемым в данной заявке, понимается все из следующего: (a) только аппаратные реализации схемы (такие как, например, реализации только в аналоговых и/или цифровых схемах) и (b) комбинации схем и программного обеспечения (и/или встроенной программы), такие как (если данное применимо): (i) комбинация процессора(-ов) или (ii) часть процессора(-ов) / программного обеспечения (включая, процессор(-ы) цифровой обработки сигналов), программное обеспечение и память, которые, работая совместно, побуждают устройство, такое как, например, мобильный телефон или сервер, выполнять различные функции; и (c) схемы, такие как микропроцессор(-ы) или часть микропроцессора(-ов), которым для работы необходимо программное обеспечение или встроенная программа, даже в случае, когда программное обеспечение или встроенная программа физически не представлены. Данное определение«схем» относится ко всем использованиям данного термина в данной заявке, включая все пункты формулы изобретения. В качестве еще одного примера, под термином «схема» в данном приложении понимается реализация обычного процессора (или множества процессоров) или части процессора и сопутствующего ему (или им) программного обеспечения и/или встроенной программы.
При желании по меньшей мере некоторые функции, описанные здесь, могут быть выполнены в отличном от указанного порядке и/или одновременно друг с другом. Кроме того, при желании одна или более из описанных выше функций могут быть не обязательными или могут комбинироваться друг с другом.
Хотя различные аспекты изобретения определены в независимых пунктах формулы изобретения, другие аспекты изобретения включают другие комбинации свойств из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения и свойств независимых пунктов формулы изобретения, не обязательно явно указанных в формуле изобретения.
Также здесь необходимо отметить, что хотя выше описываются примеры осуществления изобретения, данное описание не должно рассматриваться как ограничивающее. Более того, существуют различные изменения и модификации, которые могут быть выполнены без выхода за рамки настоящего изобретения, определенного в прилагаемой формуле изобретения.

Claims (26)

1. Устройство для управления виртуальными слоями, включающее:
по меньшей мере, один процессор; и
по меньшей мере, одну память, включающую код компьютерной программы,
при этом, по меньшей мере, одна память и код компьютерной программы конфигурированы побуждать устройство выполнять, с помощью по меньшей мере одного процессора, по меньшей мере следующее:
обнаруживать присутствие объекта в непосредственной близости от поверхности ввода,
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
выполнять операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.
2. Устройство для управления виртуальными слоями, включающее:
систему обнаружения приближения с, по меньшей мере, одним датчиком приближения для обнаружения присутствия объекта ввода в непосредственной близости от поверхности ввода, и
контроллер, подключенный к системе обнаружения приближения, при этом контроллер конфигурирован так, чтобы:
обнаруживать присутствие объекта в непосредственной близости от поверхности ввода,
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызывать операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.
3. Устройство для управления виртуальными слоями, включающее:
средства для обнаружения присутствия объекта в непосредственной близости от поверхности ввода,
средства для связывания виртуального слоя, отображаемого в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
средства для обнаружения ввода данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
средства для вызова операции отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной по меньшей мере частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.
4. Устройство по любому из предыдущих пунктов, которое конфигурировано адаптировать расстояние между, по меньшей мере, частью слоя и поверхностью ввода в соответствии с вводом данных при зависании объекта.
5. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать смену режима отображения между двумерным и трехмерным режимами и обратно на основании обнаруженного ввода данных при зависании объекта, и
конфигурировано управлять отображением двумерного или трехмерного отображения в соответствии с обнаруженной сменой режима отображения.
6. Устройство по п. 5, которое конфигурировано обнаруживать смену режима отображения с трехмерного режима на двумерный режим на основании обнаружения выбора, при зависании объекта, виртуального слоя целиком и обнаружения касания поверхности ввода после выбора виртуального слоя.
7. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать поперечное расположение объекта в направлениях x, y, параллельных поверхности ввода, и
конфигурировано управлять перемещением, по меньшей мере, части виртуального слоя в соответствии с обнаруженным поперечным расположением.
8. Устройство по п. 7, которое конфигурировано вызывать операцию наклона виртуального слоя на основании обнаруженного поперечного расположения объекта.
9. Устройство по любому из пп. 1-3, которое конфигурировано определять скорость объекта и выбирать операцию отображения виртуального слоя в соответствии с определенной скоростью.
10. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать связанный виртуальный слой и/или ввод данных при зависании в ответ на обнаружение двух и более пальцев, зависающих над поверхностью ввода.
11. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать объект, осуществляющий виртуальное касание части виртуального слоя, и
в котором, в ответ на обнаружение того, что объект после обнаружения виртуального касания продолжает приближение к поверхности ввода, устройство конфигурировано адаптировать форму части виртуального слоя для имитирования реакции на объект, осуществляющий нажатие.
12. Устройство по любому из пп. 1-3, которое конфигурировано управлять перемещением и/или внешним видом, по меньшей мере, части виртуального слоя в соответствии с одним или более физическими свойствами, связанными с виртуальным слоем, или с одним или более элементом графического интерфейса пользователя виртуального слоя.
13. Устройство по любому из пп. 1-3, в котором поверхность ввода и экран, отображающий виртуальные слои, расположены на противоположных сторонах карманного электронного устройства.
14. Устройство по любому из пп. 1-3, которое является устройством мобильной связи, включающим сенсорный экран.
15. Способ управления виртуальными слоями, включающий:
обнаружение присутствия объекта в непосредственной близости от поверхности ввода,
связывание виртуального слоя, отображаемого в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаружение ввода данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызов операции отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.
16. Способ по п. 15, в котором расстояние от, по меньшей мере, части слоя до поверхности ввода адаптируют в соответствии с вводом данных при зависании объекта.
17. Способ по п. 15 или 16, в котором изменение режима отображения между двумерным и трехмерным режимами обнаруживают на основании обнаруженного ввода данных при зависании объекта, и
отображением двумерного или трехмерного вида управляют в соответствии с обнаруженным изменением режима отображения.
18. Способ по п. 15 или 16, в котором изменение режима отображения с трехмерного режима на двумерный режим обнаруживают на основании обнаружения зависающего объекта, который выбирает весь виртуальный слой, и обнаружения касания объектом поверхности ввода после выбора виртуального слоя.
19. Способ по п. 15 или 16, в котором определяют поперечное расположение объекта в направлениях x, y параллельно поверхности ввода, и
перемещением, по меньшей мере, части виртуального слоя управляют в соответствии с поперечным расположением, которое было определено.
20. Способ по п. 15 или 16, в котором операцию наклона виртуального слоя выполняют на основании поперечного расположения объекта, которое было определено.
21. Способ по п. 15 или 16, в котором определяются скорость перемещения объекта, и
операцию отображения виртуального слоя выбирают в соответствии с этой скоростью.
22. Способ по п. 15 или 16, в котором обнаруживают связанный виртуальный слой и/или ввод данных при зависании объекта в ответ на обнаружение двух или более пальцев, зависающих над поверхностью ввода.
23. Способ по п. 15 или 16, в котором в котором обнаруживают объект, осуществляющий виртуальное касание части виртуального слоя, и
в ответ на обнаружение объекта, продолжающего после обнаружения виртуального касания дальнейшее приближение к поверхности ввода, адаптируют форму части виртуального слоя для имитирования реакции на объект, осуществляющий нажатие.
24. Способ по п. 15 или 16, в котором перемещением и/или внешним видом, по меньшей мере, части виртуального слоя управляют в соответствии с одним или более физическими свойствами, связанными с виртуальным слоем, или с одним или более элементом графического интерфейса пользователя виртуального слоя.
25. Пользовательский интерфейс электронного устройства, включающего систему обнаружения приближения для обнаружения присутствия объекта ввода в непосредственной близости от поверхности ввода, при этом пользовательский интерфейс конфигурирован:
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызывать операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.
26. Машиночитаемый носитель данных, содержащий код компьютерной программы для использования компьютером, при этом код компьютерной программы включает код для побуждения компьютера выполнять способ по любому из пп. 15-24.
RU2013123025/08A 2010-10-21 2011-10-07 Устройство и способ пользовательского ввода для управления отображаемой информацией RU2558620C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/909,499 US9043732B2 (en) 2010-10-21 2010-10-21 Apparatus and method for user input for controlling displayed information
US12/909,499 2010-10-21
PCT/FI2011/050866 WO2012052612A1 (en) 2010-10-21 2011-10-07 Apparatus and method for user input for controlling displayed information

Publications (2)

Publication Number Publication Date
RU2013123025A RU2013123025A (ru) 2014-11-27
RU2558620C2 true RU2558620C2 (ru) 2015-08-10

Family

ID=45974054

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013123025/08A RU2558620C2 (ru) 2010-10-21 2011-10-07 Устройство и способ пользовательского ввода для управления отображаемой информацией

Country Status (7)

Country Link
US (1) US9043732B2 (ru)
EP (1) EP2630563B1 (ru)
KR (1) KR101488121B1 (ru)
CN (1) CN103261997B (ru)
RU (1) RU2558620C2 (ru)
TW (1) TW201220159A (ru)
WO (1) WO2012052612A1 (ru)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
US8937603B2 (en) 2011-04-01 2015-01-20 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US20120317516A1 (en) * 2011-06-09 2012-12-13 Casio Computer Co., Ltd. Information processing device, information processing method, and recording medium
WO2013005586A1 (ja) * 2011-07-04 2013-01-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130162624A1 (en) * 2011-12-22 2013-06-27 Research In Motion Limited Method and apparatus pertaining to modification of a three-dimensional presentation of a user-interaction opportunity
US9052414B2 (en) 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847657B1 (en) 2012-05-09 2016-08-10 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
DE112013002387T5 (de) * 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
US8947385B2 (en) 2012-07-06 2015-02-03 Google Technology Holdings LLC Method and device for interactive stereoscopic display
US20140009461A1 (en) * 2012-07-06 2014-01-09 Motorola Mobility Llc Method and Device for Movement of Objects in a Stereoscopic Display
US9355345B2 (en) 2012-07-23 2016-05-31 Microsoft Technology Licensing, Llc Transparent tags with encoded data
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
KR102091710B1 (ko) * 2012-08-28 2020-04-14 삼성전자주식회사 좌표 측정 장치 및 그 제어 방법
US9152173B2 (en) * 2012-10-09 2015-10-06 Microsoft Technology Licensing, Llc Transparent display device
US9513748B2 (en) 2012-12-13 2016-12-06 Microsoft Technology Licensing, Llc Combined display panel circuit
US9638835B2 (en) 2013-03-05 2017-05-02 Microsoft Technology Licensing, Llc Asymmetric aberration correcting lens
US9389779B2 (en) * 2013-03-14 2016-07-12 Intel Corporation Depth-based user interface gesture control
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
KR102056316B1 (ko) 2013-05-03 2020-01-22 삼성전자주식회사 터치 스크린 동작 방법 및 그 전자 장치
KR102157078B1 (ko) * 2013-06-27 2020-09-17 삼성전자 주식회사 휴대 단말기에서 전자문서 작성 방법 및 장치
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
EP2818986A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation A hovering field
KR102140811B1 (ko) * 2013-07-23 2020-08-03 삼성전자주식회사 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
KR101518786B1 (ko) * 2013-11-29 2015-05-15 주식회사 하이딥 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
US9262012B2 (en) * 2014-01-03 2016-02-16 Microsoft Corporation Hover angle
WO2015126098A1 (en) * 2014-02-24 2015-08-27 Samsung Electronics Co., Ltd. Method and apparatus for displaying content using proximity information
KR101628246B1 (ko) * 2014-02-24 2016-06-08 삼성전자주식회사 컨텐츠 표시 방법 및 장치
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
KR20160034135A (ko) 2014-09-19 2016-03-29 삼성전자주식회사 터치 입력을 처리하는 전자 장치 및 방법
US9535495B2 (en) 2014-09-26 2017-01-03 International Business Machines Corporation Interacting with a display positioning system
KR102380228B1 (ko) * 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN110456957B (zh) * 2019-08-09 2022-05-03 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质
US11237641B2 (en) * 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2236036C2 (ru) * 1997-01-29 2004-09-10 Ко-Оперрайт Лимитед Средство для ввода символов или команд в компьютер

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280496A (ja) 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
US7508377B2 (en) 2004-03-05 2009-03-24 Nokia Corporation Control and a control arrangement
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20100225564A1 (en) 2006-02-21 2010-09-09 Pioneer Corporation Image display device
US8334841B2 (en) 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US20080120568A1 (en) 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
JP2008219788A (ja) 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
EP2144448B1 (en) 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US9569088B2 (en) * 2007-09-04 2017-02-14 Lg Electronics Inc. Scrolling method of mobile terminal
US8416268B2 (en) 2007-10-01 2013-04-09 Pioneer Corporation Image display device
JP2009140368A (ja) 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8265688B2 (en) * 2007-12-31 2012-09-11 Motorola Mobility Llc Wireless communication device and split touch sensitive user input surface
KR101467513B1 (ko) * 2008-02-11 2014-12-01 삼성전자 주식회사 모바일 단말 제어장치 및 그 방법
KR101474429B1 (ko) * 2008-03-11 2014-12-19 엘지전자 주식회사 이동단말기 및 그의 표시 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US8949743B2 (en) 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US9658765B2 (en) 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법
KR101592296B1 (ko) * 2008-09-03 2016-02-05 엘지전자 주식회사 이동 단말기 및 그의 객체 선택과 실행 방법
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR101587087B1 (ko) * 2008-10-14 2016-02-02 엘지전자 주식회사 휴대 단말기
KR101504210B1 (ko) * 2008-10-17 2015-03-19 엘지전자 주식회사 단말기 및 그 제어 방법
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
KR101521932B1 (ko) * 2009-01-19 2015-05-20 엘지전자 주식회사 단말기 및 그 제어 방법
KR101609388B1 (ko) 2009-03-04 2016-04-05 엘지전자 주식회사 3차원 메뉴를 표시하는 이동 단말기 및 이동 단말기의 제어방법
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5563250B2 (ja) * 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
KR20110014040A (ko) * 2009-08-04 2011-02-10 엘지전자 주식회사 이동 단말기 및 그의 아이콘 충돌 제어방법
KR101558207B1 (ko) * 2009-09-14 2015-10-07 엘지전자 주식회사 이동 단말기 및 이동 단말기의 아이템 설정 방법
KR101623008B1 (ko) * 2009-10-23 2016-05-31 엘지전자 주식회사 이동 단말기
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2236036C2 (ru) * 1997-01-29 2004-09-10 Ко-Оперрайт Лимитед Средство для ввода символов или команд в компьютер

Also Published As

Publication number Publication date
CN103261997A (zh) 2013-08-21
EP2630563B1 (en) 2018-01-17
EP2630563A1 (en) 2013-08-28
TW201220159A (en) 2012-05-16
US9043732B2 (en) 2015-05-26
EP2630563A4 (en) 2014-04-16
US20120102436A1 (en) 2012-04-26
RU2013123025A (ru) 2014-11-27
KR20130108604A (ko) 2013-10-04
WO2012052612A1 (en) 2012-04-26
CN103261997B (zh) 2017-02-15
KR101488121B1 (ko) 2015-01-29

Similar Documents

Publication Publication Date Title
RU2558620C2 (ru) Устройство и способ пользовательского ввода для управления отображаемой информацией
RU2559720C2 (ru) Устройство и способ пользовательского ввода для управления отображаемой информацией
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
KR102098316B1 (ko) 증강 및/또는 가상 현실 환경에서의 텔레포테이션
EP2585900B1 (en) Apparatus and method for proximity based input
US20130147793A1 (en) Mobile terminal and controlling method thereof
KR101873759B1 (ko) 영상 표시 장치 및 그 제어방법
US9389703B1 (en) Virtual screen bezel
JP2013141207A (ja) ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
JP7259045B2 (ja) 視角回転の方法、装置及びコンピュータプログラム
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
EP2457143A1 (en) Display to determine gestures
WO2013106169A1 (en) Menu selection using tangible interaction with mobile devices
KR101873746B1 (ko) 이동 단말기 및 그 제어방법
US20230343022A1 (en) Mediated Reality
US11354011B2 (en) Snapping range for augmented reality
US9898183B1 (en) Motions for object rendering and selection
JP2020527245A (ja) スクリーン制御方法及び装置
KR101833826B1 (ko) 이동 단말기 및 그 제어방법
JP2015109092A (ja) 表示機器
KR20140117957A (ko) 이중 디스플레이 장치

Legal Events

Date Code Title Description
TK4A Correction to the publication in the bulletin (patent)

Free format text: AMENDMENT TO CHAPTER -FG4A- IN JOURNAL: 22-2015 FOR TAG: (57)

PC41 Official registration of the transfer of exclusive right

Effective date: 20160602