RU2541099C2 - Управление программной клавиатурой - Google Patents

Управление программной клавиатурой Download PDF

Info

Publication number
RU2541099C2
RU2541099C2 RU2011123404/08A RU2011123404A RU2541099C2 RU 2541099 C2 RU2541099 C2 RU 2541099C2 RU 2011123404/08 A RU2011123404/08 A RU 2011123404/08A RU 2011123404 A RU2011123404 A RU 2011123404A RU 2541099 C2 RU2541099 C2 RU 2541099C2
Authority
RU
Russia
Prior art keywords
keyboard
touch screen
user
translucent
image
Prior art date
Application number
RU2011123404/08A
Other languages
English (en)
Other versions
RU2011123404A (ru
Inventor
Ян-Кристиан МАРКЕВИЧ
Рид ТАУНСЕНД
Дэвид Мэттьюз
Вишну СИВАДЖИ
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2011123404A publication Critical patent/RU2011123404A/ru
Application granted granted Critical
Publication of RU2541099C2 publication Critical patent/RU2541099C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к виртуальным клавиатурам. Технический результат заключается в уменьшении времени запуска виртуальной клавиатуры. Такой результат достигается тем, что распознают жест запуска клавиатуры, выполненный пользователем на сенсорном экране, представляют полупрозрачное предварительное изображение клавиатуры для клавиатуры на сенсорном экране в качестве реакции на жест запуска клавиатуры, при этом полупрозрачное предварительное изображение клавиатуры имеет относительно большую прозрачность, чем клавиатура, пока пользователь удерживает касание сенсорного экрана, перемещают полупрозрачное предварительное изображение клавиатуры на сенсорном экране в соответствии с касанием, при этом полупрозрачное предварительное изображение клавиатуры остается полупрозрачным во время перемещения, определяют, что пользователь прекратил осуществлять касание сенсорного экрана и, когда пользователь прекратил осуществлять касание сенсорного экрана, заменяют полупрозрачное предварительное изображение клавиатуры на сенсорном экране клавиатурой. 3 н. и 18 з.п. ф-лы, 19 ил.

Description

Уровень техники
Вычислительные устройства продолжают развиваться в различные конфигурации, к примеру ноутбуки, персональные цифровые устройства (PDA), сотовые телефоны/смартфоны и т.д. Многие из этих устройств должны быть максимально компактными согласно требованиям рынка. Несмотря на жесткие требования по размерам, графический пользовательский интерфейс (GUI) устройств остается центром устройств, и пользователи зачастую хотят, чтобы GUI был максимально большим. Для этой цели многие устройства приспосабливают сенсорные экраны, которые могут выполнять функции ввода и вывода. Эти конфигурации могут использовать программную клавиатуру (т.е. визуальную клавиатуру, представляемую на сенсорном экране с тем, чтобы заменять или дополнять традиционные клавиатуры). Соответственно, традиционные устройства ввода, к примеру клавиатуры, уменьшаются по размеру или исключаются, чтобы обеспечивать доступное пространство для сенсорного экрана. Хотя программные клавиатуры предлагают несколько преимуществ, возможность пользователя запускать программную клавиатуру и/или управлять программной клавиатурой остается ничтожной. Настоящие идеи предлагают повышенное удобство, простоту использования и управляемость программной клавиатуры для пользователя.
Сущность изобретения
Этот документ описывает инструментальные средства, ассоциированные с функциями управления программной клавиатурой. В некоторых реализациях инструментальные средства распознают жест запуска клавиатуры на сенсорном экране и представляют предварительное изображение клавиатуры на сенсорном экране в ответ на жест запуска. Инструментальные средства также могут отображать клавиатуру на сенсорном экране в ответ на прекращение жеста запуска.
Данная сущность изобретения предоставлена для того, чтобы представлять в упрощенной форме выбор концепций, которые дополнительно описаны ниже в подробном описании. Эта сущность не имеет намерения идентифицировать ключевые или важнейшие признаки заявляемого объекта изобретения, а также не имеет намерение использоваться в качестве помощи при определении объема заявляемого объекта изобретения. Термин "инструментальные средства", например, может относиться к системе(ам), способу(ам), машиночитаемым инструкциям (например, одному или более машиночитаемых носителей, имеющих выполняемые инструкции), компонентам и/или технологии(ям) в соответствии с вышеозначенным контекстом по всему документу.
Краткое описание чертежей
Подробное описание поясняется со ссылкой на прилагаемые чертежи. На чертежах самая левая цифра(ы) номера ссылки идентифицирует чертеж, на котором номер ссылки впервые появляется. Использование аналогичных номеров ссылок в различных случаях в описании и на чертежах может указывать аналогичные или идентичные элементы.
Фиг.1-14 являются примерными снимками экрана, иллюстрирующими идеи управления программной клавиатурой в соответствии с некоторыми реализациями.
Фиг.15-16 являются иллюстрациями примерного окружения, использующего управление программной клавиатурой.
Фиг.17-19 являются блок-схемами последовательности операций способов управления программной клавиатурой в соответствии с некоторыми реализациями.
Подробное описание изобретения
Обзор
Все в больших объемах вычислительные системы продаются с сенсорными экранами. Сенсорные экраны подтверждают допустимость пользовательского ввода на основе физического касания, к примеру тактильного касания от одного или более касаний стилусом или пальцами, с помощью одного или более детекторов касания, включенных в сенсорный экран. Текущие сенсорные экраны, тем не менее, не дают возможность пользователю легко запускать программную клавиатуру на сенсорном экране. Например, некоторые существующие технологии заставляют пользователя проходить через несколько трудоемких этапов, чтобы запускать программную клавиатуру. Другие существующие технологии не дают возможность пользователю легко управлять размером и/или местоположением программной клавиатуры на сенсорном экране.
Этот документ описывает инструментальные средства для запуска программной клавиатуры интуитивным способом и предоставления возможности пользователю легко управлять многими аспектами программной клавиатуры, к примеру ее размером и/или относительным местоположением на сенсорном экране. Например, в одной реализации пользователь просто прикасается к сенсорному экрану с помощью жеста ввода с клавиатуры и программная клавиатура запускается непосредственно под ним и совмещается с пальцами пользователя. Такая конфигурация может давать возможность пользователю начинать ввод с клавиатуры, даже несмотря на программную клавиатуру.
Примерные снимки экрана
Фиг.1-14 иллюстрирует примерные демонстрации идей управления программной клавиатурой, описанных в этом документе.
Фиг.1-3 совместно иллюстрируют первую реализацию управления программной клавиатурой через три последовательных снимка 102(1), 102(2) и 102(3) экрана для сенсорного экрана 104. На фиг.1 рука 106 пользователя находится рядом, но не касается сенсорного экрана 104. На фиг.2 четыре пальца 202(1), 202(2), 202(3), 202(4) пользователя касаются сенсорного экрана таким образом, который приводит к отображению предварительного изображения 204 клавиатуры рядом с пальцами 202(1)-202(4). В этом случае предварительное изображение 204 клавиатуры имеет форму контура. Другая конфигурация вводится ниже относительно фиг.4-6. В этой реализации предварительное изображение клавиатуры поддерживается до тех пор, пока пользователь поддерживает описанное касание.
Фиг.3 показывает случай, когда пользователь прекращает касание на фиг.2 и снимает свою руку и программная клавиатура 302 заменяет предварительное изображение 204 клавиатуры по фиг.2. На этой стадии пользователь может соприкасаться с программной клавиатурой 302, чтобы выполнять ввод с клавиатуры сенсорного экрана 104 традиционным способом.
Фиг.4-6 являются аналогичными фиг.1-3 и включают в себя большую часть аналогичных компонентов, которые не представляются повторно в данном документе для краткости. В этой реализации предварительное изображение 204(1) клавиатуры является полупрозрачным представлением клавиатуры 302. Полупрозрачное предварительное изображение клавиатуры (т.е. имеющее относительно высокую степень прозрачности) может давать возможность пользователю видеть как клавиши, так и объекты, к примеру значки, размещаемые позади предварительного изображения клавиатуры. Эта конфигурация может давать возможность пользователю определять то, удовлетворен ли он или нет местоположением и/или размером клавиатуры. Если пользователь не удовлетворен местоположением и/или размером клавиатуры, к примеру, если клавиатура размещается поверх значка, к которому пользователь хочет осуществлять доступ, то пользователь может перемещать предварительное изображение 204(1) клавиатуры. Примеры того, как пользователь может перемещать/изменять размеры программной клавиатуры и/или предварительного изображения клавиатуры, описываются ниже относительно фиг.7-12.
Фиг.7-9 совместно иллюстрируют другую реализацию управления программной клавиатурой через три последовательных снимка 702(1), 702(2) и 702(3) экрана для сенсорного экрана 704. На фиг.7 левая и правая рука 706, 708 пользователя находятся рядом, но не касаются сенсорного экрана 704.
На фиг.8 пользователь касается сенсорного экрана 704 обеими руками в жесте ввода с клавиатуры. В этом случае пользователь касается сенсорного экрана всеми десятью пальцами в жесте ввода с клавиатуры. В ответ предварительное изображение 804 клавиатуры формируется под руками пользователя. Дополнительно, в этом случае предварительное изображение имеет такой размер и положение, что клавиши предварительного изображения клавиатуры надлежащим образом размещаются ниже пальцев пользователя в жесте ввода с клавиатуры. Например, клавиши "a", "s", "d" и "f" размещаются под пальцами левой руки пользователя, а клавиши "j", "k", "l" и "i" размещаются под пальцами правой руки пользователя. Таким образом, клавиша "f" размещается под самым правым пальцем или частью левой руки (т.е. левым указательным пальцем). Клавиша "j" размещается под самым левым пальцем правой руки (т.е. правым указательным пальцем). Эта конфигурация может упрощать для пользователя начало ввода с клавиатуры по сравнению с другими конфигурациями, когда пользователь должен совмещать свои пальцы с надлежащими клавишами (Следует отметить, что часть фона сенсорного экрана ретуширована на фиг.8, чтобы давать простую возможность пользователям видеть указатели).
Как очевидно из сравнения фиг.8 и 9, настоящая реализация может давать возможность пользователю изменять размеры предварительного изображения клавиатуры просто посредством отдельного плавного перемещения своих рук. В этом случае пользователь плавно перемещает правую руку в направлении от левой руки вдоль оси X и размеры предварительного изображения 904 клавиатуры изменяются соответствующим образом. Дополнительно, эта конфигурация изменяет размеры (в этом случае укрупняет) предварительного изображения клавиатуры, чтобы в общем поддерживать идентичные взаимосвязи пальцев и клавиш, как на фиг.8. Говоря по-другому, взаимосвязь пальцев и клавиш поддерживается во время операции изменения размера так, что пользователь может начинать ввод с клавиатуры, как только он удовлетворен клавиатурой.
Фиг.10-13 иллюстрирует пример того, как пользователь может перемещать программную клавиатуру. Эта последовательность начинается на снимке 1002(1) экрана, на котором руки пользователя касаются сенсорного экрана 1004. В ответ предварительное изображение 1006 клавиатуры представляется под руками пользователя.
Фиг.11 показывает перемещение пользователем своей руки вверх и вправо, как указано посредством стрелок 1102 на снимке 1002(2) экрана. Предварительное изображение 1006 клавиатуры в ответ плавно перемещается под руками пользователя (или, по меньшей мере, может казаться для пользователя как плавно перемещающееся под руками пользователя). После того как пользователь удовлетворен положением клавиатуры, пользователь может снимать свою руку и предварительное изображение клавиатуры заменяется клавиатурой 1202, как указано на фиг.12 посредством снимка 1002(3) экрана.
Фиг.13-14 показывают другую реализацию управления клавиатурой. Чертежи показывают последовательные снимки 1302(1) и 1302(2) экрана для сенсорного экрана 1304. На фиг.13 руки пользователя находятся рядом, но не касаются сенсорного экрана 1304. На фиг.14 пользователь помещает все десять пальцев своих рук на сенсорный экран таким образом, который приводит к формированию предварительного изображения 1402 клавиатуры под руками пользователя. В этом случае предварительное изображение клавиатуры имеет эргономичную конфигурацию. Дополнительно, эргономичная конфигурация устанавливается с относительным положением клавиш, определенным посредством положения пальцев пользователя.
В этом случае на основе положения пальцев пользователя предварительное изображение 1402 клавиатуры имеет клавиши, относительно широко разнесенные в направлении к верхней части 1404 и относительно близко расположенные в направлении к нижней части 1406. В зависимости от положения пальцев пользователя другие конфигурации могут иметь относительно широкое разнесение и/или зазор между клавишами в нижней части 1406 предварительного изображения 1402 клавиатуры и относительно близкое расположение в направлении к верхней части 1404 предварительного изображения клавиатуры. Некоторые реализации могут давать возможность пользователю регулировать свои позиции пальцев и обновлять предварительное изображение 1402 клавиатуры соответствующим образом. После того как пользователь удовлетворен эргономичной конфигурацией предварительного изображения клавиатуры, пользователь может снимать свои пальцы и соответствующая программная клавиатура может отображаться вместо предварительного изображения клавиатуры.
Примерное операционное окружение
Фиг.15-16 ссылаются на вычислительную систему 1500, которая включает в себя устройство 1502 обнаружения касания. Устройство обнаружения касания может включать в себя экран 1504 сенсорного дисплея (например, сенсорный экран). Сенсорный экран 1504 может включать в себя некоторый тип детекторов 1506 касания, встроенных в него. Для краткости проиллюстрировано только пять характерных детекторов 1506(1), 1506(2), 1506(3), 1506(4) и 1506(5) касания. В этом случае детекторы 1506(1)-1506(5) касания активированы посредством пальцев руки пользователя 1508 (не показано на фиг.16).
Модуль 1510 отслеживания геометрии может отслеживать детекторы 1506 касания и их относительные состояния (т.е. активировано или деактивировано) на сенсорном экране 1504. Модуль 1510 отслеживания геометрии, альтернативно или дополнительно, может отслеживать различное содержимое, отображаемое на сенсорном экране, к примеру графические окна, значки и т.д. Например, модуль отслеживания геометрии может отслеживать детекторы касания и/или содержимое через плоскость, заданную посредством проиллюстрированных осей X и Y.
Пользовательский ввод, обнаруживаемый посредством активированных детекторов 1506(1)-1506(5) касания, может отправляться в модуль 1512 идентификации клавиатурных жестов либо напрямую, либо через модуль 1510 отслеживания геометрии. Модуль 1512 идентификации клавиатурных жестов может анализировать пользовательский ввод с использованием различных параметров, чтобы идентифицировать то, является или нет ввод жестом запуска клавиатуры. Модуль 1512 идентификации клавиатурных жестов может обмениваться данными с приложением 1514 на основе проанализированных контактных жестов, как описано ниже.
Примеры параметров, которые могут быть использованы посредством модуля 1512 идентификации клавиатурных жестов, могут включать в себя относительное расстояние между активированными детекторами 1506(1)-1506(5) касания, форму линии, соединяющей активированные детекторы 1506(1)-1506(5) касания, число активированных детекторов 1506(1)-1506(5) касания и длительность активации в числе других. Два из этих примеров параметров проиллюстрированы на фиг.16, на которой нарисована линия 1602 между активированными детекторами 1506(1)-1506(5) касания. В этом случае параметр формы линии может быть использован для того, чтобы определять то, составляют или нет касания пользователя жест запуска клавиатуры. Например, если линия, проведенная между контактными точками 1506(1)-1506(5), является в общем дугообразной, то параметр может указывать жест ввода с клавиатуры. Напротив, волнистая линия или прямая линия может не указывать жест ввода с клавиатуры. В этом примере линия 1602 представляет пример дугообразной линии.
Эта реализация использует все пять активированных детекторов касания (т.е. от всех пяти пальцев) одной руки. Другие реализации могут использовать параметрические алгоритмы, которые могут подчеркивать касания от пальцев (т.е. активированные детекторы 1506(2)-1506(5) касания) и исключать касание от большого пальца (т.е. активированный детектор 1506(1) касания) при отрисовке линии 1602. В одном случае касание от пальцев одной руки может отличаться тем, что они имеют тенденцию кластеризоваться. Напротив, касание от большого пальца имеет тенденцию быть относительно более удаленным от кластера. Другие реализации могут обнаруживать касание от обеих рук. Касание от пары рук пользователя может быть проанализировано вместе или разделено на набор для левой руки и набор для правой руки.
Относительное расстояние между контактными точками является вторым проиллюстрированным параметром, который может быть проанализирован посредством модуля 1512 идентификации клавиатурных жестов, чтобы обнаруживать жесты запуска клавиатуры. Относительное расстояние проиллюстрировано на фиг.16 на 1604(1), 1604(2), 1604(3) и 1604(4). В одном примере этот параметр может быть ассоциирован с диапазоном, к примеру, от 1/4" до 1". В таком случае, если три из большего числа отдельных смежных касаний этих пяти касаний разделяются посредством по меньшей мере 1/4", но не более 1", то параметр указывает, что принимаемые касания относятся к жесту запуска клавиатуры. Еще одни другие реализации могут анализировать контактные точки в сравнении с несколькими параметрами, чтобы идентифицировать жест ввода с клавиатуры. Например, в проиллюстрированной конфигурации некоторые реализации могут требовать, чтобы контактные точки удовлетворяли как параметру линии, так и параметру относительного расстояния, чтобы распознаваться в качестве жеста ввода с клавиатуры. Специалисты в данной области техники смогут распознать другие расстояния, помимо примеров, предусмотренных здесь, которые могут быть использованы в некоторых реализациях.
Некоторые реализации могут анализировать только одновременные касания пользователя (т.е. "провести сразу всеми пальцами вниз"). Другие реализации могут анализировать действие вращения, когда пользователь вращает пальцами в порядке от большого пальца к мизинцу или от мизинца к большому пальцу. Вторые реализации могут использовать параметр времени, чтобы отличать жест запуска клавиатуры на основе движения вращения от другого касания пользователя. Например, эти реализации могут анализировать, происходят или нет последовательные касания в пределах предварительно заданного времени, к примеру, в течение одной секунды и/или введены или нет последовательные касания последовательно слева направо или справа налево вдоль оси X. Тем не менее, другие реализации могут подтверждать допустимость как жестов запуска клавиатуры на основе вращения, так и одновременных жестов запуска клавиатуры. Хотя жесты запуска клавиатуры относительно 4 или 5 касаний от руки пользователя описываются подробно выше, другие реализации могут идентифицировать меньше касаний в качестве жеста запуска клавиатуры. Некоторые реализации дополнительно могут давать возможность пользователю предварительно задавать то, какой шаблон касания должен быть распознан в качестве жеста запуска клавиатуры.
После идентификации жестов запуска клавиатуры модуль 1512 идентификации клавиатурных жестов может инициировать приложение 1514, чтобы предоставлять ассоциированную функцию (например, формирование клавиатуры, повторное размещение/перемещение клавиатуры и изменение размеров клавиатуры), которая привязана к жесту.
Различные системы и устройства могут извлекать выгоду из устройства 1502 обнаружения касания, к примеру, мультимедийных проигрывателей, пультов дистанционного управления, смартфонов, персональных цифровых устройств, персональных аудиоустройств, глобальных систем определения местоположения, устройств с подключением к Интернету, устройств с беспроводным подключением, систем управления транспортными средствами, электронных мультимедийных систем для транспортных средств, планшетных компьютеров, переносных компьютеров, автономных устройств ввода и/или вывода и т.п. Следует отметить, что устройство 1502 обнаружения касания может содержать или иметь доступ к машиночитаемым носителям, на которых могут быть сохранены различные приложения, программное обеспечение или другие выполняемые инструкции.
В некоторых вариантах осуществления устройство 1502 обнаружения касания является конкретным для операционной системы (OS). Когда система со многими входами является конкретной для ОС, устройство 1502 обнаружения касания предоставляет функции, которые являются конкретными для ОС и различных приложений (например, приложения 1514), выполненных с возможностью использования в ОС. В других вариантах осуществления устройство 1502 обнаружения касания выполнено для конкретного приложения. ОС или модуль в пределах ОС могут выступать в качестве посредника между устройством 1502 обнаружения касания и приложением 1514.
В общем любые из функций, описанных в данном документе, могут быть реализованы с помощью программного обеспечения, микропрограммного обеспечения, аппаратных средств (к примеру, схемы с фиксированной логикой), обработки вручную или комбинации этих реализаций. Термины "инструментальное средство" или "инструментальные средства" и "модуль" или "модули" при использовании в данном документе в общем представляют программное обеспечение, микропрограммное обеспечение, аппаратные средства, целые устройства или сети или комбинацию вышеозначенного. В случае программной реализации, например, они могут представлять программный код, который выполняет указанные задачи при выполнении на процессоре (например, CPU или нескольких CPU). Программный код может быть сохранен на одном или более машиночитаемых запоминающих устройств, к примеру машиночитаемых носителей хранения данных. Признаки и технологии инструментальных средств и модулей являются независимыми от платформы, что означает то, что они могут быть реализованы на множестве коммерческих вычислительных платформ, имеющих множество процессоров.
Примерные технологии
Следующее пояснение описывает различные технологии, способы и процедуры запуска программной клавиатуры, которые могут быть реализованы в аппаратных средствах, микропрограммном обеспечении, программном обеспечении или комбинации вышеозначенного. Способы показаны как набор этапов, которые указывают операции, выполняемые посредством одного или более объектов, устройств, модулей и/или инструментальных средств, к примеру модуля 1512 идентификации клавиатурных жестов по фиг.15-16, и не обязательно ограничены порядком, показанным для выполнения операций посредством соответствующих этапов. Дополнительно, способы могут осуществляться посредством объектов, отличных от объектов в описанных устройствах/системах. Множество других примеров и субтехнологий также рассматривается.
Фиг.17 иллюстрирует первый способ 1700 запуска программной клавиатуры.
Этап 1702 оценивает множество тактильных касаний от сенсорного экрана в сравнении с первым параметром запуска клавиатуры. Примеры первых параметров запуска клавиатуры могут включать в себя пространственные соотношения множества тактильных касаний на сенсорном экране и формы линии, проведенной через касания, в числе других.
Этап 1704 представляет предварительное изображение клавиатуры на сенсорном экране, когда удовлетворен первый параметр запуска клавиатуры. В одном случае предварительное изображение может представляться в форме контура. В другом случае предварительное изображение может представляться с высокой степенью прозрачности.
Этап 1706 сравнивает множество тактильных касаний со вторым параметром запуска клавиатуры. В одном случае второй параметр запуска клавиатуры касается длительности времени. Например, если пользователь удерживает свои пальцы (т.е. поддерживает касания), по меньшей мере, в течение предварительно заданного периода времени, к примеру в течение одной секунды, то параметр удовлетворяется.
Этап 1708 отображает клавиатуру на сенсорном экране, когда удовлетворен второй предварительно заданный параметр запуска клавиатуры. В некоторых случаях клавиатура может отображаться в предварительно заданном местоположении на сенсорном экране тактильных касаний. В некоторых из этих случаев размер клавиатуры может быть задан посредством разнесения касаний так, что клавиатура надлежащим образом размещается под рукой(ами) пользователя.
Фиг.18 иллюстрирует второй способ 1800 запуска программной клавиатуры.
Этап 1802 распознает жест запуска клавиатуры на сенсорном экране. Различные технологии для распознавания жестов запуска клавиатуры описываются выше и ниже.
Этап 1804 представляет предварительное изображение клавиатуры на сенсорном экране в ответ на жест запуска. Неограничивающие примеры предварительных изображений клавиатуры проиллюстрированы на фиг.1-14 выше. В одной реализации после распознавания жеста запуска клавиатуры предварительное изображение представляется на сенсорном экране размещенным под рукой(ами) пользователя. Предварительное изображение представляется до тех пор, пока пользователь поддерживает касание. Это может давать возможность пользователю повторно размещать и/или изменять размеры клавиатуры требуемым образом.
Этап 1806 отображает клавиатуру на сенсорном экране в ответ на прекращение жеста запуска. Продолжая вышеприведенный пример, предварительное изображение представляется пользователю так, что пользователь может повторно размещать и/или изменять размеры предварительного изображения до тех пор, пока он не будет удовлетворен. После того как пользователь удовлетворен размером и/или положением клавиатуры, пользователь может снимать свою руку и клавиатура отображается ему.
Фиг.19 иллюстрирует третий способ 1900 запуска программной клавиатуры. Способ начинается на этапе 1902 с закрытой клавиатуры (т.е. не отображаемой на сенсорном экране).
Способ обнаруживает жест запуска клавиатуры "провести вниз" на этапе 1904 (т.е. пользователь касается сенсорного экрана таким образом, который распознается в качестве жеста запуска клавиатуры).
Способ определяет то, закончен или нет жест до истечения тайм-аута (т.е. предварительно заданного времени), на этапе 1906. В случае если пользователь заканчивает жест (т.е. "Да" на этапе 1906), то способ переходит к этапу 1908 и открывает (т.е. запускает) клавиатуру. Иначе (т.е. "Нет" на этапе 1906) способ переходит к этапу 1910.
Этап 1910 показывает клавиатуру в состоянии предварительного просмотра, к примеру контурный или прозрачный режим. Если жест закончен, то процесс переходит к этапу 1908. Так, например, последовательность 1904, 1906 и 1908 может осуществляться, когда пользователь быстро касается экрана с помощью жеста запуска клавиатуры. Клавиатура отображается и пользователь может начинать ввод с клавиатуры. Последовательность 1904, 1906, 1910 и 1908 может выполняться, когда пользователь касается и поддерживает касание в жесте запуска. В этом случае, как только пользователь поддерживает касание в течение предварительно заданного времени, к примеру 0,5 секунды, предварительное изображение клавиатуры может быть сформировано для пользователя. Пользователь затем может перемещать и/или изменять размеры предварительного изображения. После того как пользователь удовлетворен и заканчивает касание, соответствующая клавиатура может открываться или запускаться на этапе 1908.
Затем пользователь может снова касаться сенсорного экрана посредством жеста "провести вниз" на этапе 1912. Способ может запрашивать, удерживает или нет пользователь жест, на этапе 1914, к примеру, в течение предварительно заданного периода времени. Если пользователь не удерживает жест (т.е. "Нет" на этапе 1914), к примеру, если пользователь выполняет жест касания, то способ может переходить к этапу 1902 и закрывать клавиатуру. Если пользователь удерживает жест (т.е. "Да" на этапе 1914), то способ может переходить к этапу 1910 и может преобразовывать клавиатуру в предварительное изображение клавиатуры. Например, если пользователь хочет перемещать и/или изменять размеры открытой клавиатуры, то он может еще раз выполнять и удерживать жест запуска клавиатуры, чтобы переходить к этапу 1910. Этап 1910 формирует предварительное изображение клавиатуры. В этом случае клавиатура должна возвращаться из состояния открытой клавиатуры в состояние предварительного изображения клавиатуры. Пользователь затем может перемещать/изменять размеры предварительного изображения клавиатуры и после этого заканчивать, когда готов еще раз открывать клавиатуру, на этапе 1908.
Заключение
Хотя предмет изобретения описан на языке, характерном для структурных признаков и/или технологических этапов, следует понимать, что предмет изобретения, заданный в прилагаемой формуле изобретения, не обязательно ограничен характерными признаками или этапами, описанными выше. Вместо этого характерные признаки и этапы, описанные выше, раскрываются как примерные формы реализации формулы изобретения.

Claims (21)

1. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, которые при их исполнении вычислительным устройством предписывают вычислительному устройству:
распознавать жест запуска клавиатуры, выполненный пользователем на сенсорном экране;
представлять полупрозрачное предварительное изображение клавиатуры на сенсорном экране в качестве реакции на жест запуска клавиатуры, при этом полупрозрачное предварительное изображение клавиатуры является полупрозрачным представлением клавиатуры;
пока пользователь удерживает касание сенсорного экрана, перемещать полупрозрачное предварительное изображение клавиатуры на сенсорном экране в соответствии с касанием, при этом полупрозрачное предварительное изображение клавиатуры остается полупрозрачным во время перемещения;
определять, что пользователь прекратил осуществлять касание сенсорного экрана; и,
когда пользователь прекратил осуществлять касание сенсорного экрана, заменять полупрозрачное предварительное изображение клавиатуры на сенсорном экране клавиатурой, при этом клавиатура имеет относительно меньшую прозрачность, чем полупрозрачное предварительное изображение клавиатуры.
2. Машиночитаемый носитель по п.1, в котором машиноисполняемые инструкции при их исполнении дополнительно предписывают вычислительному устройству разносить клавиши относительно широко друг от друга в направлении верха полупрозрачного предварительного изображения клавиатуры и располагать клавиши относительно близко друг к другу в направлении низа полупрозрачного предварительного изображения клавиатуры, причем расположение клавиш основывается на положениях пальцев пользователя на сенсорном экране.
3. Машиночитаемый носитель по п.1, в котором машиноисполняемые инструкции при их исполнении дополнительно предписывают вычислительному устройству обновлять полупрозрачное предварительное изображение клавиатуры в соответствии с тем, как пользователь корректирует положения своих пальцев.
4. Машиночитаемый носитель по п.1, при этом полупрозрачное предварительное изображение клавиатуры перемещается в качестве реакции на то, что пользователь проводит своими руками по сенсорному экрану.
5. Машиночитаемый носитель по п.1, в котором машиноисполняемые инструкции при их исполнении дополнительно предписывают вычислительному устройству изменять размер полупрозрачного предварительного изображения клавиатуры в качестве реакции на то, что пользователь разводит свои руки на сенсорном экране.
6. Машиночитаемый носитель по п.5, при этом изменение размера содержит расширение полупрозрачного предварительного изображения клавиатуры, когда пользователь разводит свои руки вдоль оси х сенсорного экрана.
7. Машиночитаемый носитель по п.5, в котором машиноисполняемые инструкции при их исполнении дополнительно предписывают вычислительному устройству поддерживать взаимосвязь между пальцами и клавишами во время изменения размера.
8. Компьютерно-реализуемый способ предоставления программной клавиатуры пользователю, содержащий этапы, на которых:
распознают жест запуска клавиатуры, выполненный пользователем на сенсорном экране;
представляют полупрозрачное предварительное изображение клавиатуры для клавиатуры на сенсорном экране в качестве реакции на жест запуска клавиатуры, при этом полупрозрачное предварительное изображение клавиатуры имеет относительно большую прозрачность, чем клавиатура;
пока пользователь удерживает касание сенсорного экрана, перемещают полупрозрачное предварительное изображение клавиатуры на сенсорном экране в соответствии с касанием, при этом полупрозрачное предварительное изображение клавиатуры остается полупрозрачным во время перемещения;
определяют, что пользователь прекратил осуществлять касание сенсорного экрана; и,
когда пользователь прекратил осуществлять касание сенсорного экрана, заменяют полупрозрачное предварительное изображение клавиатуры на сенсорном экране клавиатурой.
9. Способ по п.8, в котором при упомянутом распознавании распознают одно из следующего: три пальца одной руки в положении ввода с клавиатуры, четыре пальца одной руки в положении ввода с клавиатуры, четыре пальца и большой палец одной руки в положении ввода с клавиатуры, четыре пальца от каждой руки из пары рук в положении ввода с клавиатуры и четыре пальца и большой палец от каждой руки из пары рук в положении ввода с клавиатуры.
10. Способ по п.8, в котором при упомянутом представлении полупрозрачное предварительное изображение клавиатуры представляют в виде контура клавиатуры.
11. Способ по п.8, в котором при упомянутом представлении полупрозрачное предварительное изображение клавиатуры изначально представляют в местоположении на сенсорном экране, в котором принимается жест запуска клавиатуры.
12. Способ по п.8, дополнительно содержащий этап, на котором удаляют клавиатуру, когда жест запуска клавиатуры повторяется.
13. Способ по п.8, в котором полупрозрачное предварительное изображение клавиатуры позволяет пользователю видеть как клавиши на полупрозрачном предварительном изображении клавиатуры, так и объекты, расположенные позади полупрозрачного предварительного изображения клавиатуры, и замена полупрозрачного предварительного изображения клавиатуры клавиатурой, когда пользователь прекратил осуществлять касание сенсорного экрана, приводит к тому, что объекты, расположенные позади полупрозрачного предварительного изображения клавиатуры, оказываются закрытыми клавиатурой.
14. Способ по п.13, в котором упомянутые объекты содержат значки, расположенные позади полупрозрачного предварительного изображения клавиатуры.
15. Способ по п.8, дополнительно содержащий этап, на котором представляют полупрозрачное предварительное изображение клавиатуры в эргономичной конфигурации, образуемой относительным расположением клавиш полупрозрачного предварительного изображения клавиатуры, причем относительное расположение клавиш полупрозрачного предварительного изображения клавиатуры обеспечивается положением пальцев пользователя.
16. Компьютерная система, сконфигурированная для предоставления программной клавиатуры пользователю, содержащая:
модуль идентификации клавиатурных жестов, выполненный с возможностью:
распознавать жест запуска клавиатуры, выполненный пользователем на сенсорном экране,
представлять предварительное изображение клавиатуры на сенсорном экране в качестве реакции на жест запуска клавиатуры, при этом объект, располагающийся позади предварительного изображения клавиатуры, является, по меньшей мере, частично видимым сквозь предварительное изображение клавиатуры,
пока пользователь удерживает касание сенсорного экрана, перемещать предварительное изображение клавиатуры на сенсорном экране в соответствии с касанием, при этом объект, располагающийся позади предварительного изображения клавиатуры, остается, по меньшей мере, частично видимым сквозь предварительное изображение клавиатуры во время перемещения,
определять, что пользователь прекратил осуществлять касание сенсорного экрана, и,
когда пользователь прекратил осуществлять касание сенсорного экрана, заменять предварительное изображение клавиатуры на сенсорном экране клавиатурой, которая блокирует, по меньшей мере, часть упомянутого объекта таким образом, что эта, по меньшей мере, часть объекта больше не является видимой сквозь клавиатуру; и
один или более процессоров, выполненных с возможностью исполнения модуля идентификации клавиатурных жестов.
17. Система по п.16, дополнительно содержащая модуль отслеживания геометрии, выполненный с возможностью отслеживать детекторы касания на сенсорном экране.
18. Система по п.16, в которой предварительное изображение клавиатуры представляет собой контур клавиатуры.
19. Система по п.18, в которой контур клавиатуры не включает в себя клавиши.
20. Система по п.16, в которой модуль идентификации клавиатурных жестов дополнительно выполнен с возможностью перемещать предварительное изображение клавиатуры в качестве реакции на то, что пользователь проводит своими руками по сенсорному экрану.
21. Система по п.16, в которой множественные объекты являются видимыми позади предварительного изображения клавиатуры и блокируются клавиатурой.
RU2011123404/08A 2008-12-09 2009-11-03 Управление программной клавиатурой RU2541099C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/330,529 2008-12-09
US12/330,529 US9041660B2 (en) 2008-12-09 2008-12-09 Soft keyboard control
PCT/US2009/063042 WO2010077430A1 (en) 2008-12-09 2009-11-03 Soft keyboard control

Publications (2)

Publication Number Publication Date
RU2011123404A RU2011123404A (ru) 2012-12-20
RU2541099C2 true RU2541099C2 (ru) 2015-02-10

Family

ID=42230518

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011123404/08A RU2541099C2 (ru) 2008-12-09 2009-11-03 Управление программной клавиатурой

Country Status (8)

Country Link
US (1) US9041660B2 (ru)
EP (1) EP2356556A4 (ru)
JP (1) JP5702296B2 (ru)
KR (1) KR101691238B1 (ru)
CN (1) CN102246134B (ru)
BR (1) BRPI0921968A2 (ru)
RU (1) RU2541099C2 (ru)
WO (1) WO2010077430A1 (ru)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8368667B2 (en) * 2008-06-26 2013-02-05 Cirque Corporation Method for reducing latency when using multi-touch gesture on touchpad
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
CN102073434A (zh) * 2009-11-19 2011-05-25 宏碁股份有限公司 电子装置与触碰面板的显示方法
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
JP5959797B2 (ja) * 2010-09-28 2016-08-02 京セラ株式会社 入力装置及び入力装置の制御方法
US8659562B2 (en) 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120131490A1 (en) * 2010-11-22 2012-05-24 Shao-Chieh Lin Touch-controlled device and method for displaying a virtual keyboard on the touch-controlled device thereof
TW201222396A (en) * 2010-11-22 2012-06-01 Acer Inc Touch-controlled apparatus and method for displaying a virtual keyboard on the touch-controlled apparatus thereof
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US8782513B2 (en) 2011-01-24 2014-07-15 Apple Inc. Device, method, and graphical user interface for navigating through an electronic document
WO2012105158A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 電子機器
JP2012185647A (ja) 2011-03-04 2012-09-27 Sony Corp 表示制御装置、表示制御方法、およびプログラム
CN102750044B (zh) * 2011-04-19 2016-05-11 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法
TWI467463B (zh) 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
US9176608B1 (en) 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US9262076B2 (en) 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
TWI524218B (zh) 2011-10-05 2016-03-01 廣達電腦股份有限公司 觸覺回饋式虛擬鍵盤之提供方法及其電子裝置
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
US9152323B2 (en) 2012-01-19 2015-10-06 Blackberry Limited Virtual keyboard providing an indication of received input
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
EP2631758B1 (en) 2012-02-24 2016-11-02 BlackBerry Limited Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
WO2013123571A1 (en) 2012-02-24 2013-08-29 Research In Motion Limited Virtual keyboard with dynamically reconfigurable layout
CN102629164B (zh) * 2012-02-28 2017-06-27 南京中兴软件有限责任公司 一种多点触摸设备及信息显示方法及应用处理装置
US9019218B2 (en) * 2012-04-02 2015-04-28 Lenovo (Singapore) Pte. Ltd. Establishing an input region for sensor input
CN102662585A (zh) * 2012-04-06 2012-09-12 潘晓雷 一种自适应调整屏幕触控输入范围的方法和移动终端
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
CN102650909B (zh) * 2012-04-16 2015-01-21 杨林 字符输入装置及字符输入方法
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
KR101983290B1 (ko) 2012-07-17 2019-05-29 삼성전자주식회사 다양한 제스처를 이용하여 키패드를 표시하는 방법 및 장치
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
KR101430199B1 (ko) * 2012-11-16 2014-09-23 세종대학교산학협력단 비밀 채널 인터페이스 제공 장치 및 방법
US9280656B2 (en) 2012-11-16 2016-03-08 University-Industry Foundation, Yonsei University Device and method for providing security channel interface
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
DE112013006621T5 (de) * 2013-02-08 2015-11-05 Motorola Solutions, Inc. Verfahren und Vorrichtung zur Handhabung von Anwenderschnittstellenelementen in einer Touchscreen-Vorrichtung
KR102086799B1 (ko) 2013-02-21 2020-03-09 삼성전자주식회사 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
CN104077065A (zh) * 2013-03-27 2014-10-01 百度在线网络技术（北京）有限公司 触摸屏终端显示虚拟键盘的方法及触摸屏终端
US20140365946A1 (en) * 2013-06-10 2014-12-11 Pugazhenthi Sankaralingham Systems and methods for operating and managing enterprise systems on a mobile electronic device
JP6154690B2 (ja) * 2013-07-22 2017-06-28 ローム株式会社 ソフトウェアキーボード型入力装置、入力方法、電子機器
DE102013016851A1 (de) * 2013-10-10 2015-04-16 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
CN104834457A (zh) * 2014-02-11 2015-08-12 中兴通讯股份有限公司 一种触摸屏键盘的自动调节方法和装置
DE102014208222A1 (de) * 2014-04-30 2015-11-05 Siemens Aktiengesellschaft Verfahren zum Abrufen von Anwendungsbefehlen, Recheneinheit und medizinisches Bildgebungssystem
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104156148B (zh) * 2014-07-18 2018-05-08 百度在线网络技术（北京）有限公司 一种用于提供移动设备中的虚拟键盘的方法和设备
CN104199589B (zh) * 2014-08-27 2017-11-17 宇龙计算机通信科技(深圳)有限公司 一种文字输入方法及内置该文字输入法的移动终端
US9940016B2 (en) * 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
CN104281385B (zh) * 2014-09-17 2017-03-15 北京搜狗科技发展有限公司 输入法虚拟键盘的调整方法和输入法装置
US10061509B2 (en) * 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
JP2018514020A (ja) * 2015-04-07 2018-05-31 インテル コーポレイション アバターキーボード
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10275436B2 (en) * 2015-06-01 2019-04-30 Apple Inc. Zoom enhancements to facilitate the use of touch screen devices
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DE102018100197A1 (de) * 2018-01-05 2019-07-11 Bcs Automotive Interface Solutions Gmbh Verfahren zum Betreiben einer Mensch-Maschinen-Schnittstelle sowie Mensch-Maschinen-Schnittstelle
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11829591B2 (en) * 2019-06-01 2023-11-28 Apple Inc. User interface for managing input techniques
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110531872A (zh) * 2019-08-20 2019-12-03 北京小米移动软件有限公司 输入法窗口展示方法、装置、设备及存储介质
CN110515510B (zh) * 2019-08-20 2021-03-02 北京小米移动软件有限公司 数据处理方法、装置、设备及存储介质
CN112788436B (zh) * 2019-11-04 2022-10-04 腾讯科技（深圳）有限公司 电视平台软键盘显示方法及装置、智能电视以及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2127019C1 (ru) * 1997-08-01 1999-02-27 Рыжов Владимир Александрович Пульт дистанционного управления устройствами бытовой техники и компьютерными системами
JP2007183787A (ja) * 2006-01-06 2007-07-19 Hitachi High-Technologies Corp ソフトウェアキーボード表示装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
JP4484255B2 (ja) 1996-06-11 2010-06-16 株式会社日立製作所 タッチパネルを備えた情報処理装置および情報処理方法
CA2264167A1 (en) 1996-08-28 1998-03-05 Via, Inc. Touch screen systems and methods
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7768501B1 (en) * 1998-05-01 2010-08-03 International Business Machines Corporation Method and system for touch screen keyboard and display space sharing
US6501464B1 (en) * 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US20030038821A1 (en) * 2001-08-27 2003-02-27 Kraft Joshua Dickinson Computer controlled interactive touch display pad with transparent full character keyboard overlaying displayed text and graphics
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
JP4828826B2 (ja) 2002-07-04 2011-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動的に適応可能な仮想キーボード
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7081887B2 (en) * 2002-12-19 2006-07-25 Intel Corporation Method and apparatus for positioning a software keyboard
TW589577B (en) 2003-01-03 2004-06-01 Tatung Co Method to display software keyboard
US7382358B2 (en) * 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
KR20070012816A (ko) 2004-05-05 2007-01-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 매체 항목의 탐색
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
KR101418128B1 (ko) 2005-10-15 2014-07-09 노키아 코포레이션 전자 장치로의 개선된 텍스트 입력
CN102169415A (zh) * 2005-12-30 2011-08-31 苹果公司 具有多重触摸输入的便携式电子设备
JP2007219966A (ja) 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器
US7777728B2 (en) * 2006-03-17 2010-08-17 Nokia Corporation Mobile communication terminal
US9063647B2 (en) * 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US7941760B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
KR100764652B1 (ko) * 2006-10-25 2007-10-08 삼성전자주식회사 터치스크린을 가지는 단말기의 키 입력 장치 및 방법
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8525792B1 (en) * 2007-11-06 2013-09-03 Sprint Communications Company L.P. Adjustable keyboard or touch screen in a handheld device
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US20090183098A1 (en) * 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
CN101634929B (zh) * 2008-07-23 2012-06-20 鸿富锦精密工业（深圳）有限公司 在数码相框上实现可控媒体变换的方法
US20100156793A1 (en) * 2008-12-19 2010-06-24 Ozias Orin M System and Method For An Information Handling System Touchscreen Keyboard
US9864513B2 (en) * 2008-12-26 2018-01-09 Hewlett-Packard Development Company, L.P. Rendering a virtual input device upon detection of a finger movement across a touch-sensitive display
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2127019C1 (ru) * 1997-08-01 1999-02-27 Рыжов Владимир Александрович Пульт дистанционного управления устройствами бытовой техники и компьютерными системами
JP2007183787A (ja) * 2006-01-06 2007-07-19 Hitachi High-Technologies Corp ソフトウェアキーボード表示装置

Also Published As

Publication number Publication date
EP2356556A4 (en) 2013-06-05
US9041660B2 (en) 2015-05-26
EP2356556A1 (en) 2011-08-17
KR101691238B1 (ko) 2016-12-29
JP5702296B2 (ja) 2015-04-15
CN102246134B (zh) 2015-04-01
CN102246134A (zh) 2011-11-16
US20100141590A1 (en) 2010-06-10
WO2010077430A1 (en) 2010-07-08
JP2012511774A (ja) 2012-05-24
KR20110098729A (ko) 2011-09-01
BRPI0921968A2 (pt) 2018-06-05
RU2011123404A (ru) 2012-12-20

Similar Documents

Publication Publication Date Title
RU2541099C2 (ru) Управление программной клавиатурой
US10768804B2 (en) Gesture language for a device with multiple touch surfaces
US11157094B2 (en) Touch input switching for multi-form factor information handling system (IHS)
AU2015315248B2 (en) Disambiguation of keyboard input
EP2474896B1 (en) Information processing apparatus, information processing method, and computer program
KR100984596B1 (ko) 터치 감지 입력 장치용 제스처
US8471814B2 (en) User interface control using a keyboard
CN113168285A (zh) 对多屏幕计算设备上的虚拟触控板的无模式增强
US20120262386A1 (en) Touch based user interface device and method
TW201109994A (en) Method for controlling the display of a touch screen, user interface of the touch screen, and electronics using the same
Rivu et al. GazeButton: enhancing buttons with eye gaze interactions
JPH09120403A (ja) 情報検索装置および情報検索制御方法
JP2012141869A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20170262168A1 (en) Touchscreen gestures
KR102040798B1 (ko) 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치
EP2791773B1 (en) Remote display area including input lenses each depicting a region of a graphical user interface
KR101436587B1 (ko) 투 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
US20170168674A1 (en) Apparatus, method and comptuer program product for information processing and input determination
KR101436586B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20150410

MM4A The patent is invalid due to non-payment of fees

Effective date: 20191104