RU2595634C2 - Обработка бесконтактного ввода для сенсорных экранов - Google Patents

Обработка бесконтактного ввода для сенсорных экранов Download PDF

Info

Publication number
RU2595634C2
RU2595634C2 RU2014139218/08A RU2014139218A RU2595634C2 RU 2595634 C2 RU2595634 C2 RU 2595634C2 RU 2014139218/08 A RU2014139218/08 A RU 2014139218/08A RU 2014139218 A RU2014139218 A RU 2014139218A RU 2595634 C2 RU2595634 C2 RU 2595634C2
Authority
RU
Russia
Prior art keywords
mode
input
zoom
touch
response
Prior art date
Application number
RU2014139218/08A
Other languages
English (en)
Other versions
RU2014139218A (ru
Inventor
Сами Пекка РОНКАЙНЕН
Original Assignee
Нокиа Текнолоджиз Ой
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Текнолоджиз Ой filed Critical Нокиа Текнолоджиз Ой
Publication of RU2014139218A publication Critical patent/RU2014139218A/ru
Application granted granted Critical
Publication of RU2595634C2 publication Critical patent/RU2595634C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к технологиям обработки ввода для сенсорных экранов. Техническим результатом является повышение точности выполнения пользовательского ввода на сенсорном экране. Предложен способ обработки бесконтактного ввода для сенсорных экранов. Способ включает в себя этап, на котором в нормальном режиме обеспечивают отображение множества дискретных элементов на сенсорном экране. При этом в ответ на обнаружение в нормальном режиме пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме осуществляют переход в режим масштабирования и панорамирования. А также в ответ на переход в режим масштабирования и панорамирования обеспечивают масштабирование множества отображаемых дискретных элементов. 6 н. и 25 з.п. ф-лы, 15 ил.

Description

Область техники
Настоящее изобретение относится к обработке ввода, выполняемого на сенсорных экранах с обнаружением бесконтактного ввода.
Предпосылки создания изобретения
В таких устройствах как мобильные телефоны, смартфоны и планшетные компьютеры часто имеется сенсорный дисплей, или экран, при помощи которого пользователь может взаимодействовать с программным обеспечением, исполняемым на процессоре этого устройства. Сенсорные экраны все чаще применяются в портативных и настольных компьютерах.
Сенсорные экраны нового поколения, помимо ввода касанием, способны обнаруживать бесконтактный ввод (hover inputs) и определять место бесконтактного ввода в плоскости сенсорного экрана (координаты x, y). Бесконтактный ввод - это ввод, при котором палец пользователя (как правило, указательный) расположен вблизи сенсорного экрана, но не касается его. Такие сенсорные экраны дают новые возможности при проектировании пользовательских интерфейсов, а более совершенные интерфейсы позволяют пользователям более эффективно управлять своими устройствами с целью выполнения требуемых операций и задач.
Сущность изобретения
В первом аспекте настоящего изобретения предложен способ, включающий:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении множества дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
Упомянутые дискретные элементы могут представлять собой текстовые символы. В данном случае способ может включать размещение курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
Упомянутые дискретные элементы могут представлять собой значки («иконки»). В данном случае способ может включать выбор значка, находящегося в месте ввода касанием, в ответ на обнаружение прекращения ввода касанием в режиме указания.
Способ может включать, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов.
Способ может включать, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
Способ может включать, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов.
Способ может включать, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
В настоящем изобретении предложена также компьютерная программа, включающая инструкции, которые при исполнении вычислительным устройством управляют им для выполнения описанного выше способа.
Во втором аспекте настоящего изобретения предложено устройство, включающее:
средства, обеспечивающие при нахождении устройства в нормальном режиме отображение множества дискретных элементов на сенсорном экране;
средства, обеспечивающие переход в режим масштабирования и панорамирования в ответ на обнаружение, при нахождении устройства в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении множества дискретных элементов в нормальном режиме;
средства обеспечивающие, в ответ на переход в режим масштабирования и панорамирования, масштабирование множества отображаемых дискретных элементов;
средства обеспечивающие, в режиме масштабирования и панорамирования в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, панорамирование множества дискретных элементов, отображаемых на сенсорном экране;
средства, обеспечивающие, в режиме масштабирования и панорамирования в ответ на обнаружение ввода касанием, переход в режим указания;
средства, обеспечивающие, в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
средства, обеспечивающие, в режиме указания, перемещение курсора, указателя или маркера при изменении места ввода касанием.
Упомянутые дискретные элементы могут представлять собой текстовые символы. В таком случае устройство может включать средства для размещения курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
Упомянутые дискретные элементы могут представлять собой значки. В таком случае устройство может включать средства для выбора значка, находящегося в месте ввода касанием, в ответ на обнаружение прекращения ввода касанием в режиме указания.
Устройство может включать средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов.
Устройство может включать средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
Устройство может включать средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов.
Устройство может включать средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
Упомянутое устройство может представлять собой вычислительное устройство, например, мобильный телефон, портативный компьютер или стационарный компьютер.
В третьем аспекте настоящего изобретения предложено устройство, имеющее по меньшей мере один процессор и по меньшей мере одну память, имеющую хранящийся в ней машиночитаемый код, который при исполнении управляет упомянутым по меньшей мере одним процессором для:
в нормальном режиме, обеспечения отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, перехода в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечения масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечения панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, перехода в режим указания;
в режиме указания, предотвращения панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
в режиме указания, обеспечения перемещения курсора, указателя или маркера при изменении места ввода касанием.
Упомянутые дискретные элементы могут представлять собой текстовые символы. В таком случае упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для размещения курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
Упомянутые дискретные элементы могут представлять собой значки. В таком случае упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для выбора значка, находящегося в месте ввода касанием, в ответ на обнаружение прекращения ввода касанием в режиме указания.
Упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращения в нормальный режим и уменьшения масштаба отображения упомянутого множества дискретных элементов.
Упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
Упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов.
Упомянутый машиночитаемый код при исполнении может управлять упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
В четвертом аспекте настоящего изобретения предложен машиночитаемый носитель для хранения данных, имеющий хранящийся на нем машиночитаемый код, который при исполнении вычислительным устройством обеспечивает выполнение этим вычислительным устройством способа, включающего:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
В пятом аспекте настоящего изобретения предложен способ, осуществляемый компьютером и включающий:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
Краткое описание чертежей
Далее варианты осуществления настоящего изобретения будут описаны с помощью примеров со ссылками на приложенные чертежи, где:
Фиг. 1 представляет собой вид в перспективе мобильного терминала, в котором реализованы аспекты настоящего изобретения;
Фиг. 2 представляет собой эскизную блок-схему, иллюстрирующую компоненты мобильного терминала, показанного на фиг. 1, и их взаимосвязи;
Фиг. 3 представляет собой блок-схему алгоритма, иллюстрирующую функционирование мобильных устройств, показанных на фиг. 1 и 2, в соответствии с первой группой вариантов осуществления настоящего изобретения;
Фиг. 4 представляет собой диаграмму состояний, в которых может находиться мобильное устройство, соответствующее фиг. 1 и 2, и возможные переходы между этими состояниями;
Фиг. 5-9 представляют собой снимки экрана, иллюстрирующие отображение на мобильном устройстве, показанном на фиг. 1, в различных состояниях при функционировании в соответствии с первой группой вариантов осуществления настоящего изобретения;
Фиг. 10 представляет собой блок-схему алгоритма, иллюстрирующую функционирование мобильных устройств, показанных на фиг. 1 и 2, в соответствии со второй группой вариантов осуществления настоящего изобретения;
Фиг. 11-15 представляют собой снимки экрана, иллюстрирующие изображение на мобильном устройстве, показанном на фиг. 1, в различных состояниях при функционировании в соответствии со второй группой вариантов осуществления настоящего изобретения.
Описание вариантов осуществления изобретения
Описанные в данном документе варианты осуществления настоящего изобретения относятся к устройству, сконфигурированному для обеспечения двухэтапного размещения курсора или двухэтапного выбора, при которых на первом этапе обеспечивается масштабирование, с возможностью панорамирования, в ответ на бесконтактный ввод, а на втором этапе обеспечивается точное размещение курсора или выбор при фиксации масштабированного изображения.
Рассмотрим сначала фиг. 1, на которой проиллюстрирован терминал 100. На внешней поверхности терминала 100 расположен сенсорный дисплей или экран 102, обладающий возможностью обнаружения бесконтактного ввода. Терминал 100 имеет также аппаратные клавиши 104. Также терминал имеет громкоговоритель 118. Терминал 100 имеет в своем составе разъем 120 наушников. Имеются также и другие элементы, но они, в целях ясности и краткости, опущены в настоящем описании.
На фиг. 2 показана эскизная блок-схема компонентов терминала 100. Терминал 100 имеет в своем составе контроллер 106, сенсорный дисплей 102, состоящий из дисплейной части 108 и части тактильного/бесконтактного интерфейса 110, аппаратные клавиши 104, память 112, RAM 114, громкоговоритель 118, разъем 120 наушников, модуль 122 беспроводной связи, антенну 124 и аккумулятор 116. Контроллер 106 имеет соединение со всеми остальными компонентами (кроме аккумулятора 116), что позволяет ему осуществлять управление их работой.
Память 112 может представлять собой энергонезависимую память, например, память «только для чтения» (read only memory, ROM), привод жесткого диска (hard disk drive, HDD) или твердотельный привод (solid state drive, SSD). В памяти 112, помимо прочего, хранится операционная система 126 и могут также храниться программные приложения 128. Оперативная память, RAM 114, используется контроллером 106 для временного хранения данных. Операционная система 126 может содержать код, который при исполнении контроллером 106 во взаимодействии с RAM 114 обеспечивает управление функционированием каждого из аппаратных компонентов терминала.
Контроллер 160 может принимать любую подходящую форму, например, он может представлять собой микроконтроллер, несколько микроконтроллеров, процессор или несколько процессоров.
Терминал 100 может представлять собой мобильный телефон или смартфон, карманный персональный компьютер (КПК), портативный медиаплеер (portable media player, PMP), портативный компьютер или любое другое устройство, способное исполнять программные приложения. В некоторых вариантах осуществления настоящего изобретения терминал 100 может осуществлять сотовую связь с использованием модуля 122 беспроводной связи и антенны 124. Модуль 122 беспроводной связи может быть сконфигурирован для связи по нескольким протоколам, например, GSM, CDMA, UMTS, Bluetooth и IEEE 802.11 (Wi-Fi).
Дисплейная часть 108 сенсорного дисплея 102 предназначена для отображения пользователю терминала изображений и текста. Часть тактильного/бесконтактного интерфейса 110 предназначена для приема от пользователя ввода касанием и бесконтактного ввода.
Сенсорный экран 102, обладающий способностью обнаружения бесконтактного ввода может принимать любую подходящую форму. В подсистемах тактильного/бесконтактного интерфейса 110, связанных с обнаружением касания и бесконтактного ввода, в большинстве случаев задействуются одни и те же компоненты, но альтернативно, они могут представлять собой независимые подсистемы, не использующие совместно никаких компонентов или использующие совместно только некоторые компоненты. Выходные данные тактильного/бесконтактного интерфейса 110 могут принимать любую подходящую форму. Они могут принимать форму координат x, y, z, где x и y - направления в плоскости сенсорного экрана, а z - направление, перпендикулярное сенсорному экрану 102 и обозначающее расстояние бесконтактного ввода. Альтернативно, выходные данные по направлению z в интерфейсе 110 касания/бесконтактного ввода могут обозначать силу или размер другого скалярного параметра ввода. Эти выходные данные могут также включать параметр размера или силы, относящийся к вводу касанием с координатами x, y. Тактильный/бесконтактный интерфейс 110, предпочтительно, представляет собой устройство с функцией «мультитач», способное предоставлять выходные координаты x, y для каждого из множества касаний.
Помимо операционной системы 126 и программных приложений 128 в памяти 112 могут также храниться мультимедийные файлы, например, музыкальные и видеофайлы. На терминал может быть установлено множество различных программных приложений 128, включая веб-браузеры, приложения электронной почты и другие приложения для обмена сообщениями, например, приложения для обмена сообщениями службы SMS, MMS, приложения для обмена мгновенными сообщениями, приложения для работы с социальными сетями, приложения для прослушивания радио и музыки, игровые и служебные приложения. Некоторые или все из этих программных приложений, хранимых в терминале, могут обеспечивать звуковой вывод. Аудиоданные, предоставляемые приложениями, могут быть преобразованы в звук при помощи громкоговорителя (или громкоговорителей 118) терминала или наушников, или, если к разъему наушников были подключены наушники или громкоговорители, то при помощи наушников или громкоговорителей, подключенных к разъему 120 наушников.
В некоторых вариантах осуществления настоящего изобретения терминал 100 может быть связан с внешними программными приложениями, не хранящимися в этом терминале. Такие приложения могут храниться на удаленном сервере, при этом они могут исполняться частично или полностью на удаленном серверном устройстве. Эти приложения называют приложениями с облачным размещением. Терминал 100 может осуществлять связь с удаленным серверным устройством в целях использования хранимых на нем программных приложений. Это может включать прием аудиовывода, предоставляемого внешним программным приложением.
В некоторых из вариантов осуществления настоящего изобретения аппаратные клавиши 104 представляют собой специальные клавиши или переключатели для управления звуком. Такие аппаратные клавиши могут, например, включать две смежные клавиши, кулисный переключатель или вращающийся регулятор. В некоторых из вариантов осуществления настоящего изобретения аппаратные клавиши 104 расположены на боковой стороне терминала 100.
В дальнейшем описании подразумевается, что выполнение рассматриваемых операций осуществляется под управлением контроллера 106 или непосредственно контроллером 106, на основе инструкций, входящих в состав программного обеспечения, включающего одно или более программных приложений 128 или операционную систему 126, или комбинацию операционной системы 126 и одного или более программных приложений 128.
Ниже на примере блок-схемы алгоритма фиг. 3 будет рассмотрена работа терминала 100 в соответствии с первой группой вариантов осуществления настоящего изобретения.
Последовательность операций начинается с шага S1, на котором терминал 100 находится в нормальном режиме. На шаге S2 осуществляется отображение текста с заданным по умолчанию уровнем масштабирования. Это проиллюстрировано на фиг. 5.
На шаге S3 выполняется проверка, не были ли изменен уровень масштабирования. Уровень масштабирования может измениться по причине пользовательского ввода, например с помощью жеста масштабирования («щипка»), с использованием аппаратной клавиши или каким-либо иным способом. Если на шаге S3 определено, что уровень масштабирования был изменен, на шаге S4 выполняется изменение уровня масштабирования. Если на шаге S3 определено, что уровень масштабирования не был изменен, на шаге S4 выполняется отображение текста с заданным уровнем масштабирования. Если уровень масштабирования не был изменен, то заданным уровнем масштабирования является уровень масштабирования, заданный по умолчанию. То есть, на фиг. 5 также проиллюстрировано отображение после шага S5 в случае отсутствия изменений в уровне масштабирования. На фиг. 5 показано текстовое окно, отображаемое терминалом 100. Тест в этом текстовом окне переносится циклически, т.е. текст в каждой строке является продолжением текста строки, расположенной непосредственно над ней. В текстовом окне, проиллюстрированном на фиг. 5, показана вся ширина текстового окна.
На шаге S6 определяют, не обнаружен ли бесконтактный ввод. Бесконтактный ввод, или hover, может обнаруживаться любым подходящим способом. Бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя (как правило, указательный) находится в пределах чувствительности тактильного/бесконтактного интерфейса 110. Альтернативно, бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя находился в некотором месте в пределах чувствительности тактильного/бесконтактного интерфейса 110 более заранее заданного периода времени, который может составлять порядка нескольких сотен миллисекунд. Альтернативно, бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя находится в пределах некоторого расстояния, например, 30 мм, от сенсорного экрана 102.
Если бесконтактный ввод не обнаружен, алгоритм возвращается к шагу S3. Если определено, что бесконтактный ввод обнаружен, то на шаге S7 терминал 100 выходит из нормального режима и переходит в режим масштабирования и панорамирования. Переход от шага S6 к шагу S7 обозначен на фиг. 4 как переход Т1.
На фиг. 4 показаны три состояния, или режима, терминала 100.
Первый режим 41 представляет собой нормальный режим, или режим масштабирования. Выше этот режим назывался «нормальным», но если на шаге S4 уровень масштабирования был изменен, то это режим может также называться «режимом масштабирования». Нормальный режим, или режим масштабирования, представляет собой режим, в котором текст на шаге S5 отображается с заданным уровнем масштабирования, который может быть уровнем масштабирования по умолчанию. Реакция на бесконтактный ввод или ввод касанием в нормальном режиме (режиме масштабирования) выходит за рамки настоящего описания.
Второй режим 42 представляет собой режим масштабирования и панорамирования. В режиме масштабирования и панорамирования выполняется масштабирование и панорамирование отображения, что может обеспечиваться при помощи смещения места бесконтактного ввода.
Третий режим 42 представляет собой режим указания. В режиме указания уровень масштабирования сохраняется неизменным, а смещение ввода касанием вызывает перемещение курсора, указателя или маркера без панорамирования, за исключением определенных условий.
В соответствии с иллюстрацией, терминал 100 может переходить между нормальным режимом (режимом масштабирования) и режимом 42 масштабирования и панорамирования с помощью перехода T1. Терминал 100 может переходить между этими двумя режимами в обратном направлении с помощью перехода T2. Терминал 100 может переходить из режима 42 масштабирования и панорамирования в режим 42 указания с помощью перехода T3. Наконец, терминал 100 может переходить из режима 43 указания в нормальный режим 41 (режим масштабирования) с помощью перехода T4.
После этого на шаге S8 увеличивается уровень масштабирования. В данном случае масштабирование центрировано вокруг места бесконтактного ввода. То есть, обеспечивается увеличение области дисплея, отображаемой на шаге S5, которая расположена вокруг места бесконтактного ввода. Это проиллюстрировано на фиг. 6. В данном случае, текст, расположенный в левой части изображения на фиг. 5, показан на фиг. 6 как увеличенный. Части изображения, которые не расположены вблизи места бесконтактного ввода, более не отображаются. Они включают правую часть изображения на фиг. 5.
На шаге S9 определяют, не изменилось ли место бесконтактного ввода. Если на шаге S9 определено, что место бесконтактного ввода изменилось, то на шаге S10 отображение панорамируется в соответствии с перемещением места бесконтактного ввода. В данном случае отображение панорамируется таким образом, что обеспечивается его визуальное увеличение, следующее за местом бесконтактного ввода. Сначала увеличивается левая часть текста и затем, в соответствии с иллюстрацией фиг. 6, с перемещением места бесконтактного ввода вправо, обеспечивается прокрутка текста, отображаемого на дисплее, влево, таким образом, что отображается текст правой части изображения на фиг. 5. Это проиллюстрировано на фиг. 7.
Аналогично, если место бесконтактного ввода смещается вверх, отображаемый текст прокручивается вниз, т.е. в этом случае раскрывается и отображается текст, который на шаге S5 был отображен в верхней части дисплея (фиг. 5). Панорамирование в соответствии с перемещением бесконтактного ввода на шаге S10 осуществляется с учетом границ текстового окна. Панорамирование ограничено таким образом, что отображаемый текст не выходит за границы текстового окна. Это относится к обоим горизонтальным направлениям (влево и вправо) и к обоим вертикальным направлениям (вверх и вниз).
После шага S10 алгоритм возвращается к шагу S9, на котором определяют, не изменилось ли место бесконтактного ввода. Если на шаге S9 определено, что изменения места бесконтактного ввода не обнаружено, то на шаге S11 определяют, не был ли прекращен бесконтактный ввод. Если на шаге S11 определено, что бесконтактный ввод был прекращен, пока терминал 100 находился в режиме масштабирования и панорамирования, то выполняется выход из режима масштабирования и панорамирования, и терминал 100 возвращается в нормальный режим (режим масштабирования). А именно, алгоритм снова возвращается к шагу S5. Это обозначено на фиг. 4 как переход T2.
Если на шаге S11 определено, что бесконтактный ввод не прекращен, то терминал 100 остается в режиме масштабирования и панорамирования, а алгоритм переходит к шагу S12. На нем определяется, не был ли обнаружен ввод касанием. Если на шаге S12 не был обнаружен ввод касанием, то алгоритм возвращается к шагу S9. Если на шаге S12 определено, что был обнаружен ввод касанием, то алгоритм переходит к шагу S13.
Результат выполнения шагов S9, S11 и S12 заключается в том, что терминал 100 остается в режиме масштабирования и панорамирования, при этом выполняется панорамирование отображения с перемещением места бесконтактного ввода либо до прекращения бесконтактного ввода, либо до обнаружения ввода касанием. Если бесконтактный ввод прекращен, то терминал 100 переходит (T2) из режима 42 масштабирования и панорамирования в нормальный режим (режим масштабирования). Если обнаружен ввод касанием, то терминал 100 переходит (T3) из режима 42 масштабирования и панорамирования в режим 43 указания. Переход в режим указания выполняется на шаге S13.
На шаге S14 выполняется фиксация изображения. На данном шаге выполняется запрет дальнейшего панорамирования изображения, за исключением некоторых условий, которые описаны ниже.
После фиксации изображения на шаге S14 на шаге S15 выполняется сброс и запуск таймера. Затем, на шаге S16, в месте ввода касанием размещается курсор. Результирующее изображение показано на фиг. 8.
На шаге S17 определяют, не был ли прекращен ввод касанием. Если на шаге S17 определено, что ввод касанием был прекращен, то на шаге S18 курсор остается в месте ввода касанием. После шага S18 алгоритм возвращается к шагу S5. Это означает переход (T4) из режима 43 указания в нормальный режим 41 (режим масштабирования). После шага S18 текстовое окно отображается с уровнем масштабирования, соответствующим последнему отображению на шаге S5. Однако в данном случае есть отличие, заключающееся в том, что позиция курсора в тексте соответствует местоположению ввода касанием, обнаруженному на шаге S12, в результате которого было выполнено размещение курсора на шаге S16.
Если на шаге S17 не определено, что ввод касанием был прекращен, то на шаге S19 определяют, не сместилось ли место ввода касанием. Если определено, что место ввода касанием не сместилось, на шаге S20 определяют, не истек ли таймер, который был запущен на шаге S15. Если таймер не истек, алгоритм возвращается к шагу S17. То есть, алгоритм повторяет шаги S17, S19 и S20 до тех пор, пока не будет определено, что ввод касанием прекращен, в случае чего терминал переходит (T4) в нормальный режим 41 (режим масштабирования), или не будет определено, что место ввода касанием сместилось, или же что таймер истек.
Если на шаге S19 определено, что место ввода касанием сместилось, то алгоритм переходит к шагу S21. На данном шаге определяют, находится ли новое место ввода касанием на краю изображения или вблизи него. Изображение в данном случае является фиксированным (на шаге S14), т.е. соответствует масштабированному, или увеличенному, виду. Если на шаге S21 определено, что ввод касанием находится на границе изображения, то на шаге S22 выполняется панорамирование изображения. На данном шаге панорамирование изображения включает прокрутку увеличенного текста в направлении, противоположном краю изображения, у которого расположен ввод касанием. Например, если ввод касанием расположен на правом краю увеличенного изображения, или вблизи него, то текст прокручивается влево. Прокрутка продолжается до тех пор, пока край текстового окна не будет расположен на краю масштабированного изображения. Скорость прокрутки может быть фиксированной, в том смысле, что скорость прокрутки остается неизменной в течение всей операции панорамирования. Альтернативно, скорость прокрутки может зависеть от времени, прошедшего с начала операции панорамирования. Например, скорость прокрутки может увеличиваться с увеличением времени, прошедшего с начала операции панорамирования. Альтернативно или в дополнение, скорость прокрутки при операции панорамирования может зависеть от места ввода касанием. Например, при вводе касанием на самом краю изображения может обеспечиваться более быстрое панорамирование, чем при вводе касанием вблизи края дисплея, но на некотором удалении от него.
Панорамирование влево, в горизонтальном направлении, осуществляется аналогично. Панорамирование в вертикальном направлении, вверх или вниз, также осуществляется аналогично.
Нужно понимать, что выполнение операций, проиллюстрированных на фиг. 3, имеет результатом панорамирование изображения при осуществлении ввода касанием на краю дисплея или вблизи него, при этом панорамирование изображения прекращается в двух ситуациях. Первая - когда изображение панорамируется таким образом, что граница отображаемого текста в направлении панорамирования совпадает с границей текстового окна. Вторая - когда место ввода касанием смещается от фая дисплея к его центральной области. После смещения пальца пользователя от края дисплея в более центральное положение, панорамирование изображения прекращается, а место курсора продолжает следователь за местом ввода касанием.
После панорамирования изображения на шаге S22 или после определения того, что ввод касанием не расположен на краю дисплея, на шаге S21, алгоритм возвращается к шагу S15. Затем, на шаге S16, в месте ввода касанием размещается курсор. Результирующее изображение показано на фиг. 9.
Сброс и перезапуск таймера на шаге S15 после перемещения места ввода касанием дает возможность использовать этот таймер для обнаружения ввода касанием, не изменяющего своего места и длящегося более, чем период таймера. Другими словами, применение таймера позволяет обнаруживать в терминале 100 прием статического ввода касанием определенной длительности.
Вместо сброса таймера на шаге S15, если на шаге S21 обнаружено смещение ввода касанием, таймер может сбрасываться, только если определено, что с момента сброса и перезапуска таймера имело место перемещение, количественно превышающее некоторое пороговое значение. Эта степень смещения может вычисляться в плоскости x, y, или в одном из направлений, x или y. Координаты x, y или x, или y, или упомянутый порог, могут принимать любые подходящие значения. Например, это значение может соответствовать 2 мм или нескольким миллиметрам. Это допускает небольшие перемещения пользовательского ввода касанием без сброса таймера.
Если на шаге S20 определено, что время таймера истекло, на шаге S23 запускается выделение. После шага S23, на шаге S24 размещается курсор начала. Курсор начала размещается в месте ввода касанием, которое представляет собой последнее место ввода касанием, если он перемещался в промежутке между запуском таймера и истечением времени таймера. Курсор начала отмечает начало секции текста, которая будет выбрана в течение операции выбора текста.
После размещения курсора начала на шаге S25 размещается курсор конца. Курсор конца отмечает конец секции текста, которая будет выбрана в течение операции выбора текста. Курсор конца размещается в месте ввода касанием, которое исходно совпадает с местом курсора начала. На шаге S26 определяют, не был ли прекращен ввод касанием. Если определено, что ввод касанием не был прекращен, то на шаге S27 определяют, не сместилось ли место ввода касанием. Если определено, что место ввода касанием не сместилось, то алгоритм переходит к шагу S26. Алгоритм поочередно выполняет шаги S26 и S27 до тех пор, пока либо не сместится место ввода касанием, либо ввод касанием не будет прекращен.
Если на шаге S27 определено, что ввод касанием сместился, то на шаге S28 определяют, не располагается ли ввод касанием на краю дисплея. В случае положительного результата определения, на шаге S29 выполняется панорамирование изображения. Оно аналогично панорамированию изображения на шаге S22, описанном выше. Однако на шаге S29 курсор начала остается в том месте, в котором он был размещен на шаге S24.
После панорамирования изображения на шаге S29 или после определения того, что ввод касанием не расположен на краю дисплея, на шаге S28, алгоритм возвращается к шагу S30. Курсор начала не смещается; со смещением ввода касанием перемещается только курсор конца.
Нужно понимать, что панорамирование изображения на шаге S29, происходящее в результате того, что на шаге S28 определено расположение ввода касанием на краю дисплея или вблизи края дисплея, обеспечивает перемещение курсора конца при прокрутке текста на масштабируемом изображении, в то время как ввод касанием остается по существу в том же самом месте.
После шага S30 алгоритм возвращается к шагу S26. То есть, после определения, на шаге S27, что ввод касанием сместился, алгоритм циклически выполняет шаги S26-S30 до тех пор, пока на шаге S26 не будет определено, что ввод касанием был прекращен.
После того, как на шаге S26 будет определено, что ввод касанием прекращен, выполняется выделение текста между курсором начала и курсором конца. Визуально текст может выделяться (или окрашиваться) при перемещении курсора на шаге S30. Однако только на шаге S31 курсоры начала и конца фиксируются.
После шага S31 алгоритм возвращается к шагу S5. На этом шаге терминал 100 переходит (T4) из режима 43 указания в нормальный режим 41 (режим масштабирования). Теперь, однако, имеется выделение текста между курсорами начала и конца, если в интервале между размещением курсора на шаге S24 и определением прекращения ввода касанием на шаге S26 не было смещения ввода касанием. Если курсор конца не был перемещен, то после шага S31 терминал 100 остается нормальном режиме (режим масштабирования), причем курсор находится в месте курсора начала, которое также являлось бы и местом курсора конца, в случае его присутствия.
Описанные выше шаги реализуют двухэтапную процедуру размещения курсора. На первом этапе в результате бесконтактного ввода выполняется масштабирование в отображаемом текстовом окне. На первом этапе пользователь может выполнять панорамирование в текстовом окне без размещения курсора. На втором этапе ввод касанием прекращает панорамирование в масштабированном текстовом окне и обеспечивает перемещение курсора. Поскольку на втором этапе текстовое окно масштабировано, или увеличено, пользователю проще разместить курсор в требуемом месте, чем до масштабирования.
Кроме того, размещение курсора на втором этапе может выполняться как часть того же самого движения, в результате которого было выполнено масштабирование. Это отличается от систем на существующем уровне техники, в которых масштабирование может быть выполнено только с помощью жеста «защипывания» или с помощью отдельного элемента управления масштабированием. Можно сказать, что такая двухэтапная процедура, с применением в начале бесконтактного ввода для масштабирования и затем ввода касанием для точного размещения курсора, дает результат, превосходящий просто сумму своих составных частей, поскольку эти два этапа выполняются как часть одного движения пальца пользователя. Следует отметить, что в режиме указания перемещение пальца уже не влияет на (масштабированное или увеличенное) содержимое изображения. Содержимое изображения остается тем же, что и до обнаружения ввода касанием. Другими словами, палец пользователя больше не вызывает имитацию увеличительного стекла с центром в месте его расположения; напротив, увеличенное изображение фиксируется. Увеличенное изображение частично разблокируется, если палец пользователя смещается на край сенсорного экрана, или в область вблизи края, но только в том случае, когда ввод касанием остается на краю дисплея или вблизи края дисплея, а отображаемый текст не достигает границы текстового окна в соответствующем направлении.
Также описанные выше на примере фиг. 3 операции позволяют выполнить выбор области текста. Также обеспечивается выделение этого текста с обеспечением возможности размещения курсоров начала и конца при нахождении в масштабированном, или увеличенном, состоянии. Также обеспечение возможности панорамирования изображения после размещения курсора начала и до размещения курсора конца позволяет выделять текст, даже если места начала и конца не могут быть одновременно отображены на дисплее с увеличенным, или масштабированным, изображением. При выполнении операций, описанных выше на примере фиг. 3, это достигается просто продолжением пользователем ввода касанием и перемещением его пальца на край дисплея в требуемом направлении панорамирования. Это может выполняться в вертикальном или в горизонтальном направлении, или одновременно в горизонтальном и вертикальном направлениях. Ограниченный курсорами текст после завершения ввода касанием становится выбранным.
Использование выбранного, или выделенного, текста не является предметом рассмотрения настоящей заявки. Однако предполагается, что пользователь может выбирать текст с целью выполнения дальнейших действий при помощи длительного нажатия на текст или, возможно, на любую область дисплея, или при помощи нажатия на аппаратную клавишу «опции» (options).
Аналогично, действия, выполняемые после размещения курсора, не являются предметом рассмотрения настоящей заявки. Однако предполагается, что пользователь может вводить текст в месте расположения курсора с использованием клавиатуры, например, виртуальной клавиатуры, или может удалять текст из места расположения курсора с помощью клавиши «возврата позиции» (backspace), например, являющейся частью виртуальной клавиатуры.
Размещение курсора относительно места ввода касанием может принимать любую подходящую форму. Например, курсор может быть размещен непосредственно в месте ввода касанием, т.е. под пальцем пользователя. Альтернативно, курсора может быть размещен немного выше места ввода касанием, т.е. выше места расположения пальца пользователя на сенсорном экране 102. Последняя альтернатива может быть более предпочтительной, поскольку пользователю лучше видно отображаемый курсор и его положение в тексте.
Несмотря на то, что выше при рассмотрении фиг. 3 указано, что курсор не размещается в тексте до перехода терминала 100 в режим 43 указания, альтернативно, в соответствии с первой группой вариантов осуществления настоящего изобретения, курсор может уже присутствовать в тексте. В некоторых из таких вариантов осуществления настоящего изобретения курсор может оставаться в исходном месте, пока терминал 100 находится в режиме 42 масштабирования и панорамирования.
Альтернативно, при нахождении терминала в режиме масштабирования и панорамирования курсор может быть скрыт.В любом случае, после перехода терминала 100 в режим 43 указания, курсор размещается в месте ввода касанием, инициирующего переход из режима масштабирования и панорамирования в режим 43 указания. В других подобных вариантах осуществления настоящего изобретения секция текста, которая уже выделена с помощью курсоров начала и конца в режиме масштабирования и панорамирования, может быть изменена в режиме указания. Например, терминал 100 может реагировать на вход в режим указания из режима масштабирования и панорамирования, в котором ввод касанием располагался вблизи места курсора начала или конца, привязыванием этого курсора к вводу касанием. В данном случае пользователь может изменять положение курсора, перемещая ввод касанием в режиме указания, при этом точное размещение курсора обеспечивается благодаря масштабированию, выполняемому в режиме указания. Положение второго курсора, начала или конца, может быть изменено пользователем с помощью аналогичного действия, но на этот раз с выполнением ввода касанием вблизи этого второго курсора. В таких вариантах осуществления настоящего изобретения места расположения курсоров могут устанавливаться пользователем при нахождении терминала в режиме указания, или могут устанавливаться иным образом, например, путем помещения ввода касанием на одно из слов текста, когда терминал 100 находится в нормальном режиме (режиме масштабирования).
Предполагается, что пользователь обычно знает требуемое место расположения курсора перед выполнением пользовательского ввода. После совершения бесконтактного ввода терминал 100 переходит в режим 42 масштабирования и панорамирования и обеспечивает увеличение изображения в области приема бесконтактного ввода. После совершения ввода касанием пользователь может выполнить точную настройку размещения курсора, сделав корректировку в горизонтальном и/или вертикальном направлении, в результате чего курсор размещается в требуемом месте. Если место бесконтактного ввода не слишком удалено от требуемого места размещения курсора, панорамирование изображения при размещении курсора в большинстве случаев не требуется. С большей вероятностью панорамирование потребуется в случае, когда пользователю нужно выделить секцию текста с помощью курсоров начала и конца.
Из предшествующего рассмотрения фиг. 3 следует, что вход в режим масштабирования и панорамирования осуществляется только после определения того, что был обнаружен бесконтактный ввод. Конфигурирование терминала 100 таким образом, чтобы пользователь мог знать заранее, когда терминал переходит в режим масштабирования и панорамирования, дает ему уверенность в том, что изображение будет увеличено для размещения курсора, когда это необходимо. Другим преимуществом перехода в режим масштабирования и панорамирования только после обнаружения бесконтактного ввода является то, что предоставление режима масштабирования и панорамирования и указания не будет влиять на работу терминала 100 в случае, когда масштабирование не требуется. Например, в случае, когда пользователь выполняет ввод скольжением или смахиванием для прокрутки текста, это может достигаться выполнением пользователем жеста скольжения или смахивания без предоставления перед этим бесконтактного ввода. Поскольку на шаге S6 бесконтактный ввод не обнаружен, переход в режим масштабирования и панорамирования не выполняется, и пользовательский ввод обрабатывается иным образом.
Специалистами в данной области техники могут быть найдены и другие варианты осуществления настоящего изобретения.
Например, несмотря на то, что выше описано обеспечение размещения курсора при помощи панорамирования изображения на шаге S22, в то время как ввод касанием по-прежнему сохраняется, а именно, располагается на краю дисплея, могут быть предложены альтернативные варианты. Например, терминал 100 может быть сконфигурирован для обратного масштабирования (уменьшения уровня масштабирования) после размещения курсора начала и при расположении ввода касанием на краю дисплея или вблизи края дисплея. Обратное масштабирование в этом случае позволяет отобразить большую часть текстового окна, в которой находится курсор начала, что позволяет выполнить размещение курсора конца, не прекращая ввод касанием. Однако недостаток данного варианта заключается в том, что размещение курсора конца в требуемом месте может быть затруднено для пользователя по причине меньшего уровня масштабирования.
В еще одном из альтернативных вариантов осуществления настоящего изобретения терминал 100 сконфигурирован таким образом, чтобы реагировать на определение прекращения ввода касанием, после выделения части текста, обратным масштабированием и дальнейшим предоставлением пользователю возможности выбора альтернативной части текстового окна для масштабирования с целью размещения курсора конца. В данном варианте осуществления изобретения терминал 100 может реагировать на обнаружение того, что пользовательский ввод остается в позиции бесконтактного ввода между двумя последовательными вводами касанием. В таком альтернативном варианте осуществления изобретения в терминале 100 может отображаться текстовое окно с исходным уровнем масштабирования (присутствующем на шаге S5), пока присутствует бесконтактный ввод, и затем может выполняться масштабирование до другого уровня (присутствующего на шаге S8) после обнаружения второго ввода касанием. Альтернативно, терминал 100 может реагировать на необнаружение бесконтактного ввода, после первого ввода касанием, возвращением к исходному уровню масштабирования, и реагировать на последующее обнаружение бесконтактного ввода масштабированием с отображением части текстового окна, в котором расположен бесконтактный ввод, при этом размещение курсора обеспечивается после следующего за этим получения ввода касанием.
Описанные выше на примере фиг. 3 операции решают проблему точности указания, присутствующую в некоторых пользовательских интерфейсах с функцией «увеличительного стекла». В некоторых из таких интерфейсов место ввода касанием становится центром «увеличительного стекла» или области «рыбьего глаза», в которой выполняется увеличение. Однако области изображения вне «увеличительного стекла» или области «рыбьего глаза» остаются неизменными. В таких интерфейсах пользователю обеспечивается лучший обзор ввода, выполняемого им на сенсорном экране. Однако они не упрощают ему размещение ввода в требуемом месте. Данная проблема решается с помощью описанных выше операций, комбинацией масштабирования в режиме масштабирования и панорамирования и фиксацией изображения в режиме указания.
Далее будет рассмотрена работа терминала 100 в соответствии со второй группой вариантов осуществления настоящего изобретения, со ссылками на блок-схему фиг. 10 и диаграмму состояний фиг. 4. Если не указано обратное, и при отсутствии функциональных противоречий, элементы второй группы вариантов осуществления настоящего изобретения являются идентичными элементам первой группы вариантов осуществления настоящего изобретения. Реакция терминала 100 на ввод касанием без предварительно обнаруженного бесконтактного ввода не является предметом рассмотрения настоящей заявки и не проиллюстрирована на фиг. 10.
Функционирование начинается на шаге S1, на котором терминал 100 находится в нормальном режиме. На шаге S2, ряд значков отображается в исходном размере. Это проиллюстрировано на фиг. 11, где показан терминал 100, предоставляющий ряд значков, расположенных в виде сетки. Значки занимают большую часть области изображения на сенсорном экране 102. Значки расположены в виде регулярной квадратной сетки, но, альтернативно, могут использоваться другие формы ряда значков. Значки могут иметь как квадратную форму, так и любую другую форму. В данном случае значки представляют собой квадраты со стороной 5 мм, однако, альтернативно, они могут быть квадратами со стороной 3 мм, 4 мм, 6 мм, 7 мм, или любого другого размера.
Между каждым из значков и соседним с ним значком имеется небольшой промежуток. Может быть предоставлено фоновое изображение, которое видимо в промежутках между значками. Использование фонового изображения и промежутков между значками обеспечивает более благоприятное визуальное впечатление и удобство восприятия для пользователя.
На фиг. 11 значки изображены в размере, который может быть назван исходным размером. В данном примере все значки имеют одинаковый размера, однако, альтернативно, некоторые из значков могут иметь отличающийся размер.
В нормальном режиме 41 и в режиме 43 указания (см. описание ниже) терминал 100 реагирует на ввод пользователя в месте, соответствующем одному из значков, выполнением действия, связанного с выбором этого значка. Например, если значки представляют собой эскизы (уменьшенные изображения) фотографий, таким действием может быть открытие соответствующей фотографии, то есть, отображение этой фотографии в полном размере. В случае, когда значки представляют собой закладки, обнаружение пользовательского ввода в месте значка может обеспечивать переход терминала 100 к веб-странице, на которую ссылается эта закладка. Очевидно, это лишь некоторые из примеров. В примере, когда значки представляют собой эскизы видеофайлов, обнаружение пользовательского ввода в месте расположения значка обеспечивает открытие терминалом 100 этого видеофайла в приложении медиапроигрывателя или начало воспроизведения видеофайла. В примере, когда значки представляют собой текст или графику, обозначающую электронные книги или текстовые документы, обнаружение пользовательского ввода в месте расположения значка 100 может обеспечивать открытие терминалом 100 электронной книги или текстового документа. В примере, когда значок представляет собой ярлык приложения, обнаружение пользовательского ввода в месте расположения значка обеспечивает открытие терминалом 100 этого приложения. В примере, когда значок является значком контакта, обнаружение пользовательского ввода в месте расположения этого значка может обеспечивать открытие терминалом 100 соответствующего контакта в приложении книги контактов или выполнение заранее заданного действия, связанного с этим контактом, например, совершение вызова этого контакта или открытие нового сообщения, адресованного этому контакту.
Области дисплея 102, в которых терминал 100 реагирует на пользовательский ввод, могут быть названы целевыми областями. В каждом значке может присутствовать одна целевая область, при этом ввод в целевой области соответствует выбору соответствующего значка. Целевая область может полностью совпадать со значком, т.е. целевая область может иметь размер и форму, совпадающую со значком, и располагаться в одном месте со значком. В данном случае промежутки между значками не являются частью никакой целевой области. Тогда обнаружение пользовательского ввода на сенсорном экране 102 в одном из промежутков не приводит к выбору ни одного из значков. Альтернативно, целевые области могут быть несколько больше, чем значки. В таких вариантах осуществления изобретения промежутки между смежными целевыми областями могут и не существовать.
В общем случае, пользовательский ввод в целевую область может регистрироваться в момент удаления пальца с сенсорного экрана 102, т.е. в момент прекращения ввода касанием. Если место ввода касанием перемещается между началом и концом ввода касанием, то, как правило, место конца ввода касанием считается за место ввода. В таком случае выполняемая операция зависит от целевой области, в которой находился палец пользователя в момент удаления пальца пользователя с сенсорного экрана 102. Пользовательский ввод может принимать любую из множества подходящих форм. Например, одной из таких форм может быть кратковременный ввод, называемый «нажатием». Еще одной формой является «длительное нажатие», которое представляет собой ввод касанием в некотором месте, выполняемый в течение периода времени, превосходящего пороговое значение. Это пороговое значение может составлять, например, между 0,5 и 1,5 секунд, чаще всего около одной секунды.
На шаге S3 выполняется проверка, не был ли изменен уровень масштабирования. Уровень масштабирования может измениться по причине пользовательского ввода, например с помощью жеста масштабирования («щипка»), с использованием аппаратной клавиши или каким-либо иным способом. Если на шаге S3 определено, что уровень масштабирования был изменен, на шаге S4 выполняется изменение уровня масштабирования. Если на шаге S3 определено, что уровень масштабирования не был изменен, то на шаге S5 выполняется отображение текста с заданным уровнем масштабирования. Если уровень масштабирования не был изменен, то заданным уровнем масштабирования является уровень масштабирования, заданный по умолчанию. То есть, на фиг. 11 также проиллюстрировано изображение после шага S5 в случае отсутствия изменений в уровне масштабирования. На фиг. 11 показан ряд значков, отображаемых терминалом 100. Значки переносятся циклически, т.е. значки в каждой строке является продолжением последовательности значков в строке, расположенной непосредственно над ней. В окне, проиллюстрированном на фиг. 11, показана вся ширина ряда значков. В данном примере последовательность значков помечена буквами алфавита.
На шаге S6 определяют, не обнаружен ли бесконтактный ввод. Бесконтактный ввод, или hover, может обнаруживаться любым подходящим способом. Бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя (как правило, указательный) находится в пределах чувствительности тактильного/бесконтактного интерфейса 110. Альтернативно, бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя находился в некотором месте в пределах чувствительности тактильного/бесконтактного интерфейса 110 более заранее заданного периода времени, который может составлять порядка нескольких сотен миллисекунд. Альтернативно, бесконтактный ввод может обнаруживаться как реакция на определение того, что палец пользователя находится в пределах некоторого расстояния, например, 30 мм, от сенсорного экрана 102.
Если бесконтактный ввод не обнаружен, алгоритм возвращается к шагу S3. Если определено, что бесконтактный ввод обнаружен, то на шаге S7 терминал 100 выходит из нормального режима и переходит в режим масштабирования и панорамирования. Переход от шага S6 к шагу S7 обозначен на фиг. 4 как переход Т1
После этого, на шаге S8, выполняется увеличение уровня масштабирования. В данном случае масштабирование центрировано вокруг места бесконтактного ввода. То есть, обеспечивается увеличение области дисплея, отображаемой на шаге S5, которая расположена вокруг места бесконтактного ввода. Это проиллюстрировано на фиг. 12. В данном случае, значки, расположенные в левой части изображения на фиг. 5, показаны на фиг. 12 как увеличенные. Части изображения, которые не расположены вблизи места бесконтактного ввода, более не отображаются. Они включают правую часть изображения на фиг. 11. Место бесконтактного ввода обозначено кружком.
На шаге S9 выполняется проверка, не изменилось ли место бесконтактного ввода. Если на шаге S9 определено, что место бесконтактного ввода изменилось, то на шаге S10 изображение панорамируется в соответствии с перемещением места бесконтактного ввода. В данном случае изображение панорамируется таким образом, что значки отображают увеличенными, следуя за местом бесконтактного ввода. Начиная с увеличения левой части ряда значков, в соответствии с иллюстрацией фиг. 12, с перемещением бесконтактного ввода вправо обеспечивается прокрутка значков, отображаемых на дисплее, влево, таким образом, что отображаются значки правой части изображения на фиг. 4. Это проиллюстрировано на фиг. 13. Снова место бесконтактного ввода обозначено кружком.
Аналогично, если место бесконтактного ввода смещается вверх, отображаемые значки прокручиваются вниз, т.е. в этом случае раскрываются и отображаются значки, отображаемые на шаге S5 в верхней части дисплея (фиг. 5). Панорамирование в соответствии с перемещением бесконтактного ввода на шаге S10 осуществляется с учетом границ ряда значков. Панорамирование ограничено таким образом, что отображаемый текст не выходит за границы ряда значков. Это относится к обоим горизонтальным направлениям (влево и вправо) и к обоим вертикальным направлениям (вверх и вниз).
После шага S10 алгоритм возвращается к шагу S9, на котором определяют, не изменилось ли место бесконтактного ввода.
Если на шаге S9 определено, что изменения места бесконтактного ввода не обнаружено, то на шаге S11 определяют, не был ли прекращен бесконтактный ввод. Если на шаге S11 определено, что бесконтактный ввод был прекращен, пока терминал 100 находился в режиме масштабирования и панорамирования, то выполняется выход из режима масштабирования и панорамирования, и терминал 100 возвращается в нормальный режим (режим масштабирования). А именно, алгоритм снова возвращается к шагу S5. Это обозначено на фиг. 4 как переход T2.
Если на шаге S11 определено, что бесконтактный ввод не прекращен, то терминал 100 остается в режиме масштабирования и панорамирования, а алгоритм переходит к шагу S12. На нем определяется, не был ли обнаружен ввод касанием. Если на шаге S12 не был обнаружен ввод касанием, то алгоритм возвращается к шагу S9. Если на шаге S12 определено, что был обнаружен ввод касанием, то алгоритм переходит к шагу S13.
Результат выполнения шагов S9, S11 и S12 заключается в том, что терминал 100 остается в режиме масштабирования и панорамирования, при этом выполняется панорамирование изображения с перемещением места бесконтактного ввода либо до прекращения бесконтактного ввода, либо до обнаружения ввода касанием. Если бесконтактный ввод прекращен, то терминал 100 переходит (T2) из режима 42 масштабирования и панорамирования в нормальный режим 41 (режим масштабирования). Если обнаружен ввод касанием, то терминал 100 переходит (T3) из режима 42 масштабирования и панорамирования в режим 43 указания. Переход в режим указания выполняется на шаге S13.
На шаге S14 выполняется блокировка изображения. Данный шаг не разрешает дальнейшее панорамирование изображения, за исключением некоторых условий, которые описаны ниже.
На шаге S14 в месте ввода касанием обеспечивается указатель или маркер. Результирующее изображение показано на фиг. 14. Место ввода касанием обозначено кружком с крестиком внутри. Упомянутый указатель или маркер может принимать любую подходящую форму. Например, он может принимать форму стрелки, острие которой определяет место маркера. Альтернативно, указатель может иметь некоторую другую форму или вид. Основное требование к указателю заключается в том, чтобы пользователь был способен определять место, на которое указывает данный указатель. Маркер - это вид указателя, который может не включать значок указателя или графики указателя. Вместо этого маркер может обозначать место при помощи изменения вида заданного места по сравнению с другими местами. Например, маркер может указывать на место при помощи обеспечения «ряби» или другого динамического визуального эффекта, центрированного в определенном месте. Альтернативно, маркер может изменять внешний вид элементов, уже имеющихся в данном месте. В случае ряда значков маркированным может быть значок, имеющий визуальные характеристики, отличающиеся от других значков. Например, маркированный значок может иметь отличающуюся расцветку или отличающуюся визуальную текстуру. Маркер может иметь отличающуюся яркость или границы, отличающиеся по сравнению с другими значками. Маркер может быть динамическим, т.е. может изменять свой внешний вид. Например, маркированный значок может мерцать или иметь пульсирующий цвет, яркость, контраст, или любую их комбинацию. Вместо этого, маркер может принимать любую подходящую форму. Если место ввода касанием не совпадает с целевой областью значка, то маркер или указатель не обеспечиваются. Альтернативно, указатель может предоставляться таким образом, чтобы пользователю было очевидно, что указатель указывает не на значок. На фиг. 14 значок, совпадающий с местом ввода касанием, показан как имеющий рамку отличающейся толщины (в данном случае более толстую), по сравнению с другими значками.
После шага S14 на шаге S15 определяют, не был ли смещен ввод касанием. Если на шаге S15 определено, что место ввода касанием сместилось, то алгоритм переходит к шагу S16. На этом шаге место указателя или маркера перемещается в соответствии с новым местом ввода касанием. Перемещение может осуществляться влево, вправо, вверх или вниз, или с любой комбинацией вертикальных и горизонтальных перемещений. После перемещения ввода касанием может выполняться маркирование или указание на другой значок. Это проиллюстрировано на фиг. 15, где маркирован другой значок. Снова место ввода касанием обозначено кружком с крестиком внутри.
После того, как на шаге S15 было определено, что ввод касанием не сместился, или после перемещения указателя на шаге S16, на шаге S17 определяют, не был ли прекращен ввод касанием. Если на шаге S17 определено, что ввод касанием не был прекращен, то алгоритм переходит к шагу S15. Если на шаге S17 определено, что ввод касанием был прекращен, то алгоритм переходит к шагу S18.
Таким образом, алгоритм повторяет шаги S15, S16 и S17 до тех пор, пока не будет определено, что прекращен ввод касанием, в случае чего терминал 100 выходит из режима 43 указания, а алгоритм переходит к шагу S18. Тем не менее на этом этапе терминал 100 не может переходить в нормальный режим (режим масштабирования).
На шаге S18 выбирается значок, целевая область которого находилась в месте ввода касанием в момент прекращения ввода касанием. Если место ввода касанием не совпадало с целевой областью ни одного из значков в момент прекращения ввода касанием, то на шаге S18 не будет выбран ни один из значков. В результате выбора значка может выполняться операция, которая может зависеть от того, на что ссылается этот значок, и от настроек терминала 100. Выше приведены несколько примеров таких действий. После шага S18 алгоритм завершается на шаге S19.
Перемещение указателя на шаге S16 может включать панорамирование масштабированной части ряда значков, аналогично масштабированию, описанному на примере шага S22 фиг. 3.
Описанные выше со ссылками на фиг. 10 шаги реализуют двухэтапную процедуру выбора значка. На первом этапе в результате бесконтактного ввода выполняется масштабирование отображаемого ряда значков. На этом первом этапе пользователь может выполнять панорамирование по ряду значков без выбора конкретного значка. На втором этапе ввод касанием прекращает панорамирование ряда значков и обеспечивает перемещение указателя или маркера. Поскольку на втором этапе ряд значков масштабирован, или увеличен, пользователю проще выбрать требуемый значок, чем до масштабирования. Также, в случае, когда значки являются «эскизами» и имеют отличающуюся форму, которая означает, что они являются визуальным представлением соответствующих объектов, на которые они ссылаются, обеспечение режима масштабирования и панорамирования может упрощать пользователю поиск нужного значка.
При этом выбор значка на втором этапе может обеспечиваться как часть того же самого движения, в результате которого было выполнено масштабирование. Это отличается от систем на существующем уровне техники, в которых масштабирование может быть выполнено только с помощью жеста «щипка» или с помощью отдельного элемента управления масштабированием. Можно сказать, что такая двухэтапная процедура, с применением в начале бесконтактного ввода для масштабирования и затем ввода касанием для выбора значка, дает результат, превосходящий просто сумму своих составных частей, поскольку эти два этапа выполняются как часть одного движения пальца пользователя.
Следует отметить, что в режиме указания перемещение пальца уже не влияет на (масштабированное, или увеличенное) содержимое изображения. Содержимое изображения остается тем же, что и до обнаружения ввода касанием. Другими словами, палец пользователя больше не вызывает имитацию увеличительного стекла на месте бесконтактного ввода; напротив, увеличенное изображение фиксируется. Увеличенное изображение может быть частично разблокировано, если палец пользователя смещается на край сенсорного экрана или приближается к краю сенсорного экрана.
Использование выбранного значка не является предметом рассмотрения настоящей заявки.
Размещение указателя или маркера относительно места ввода касанием может принимать любую подходящую форму. Например, указатель или маркер может быть размещен непосредственно в месте ввода касанием, т.е. под пальцем пользователя. Альтернативно, указатель или маркер может быть размещен немного выше места ввода касанием, т.е. выше места расположения пальца пользователя на сенсорном экране 102. Последняя альтернатива может быть более предпочтительной, поскольку пользователю лучше видно отображаемый указатель или маркер и его положение среди ряда значков.
Предполагается, что пользователь обычно знает, какой значок ему нужно выбрать, перед выполнением пользовательского ввода. После выполнения бесконтактного ввода терминал 100 переходит в режим 42 масштабирования и панорамирования и обеспечивает увеличение изображения в области бесконтактного ввода. После совершения ввода касанием пользователь может выполнить точную настройку размещения указателя или маркера, сделав корректировку в горизонтальном и/или вертикальном направлении, в результате чего указатель или маркер размещается в требуемом месте. Если место бесконтактного ввода не слишком удалено от значка, который пользователь желает выбрать, панорамирование изображения при выборе значка в большинстве случаев не требуется. С большей вероятностью панорамирование потребуется в случае, когда пользователю нужно просмотреть значки, чтобы найти нужный значок.
Из предшествующего рассмотрения фиг. 10 следует, что вход в режим масштабирования и панорамирования осуществляется только после определения того, что был обнаружен бесконтактный ввод. Конфигурирование терминала 100 таким образом, чтобы пользователь мог знать заранее, когда терминал переходит в режим масштабирования и панорамирования, дает ему уверенность в том, что изображение будет увеличено для выбора значка, когда это необходимо. Другим преимуществом перехода в режим масштабирования и панорамирования только после обнаружения бесконтактного ввода является то, что предоставление режима масштабирования и панорамирования и указания не будет влиять на работу терминала 100 в случае, когда масштабирование не требуется. Например, в случае, когда пользователь выполняет ввод скольжением или смахиванием для прокрутки по ряду значков, это может достигаться выполнением пользователем жеста скольжения или смахивания без предоставления перед этим бесконтактного ввода. Поскольку на шаге S6 бесконтактный ввод не обнаружен, переход в режим масштабирования и панорамирования не выполняется, и пользовательский ввод обрабатывается иным образом.
Описанные выше на примере фиг. 10 операции решают проблему точности указания, присутствующую в некоторых пользовательских интерфейсах с «увеличительным стеклом». В некоторых из таких интерфейсов место ввода касанием становится центром «увеличительного стекла» или области «рыбьего глаза», в которой выполняется увеличение. Однако области изображения вне «увеличительного стекла» или «рыбьего глаза» остаются неизменными. В таких интерфейсах пользователю обеспечивается лучший обзор ввода, выполняемого им на сенсорном экране. Однако они не упрощают ему размещение ввода в требуемом месте. Данная проблема решается с помощью описанных выше операций, комбинацией масштабирования в режиме масштабирования и панорамирования и фиксацией изображения в режиме указания.
Специалистами в данной области техники могут быть предложены и другие варианты осуществления настоящего изобретения. Также могут быть введены различные дополнительные элементы.
Например, уровень масштабирования в режиме масштабирования и панорамирования может некоторым образом зависеть от расстояния z бесконтактного ввода. Например, уровень масштабирования может увеличиваться с приближением пальца пользователя к сенсорному экрану 102 и достигать максимального уровня в момент совершения ввода касанием, после чего в режиме указания уровень масштабирования остается постоянным. Увеличение уровня масштабирования может быть непрерывным в том смысле, что уровень масштабирования может постепенно увеличиваться с уменьшением расстояния z. Альтернативно, он может быть ступенчатым, в том смысле, что уровень масштабирования может принимать одно значение для каждого расстояния z из некоторого диапазона расстояний z, и другое значение для расстояния z, меньшего, чем минимальное значение для этого диапазона. Количество ступеней изменения уровня масштабирования между нормальным режимом (режимом масштабирования) и уровнем масштабирования в режиме указания может принимать любое подходящее значение, например, 3, 4 или 5.
При этом описание в настоящей заявке следует понимать как охватывающее любые новые элементы или любые новые комбинации элементов, которые явно или косвенным образом описаны в настоящем документе, или любые обобщения на их основе, при этом при ведении дел по настоящей заявке или заявке, основанной на настоящей заявке, могут быть сформулированы новые пункты формулы изобретения, охватывающие все подобные элементы и/или комбинации подобных элементов.

Claims (31)

1. Способ обработки бесконтактного ввода для сенсорных экранов, включающий:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, при нахождении в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении множества дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и,
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
2. Способ по п. 1, в котором упомянутые дискретные элементы представляют собой текстовые символы.
3. Способ по п. 2, включающий размещение курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
4. Способ по п. 1, в котором упомянутые дискретные элементы представляют собой значки.
5. Способ по п. 4, включающий выбор значка в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
6. Способ по любому из пп. 1-5, включающий, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов.
7. Способ по любому из пп. 1-5, включающий, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
8. Способ по любому из пп. 1-5, включающий, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов.
9. Способ по любому из пп. 1-5, включающий, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и обеспечение уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
10. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу, включающую инструкции, которые при исполнении вычислительным устройством управляют им для выполнения способа по любому из пп. 1-9.
11. Устройство для обработки бесконтактного ввода для сенсорных экранов, включающее:
средства, обеспечивающие, при нахождении устройства в нормальном режиме, отображение множества дискретных элементов на сенсорном экране;
средства, обеспечивающие переход в режим масштабирования и панорамирования в ответ на обнаружение, при нахождении устройства в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме;
средства, обеспечивающие, в ответ на переход в режим масштабирования и панорамирования, масштабирование множества отображаемых дискретных элементов;
средства, обеспечивающие, в режиме масштабирования и панорамирования в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, панорамирование множества дискретных элементов, отображаемых на сенсорном экране;
средства, обеспечивающие, в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
средства, обеспечивающие, в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и
средства, обеспечивающие, в режиме указания, перемещение курсора, указателя или маркера при изменении места ввода касанием.
12. Устройство по п. 11, в котором упомянутые дискретные элементы представляют собой текстовые символы.
13. Устройство по п. 12, включающее средства для размещения курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
14. Устройство по п. 11, в котором упомянутые дискретные элементы представляют собой значки.
15. Устройство по п. 14, включающее средства для выбора значка, находящегося в месте ввода касанием, в ответ на обнаружение прекращения ввода касанием в режиме указания.
16. Устройство по любому из пп. 11-15, включающее средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов.
17. Устройство по любому из пп. 11-15, включающее средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
18. Устройство по любому из пп. 11-15, включающее средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов.
19. Устройство по любому из пп. 11-15, включающее средства, обеспечивающие, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращение в нормальный режим и уменьшение масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
20. Устройство по любому из пп. 11-15, представляющее собой вычислительное устройство, например мобильный телефон, портативный компьютер или стационарный компьютер.
21. Устройство для обработки бесконтактного ввода для сенсорных экранов, имеющее по меньшей мере один процессор и по меньшей мере одну память, имеющую хранящийся в ней машиночитаемый код, который при исполнении управляет упомянутым по меньшей мере одним процессором для:
в нормальном режиме, обеспечения отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, при нахождении в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, перехода в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечения масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечения панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, перехода в режим указания;
в режиме указания, предотвращения панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и,
в режиме указания, обеспечения перемещения курсора, указателя или маркера при изменении места ввода касанием.
22. Устройство по п. 21, в котором упомянутые дискретные элементы представляют собой текстовые символы.
23. Устройство по п. 22, в котором упомянутый машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для размещения курсора в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
24. Устройство по п. 21, в котором упомянутые дискретные элементы представляют собой значки.
25. Устройство по п. 24, в котором упомянутый машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для выбора значка в месте ввода касанием в ответ на обнаружение прекращения ввода касанием в режиме указания.
26. Устройство по любому из пп. 21-25, в котором машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме указания, возвращения в нормальный режим и уменьшения масштаба отображения упомянутого множества дискретных элементов.
27. Устройство по любому из пп. 21-25, в котором упомянутый машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
28. Устройство по любому из пп. 21-25, в котором упомянутый машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов.
29. Устройство по любому из пп. 21-25, в котором упомянутый машиночитаемый код при исполнении управляет упомянутым по меньшей мере одним процессором для обеспечения, в ответ на обнаружение прекращения ввода касанием при нахождении в режиме масштабирования и панорамирования, возвращения в нормальный режим и обеспечения уменьшения масштаба отображения упомянутого множества дискретных элементов до уровня масштабирования, который имел место во время перехода в режим масштабирования и панорамирования.
30. Машиночитаемый носитель для хранения данных, имеющий хранящийся на нем машиночитаемый код, который при исполнении вычислительным устройством обеспечивает выполнение этим вычислительным устройством способа, включающего:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и,
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
31. Способ обработки бесконтактного ввода для сенсорных экранов, осуществляемый компьютером, включающий:
в нормальном режиме, обеспечение отображения множества дискретных элементов на сенсорном экране;
в ответ на обнаружение, в нормальном режиме, пальца пользователя, который находится в некотором месте над сенсорным экраном, но не касается его, при отображении дискретных элементов в нормальном режиме, переход в режим масштабирования и панорамирования;
в ответ на переход в режим масштабирования и панорамирования, обеспечение масштабирования множества отображаемых дискретных элементов;
в режиме масштабирования и панорамирования, в ответ на обнаружение перемещения пальца пользователя в другое место бесконтактного ввода над сенсорным экраном, обеспечение панорамирования множества дискретных элементов, отображаемых на сенсорном экране;
в режиме масштабирования и панорамирования, в ответ на обнаружение ввода касанием, переход в режим указания;
в режиме указания, предотвращение панорамирования множества отображаемых дискретных элементов при смещении места ввода касанием в пределах заранее заданных критериев; и,
в режиме указания, обеспечение перемещения курсора, указателя или маркера при изменении места ввода касанием.
RU2014139218/08A 2012-03-15 2013-03-14 Обработка бесконтактного ввода для сенсорных экранов RU2595634C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/421,488 US8654076B2 (en) 2012-03-15 2012-03-15 Touch screen hover input handling
US13/421,488 2012-03-15
PCT/FI2013/050289 WO2013135972A1 (en) 2012-03-15 2013-03-14 Touch screen hover input handling

Publications (2)

Publication Number Publication Date
RU2014139218A RU2014139218A (ru) 2016-05-10
RU2595634C2 true RU2595634C2 (ru) 2016-08-27

Family

ID=48139961

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014139218/08A RU2595634C2 (ru) 2012-03-15 2013-03-14 Обработка бесконтактного ввода для сенсорных экранов

Country Status (8)

Country Link
US (2) US8654076B2 (ru)
EP (1) EP2825950B1 (ru)
JP (1) JP5970086B2 (ru)
KR (1) KR101720849B1 (ru)
CN (2) CN104321734A (ru)
PL (1) PL2825950T3 (ru)
RU (1) RU2595634C2 (ru)
WO (1) WO2013135972A1 (ru)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) * 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US20100235734A1 (en) 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US9244605B2 (en) 2011-05-31 2016-01-26 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
KR101794000B1 (ko) * 2011-06-13 2017-11-06 삼성전자주식회사 터치 스크린을 구비하는 기기에서 스크롤 장치 및 방법
US8624934B2 (en) 2011-09-29 2014-01-07 Microsoft Corporation Dynamic display of icons on a small screen
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
TWI564749B (zh) * 2012-03-23 2017-01-01 群邁通訊股份有限公司 防誤觸方法及系統
TWI436251B (zh) * 2012-04-30 2014-05-01 Univ Nat Taiwan 觸碰式控制裝置及控制方法
KR101515623B1 (ko) * 2012-05-14 2015-04-28 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치
KR20140030379A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 단말의 표시 제어 방법 및 그 단말
CN106406734B (zh) * 2012-09-17 2019-10-25 华为终端有限公司 触摸操作处理方法及终端设备
US20140189579A1 (en) * 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
AU349998S (en) * 2013-01-09 2013-07-31 Samsung Electronics Co Ltd Display screen for an electronic device
US20140362119A1 (en) * 2013-06-06 2014-12-11 Motorola Mobility Llc One-handed gestures for navigating ui using touch-screen hover events
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR102157078B1 (ko) * 2013-06-27 2020-09-17 삼성전자 주식회사 휴대 단말기에서 전자문서 작성 방법 및 장치
US20160246383A1 (en) * 2013-10-31 2016-08-25 Huawei Technologies Co., Ltd. Floating or mid-air operation processing method and apparatus
US9182904B2 (en) * 2013-11-11 2015-11-10 Lenovo (Singapore) Pte. Ltd. Cues based on location and context for touch interface
JP5941896B2 (ja) * 2013-11-26 2016-06-29 京セラドキュメントソリューションズ株式会社 操作表示装置
CN103677408A (zh) * 2013-11-27 2014-03-26 广东明创软件科技有限公司 防止误触摸的方法及其移动终端
US10719132B2 (en) * 2014-06-19 2020-07-21 Samsung Electronics Co., Ltd. Device and method of controlling device
JP6303864B2 (ja) * 2014-06-26 2018-04-04 船井電機株式会社 情報処理装置及び表示制御方法
JP6051183B2 (ja) * 2014-08-19 2016-12-27 京セラドキュメントソリューションズ株式会社 表示制御装置及び電子機器
WO2016043720A1 (en) * 2014-09-16 2016-03-24 Hewlett-Packard Development Company, L.P. Generate touch input signature for discrete cursor movement
WO2016063258A1 (en) 2014-10-24 2016-04-28 Realitygate (Pty) Ltd Target-directed movement in a user interface
KR102380228B1 (ko) * 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
CN105278668A (zh) * 2014-12-16 2016-01-27 维沃移动通信有限公司 移动终端的控制方法及移动终端
JP5993072B1 (ja) 2015-08-27 2016-09-14 レノボ・シンガポール・プライベート・リミテッド 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
USD854557S1 (en) * 2015-10-02 2019-07-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP2017068797A (ja) * 2015-10-02 2017-04-06 富士通株式会社 入力支援システム、及び、電子機器
US10719289B2 (en) * 2015-11-05 2020-07-21 Topcon Positioning Systems, Inc. Monitoring and control display system and method using multiple displays in a work environment
US10345988B2 (en) 2016-03-16 2019-07-09 International Business Machines Corporation Cursor and cursor-hover based on user state or sentiment analysis
KR102547115B1 (ko) 2016-06-03 2023-06-23 삼성전자주식회사 어플리케이션을 전환하기 위한 방법 및 그 전자 장치
US11250201B2 (en) * 2016-06-14 2022-02-15 Amazon Technologies, Inc. Methods and devices for providing optimal viewing displays
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10318034B1 (en) * 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
US10795450B2 (en) 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
JP2021176049A (ja) * 2020-05-01 2021-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び情報処理方法
CN114449356A (zh) * 2020-11-02 2022-05-06 青岛海尔多媒体有限公司 用于显示操作区域的方法、装置及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2420784C2 (ru) * 2004-11-23 2011-06-10 Майкрософт Корпорейшн Снижение случайной активизации сенсорного устройства

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
JP2004038407A (ja) * 2002-07-01 2004-02-05 Arcadia:Kk 文字入力装置およびその方法
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
CN100437451C (zh) * 2004-06-29 2008-11-26 皇家飞利浦电子股份有限公司 用于防止弄脏显示设备的方法与设备
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7728825B2 (en) 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US8009146B2 (en) * 2007-06-28 2011-08-30 Nokia Corporation Method, apparatus and computer program product for facilitating data entry via a touchscreen
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090109243A1 (en) * 2007-10-25 2009-04-30 Nokia Corporation Apparatus and method for zooming objects on a display
US20090207139A1 (en) 2008-02-18 2009-08-20 Nokia Corporation Apparatus, method and computer program product for manipulating a reference designator listing
CN101533320B (zh) * 2008-03-10 2012-04-25 神基科技股份有限公司 触控显示装置区域影像的近接放大显示方法及其装置
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
KR100984230B1 (ko) * 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
US8723811B2 (en) 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
US9030418B2 (en) * 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US8443302B2 (en) 2008-07-01 2013-05-14 Honeywell International Inc. Systems and methods of touchless interaction
US9372590B2 (en) * 2008-09-26 2016-06-21 Microsoft Technology Licensing, Llc Magnifier panning interface for natural input devices
EP2175354A1 (en) * 2008-10-07 2010-04-14 Research In Motion Limited Portable electronic device and method of controlling same
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP2010128685A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 電子機器
KR101542495B1 (ko) * 2008-12-02 2015-08-06 엘지전자 주식회사 이동 단말기의 정보 표시 방법 및 그 장치
KR101558211B1 (ko) * 2009-02-19 2015-10-07 엘지전자 주식회사 문자 입력을 위한 유저 인터페이스 방법과 이를 이용한 이동 단말기
JP2011028524A (ja) * 2009-07-24 2011-02-10 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法
KR101442931B1 (ko) * 2009-09-02 2014-09-23 닛본 덴끼 가부시끼가이샤 표시장치
JP2011141753A (ja) 2010-01-07 2011-07-21 Sony Corp 表示制御装置、表示制御方法及び表示制御プログラム
JP5424049B2 (ja) * 2010-03-31 2014-02-26 アイシン・エィ・ダブリュ株式会社 地図表示装置、及び、プログラム
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
JP5569271B2 (ja) * 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012064075A (ja) * 2010-09-17 2012-03-29 Funai Electric Co Ltd 文字入力装置
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
CN102043584A (zh) * 2010-12-07 2011-05-04 中兴通讯股份有限公司 一种应用于数字终端的输入方法及装置
US20120169776A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Method and apparatus for controlling a zoom function
CN102073454A (zh) * 2011-01-13 2011-05-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及触摸屏的输入控制方法
US9285950B2 (en) * 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
CN102253749A (zh) * 2011-07-18 2011-11-23 华为终端有限公司 触摸屏及其输入控制方法
EP2624116B1 (en) * 2012-02-03 2017-09-06 EchoStar Technologies L.L.C. Display zoom controlled by proximity detection
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2420784C2 (ru) * 2004-11-23 2011-06-10 Майкрософт Корпорейшн Снижение случайной активизации сенсорного устройства

Also Published As

Publication number Publication date
EP2825950A1 (en) 2015-01-21
KR101720849B1 (ko) 2017-03-28
US8654076B2 (en) 2014-02-18
PL2825950T3 (pl) 2017-06-30
EP2825950B1 (en) 2016-11-09
JP5970086B2 (ja) 2016-08-17
JP2015510211A (ja) 2015-04-02
CN104321734A (zh) 2015-01-28
US20130241827A1 (en) 2013-09-19
US20140157201A1 (en) 2014-06-05
KR20140136500A (ko) 2014-11-28
CN109918013A (zh) 2019-06-21
WO2013135972A1 (en) 2013-09-19
RU2014139218A (ru) 2016-05-10

Similar Documents

Publication Publication Date Title
RU2595634C2 (ru) Обработка бесконтактного ввода для сенсорных экранов
US11402968B2 (en) Reduced size user in interface
US12050761B2 (en) Device, method, and graphical user interface for transitioning from low power mode
US12050857B2 (en) Device, method, and graphical user interface for editing screenshot images
US20230152964A1 (en) Keyboard management user interfaces
US10416800B2 (en) Devices, methods, and graphical user interfaces for adjusting user interface objects
US10606469B2 (en) Device, method, and graphical user interface for managing multiple display windows
US9207837B2 (en) Method, apparatus and computer program product for providing multiple levels of interaction with a program
US12015732B2 (en) Device, method, and graphical user interface for updating a background for home and wake screen user interfaces
US20230065161A1 (en) Device, Method, and Graphical User Interface for Handling Data Encoded in Machine-Readable Format
US20170046058A1 (en) Devices, Methods, and Graphical User Interfaces for Adjusting User Interface Objects
US12026364B2 (en) Systems and methods for interacting with user interfaces
US20130155112A1 (en) Method, apparatus and computer program product for graphically transitioning between multiple program interface levels of a program
US20240264737A1 (en) Systems and Methods for Interacting with User Interfaces
US20240302954A1 (en) Device, Method, and Graphical User Interface for Switching Between User Interfaces