RU2596994C2 - Пользовательский интерфейс с тактильной обратной связью - Google Patents

Пользовательский интерфейс с тактильной обратной связью Download PDF

Info

Publication number
RU2596994C2
RU2596994C2 RU2013126438/08A RU2013126438A RU2596994C2 RU 2596994 C2 RU2596994 C2 RU 2596994C2 RU 2013126438/08 A RU2013126438/08 A RU 2013126438/08A RU 2013126438 A RU2013126438 A RU 2013126438A RU 2596994 C2 RU2596994 C2 RU 2596994C2
Authority
RU
Russia
Prior art keywords
actuators
user interface
tactile sensation
interaction surface
directed
Prior art date
Application number
RU2013126438/08A
Other languages
English (en)
Other versions
RU2013126438A (ru
Inventor
Марк Томас ДЖОНСОН
Бартел Маринус ВАН ДЕ СЛЕЙС
Дирк БРОККЕН
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2013126438A publication Critical patent/RU2013126438A/ru
Application granted granted Critical
Publication of RU2596994C2 publication Critical patent/RU2596994C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к пользовательским интерфейсам. Технический результат заключается в обеспечении направленного тактильного ощущения, которое указывает в направлении определенного места на поверхности взаимодействия. Пользовательский интерфейс содержит осязательную поверхность взаимодействия с решеткой исполнительных механизмов для обеспечения тактильной обратной связи, контроллер для согласованного управления исполнительными механизмами таким образом, чтобы они обеспечивали направленное тактильное ощущение. 3 н. и 12 з.п. ф-лы, 9 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к пользовательскому интерфейсу с исполнительными механизмами для обеспечения тактильной обратной связи. Кроме того, оно относится к устройству, содержащему такой пользовательский интерфейс, и к способу для обеспечения тактильной обратной связи.
УРОВЕНЬ ТЕХНИКИ
В US 2010/0231508 A1 раскрыто устройство (например, мобильный телефон), которое содержит исполнительные механизмы для обеспечения тактильной обратной связи пользователю. Таким образом, устройство отображения устройства может, например, быть снабжено осязательным внешним видом, который напоминает реальную текстуру объекта, изображенного на упомянутом устройстве отображения.
В US 2008/252607 A1 раскрыто чувствительное к касанию устройство отображения, которое создает тактильное ощущение и перемещение объекта по его поверхности. Таким образом, например, можно передвигать шахматные фигуры на отображаемой шахматной доске или обеспечивать пользователю ощущение ряби в ответ на прикосновение к отображаемому озеру.
US 2008/136786 A1 относится к устройству отображения с вводом касанием, на котором объекты могут перекомпоновываться пользователем. С помощью оценки усилия и сдвига, оказываемых пользователем на кнопку, определяется, хочет ли пользователь привести в действие кнопку или сдвинуть ее. В последнем случае объект удаляется и вновь генерируется в другом положении устройства отображения.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Исходя из уровня техники, целью изобретения является обеспечение средства для дополнительного улучшения взаимодействия между пользователем и устройством.
Данная цель достигается с помощью пользовательского интерфейса по п.1, способа по п.15 и устройства по п.14. Предпочтительные варианты осуществления раскрыты в зависимых пунктах формулы изобретения.
В соответствии со своим первым аспектом изобретение относится к пользовательскому интерфейсу, т.е. к устройству, которое посредствует взаимодействию между людьми и машиной. Например, пользовательский интерфейс может позволять пользователю вводить информацию и/или команды в устройство, либо устройство может выводить информацию с помощью пользовательского интерфейса. Пользовательский интерфейс в соответствии с изобретением содержит следующие компоненты:
a) Поверхность, к которой пользователь может прикасаться и с помощью которой может происходить взаимодействие между пользователем и пользовательским интерфейсом. В связи с этим упомянутая поверхность будет далее называться «поверхностью взаимодействия». К поверхности взаимодействия, как правило, можно прикасаться любым произвольным образом, например, с помощью инструмента, оперируемого пользователем. Предпочтительнее всего поверхность взаимодействия адаптирована под прикосновение одним или более пальцами пользователя.
b) Решетку исполнительных механизмов, которая размещается в вышеупомянутой поверхности взаимодействия для обеспечения тактильной обратной связи пользователю. Термин «исполнительный механизм», как обычно, означает элемент, блок или устройство, которое может активно и механически взаимодействовать со своим окружением, например, посредством движения (например, сдвига, изгиба, сжатия, расширения и т.д.) и/или создания усилия. Исполнительные механизмы в контексте изобретения, как правило, являются небольшими, занимая, например, площадь менее приблизительно 10×10 мм2, предпочтительно - менее приблизительно 1×1 мм2 в поверхности взаимодействия. Кроме того, термин «решетка», как правило, означает любую регулярную или нерегулярную пространственную компоновку элементов. В контексте изобретения решетка обычно содержит регулярную одно- или двухмерную компоновку исполнительных механизмов, например матричную компоновку.
c) Контроллер, который способен согласовано активировать (все или, по меньшей мере, часть) исполнительные механизмы таким образом, что они генерируют направленное тактильное ощущение у пользователя, прикасающегося к ним. Контроллер может быть, например, реализован в специализированном электронном аппаратном обеспечении, аппаратном обеспечении цифровой обработки данных со связанным программным обеспечением или в совокупности перечисленного.
По определению «направленное тактильное ощущение» представляет собой тактильное ощущение, по которому люди могут устанавливать пространственное направление (усреднение по множеству людей может дать определение упомянутого показателя направления). Направление, ощущаемое (типичным) человеком, обычно генерируется за счет некоторого анизотропного действия исполнительных механизмов, например согласованного перемещения в упомянутом направлении. В быту «направленное тактильное ощущение» обычно генерируется за счет относительного перемещения между объектом и касающимся к нему человеком (например, в случае, когда человек прикасается к вращающемуся диску). Решетка исполнительных механизмов, которая остается закрепленной на своем месте относительно прикасающегося к ней пользователя, может генерировать направленное тактильное ощущение, например, посредством сдвига точки контакта между пользователем и решеткой таким образом, что перемещение точки контакта ощущается пользователем как перемещение (воображаемого) объекта.
В соответствии со вторым аспектом изобретение относится к способу обеспечения тактильной обратной связи пользователю, касающемуся поверхности взаимодействия, которая оснащена решеткой исполнительных механизмов. Данный способ содержит согласованное активирование исполнительных механизмов упомянутой решетки таким образом, что они генерируют направленное тактильное ощущение.
Данный способ содержит в общем виде этапы, которые могут исполняться с пользовательским интерфейсом описанного выше типа. Поэтому для получения дополнительной информации о деталях этого способа дается ссылка на вышеприведенное описание.
Преимущество описанных выше пользовательского интерфейса и способа состоит в том, что для генерирования направленного тактильного ощущения используется решетка исполнительных механизмов в поверхности взаимодействия. Как будет объяснено подробнее применительно к предпочтительным вариантам осуществления изобретения, такая направленная обратная связь может выгодно использоваться для обеспечения пользователю дополнительной информации при взаимодействии его с пользовательским интерфейсом и/или для обеспечения пользователю более реалистичной/естественной обратной связи.
Предпочтительные варианты осуществления изобретения, которые будут описываться ниже, применимы как к пользовательскому интерфейсу, так и к способу, описанным выше.
В соответствии с первым предпочтительным вариантом осуществления поверхность взаимодействия выполнена с возможностью определения положения и/или возможного перемещения по меньшей мере одной точки касания, в которой к ней прикасается пользователь. Такое определение может достигаться с помощью подходящих средств, например с помощью кнопок, которые нажимаются механически. Предпочтительнее всего определение осуществляется без перемещения механических компонентов в соответствии с различными принципами и технологиями, известными по воспринимающим касание (сенсорным) экранам и воспринимающим касание панелям. Эти способы содержат, например, резистивные, емкостные, акустические или оптические измерения, с помощью которых может определяться положение точки касания.
Определение точки касания и/или ее перемещения может использоваться для ввода информации. Например, положение точки касания может соответствовать некоторому знаку, символу или команде (как на клавиатуре). Либо перемещение точки касания может использоваться, чтобы инициировать соответствующее перемещение некоторого отображаемого изображения, (виртуального) ползункового регулятора, операции прокрутки в меню и т.д.
В соответствии с дополнительным усовершенствованием первого предпочтительного варианта осуществления только исполнительные механизмы, расположенные в области, которая зависит от положения и/или перемещения по меньшей мере одной точки касания, активируются для обеспечения направленного тактильного ощущения. Как правило, не все исполнительные механизмы всей решетки исполнительных механизмов необходимы для (и способны) обеспечения тактильной обратной связи пользователю, а только те, с которым в данный момент осуществил контакт пользователь. Эта группа релевантных исполнительных механизмов может быть определена в зависимости от положения по меньшей мере одной точки касания. Возможное перемещение текущей точки касания может использоваться для прогноза области на поверхности взаимодействия, к которой будет осуществляться следующее прикосновение, позволяя оптимально отслеживать точку (точки) касания области (областей) активированных исполнительных механизмов.
В соответствии с еще одним усовершенствованием первого предпочтительного варианта осуществления направление направленного тактильного ощущения зависит от положения и/или возможного перемещения по меньшей мере одной точки касания. Когда перемещение точки касания, например, используется для сдвига изображения, отображаемого на поверхности взаимодействия, направленное тактильное ощущение может быть таким, что оно имитирует трение, которое генерировал бы реальный объект при соответствующем сдвиге.
В другом варианте осуществления изобретения направленное тактильное ощущение направлено в определенное место на поверхности взаимодействия. Определенное место может быть постоянным или может необязательно зависеть от некоторого внутреннего состояния пользовательского интерфейса или связанного устройства.
Например, вышеуказанное «определенное место» может соответствовать неподвижному положению некоторой (виртуальной) клавиши или кнопки управления на поверхности взаимодействия. При прикосновении пользователя к поверхности взаимодействия за пределами этого положения направленное тактильное ощущение может вести пользователя к клавише или кнопке управления. В другом примере направленное тактильное ощущение может использоваться для указания направления, в котором некоторая (виртуальная) клавиша или кнопка управления либо бегунок должен быть повернут или перемещен для достижения необходимого результата, например, с целью уменьшения громкости музыкального проигрывателя. Примерным случаем изменяющегося во времени «определенного места» является последнее установленное положение (виртуального) ползункового регулятора, например, в регуляторе громкости музыкального проигрывателя, интенсивность света лампы с регулируемой яркостью и т.д. Описанные процедуры ведения пользователя особенно полезны в случае, когда пользователь выполняет операции с пользовательским интерфейсом вслепую.
В другом варианте осуществления изобретения направленное тактильное ощущение направлено радиально внутрь или радиально наружу по отношению к некоторому определенному центру, например, по отношению к центру поверхности взаимодействия или по отношению к точке касания, в которой пользователь прикасается к поверхности взаимодействия. Такое радиальное тактильное ощущение может, в частности, использоваться для указания операций, которые относятся к сжатию или расширению некоторого объекта, и может также использоваться для предположения (виртуальных) внеплоскостных взаимодействий.
Поверхность взаимодействия может предпочтительно располагаться над некоторым устройством отображения изображений для динамического представления картинок, графики, текста и т.п. Устройство отображения может использоваться для обеспечения пользователю дополнительной визуальной информации, для статического или динамического отображения управляющих кнопок, клавиш, бегунков, колес и т.д., для обеспечения визуальной обратной связи об операциях ввода и т.п.
В соответствии с дополнительным усовершенствованием вышеупомянутого варианта осуществления направленное тактильное ощущение, генерируемое исполнительными механизмами, согласовано с изображением и/или последовательностью изображений, которое/которые показано(ы) на устройстве отображения. Если на изображении отображается, например, кнопка в некотором положении на поверхности взаимодействия, направление тактильного ощущения может быть ориентировано по направлению к этому положению. В другом примере последовательность изображений может показывать перемещение некоторого (воображаемого) объекта по поверхности взаимодействия, и направленное тактильное ощущение может соответствовать ощущению трения, которое передавал бы реальный объект, движущийся в этом направлении. Еще в одном примере направленное тактильное ощущение может вести пользователя к предпочтительным предустановкам или по направлению к настройке, которую система рекомендует как наиболее релевантную в текущей ситуации.
Еще в одном усовершенствовании данного варианта осуществления с устройством отображения направленное тактильное ощущение согласовано с расширением или сжатием отображаемого изображения. Таким образом, увеличение или уменьшение изображения может, например, сопровождаться соответствующим реалистичным ощущением (трения). Когда пользователь инициирует такое увеличение или уменьшение, например, согласованным перемещением двух или более пальцев, направление, передаваемое с помощью тактильного ощущения на эти пальцы, может соответствовать двум силам, возникающим при соответствующем растяжении (увеличении) или сжатии (уменьшении) реального объекта.
Исполнительные механизмы, которые генерируют направленное тактильное ощущение, могут быть реализованы с помощью подходящей технологии. Предпочтительнее всего исполнительные механизмы могут содержать электроактивный материал, в котором изменения конфигурации могут быть вызваны электрическим полем. Особенно важным примером таких материалов являются электроактивные полимеры (EAP), предпочтительно из диэлектрического электроактивного полимера, который изменяет свою геометрическую форму во внешнем электрическом поле. Примеры EAP приведены в литературе (например, Bar-Cohen, Y. «Электроактивные полимеры в качестве искусственных мышц: реальность, возможности и проблемы», SPIE Press, 2004; Koo I.M. и др. «Разработка основанного на мягких исполнительных механизмах носимого тактильного устройства отображения», IEEE Transactions on Robotics, 2008, 24(3): с. 549-558; Prahlad, H. и др. «Программируемая деформация поверхности: исполнительные механизмы на основе электроактивных полимеров с колебаниями по толщине и их применения», в «Диэлектрические эластомеры в качестве электромеханических преобразователей; основы, материалы, устройства, модели и применения новейшей технологии электроактивных полимеров», F. Capri и др. Редакция. 2008, Эльзевир, с. 227-238; US-2008 0289952 A; все документы включены в настоящую заявку посредством ссылки).
Направленное тактильное ощущение может необязательно генерироваться ступенчатым активированием исполнительных механизмов. Для ступенчатого активирования необходимо, чтобы имелись по меньшей мере три степени или состояния активности соответствующих исполнительных механизмов (т.е. не только состояния включено/выключено) и чтобы эти степени/состояния использовались для генерирования направленного тактильного ощущения. Степень активирования может, например, изменяться (увеличиваться или уменьшаться) монотонно в одном направлении, посредством этого выделяя данное направление. Если степень активирования коррелирует, например, с внеплоскостной высотой, на которую поднимается активатор, ступенчатое активирование может использоваться для создания области на поверхности взаимодействия, которая наклонена в определенном направлении. В целом, использование различных степеней активирования имеет преимущество, состоящее в том, что информация о направлении может быть представлена с использованием статической характеристики активирования.
В соответствии с другим вариантом осуществления изобретения исполнительные механизмы могут активироваться для изменения (регулирования) трения между объектом, касающимся поверхности взаимодействия, и упомянутой поверхностью взаимодействия. Активирование исполнительных механизмов может, например, генерировать дополнительное сопротивление относительно перемещения объекта, касающегося поверхности взаимодействия. Если генерируемое трение является анизотропным, оно может использоваться для передачи направленного тактильного ощущения, отличающего, например, одно направление с помощью минимального трения от относительного перемещения. Сопротивление или трение может, например, генерироваться или корректироваться путем изменения гладкости поверхности взаимодействия.
Необязательно способ генерирования анизотропного трения содержит реализацию структур на поверхности взаимодействия, которые приводят к различным неровностям поверхности в различных направлениях. Структура из параллельных линий может, например, демонстрировать высокое трение в ортогональном направлении и низкое трение в осевом направлении. Другой необязательный способ генерирования анизотропного трения может включать в себя переход между двумя областями с различной неровностью, который реализуется в точке касания. Движущийся палец будет при этом испытывать большую или меньшую неровность (и получающееся в результате различное трение) в зависимости от направления его перемещения.
Изобретение дополнительно относится к устройству, содержащему пользовательский интерфейс вышеописанного типа. Данное устройство может, в частности, являться мобильным телефоном, пультом дистанционного управления, игровой консолью или регулятором освещенности, с помощью которого может регулироваться интенсивность и/или цвет ламп.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения станут понятными и будут разъяснены со ссылкой (ссылками) на вариант (варианты) осуществления, описанные ниже по тексту. Эти варианты осуществления будут описаны в качестве примера с помощью прилагаемых чертежей, на которых:
фиг. 1 показывает схематичное сечение пользовательского интерфейса в соответствии с изобретением;
фиг. 2 иллюстрирует генерирование направленного тактильного ощущения в конкретном месте;
фиг. 3 иллюстрирует генерирование направленного тактильного ощущения путем перемещения структуры активности в точке касания, которое направлено в определенное место;
фиг. 4 иллюстрирует генерирование направленного тактильного ощущения путем ступенчатого активирования исполнительных механизмов;
фиг. 5 иллюстрирует генерирование направленного тактильного ощущения путем определяемой трением обратной связи;
фиг. 6 иллюстрирует генерирование направленного тактильного ощущения в двух точках касания;
фиг. 7 иллюстрирует направленное радиально внутрь тактильное ощущение на решетке исполнительных механизмов;
фиг. 8 показывает вид сверху одномерной решетки исполнительных механизмов на основе EAP;
фиг. 9 показывает вид сверху двумерной решетки исполнительных механизмов на основе EAP.
Одинаковые ссылочные позиции или числа, отличающиеся на целое число, кратное 100, относятся на данных чертежах к одинаковым или подобным компонентам.
ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Одним из ключевых требований к реконфигурируемым пользовательским интерфейсам (UI) на устройствах с UI на базе устройств отображения является возможность правильного и точного оперирования пальцами на поверхности взаимодействия. Кроме того, внедрение принципов UI для нескольких пальцев (например, возможностей масштабирования и растягивания) делает точное взаимодействие с пользователем еще более проблематичным.
Из исследований пользователей известно, что многие люди имеют пониженный уровень «ощущения управления» при выполнении операций с чувствительными к прикосновению элементами UI или воспринимающими касание экранами из-за недостаточной тактильной обратной связи. Было доказано, что такое недостаточное «ощущение управления» приводит к большему количеству ошибок пользователей во время выполнения операций. Кроме того, невозможно выполнять операции с воспринимающими касание экранами, не глядя на них, что является недостатком, поскольку выполнение операций с многими пользовательскими интерфейсами (регуляторами освещенности, мобильными медиа проигрывателями, пультами дистанционного управления телевизорами и т.д.) предпочтительно осуществляется вслепую.
С учетом вышеуказанных соображений предлагается тактильный пользовательский интерфейс, обладающий возможностями наведения (пальцем) и растягивания. Тактильная поверхность может, например, быть выполнена с возможностью создания динамически регулируемого профиля поверхности в форме «бугорка», который распространяется по (2-мерной) поверхности как волна. Распространяющаяся волна используется либо для наведения пальца на точку на поверхности, растягивания множества пальцев по поверхности либо в качестве альтернативы для обеспечения «фрикционного сопротивления» перемещению пальца по поверхности. Две или более распространяющихся волн, удаляющихся от положения пальца, могут использоваться для создания ощущения «проваливания в» или «увеличения» на некотором участке или передвижения на один уровень ниже (например, при навигации по иерархическому меню или структуре папок либо в том случае, когда бегунок, управляющий конкретным параметром в пользовательском интерфейсе, переключается в режим тонкой настройки). Аналогичным образом волны, двигающиеся к пальцу, могут использоваться для создания противоположного эффекта, создавая ощущение передвижения вверх или назад либо уменьшения.
На фиг. 1 схематически показан вид в разрезе пользовательского интерфейса 100, выполненного в соответствии с вышеописанными общими принципами. Пользовательский интерфейс 100 включает в себя носитель или подложку 110, которая, в частности, может быть выполнена в виде или может содержать устройство отображения изображений (например, жидкокристаллическое устройство отображения (LED), устройство отображения на (органических) светодиодах ((O)LED) и т.д.). Подложка/устройство отображения 110 содержит на своей верхней стороне решетку 120 отдельных исполнительных механизмов 120a,... 120k,... 120z, которая проходит (по меньшей мере) в одном направлении (направлении х в соответствии с показанной системой координат). Решетка 120 составляет поверхность S взаимодействия, к которой пользователь может прикасаться своими пальцами.
Исполнительные механизмы решетки 120 могут, в частности, быть выполнены в виде или могут содержать электроактивный полимер (EAP), предпочтительно диэлектрический электроактивный полимер, который изменяет свою геометрическую форму во внешнем электрическом поле (иначе называемый «искусственными мышцами»). Эти исполнительные механизмы обеспечивают трансформацию поверхности из стопки полимерных слоев, которая должным образом структурируется с помощью прямой электростимуляции. Для осуществления этого предлагались различные настройки исполнительных механизмов, приводящие к передвижению вверх (Koo, Jung и др. «Разработка основанного на мягких исполнительных механизмах носимого тактильного устройства отображения», IEEE Trans. Robotics, том 24, № 3 (июнь 2008 г.), с. 549-558) или вниз (Prahlad H. и др. «Программируемая деформация поверхности: исполнительные механизмы на основе электроактивных полимеров с колебаниями по толщине и их применения», в «Диэлектрические эластомеры в качестве электромеханических преобразователей; основы, материалы, устройства, модели и применения новейшей технологии электроактивных полимеров», F.Capri и др. Редакция. 2008, Эльзевир, с. 227-238). Это обеспечивает очень большую свободу для форм, которые должны быть приведены в действие, поскольку структурированный электрод определяет, какая часть поверхности перемещается «вне плоскости». Это позволяет создавать очень гибкое «тактильное» устройство отображения, которое обеспечивает создание тактильных ощущений как «в плоскости», так и «вне плоскости» с помощью «внеплоскостного» перемещения исполнительных механизмов поверхности. Это также обеспечивает комбинированное восприятие (касания) и приведение в действие касанием от одного и того же поверхностного слоя. Ниже приведены некоторые характеристики типичных диэлектрических электроактивных полимеров:
- внеплоскостные смещения >0,5 мм;
- частоты переключения свыше 1000 Гц;
- жесткие, «твердотельные» слои резины;
- типичная толщина исполнительного механизма 100 мкм - 2 мм;
- возможно комбинированное восприятие и приведение в действие;
- возможность производства продукции «roll2roll» из простых, дешевых основных материалов (полимеров, угольного порошка).
Исполнительные механизмы 120a,... 120k,... 120z могут индивидуально приводиться в действие с помощью контроллера 130. При электрическом активировании исполнительный механизм 120k решетки 120 выполняет внеплоскостное перемещение в направлении z. Благодаря таким перемещениям отдельных исполнительных механизмов может обеспечиваться тактильная обратная связь пользователю, касающемуся поверхности S взаимодействия.
Как показано на фиг. 1, активирование одного или более исполнительных механизмов 120k в конкретном месте на поверхности S взаимодействия может использоваться для тактильного указания некоторого значения v0 на (виртуальной) шкале значений V, варьирующихся от минимума (MIN) до максимума (MAX). Указанное значение v0 может, например, соответствовать установленной в данный момент громкости музыкального проигрывателя.
На фиг. 2 показаны соседние исполнительные механизмы в положении вышеупомянутого значения v0 в три последовательных момента времени. Три исполнительных механизма 120j, 120k, 120l активируются повторно один за другим. Благодаря сдвигу точки действия указанным образом генерируется направленное тактильное ощущение в коже пользователя (не показан), прикасающегося к исполнительным механизмам, что напоминает перемещение реального объекта в направлении, указанном изогнутой стрелкой. В показанном примере направленное тактильное ощущение направлено в сторону уменьшенных значений V, в то время как положение активных исполнительных механизмов 120j, 120k, 120l соответствует месту установленного в данный момент значения v0.
Изображенная на фиг. 2 схема работы может быть изменена различными способами. Пространственный период волны активирования может, например, простираться на большие расстояния, чем показанные три исполнительных механизма, либо внеплоскостное возвышение в поверхности S взаимодействия может генерироваться с помощью одновременной активности более чем одного исполнительного механизма.
Фиг. 3 иллюстрирует другой режим работы пользовательского интерфейса 100. В отличие от предыдущих вариантов осуществления для данного режима необходимо, чтобы точка Р касания, в которой палец F пользователя прикасается к поверхности S взаимодействия, могла определяться с помощью контроллера 130. Такое определение может осуществляться с помощью любой технологии, известной по воспринимающим касание экранам. Кроме того, сами исполнительные механизмы на основе EAP решетки 120 могут быть обеспечены возможностями восприятия, позволяющими обнаруживать действующее на них давление.
В изображенном на фиг. 3 применении активируются только исполнительные механизмы в области точки Р касания, поскольку только они фактически вносят вклад в тактильную обратную связь. В показанном примере эти исполнительные механизмы приводятся в действие (например, показанным на фиг. 2 способом) для обеспечения направленного тактильного ощущения, которое направлено в сторону определенного места на поверхности S взаимодействия, а именно на (виртуальное) положение установленного значения v0, как объяснялось на фиг. 1.
Фиг. 4 иллюстрирует другой принцип, с помощью которого направленное тактильное ощущение может передаваться в точке Р (согласно чертежу) касания или в любом другом местоположении в поверхности S взаимодействия. В данном варианте осуществления ступенчатое активирование исполнительных механизмов означает, что высота действия/исполнительного механизма (в направлении z) для задействованных исполнительных механизмов изменяется, создавая форму поверхности, которая включает в себя значительный угол α в поверхности. Даже в случае отсутствия относительного перемещения между касающимся элементом F и поверхностью S взаимодействия это приводит к направленной направляющей силе за счет поверхностной тангенциальной составляющей силы, возникающей в результате скоса.
Фиг. 5 иллюстрирует еще один способ генерирования направленного тактильного ощущения в точке касания (согласно чертежу) или в любом другом месте в поверхности S взаимодействия. В этом подходе генерируется сопротивление или трение от перемещения пальца F, прикасающегося к поверхности S взаимодействия. Сделав упомянутое сопротивление анизотропным, можно выделить требуемое направление. В показанном примере поверхностное трение изменяется от высокого/шероховатого до низкого/гладкого в точке Р касания, если смотреть в требуемом направлении (изогнутая стрелка). Поэтому для пальца F движение в «правильном» направлении будет легче, чем движение в «неправильном» направлении, поскольку последнее движение сопровождается некоторым сопротивлением.
В этом контексте следует отметить, что на приведенном на фиг. 5 схематическом изображении «высокое трение» иллюстрируется шероховатой поверхностью. При рассмотрении трения относительно кожи такое соотношение между шероховатостью поверхности и трением (т.е. «более высокая шероховатость означает большее трение») в действительности справедливо лишь для шероховатости 90 мкм и более. Однако для многих более твердых конструкционных материалов и небольшой шероховатости (<10 мкм) данный эффект изменяется на противоположный («более высокая шероховатость означает меньшее трение») ввиду эффектов контактной зоны. В зависимости от размера исполнительных механизмов и/или характерного размера их структур активирования увеличение трения в этой связи потребует либо высокой, либо низкой шероховатости поверхности.
Кроме того, анизотропное трение в качестве альтернативы может быть реализовано с помощью соответствующей (анизотропной) трехмерной структуры на поверхности взаимодействия, создающей различную шероховатость поверхности в различных направлениях. Например, на поверхности взаимодействия может быть сгенерирована структура из линий или гребней с помощью соответствующего активирования исполнительных механизмов таким образом, чтобы направление, перпендикулярное линиям, имело более высокую шероховатость (и эффект трения), чем направление, параллельное линиям.
На фиг. 6 показан еще один режим работы пользовательского интерфейса 100. И в этом случае для данного режима необходимо, чтобы точки Р1 и Р2 касания двух (или более) пальцев F1, F2 пользователя могли определяться с помощью контроллера 130. Ввод несколькими пальцами может, например, использоваться для интуитивного увеличения или уменьшения изображения, показанного на устройстве 110 отображения, путем растягивания или сжатия упомянутого изображения. На фиг. 6 показан в этой связи конкретный пример команды «увеличения», для которой два пальца F1 и F2 удаляются друг от друга в противоположных направлениях. Направленные тактильные ощущения, которые генерируются в токах касания Р1, Р2 пальцев, соответствуют в этом случае предпочтительно тактильному ощущению, которое передавал бы реальный объект при его растягивании. Как указано изогнутыми стрелками, это направленное тактильное ощущение направлено параллельно перемещению пальцев для имитации синхронного перемещения нижележащего объекта.
На фиг. 7 показан вид сверху двумерной поверхности S взаимодействия пользовательского интерфейса 200. Создается направленное тактильное ощущение, которое направлено радиально внутрь относительно точки касания пальца F (или относительно какого-либо иного центра на поверхности S). Таким образом, можно имитировать перемещения со сжатием нижележащего изображения. При изменении направления тактильного ощущения на обратное генерируется ощущение, направленное радиально наружу, которое может имитировать расширение нижележащего изображения.
Основной функциональностью вышеописанного пользовательского интерфейса 100 с тактильной обратной связью является создание динамически регулируемого профиля поверхности в форме «бугорка», который распространяется по (2-мерной) поверхности взаимодействия как волна. В одном варианте осуществления изобретения такой распространяющийся профиль поверхности может быть создан с помощью одномерной решетки 120 электродов, как показано на фиг. 8. Решетка 120 содержит большой верхний электрод ТЕ, который покрывает всю решетку и на котором во время работы, как правило, устанавливается нулевой потенциал. Под упомянутым верхним электродом расположен ряд нижних электродов ВЕ, которые по отдельности соединены с контроллером 130. Посредством установки положительного потенциала на нижнем электроде ВЕ может быть активирован соответствующий исполнительный механизм для осуществления внеплоскостного перемещения. Таким образом, может быть создана волна, которая распространяется по поверхности взаимодействия в положительном или отрицательном направлении х, как требовалось бы, например, для реконфигурируемого UI с функциональностью панели регулировки яркости (или 1-D цветовой температуры), причем панели регулировки яркости могут быть выполнены различной длины. Предпочтительно нижние электроды ВЕ имеют вытянутую форму, благодаря чему положение волны вдоль панели регулировки яркости может быть задано более точно.
В другом, более гибком варианте осуществления изобретения распространяющийся профиль поверхности создается с помощью двумерной решетки 220 электродов, как показано на фиг. 9 на виде сверху поверхности S взаимодействия соответствующего пользовательского интерфейса 200. Решетка 220 содержит множество параллельных столбцов нижних электродов ВЕ, которые по отдельности соединены с контроллером 230 и расположены ниже верхнего электрода ТЕ. В такой решетке 220 может быть создана волна, которая распространяется по поверхности во всех направлениях, как требовалось бы, например, для реконфигурируемого UI с функциональностью реконфигурируемого 2-D колеса для цвета (для управления цветом). Предпочтительно нижние электроды ВЕ имеют симметричную форму (например, квадрата, шестиугольника, круга и т.д.), благодаря чему положение волны в любом случайном направлении может быть задано более точно.
Активированный профиль поверхности (т.е. область с тактильным внеплоскостным возвышением) может располагаться на поверхности взаимодействия в соответствии с ожидаемой близостью пальца (например, на концах панели регулировки яркости /цвета).
В другом варианте осуществления изобретения положение активированного профиля поверхности размещается не просто в ожидаемой близости пальца, а динамически размещается в фактическом положении пальца. Положение пальца может устанавливаться с помощью используемой технологии воспринимающего касание экрана, а положение профиля может регулироваться соответствующим образом. В данном варианте осуществления требуется, чтобы тактильный материал мог деформироваться с относительно высокой скоростью.
Еще в одном, предпочтительном варианте осуществления изобретения положение активированного профиля поверхности размещается не просто в измеряемом положении пальца, а динамически размещается в соответствии как с фактическим положением, так и обнаруженным направлением движения пальца. Положение пальца может устанавливаться либо с помощью используемой технологии воспринимающего касание экрана, либо непосредственно по диэлектрическому исполнительному механизму (который также может использоваться в качестве датчика касания), в то время как обнаружение движения осуществляется с помощью устройства обработки, которое реализует алгоритм обнаружения движения на основе зарегистрированных положений пальца в интервале времени перед текущим положением пальца. Положение активированного профиля поверхности регулируется в соответствии как с положением, так и направлением пальца. Данный вариант осуществления особенно полезен в тех ситуациях, в которых принцип UI требует двумерного перемещения пальца, поскольку в этом случае априори неясно, должен ли создаваться профиль поверхности. Это, в частности, имеет место в случае, если нескольким пальцам требуется наведение для «растягивания» части изображения UI на устройстве отображения, например для «увеличения» до более детальной части цветового пространства, как описано выше.
Данное изобретение может, например, применяться:
- Для обеспечения обратной связи «растягивающегося материала» при увеличении участка (например, мультитач). Это может быть увеличением проекции изображения, отображаемого на экране, либо может быть увеличением конкретного параметра, который управляется элементом пользовательского интерфейса, таким как, например, колесо для цвета для управления освещенностью или бегунок. Пользователь будет испытывать обратную связь усилия «в плоскости», которая наводит на мысль о том, что он в действительности растягивает некоторый материал.
- Для генерирования реконфигурируемых пользовательских интерфейсов на устройствах UI на базе устройства отображения для будущих осветительных систем с несколькими источниками света, в которых конфигурация освещения является расширяемой.
- Для установления интенсивностей и цветов света с помощью панелей регулировки яркости и колес для цвета соответственно.
- Для генерирования 2-мерной «панели регулировки яркости» в качестве альтернативы колесу для цвета, например для выбора цвета для осветительных систем.
- Для обеспечения обратной связи по растягиванию во время выбора конкретного элемента или применения из (главного) меню. Это обеспечивает пользователю тактильное ощущение, что он передвигается на один уровень ниже в структуре меню.
Кроме того, изобретение может предпочтительно быть применимо к элементам пользовательского интерфейса на воспринимающих касание экранах, к воспринимающим касание панелям или к иным чувствительным к прикосновению способам ввода, например воспринимающим касание колесом.
Наконец, необходимо отметить, что в настоящей заявке термин «содержащий» не исключает другие элементы или этапы, что использование единственного числа не исключает множества и что одиночный процессор или иной блок может выполнять функции нескольких средств. Изобретение заключается во всех без исключения новых характерных признаках и во всех без исключения совокупностях характерных признаков. Кроме того, ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие ее объем.

Claims (15)

1. Пользовательский интерфейс (100, 200), содержащий:
a) осязательную поверхность (S) взаимодействия;
b) массив (120, 220) исполнительных механизмов (120а, 120j, 120k, 120l, 120z), которые расположены в поверхности взаимодействия для обеспечения тактильной обратной связи; и
c) контроллер (130, 230) для согласованного активирования исполнительных механизмов таким образом, чтобы активированные исполнительные механизмы обеспечивали направленное тактильное ощущение, которое указывает в направлении определенного места на поверхности взаимодействия,
в котором направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l) со степенью активирования, которая монотонно изменяется в одном направлении, и/или
в котором исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.
2. Пользовательский интерфейс (100, 200) по п. 1, отличающийся тем, что поверхность (S) взаимодействия выполнена с возможностью определения положения и/или перемещения по меньшей мере одной точки (Р, P1, Р2) касания, в которой к ней прикасается пользователь.
3. Пользовательский интерфейс (100, 200) по п. 2, отличающийся тем, что только исполнительные механизмы (120j, 120k, 120l) в области, которая зависит от положения и/или перемещения упомянутой по меньшей мере одной точки (Р, P1, Р2) касания, активируются для обеспечения направленного тактильного ощущения.
4. Пользовательский интерфейс (100, 200) по п. 2, отличающийся тем, что направление направленного тактильного ощущения зависит от положения и/или перемещения упомянутой по меньшей мере одной точки (Р, P1, Р2) касания.
5. Пользовательский интерфейс (100, 200) по п. 1, в котором направленное тактильное ощущение направлено к определенному месту на поверхности (S) взаимодействия, упомянутое место соответствует положению и/или направлению перемещения элемента управления.
6. Пользовательский интерфейс (100, 200) по п. 5, отличающийся тем, что направленное тактильное ощущение направлено радиально внутрь или наружу относительно центра.
7. Пользовательский интерфейс (100, 200) по п. 5, отличающийся тем, что поверхность (S) взаимодействия расположена над устройством (110) отображения изображений.
8. Пользовательский интерфейс (100, 200) по п. 7, отличающийся тем, что направленное тактильное ощущение коррелируется с изображением и/или последовательностью изображений, показываемой на устройстве отображения.
9. Пользовательский интерфейс (100, 200) по п. 5, дополнительно содержащий:
d) устройство (110) отображения изображений, которое расположено под поверхностью (S) взаимодействия,
в котором направленное тактильное ощущение коррелируется с увеличением или уменьшением отображаемого изображения.
10. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что исполнительные механизмы (120а, 120j, 120k, 120l, 120z) содержат электроактивный материал, в частности электроактивный полимер.
11. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что направленное тактильное ощущение генерируется с помощью последовательного активирования соседних исполнительных механизмов (120j, 120k, 120l).
12. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l), в частности с помощью степени активирования, которая монотонно изменяется в одном направлении.
13. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.
14. Устройство, содержащее пользовательский интерфейс (100, 200) по любому из пп. 1-13, в частности мобильный телефон, контроллер света, пульт дистанционного управления или игровая консоль.
15. Способ для обеспечения тактильной обратной связи пользователю, касающемуся поверхности (S) взаимодействия, с использованием массива (120, 220) исполнительных механизмов (120а, 120j, 120k, 120l, 120z), упомянутый способ содержит согласованное активирование исполнительных механизмов для генерирования направленного тактильного ощущения, которое указывает в направлении определенного места на поверхности взаимодействия,
в котором направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l) со степенью активирования, которая монотонно изменяется в одном направлении, и/или
в котором исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.
RU2013126438/08A 2010-11-09 2011-11-03 Пользовательский интерфейс с тактильной обратной связью RU2596994C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10190542.0 2010-11-09
EP10190542 2010-11-09
PCT/IB2011/054882 WO2012063165A1 (en) 2010-11-09 2011-11-03 User interface with haptic feedback

Publications (2)

Publication Number Publication Date
RU2013126438A RU2013126438A (ru) 2014-12-20
RU2596994C2 true RU2596994C2 (ru) 2016-09-10

Family

ID=44999839

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013126438/08A RU2596994C2 (ru) 2010-11-09 2011-11-03 Пользовательский интерфейс с тактильной обратной связью

Country Status (8)

Country Link
US (1) US20130215079A1 (ru)
EP (1) EP2638450A1 (ru)
JP (1) JP6203637B2 (ru)
CN (1) CN103180802B (ru)
BR (1) BR112013011300A2 (ru)
RU (1) RU2596994C2 (ru)
TW (1) TW201229854A (ru)
WO (1) WO2012063165A1 (ru)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP6024184B2 (ja) * 2012-04-27 2016-11-09 ソニー株式会社 システム、電子機器、およびプログラム
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US9075438B2 (en) * 2012-07-18 2015-07-07 Htc Corporation Systems and related methods involving stylus tactile feel
EP2701357B1 (en) * 2012-08-20 2017-08-02 Alcatel Lucent A method for establishing an authorized communication between a physical object and a communication device
US9502193B2 (en) 2012-10-30 2016-11-22 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9710069B2 (en) 2012-10-30 2017-07-18 Apple Inc. Flexible printed circuit having flex tails upon which keyboard keycaps are coupled
US9449772B2 (en) 2012-10-30 2016-09-20 Apple Inc. Low-travel key mechanisms using butterfly hinges
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
CN103869960B (zh) * 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
AU2014214872B2 (en) 2013-02-06 2017-05-25 Apple Inc. Input/output device with a dynamically adjustable appearance and function
US9395816B2 (en) 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
KR102094886B1 (ko) * 2013-02-28 2020-03-30 엘지전자 주식회사 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법
JP6231774B2 (ja) * 2013-05-23 2017-11-15 キヤノン株式会社 電子機器およびその制御方法
US9412533B2 (en) 2013-05-27 2016-08-09 Apple Inc. Low travel switch assembly
JP5868903B2 (ja) * 2013-06-28 2016-02-24 京セラドキュメントソリューションズ株式会社 タッチパネル装置、画像形成装置
US9908310B2 (en) 2013-07-10 2018-03-06 Apple Inc. Electronic device with a reduced friction surface
WO2015047606A1 (en) 2013-09-30 2015-04-02 Apple Inc. Keycaps having reduced thickness
KR101787301B1 (ko) 2013-09-30 2017-10-18 애플 인크. 감소된 두께를 가지는 키 캡
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
GB201322623D0 (en) * 2013-12-19 2014-02-05 Wild Jennifer A A user interface
WO2015106804A1 (de) * 2014-01-15 2015-07-23 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur rückmeldung einer eingabe an einen anwender
CN106133650B (zh) * 2014-03-31 2020-07-07 索尼公司 触觉再现设备，信号生成装置，触觉再现系统和触觉再现方法
US20150316986A1 (en) * 2014-05-01 2015-11-05 Samsung Display Co., Ltd. Apparatus and method to realize dynamic haptic feedback on a surface
US10796863B2 (en) 2014-08-15 2020-10-06 Apple Inc. Fabric keyboard
US10082880B1 (en) 2014-08-28 2018-09-25 Apple Inc. System level features of a keyboard
US10192696B2 (en) 2014-09-30 2019-01-29 Apple Inc. Light-emitting assembly for keyboard
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10146310B2 (en) 2015-03-26 2018-12-04 Intel Corporation Haptic user interface control
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
CN205595253U (zh) 2015-05-13 2016-09-21 苹果公司 电子装置、铰接结构和键机构
US9997304B2 (en) 2015-05-13 2018-06-12 Apple Inc. Uniform illumination of keys
CN205959841U (zh) 2015-05-13 2017-02-15 苹果公司 电子设备和键盘组件
EP3295467A1 (en) 2015-05-13 2018-03-21 Apple Inc. Keyboard for electronic device
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9934915B2 (en) 2015-06-10 2018-04-03 Apple Inc. Reduced layer keyboard stack-up
FR3038748B1 (fr) * 2015-07-10 2019-06-07 Physio-Assist Interface utilisateur tactile destinee a un dispositif de stimulation de l'air tracheo-bronchique
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
JP6618734B2 (ja) * 2015-08-28 2019-12-11 株式会社デンソーテン 入力装置および表示装置
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
US9971084B2 (en) 2015-09-28 2018-05-15 Apple Inc. Illumination structure for uniform illumination of keys
CN105487856A (zh) * 2015-11-23 2016-04-13 深圳Tcl数字技术有限公司 移动终端控制显示终端上触屏应用程序的方法及系统
CN115576413A (zh) 2016-07-01 2023-01-06 伟创力有限责任公司 柔性显示器上的局部触觉反馈
US10353485B1 (en) 2016-07-27 2019-07-16 Apple Inc. Multifunction input device with an embedded capacitive sensing layer
US10115544B2 (en) 2016-08-08 2018-10-30 Apple Inc. Singulated keyboard assemblies and methods for assembling a keyboard
US10755877B1 (en) 2016-08-29 2020-08-25 Apple Inc. Keyboard for an electronic device
US9916003B1 (en) * 2016-09-02 2018-03-13 Microsoft Technology Licensing, Llc 3D haptics for interactive computer systems
US11500538B2 (en) 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US10552997B2 (en) 2016-12-22 2020-02-04 Here Global B.V. Data aware interface controls
US10475354B2 (en) * 2017-04-17 2019-11-12 Facebook, Inc. Haptic communication using dominant frequencies in speech signal
FR3065548B1 (fr) * 2017-04-24 2022-02-04 Commissariat Energie Atomique Interface de stimulation tactile par retournement temporel offrant des sensations enrichies
FR3066959B1 (fr) * 2017-05-31 2020-11-06 Dav Procede de generation d'un retour sensitif pour une interface et interface associee
CN117270637A (zh) 2017-07-26 2023-12-22 苹果公司 具有键盘的计算机
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
WO2019140209A1 (en) * 2018-01-12 2019-07-18 President And Fellows Of Harvard College Reconfigurable electrically controlled shape morphing dielectric elastomer device
EP3761880A4 (en) 2018-03-05 2021-11-10 Exo Imaging Inc. DOMINANT THUMB ULTRASONIC IMAGING SYSTEM
EP3620237A1 (en) * 2018-09-10 2020-03-11 Robert Bosch GmbH Haptic feedback actuator, touch screen comprising the same and method for producing a touch screen
FR3092415B1 (fr) * 2019-01-31 2021-03-05 Valeo Comfort & Driving Assistance Procédé de génération d’un retour sensitif pour une interface et interface associée
US10908693B2 (en) * 2019-02-20 2021-02-02 Wuhan Tianma Micro-Electronics Co., Ltd. Tactile presentation device
JP2022002129A (ja) * 2020-03-10 2022-01-06 株式会社村田製作所 触力覚情報提示システム
US11678582B2 (en) * 2020-04-01 2023-06-13 Nokia Technologies Oy Electroactive material-controlled smart surface
DE102020004363A1 (de) 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080136786A1 (en) * 2005-01-14 2008-06-12 Koninklijke Philips Electronics, N.V. Moving Objects Presented By a Touch Input Display Device
US20080252607A1 (en) * 2004-12-01 2008-10-16 Koninklijke Philips Electronics, N.V. Image Display That Moves Physical Objects and Causes Tactile Sensation
US20090250267A1 (en) * 2008-04-02 2009-10-08 Immersion Corp. Method and apparatus for providing multi-point haptic feedback texture systems
US20090280860A1 (en) * 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method
RU2394386C2 (ru) * 2008-04-08 2010-07-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Терминал мобильной связи и способ управления его меню

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3722993B2 (ja) * 1998-07-24 2005-11-30 大日本印刷株式会社 物体の毛並接触感シミュレーション装置
JP2000089895A (ja) * 1998-09-12 2000-03-31 Fuji Xerox Co Ltd 触力覚呈示装置
CN100342422C (zh) * 2000-05-24 2007-10-10 英默森公司 使用电活性聚合物的触觉装置
JP4333019B2 (ja) * 2000-10-25 2009-09-16 ソニー株式会社 携帯電話機および制御方法
JP3888099B2 (ja) * 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
KR20090096559A (ko) * 2001-11-01 2009-09-10 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
PT1665880E (pt) 2003-09-03 2013-02-04 Stanford Res Inst Int Transdutores de polímero electroactivo para deformação de superfícies
US20070145857A1 (en) * 2005-12-28 2007-06-28 Cranfill David B Electronic device with audio and haptic capability
JP4811206B2 (ja) * 2006-09-12 2011-11-09 トヨタ自動車株式会社 入力装置
US20100315345A1 (en) * 2006-09-27 2010-12-16 Nokia Corporation Tactile Touch Screen
KR20080048837A (ko) * 2006-11-29 2008-06-03 삼성전자주식회사 촉각 피드백을 출력하는 장치 및 방법
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
US20090303175A1 (en) * 2008-06-05 2009-12-10 Nokia Corporation Haptic user interface
KR102045165B1 (ko) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) * 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US20100236843A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab Data input device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080252607A1 (en) * 2004-12-01 2008-10-16 Koninklijke Philips Electronics, N.V. Image Display That Moves Physical Objects and Causes Tactile Sensation
US20080136786A1 (en) * 2005-01-14 2008-06-12 Koninklijke Philips Electronics, N.V. Moving Objects Presented By a Touch Input Display Device
US20090250267A1 (en) * 2008-04-02 2009-10-08 Immersion Corp. Method and apparatus for providing multi-point haptic feedback texture systems
RU2394386C2 (ru) * 2008-04-08 2010-07-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Терминал мобильной связи и способ управления его меню
US20090280860A1 (en) * 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method

Also Published As

Publication number Publication date
BR112013011300A2 (pt) 2019-09-24
CN103180802B (zh) 2018-11-09
JP2013541789A (ja) 2013-11-14
WO2012063165A1 (en) 2012-05-18
CN103180802A (zh) 2013-06-26
EP2638450A1 (en) 2013-09-18
RU2013126438A (ru) 2014-12-20
US20130215079A1 (en) 2013-08-22
JP6203637B2 (ja) 2017-09-27
TW201229854A (en) 2012-07-16

Similar Documents

Publication Publication Date Title
RU2596994C2 (ru) Пользовательский интерфейс с тактильной обратной связью
CN105373248B (zh) 触摸面板及其操作方法
JP7153694B2 (ja) 力感知及び触覚フィードバックを伴うキーレスキーボード
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
CN105353877B (zh) 用于摩擦显示和附加触觉效果的系统和方法
US9600070B2 (en) User interface having changeable topography
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
JP5948021B2 (ja) タッチ面用電気振動
CN103838421B (zh) 用于提供用于引导的触觉提示并与静电摩擦校准的方法和设备
KR101952002B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
US9268403B2 (en) Interactivity model for shared feedback on mobile devices
KR20150079472A (ko) 마찰 증강된 제어 및 터치 제어 패널의 버튼을 마찰 증강된 제어로 변환하는 방법
JP2010086471A (ja) 操作感提供装置、および操作感フィードバック方法、並びにプログラム
Sahoo et al. Tablehop: An actuated fabric display using transparent electrodes
JP2015521328A (ja) ディスプレイ装置
KR20110130473A (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
Stevenson et al. An inflatable hemispherical multi-touch display

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20191104