RU2706182C1 - Тактильно коррелированные графические эффекты - Google Patents

Тактильно коррелированные графические эффекты Download PDF

Info

Publication number
RU2706182C1
RU2706182C1 RU2018130517A RU2018130517A RU2706182C1 RU 2706182 C1 RU2706182 C1 RU 2706182C1 RU 2018130517 A RU2018130517 A RU 2018130517A RU 2018130517 A RU2018130517 A RU 2018130517A RU 2706182 C1 RU2706182 C1 RU 2706182C1
Authority
RU
Russia
Prior art keywords
display
time
varying positions
vertex
screen
Prior art date
Application number
RU2018130517A
Other languages
English (en)
Inventor
Энтони МАЦЦОЛА
Original Assignee
Хуавей Текнолоджиз Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хуавей Текнолоджиз Ко., Лтд. filed Critical Хуавей Текнолоджиз Ко., Лтд.
Application granted granted Critical
Publication of RU2706182C1 publication Critical patent/RU2706182C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G06T3/18—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Abstract

Изобретение относится к средствам формирования анимированного искажения на дисплее. Техническим результатом является обеспечение анимированных искажений на дисплее, перемещающихся к пользователю и от пользователя, просматривающего экран, формирующих визуальный волновой эффект. Способ включает в себя разделение дисплея электронного устройства на множество областей, задаваемых вершинами, вычисление изменяющихся во времени положений для каждой вершины относительно измерения z и компоновку экрана для дисплея, который включает в себя изменяющиеся положения для каждой вершины для формирования анимированного искажения на дисплее. При этом изменяющиеся во времени положения изменяются между увеличенными и уменьшенными, формируя искажение на дисплее так, чтобы выглядеть перемещающимися к и от пользователя, просматривающего экран. Причем на этапе вычисления используют синусоидальную функцию поршневого штока, длина которого изменяется со временем, при этом поршень соединен с поршневым штоком, который вращается вокруг оси, заставляя поршень перемещаться вверх и вниз, и положения поршня представляют изменяющиеся во времени положения для каждой вершины. 3 н. и 10 з.п. ф-лы, 11 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к отображаемым на дисплее графическим эффектам и, в частности, к тактильно коррелированным графическим эффектам.
Уровень техники
В настоящее время пользователи мобильных телефонов используют анимацию «встряхивания», реализованную посредством поступательного перемещения изображения. Визуально данный эффект воспринимают, как перемещение всего изображения из стороны в сторону.
Раскрытие сущности изобретения
Способ включает в себя разделение изображения на дисплее электронного устройства на несколько областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно z-размерности и компоновку изображения на экране для отображения, которое включает в себя изменяемые во времени позиции для каждой вершины точки для формирования анимированного искажения изображения на дисплее.
Машиночитаемый носитель информации, содержащий инструкции для выполнения процессором, вызывающие выполнение машиной операций. Операции включают в себя разделение изображения на дисплее электронного устройства на несколько областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно z-размерности и компоновку изображения на экране для отображения, которое включает в себя изменяемые во времени позиции для каждой вершины точки для формирования анимированного искажения изображения на дисплее.
Устройство включает в себя процессор, дисплей, соединенный с процессором, и устройство памяти, соединенное с процессором и имеющее программу, хранимую на нем, для выполнения процессором операций. Операции включают в себя разделение изображения на дисплее на несколько областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно z-размерности и компоновку изображения на экране для отображения, которое включает в себя изменяемые во времени позиции для каждой вершины точки для формирования анимированного искажения изображения на дисплее.
Краткое описание чертежей
Фиг. 1А представляет собой блок-схему, иллюстрирующую графические эффекты на дисплее мобильного устройства в соответствии с примерным вариантом осуществления.
Фиг. 1B представляет собой блок-схему, иллюстрирующую мобильное устройство, которое генерирует графические эффекты на дисплее мобильного устройства в координации с тактильными эффектами, появляющиеся на мобильном устройстве, в соответствии с примерным вариантом осуществления.
Фиг. 2 представляет собой блок-схему мозаичной сетки, которая делит изображение на дисплее на области, ограниченные вершинами точек, в соответствии с примерным вариантом осуществления.
Фиг. 3 представляет собой блок-схему, иллюстрирующую перспективные проекции отображения изображения в соответствии с примерным вариантом осуществления.
Фиг. 4 представляет собой представление перемещения поршня для моделирования колебания вершин точек в соответствии с примерным вариантом осуществления.
Фиг. 5 представляет собой упрощенное представление процесса вычисления для определения расстояния между позицией штока и центром оси или физической оси в соответствии с примерным вариантом осуществления.
Фиг. 6 представляет собой блок-схему представления операции вычисления расстояния между положением штока и центром оси с использованием синусной функции в соответствии с примерным вариантом осуществления.
Фиг. 7 представляет собой гибридную блок-схему и графическое представление применения функции шума Перлина в соответствии с примерным вариантом осуществления.
Фиг. 8 представляет собой блок-схему последовательности операций способа предоставления анимации в соответствии с примерным вариантом осуществления.
Фиг. 9 иллюстрирует пример GL кода языка программирования шейдеров (GLSL) для обеспечения анимации изображения на экране в соответствии с примерным вариантом осуществления.
Фиг. 10 представляет собой блок-схему компьютерной системы для реализации способов в соответствии с примерным вариантом осуществления.
Осуществление изобретения
Нижеследующее описание представлено со ссылкой на сопроводительные чертежи, которые составляют часть настоящего документа, и в котором показан способ реализации на практике конкретных вариантов осуществления. Настоящие варианты осуществления описаны достаточно подробно, что позволяет специалистам в данной области техники реализовать на практике настоящее изобретение, и следует понимать, что могут использоваться другие варианты осуществления, и что могут быть сделаны изменения в структурных, логических и электрических компонентах без отхода от объема настоящего изобретения. Поэтому нижеследующее описание примерных вариантов осуществления не должно быть рассмотрено в ограниченном смысле, и объем настоящего изобретения определен прилагаемой формулой изобретения.
Описанные в настоящем документе функции или алгоритмы, в одном варианте осуществления могут быть реализованы в программном обеспечении. Программное обеспечение может состоять из исполняемых компьютером инструкций, хранящихся на машиночитаемом носителе информации или считываемом на компьютере запоминающем устройстве, таком как одно или несколько непереходных запоминающих устройств или другое аппаратное обеспечение, основанное на использовании запоминающих устройств, либо локальных, либо сетевых устройств. Дополнительно, такие функции соответствуют модулям, которые могут быть программным обеспечением, аппаратным обеспечением, программно-аппаратным обеспечением или любой их комбинацией. Несколько функций могут быть выполнены в одном или нескольких модулях по мере необходимости, и описанные варианты осуществления являются просто примерами. Программное обеспечение может быть выполнено на цифровом сигнальном процессоре, ASIC, микропроцессоре или другом типе процессора, работающем в компьютерной системе, таком как персональный компьютер, сервер или другая компьютерная система, преобразуя компьютерную систему в специально запрограммированную машину.
Изображение на экране (пользовательский интерфейс), отображаемое на дисплее переносного устройства, разделяют на несколько областей, таких как прямоугольники, треугольники или другие применимые формы. Эти области могут быть неперекрывающимися и/или без промежутков между изображениями на экране (или представлением отображаемого на экране изображения). Форма может быть ограничена кромками и вершинами точек (или точками, в местах соприкосновения с кромками). Например, прямоугольники могут быть ограничены вершинами точек (углы областей). Каждый прямоугольник включает в себя множество пикселей. Со временем, вершины точек преобразуются или искажаются таким образом, чтобы имитировать вибрацию областей в направлении к или от пользователя, просматривающего дисплей. Отображаемое на экране изображение включает себя преобразованные вершины точек для формирования анимированного искажения отображаемого изображения в ассоциации с появлением тактильных эффектов для мобильного устройства. В одном варианте осуществления анимированное отображение изображение совпадает с тактильными эффектами, чтобы обеспечить визуальную индикацию предупреждения или другого уведомления при возникновении эффектов гаптического восприятия или вместо эффектов гаптического восприятия. Изображение на дисплее отображают для смотрящего пользователя в качестве перспективной проекции, где части отображения на дисплее увеличены или уменьшены по размеру, образуя искажение отображаемого изображения. Искажения могут использовать шум Перлина в качестве волновой функции для недопущения отображения излишне совершенной проекции для смотрящего пользователя, и формировать бегающее изображение проекции на дисплее.
Типичный пользовательский интерфейс является результатом компоновки множества поверхностей или уровней, сгенерированными несколькими приложениями. Могут использовать графический сопроцессор для реализации компоновки уровней в анимированном изображении на дисплее. Графический сопроцессор также может быть использован для добавления эффектов искажения во время компоновки. Анимированное искажение изображения на дисплее обеспечивает трехмерный графический эффект, обеспечивающий лучшее визуальное представление эффектов гаптического восприятия на устройстве.
На фиг. 1А представлена блок-схема, иллюстрирующая графические эффекты 100 на дисплее мобильного устройства в соответствии с примерным вариантом осуществления. Несколько элементов 110, 115 и 120 отображения генерируют приложениями и кодом операционной системы, работающим на мобильном устройстве. Элемент 110 отображения представляет собой поверхность, генерируемую первым приложением. Элемент 115 отображения представляет собой поверхность, генерируемую вторым приложением, тогда как элемент 120 отображения представляет собой строку состояния, которая может быть сгенерирована другим кодом, таким как код операционной системы, выполняемый на мобильном устройстве.
Элементы отображения составлены пользователем мобильного устройства и отображаются на дисплее мобильного устройства. Искажения, описанные в одном варианте осуществления, вызывают графические эффекты 100. В одном варианте осуществления графические эффекты 100, как показано, являются захваченным кадром в один момент времени. Искажения приводят к тому, что части изображения на экране появляются ближе или дальше от просматривающего изображение на дисплее пользователя. В одном варианте осуществления изображение на дисплее разделено на области размером 32x48 или более. Искажения отображаются поперек экрана в соответствии с функцией, так что части, которые ближе расположены в одной части экрана, постепенно переходят к частям, появляющимся дальше. Например, слова «Phone options» (Параметры телефона) обычно появляются на 125. «P» в словах «Phone options» отображается дальше, чем «o» и «n». «P» может быть представлено в пределах одной области или нескольких областей. Эти вариации в перспективе (расстояние «z», с точки зрения пользователя или камеры) отображаются по всему экрану в одном варианте осуществления и могут варьироваться как в «x», так и «y» направлениях экрана. Следует отметить, что «x» и «y» размерности соответствуют левому и правому направлению и направлению вверх и вниз на дисплее, в то время как «z» размерность соответствует представлению глубины отображения изображения на дисплее и в направлении в или от дисплея с точки зрения пользователя или камеры, или восприятия пользователями глубины отображения объектов на экране. Функции пользовательского интерфейса, ассоциированные с элементами отображения на дисплее, могут быть независимы от того, искажены ли элементы отображения на дисплее или нет.
На фиг. 1B представлена блок-схема, иллюстрирующая мобильное устройство 150, которое генерирует графические эффекты 100 на дисплее мобильного устройства при взаимодействии с тактильными эффектами, возникающие на мобильном устройстве 150. Мобильное устройство 150 показано в упрощенной форме и может включать в себя процессор 155, соединенный с устройством 160 памяти, на котором хранят приложения, данные и другой код для исполнения на процессоре 155. Приемопередатчик 165 соединен с процессором 155 для обеспечения беспроводной связи через одну или несколько сетей беспроводной связи. Приемопередатчик 165 может включать в себя одну или несколько антенн для передачи и приема сигналов беспроводной связи. Контроллер 170 эффекта гаптического восприятия также может быть соединен с процессором 155 и может управлять процессом обеспечения эффектов гаптического восприятия, таких как механические вибрации, реагирующие на сигналы тревоги или другие уведомления, возникающие на мобильном устройстве 150, такие как прием телефонного вызова, электронной почты, текстового сообщения или другое событие. Тактильные эффекты могут быть сконфигурированы с помощью пользовательского интерфейса для выбранных событий. Пользовательский интерфейс может быть просто списком событий с флажками для типов эффектов, желательных для каждого события, таких как «мелодия звонка», «вибрировать» «графическое искажение», позволяя пользователю выбирать один или несколько таких эффектов. Контроллер 170 может быть программным кодом для выполнения на процессоре 155 для предоставления сигналов для управления предоставлением графических эффектов, реагирующих на выбор пользователя. Блок 175 графики может включать в себя программный код, который выполняется на процессоре 155 или графическом процессоре в блоке 175 графики для генерирования графических эффектов, реагирующих на сигналы контроллера 170.
В одном варианте осуществления тактильные эффекты коррелируют с графическими эффектами 100. Если событие, такое как телефонный вызов, инициировало тактильные эффекты, то блок 175 графики управляется через контроллер 170, генерирует графические эффекты 100. Если событие не вызывает тактильные эффекты, то блок 175 графики может исключать искажения, что приводит в результате к отображению неискаженного отображения, как указано на этапе 180. В дополнительных вариантах осуществления графические эффекты могут быть получены независимо от тактильных эффектов или выборочно, согласно пользовательскими настройками. Например, пользователь может просто захотеть инициировать графический эффект с или без тактильных эффектов, а также с или без мелодии звонка для разных событий, таких как прием телефонного звонка, текстового сообщения, электронной почты или другого уведомления, генерируемого одним из многих различных приложений.
На фиг. 2 показана блок-схема мозаичной сетки 200, которая показывает массив из 8x10 областей. Углы областей обозначены как 210 в «x» и «y» размерностях. Тактильные эффекты для графического изображения могут генерироваться на основании модели, имитирующей визуальный эффект, как если бы экран размещался поверх вибрационного основания, состоящего из множества поршней, расположенных в соответствии с мозаичной сеткой, графического изображения, отображаемого на экране, в то время как поршни перемещаются вверх и вниз, причем каждый поршень соответствует кругу в сетке 200.
Углы 210 соответствуют вершинам точек. Каждая вершина 210 точки нарисована в виде круга для эмуляции одного поршня, движущегося вверх и вниз, в результате чего поверхность над ним изменяется в размере, появляясь для перемещения к и от пользователя, просматривающего экран. В действительности, каждая вершина точки является точкой и только изображена в форме круга для моделирования с использованием поршня. Таким образом, каждая вершина точки эффективно перемещается каждым поршнем, и области между вершинами точек эффективно наклоняются между вершинами точек так, что искажения растягиваются через области.
На фиг. 3 показана блок-схема, иллюстрирующая перспективные проекции изображения 300. Используют одну и ту же систему координат с x, y и z размерностями, причем z является расстоянием частей изображения 310 от зрителя, представленного как камера 320. Когда вершина точки подталкивается поршнем к зрителю, то область вокруг вершины точки становится больше, приближаясь к зрителю. Когда вершина точки перемещается поршнем в сторону от зрителя, то область вокруг вершины точки становится меньше, чем дальше от зрителя. Эффект с использованием поршня на вершинах точек формирует искажение изображения. Для реализации эффекта может быть сформировано искажение z координаты вершинной точки внутри вибрационного основания, реализуемого блоком 175 графики до применения матрицы проекции. Искажение вершинной точки вибрационного основания представляет собой графическую функцию, которая преобразует трехмерную позицию каждой вершинной точки в виртуальном пространстве в двумерную координату, на которой она появляется на изображении.
На фиг. 4 представляет собой представление 400 перемещения поршня 410 для моделирования колебаний вершинной точки. Поршень 410 соединен с поршневым штоком 415, который вращается вокруг оси, как указано на этапе 420, заставляя поршень 410 перемещаться вверх и вниз в цилиндре 425. Поршень 410 представлен в разных позициях 430 и 435 во временной последовательности изображений на фиг. 4 стрелками, представляющими направление вращения оси и перемещение поршня.
В одном варианте осуществления положение поршня представляет собой представление «z», ассоциированное с вершиной точки изображения. Изменение «z» (во времени) может быть смоделировано в соответствии с перемещением положения поршня. «Z» можно определить упрощенным способом в соответствии с расстоянием между положением штока 415 и центром оси или оси, как представлено в двух примерных положениях 500 и 510 на фиг. 5.
Фиг. 6 является представлением 600 блок-схемы операции вычисления расстояния между положением штока 415 и центром оси с использованием синусоидальной функции, где расстояние или высота является синусом угла штока относительно оси, изменяющийся между -1 и 1. Функция косинуса может использоваться в других вариантах осуществления в зависимости от выбранной оси как нулевой градус вращения.
В одном варианте осуществления длина каждого поршневого штока изменяется со временем с использованием диаграммы шума Перлина, имеющей функцию турбулентности, рассчитанную по четырем частотам шума. Операцию выполняют путем вычитания абсолютного значения каждой частоты из центрального значения. В результате, искажения изображения на экране во времени можно назвать анимацией. По мере увеличения времени анимации, соотношение между поршнями и функцией шума сдвигается вправо для формирования волнового эффекта, так как тактильный эффект распространяется через все устройство. Анимация может быть коррелирована с вибрациями тактильного эффекта.
На фиг. 7 показана гибридная блок-схема и графическое представление 700 применения описанной выше функции шума Перлина. Четыре частоты шума представлены как 710, 715, 720 и 725. В одном варианте осуществления частоты удваивают и амплитуду уменьшают вдвое для каждой из четырех частот шума, как указано на графиках шума. Полученный эффект представлен на соответствующих графических представлениях (поверхностях) частот шума 730, 735, 740 и 745, при этом, частоты шума распространяются в третьем измерении. Частоты шума объединены с мозаичными вершинами точек, как обозначено 750, чтобы обеспечить отображаемую на экране анимацию. В одном варианте осуществления поверхность 730 накладывают на мозаичные вершины точек, как обозначено 750. Поверхность 735 накладывают на каждый квадрант поверхности 730, поверхность 740 накладывают на каждый квадрант поверхности 735, и поверхность 745 накладывают на каждый квадрант поверхности 740, так что каждую поверхность накладывают на все мозаичные вершины точек.
Упрощенная блок-схема последовательности операций способа 800 предоставления анимации показана в виде блок-схемы алгоритма на фиг. 8. Способ 800 в одном варианте осуществления включает в себя разделение изображения на экране электронного устройства на несколько областей на этапе 810, ограниченных их вершинами точек. На этапе 815 вычисляются изменяющиеся во времени позиции каждой вершины точки во времени. На этапе 820 составляют изображение на экране дисплея, которое включает в себя изменяющиеся позиции для каждой вершины точки для формирования анимированного искажения изображения, ассоциированные с тактильными эффектами. Способ 800 может быть инициирован любым событием, которое вызывает генерирование тактильных эффектов посредством мобильного устройства, например, когда устройство переключают в режим вибрации для входящих вызовов или других сигналов.
В одном варианте осуществления составление изображения на экране включает в себя добавление изменяющихся во времени позиций для каждой вершины точки к изображению на экране, генерируемому приложением, работающим на электронном устройстве. Для формирования визуального волнового эффекта, в дополнительном варианте осуществления, вычисляют изменяющиеся позиции каждого участка. Изменяющиеся позиции могут варьироваться между увеличенными и уменьшенными участками, формируя искажения изображения на дисплее. В дополнительных вариантах осуществления может быть добавлена вышеописанная функция шума Перлина к изменяющимся позициям во времени. С целью постепенного переключения состояния искажений из состояний включено и выключено могут использовать уровень интенсивности в противоположность функции шага включения/выключения.
Фиг. 9 иллюстрирует пример GL кода 900 языка программирования шейдеров (GLSL) для формирования анимации на экране дисплея. GLSL является языком программирования шейдеров высокого уровня, предназначенный для предоставления программистам удобного способа управления графическим конвейером для изменения представления поверхностей на дисплее.
Входные переменные, используемые в коде 900, включают в себя:
Z – постоянная, которая ограничивает z-позицию, при этом, изображение находится в модели (глубина без искажений)
а_position - 2d позиция вершины точки на изображении (ограниченная в координатах экрана .. pixel #’s)
NoiseTexture – дискриминатор связанной текстуры, который содержит диаграмму шума Перлина.
Каждый фрагмент из текстур представляет собой vector4, причем каждый элемент содержит другую частоту.
INTENSITY - передаваемая переменная, которая определяет текущий уровень интенсивности эффекта. Уровень интенсивности может варьироваться от 0..1. (0 выключено, 1 - полная интенсивность)
DEPTH - длина поршня по умолчанию.
MVPMatrix - матрица 4x4, содержащая перспективное преобразование между 3d и 2d.
В одном варианте осуществления код 900 является вершинным шейдером (для выполнения функции вершинного шейдера), который выполняют для определения позиции модельного поршня по фиг. 4, определяющих искажение изображения на экране. В строке 912 задан тип void, предоставляющий точку входа в программу вершинного шейдера. На этапе 914 задан вектор, обеспечивающий расположение участков изображения на экране. Кроме того, указывают размер изображения на экране и время отображения эффекта на экране. Время может варьироваться от 0 до n, причем n в одном примере составляет 500 msec.
Функции шума определены на этапе 916 для описанных выше четырех форм сигнала шума, которые обеспечивают текстуру шума Перлина. На 918 определяют уровень интенсивности колебаний 0-1, что соответствует функции турбулентности. Уровень интенсивность колебаний состоит из четырех компонентов, один из которых содержится в строке 918 и еще три в 920, 922 и 924, что соответствует четырем различным формам сигнала шума. Строки 918, 920, 922 и 924 добавляют абсолютное значение каждого из четырех компонентов шума для обеспечения каждого поршня различной величиной радиуса, отражающей уровень шума, что означает различное значение сдвига по z-оси.
Величина колебания встряхивания описана на этапе 926, который эффективно изменяет длину или выброс поршня с течением времени. Термин «SINTHETA» соответствует анимации между -1 и +1, а «DEPTH» является максимальной длиной перемещения поршня. Строку 928 используют для указания x, y позиции на экране и эффект смешивания во время перемещения в z направлении для обеспечения плавного перехода между участком, появляющимся вблизи и удаленно, трансформируя x, y пиксели для обеспечения изменяющейся перспективы. Плавный переход обеспечивается уровнем интенсивности, отображая эффект затухания.
На фиг. 10 показана блок-схема компьютерной системы 1000 для реализации устройства, имеющего экран, на котором отображают трехмерный видимый эффект в соответствии с примерными вариантами осуществления. Все компоненты не должны использоваться в различных вариантах осуществления. Одно примерное вычислительное устройство в виде компьютера 1000 может включать в себя блок 1002 обработки, память 1004, съемное хранилище 1012 и несъемное хранилище 1014. Блок 1002 обработки в одном варианте осуществления может включать в себя графический сопроцессор, который выполняет операции на программируемом конвейере, который применяет анимацию к одной или нескольким поверхностям отображения, сформированными программами, запущенными на устройстве. Хотя примерное вычислительное устройство проиллюстрировано и описано как компьютер 1000, вычислительное устройство может иметь разные формы в разных вариантах осуществления. Например, вычислительное устройство может вместо этого быть смартфоном, планшетом, смарт-часами или другим вычислительным устройством, содержащим те же или подобные элементы, которые проиллюстрированы и описаны в отношении фиг. 10. Устройства, такие как смартфоны, планшеты и смарт-часы, обычно называют мобильными устройствами. Дополнительно, хотя различные элементы хранения данных проиллюстрированы как часть компьютера 1000, хранилище может также или альтернативно включать в себя облачное хранилище, доступное через сеть, такую как интернет.
Память 1004 может включать в себя энергозависимую память 1006 и энергонезависимую память 1008. Компьютер 1000 может включать в себя или иметь доступ к вычислительной среде, которая включает в себя множество машиночитаемых носителей, таких как энергозависимая память 1006 и энергонезависимая память 1008, съемное хранилище 1012 и несъемное хранилище 1014. Компьютерное запоминающее устройство включает в себя оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM) и электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память или другие технологии памяти, компактное устройство памяти для дисков (CD-ROM), цифровые универсальные диски (DVD) или другое хранилище на оптических дисках, магнитные кассеты, магнитную ленту, магнитное хранилище на магнитных дисках или другие магнитные запоминающие устройства, способные хранить машиночитаемые инструкции для выполнения описанных настоящем документе функций.
Компьютер 1000 может включать в себя или иметь доступ к вычислительной среде, которая включает в себя устройство 1016 ввода, устройство 1018 вывода и коммуникационное соединение 1020. Устройство 1018 вывода может включать в себя устройство отображения, такое как сенсорный экран, который также может служить в качестве устройства ввода. Устройство 1016 ввода может включать в себя один или несколько сенсорных экранов, мыши, клавиатуры, камеры, одной или нескольких кнопок устройства, один или несколько датчиков, встроенных или соединенных через проводные или беспроводные соединения для обмена данными с компьютером 1000, и другие устройства ввода. Компьютер может работать в сетевой среде, используя коммуникационное соединение для подключения к одному или нескольким удаленным компьютерам, таким как серверы баз данных, включающие в себя облачные серверы и хранилище. Удаленный компьютер может включать в себя персональный компьютер (РС), сервер, маршрутизатор, сетевой компьютер, одноранговое устройство или другой общий сетевой узел или тому подобное. Коммуникационное соединение может включать в себя локальную сеть (LAN), глобальную сеть (WAN), сотовую, WiFi, Bluetooth или другие сети.
Машиночитаемые инструкции, хранящиеся на машиночитаемом запоминающем устройстве, исполняются процессором 1002 компьютера 1000. Жесткий диск, CD-ROM и RAM представляют собой некоторые примеры изделий, включающие в себя непереходной компьютерно-считываемый носитель информации, такой как запоминающее устройство. Термины машиночитаемый носитель информации и устройство хранения не включают в себя несущие волны. Например, компьютерная программа 1018, способная предоставлять общий способ для проверки контроля доступа для предоставления доступа к данным и/или для выполнения операции на одном из серверов в системе на основе модели объектных компонентов (COM), может храниться на CD-ROM и загружаться с CD-ROM на жесткий диск. Машиночитаемые инструкции позволяют компьютеру 1000 предоставлять общие элементы управления доступом в компьютерной сетевой системе на COM-основе, имеющей множество пользователей и серверов.
Следующие неограничивающие примеры иллюстрируют различные комбинации вариантов осуществления.
Пример 1 включает в себя способ, включающий в себя деление отображаемого изображения на экране электронного устройства на множество областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно горизонта во времени и компоновку изображения для отображения на экране, которое включает в себя изменяемые во времени позиции для каждой вершины точки для формирования анимированного искажения изображения.
Пример 2 включает в себя способ примера 1, в котором компоновка изображения на экране содержит добавление изменяемых во времени позиций для каждой вершины точки к поверхности, генерируемой приложением, работающим на электронном устройстве.
Пример 3 включает в себя способ по любому из примеров 1-2, в котором вычисляют изменяемые во времени позиции для каждой вершины точки для обеспечения визуального волнового эффекта в ассоциации с тактильными эффектами.
Пример 4 включает в себя способ по любому из примеров 1-3, в котором изменяемые позиции изменяются между увеличенными и уменьшенными, формируя искажения изображения.
Пример 5 включает в себя способ примера 4, в котором при формировании изменяемых позиций используют синусную функцию поршневого штока.
Пример 6 включает в себя способ по примеру 5, в котором длина поршневого штока изменяется во времени.
Пример 7 включает в себя способ по примеру 6, в котором длина штока поршня изменяется во времени в соответствии с диаграммой шума Перлина с использованием функции турбулентности, рассчитанной по четырем частотам шума.
Пример 8 включает в себя способ по примеру 7, в котором сопоставление между поршнями и диаграммой распределения шумов смещается по экрану для формирования волнового эффекта.
Пример 9 включает в себя способ по любому из примеров 1-8 и дополнительно содержит переход анимированного искажения изображения из состояния включено в состояние выключено в соответствии с уровнем интенсивности.
Пример 10 включает в себя машиночитаемое запоминающее устройство, имеющее инструкции для выполнения процессором, чтобы вызвать машину выполнять операции, включающие в себя деление изображения, отображаемого на экране электронного устройства, на множество областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно z-размерности и компоновку изображения для отображения на экране, которое включает в себя изменяемые во времени позиции для каждой вершины точки для формирования анимированного изображения.
Пример 11 включает в себя машиночитаемое запоминающее устройство по примеру 10, в котором операции для компоновки изображения на экране содержат добавление изменяемых позиций для каждой вершины точки к поверхности, генерируемой приложением, работающим на электронном устройстве.
Пример 12 включает в себя машиночитаемое запоминающее устройство по любому из примеров 10-11, в котором вычисляют изменяемые во времени позиции для каждой вершины точки для обеспечения визуального волнового эффекта в ассоциации с эффектами гаптического восприятия.
Пример 13 включает в себя машиночитаемое запоминающее устройство по любому из примеров 10-12, в котором изменяемые позиции изменяются между увеличенными и уменьшенными, формируя искажение изображения в ассоциации с эффектами гаптического восприятия.
Пример 14 включает в себя машиночитаемое запоминающее устройство по примеру 13, в котором формирование изменяемых позиций использует синусную функцию поршневого штока.
Пример 15 включает в себя машиночитаемое запоминающее устройство по примеру 14, в котором длина поршневого штока изменяется во времени в соответствии с диаграммой шума Перлина с использованием функции турбулентности, вычисленной по четырем частотам шума.
Пример 16 включает в себя устройство, имеющее процессор, дисплей, соединенный с процессором, и запоминающее устройство, соединенное с процессором и имеющее программу, сохраненную на нем для выполнения процессором для выполнения операций. Операции включают в себя деление изображения на несколько областей, ограниченных вершинами точек, вычисление изменяемых во времени позиций для каждой вершины точки относительно z-размерности и компоновку отображенного на экране изображения, которое включает в себя изменяемые во времени позиции для каждого участка для формирования анимированного искажения изображения.
Пример 17 включает в себя устройство по примеру 16, в котором компоновка изображения на экране содержит добавление изменяемых во времени позиций для каждой вершины точки к поверхности, генерируемой приложением, работающим на электронном устройстве.
Пример 18 включает в себя устройство по любому из примеров 16-17, в котором изменяемые позиции изменяются между увеличенными и уменьшенными, формируя искажение изображения.
Пример 19 включает в себя устройство по любого из примеров 16-18, в котором формирование изменяемых позиций использует синусную функцию поршневого штока.
Пример 20 включает в себя устройство по любому из примеров 16-19, в котором длина поршневого штока изменяется со временем в соответствии с диаграммой шума Перлина с использованием функции турбулентности, вычисленной из четырех частот шума.
Несмотря на то, что выше было приведено подробное описание нескольких вариантов осуществления, возможны другие модификации. Например, логические потоки, изображенные на чертежах, не требуют определенного порядка или последовательности выполнения операций для достижения желаемых результатов. Могут быть предусмотрены другие этапы, или этапы могут быть исключены из описанных потоков, и другие компоненты могут быть добавлены или удалены из описанных систем. Возможны другие варианты осуществления в рамках объема следующей формулы изобретения.

Claims (34)

1. Способ формирования анимированного искажения на дисплее, содержащий этапы, на которых
разделяют (810) дисплей электронного устройства на множество областей, задаваемых вершинами;
вычисляют (815) изменяющиеся во времени положения для каждой вершины относительно измерения z; и
компонуют (820) экран для дисплея, который включает в себя изменяющиеся во времени положения для каждой вершины для формирования анимированного искажения на дисплее,
при этом изменяющиеся во времени положения изменяются между увеличенными и уменьшенными, формируя искажение на дисплее, причем изменяющиеся во времени положения изменяются между увеличенными и уменьшенными так, чтобы выглядеть перемещающимися к пользователю и от пользователя, просматривающего экран,
отличающийся тем, что
на этапе вычисления изменяющихся во времени положений используют синусоидальную функцию поршневого штока, причем длина поршневого штока изменяется со временем, при этом поршень соединен с поршневым штоком, который вращается вокруг оси, заставляя поршень перемещаться вверх и вниз, и положения поршня представляют изменяющиеся во времени положения для каждой вершины.
2. Способ по п. 1, в котором на этапе компоновки экрана добавляют изменяющиеся во времени положения для каждой вершины к поверхности, генерируемой приложением, работающим на электронном устройстве.
3. Способ по п. 1 или 2, в котором вычисляют изменяющиеся во времени положения для каждой вершины для обеспечения визуального волнового эффекта в ассоциации с тактильными эффектами.
4. Способ по п. 1, в котором длина поршневого штока изменяется со временем в соответствии с диаграммой шума Перлина с использованием функции турбулентности, рассчитанной по четырем частотам шума.
5. Способ по п. 4, в котором сопоставление между поршнями и диаграммой шума сдвигается через экран для формирования волнового эффекта.
6. Способ по п. 1 или 2, дополнительно содержащий этап, на котором переводят анимированное искажение на дисплее в состояния включено и выключено в зависимости от уровня интенсивности, причем интенсивность представляет собой переменную, которая определяет текущий уровень интенсивности волнового эффекта и может меняться от 0 до 1.
7. Машиночитаемое запоминающее устройство, содержащее инструкции для выполнения процессором, чтобы вызвать выполнение машиной операций, содержащих:
деление (810) дисплея электронного устройства на множество областей, задаваемых вершинами;
вычисление (815) изменяющихся во времени положений для каждой вершины относительно измерения z; и
компоновку (820) экрана для дисплея, который включает в себя изменяющиеся во времени положения для каждой вершины для формирования анимированного искажения на дисплее,
при этом изменяющиеся во времени положения изменяются между увеличенными и уменьшенными, формируя искажении на дисплее, причем изменяющиеся во времени положения изменяются между увеличенными и уменьшенными так, чтобы выглядеть перемещающимися к пользователю и от пользователя, просматривающего экран,
отличающееся тем, что
вычисление изменяющихся во времени положений содержит использование синусоидальной функции поршневого штока, причем длина поршневого штока изменяется со временем, при этом поршень соединен с поршневым штоком, который вращается вокруг оси, заставляя поршень перемещаться вверх и вниз, и положения поршня представляют изменяющиеся во времени положения для каждой вершины.
8. Машиночитаемое запоминающее устройство по п. 7, в котором операции для компоновки экрана содержат добавление изменяющихся положений для каждой вершины к поверхности, генерируемой приложением, работающим на электронном устройстве.
9. Машиночитаемое запоминающее устройство по п. 7 или 8, в котором изменяющиеся во времени положения вычисляются для каждой вершины для обеспечения визуального волнового эффекта в ассоциации с тактильными эффектами.
10. Машиночитаемое запоминающее устройство по п. 7, в котором длина поршневого штока изменяется со временем в соответствии с диаграммой шума Перлина с использованием функции турбулентности, рассчитанной по четырем частотам шума.
11. Устройство для формирования анимированного искажения на дисплее, содержащее:
процессор;
дисплей, соединенный с процессором; и
устройство памяти, соединенное с процессором и имеющее хранящуюся на нем программу для исполнения процессором для выполнения операций, содержащих:
деление (810) изображения на дисплее на множество областей, задаваемых вершинами;
вычисление (815) изменяющихся во времени положений для каждой вершины относительно измерения z; и
компоновку (820) экрана для дисплея, который включает в себя изменяющиеся во времени положения для каждой вершины для формирования анимированного искажения на дисплее,
при этом изменяющиеся во времени положения изменяются между увеличенными и уменьшенными, формируя искажение на дисплее, причем изменяющиеся во времени положения изменяются между увеличенными и уменьшенными так, чтобы выглядеть перемещающимися к пользователю и от пользователя, просматривающего экран;
отличающееся тем, что
вычисление изменяющихся во времени положений содержит использование синусоидальной функции поршневого штока, причем длина поршневого штока изменяется со временем, при этом поршень соединен с поршневым штоком, который вращается вокруг оси, заставляя поршень перемещаться вверх и вниз, и положения поршня представляют изменяющиеся во времени положения для каждой вершины.
12. Устройство по п. 11, в котором компоновка экрана содержит добавление изменяющихся во времени положений для каждой вершины к поверхности, генерируемой приложением, работающим на электронном устройстве.
13. Устройство по п. 11, в котором длина поршневого штока изменяется со временем в соответствии с диаграммой шума Перлина с использованием функции турбулентности, вычисленной из четырех частот шума.
RU2018130517A 2016-01-26 2017-01-19 Тактильно коррелированные графические эффекты RU2706182C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/006,888 US10296088B2 (en) 2016-01-26 2016-01-26 Haptic correlated graphic effects
US15/006,888 2016-01-26
PCT/CN2017/071765 WO2017129041A1 (en) 2016-01-26 2017-01-19 Haptic correlated graphic effects

Publications (1)

Publication Number Publication Date
RU2706182C1 true RU2706182C1 (ru) 2019-11-14

Family

ID=59360697

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018130517A RU2706182C1 (ru) 2016-01-26 2017-01-19 Тактильно коррелированные графические эффекты

Country Status (8)

Country Link
US (1) US10296088B2 (ru)
EP (1) EP3400514B1 (ru)
JP (1) JP6727575B2 (ru)
KR (1) KR102128862B1 (ru)
CN (1) CN108431868B (ru)
AU (1) AU2017212441B2 (ru)
RU (1) RU2706182C1 (ru)
WO (1) WO2017129041A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230152896A1 (en) * 2021-11-16 2023-05-18 Neosensory, Inc. Method and system for conveying digital texture information to a user

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2327218C2 (ru) * 2003-05-09 2008-06-20 Майкрософт Корпорейшн Создание и выполнение режима анимации для графического пользовательского интерфейса
RU2434263C2 (ru) * 2006-07-19 2011-11-20 Сони Эрикссон Мобайл Коммьюникейшнз Аб Устройства и способы, предназначенные для обеспечения модификаций выходных данных в электронном устройстве в ответ на движение
US20130120386A1 (en) * 2011-08-26 2013-05-16 Gregg D. Wilensky Systems and Methods for Simulating the Effects of Liquids on a Camera Lens
US20140092115A1 (en) * 2012-10-02 2014-04-03 Futurewei Technologies, Inc. User Interface Display Composition with Device Sensor/State Based Graphical Effects

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2166316B (en) * 1984-10-31 1987-10-28 Sony Corp Video signal processing circuits
US6008818A (en) * 1988-01-29 1999-12-28 Hitachi Ltd. Method and apparatus for producing animation image
JPH0816820A (ja) * 1994-04-25 1996-01-19 Fujitsu Ltd ３次元アニメーション作成装置
US6473083B1 (en) * 1995-02-03 2002-10-29 Fujitsu Limited Computer graphics data generating apparatus, computer graphics animation editing apparatus, and animation path generating apparatus
US5986675A (en) * 1996-05-24 1999-11-16 Microsoft Corporation System and method for animating an object in three-dimensional space using a two-dimensional input device
US5689437A (en) * 1996-05-31 1997-11-18 Nec Corporation Video display method and apparatus
CN1234100C (zh) * 1996-08-26 2005-12-28 富士通株式会社 建立图形的设备和方法
JP3472065B2 (ja) * 1997-03-17 2003-12-02 株式会社東芝 アニメーション生成装置およびアニメーション生成方法
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6215495B1 (en) * 1997-05-30 2001-04-10 Silicon Graphics, Inc. Platform independent application program interface for interactive 3D scene management
US6369812B1 (en) * 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6236401B1 (en) * 1998-12-22 2001-05-22 Intel Corporation Model animation using turbulence
US6466229B1 (en) * 1999-01-26 2002-10-15 Fuji Xerox Co., Ltd. Graphics processing apparatus and graphics processing method
JP2001109910A (ja) * 1999-10-14 2001-04-20 Fuji Photo Film Co Ltd 画像処理装置及び画像撮影装置
US6954196B1 (en) * 1999-11-22 2005-10-11 International Business Machines Corporation System and method for reconciling multiple inputs
WO2001048589A1 (fr) * 1999-12-28 2001-07-05 Fujitsu Limited Procede et dispositif de resserrement des coordonnees d'un photostyle
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
JP2002109560A (ja) * 2000-10-02 2002-04-12 Sharp Corp アニメーション再生装置、アニメーション再生システム、アニメーション再生方法、アニメーション再生方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100407685B1 (ko) * 2001-01-12 2003-12-01 윤경현 컴퓨터를 이용한 색종이 모자이크 구현 방법
US7091971B2 (en) * 2001-10-29 2006-08-15 Ati Technologies, Inc. System, method, and apparatus for multi-level hierarchical Z buffering
US6999076B2 (en) * 2001-10-29 2006-02-14 Ati Technologies, Inc. System, method, and apparatus for early culling
US6985148B2 (en) 2001-12-13 2006-01-10 Microsoft Corporation Interactive water effects using texture coordinate shifting
US20060145945A1 (en) * 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
CA2370751A1 (en) * 2002-02-05 2003-08-05 Garth B.D. Shoemaker Fast and accurate rendering of pliable display technology distortions using pre-calculated texel coverages
US7230621B2 (en) * 2002-02-19 2007-06-12 Adams Jr William O Three-dimensional imaging system and methods
US20050083400A1 (en) * 2003-09-04 2005-04-21 Yuzo Hirayama Three-dimensional image display device, three-dimensional image display method and three-dimensional display image data generating method
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7154500B2 (en) * 2004-04-20 2006-12-26 The Chinese University Of Hong Kong Block-based fragment filtration with feasible multi-GPU acceleration for real-time volume rendering on conventional personal computer
JP2007536634A (ja) * 2004-05-04 2007-12-13 フィッシャー−ローズマウント・システムズ・インコーポレーテッド プロセス制御システムのためのサービス指向型アーキテクチャ
JP2005322056A (ja) * 2004-05-10 2005-11-17 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
JP4264029B2 (ja) * 2004-05-21 2009-05-13 アルプス電気株式会社 力覚付与型入力装置
US7672476B2 (en) * 2005-01-26 2010-03-02 Pixar Bandlimited noise for computer graphics
KR100657946B1 (ko) * 2005-01-28 2006-12-14 삼성전자주식회사 3차원 그래픽에서 자연 현상에 대한 절차적인 텍스쳐 생성방법과 장치 및 그 기록매체
US20060274070A1 (en) * 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US7663620B2 (en) * 2005-12-05 2010-02-16 Microsoft Corporation Accessing 2D graphic content using axonometric layer views
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
DK1997046T3 (en) * 2006-01-11 2017-03-13 Densys Ltd THREE-DIMENSIONAL MODELING OF THE ORAL
US7728837B2 (en) * 2006-03-06 2010-06-01 Microsoft Corporation Angular animation of a physical model
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
US20080291216A1 (en) * 2007-05-21 2008-11-27 World Golf Tour, Inc. Electronic game utilizing photographs
US8624809B2 (en) * 2007-11-29 2014-01-07 Apple Inc. Communication using light-emitting device
KR101469034B1 (ko) * 2008-01-07 2014-12-05 삼성디스플레이 주식회사 디스플레이장치 및 그 제어방법
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8106910B2 (en) * 2008-03-28 2012-01-31 Vldimir Pugach Method for correct reproduction of moving spatial images on a flat screen
US20100315414A1 (en) * 2008-05-09 2010-12-16 Mbda Uk Limited Display of 3-dimensional objects
US8531466B2 (en) * 2008-06-13 2013-09-10 Pixar Methods for providing realistic animation of autonomous objects through improved animation control signal processing
US20100046790A1 (en) * 2008-08-22 2010-02-25 Koziol Anthony R Method and system for generating a symbol identification challenge
US8428326B2 (en) * 2008-10-23 2013-04-23 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
JP5166371B2 (ja) * 2008-10-31 2013-03-21 株式会社ソニー・コンピュータエンタテインメント 端末装置、画像表示方法、およびプログラム
KR101509007B1 (ko) * 2009-03-03 2015-04-14 엘지전자 주식회사 진동 모듈을 구비하는 휴대 단말기 및 그 동작방법
US20130069956A1 (en) * 2009-05-29 2013-03-21 David Tristram Transforming Time-Based Drawings
US20110043537A1 (en) * 2009-08-20 2011-02-24 University Of Washington Visual distortion in a virtual environment to alter or guide path movement
US8624925B2 (en) * 2009-10-16 2014-01-07 Qualcomm Incorporated Content boundary signaling techniques
US8531485B2 (en) * 2009-10-29 2013-09-10 Immersion Corporation Systems and methods for compensating for visual distortion caused by surface features on a display
US8947430B1 (en) * 2010-02-26 2015-02-03 Nvidia Corporation System and method for rendering a particle-based fluid surface
US20110261002A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Displaying images on solid surfaces
CN102473415B (zh) * 2010-06-18 2014-11-05 松下电器（美国）知识产权公司 声音控制装置及声音控制方法
US8928673B2 (en) * 2010-06-30 2015-01-06 Blue Sky Studios, Inc. Methods and systems for 3D animation
US8610714B2 (en) * 2010-10-19 2013-12-17 Apple Inc. Systems, methods, and computer-readable media for manipulating graphical objects
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8717381B2 (en) * 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US9182838B2 (en) * 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
US9383820B2 (en) * 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US8988446B2 (en) * 2011-10-07 2015-03-24 Zynga Inc. 2D animation from a 3D mesh
CN103164118B (zh) 2011-12-14 2017-05-03 腾讯科技（深圳）有限公司 一种移动终端多视图显示的方法及装置
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
US10109255B2 (en) * 2012-06-05 2018-10-23 Apple Inc. Method, system and apparatus for dynamically generating map textures
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
CN104854549A (zh) 2012-10-31 2015-08-19 三星电子株式会社 显示装置及其方法
US9218188B2 (en) * 2012-11-14 2015-12-22 Facebook, Inc. Animation sequence associated with feedback user-interface element
KR102092132B1 (ko) * 2012-11-30 2020-04-14 삼성전자주식회사 호버링 입력 효과를 제공하는 전자 장치 및 그 제어 방법
US9706962B1 (en) * 2012-12-19 2017-07-18 Alert Core, Inc. Apparatus and method for teaching and algorithms for identifying qualifying movements
AU2013368443B2 (en) * 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
CN105264479B (zh) * 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
CN105164628B (zh) * 2013-03-14 2018-11-16 华为技术有限公司 移动设备的透镜触摸图形效果
US9721373B2 (en) * 2013-03-14 2017-08-01 University Of Southern California Generating instructions for nonverbal movements of a virtual character
EP3077902A4 (en) * 2013-12-04 2017-11-15 Intel Corporation Wearable map and image display
JP2015162152A (ja) * 2014-02-28 2015-09-07 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置
US10463955B2 (en) * 2014-04-25 2019-11-05 Sony Interactive Entertainment Inc. Information processing device, information processing method, program, and information storage medium
US9824464B2 (en) * 2014-08-11 2017-11-21 Corel Corporation Methods and systems for generating graphical content through physical system modelling
JP7082877B2 (ja) * 2015-03-12 2022-06-09 ハッピー エル－ロード アクチボラグ ３次元ボクセル・ベース・モデリングのための方法
CN104820493B (zh) 2015-04-23 2018-09-14 北京小小牛创意科技有限公司 一种运动驱动效果的实现方法及实现系统
US10976819B2 (en) * 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2327218C2 (ru) * 2003-05-09 2008-06-20 Майкрософт Корпорейшн Создание и выполнение режима анимации для графического пользовательского интерфейса
RU2434263C2 (ru) * 2006-07-19 2011-11-20 Сони Эрикссон Мобайл Коммьюникейшнз Аб Устройства и способы, предназначенные для обеспечения модификаций выходных данных в электронном устройстве в ответ на движение
US20130120386A1 (en) * 2011-08-26 2013-05-16 Gregg D. Wilensky Systems and Methods for Simulating the Effects of Liquids on a Camera Lens
US20140092115A1 (en) * 2012-10-02 2014-04-03 Futurewei Technologies, Inc. User Interface Display Composition with Device Sensor/State Based Graphical Effects

Also Published As

Publication number Publication date
WO2017129041A1 (en) 2017-08-03
AU2017212441B2 (en) 2019-12-05
CN108431868A (zh) 2018-08-21
US10296088B2 (en) 2019-05-21
JP2019511069A (ja) 2019-04-18
US20170212592A1 (en) 2017-07-27
KR20180103148A (ko) 2018-09-18
AU2017212441A1 (en) 2018-08-16
CN108431868B (zh) 2020-12-15
KR102128862B1 (ko) 2020-07-01
EP3400514A1 (en) 2018-11-14
JP6727575B2 (ja) 2020-07-22
EP3400514B1 (en) 2020-06-24
EP3400514A4 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
US20140201656A1 (en) User interfaces
US20070120846A1 (en) Three-dimensional motion graphic user interface and apparatus and method for providing three-dimensional motion graphic user interface
US20120092340A1 (en) Systems, methods, and computer-readable media for manipulating graphical objects
CN112230836B (zh) 对象的移动方法、装置、存储介质和电子装置
CN106658139B (zh) 一种焦点控制方法及装置
US10275947B2 (en) Modifying a simulated character by direct manipulation
CN112017133B (zh) 一种图像展示方法、装置及电子设备
US20160063669A1 (en) Dynamic Motion Path Blur User Interface
JP7456021B2 (ja) ゲームの表示制御方法、表示制御装置、電子機器および機械可読記憶媒体
RU2706182C1 (ru) Тактильно коррелированные графические эффекты
CN109598672B (zh) 一种地图道路渲染方法及装置
CN115129224B (zh) 移动控制的方法、装置、存储介质及电子设备
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
KR20160143936A (ko) 선택적 3d 렌더링 방법 및 이를 위한 시스템
US10964122B2 (en) Snapping virtual object to target surface
KR20170086591A (ko) 캐싱된 텍스쳐 공간 블러를 사용한 모션 블러
CN110941389A (zh) 一种焦点触发ar信息点的方法及装置
CN111311760A (zh) 一种三维建筑物展示方法、系统、装置及存储介质
CN112394893B (zh) 可视化配屏方法、装置、系统以及计算机可读介质
CN103365622B (zh) 一种三维粒子画面的调整方法和装置
US20140375655A1 (en) Gravity point drawing method
CN110264393B (zh) 一种信息处理方法、终端和存储介质
CN114972593A (zh) 图像渲染方法、装置及非易失性存储介质
CN113470144A (zh) 一种页面元素的圆角绘制方法、装置、设备和可读介质
JP2021064334A (ja) 画像処理装置、画像処理方法、及びプログラム