RU2644142C2 - Контекстный пользовательский интерфейс - Google Patents
Контекстный пользовательский интерфейс Download PDFInfo
- Publication number
- RU2644142C2 RU2644142C2 RU2014148164A RU2014148164A RU2644142C2 RU 2644142 C2 RU2644142 C2 RU 2644142C2 RU 2014148164 A RU2014148164 A RU 2014148164A RU 2014148164 A RU2014148164 A RU 2014148164A RU 2644142 C2 RU2644142 C2 RU 2644142C2
- Authority
- RU
- Russia
- Prior art keywords
- user
- interface
- user interface
- context
- optimized
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
- A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/493—Resuming a game, e.g. after pausing, malfunction or power failure
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
- H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Abstract
Изобретение относится к области вычислительной техники. Технический результат заключается в оптимизации интерфейса для представления контекста данных изображения. Технический результат достигается за счет определения настоящего контекста для пользовательского интерфейса посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу; определения, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом при выполнении жеста, посредством анализа данных изображения; и после определения того, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом, автоматического генерирования обновленного пользовательского интерфейса, где размещение интерфейсных объектов изменено для обеспечения пользователю возможности выполнять жесты правой рукой вместо жестов левой рукой. 3 н. и 17 з.п. ф-лы, 15 ил.
Description
Пользовательские интерфейсы для телевизоров, игровых консолей, медиаплееров, персональных компьютеров и других устройств стали слишком сложными. Устройства имеют все больше и больше приложений и программ, посредством которых пользователи могут обращаться к непрерывно расширяющемуся количеству контента. Кроме того, пользователи имеют многочисленные механизмы для взаимодействия с интерфейсами. Интерфейс, приспособленный для одного вида взаимодействия, может не быть подходящим или оптимизированным для второго вида взаимодействия.
Сущность изобретения
Этот раздел «Сущность изобретения» предназначен для представления выбора понятий в упрощенном виде, которые дополнительно описываются ниже в подробном описании. Этот раздел «Сущность изобретения» не предназначен ни для определения ключевых признаков или существенных признаков заявленного изобретения, ни для использования изолированно в качестве средства при определении объема заявленного изобретения.
Варианты осуществления настоящего изобретения анализируют контекст, в котором пользователь взаимодействует с интерфейсом компьютера и автоматически оптимизирует интерфейс для контекста. Контроллер или режим управления, который пользователь выбирает для взаимодействия, может частично определять контекст. Примеры режимов управления включают в себя выполнение жестов, звуковое управление, использование устройств-компаньонов и использование специализированных устройств управления, таких как игровые контроллеры и дистанционное управление. Разные устройства ввода предназначены для разных задач. Тем не менее, пользователь часто пытается выполнить задачу, используя ввод управления, который не приспособлен для этой задачи. Варианты осуществления настоящего изобретения изменяют характеристики пользовательского интерфейса, чтобы сделать более легким завершение пользователем предполагаемой задачи, используя устройство ввода по выбору пользователя.
В дополнение к адаптации интерфейса к выбранному механизму взаимодействия, интерфейсы могут дополнительно оптимизироваться на основе окружающих условий. Окружающие условия включают в себя расположение человека относительно других людей и объектов в комнате, а также контент, отображаемый на одном или нескольких интерфейсах. Например, интерактивное меню может быть представлено на части экрана, которая не загораживается объектом или человеком, стоящим между экраном и пользователем, который пытается взаимодействовать с контентом на экране. Таким образом, если нижний правый угол экрана был загорожен человеком, тогда справочная информация будет представлена на другой части экрана. Аналогично, если пользователь имеет телефон или другой объект в своей правой руке, тогда меню на основе жестов может оптимизироваться для использования левой рукой. Например, объекты меню могут быть перемещены к левой стороне экрана, так что пользователю нет необходимости тянуться поперек своего туловища, чтобы виртуально выбрать объекты интерфейса.
Варианты осуществления настоящего изобретения могут использовать различные сигналы для выяснения настоящего контекста. Примерные сигналы включают в себя данные цветного изображения, собранные камерой, данные 3D-изображения, собранные камерой с глубиной или другим 3D-устройством сбора данных, звуковые сигналы и информацию о состоянии от одного или нескольких вычислительных устройств и контроллеров в окрестности.
Краткое описание чертежей
Ниже подробно описываются варианты осуществления изобретения с ссылкой на прилагаемые фигуры чертежей, на которых:
фиг. 1 представляет собой блок-схему примерной вычислительной среды, подходящей для реализации вариантов осуществления изобретения;
фиг. 2 представляет собой диаграмму, иллюстрирующую многочисленные среды связи между игровыми консолями, игровыми услугами и устройствами-компаньонами, согласно варианту осуществления настоящего изобретения;
фиг. 3 представляет собой диаграмму, изображающую вычислительную среду, подходящую для использования контекста взаимодействия, чтобы оптимизировать пользовательский интерфейс, согласно варианту осуществления настоящего изобретения;
фиг. 4 представляет собой диаграмму, изображающую пользователя, взаимодействующего с интерфейсом, оптимизированным для использования жестов, согласно варианту осуществления настоящего изобретения;
фиг. 5 представляет собой диаграмму, изображающую пользователя, взаимодействующего с интерфейсом, который автоматически оптимизируется для использования с устройством-компаньоном, которое распознается игровой консолью, согласно варианту осуществления настоящего изобретения;
фиг. 6 представляет собой диаграмму, изображающую пользователя, взаимодействующего со справочным интерфейсом, оптимизированным для использования с игровым контроллером, согласно варианту осуществления настоящего изобретения;
фиг. 7 представляет собой диаграмму, изображающую пользователя, взаимодействующего со справочным интерфейсом, оптимизированным для использования со звуковым управлением, согласно варианту осуществления настоящего изобретения;
фиг. 8 представляет собой диаграмму, изображающую пользователя, взаимодействующего со справочным интерфейсом, оптимизированным для использования с устройством-компаньоном, согласно варианту осуществления настоящего изобретения;
фиг. 9 представляет собой диаграмму, изображающую пользователя, взаимодействующего с интерфейсом, оптимизированным для жестов левой рукой, согласно варианту осуществления настоящего изобретения;
фиг. 10 представляет собой диаграмму, изображающую пользователя, взаимодействующего с интерфейсом, оптимизированным для жестов правой рукой, согласно варианту осуществления настоящего изобретения;
фиг. 11 представляет собой диаграмму, изображающую пользователя, взаимодействующего с интерфейсом, оптимизированным в результате объекта, манипулируемого пользователем, согласно варианту осуществления настоящего изобретения;
фиг. 12 представляет собой диаграмму, иллюстрирующую использование идентификации объекта или одежды в окружающей обстановке, чтобы генерировать соответствующий интерфейс, согласно варианту осуществления настоящего изобретения;
фиг. 13 представляет собой блок-схему последовательности операций, изображающую способ представления интерфейса, который оптимизирован для настоящего контекста, согласно варианту осуществления настоящего изобретения;
фиг. 14 представляет собой блок-схему последовательности операций, изображающую способ представления интерфейса, который оптимизирован для настоящего контекста, согласно варианту осуществления настоящего изобретения; и
фиг. 15 представляет собой блок-схему последовательности операций, изображающую способ представления интерфейса, который оптимизирован для настоящего контекста, согласно варианту осуществления настоящего изобретения.
Подробное описание
Описывается существо вариантов осуществления изобретения, при этом специфичность в данном документе удовлетворяет требованиям закона. Однако предполагается, что само описание не ограничивает объем данного патента. Скорее, изобретатели рассматривали, что заявленное изобретение также может воплощаться другими способами, включая разные этапы или комбинации этапов, подобно тем, которые описаны в данном документе, вместе с другими настоящими или будущими технологиями. Кроме того, хотя термины «этап» и/или «блок» могут использоваться в данном документе для ассоциации разных элементов применяемых способов, термины не должны интерпретироваться как подразумевающие какой-либо конкретный порядок среди или между различными этапами, описанными в данном документе, исключая и кроме, когда явно описывается порядок индивидуальных этапов.
Варианты осуществления настоящего изобретения анализируют контекст, в котором пользователь взаимодействует с интерфейсом компьютера и автоматически оптимизирует интерфейс для контекста. Взаимодействия пользователя с пользовательским интерфейсом могут включать в себя предоставление разных степеней внимания интерфейсу, простирающихся от игнорирования интерфейса до полного внимания. Контроллер или режим управления, который пользователь выбирает для взаимодействия, может определять, в частности, контекст. Примеры режимов управления включают в себя выполнение жестов, звуковое управление, использование устройств-компаньонов и использование специализированных устройств управления, таких как игровые контроллеры и дистанционное управление. Разные устройства ввода предназначены для разных задач. Кроме того, пользователь часто пытается выполнить задачу, используя ввод управления, который не адаптирован для задачи. Варианты осуществления настоящего изобретения изменяют характеристики пользовательского интерфейса, чтобы сделать более легким завершение пользователей предполагаемой задачи, используя устройство ввода по выбору пользователя.
В дополнение к адаптированию интерфейса к выбранному механизму взаимодействия интерфейсы могут дополнительно оптимизироваться на основе окружающих условий. Окружающие условия включают в себя расположение человека относительно других людей и объектов в комнате, а также контент, отображаемый на одном или нескольких интерфейсах. Например, интерактивное меню может быть представлено на части экрана, которая не загораживается объектом или человеком, стоящим между экраном и пользователем, который пытается взаимодействовать с контентом на экране. Таким образом, если нижний правый угол экрана был загорожен человеком, тогда справочная информация будет представлена на другой части экрана. Аналогично, если пользователь имеет телефон или другой объект в своей правой руке, тогда меню на основе жестов может оптимизироваться для использования левой рукой. Например, объекты меню могут быть перемещены на левую сторону экрана, так что пользователю нет необходимости тянуться поперек своего туловища, чтобы виртуально выбрать объекты интерфейса.
Варианты осуществления настоящего изобретения могут использовать различные сигналы для выяснения настоящего контекста. Примерные сигналы включают в себя данные цветного изображения, собранные камерой, данные 3D-изображения, собранные камерой с глубиной или другим 3D-устройством сбора данных, звуковые сигналы и информация о состоянии от одного или нескольких вычислительных устройств и контроллеров поблизости.
Кратко описав обзор вариантов осуществления изобретения, ниже описывается примерная операционная среда, подходящая для использования при реализации вариантов осуществления изобретения.
Примерная операционная среда
Ссылаясь на чертежи в целом, и первоначально на фиг. 1 в частности, примерная операционная среда для реализации вариантов осуществления изобретения показана и обозначена, в целом, как вычислительное устройство 100. Вычислительное устройство 100 представляет собой только один пример подходящей вычислительной среды и, как подразумевается, не предполагает никакого ограничения на объем использования или функциональные возможности изобретения. Вычислительное устройство 100 также не должно интерпретироваться как имеющее какую-либо зависимость или требование, относящееся к любому одному или комбинации изображенных компонентов.
Изобретение может быть описано в общем контексте компьютерного кода или используемых машиной инструкций, включая исполняемые компьютером инструкции, такие как программные компоненты, исполняемые компьютером или другой машиной, такой как персональный помощник по обработке данных или другое карманное устройство. Обычно, программные компоненты, включающие в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.п., ссылаются на код, который выполняет конкретные задачи или реализует конкретные абстрактные типы данных. Варианты осуществления изобретения могут быть выполнены на практике в различных системных конфигурациях, включая карманные устройства, бытовую электронику, компьютеры общего назначения, специализированные вычислительные устройства и т.д. Варианты осуществления изобретения также могут быть выполнены на практике в распределенных вычислительных средах, где задачи выполняются устройствами с удаленной обработкой, которые связаны посредством сети передачи данных.
Продолжая ссылаться на фиг. 1, вычислительное устройство 100 включает в себя шину 110, которая непосредственно или косвенно связывает следующие устройства: память 112, один или несколько процессоров 114, один или несколько компонентов 116 представления, порты 118 ввода/вывода (I/O), компоненты 120 I/O, иллюстративный источник 122 питания, радиостанцию 124 и датчик 126. Шина 110 представляет то, что может представлять собой одну или несколько шин (таких как адресная шина, шина данных или их комбинацию). Хотя различные блоки на фиг. 1 показаны с линиями ради ясности, в действительности, схематическое изображение различных компонентов не является таким ясным, и, образно, линии, более точно, были бы серыми и нечеткими. Например, можно рассматривать компонент представления, такой как устройство отображения, представляющим собой компонент 120 I/O. Также, процессоры имеют память. Изобретатели изобретения признают, что такая сущность графических материалов, и повторяют, что диаграмма на фиг. 1 является просто иллюстративной примерного вычислительного устройства, которое может использоваться в связи с одним или несколькими вариантами осуществления изобретения. Не делается различие между такими категориями как «рабочая станция», «сервер», «портативный компьютер», «карманное устройство» и т.д., так как все рассматриваются в пределах объема фиг. 1 и ссылки на «компьютер» или «вычислительное устройство».
Вычислительное устройство 100 обычно включает в себя многочисленные считываемые компьютером среды. Считываемые компьютером среды могут представлять собой любые доступные среды, к которым может обращаться вычислительное устройство 100, и которые включают в себя как энергозависимые, так и энергонезависимые среды, съемные и несъемные среды. В качестве примера и не ограничения, считываемые компьютером среды могут содержать запоминающие среды компьютера и среды передачи данных. Запоминающие среды компьютера включают в себя как энергозависимые, так и энергонезависимые, съемные и несъемные носители, реализуемые любым способом или по любой технологии для хранения информации, такой как считываемые компьютером инструкции, структуры данных, программные модули или другие данные.
Запоминающие среды компьютера включают в себя оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), электрически стираемое программируемое ROM (EEPROM), флэш-память или другую технологию памяти, компакт-диск (CD-ROM), цифровые многофункциональные диски (DVD) или другое оптическое дисковое запоминающее устройство, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитных дисках или другие магнитные запоминающие устройства. Запоминающие среды компьютера не содержат распространяемый сигнал данных.
Среды передачи данных обычно воплощают в себе считываемые компьютером инструкции, структуры данных, программные модули или другие данные в модулированном данными сигнале, таком как несущая волна или другой транспортный механизм, и включают в себя любые среды доставки информации. Термин «модулированный данными сигнал» означает сигнал, который имеет одну или несколько из своих характеристик, устанавливаемых или изменяемых таким образом, чтобы кодировать информацию в сигнале. В качестве примера, и не ограничения, среды передачи данных включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные (RF), инфракрасные и другие беспроводные среды. Комбинации любых из вышеперечисленных также должны быть включены в объем считываемых компьютером сред.
Память 112 включает в себя считываемые компьютером среды в виде энергозависимой и/или энергонезависимой памяти. Память 112 может быть съемной, несъемной или их комбинацией. Примерная память включает в себя твердотельную память, жесткие диски, приводы на оптических дисках и т.д. Вычислительное устройство 100 включает в себя один или несколько процессоров 114, которые считывают данные с различных объектов, таких как шина 110, память 112 или компоненты 120 I/O. Компонент(ы) 116 представления представляют указания данных для пользовательского или другого устройства. Примерные компоненты 116 представления включают в себя устройство отображения, громкоговоритель, печатающий компонент, вибрирующий компонент и т.д. Порты 118 I/O позволяют вычислительному устройству 100 логически соединяться с другими устройствами, включая компоненты 120 I/O, некоторые из которых могут быть встроенными. Иллюстративные компоненты 120 I/O включают в себя микрофон, джойстик, игровой планшет, сканер, аппаратную/программную кнопку, дисплей с сенсорным экраном и т.д.
Радиостанция 124 передает и принимает радиосвязь. Вычислительное устройство 100 может представлять собой беспроводный терминал, приспособленный к приему связи и мультимедиа по различным беспроводным сетям. Вычислительное устройство 100 может выполнять связь посредством беспроводных протоколов, таких как многостанционный доступ с кодовым разделением каналов (CDMA), глобальная система для мобильной связи (GSM) или многостанционный доступ с временным разделением каналов (TDMA), а также другие, для выполнения связи с другими устройствами (не показаны на фиг. 1). Радиосвязь может представлять собой соединение с малым радиусом действия, соединение с большим радиусом действия или комбинацию соединения беспроводной связи как малого радиуса действия, так и большого радиуса действия. Когда изобретатели ссылаются на тип соединения «малого радиуса действия» и «большого радиуса действия», они не подразумевают ссылаться на пространственную зависимость между двумя устройствами. Вместо этого, они обычно ссылаются на малый радиус действия и большой радиус действия как на разные категории, или типы, соединений (т.е. первичное соединение и вторичное соединение). Соединение с малым радиусом действия может включать в себя соединение Wi-Fi® (беспроводная точность) с устройством (например, мобильной точкой общественного доступа), которое обеспечивает доступ к сети беспроводной связи, такой как соединение беспроводной локальной сети (WLAN), использующее протокол 802.11. Соединение Bluetooth с другим вычислительным устройством представляет собой второй пример соединения с малым радиусом действия. Соединение с большим радиусом действия может включать в себя соединение, использующее один или несколько из протоколов CDMA, GPRS (пакетная радиосвязь общего назначения), GSM, TDMA и 802.16.
Датчик 126 наблюдает за устройством и окружающими характеристиками и состояниями. Примерные датчики содержат акселерометры, гироскопы, определения местоположения/GPS (глобальная система позиционирования), датчики приближения, светочувствительные датчики и датчики вибраций.
Опыт взаимодействия пользователя со многими устройствами
Обращаясь теперь к фиг. 2, на ней показана сетевая операционная среда 200, содержащая многочисленные вычислительные устройства, которые могут обеспечивать возможности взаимодействия с устройствами-компаньонами, согласно вариантам осуществления настоящего изобретения. Среда 200 включает в себя первичное устройство 210, устройства-компаньоны 252, 254, 256 и 258, беспроводный маршрутизатор 250, базовую станцию 260, сеть 230 и сервер 220 возможностей взаимодействия с устройствами-компаньонами. Эти устройства являются просто примерными и не предназначены быть ограничивающими.
Первичным устройством 210 может быть игровая консоль, консоль мультимедиа или другое подходящее вычислительное устройство, которое представляет заголовки. Заголовками могут быть игры, фильмы, приложения, музыка, видео, телевизионные программы и другой мультимедийный контент. Игровая консоль может быть связана с дисплеем, таким как телевизор.
Устройства-компаньоны 252, 254, 256 и 258 представляют собой вычислительные устройства. Устройством-компаньоном, как используется в данной заявке, является персональное вычислительное устройство, которое обеспечивает второй дисплей. Примеры включают в себя портативные компьютеры, персональные компьютеры (PC), нетбуки, смартфоны, электронные книги, персональные цифровые помощники (PDA) и планшеты. Возможности взаимодействия пользователя с устройствами-компаньонами позволяют пользователю взаимодействовать с контентом, относящимся к мультимедиа, воспроизводимым на первичном устройстве 210 посредством интерфейсов на устройстве-компаньоне. Возможности взаимодействия пользователя с устройствами-компаньонами также могут позволять пользователю управлять представлением мультимедиа при помощи интерфейса на устройстве-компаньоне.
Сервер 220 возможностей взаимодействия с устройствами-компаньонами обеспечивают возможности взаимодействия пользователя с устройствами-компаньонами посредством предоставления контента устройства-компаньона, приложений устройства-компаньона, регистрации и аутентификации устройств-компаньонов, способствования передаче данных между первичными устройствами и устройствами-компаньонами и выполнения других задач. Доступ к серверу возможностей взаимодействия с устройствами-компаньонами может выполняться посредством глобальной сети, такой как Интернет.
Устройства-компаньоны 252, 254, 256 и 258 могут выполнять связь непосредственно с первичным устройством 210 по Bluetooth или по проводному соединению. Устройства-компаньоны также могут выполнять связь по локальной беспроводной сети, создаваемой беспроводным маршрутизатором 250. Эти соединения могут быть непосредственными, или они могут маршрутизироваться через сервер возможностей взаимодействия с устройствами-компаньонами. Устройства-компаньоны также могут выполнять связь с первичным устройством посредством службы передачи данных, выполняемой базовой станцией 260. Базовая станция 260 может маршрутизировать связь на первичное устройство посредством любой связи с Интернетом 230, которую использует первичное устройство. Базовая станция 260 также может быть на непосредственной связи с первичным устройством, если первичное устройство использует эту же службу передачи данных.
Подсистема зависящего от контекста интерфейса
Обращаясь теперь к фиг. 3, на ней показана подсистема 300 зависящего от контекста интерфейса с компонентами, подходящими для обнаружения контекста взаимодействия и оптимизирования пользовательского интерфейса, согласно варианту осуществления настоящего изобретения. Подсистема 300 включает в себя компонент 310 определения контекста, хранилище 312 данных контекста, хранилище 314 данных пользователя, компонент 316 распознавания людей, компонент 318 распознавания объектов, компонент 320 распознавания устройств и компонент 322 активации интерфейса. Подсистема 300 зависящего от контекста интерфейса представляет собой просто пример одной подходящей архитектуры и подразумевается, что он не предлагает никакого ограничения в отношении объема использования или функциональных возможностей настоящего изобретения. Также подсистема 300 зависящего от контекста интерфейса не должна интерпретироваться как имеющая какую-либо зависимость или требование, относящиеся к любому единственному компоненту или комбинации изображенных в ней компонентов. Подсистема 300 зависящего от контекста интерфейса может постоянно находиться на единственном вычислительном устройстве или быть распределенным по многочисленным устройствам, включая многочисленные устройства, соединенные в домашней сети, локальной сети или глобальной сети. Части индивидуальных компонентов могут постоянно находиться частично на клиенте и частично на сервере или иным образом быть распределены по многочисленным устройствам.
Компонент 310 определения контекста определяет настоящий контекст взаимодействия пользователя. Контекст содержит действия пользователя и взаимодействия пользователя с устройствами, другими людьми и контент, отображаемый в данный момент на одном или нескольких устройствах. Компонент 310 определения контекста может использовать контекстные шаблоны для идентификации и маркирования контекста. Контекстный шаблон может описывать характеристики контекста и рекомендовать характеристики интерфейса, которые оптимизированы для контекста. Характеристики контекста используются для идентификации настоящего контекста. Рекомендуемыми характеристиками интерфейса являются те, которые оптимизированы или рекомендованы для контекста.
Компонент 310 определения контекста может быть привлечен к участию в построение или оптимизирование контекстных шаблонов, основываясь на действиях пользователя, наблюдаемых при использовании системы. Реакции пользователя на оптимизированные интерфейсы могут отслеживаться и использоваться для изменения контекстных шаблонов. Например, когда пользователь не взаимодействует с функциональными элементами, добавленными к оптимизированному интерфейсу, эти функциональные элементы могут быть удалены из шаблона. Если пользователи части направляются с первого функционального элемента интерфейса на второй функциональный элемент на втором интерфейсе, тогда первый и второй функциональные элементы интерфейса могут быть объединены в новый оптимизированный интерфейс.
В одном варианте осуществления данные от взаимодействий пользователя с интерфейсом могут передаваться на сервер, основываясь на машинном обучении и анализе, которые объединяют информацию от многочисленных пользователей для создания и модифицирования шаблонов. Шаблоны затем могут ассоциироваться с людьми в аналогичной ситуации и использоваться для распознавания взаимодействий, которые указывают намерение пользователя взаимодействовать с интерфейсом определенным образом. Например, контекстные шаблоны могут ассоциироваться с мужчинами 30-35 лет, которые используют игровой планшет своей правой рукой для навигации по интерфейсу выбора мультимедиа. Характеристика пользователя может наблюдаться или собираться из учетных данных, может извлекаться соответствующий шаблон и может оптимизироваться интерфейс в соответствии с шаблоном. Контекстные шаблоны могут храниться на сервере, и к ним можно обращаться по требованию, или они могут периодически передаваться на вычислительное устройство.
Например, контекстный шаблон ввода жеста имеет ввод жеста в качестве характеристики. Ввод жеста происходит тогда, когда пользователь двигает своим туловищем, или частями туловища, в жесте, который распознается устройством ввода, таким как камера с глубиной. Например, пользователь может выполнять жест пальцами вверх, предполагая повысить громкость телевизора. В любом случае, контекстный шаблон может включать в себя характеристики контекста, которые включают в себя пользователя, не держащего устройство управления, или пользователя, не производящего впечатления, что он будет выполнять взаимодействие посредством удерживаемого устройства управления в дополнение к выполнению распознаваемых жестов. В ответ, функциональные элементы оптимизированного пользовательского интерфейса могут включать в себя большие выбираемые объекты. Следовательно, пользовательский интерфейс может увеличиваться в масштабе, или выбираемые объекты могут увеличиваться в размере. В другом варианте осуществления увеличивается зона выбора вокруг объектов. Каждый контекст имеет разные характеристики и функциональные элементы оптимизированного интерфейса. Некоторые контексты могут совместно использовать характеристики с другими контекстами и функциональными элементами оптимизированного интерфейса.
Режим ввода является только одной особенностью контекста. Например, может быть целый класс контекстов на основе жестов, включающих в себя жесты правой рукой, жесты левой рукой, скрытые жесты и жесты многих людей. Компонент 310 определения контекста может использовать режим ввода в качестве начальной точки для выбора класса контекстов. Когда принимается больше информации, контекст может обновляться, и, соответствующим образом, может корректироваться интерфейс. Интерфейс может динамически обновляться, когда увеличивается или уменьшается уверенность в контекстном сценарии. Обычно, меньшая уверенность в конкретном контексте может приводить к отображению более обобщенного интерфейса, который не оптимизирован для конкретного контекста, но адаптируется для использования в разных контекстах.
Использование ввода специализированного устройства представляет собой другой класс контекстов. Специализированные устройства включают в себя дистанционное управление и игровые контроллеры и имеют тенденцию быть очень специализированными и менее гибкими. Характеристики, которые используются для определения того, что используется специализированное устройство, включают в себя взятие пользователем специализированного устройства и использование специализированного устройства. Это противоположно тому, что устройство откладывается или просто перемещается. В дополнение к использованию камеры для определения, производит ли впечатление, что пользователь использует устройство в качестве механизма управления, сигналы, принимаемые от специализированного устройства, могут подтвердить то, что наблюдается, посредством данных изображения. В этом случае, интерфейс может адаптироваться или оптимизироваться для использования с выбранным специализированным устройством. Компонент 310 определения контекста может работать с компонентом 320 распознавания устройств для идентификации специализированного устройства.
Взаимодействие с устройством-компаньоном представляет собой другой класс контекстов. Взаимодействие с устройством-компаньоном включает в себя использование устройства-компаньона, такого как смартфон или планшет. Устройства-компаньоны могут иметь сенсорный экран, который позволяет пользователю выполнять точный или детальный выбор и просмотр дополнительного контента. Устройства-компаньоны также могут иметь аппаратную или программную клавиатуру, которая позволяет пользователю вводить текст. Характеристики взаимодействия с устройством-компаньоном включают в себя взятие устройства-компаньона. Устройство-компаньон может идентифицироваться по его внешнему виду и по сигнальным данным, принимаемым устройством. Например, пакеты данных, передаваемые с устройства-компаньона во время установления сеанса связи, могут включать в себя унифицированный указатель ресурса (URL), который идентифицирует устройство и характеристики устройства.
В одном варианте осуществления компонент 316 распознавания людей используется для ассоциирования индивидуальных устройств с людьми. Например, много людей может быть в комнате с многими устройствами. Компонент 316 распознавания людей может помочь определить, кто что делает со своим устройством. Например, первый человек может ассоциироваться с устройством, которое лежит на столе, которое игнорируется. В этом случае, пользовательскому интерфейсу нет необходимости помещать относящийся контент на устройство-компаньон этого человека или переходить к контексту интерфейса, который оптимизирован для управления устройством-компаньоном. С другой стороны, если второй человек просматривает свое устройство-компаньон, дополнительный контент может быть направлен устройству, чтобы улучшить или дополнить возможности просмотра второго человека или способность управлять интерфейсом, если это требуется.
Варианты осуществления настоящего изобретения предпринимают попытку предвидеть, что пользователь захочет использовать устройство-компаньон как часть взаимодействия с интерфейсом. Например, пользователь, который пытается выполнить навигацию в интерфейсе веб-браузера, используя жесты, может поднять устройство-компаньон вскоре после выбора текстового блока. Варианты осуществления настоящего изобретения могут автоматически открывать программную клавиатуру на устройстве-компаньоне, чтобы предоставить пользователю возможность набора на клавиатуре, используя устройство-компаньон. Эта оптимизация происходит без выполнения пользователем чего-либо еще кроме взятия устройства-компаньона, или, если он уже держит его, перемещения его таким образом, который указывает, что он готовится его использовать. Контекст в этом случае также принимает во внимание состояние приложения браузера. В этом случае, контекст включает в себя активный текстовой блок. Если пользователь не держал устройство-компаньон, программная клавиатура не открывается, и вместо этого может открываться клавиатура жестов на главном дисплее.
Звуковой контекст представляет собой другой класс контекстов, где интерфейс может быть оптимизирован. Например, может быть трудным различать между людьми, говорящими в комнате, и человеком, хотящим начать использование звуковых команд для управления интерфейсом. В одном варианте осуществления звуковой интерфейс включается при обнаружении, что пользователь, который непосредственно взаимодействует с интерфейсом, использует речевые команды. Внимание пользователя к интерфейсу может определяться посредством данных изображения, которые подтверждают, что пользователь просматривает интерфейс, в противоположность разговора с другими людьми. Присутствие других людей в комнате также может помочь определить контекст. Например, может быть маловероятным, что люди говорят сами с собой, и любые произнесенные слова могут включать систему распознавания звука, когда единственный человек находится в комнате. В противоположность этому, при многочисленных людях в комнате может быть нежелательным включение системы распознавания звука без более явной команды от пользователя.
В дополнение к оптимизации визуального внешнего вида интерфейса, полностью новый интерфейс может быть представлен при определении контекста. Например, если пользователь взаимодействует с веб-браузером, используя жесты, и затем берет игровой контроллер, может быть выполнено контекстное определение, что пользователь хочет поиграть в игру, а не взаимодействовать с веб-браузером, используя игровой контроллер. В этом случае, вместо оптимизирования веб-браузера для использования с игровым контроллером, может быть представлена домашняя страница игры или другой относящийся к игре интерфейс. В одном варианте осуществления пользователь автоматически переносится в игру, в которую он играл в последний раз.
Компонент 310 определения контекста может применять один или несколько алгоритмов машинного обучения для распознавания контекстных ситуаций и ассоциировать их с соответствующим контекстным шаблоном. В частности, компонент 310 определения контекста может ввести различные характеристики пользователя, хранимые в хранилище 314 данных пользователя, чтобы способствовать идентификации контекста, который является подходящим. Таким образом последнее поведение и предпочтения пользователя могут быть включены в процесс определения контекста.
Хранилище 312 данных контекста хранит характеристики контекста и дополнительную информацию. Характеристики контекста могут определяться или сохраняться в виде контекстных шаблонов. В одном варианте осуществления использование контекста для пользователя сохраняется в хранилище 312 данных контекста. Другими словами, наиболее широко применяемые контексты могут выясняться для конкретного пользователя и использоваться в будущем для устранения неоднозначности определения контекста. Хранилище 312 данных контекста может находиться на единственном вычислительном устройстве или распределяться по многочисленным устройствам, включая многочисленные устройства, соединенные в домашнюю сеть, локальную сеть или глобальную сеть. Данные, ассоциированные с хранилищем 312 данных контекста, могут находиться частично на клиенте и частично на сервере или иным образом распределяться по многочисленным устройствам.
Компонент 318 распознавания объектов использует данные изображения для распознавания неодушевленных объектов в комнате. Это в противоположность людям, которые распознаются с использованием компонента 316 распознавания людей. Компонент 318 распознавания людей может распознавать игровые объекты или другие объекты определенного интереса для определения настоящего контекста. Например, компонент 318 распознавания объектов может распознавать игровой объект, такой как теннисная ракетка или шляпа волшебника. При распознавании теннисной ракетки может немедленно открываться игра в теннис в режиме, когда пользователь может играть с использованием ракетки. В примере со шляпой волшебника варианты осуществления настоящего изобретения могут выбирать любимую игру пользователя, которая включает в себя волшебника, и выбирать персонаж, основываясь на шляпе. В играх с разными персонажами разные известные части одежды или атрибуты игры могут использоваться в качестве подсказки для автоматического открытия этой игры или выбора конкретного персонажа.
В другом варианте осуществления компонент 318 распознавания объектов распознает различные объекты, с которыми пользователь взаимодействует, и устанавливает надлежащий контекст. Например, пользователь, пьющий колу правой рукой пользователя, может захотеть выполнить жесты левой рукой и не ставить колу. В этом случае, интерфейс жестов может оптимизироваться для использования левой рукой.
Компонент 320 распознавания устройств распознает устройства ввода управления, включая специализированные устройства и устройства-компаньоны. Разные устройства распознаются с использованием данных изображения, подобно тем, используемым компонентом 318 распознавания объектов, но также могут использовать сигнальные данные, принимаемые от устройств-компаньонов и специализированных устройств. Сигнальные данные могут использоваться в комбинации с данными камеры для идентификации конкретного устройства в окружающей обстановке. Например, несколько игровых контроллеров могут выглядеть одинаково. Однако, используя данные камеры, которые показывают взаимодействие пользователя, такое как нажатие кнопок или перемещение джойстика, конкретный контроллер может идентифицироваться посредством сопоставления данных изображения и управления. В одном варианте осуществления компонент 316 распознавания людей используется для ассоциирования конкретного человека или пользователя с конкретным устройством. Таким образом игроки могут быть приведены в их последнюю точку прохождения, или состояние игры, в результате простого взятия контроллера.
С устройствами-компаньонами данные регистрации и другие характеристики пользователя также могут оцениваться для ассоциирования устройства с конкретным человеком или игроком с учетной записью на первичном устройстве. Дополнительно, подобно игровому контроллеру, наблюдаемые взаимодействия пользователя с устройством могут синхронизироваться с данными управления, принимаемыми от устройства, чтобы поместить устройство в окружающую обстановку и с конкретным человеком.
Компонент 322 активации интерфейса активирует подходящий интерфейс для контекста, определенного компонентом 310 определения контекста. В одном варианте осуществления компонент 322 активации интерфейса выполняет связь с активным приложением, где это подходит, и обеспечивает новые установки интерфейса, которые должны быть использованы в контексте. Установки интерфейса могут быть скопированы с контекстного шаблона.
Контекстные интерфейсы
Фиг. 4 и 5 изображают варианты осуществления изобретения, которые автоматически оптимизируют интерфейс, основываясь на обнаружении изменения способа взаимодействия пользователя с контентом. Способ взаимодействия пользователя представляет собой пример контекста. Разные интерфейсы могут оптимизироваться в зависимости от механизма ввода, применяемого пользователем для взаимодействия с интерфейсом. Например, оптимизированный интерфейс жестов, такой как обеспечиваемый камерой с глубиной, включает в себя большие кнопки и другие большие объекты интерфейса. В противоположность этому, сенсорный экран, джойстик, нажимные кнопки или другой контроллер, которые обеспечивают более детальное управление, могут быть способны показывать больше информации и меньшие интерактивные объекты.
Фиг. 4 изображает пользователя 405, сидящего на своем диване, взаимодействующего с интерфейсом 415, отображаемым на устройстве 400 отображения. Механизм ввода представляет собой интерфейс жестов с областью исполнения, захватываемой камерой 410. Пользователь 405 выполняет жесты своей рукой, ногами, всем туловищем или комбинацией для манипулирования объектами интерфейса, такими как поля E, F, G и H.
Фиг. 5 изображает подобную сцену за исключением того, что пользователь 405 взял игровой контроллер 510. Варианты осуществления настоящего изобретения не ограничиваются игровым контроллером. Пользователь может взять устройство-компаньон, такое как планшет или смартфон. Как можно видеть, новый интерфейс 515 обеспечивает дополнительные варианты выбора, которые совместимы с игровым контроллером 510. Например, пользователь может прокручивать горизонтально посредством нажатия на кнопки A и B контроллеров. Кроме того, поля E, F, G и H меньше, так как их легче выбрать контроллером, что позволяет пользователю манипулировать селектором или курсором с джойстиком или стрелками вверх и вниз.
Варианты данного изобретения включают в себя два этапа. Первый этап обнаруживает, что пользователь изменил свой способ взаимодействия с интерфейсом. Например, когда пользователь переключается с жестов на контроллер, может обновляться активный контекст. Вторым этапом является обновление пользовательского интерфейса, чтобы приспособить новый способ ввода. Могут использоваться несколько разных способов обнаружения. Например, камера может использоваться для активного отслеживания пользователя и наблюдения, какой способ ввода он использует в настоящий момент. В одном примере камера с глубиной может использоваться для идентификации и отслеживания способа ввода или взаимодействия пользователя. Видеосистема может использоваться для обнаружения конкретных маркеров на устройстве ввода для определения, является ли он планшетом, смартфоном, дистанционным управлением телевизора (TV) или игровым контроллером.
Система также определяет тип устройства, который держит пользователь. Алгоритм, например, обнаружитель формы глубины с машинным обучением, может использоваться для определения типа устройства, удерживаемого пользователем. Возможно, что ряд уникальных маркеров или внутренних датчиков размещается в устройстве, или на нем, чтобы системе было легче различать устройство. Другие маркеры могут быть добавлены, чтобы система эффективно различала два идентичных устройства, такие как два игровых контроллера. Разные устройства могут генерировать разные выходные сигналы гироскопа или акселерометра из-за количества и расположения датчиков в устройстве ввода. Этот выходной сигнал может формировать шаблон. Считывание внутренних датчиков, таких как гироскоп, в устройстве, которое берет пользователь, может сопоставляться с библиотекой известных шаблонов и использоваться для определения точного внешнего устройства ввода, которое держит пользователь.
Обнаружение также может происходить посредством оценки идентификационной информации устройства в радиосигналах, передаваемых устройством. Открытие сеанса связи между контроллером, или другим устройством, и вычислительным устройством, управляющим пользовательским интерфейсом, также может включать в себя идентификационную информацию устройства. Например, как описано выше, устройство-компаньон может соединяться с игровой консолью. После этого соединения игровая консоль и устройство-компаньон будут способны выполнять связь. Это соединение может быть открыто, даже если пользователь не использует активно устройство-компаньон. Таким образом, камера с глубиной может обнаруживать, что пользователь ушел с интерфейса жестов, когда пользователь берет устройство-компаньон.
Камера может выполнять обширное определение, что пользователь взял устройство, которое согласуется с одним или несколькими устройствами-компаньонами, которые имеют открытые сеансы связи с пользователем. Камера тогда может сопоставлять вводы, принимаемые от устройства, с обнаруженными движениями. Например, камера может определить, что пользователь касается сенсорного экрана на устройстве-компаньоне одновременно с тем, когда ввод сенсорного экрана были принят по открытому соединению. В этот момент может быть сделано окончательное определение, что пользователь перешел на осуществление ввода с конкретного устройства-компаньона. При выполнении определения пользовательский интерфейс может быть переведен на интерфейс, оптимизированный для взаимодействия с устройством-компаньоном.
Независимо от точного способа, используемого для обнаружения устройства-компаньона, следующим этапом является изменение пользовательского интерфейса. Если система определила, что пользователь заинтересовался новым устройством ввода, уведомляется и обновляется пользовательский интерфейс (UI) соответствующим образом для отображения нового ввода. Например, когда пользователь смотрит фильм на устройстве, которое поддерживает управление жестами и управление голосом, он может использовать свой голос и жесты руками для выполнения навигации по пользовательскому интерфейсу. Если ему надоело смотреть фильм и он решил взять контроллер, чтобы, вместо этого, поиграть во что-либо, обнаруживается изменение контекста. Если система обнаруживает, что он взял контроллер, появляется пользовательский интерфейс, способный выполнять навигацию контроллером, предоставляя ему возможность запустить набор управляемых контроллером игр.
В другом примере, пользователь играет в игру, которая управляется, главным образом, контроллером, но имеет вторичное устройство, такое как планшет, которое отображает дополнительную информацию. Во время взаимодействия с заголовком пользователь берет планшет, и заглавие автоматически переключается на отображение, которое дополняет возможности взаимодействия пользователя с планшетом, такое как карту, или экран управления элементом. Этот пример показывает, что пользовательский интерфейс может переходить таким образом, который является одинаково оптимизированным в отношении размеров или доступных элементов управления, а также генерирования совершенно другого интерфейса с другим контентом, основываясь на задаче, которая, вероятно, выполняется тогда, когда пользователь берет новый контроллер. Таким образом, UI может оптимизироваться, основываясь на способности устройства ввода и, вероятно, задач, выполняемых устройством. Предыстория пользователя использования контроллера и устройства может анализироваться с целью определения оптимального пользовательского интерфейса.
Фиг. 6, 7 и 8 изображают справочные интерфейсы, которые оптимизированы для взаимодействия с разными вводами. Как упомянуто, вводы представляют собой характеристики контекста, для которых интерфейсы оптимизированы.
Фиг. 6 описывает справочный интерфейс, который оптимизирован для игрового контроллера 510, согласно варианту осуществления настоящего изобретения. Как можно видеть, пользователь 405 пытается взаимодействовать с интерфейсом 615, используя игровой контроллер 510. Может выясняться активный механизм ввода посредством комбинации данных изображения, собранных камерой 410, и из сигнальных данных, принимаемых от игрового контроллера 510. Как можно видеть, интерфейс 615 включает в себя справочный интерфейс 630, который сообщает: «Нажмите A для дополнительной информации». «A» описывает метку с кнопкой на игровом контроллере 510. Пользователь может обратиться к меню или другому интерфейсу нажатием A в конкретном контексте. Общее представление мультимедиа, показанное на интерфейсе 615, может не меняться от контекста к контексту. Например, если показанным автомобилем является коммерческая реклама или часть фильма, тогда ее внешний вид может оставаться одинаковым от контекста к контексту. Справочный накладной элемент и другие интерактивные функциональные элементы интерфейса 615 могут меняться с контекстом.
Обращаясь теперь к фиг. 7, на ней показан справочный интерфейс, оптимизированный для звукового управления, согласно варианту осуществления настоящего изобретения. Признаки по фиг. 7 подобны признакам, описанным ранее со ссылкой на фиг. 6. Однако следует отметить, что пользователь 405 больше не держит контроллер. Хотя это не показано, пользователь может произносить команды для указания, что должен быть активирован звуковой интерфейс. Интерфейс 715 включает в себя справочный интерфейс 730, который сообщает: «Скажите «еще» для дополнительной информации». В оптимизированном звуковом режиме различные звуковые команды, которые доступны для пользователя, могут предполагаться на основе задачи, которую пользователь собирается завершить.
Обращаясь теперь к фиг. 8, на ней показан справочный интерфейс или накладной элемент, который оптимизирован для использования с устройством-компаньоном, согласно варианту осуществления настоящего изобретения. Интерфейс 815 подобен интерфейсу, описанному ранее со ссылкой на фиг. 6 и 7, но включает в себя справочный накладной элемент, который сообщает: «Выберите пиктограмму «автомобиль» на планшете для дополнительной информации». Это сообщение ссылается на пиктограмму, отображаемую в данный момент на устройстве-компаньоне 810 пользователя. Этот справочный накладной элемент принимает во внимание не только, какой тип устройства пользователь пытается использовать для управления интерфейсом, но также контент, отображаемый в данный момент на устройстве. Контекстные интерфейсы могут быть составлены посредством обмена информацией о состоянии между приложениями, выполняющимися на устройстве-компаньоне 810 и на устройстве, генерирующим интерфейс 815.
Камера 410 может использоваться для определения, что пользователь фактически держит устройство-компаньон 810 и желает использовать его в качестве механизма управления, перед тем как интерфейс изменится и станет оптимизированным для использования с устройством-компаньоном 810. Например, если бы устройство-компаньон 810 лежало на столе, контекст мог бы быть другим, чем тогда, когда его держит пользователь.
Обращаясь теперь к фиг. 9, на ней показан контекстный интерфейс, который оптимизирован на основе расположения человека в игровой окружающей обстановке, согласно варианту осуществления настоящего изобретению. Фиг. 9 включает в себя игроков 924 и 922, играющих в видеоигру, которая отображается на устройстве 900 отображения. Устройством 900 отображения может быть телевизор. Каждый игрок ассоциируется со своим собственным разделенным экранным интерфейсом. Игрок 922 ассоциируется с разделенным экранным интерфейсом 912, и игрок 924 ассоциируется с интерфейсом 914.
Камерой 910 может быть камера с глубиной, или другое устройство, способное генерировать данные, которые могут использоваться для распознавания людей и объектов. Стрелки указывают, что разделенные экранные интерфейсы 912 и 914 могут меняться местами, если игроки 922 и 924 меняются местами. Этот переход может происходить автоматически при определении, что изменился контекст. В этом случае, изменяющимся контекстом является изменяющееся расположение двух игроков. Таким образом, игроки всегда показываются в прямом видении разделенного экранного интерфейса, с которым они взаимодействуют, независимо от их движений.
В дополнение к переходу во время выполнения игры между разными расположениями интерфейсов, первоначальная установка может оптимизироваться перед выполнением игры посредством выполнения распознавания людей и понимания, какой человек ассоциируется с каким файлом пользователя в игре. Хотя это не показано, игроки 922 и 924 могут использовать игровые контроллеры или устройства-компаньоны для взаимодействия с видеоигрой. В другом варианте осуществления они используют жесты для звукового управления для участия в видеоигре. Независимо от этого их относительные расположения могут идентифицироваться и интерфейс оптимизироваться соответствующим образом.
Обращаясь теперь к фиг. 10 и фиг. 11, на них показаны пользовательские интерфейсы, оптимизированные для использования правой рукой или левой рукой, согласно варианту осуществления настоящего изобретения. Фиг. 10 изображает человека 1040, наблюдающего за контентом, показываемым на устройстве 1000 отображения. Контент включает в себя первичное отображение 1020 и окно 1030 дополнительного контента. Окно 1030 дополнительного контента включает в себя выбираемый объект 1032, выбираемый объект 1034 и выбираемый объект 1036. Пиктограммы и кнопки представляют собой примеры выбираемых объектов. Камера 1010 способна захватывать данные, которые используются для идентификации людей и объектов. Кроме того, информация может использоваться для определения движений человека, таких как те, которые ассоциированы с жестами. В данном случае, интерфейс, который имеет выбираемые кнопки слева, оптимизирован для использования с жестами левой рукой. Как можно видеть, игрок 940 поднимает свою левую руку 1042 для выполнения жеста.
Предпочтение правой руке или левой руке пользователя может выясняться несколькими разными путями. В одном варианте осуществления предыстория пользователя анализируется для выяснения предпочтения его правой или левой руке. Пользователям, которые, как известно, являются правшой или левшой, или используют свою правую или левую руку наиболее часто при выполнении жестов, автоматически представляется оптимизированный интерфейс для его руки предпочтения.
В дополнение к предыдущему использованию, текущая ситуация пользователя может оцениваться с целью определения, какую руку пользователь вероятно будет использовать. В одном варианте осуществления полагается, что пользователь, вероятно, не будет использовать руку, которая в данный момент используется другим образом. Например, если рукой является правая рука, держащая стакан, телефон, или она находится в кармане, тогда может быть сделано предположение, что пользователь желает использовать левую руку, и представляется оптимизированный для левой руки интерфейс. Контекстный шаблон, ассоциированный с праворукостью или леворукостью, может принять во внимание ряд факторов, чтобы определить, какую руку пользователь вероятно будет использовать.
Обращаясь теперь к фиг. 11, на ней показан тот же интерфейс, который показан на фиг. 10, за исключением того, что он теперь оптимизирован для использования правой рукой. Как можно видеть, пользователь 1040 поднял свою правую руку 1044 и использует ее для взаимодействия с отображением. В одном примере, представлен интерфейс для правой или левой руки в ожидании жестов пользователя, создающих помехи другому человеку. Например, если из данных изображения следует, что пользователь должен поместить свою правую руку перед лицом другого человека, чтобы сделать жест своей правой рукой, тогда может быть представлен интерфейс для левой руки, чтобы содействовать тому, чтобы пользователь использовал свою левую руку. В другом варианте осуществления, если является явным, что правая рука пользователя будет загорожена для поля зрения камеры 1010 другим человеком или объектом, стоящим перед его правой рукой, тогда снова будет представлен интерфейс для левой руки, чтобы способствовать использованию левой руки и исключить проблему заграждения, создаваемую мешающим объектом. Таким образом, контекстное определение может пытаться устранить проблему посредством создания интерфейса, который оптимизирован так, чтобы устранить проблемы, обнаруженные в окружающем контексте.
Обращаясь теперь к фиг. 12, на ней изображена идентификация объекта или одежды в окружающей обстановке, чтобы генерировать соответствующий интерфейс, согласно варианту осуществления настоящего изобретения. На фиг. 12 пользователь 1220 держит теннисную ракетку 1222 перед устройством 1200 отображения и камерой 1210. Камера 1210 захватывает данные изображения, которые используются для распознавания теннисной ракетки 1222 и, возможно, человека 1220. В ответ, игра в теннис автоматически показывается в интерфейсе 1212. Это предотвращает необходимость пользователю выполнять навигацию по различным интерфейсам, чтобы сыграть в виртуальную игру в теннис, что может быть наиболее вероятной причиной для пользователя появиться перед интерфейсом с теннисной ракеткой 1122. Альтернативно, теннисная ракетка может использоваться в качестве подсказки, что человек 1220 хочет наблюдать теннис. Предпочтения пользователя и предыстория просмотров могут использоваться для устранения неоднозначности контекста.
В другом варианте осуществления предметы одежды распознаются и используются для установления контекста и представления соответствующего интерфейса. В одном варианте осуществления футболка команды распознается и используется для автоматического выбора футболки подобного цвета или даже точно такой же команды в видеоигре. Например, может запускаться видеоигра, имеющая команды Национальной футбольной лиги США (NFL), при этом пользователь играет за свою команду, указанную по его футболке. При задании многочисленных игроков многочисленным людям могут назначаться команды, соответствующие их футболкам. Когда точное совпадение не является возможным, подобные цвета могут назначаться автоматически команде, которой они управляют.
В зависимости от других контекстных факторов, таких как происходящее в данный момент спортивное соревнование, в котором участвует команда, идентифицированная по одежде, представление этого спортивного соревнования может автоматически представляться на пользовательском интерфейсе. Например, если в данный момент доступна футбольная игра с участвующей командой, указанной по футболке человека, тогда она может быть показана. Если игра происходит в данный момент, но в настоящее время не является доступной из-за пакета программ кабельного телевидения пользователя, например, механизм для просмотра игры, такой как подписка на конкретный пакет программ кабельного телевидения, может быть представлен пользователю и автоматически устанавливается. Альтернативно, может автоматически отображаться веб-страница, изображающая обновления игры.
Устранение неоднозначности воспроизводимой видеоигры относительно наблюдаемых контекстов игры может зависеть от того, является ли доступным спортивное соревнование с участием соответствующей команды. Таким образом, контекстные факторы могут включать в себя больше, чем то, что происходит в настоящей окружающей обстановке, но могут включать в себя оценку различного контента, который может представлять интерес для пользователя или может быть доступен пользователю в конкретный момент времени. Если доступны многочисленные контексты, может учитываться предыдущая предыстория просмотров пользователя, чтобы способствовать устранению неоднозначности при выборе. Пользователю также могут быть представлены альтернативные интерфейсы. Например, пользователя могут спросить, хочет ли он посмотреть, как его команда играет в происходящем в данный момент соревновании, или поиграть в видеоигру.
В другом варианте осуществления одежда, ассоциированная с различными видеоиграми, может использоваться для автоматического выбора персонажей или различных доступных игр. Например, человеку, носящему шляпу волшебника, может автоматически назначаться персонаж волшебника, когда он начинает игру, в которой участвует волшебник. В незначительном изменении, в ответ на ношение шляпы волшебника, может открываться игра, в которой участвует волшебник, без выбора конкретного персонажа. Если доступны многочисленные игры с участием волшебника, может быть выбрана и представлена игра с участием волшебника, в которую играл в последний раз.
Способы генерирования контекстных интерфейсов
Обращаясь теперь к фиг. 13, на ней изображен способ представления интерфейса, который оптимизирован для настоящего контекста, согласно варианту осуществления настоящего изобретения. Интерфейсом способа 1300 может быть интерфейс компьютера, отображаемый на телевизоре, мониторе или другом устройстве отображения. Интерфейс может генерироваться игровой консолью, медиаплеером, персональным компьютером или другим подобным устройством.
На этапе 1310 определяется настоящий контекст для пользовательского интерфейса посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу. В одном варианте осуществления окружающей обстановкой, ближайшей к пользовательскому интерфейсу, является объем пространства, описываемый в данных изображения. В другом варианте осуществления окружающая обстановка простирается за область, захваченную данными изображения и разграничивается физическими границами, например, границами в комнате или местожительством, таким как дом или квартира. Хотя эти другие области могут не быть в поле зрения камеры, которая захватывает данные изображения, могут приниматься сигналы от устройств в окружающей обстановке, а также звуковые команды от пользователей, которые не находятся в поле зрения камеры. В одном варианте осуществления данными изображения являются трехмерные данные изображения, такие как данные, захватываемые камерой с глубиной. Данные изображения могут описываться как облако глубины. Трехмерные данные позволяют обнаруживать размер, форму и движение объектов в данных. Облако глубины может использоваться для распознавания жестов, выполняемых пользователем. Жестом может быть движение руки, движение туловища, выражение лица или другое действие, распознаваемое компонентом интерпретирования жестов для управления интерфейсом.
На этапе 1320 генерируется пользовательский интерфейс, который оптимизирован посредством настоящего контекста. Пользовательский интерфейс выводится для отображения пользователю. Ранее были описаны различные пути оптимизации пользовательского интерфейса. Например, пользовательский интерфейс может оптимизироваться для использования с конкретным режимом управления. В различных режимах управления можно предвидеть задачу, которую пользователь предполагает завершить посредством интерфейса, и пользовательский интерфейс обновляется соответствующим образом. Предполагаемая задача является частью контекста, который выводится из оценки окружающей обстановки. Взаимодействия пользователя с объектами в окружающей обстановке также могут использоваться для определения контекста.
Обращаясь теперь к фиг. 14, на ней показан способ 1400 представления интерфейса, который оптимизируется для настоящего контекста, согласно варианту осуществления настоящего изобретения. На этапе 1410 настоящий контекст для пользовательского интерфейса определяется посредством анализа действий человека, который является ближайшим к пользовательскому интерфейсу. Действия содержат использование режима управления с интерфейсом. Примерные режимы управления включают в себя использование жестов, использование устройства-компаньона, использование специализированного устройства и звуковое управление. Настоящий контекст может быть более детальным, чем конкретный режим управления. Например, в режиме управления жестами контекст может определять, что являются предпочтительными жесты правой рукой или жесты левой рукой.
На этапе 1420 генерируется пользовательский интерфейс, который оптимизирован для настоящего контекста. Пользовательский интерфейс выводится для отображения пользователю. Ранее были описаны способы оптимизирования пользовательского интерфейса, принимая во внимание настоящий контекст.
Обращаясь теперь к фиг. 15, на ней изображен способ 1500 представления интерфейса, который оптимизирован для настоящего контекста, согласно варианту осуществления настоящего изобретения. На этапе 1510 настоящий контекст для пользовательского интерфейса определяется посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу. Настоящие контексты и использование данных изображения с целью определения настоящего контекста были описаны ранее со ссылкой на фиг. 13 и в другом месте.
На этапе 1520 генерируется настоящий пользовательский интерфейс, который оптимизирован для настоящего контекста. Настоящий пользовательский интерфейс выводится для отображения пользователю.
На этапе 1530 новый контекст для пользовательского интерфейса определяется посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу. Данные изображения описывают изменения в окружающей обстановке, которые приводят к новому контексту. На этапе 1540 пользовательский интерфейс автоматически оптимизируется для нового контекста.
Варианты осуществления изобретения были описаны, чтобы они были иллюстративными, а не ограничительными. Понятно, что некоторые признаки и подкомбинации имеют полезность и могут применяться без ссылки на другие признаки и субкомбинации. Это предполагается объемом формулы изобретения и находится в пределах его.
Claims (31)
1. Способ представления интерфейса, который оптимизирован для настоящего контекста, содержащий этапы, на которых:
определяют настоящий контекст для пользовательского интерфейса посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу, при этом настоящий контекст соответствует тому, что пользователь выполняет жест левой рукой пользователя для взаимодействия с объектом, показываемым на пользовательском интерфейсе, каковой жест обнаруживается путем анализа данных изображения;
определяют, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом при выполнении жеста, посредством анализа данных изображения; и
после определения того, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом, автоматически генерируют обновленный пользовательский интерфейс, где размещение интерфейсных объектов изменено для обеспечения пользователю возможности выполнять жесты правой рукой вместо жестов левой рукой.
2. Способ по п.1, в котором настоящий контекст соответствует тому, что пользователь обращен к пользовательскому интерфейсу при выполнении жеста.
3. Способ по п.1, дополнительно содержащий этап, на котором автоматически переоптимизируют пользовательский интерфейс после определения нового контекста для интерфейса.
4. Способ по п.1, в котором пользовательский интерфейс оптимизируется посредством передвижения упомянутого объекта по направлению к правой руке пользователя.
5. Способ по п.1, в котором пользовательский интерфейс оптимизируется для режима управления жестами, в котором пользователь не использует контроллер, посредством увеличения размера упомянутого объекта до увеличенного размера, который больше исходного размера данного объекта, в пользовательском интерфейсе, оптимизированном для взаимодействия с игровым планшетом.
6. Способ по п.1, в котором упомянутый объект представляет собой налагаемый элемент.
7. Способ по п.1, в котором данными изображения являются трехмерные данные изображения.
8. Машиночитаемый носитель информации, на котором воплощены машиноисполняемые инструкции, которыми при их исполнении вычислительным устройством выполняется способ представления интерфейса, который оптимизирован для настоящего контекста, причем способ содержит этапы, на которых:
определяют настоящий контекст для пользовательского интерфейса посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу, при этом настоящий контекст соответствует тому, что пользователь выполняет жест левой рукой пользователя для взаимодействия с объектом, показываемым на пользовательском интерфейсе, каковой жест обнаруживается путем анализа данных изображения;
определяют, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом при выполнении жеста, посредством анализа данных изображения; и
после определения того, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом, автоматически генерируют обновленный пользовательский интерфейс, где размещение интерфейсных объектов изменено для обеспечения пользователю возможности выполнять жесты правой рукой вместо жестов левой рукой.
9. Машиночитаемый носитель информации по п.8, при этом настоящий контекст соответствует тому, что пользователь обращен к пользовательскому интерфейсу при выполнении жеста.
10. Машиночитаемый носитель информации по п.8, в котором способ дополнительно содержит автоматическую переоптимизацию пользовательского интерфейса после определения нового контекста для интерфейса.
11. Машиночитаемый носитель информации по п.8, при этом пользовательский интерфейс оптимизируется посредством передвижения упомянутого объекта по направлению к правой руке пользователя.
12. Машиночитаемый носитель информации по п.8, при этом пользовательский интерфейс оптимизируется для режима управления жестами, в котором пользователь не использует контроллер, посредством увеличения размера упомянутого объекта до увеличенного размера, который больше исходного размера данного объекта, в пользовательском интерфейсе, оптимизированном для взаимодействия с игровым планшетом.
13. Машиночитаемый носитель информации по п.8, при этом упомянутый объект представляет собой налагаемый элемент.
14. Машиночитаемый носитель информации по п.8, при этом данными изображения являются трехмерные данные изображения.
15. Вычислительная система, выполненная с возможностью представления интерфейса, который оптимизирован для настоящего контекста, при этом вычислительная система содержит:
аппаратный процессор и
компьютерную память, в которой сохранены машиноисполняемые инструкции, которые при их исполнении процессором предписывают вычислительной системе:
определять настоящий контекст для пользовательского интерфейса посредством анализа данных изображения, описывающих окружающую обстановку, ближайшую к пользовательскому интерфейсу, при этом настоящий контекст соответствует тому, что пользователь выполняет жест левой рукой пользователя для взаимодействия с объектом, показываемым на пользовательском интерфейсе, каковой жест обнаруживается путем анализа данных изображения;
определять, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом при выполнении жеста, посредством анализа данных изображения; и
после определения того, что левая рука пользователя проходит между вторым пользователем и пользовательским интерфейсом, автоматически генерировать обновленный пользовательский интерфейс, где размещение интерфейсных объектов изменено для обеспечения пользователю возможности выполнять жесты правой рукой вместо жестов левой рукой.
16. Система по п.15, при этом настоящий контекст соответствует тому, что пользователь обращен к пользовательскому интерфейсу при выполнении жеста.
17. Система по п.15, в котором машиноисполняемые инструкции при их исполнении процессором дополнительно предписывают вычислительной системе автоматически переоптимизировать пользовательский интерфейс после определения нового контекста для интерфейса.
18. Система по п.15, при этом пользовательский интерфейс оптимизируется посредством передвижения упомянутого объекта по направлению к правой руке пользователя.
19. Система по п.15, при этом пользовательский интерфейс оптимизируется для режима управления жестами, в котором пользователь не использует контроллер, посредством увеличения размера упомянутого объекта до увеличенного размера, который больше исходного размера данного объекта, в пользовательском интерфейсе, оптимизированном для взаимодействия с игровым планшетом.
20. Система по п.15, при этом упомянутый объект представляет собой налагаемый элемент.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261654638P | 2012-06-01 | 2012-06-01 | |
US61/654,638 | 2012-06-01 | ||
US13/725,925 US9170667B2 (en) | 2012-06-01 | 2012-12-21 | Contextual user interface |
US13/725,925 | 2012-12-21 | ||
PCT/US2013/042547 WO2013181073A2 (en) | 2012-06-01 | 2013-05-24 | Contextual user interface |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2014148164A RU2014148164A (ru) | 2016-06-20 |
RU2644142C2 true RU2644142C2 (ru) | 2018-02-07 |
Family
ID=49669578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014148164A RU2644142C2 (ru) | 2012-06-01 | 2013-05-24 | Контекстный пользовательский интерфейс |
Country Status (11)
Country | Link |
---|---|
US (7) | US9170667B2 (ru) |
EP (2) | EP3657312A1 (ru) |
JP (1) | JP6157603B2 (ru) |
KR (1) | KR102126595B1 (ru) |
CN (1) | CN104350446B (ru) |
AU (1) | AU2013267703B2 (ru) |
BR (1) | BR112014029915B1 (ru) |
CA (1) | CA2874667C (ru) |
MX (1) | MX340692B (ru) |
RU (1) | RU2644142C2 (ru) |
WO (1) | WO2013181073A2 (ru) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10055746B1 (en) | 2011-06-24 | 2018-08-21 | The Directv Group, Inc. | Method and system for obtaining feedback for a content recommendation by various algorithms |
US9788069B1 (en) | 2011-06-24 | 2017-10-10 | The Directv Group, Inc. | Method and system for recording recommended content within a user device |
WO2012177413A1 (en) | 2011-06-24 | 2012-12-27 | The Directv Group, Inc. | Method and system for obtaining viewing data and providing content recommendations at a set top box |
US9032451B2 (en) | 2011-09-01 | 2015-05-12 | The Directv Group, Inc. | Method and system for using a second screen device for interacting with a set top box to enhance a user experience |
US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
US8769624B2 (en) | 2011-09-29 | 2014-07-01 | Apple Inc. | Access control utilizing indirect authentication |
US10543422B1 (en) * | 2012-05-07 | 2020-01-28 | CP Studios Inc. | Providing synchronized and integrated video gaming |
US9170667B2 (en) | 2012-06-01 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contextual user interface |
US9381427B2 (en) * | 2012-06-01 | 2016-07-05 | Microsoft Technology Licensing, Llc | Generic companion-messaging between media platforms |
US9323755B2 (en) * | 2012-07-30 | 2016-04-26 | Verizon Patent And Licensing Inc. | Secondary content |
US20140032537A1 (en) * | 2012-07-30 | 2014-01-30 | Ajay Shekhawat | Apparatus, system, and method for music identification |
KR20140029049A (ko) * | 2012-08-31 | 2014-03-10 | 삼성전자주식회사 | 디스플레이 장치 및 이를 이용한 입력 신호 처리 방법 |
US20140114919A1 (en) * | 2012-10-19 | 2014-04-24 | United Video Properties, Inc. | Systems and methods for providing synchronized media content |
US9678617B2 (en) | 2013-01-14 | 2017-06-13 | Patrick Soon-Shiong | Shared real-time content editing activated by an image |
US20140258372A1 (en) * | 2013-03-11 | 2014-09-11 | Say Media, Inc | Systems and Methods for Categorizing and Measuring Engagement with Content |
US20140258373A1 (en) | 2013-03-11 | 2014-09-11 | Say Media, Inc. | Systems and Methods for Managing and Publishing Managed Content |
US10003780B1 (en) | 2013-03-14 | 2018-06-19 | The Directv Group, Inc. | Method and system for recording recommended content within a user device and indicating recording capacity |
US9420343B2 (en) | 2013-03-15 | 2016-08-16 | Echostar Technologies L.L.C. | Systems and methods for providing information related to tagged items represented in video stream content |
US10341275B2 (en) | 2013-04-03 | 2019-07-02 | Dropbox, Inc. | Shared content item commenting |
WO2014176744A1 (en) * | 2013-04-28 | 2014-11-06 | Tencent Technology (Shenzhen) Company Limited | An information collection, storage, and sharing platform |
US9509758B2 (en) | 2013-05-17 | 2016-11-29 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Relevant commentary for media content |
KR101761633B1 (ko) * | 2013-08-28 | 2017-07-26 | 엘지전자 주식회사 | 신호 송신 장치 및 제어 방법 |
US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US20150128194A1 (en) * | 2013-11-05 | 2015-05-07 | Huawei Device Co., Ltd. | Method and mobile terminal for switching playback device |
US9519525B2 (en) | 2013-11-14 | 2016-12-13 | Dropbox, Inc. | File-level commenting |
CN105900443B (zh) * | 2013-12-11 | 2020-01-14 | 瑞典爱立信有限公司 | 用于同步媒体流的方法和系统 |
US9560449B2 (en) | 2014-01-17 | 2017-01-31 | Sony Corporation | Distributed wireless speaker system |
US9288597B2 (en) | 2014-01-20 | 2016-03-15 | Sony Corporation | Distributed wireless speaker system with automatic configuration determination when new speakers are added |
US9369801B2 (en) | 2014-01-24 | 2016-06-14 | Sony Corporation | Wireless speaker system with noise cancelation |
US9426551B2 (en) | 2014-01-24 | 2016-08-23 | Sony Corporation | Distributed wireless speaker system with light show |
US9866986B2 (en) | 2014-01-24 | 2018-01-09 | Sony Corporation | Audio speaker system with virtual music performance |
US9232335B2 (en) | 2014-03-06 | 2016-01-05 | Sony Corporation | Networked speaker system with follow me |
US9483997B2 (en) | 2014-03-10 | 2016-11-01 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using infrared signaling |
US20150268820A1 (en) * | 2014-03-18 | 2015-09-24 | Nokia Corporation | Causation of a rendering apparatus to render a rendering media item |
CN103941982B (zh) * | 2014-05-12 | 2016-08-24 | 腾讯科技(深圳)有限公司 | 一种分享界面处理的方法及终端 |
US9696414B2 (en) | 2014-05-15 | 2017-07-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using sonic signaling |
US10070291B2 (en) | 2014-05-19 | 2018-09-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth |
US10043185B2 (en) | 2014-05-29 | 2018-08-07 | Apple Inc. | User interface for payments |
US9554189B2 (en) | 2014-06-30 | 2017-01-24 | Microsoft Technology Licensing, Llc | Contextual remote control interface |
US10666748B2 (en) * | 2014-08-04 | 2020-05-26 | Adobe Inc. | Real-time calculated and predictive events |
DE212015000194U1 (de) | 2014-08-06 | 2017-05-31 | Apple Inc. | Verkleinerte Benutzeroberflächen für Batteriemanagement |
EP3373122B1 (en) | 2014-09-02 | 2022-04-06 | Apple Inc. | Reduced-size interfaces for managing alerts |
WO2016036552A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | User interactions for a mapping application |
WO2016100408A1 (en) * | 2014-12-15 | 2016-06-23 | Vessel Group, Inc. | Processing techniques in audio-visual streaming systems |
US10721540B2 (en) | 2015-01-05 | 2020-07-21 | Sony Corporation | Utilizing multiple dimensions of commerce and streaming data to provide advanced user profiling and realtime commerce choices |
US10812869B2 (en) | 2015-01-05 | 2020-10-20 | Sony Corporation | Personalized integrated video user experience |
US10694253B2 (en) | 2015-01-05 | 2020-06-23 | Sony Corporation | Blu-ray pairing with video portal |
US10901592B2 (en) | 2015-01-05 | 2021-01-26 | Sony Corporation | Integrated multi-platform user interface/user experience |
US20160301748A1 (en) * | 2015-01-13 | 2016-10-13 | John Joseph Conley | Method and system for consuming synchronized digital content among a plurality of users over a network |
US20160224973A1 (en) | 2015-02-01 | 2016-08-04 | Apple Inc. | User interface for payments |
US9894120B2 (en) * | 2015-02-06 | 2018-02-13 | International Business Machines Corporation | Partial likes of social media content |
DE102015001622A1 (de) * | 2015-02-09 | 2016-08-11 | Unify Gmbh & Co. Kg | Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System |
US9574896B2 (en) | 2015-02-13 | 2017-02-21 | Apple Inc. | Navigation user interface |
US9895611B2 (en) * | 2015-04-27 | 2018-02-20 | Sony Interactive Entertainment America Llc | Interactive events platform |
US9792268B2 (en) * | 2015-05-15 | 2017-10-17 | Sap Se | Zoomable web-based wall with natural user interface |
US9940637B2 (en) | 2015-06-05 | 2018-04-10 | Apple Inc. | User interface for loyalty accounts and private label accounts |
US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
CN104936035B (zh) * | 2015-06-19 | 2018-04-17 | 腾讯科技(北京)有限公司 | 一种弹幕处理方法及系统 |
US20170017700A1 (en) * | 2015-07-17 | 2017-01-19 | International Business Machines Corporation | Creating a dynamic visual display of social network activity |
US20170017323A1 (en) * | 2015-07-17 | 2017-01-19 | Osterhout Group, Inc. | External user interface for head worn computing |
CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
US20170116047A1 (en) * | 2015-10-25 | 2017-04-27 | Khozem Z. Dohadwala | Further applications of Reading State control - A method for repositioning reading material on electronic devices |
US9693168B1 (en) | 2016-02-08 | 2017-06-27 | Sony Corporation | Ultrasonic speaker assembly for audio spatial effect |
US9826332B2 (en) | 2016-02-09 | 2017-11-21 | Sony Corporation | Centralized wireless speaker system |
US9826330B2 (en) | 2016-03-14 | 2017-11-21 | Sony Corporation | Gimbal-mounted linear ultrasonic speaker assembly |
US9693169B1 (en) | 2016-03-16 | 2017-06-27 | Sony Corporation | Ultrasonic speaker assembly with ultrasonic room mapping |
US11150798B2 (en) | 2016-03-28 | 2021-10-19 | Apple Inc. | Multifunction device control of another electronic device |
JP5988286B1 (ja) * | 2016-04-01 | 2016-09-07 | 株式会社Cygames | プログラム及び画像処理装置 |
WO2017197365A1 (en) | 2016-05-13 | 2017-11-16 | Microsoft Technology Licensing, Llc | Contextual windows for application programs |
DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
CN107436869B (zh) * | 2016-05-25 | 2021-06-29 | 北京奇虎科技有限公司 | 一种印象评论生成方法及装置 |
US10621581B2 (en) | 2016-06-11 | 2020-04-14 | Apple Inc. | User interface for transactions |
DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
CN106095516B (zh) * | 2016-06-23 | 2020-03-24 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
WO2018004453A1 (en) | 2016-06-29 | 2018-01-04 | Razer (Asia-Pacific) Pte. Ltd. | Communication methods, computer-readable media, communication devices, and servers |
US11032471B2 (en) * | 2016-06-30 | 2021-06-08 | Nokia Technologies Oy | Method and apparatus for providing a visual indication of a point of interest outside of a user's view |
US9794724B1 (en) | 2016-07-20 | 2017-10-17 | Sony Corporation | Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating |
US10521502B2 (en) * | 2016-08-10 | 2019-12-31 | International Business Machines Corporation | Generating a user interface template by combining relevant components of the different user interface templates based on the action request by the user and the user context |
WO2018045319A1 (en) * | 2016-09-01 | 2018-03-08 | Catalyft Labs, Inc. | Multi-functional weight rack and exercise monitoring system for tracking exercise movements |
US9842330B1 (en) | 2016-09-06 | 2017-12-12 | Apple Inc. | User interfaces for stored-value accounts |
US20180071634A1 (en) * | 2016-09-09 | 2018-03-15 | Microsoft Technology Licensing, Llc | Contextual gamer profile |
US10075791B2 (en) | 2016-10-20 | 2018-09-11 | Sony Corporation | Networked speaker system with LED-based wireless communication and room mapping |
US9854362B1 (en) | 2016-10-20 | 2017-12-26 | Sony Corporation | Networked speaker system with LED-based wireless communication and object detection |
US9924286B1 (en) | 2016-10-20 | 2018-03-20 | Sony Corporation | Networked speaker system with LED-based wireless communication and personal identifier |
US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
WO2018083627A1 (en) * | 2016-11-02 | 2018-05-11 | Onshape Inc. | Second touch zoom control |
US11023252B2 (en) * | 2017-01-12 | 2021-06-01 | Roger Wagner | Method and apparatus for bidirectional control connecting hardware device action with URL-based web navigation |
US10318071B2 (en) * | 2017-03-23 | 2019-06-11 | Intel Corporation | Method and apparatus for a blob angle orientation recognition in a touch device |
US20180329597A1 (en) | 2017-05-15 | 2018-11-15 | Microsoft Technology Licensing, Llc | Ink Anchoring |
US11221823B2 (en) | 2017-05-22 | 2022-01-11 | Samsung Electronics Co., Ltd. | System and method for context-based interaction for electronic devices |
CN107241644B (zh) * | 2017-05-31 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 一种视频直播过程中的图像处理方法和装置 |
US10318109B2 (en) | 2017-06-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Emoji suggester and adapted user interface |
CN107563177A (zh) * | 2017-09-05 | 2018-01-09 | 深圳天珑无线科技有限公司 | 密码处理方法、装置及计算机可读存储介质 |
EP3680769A4 (en) * | 2017-09-08 | 2020-09-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | INFORMATION DISPLAY METHOD, DEVICE, AND TERMINAL |
EP4155988A1 (en) | 2017-09-09 | 2023-03-29 | Apple Inc. | Implementation of biometric authentication for performing a respective function |
KR102185854B1 (ko) | 2017-09-09 | 2020-12-02 | 애플 인크. | 생체측정 인증의 구현 |
US20190087060A1 (en) * | 2017-09-19 | 2019-03-21 | Sling Media Inc. | Dynamic adjustment of media thumbnail image size based on touchscreen pressure |
US11134312B2 (en) | 2017-12-14 | 2021-09-28 | Google Llc | Methods, systems, and media for presenting contextual information in connection with media content |
KR102448382B1 (ko) * | 2018-01-22 | 2022-09-28 | 삼성전자주식회사 | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 |
EP3729781B1 (en) | 2018-01-22 | 2023-11-01 | Apple Inc. | Secure login with authentication based on a visual representation of data |
CN108170611B (zh) * | 2018-01-23 | 2019-07-16 | 网易(杭州)网络有限公司 | 自动化测试方法及装置、存储介质、电子设备 |
US10939182B2 (en) * | 2018-01-31 | 2021-03-02 | WowYow, Inc. | Methods and apparatus for media search, characterization, and augmented reality provision |
US11490429B2 (en) | 2018-02-13 | 2022-11-01 | Apple Inc. | Companion assistance and efficient link selection for wearable devices |
US11717760B2 (en) * | 2018-03-12 | 2023-08-08 | Roblox Corporation | Chat application using a gaming engine |
US11669345B2 (en) * | 2018-03-13 | 2023-06-06 | Cloudblue Llc | System and method for generating prediction based GUIs to improve GUI response times |
US20190347084A1 (en) * | 2018-05-10 | 2019-11-14 | Dell Products, Lp | Method to Dynamically Create Plug and Play Identifiers in Firmware to Facilitate Deployment of Windows Services |
CN110489635B (zh) * | 2018-05-15 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 数据对象搜索控制方法、装置及系统 |
US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
US11243679B2 (en) * | 2018-06-03 | 2022-02-08 | Apple Inc. | Remote data input framework |
KR102123593B1 (ko) * | 2018-07-23 | 2020-06-16 | 스노우 주식회사 | 실시간 라이브 영상과 이벤트의 동기화를 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체 |
WO2020086337A1 (en) | 2018-10-22 | 2020-04-30 | Sony Interactive Entertainment LLC | Data model for uniform data platform |
WO2020086393A1 (en) * | 2018-10-23 | 2020-04-30 | Sony Interactive Entertainment LLC | Cross-platform spoiler block service |
US10623859B1 (en) | 2018-10-23 | 2020-04-14 | Sony Corporation | Networked speaker system with combined power over Ethernet and audio delivery |
WO2020086666A1 (en) | 2018-10-25 | 2020-04-30 | Sony Interactive Entertainment LLC | Cross-platform consumption of in-game objects |
US11270067B1 (en) | 2018-12-26 | 2022-03-08 | Snap Inc. | Structured activity templates for social media content |
US11593826B1 (en) * | 2018-12-28 | 2023-02-28 | Snap Inc. | Messaging and gaming applications rewards |
US11501348B1 (en) | 2018-12-28 | 2022-11-15 | Snap Inc. | Virtual currency in a native application environment |
JP7212071B2 (ja) * | 2019-01-24 | 2023-01-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
US11328352B2 (en) | 2019-03-24 | 2022-05-10 | Apple Inc. | User interfaces for managing an account |
CN110013673B (zh) * | 2019-04-08 | 2023-04-14 | 北京视游互动科技有限公司 | 一种应用折叠显示屏进行游戏的方法、装置及存储介质 |
CN111836111A (zh) | 2019-04-17 | 2020-10-27 | 微软技术许可有限责任公司 | 生成弹幕的技术 |
US11546647B2 (en) | 2019-06-07 | 2023-01-03 | Roku, Inc. | Content-modification system with probability-based selection feature |
GB2586059B (en) * | 2019-08-01 | 2023-06-07 | Sony Interactive Entertainment Inc | System and method for generating user inputs for a video game |
CN110460868B (zh) * | 2019-08-13 | 2021-07-13 | 中国联合网络通信集团有限公司 | 广告投放方法和广告投放系统 |
WO2021049048A1 (ja) * | 2019-09-11 | 2021-03-18 | 拓也 木全 | 映像提供システムおよびプログラム |
US11093256B2 (en) | 2019-09-12 | 2021-08-17 | Dell Products L.P. | System and method for dynamically installing driver dependencies |
US11564431B2 (en) | 2020-04-09 | 2023-01-31 | Briggs Belt Systems, Llc | Protective belt apparatus |
US10750806B1 (en) | 2020-04-09 | 2020-08-25 | Briggs Belt Systems, Llc | Protective belt apparatus |
US11816194B2 (en) | 2020-06-21 | 2023-11-14 | Apple Inc. | User interfaces for managing secure operations |
WO2022108019A1 (en) | 2020-11-23 | 2022-05-27 | Samsung Electronics Co., Ltd. | Electronic device and method for optimizing user interface of application |
CN112973116B (zh) * | 2021-03-04 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 虚拟场景画面展示方法、装置、计算机设备及存储介质 |
CN112915537B (zh) * | 2021-04-06 | 2023-06-27 | 腾讯科技(深圳)有限公司 | 虚拟场景画面展示方法、装置、计算机设备及存储介质 |
US11847293B2 (en) * | 2021-08-05 | 2023-12-19 | Rolland & Hamann Innovations, LLC | Selectable input alterations |
US11677906B2 (en) | 2021-09-10 | 2023-06-13 | Zoom Video Communications, Inc. | Secondary mode device software access for primary mode device users |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5872859A (en) * | 1995-11-02 | 1999-02-16 | University Of Pittsburgh | Training/optimization of computer aided detection schemes based on measures of overall image quality |
US20030046401A1 (en) * | 2000-10-16 | 2003-03-06 | Abbott Kenneth H. | Dynamically determing appropriate computer user interfaces |
US20040263639A1 (en) * | 2003-06-26 | 2004-12-30 | Vladimir Sadovsky | System and method for intelligent image acquisition |
US20060072802A1 (en) * | 2004-09-29 | 2006-04-06 | Higgs Brent E | Analysis of multidimensional data |
RU2417437C2 (ru) * | 2006-01-09 | 2011-04-27 | Нокиа Корпорейшн | Отображение объектов сети на мобильных устройствах на основании геопозиции |
Family Cites Families (151)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH088681B2 (ja) * | 1985-03-18 | 1996-01-29 | ソニー株式会社 | ビデオテックスの端末装置 |
JP3033081B2 (ja) | 1992-05-21 | 2000-04-17 | 日本電気株式会社 | コンソ−ル接続方式 |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US6546405B2 (en) | 1997-10-23 | 2003-04-08 | Microsoft Corporation | Annotating temporally-dimensioned multimedia content |
US6956593B1 (en) | 1998-09-15 | 2005-10-18 | Microsoft Corporation | User interface for creating, viewing and temporally positioning annotations for media content |
US7418504B2 (en) | 1998-10-30 | 2008-08-26 | Virnetx, Inc. | Agile network protocol for secure communications using secure domain names |
US9116544B2 (en) | 2008-03-26 | 2015-08-25 | Pierre Bonnat | Method and system for interfacing with an electronic device via respiratory and/or tactual input |
US6256019B1 (en) | 1999-03-30 | 2001-07-03 | Eremote, Inc. | Methods of using a controller for controlling multi-user access to the functionality of consumer devices |
US6709330B1 (en) | 1999-08-20 | 2004-03-23 | Ameritrade Holding Corporation | Stock simulation engine for an options trading game |
EP1351748A4 (en) | 2000-11-28 | 2007-04-04 | Ods Properties Inc | SYSTEMS AND METHODS FOR REALIZING PARIS WITH FIXED RANGES AND MUTUAL PARISES |
US20020065715A1 (en) * | 2000-11-30 | 2002-05-30 | Christopher Tennyson | Integrated broadcasting and impulse purchasing system |
US7774817B2 (en) | 2001-01-31 | 2010-08-10 | Microsoft Corporation | Meta data enhanced television programming |
US6816897B2 (en) | 2001-04-30 | 2004-11-09 | Opsware, Inc. | Console mapping tool for automated deployment and management of network devices |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US20030028390A1 (en) | 2001-07-31 | 2003-02-06 | Stern Edith H. | System to provide context-based services |
KR100474724B1 (ko) | 2001-08-04 | 2005-03-08 | 삼성전자주식회사 | 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법 |
US20030046398A1 (en) | 2001-08-29 | 2003-03-06 | Charles Buckley | Method and system for managing a plurality of console devices in a network |
AU2001284628A1 (en) * | 2001-08-31 | 2003-03-10 | Kent Ridge Digital Labs | Time-based media navigation system |
US7127613B2 (en) | 2002-02-25 | 2006-10-24 | Sun Microsystems, Inc. | Secured peer-to-peer network data exchange |
US20030182663A1 (en) | 2002-03-25 | 2003-09-25 | Sony Corporation | System and method for sharing user comments on TV screens |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US20040019292A1 (en) | 2002-07-29 | 2004-01-29 | Drinan Darrel Dean | Method and apparatus for bioelectric impedance based identification of subjects |
US6773349B2 (en) | 2002-07-31 | 2004-08-10 | Intec, Inc. | Video game controller with integrated video display |
US9352222B2 (en) | 2002-12-10 | 2016-05-31 | Sony Interactive Entertainment America Llc | System and method for capturing text for an online application |
US7571469B2 (en) | 2002-12-24 | 2009-08-04 | Nokia Corporation | Method for communication control in a communication network, communication control entity, key management entity, terminal and gateway entity |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
KR101157308B1 (ko) | 2003-04-30 | 2012-06-15 | 디즈니엔터프라이지즈,인크. | 휴대 전화 멀티미디어 제어기 |
JP3698711B1 (ja) | 2004-05-07 | 2005-09-21 | 株式会社ソニー・コンピュータエンタテインメント | ネットワーク識別子設定方法、通信方法および無線通信端末装置 |
US9065930B2 (en) | 2004-09-09 | 2015-06-23 | Link Us All, Llc | Method and system for presence detection in a communication system |
US7500154B2 (en) | 2004-12-17 | 2009-03-03 | Cisco Technology, Inc. | Method and system for generating a console log |
US7702006B2 (en) * | 2005-07-05 | 2010-04-20 | Microsoft Corporation | Adjustment of transmission data rate based on data errors and/or latency |
US7625287B2 (en) | 2005-10-05 | 2009-12-01 | Nintendo Co., Ltd. | Driving game steering wheel simulation method and apparatus |
US7512677B2 (en) | 2005-10-20 | 2009-03-31 | Uplogix, Inc. | Non-centralized network device management using console communications system and method |
US7523226B2 (en) | 2005-11-09 | 2009-04-21 | Microsoft Corporation | Controlling an auxiliary display user interface based on usage context |
CN100493091C (zh) | 2006-03-10 | 2009-05-27 | 清华大学 | 基于会话初始化协议的流媒体直播p2p网络方法 |
WO2007128003A2 (en) * | 2006-03-28 | 2007-11-08 | Motionbox, Inc. | System and method for enabling social browsing of networked time-based media |
US9002018B2 (en) | 2006-05-09 | 2015-04-07 | Sync Up Technologies Corporation | Encryption key exchange system and method |
US7954049B2 (en) * | 2006-05-15 | 2011-05-31 | Microsoft Corporation | Annotating multimedia files along a timeline |
US20070300185A1 (en) * | 2006-06-27 | 2007-12-27 | Microsoft Corporation | Activity-centric adaptive user interface |
US8970503B2 (en) | 2007-01-05 | 2015-03-03 | Apple Inc. | Gestures for devices having one or more touch sensitive surfaces |
KR20070015239A (ko) | 2007-01-13 | 2007-02-01 | (주)아루온게임즈 | 휴대전화와 유저 게임공통단말기가 연동된 게임시스템 및그 방법 |
US20080248845A1 (en) * | 2007-04-06 | 2008-10-09 | Henry Paul Morgan | Contextual Gamer Options Menu |
WO2008134745A1 (en) | 2007-04-30 | 2008-11-06 | Gesturetek, Inc. | Mobile video-based therapy |
US9542394B2 (en) | 2007-06-14 | 2017-01-10 | Excalibur Ip, Llc | Method and system for media-based event generation |
US20130198321A1 (en) | 2012-01-31 | 2013-08-01 | Paul W. Martin | Content associated with primary content |
TWI333156B (en) | 2007-08-16 | 2010-11-11 | Ind Tech Res Inst | Inertia sensing input controller and receiver and interactive system using thereof |
US20090055739A1 (en) | 2007-08-23 | 2009-02-26 | Microsoft Corporation | Context-aware adaptive user interface |
CN103442201B (zh) | 2007-09-24 | 2018-01-02 | 高通股份有限公司 | 用于语音和视频通信的增强接口 |
US8572199B2 (en) | 2007-09-26 | 2013-10-29 | Microsoft Corporation | Dynamic instant comments |
JP4907483B2 (ja) | 2007-09-28 | 2012-03-28 | パナソニック株式会社 | 映像表示装置 |
JP5456683B2 (ja) | 2007-10-24 | 2014-04-02 | ラントロニクス・インコーポレイテツド | 仮想ipアドレスを割り当てるための中央ステーションのための種々の方法および装置 |
JP5844044B2 (ja) | 2007-11-21 | 2016-01-13 | クアルコム,インコーポレイテッド | デバイスアクセス制御 |
WO2009067670A1 (en) | 2007-11-21 | 2009-05-28 | Gesturetek, Inc. | Media preferences |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
US8340492B2 (en) | 2007-12-17 | 2012-12-25 | General Instrument Corporation | Method and system for sharing annotations in a communication network |
KR20090085791A (ko) | 2008-02-05 | 2009-08-10 | 삼성전자주식회사 | 멀티미디어 컨텐츠 서비스 장치 및 방법, 이를 포함하는멀티미디어 컨텐츠 서비스 제공시스템 |
US20090276475A1 (en) | 2008-03-01 | 2009-11-05 | Roald Ramsey | Secure data access and backup |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
US20090235298A1 (en) | 2008-03-13 | 2009-09-17 | United Video Properties, Inc. | Systems and methods for synchronizing time-shifted media content and related communications |
US20130215116A1 (en) * | 2008-03-21 | 2013-08-22 | Dressbot, Inc. | System and Method for Collaborative Shopping, Business and Entertainment |
KR101454025B1 (ko) | 2008-03-31 | 2014-11-03 | 엘지전자 주식회사 | 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법 |
US9582049B2 (en) | 2008-04-17 | 2017-02-28 | Lg Electronics Inc. | Method and device for controlling user interface based on user's gesture |
US8200795B2 (en) | 2008-06-05 | 2012-06-12 | Sony Computer Entertainment Inc. | Mobile phone game interface |
US8839327B2 (en) | 2008-06-25 | 2014-09-16 | At&T Intellectual Property Ii, Lp | Method and apparatus for presenting media programs |
WO2009156978A1 (en) | 2008-06-26 | 2009-12-30 | Intuitive User Interfaces Ltd | System and method for intuitive user interaction |
US20100050129A1 (en) | 2008-08-19 | 2010-02-25 | Augusta Technology, Inc. | 3D Graphical User Interface For Simultaneous Management Of Applications |
US20100053151A1 (en) | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
WO2010028690A1 (en) | 2008-09-12 | 2010-03-18 | Nokia Corporation | Session initiation for device-to-device communication |
KR101541561B1 (ko) | 2008-09-29 | 2015-08-03 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체 |
WO2010045507A2 (en) | 2008-10-16 | 2010-04-22 | Troy Barnes | Remote control of a web browser |
US8073909B2 (en) * | 2008-11-04 | 2011-12-06 | iGware Inc., | Hybrid platform for video games |
US8335425B2 (en) * | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
US8180891B1 (en) | 2008-11-26 | 2012-05-15 | Free Stream Media Corp. | Discovery, access control, and communication with networked services from within a security sandbox |
US9154942B2 (en) | 2008-11-26 | 2015-10-06 | Free Stream Media Corp. | Zero configuration communication between a browser and a networked media device |
US20100162139A1 (en) | 2008-12-19 | 2010-06-24 | Palm, Inc. | Multi-function status indicator for content receipt by a mobile computing device |
US7870496B1 (en) | 2009-01-29 | 2011-01-11 | Jahanzeb Ahmed Sherwani | System using touchscreen user interface of a mobile device to remotely control a host computer |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US8751955B2 (en) | 2009-03-28 | 2014-06-10 | International Business Machines Corporation | Scrollbar user interface for multitouch devices |
US8639096B2 (en) * | 2009-04-15 | 2014-01-28 | Cbs Interactive Inc. | System and method of managing a digital video recorder using a user television broadcast list |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8595781B2 (en) | 2009-05-29 | 2013-11-26 | Cognitive Media Networks, Inc. | Methods for identifying video segments and displaying contextual targeted content on a connected television |
US20100318520A1 (en) * | 2009-06-01 | 2010-12-16 | Telecordia Technologies, Inc. | System and method for processing commentary that is related to content |
US9014685B2 (en) | 2009-06-12 | 2015-04-21 | Microsoft Technology Licensing, Llc | Mobile device which automatically determines operating mode |
KR20110003146A (ko) | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
KR101584058B1 (ko) | 2009-08-07 | 2016-01-12 | 삼성전자주식회사 | 현재 상황에 적합한 사용 환경을 제공하는 휴대 단말기 및 이의 운용 방법 |
US20110078001A1 (en) * | 2009-09-30 | 2011-03-31 | Verizon Patent And Licensing, Inc. | Feedback system for television advertisements |
US8990142B2 (en) | 2009-10-30 | 2015-03-24 | The Nielsen Company (Us), Llc | Distributed audience measurement systems and methods |
US8255006B1 (en) | 2009-11-10 | 2012-08-28 | Fusionone, Inc. | Event dependent notification system and method |
US8880623B2 (en) * | 2009-12-02 | 2014-11-04 | Redux, Inc. | Prioritization in a continuous video playback experience |
KR101670352B1 (ko) | 2009-12-03 | 2016-10-28 | 엘지전자 주식회사 | 이동 단말기, 전자 기기 및 전자 기기의 제어 방법 |
US20110158605A1 (en) | 2009-12-18 | 2011-06-30 | Bliss John Stuart | Method and system for associating an object to a moment in time in a digital video |
US9477667B2 (en) * | 2010-01-14 | 2016-10-25 | Mobdub, Llc | Crowdsourced multi-media data relationships |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US8339364B2 (en) | 2010-02-03 | 2012-12-25 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
KR101154636B1 (ko) | 2010-02-03 | 2012-06-08 | 닌텐도가부시키가이샤 | 표시 장치, 게임 시스템 및 게임 처리 방법 |
US20110239142A1 (en) | 2010-03-25 | 2011-09-29 | Nokia Corporation | Method and apparatus for providing content over multiple displays |
US20110258545A1 (en) | 2010-04-20 | 2011-10-20 | Witstreams | Service for Sharing User Created Comments that Overlay and are Synchronized with Video |
US8494439B2 (en) | 2010-05-04 | 2013-07-23 | Robert Bosch Gmbh | Application state and activity transfer between devices |
US9294800B2 (en) | 2010-05-10 | 2016-03-22 | Comcast Cable Communications, Llc | Intelligent remote control |
US8515077B2 (en) * | 2010-05-12 | 2013-08-20 | Research In Motion Limited | Automatic application management in a short-range wireless system |
US20110279368A1 (en) | 2010-05-12 | 2011-11-17 | Microsoft Corporation | Inferring user intent to engage a motion capture system |
US8640020B2 (en) | 2010-06-02 | 2014-01-28 | Microsoft Corporation | Adjustable and progressive mobile device street view |
US20110300930A1 (en) | 2010-06-08 | 2011-12-08 | Hsu Kent T J | Video game controller with an auxiliary display |
US20120028625A1 (en) | 2010-06-21 | 2012-02-02 | Sony Ericsson Mobile Communications Ab | System and method for generating a message notification based on sensory detection |
US9086727B2 (en) | 2010-06-22 | 2015-07-21 | Microsoft Technology Licensing, Llc | Free space directional force feedback apparatus |
US9159165B2 (en) | 2010-07-13 | 2015-10-13 | Sony Computer Entertainment Inc. | Position-dependent gaming, 3-D controller, and handheld as a remote |
US9134799B2 (en) | 2010-07-16 | 2015-09-15 | Qualcomm Incorporated | Interacting with a projected user interface using orientation sensors |
WO2012017525A1 (ja) | 2010-08-04 | 2012-02-09 | パイオニア株式会社 | 処理装置及びコマンド入力支援方法 |
US8656062B2 (en) | 2010-08-18 | 2014-02-18 | Snap-On Incorporated | System and method for wireless pairing via wired connection |
US8745154B1 (en) | 2010-08-24 | 2014-06-03 | Amazon Technologies, Inc. | Item download customization |
US20120072504A1 (en) | 2010-09-22 | 2012-03-22 | Infineon Technologies Ag | Devices and methods for managing collaborative communications sessions |
US20120151320A1 (en) * | 2010-12-10 | 2012-06-14 | Mcclements Iv James Burns | Associating comments with playback of media content |
US8958018B2 (en) | 2010-12-22 | 2015-02-17 | Google Technology Holdings LLC | Remote control device and method for controlling operation of a media display system |
US8731902B2 (en) * | 2010-12-23 | 2014-05-20 | Sap Ag | Systems and methods for accessing applications based on user intent modeling |
US8793730B2 (en) * | 2010-12-30 | 2014-07-29 | Yahoo! Inc. | Entertainment companion content application for interacting with television content |
US9800941B2 (en) * | 2011-01-03 | 2017-10-24 | Curt Evans | Text-synchronized media utilization and manipulation for transcripts |
EP2490446A1 (en) | 2011-02-15 | 2012-08-22 | Eldon Technology Limited | Copy protection |
US9265450B1 (en) | 2011-02-21 | 2016-02-23 | Proxense, Llc | Proximity-based system for object tracking and automatic application initialization |
US20140218300A1 (en) | 2011-03-04 | 2014-08-07 | Nikon Corporation | Projection device |
US8965986B1 (en) * | 2011-03-08 | 2015-02-24 | Google Inc. | Device dependent user notification |
US9667713B2 (en) | 2011-03-21 | 2017-05-30 | Apple Inc. | Apparatus and method for managing peer-to-peer connections between different service providers |
US8814697B2 (en) | 2011-04-19 | 2014-08-26 | Sony Computer Entertainment America Llc | Method and apparatus for use in preserving a game state |
US9440144B2 (en) | 2011-04-21 | 2016-09-13 | Sony Interactive Entertainment Inc. | User identified to a controller |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US8856355B2 (en) | 2011-05-09 | 2014-10-07 | Samsung Electronics Co., Ltd. | Systems and methods for facilitating communication between mobile devices and display devices |
JP5937789B2 (ja) | 2011-05-24 | 2016-06-22 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法 |
JP6058643B2 (ja) | 2011-05-27 | 2017-01-11 | トムソン ライセンシングThomson Licensing | 複数のスクリーンによるメディア体験を提供する方法、装置およびシステム |
US10225617B2 (en) | 2011-06-22 | 2019-03-05 | Time Warner Cable Enterprises Llc | Methods and apparatus for presenting social network content in conjunction with video content |
US9160837B2 (en) | 2011-06-29 | 2015-10-13 | Gracenote, Inc. | Interactive streaming content apparatus, systems and methods |
US9066145B2 (en) * | 2011-06-30 | 2015-06-23 | Hulu, LLC | Commenting correlated to temporal point of video data |
US20130019192A1 (en) | 2011-07-13 | 2013-01-17 | Lenovo (Singapore) Pte. Ltd. | Pickup hand detection and its application for mobile devices |
US9384101B2 (en) | 2011-07-26 | 2016-07-05 | Apple Inc. | Web application architecture |
CN103890695B (zh) | 2011-08-11 | 2017-10-13 | 视力移动技术有限公司 | 基于手势的接口系统和方法 |
US9032451B2 (en) | 2011-09-01 | 2015-05-12 | The Directv Group, Inc. | Method and system for using a second screen device for interacting with a set top box to enhance a user experience |
US11210610B2 (en) | 2011-10-26 | 2021-12-28 | Box, Inc. | Enhanced multimedia content preview rendering in a cloud content management system |
US8750852B2 (en) | 2011-10-27 | 2014-06-10 | Qualcomm Incorporated | Controlling access to a mobile device |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
US20130174191A1 (en) | 2011-12-29 | 2013-07-04 | United Video Properties, Inc. | Systems and methods for incentivizing user interaction with promotional content on a secondary device |
JP5898999B2 (ja) | 2012-02-21 | 2016-04-06 | 任天堂株式会社 | 情報処理システム、制御装置、情報処理プログラム及び画像表示方法 |
US20130239041A1 (en) | 2012-03-06 | 2013-09-12 | Sony Corporation | Gesture control techniques for use with displayed virtual keyboards |
US8760426B1 (en) | 2012-03-26 | 2014-06-24 | Amazon Technologies, Inc. | Dominant hand detection for computing devices |
US9986273B2 (en) * | 2012-03-29 | 2018-05-29 | Sony Interactive Entertainment, LLC | Extracting media content from social networking services |
US9170667B2 (en) | 2012-06-01 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contextual user interface |
US9381427B2 (en) | 2012-06-01 | 2016-07-05 | Microsoft Technology Licensing, Llc | Generic companion-messaging between media platforms |
US9699485B2 (en) * | 2012-08-31 | 2017-07-04 | Facebook, Inc. | Sharing television and video programming through social networking |
US8924735B2 (en) | 2013-02-15 | 2014-12-30 | Microsoft Corporation | Managed biometric identity |
WO2018093375A1 (en) * | 2016-11-18 | 2018-05-24 | Rovi Guides, Inc. | Systems and methods for slowing down fast-access playback operations |
-
2012
- 2012-12-21 US US13/725,925 patent/US9170667B2/en active Active
- 2012-12-21 US US13/723,365 patent/US9690465B2/en active Active
- 2012-12-21 US US13/724,630 patent/US9798457B2/en active Active
-
2013
- 2013-03-12 US US13/795,622 patent/US10025478B2/en active Active
- 2013-05-24 CA CA2874667A patent/CA2874667C/en active Active
- 2013-05-24 AU AU2013267703A patent/AU2013267703B2/en active Active
- 2013-05-24 RU RU2014148164A patent/RU2644142C2/ru active
- 2013-05-24 EP EP20150793.6A patent/EP3657312A1/en not_active Withdrawn
- 2013-05-24 EP EP13728598.7A patent/EP2856295B1/en active Active
- 2013-05-24 WO PCT/US2013/042547 patent/WO2013181073A2/en active Application Filing
- 2013-05-24 KR KR1020147037015A patent/KR102126595B1/ko active IP Right Grant
- 2013-05-24 CN CN201380028950.9A patent/CN104350446B/zh active Active
- 2013-05-24 BR BR112014029915-3A patent/BR112014029915B1/pt active IP Right Grant
- 2013-05-24 JP JP2015515077A patent/JP6157603B2/ja active Active
- 2013-05-24 MX MX2014014621A patent/MX340692B/es active IP Right Grant
-
2015
- 2015-09-16 US US14/856,281 patent/US10248301B2/en active Active
-
2018
- 2018-06-26 US US16/018,583 patent/US10963147B2/en active Active
-
2019
- 2019-03-22 US US16/361,522 patent/US11875027B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5872859A (en) * | 1995-11-02 | 1999-02-16 | University Of Pittsburgh | Training/optimization of computer aided detection schemes based on measures of overall image quality |
US20030046401A1 (en) * | 2000-10-16 | 2003-03-06 | Abbott Kenneth H. | Dynamically determing appropriate computer user interfaces |
US20040263639A1 (en) * | 2003-06-26 | 2004-12-30 | Vladimir Sadovsky | System and method for intelligent image acquisition |
US20060072802A1 (en) * | 2004-09-29 | 2006-04-06 | Higgs Brent E | Analysis of multidimensional data |
RU2417437C2 (ru) * | 2006-01-09 | 2011-04-27 | Нокиа Корпорейшн | Отображение объектов сети на мобильных устройствах на основании геопозиции |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2644142C2 (ru) | Контекстный пользовательский интерфейс | |
CN103999028B (zh) | 不可见控件 | |
US8738783B2 (en) | System for interaction of paired devices | |
KR20170036786A (ko) | 2차 디스플레이용 모바일 디바이스 입력 제어기 | |
CN108885521A (zh) | 跨环境共享 | |
JP2023133307A (ja) | モード式ウィンドウを介したセキュアな認可 | |
US10238960B2 (en) | Dual input multilayer keyboard | |
US10516721B2 (en) | Remote process management | |
JP2013533541A (ja) | 文字の選択 | |
EP2801214A1 (en) | Method and system for providing media recommendations | |
TW202324041A (zh) | 與遠端設備的使用者互動 | |
CN106464976B (zh) | 显示设备、用户终端设备、服务器及其控制方法 | |
US20130244730A1 (en) | User terminal capable of sharing image and method for controlling the same | |
KR20140031956A (ko) | 센서가 부착된 단말기에서의 뮤직비디오 생성 방법 | |
CN114100121A (zh) | 操作控制方法、装置、设备、存储介质及计算机程序产品 | |
KR102204599B1 (ko) | 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치 | |
CN112905007A (zh) | 一种虚拟现实设备及语音辅助交互方法 | |
US11503361B1 (en) | Using signing for input to search fields | |
Braun et al. | Interacting with federated devices | |
KR20230087152A (ko) | 리모트컨트롤 시스템 | |
KR101522558B1 (ko) | 센서가 부착된 단말기에서의 뮤직비디오 생성 방법 | |
KR20170093644A (ko) | 휴대용 단말기 및 그 제어방법 | |
von Wilmsdorf et al. | Context-Based Document Management in Smart Living Environments |