RU2686622C2 - Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством - Google Patents

Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством Download PDF

Info

Publication number
RU2686622C2
RU2686622C2 RU2015152483A RU2015152483A RU2686622C2 RU 2686622 C2 RU2686622 C2 RU 2686622C2 RU 2015152483 A RU2015152483 A RU 2015152483A RU 2015152483 A RU2015152483 A RU 2015152483A RU 2686622 C2 RU2686622 C2 RU 2686622C2
Authority
RU
Russia
Prior art keywords
portable electronic
electronic device
auxiliary
auxiliary device
menu
Prior art date
Application number
RU2015152483A
Other languages
English (en)
Other versions
RU2015152483A (ru
Inventor
Янг-Дон ЛИ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2015152483A publication Critical patent/RU2015152483A/ru
Application granted granted Critical
Publication of RU2686622C2 publication Critical patent/RU2686622C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

Изобретение относится к области обеспечения пользовательского интерфейса портативного электронного устройства. Технический результат заключается в повышении скорости управления портативным электронным устройством посредством переконфигурирования информации конфигурации, соответствующей всплывающему на дисплее меню. Технический результат достигается за счет передачи, посредством портативного электронного устройства, информации конфигурации, соответствующей всплывающему меню, на вспомогательное устройство, принятия от вспомогательного устройства данные пользовательского ввода, соответствующие пользовательскому вводу, зарегистрированному на всплывающем меню, которое отображается на вспомогательном устройстве, управления выполнением приложения в ответ на принятые данные пользовательского ввода, регистрации пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве. 4 н. и 9 з.п. ф-лы, 41 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к обеспечению пользовательского интерфейса (UI) портативного электронного устройства. В частности, настоящее изобретение относится к способу и устройству для отображения UI в портативном электронном устройстве посредством вспомогательного устройства.
Уровень техники
Портативные электронные устройства представляют собой малоразмерные устройства, разработанные для удовлетворения потребностей пользователей и реализованные в различных формах, например, как карманные персональные компьютеры (PDA), видеопроигрыватели, планшетные персональные компьютеры (PC), смартфоны и т.д. В частности, смартфоны имеют функцию вызова, и на смартфоны можно загружать и устанавливать различные приложения, необходимые пользователям, что обусловило популярность смартфонов.
Основным преимуществом портативного электронного устройства является высокая портативность, поскольку портативное электронное устройство имеет малый размер по сравнению с существующим вычислительным устройством, например, настольным компьютером или переносным компьютером. Однако, вследствие этого преимущества, дисплей портативного электронного устройства неизбежно ограничивается в размере. Для преодоления ограничения, современные портативные электронные устройства снабжены сенсорным экраном, в котором объединены средства отображения и ввода. Тем не менее, пользователи испытывают неудобство из-за необходимости использовать различные приложения на малом экране дисплея портативного электронного устройства.
Вышеприведенная информация представлена как базовая информация только для помощи в понимании настоящего изобретения. Не сделано никакого определения, и не сделано никакого утверждения, следует ли применять что-либо из вышеперечисленного как уровень техники в отношении настоящего изобретения.
Раскрытие
Техническая проблема
Аспекты настоящего изобретения предусматривают решение, по меньшей мере, вышеупомянутых проблем и/или недостатков и обеспечение, по меньшей мере, описанных ниже преимуществ. Соответственно, аспект настоящего изобретения предусматривает способ и устройство для отображения пользовательского интерфейса (UI) в портативном электронном устройстве.
Другой аспект настоящего изобретения предусматривает способ и устройство для отображения UI в портативном электронном устройстве посредством вспомогательного устройства.
Другой аспект настоящего изобретения предусматривает способ и устройство для отображения экрана ввода, генерируемого при выполнении приложения в портативном электронном устройстве посредством вспомогательного устройства.
Другой аспект настоящего изобретения предусматривает способ и устройство для отображения всплывающего меню в портативном электронном устройстве посредством вспомогательного устройства.
Другой аспект настоящего изобретения предусматривает способ и устройство для регистрации пользовательского ввода в портативном электронном устройстве посредством вспомогательного устройства.
Техническое решение
В соответствии с аспектом настоящего изобретения, предусмотрен способ отображения с использованием вспомогательного устройства, соединимого с портативным электронным устройством. Способ отображения включает в себя регистрацию, посредством портативного электронного устройства, ввода, соответствующего отображению всплывающего меню, которое обеспечивается приложением, на вспомогательном устройстве, передачу информации конфигурации UI, соответствующей всплывающему меню, на вспомогательное устройство, прием, от вспомогательного устройства, данных пользовательского ввода, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, которое отображается на вспомогательном устройстве, и управление выполнением приложения в ответ на принятые данные пользовательского ввода.
В соответствии с другим аспектом настоящего изобретения, предусмотрен способ отображения всплывающего меню, которое способно отображаться на портативном электронном устройстве, на вспомогательном устройстве. Способ включает в себя прием информации конфигурации UI, соответствующей всплывающему меню, обеспеченному приложением портативного электронного устройства, от портативного электронного устройства, в ответ на прием информации конфигурации UI, отображение всплывающего меню на экране дисплея вспомогательного устройства, регистрацию пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве, и передачу данных пользовательского ввода, соответствующих регистрируемому пользовательскому вводу, на портативное электронное устройство.
В соответствии с другим аспектом настоящего изобретения, предусмотрено портативное электронное устройство для отображения всплывающего меню посредством вспомогательного устройства. Портативное электронное устройство включает в себя экран дисплея, выполненный с возможностью отображения информации, генерируемой приложением, которое выполняется, контроллер, выполненный с возможностью регистрации ввода, соответствующего отображению всплывающего меню, которое обеспечивается выполняемым приложением, на вспомогательном устройстве, генерации информации конфигурации UI, соответствующей всплывающему меню, и управления выполнением приложения в ответ на пользовательский ввод, регистрируемый на всплывающем меню, и блок связи, выполненный с возможностью передачи информации конфигурации UI на вспомогательное устройство и приема данных пользовательского ввода от вспомогательного устройства, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, которое отображается на вспомогательном устройстве.
В соответствии с другим аспектом настоящего изобретения, предусмотрено вспомогательное устройство для отображения всплывающего меню, которое способно отображаться на портативном электронном устройстве. Вспомогательное устройство включает в себя экран дисплея, блок связи, выполненный с возможностью приема информации конфигурации UI, соответствующей всплывающему меню, обеспеченному в приложении портативного электронного устройства, от портативного электронного устройства и передачи данных пользовательского ввода, соответствующих пользовательскому вводу, регистрируемому на всплывающем меню, на портативное электронное устройство, и контроллер, выполненный с возможностью отображения всплывающего меню на дисплее в ответ на прием информации конфигурации UI и генерации данных пользовательского ввода, соответствующих регистрируемому пользовательскому вводу в случае регистрации пользовательского ввода на всплывающем меню, отображаемом на вспомогательном устройстве.
Другие аспекты, преимущества и характерные признаки изобретения будут ясны специалистам в данной области техники из нижеследующего подробного описания, которое, совместно с прилагаемыми чертежами, раскрывает различные варианты осуществления настоящего изобретения.
Краткое описание чертежей
Вышеупомянутые и другие аспекты, признаки и преимущества определенных вариантов осуществления настоящего изобретения явствуют из нижеследующего описания, приведенного совместно с прилагаемыми чертежами, в котором:
Фиг.1 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;
Фиг.2 - блок-схема портативного электронного устройства согласно варианту осуществления настоящего изобретения;
Фиг.3 - блок-схема вспомогательного устройства согласно варианту осуществления настоящего изобретения;
Фиг.4 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;
Фиг.5 - блок-схема операций, демонстрирующая процедуру для выполнения приложения согласно варианту осуществления настоящего изобретения;
Фиг. 6a и 6b - блок-схемы операций, демонстрирующие вспомогательный пользовательский интерфейс (UI), обеспечивающий работу портативного электронного устройства согласно варианту осуществления настоящего изобретения;
Фиг.7 - блок-схема операций, демонстрирующая вспомогательный пользовательский интерфейс (UI), обеспечивающий работу с использованием вспомогательного устройства согласно варианту осуществления настоящего изобретения;
Фиг.8 демонстрирует пример всплывающего меню, отображаемого в рабочей области приложения согласно варианту осуществления настоящего изобретения;
Фиг. 9a, 9b, 9c, 9d, 9e и 9f - схемы для описания последовательности операций взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;
Фиг.10 - блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно другому варианту осуществления настоящего изобретения;
Фиг.11 - блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения;
Фиг. 12a и 12b - схемы для описания взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения;
Фиг.13 - схема обмена сигналами, демонстрирующая операцию изменения настройки кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;
Фиг. 14a и 14b демонстрируют операцию изменения кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;
Фиг. 15a и 15b демонстрируют операцию изменения типа кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;
Фиг. 16a и 16b демонстрируют операцию изменения толщины кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения;
Фиг. 17a и 17b демонстрируют примеры соединения между приложением редактирования изображений и наручными часами согласно варианту осуществления настоящего изобретения;
Фиг.18 демонстрирует экран приложения просмотра фотографий согласно уровню техники;
Фиг.19 - блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI приложения просмотра фотографий посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения;
Фиг.20 - блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения;
Фиг. 21a, 21b, 21c и 21d - схемы для описания операции обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения;
Фиг.22 демонстрирует экран игрового приложения согласно уровню техники;
Фиг.23 - блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI игрового приложения посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения;
Фиг.24 - блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения; и
Фиг. 25a, 25b и 25c - схемы для описания операции обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.
На протяжении чертежей, аналогичные ссылочные позиции призваны обозначать аналогичные части, компоненты и конструкции.
Предпочтительные варианты осуществления
Нижеследующее описание со ссылкой на прилагаемые чертежи обеспечено для помощи в полном понимании различных вариантов осуществления настоящего изобретения, заданных формулой изобретения и ее эквивалентами. Оно включает в себя различные конкретные детали для помощи в этом понимании, но их следует рассматривать лишь как иллюстративные. Соответственно, специалисты в данной области техники могут предложить различные изменения и модификации различных описанных здесь вариантов осуществления, не выходя за рамки объема и сущности настоящего раскрытия. Кроме того, описания общеизвестных функций и конструкций для наглядности и лаконичности могут быть опущены.
Термины и слова, используемые в нижеследующем описании и формуле изобретения не ограничиваются библиографическими смысловыми значениями, но используются автором изобретения лишь для обеспечения отчетливого и согласованного понимания настоящего раскрытия. Соответственно, специалистам в данной области техники очевидно, что нижеследующее описание различных вариантов осуществления настоящего раскрытия обеспечено только в целях иллюстрации, но не в целях ограничения настоящего раскрытия, заданного нижеследующей формулой изобретения и ее эквивалентами.
Следует понимать, что формы единственного числа включают в себя множественные представления, если из контекста явно не следует обратное. Таким образом, например, ссылка на "составную поверхность" включает в себя ссылку на одну или более таких поверхностей.
Фиг.1 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.
Согласно Фиг.1, портативное электронное устройство 100 и вспомогательное устройство 110 могут быть соединены друг с другом беспроводной линией связи или проводным кабелем. Портативное электронное устройство 100 может быть соединено со вспомогательным устройством 110 по беспроводной линии связи, например Bluetooth®, Bluetooth Low Energy (BLE), Zigbee, инфракрасной связи, Wireless-Fidelity (Wi-Fi) Direct, home Radio Frequency (RF), Digital Living Network Alliance (DLNA) и т.п. В другом варианте осуществления, портативное электронное устройство 100 может быть соединено со вспомогательным устройством 110 проводными средствами, например, кабелем мультимедийного интерфейса высокой четкости (HDMI), кабелем универсальной последовательной шины (USB), кабелем микро/мини USB, аудио-видео (AV) кабелем и т.п.
Портативное электронное устройство 100 выполнено с возможностью выполнения сохраненного или загружаемого приложения с помощью встроенного дисплея, и может быть реализовано в виде карманного персонального компьютера (PDA), сотового телефона, смартфона, планшетного PC, портативного мультимедийного проигрывателя (PMP) и т.п. Когда портативное электронное устройство 100 соединено и синхронизировано со вспомогательным устройством 100 проводными или беспроводными средствами, после активации использования режима вспомогательного пользовательского интерфейса (UI) который отображает информацию через вспомогательное устройство 110, портативное электронное устройство 100 передает данные UI на вспомогательное устройство 110 для приложения, которое выполняется (или выполняющегося приложения).
В настоящем изобретении, вспомогательное устройство 110 может отображать всплывающее окно или всплывающее меню, соответствующее приложению, выполняющемуся в портативном электронном устройстве 100. Дисплей вспомогательного устройства 110 меньше дисплея портативного электронного устройства 100 и имеет высокую портативность и доступность для пользователя и может представлять собой, например, наручные часы, пульт дистанционного управления гарнитуры, имеющий средство отображения, или носимое устройство, присоединенное к или надетое на тело пользователя. В данном случае, наручные часы могут представлять собой интеллектуальные часы, имеющие функцию связи, например Bluetooth®, для поддержки текстового оповещения, вызова или мгновенного обмена сообщениями посредством взаимодействия со смартфоном.
В настоящем изобретении, всплывающее окно означает новое окно, которого отображается в режиме всплывания для отображения конкретного содержания в выполняющемся приложении. Если всплывающее окно сконфигурировано для регистрации ввода пользователя в приложение, всплывающее окно может именоваться всплывающим меню. Всплывающее меню может быть сконфигурировано не отображаться в рабочей области выполняющегося приложения, для отображения информации, необходимой пользователю, по команде от приложения, и для приема ввода команды от пользователя. Всплывающее меню является типом контекстного меню, которое обеспечивает графический пользовательский интерфейс (GUI) для взаимодействия с пользователем, например, прикосновения или движения. Всплывающее меню может отображаться на экране по требованию пользователя, не заслоняя рабочую область приложения. Один или более программируемых клавиш, связанных с одной или более функций, могут быть включены во всплывающее меню.
В описанном ниже настоящем изобретении, большинство информации, генерируемой приложением, отображается на портативном электронном устройстве и в одно и то же время, некоторая информация, генерируемая по требованию пользователя или приложения, отображается на экране дисплея вспомогательного устройства, а не портативного электронного устройства. В данном случае, информация, отображаемая на вспомогательном устройстве, может включать в себя всплывающее окно или всплывающее меню приложения. Далее будет подробно описано операция выполнения всплывающего меню и отображения всплывающего меню на вспомогательном устройстве.
На Фиг.2 показана блок-схема портативного электронного устройства согласно варианту осуществления настоящего изобретения.
Согласно Фиг.2, портативное электронное устройство 100 может включать в себя блок 250 беспроводной связи ближнего действия, блок 240 интерфейса, сенсорный экран 230, блок 220 хранения и контроллер 210. Сенсорный экран 230 может включать в себя блок 232 отображения и блок 234 регистрации прикосновения.
Блок 250 беспроводной связи ближнего действия может формировать канал беспроводной связи ближнего действия с другими электронными устройствами в пределах дальности связи. В частности, блок 250 беспроводной связи ближнего действия формирует канал беспроводной связи ближнего действия со вспомогательным устройством 110 в режиме вспомогательного UI, передает информацию конфигурации UI на вспомогательное устройство 110 по каналу беспроводной связи ближнего действия, и принимает данные пользовательского ввода от вспомогательного устройства 110 по каналу беспроводной связи ближнего действия. Блок 150 беспроводной связи ближнего действия может использовать схему связи ближнего действия, например Bluetooth®, инфракрасную связь, Wi-Fi Peer-to-Peer (P2P), Wi-Fi Direct, home RF, DLNA или Zigbee.
Блок 240 интерфейса может включать в себя проводной кабель для проводного соединения с вспомогательным устройством 110, передает информацию конфигурации UI по проводному кабелю, и принимает данные пользовательского ввода от вспомогательного устройства 110 по проводному кабелю. Для этого, блок 240 интерфейса может быть сформирован с USB, микро/мини USB, HDMI, или 20-штырьковым разъемом. Если портативное электронное устройство 100 не обеспечивает вспомогательный UI по проводному кабелю, блок 240 интерфейса можно исключить.
Сенсорный экран 230 может осуществлять функцию ввода и функцию вывода. Для этого, сенсорный экран 230 может включать в себя дисплей 232 который осуществляет функцию вывода, и блок 234 регистрации прикосновения, который осуществляет функцию ввода. Дисплей 232 отображает информацию, которая вводится пользователем, и/или информацию, предоставляемую пользователю, а также информацию выполняющегося приложения в портативном электронном устройстве 100. Например, дисплей 232 может обеспечивать рабочие области различных приложений, соответствующих использованию портативного электронного устройства 100, например, приложения редактирования изображений, программы блокнота, программы просмотра фотографий, игры и пр. Если всплывающее меню, по меньшей мере, частично заслоняет рабочую область, контроллер 210 отображает всплывающее меню на вспомогательном устройстве 110 вместо дисплея 232. Например, если отображение всплывающего меню для настройки кисти необходимо в ходе выполнения приложения редактирования изображений, контроллер 210 конфигурирует информацию конфигурации UI, включающую в себя всплывающее меню, и передает информацию конфигурации UI на вспомогательное устройство 110 через блок 250 беспроводной связи ближнего действия.
Блок 234 регистрации прикосновения генерирует событие ввода, соответствующее контакту или регистрации пальца пользователя или стилуса, и доставляет генерируемое событие ввода на контроллер 210. Блок 234 регистрации прикосновения распознает изменение физической величины (например, емкости, сопротивления и пр.) соответствующее контакту или приближению пальца или стилуса, и доставляет событие ввода, включающее в себя тип ввода и информацию о позиции, в которой ввод регистрируется на контроллере 210.
Блок 220 хранения сохраняет пользовательские данные и программные коды, необходимые для операций согласно варианту осуществления настоящего изобретения. Например, в хранилище 220 может храниться программа для управления работой портативного электронного устройства 100 в целом, операционная система (OS) для начальной загрузки портативного электронного устройства 100, и приложения, необходимые для дополнительных функций портативного электронного устройства 100, например, функции камеры, функции звуковоспроизведения, редактирования изображений, отображения изображения, воспроизведения видео и функции беспроводной связи ближнего действия. В частности, в блоке 220 хранения хранится информация конфигурации UI, относящаяся к всплывающему меню, подлежащему отображению на сенсорном экране 230 и вспомогательном устройстве 110. Согласно варианту осуществления, в хранилище 220 хранится информация конфигурации UI, относящаяся к всплывающему меню в форме, пригодной для типа вспомогательного устройства 110, например, размер, физическая форма, например, квадратный тип или круглый тип, разрешение или размер, и обеспечивает информацию конфигурации UI на контроллер 210 по запросу контроллера 210.
Контроллер 210 управляет работой портативного электронного устройства 100 в целом и обменом сигналами между внутренними компонентами портативного электронного устройства 100. В частности, когда режим вспомогательного UI активирован, и выполняется всплывающее меню, контроллер 210 передает информацию конфигурации UI, которая относится к всплывающему меню, которое сконфигурирован согласно типу подключенного вспомогательного устройства 110, на вспомогательное устройство 110 через блок 250 беспроводной связи ближнего действия. После приема данных пользовательского ввода, указывающих пользовательский ввод, регистрируемый на всплывающем меню от вспомогательного устройства 110 посредством беспроводной связи ближнего действия 250, например, контроллер 210 управляет настройкой кисти, отображаемой в рабочей области дисплея 232, изменяемой на основании данных пользовательского ввода.
Хотя это не показано на Фиг.2, портативное электронное устройство 100 может дополнительно включать в себя компоненты для обеспечения дополнительных функций, например, модуль камеры для захвата изображения или видео, модуль приема широковещательных передач для приема широковещательных передач, модуль воспроизведения источника цифрового звука, например, модуль MPEG audio layer-3 (MP3) и модуль датчика близости для регистрации близости. Эти компоненты могут по-разному изменяться в соответствии с тенденцией конвергенции цифровых устройств и, таким образом, портативное электронное устройство 100 согласно вариантам осуществления настоящего изобретения может дополнительно включать в себя компоненты, эквивалентные вышеупомянутым компонентам.
На Фиг.3 показана блок-схема вспомогательного устройства 110 согласно варианту осуществления настоящего изобретения.
Согласно Фиг.3, по аналогии с портативным электронным устройством 100, вспомогательное устройство 110 включает в себя блок 350 беспроводной связи ближнего действия, блок 340 интерфейса, сенсорный экран 330, блок 320 хранения и контроллер 310, и сенсорный экран 330 включает в себя блок 332 отображения и блок 334 регистрации прикосновения. Блок 350 беспроводной связи ближнего действия формирует канал беспроводной связи ближнего действия с портативным электронным устройством 100, принимает информацию конфигурации UI от портативного электронного устройства 100 по каналу беспроводной связи ближнего действия, и передает данные пользовательского ввода, указывающие регистрируемый пользовательский ввод на портативное электронное устройство 100 по каналу беспроводной связи ближнего действия. Блок 340 интерфейса, который может избирательно существовать, может включать в себя проводной кабель для проводного соединения с портативным электронным устройством 100, и принимать информацию конфигурации UI от портативного электронного устройства 100 по проводному кабелю и передать данные пользовательского ввода на портативное электронное устройство 100 по проводному кабелю.
Сенсорный экран 330 включает в себя дисплей 332 для осуществления функций вывода и блок 334 регистрации прикосновения для осуществления функций ввода, и дисплей 332 отображает информацию, вводимую пользователем и/или информацию, обеспечиваемую пользователю, а также информацию, генерируемую во вспомогательном устройстве 110. Например, если вспомогательным устройством 110 являются наручные часы, дисплей 332 может обеспечивать циферблат. Если информация конфигурации UI, относящаяся к всплывающему меню, принимается от портативного электронного устройства 100, контроллер 310 отображает всплывающее меню на дисплее 332.
Блок 334 регистрации прикосновения генерирует событие ввода, соответствующее контакту или регистрации пальца пользователя или стилуса, и передает генерируемое событие ввода на контроллер 310. Блок 334 регистрации прикосновения распознает изменение физической величины (например, емкости, сопротивления и т.п.), соответствующее контакту или приближению пальца или стилуса и передает событие ввода, включающее в себя тип ввода и информацию о позиции, в которой ввод регистрируется на контроллере 310. В режиме вспомогательного UI, контроллер 310 передает событие ввода на портативное электронное устройство 100 через блок 350 беспроводной связи ближнего действия.
Блок 320 хранения сохраняет пользовательские данные, а также программные коды, необходимые для осуществления функций согласно настоящему изобретению. Например, в блоке 320 хранения может храниться программа для управления работой в целом вспомогательного устройства 110, OS для начальной загрузки вспомогательного устройства 110, и программные коды, необходимые для дополнительных функций вспомогательного устройства 110, например, функции часов, функции будильника, функции извещения и пр. В блоке 320 хранения хранится информация конфигурации UI, необходимая для отображения всплывающего меню, которая принимается от портативного электронного устройства 100. В другом варианте осуществления, в блоке 320 хранения хранится информация, связанная с типом вспомогательного устройства 110, например, размер, физическая форма, например, квадратная и круглая, разрешение или размер, и по запросу контроллера 310, хранилище 320 выдает информацию на контроллер 310.
Контроллер 310 управляет работой в целом вспомогательного устройства 110 и обменом сигналами между внутренними компонентами вспомогательного устройства 110. В частности, если режим вспомогательного UI активирован, и принимается информация конфигурации UI, относящаяся к всплывающему меню, контроллер 310 отображает всплывающее меню на дисплее 332. После регистрации пользовательского ввода на всплывающем меню от блока 334 регистрации прикосновения, контроллер 310 генерирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство 100 через блок 350 беспроводной связи ближнего действия.
Хотя это не показано на Фиг.3, компоненты для обеспечения дополнительных функций, например, громкоговоритель для вывода аудиосигнала, датчик движения, по меньшей мере, один физический блок ввода, например, вращающийся ободок или заводная головка наручных часов и пр. может быть дополнительно обеспечен во вспомогательном устройстве 110. Вспомогательное устройство 110 согласно вариантам осуществления настоящего изобретения может дополнительно включать в себя компоненты, эквивалентные вышеупомянутым компонентам.
За счет использования портативного электронного устройства и одного или более вспомогательных устройств, следующие варианты осуществления по отдельности отображают, на вспомогательных устройствах, по меньшей мере, часть UI, генерируемого приложением, которое выполняется на портативном электронном устройстве. Согласно варианту осуществления, всплывающее меню, включающее в себя функцию, например, функцию изменения цвета или функцию изменения толщина кисти, которая часто используется в приложении редактирования изображений, отображается на экране вспомогательного устройства, таким образом, препятствуя заслонению рабочей области приложения редактирования изображений всплывающим меню и уменьшая количество манипуляций для изменения настройки кисти.
Фиг.4 демонстрирует соединение между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.
Согласно Фиг.4, портативное электронное устройство 410 означает главное устройство, включающее в себя приложение, которое генерирует всплывающее меню, и включает в себя множество исполнимые приложения 412 и инфраструктуру 414 для вспомогательного устройства (или инфраструктура 414 вспомогательного устройства), действующего на ядре 416. Инфраструктура 414 вспомогательного устройства осуществляет связь с, по меньшей мере, одним из приложений 412 и управляет связью со вспомогательным устройством 420. По меньшей мере, одно из приложений 412 являются программами, способными использовать вход/выход вспомогательного устройства, и может быть, например, приложением редактирования изображений, игрой или программой просмотра фотографий.
Портативное электронное устройство 410 соединено со вспомогательным устройством 420 с использованием проводной или беспроводной линии связи 430. Вспомогательное устройство 420 включает в себя программу-агент 422 ответственный за связь между портативным электронным устройством 410 и вспомогательным устройством 420 и один или более программных исполнимых модулей 424 и 426. Программные исполнимые модули 424 и 426 включают в себя программное обеспечение управления экраном 424 и программное обеспечение управления вводом 426. Программное обеспечение управления экраном 424 отображает информацию, генерируемая во вспомогательном устройстве 420 или информацию конфигурации UI, обеспечиваемую портативным электронным устройством 410, через программу-агент 422 на экране вспомогательного устройства 420, и программное обеспечение управления вводом 426 регистрирует и обрабатывает информацию, вводимую через сенсорный экран или другой блок 420 ввода вспомогательного устройства, или переносит информацию на портативное электронное устройство 410 через программу-агент 422.
Инфраструктура 414 вспомогательного устройства в портативном электронном устройстве 410 включает в себя модуль 432 интерфейса прикладного программирования (API), который осуществляет связь с приложениями 412, модуль 434 управления агентом, который конфигурирует информацию конфигурации UI для передачи на вспомогательное устройство 420 и принимает и интерпретирует данные пользовательского ввода, доставляемые от вспомогательного устройства 420, и модуль 440 связи с агентом, который отвечает за связь с программой-агентом 422 вспомогательного устройства 420 согласно типу линии связи. Модуль 434 управления агентом включает в себя подмодуль 436 управления экраном, который конфигурирует информацию конфигурации UI для переноса на вспомогательное устройство 422 и доставляет информацию конфигурации UI на вспомогательное устройство 422 через модуль 440 связи с агентом. Модуль 434 управления агентом также включает в себя подмодуль 438 управления вводом, который интерпретирует данные пользовательского ввода, принятые от вспомогательного устройства 422, и переносит данные пользовательского ввода на соответствующее приложение 412.
Модуль API 432 обеспечивает интерфейс для использования ресурсов вспомогательного устройства 420, например, управления экраном, управления вводом и пр. Для этого, модуль API 432 использует модуль 434 управления агентом, который поддерживает использование ресурсов (экранный вывод, тактильный ввод и пр.) вспомогательного устройства 420 через подмодули 436 и 438, которые руководят управлением (экраном, тактильным вводом и пр.) вспомогательного устройства 420. Модуль 440 связи с агентом пересылает запрос приложения 412 на вспомогательное устройство 420 или пересылает пользовательский ввод от вспомогательного устройства 420 приложению 412 через модуль 434 управления агентом.
Программа-агент 422 во вспомогательном устройстве 420 включает в себя модуль 452 связи с главным устройством, который осуществляет связь с инфраструктурой 414 вспомогательного устройства портативного электронного устройства 410 и модулем 454 управления оборудованием, который управляет оборудованием 460 ввода/вывода вспомогательного устройства 420. Оборудование 460 ввода/вывода включает в себя блоки вывода, например, дисплей или сенсорный экран, и блоки ввода, например, сенсорный экран, датчик движения и физические кнопки. Модуль 454 управления оборудованием включает в себя подмодуль 456 управления экраном, который отображает информацию конфигурации UI на дисплее или сенсорном экране оборудования 460 ввода/вывода, и подмодуль 458 управления вводом, который переносит данные пользовательского ввода, регистрируемые через сенсорный экран или другой блок ввода оборудования 460 ввода/вывода, на портативное электронное устройство 410.
Модуль 454 управления оборудованием принимает запрос от портативного электронного устройства 410, конфигурирует состояние и экранную информацию вспомогательного устройства 420, и переносит сконфигурированную информацию на портативное электронное устройство 410. Модуль 454 управления оборудованием может действовать за счет использования драйвера устройства OS или непосредственного обращения к аппаратному регистру на основании программной структуры вспомогательного устройства 420.
На Фиг.5 показана блок-схема операций, демонстрирующая процедуру для выполнения приложения согласно варианту осуществления настоящего изобретения.
Согласно Фиг.5, портативное электронное устройство выполняет приложение согласно пользовательскому вводу или автоматически в операции 505 и осуществляет функцию приложения за счет использования ресурсов портативного электронного устройства в операции 510. Например, в приложении редактирования изображений, рабочая область для редактирования изображения и область меню для дополнительной функции (меню настройки для изменения кисти, текстового ввода, стирания и т.п.), подлежащая использованию в рабочей области, выводятся на экране дисплея, и функция, например, изменение кисти или рисование согласно пользовательскому вводу регистрируется на экране дисплея портативного электронного устройства.
В операции 515, портативное электронное устройство определяет, необходимо ли использовать вспомогательный ввод/вывод (т.е. вспомогательный UI) для приложения по выполнении приложения или в ответ на пользовательскую команду. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму (или программируемую клавишу) для запрашивания использования режима вспомогательного UI через строку состояния или область меню приложения, и если пользовательский ввод, например, прикосновение или тычок регистрируется на пиктограмме для запрашивания использования режима вспомогательного UI, портативное электронное устройство определяет, что вспомогательный UI подлежит использованию. В другом варианте осуществления, когда наручные часы сопряжены с портативным электронным устройством, по выполнении приложения, которое обеспечивает режим вспомогательного UI, портативное электронное устройство может отображать окно уведомлений, запрашивающее пользователя использовать режим вспомогательного UI, например, фразу "Использовать часы как вспомогательное устройство? Да/Нет" или "Отображать всплывающее меню на часах? Да/Нет". Если пользовательский ввод посредством программируемой клавиши соответствует "Да", портативное электронное устройство может определить, что нужно использовать вспомогательный UI. В другом варианте осуществления, если наручные часы сопряжены с портативным электронным устройством, портативное электронное устройство может определить, что вспомогательный UI должен автоматически использоваться для приложения, которое обеспечивает режим вспомогательного UI.
Если определено, что необходим вход/выход вспомогательного устройства, портативное электронное устройство определяет вспомогательное устройство, которое соединено с портативным электронным устройством и доступно для входа/выхода вспомогательного устройства. В частности, портативное электронное устройство может определять, соединено ли вспомогательное устройство с портативным электронным устройством через API, обеспеченный в инфраструктуре вспомогательного устройства в операции 525. Например, на основании информации, собранной в ходе соединения между портативным электронным устройством и вспомогательным устройством, портативное электронное устройство может определить, что вспомогательное устройство доступно для входа/выхода вспомогательного устройства, если вспомогательное устройство включает в себя экран дисплея и блок ввода.
В операции 530, портативное электронное устройство определяет, соединено ли вспомогательное устройство с портативным электронным устройством, и находится ли соединение с вспомогательным устройством в нормальном состоянии. Если вспомогательное устройство нормально соединено с портативным электронным устройством, портативное электронное устройство активирует режим вспомогательного UI и обеспечивает вспомогательный UI через API управления экраном и управления вводом, обеспеченный в инфраструктуре вспомогательного устройства. В частности, портативное электронное устройство идентифицирует, по меньшей мере, часть информации, генерируемой при выполнении приложения, переконфигурирует идентифицированную информацию, подлежащую отображению на вспомогательном устройстве, генерирует информацию конфигурации UI, указывающую переконфигурированную информацию, и передает информацию конфигурации UI на вспомогательное устройство. После приема данных пользовательского ввода, указывающих пользовательский ввод, регистрируемый во вспомогательном устройстве, портативное электронное устройство управляет выполнением приложения в ответ на пользовательский ввод. Согласно варианту осуществления, по меньшей мере, часть информации, подлежащей отображению через вспомогательное устройство, может представлять собой всплывающее меню, обеспеченное приложением, и информация конфигурации UI включает в себя всплывающее меню, переконфигурированное для отображения на вспомогательном устройстве. Например, рабочая область приложения редактирования изображений отображается на дисплее портативного электронного устройства, тогда как всплывающее меню, генерируемое приложением, отображается на дисплее вспомогательного устройства. Пользовательский ввод, регистрируемый на всплывающем меню, переносится на приложение портативного электронного устройства.
Согласно варианту осуществления, по выполнении приложения, которое поддерживает режим вспомогательного UI, портативное электронное устройство определяет, соединено ли вспомогательное устройство с портативным электронным устройством, и если да, портативное электронное устройство автоматически определяет, что нужно использовать вход/выход вспомогательного устройства.
Если в операции 515 определено, что вспомогательный ввод/вывод не требуется, или если вспомогательное устройство ненормально соединено с портативным электронным устройством в операции 530, то портативное электронное устройство обеспечивает UI приложения за счет использования своих ресурсов в операции 520. Согласно варианту осуществления, рабочая область приложения редактирования изображений и всплывающее меню, генерируемое в случае необходимости, отображаются на дисплее портативного электронного устройства.
В операции 540, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что режим вспомогательного UI используется в области меню приложения или строке состояния, и в случае регистрации пользовательского ввода на пиктограмме, портативное электронное устройство определяет, что запрашивается окончание режима вспомогательного UI. В другом варианте осуществления, когда приложение заканчивается, портативное электронное устройство определяет, что окончание режима вспомогательного UI запрашивается. Если запрашивается окончание режима вспомогательного UI, портативное электронное устройство извещает вспомогательное устройство об окончании режима вспомогательного UI, таким образом, что вспомогательное устройство заканчивает отображение вспомогательного UI.
На Фиг. 6a и 6b показаны блок-схемы операций, демонстрирующие вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно варианту осуществления настоящего изобретения.
На Фиг. 6a и 6b проиллюстрирована операция, соответствующая случаю, когда портативное электронное устройство инициирует использование вспомогательного UI. В операции 605, портативное электронное устройство распознает соединимое вспомогательное устройство. Согласно варианту осуществления, в случае идентификации пароля, согласованного со вспомогательным устройством, и завершения взаимной аутентификации со вспомогательным устройством, портативное электронное устройство может определить, что вспомогательное устройство является соединимым, то есть может осуществлять связь со вспомогательным устройством. Согласно варианту осуществления, если для беспроводного соединения с вспомогательным устройством используется Bluetooth®, портативное электронное устройство сопрягается со вспомогательным устройством за счет использования Bluetooth®. В операции 610, портативное электронное устройство регистрирует выполнение приложения. В операции 615, портативное электронное устройство определяет, способно ли приложение использовать вспомогательное устройство в качестве вспомогательного UI. Если приложение обеспечивает режим вспомогательного UI, портативное электронное устройство определяет в операции 620, доступно ли вспомогательное устройство, которое обеспечивает вспомогательный UI. Согласно варианту осуществления, портативное электронное устройство управляет списком вспомогательных устройств, соединенных с портативным электронным устройством, идентифицирует типы вспомогательных устройств, и определяет, что вспомогательное устройство, имеющее дисплей, доступно в качестве вспомогательного UI. В другом варианте осуществления, после соединения со вспомогательным устройством, портативное электронное устройство получает и сохраняет информацию о том, доступно ли вспомогательное устройство в качестве вспомогательного UI, от вспомогательного устройства или интернет-сервера.
Если существует вспомогательное устройство, доступное в качестве вспомогательного UI, портативное электронное устройство отображает активацию окна уведомлений для определения, согласен ли пользователь использовать режим вспомогательного UI в операции 625. Согласно варианту осуществления, портативное электронное устройство выводит окно уведомлений, запрашивающее использовать режим вспомогательного UI. В операции 630, портативное электронное устройство определяет, согласен ли пользователь использовать режим вспомогательного UI. Если пользователь согласен использовать режим вспомогательного UI, например, путем регистрации пользовательского ввода на окне уведомлений, указывающем, что пользователь согласен использовать режим вспомогательного UI, портативное электронное устройство переходит к операции 635. Если приложение сконфигурировано использовать режим вспомогательного UI, операции 625 и 630 можно исключить.
В операции 635, портативное электронное устройство отправляет запрос взаимодействия для использования вспомогательного UI на вспомогательное устройство. В операции 635, портативное электронное устройство, при необходимости, может устанавливать соединение с вспомогательным устройством. В операции 640, по меньшей мере, одна из информации состояния и экранной информации вспомогательного устройства принимается от вспомогательного устройства. Согласно варианту осуществления, информация состояния может указывать, нормально ли вспомогательное устройство работает в качестве вспомогательного UI и/или нормально ли соединение между вспомогательным устройством и портативным электронным устройством. Экранная информация может указывать, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, передачу экранной информации можно исключить. Если портативное электронное устройство желает принимать состояние и экранную информацию от вспомогательного устройства, запрос взаимодействия операции 635 может дополнительно включать в себя указатель для запрашивания состояния и экранной информации. Например, запрос подтверждения состояния операции 635 включает в себя сообщение или пакет и включает в себя, по меньшей мере, один бит, указывающий запрос информации экрана и/или состояния.
В операции 645, портативное электронное устройство определяет, доступно ли вспомогательное устройство в качестве вспомогательного UI на основании состояния и экранной информации. Если портативное электронное устройство доступно в качестве вспомогательного UI, то есть, если вспомогательное устройство нормально соединено и способно поддерживать вспомогательный UI, портативное электронное устройство активирует режим вспомогательного UI для конфигурирования (или идентификации) вспомогательного UI для приложения на основании экранной информации в операции 650, и передает информацию конфигурации UI, указывающую вспомогательный UI на вспомогательное устройство. Согласно варианту осуществления, портативное электронное устройство конфигурирует всплывающее меню (например, настройку кисти приложения редактирования изображений) в качестве вспомогательного UI и генерирует информацию конфигурации UI. Всплывающее меню включает в себя экранную информацию вспомогательного устройства, в частности, размер, форму и разрешение переконфигурированный согласно физической форме или размеру.
В операции 655, портативное электронное устройство выводит UI для функции выполняющегося приложения на экране дисплея, и управляет выполнением приложения согласно пользовательскому вводу, переносимому от вспомогательного устройства. Согласно варианту осуществления, если вспомогательное устройство принимает данные пользовательского ввода, включающие в себя команду, относящуюся к настройке кисти, портативное электронное устройство изменяет кисть (тип, толщину, цвет и т.п.), отображаемую на экране дисплея портативного электронного устройства согласно данным пользовательского ввода. В другом варианте осуществления, данные пользовательского ввода, принятые от вспомогательного устройства, включают в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на всплывающем меню, и портативное электронное устройство идентифицирует команду управления, указанную пользовательским вводом, в частности, по меньшей мере, один из типа кисти, выбранного цвета кисти и выбранной толщины кисти, на основании конфигурации всплывающего меню в операции 650.
В операции 660, портативное электронное устройство определяет, заканчивать ли использование вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню выполняющегося приложения или всплывающее меню, отображаемое на вспомогательном устройстве, и определяет закончить использование вспомогательного UI в случае регистрации пользовательского ввода на пиктограмме. В другом варианте осуществления, портативное электронное устройство может определять закончить использование вспомогательного UI, когда приложение заканчивается. Если определено закончить использование вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. Если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.
Если приложение не обеспечивает режим вспомогательного UI или не нуждается в режиме вспомогательного UI в операции 615; если в операции 620 определено, что доступного вспомогательного устройства не существует; если согласие использовать вспомогательный UI не вводится пользователем в операции 630; или если в операции 645 определено, что вспомогательное устройство недоступно, то портативное электронное устройство продолжает осуществлять функцию приложения через свой экран дисплея в операции 665.
На Фиг.7 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения.
На Фиг.7 проиллюстрирована операция, соответствующая случаю, когда портативное электронное устройство инициирует использование вспомогательного UI. В операции 705, вспомогательное устройство распознает соединимое портативное электронное устройство. Согласно варианту осуществления, если вспомогательное устройство идентифицирует пароль, согласованный с портативным электронным устройством, и заканчивает взаимную аутентификацию между портативным электронным устройством и вспомогательным устройством, вспомогательное устройство определяет, что оно может осуществлять связь с портативным электронным устройством. Согласно варианту осуществления, если для беспроводного соединения с портативным электронным устройством используется Bluetooth®, вспомогательное устройство сопрягается с портативным электронным устройством за счет использования Bluetooth®. Вспомогательное устройство устанавливает при необходимости соединение с портативным электронным устройством и принимает запрос подтверждения состояния от портативного электронного устройства в операции 710, и передает, по меньшей мере, одну из информации состояния и экранной информации вспомогательного устройства на портативное электронное устройство в операции 715. Согласно варианту осуществления, информация состояния указывает, может ли вспомогательное устройство действовать нормально в качестве вспомогательного UI и/или является ли нормальным соединение между вспомогательным устройством и портативным электронным устройством. Экранная информация может указывать, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, передачу экранной информации можно исключить.
Вспомогательное устройство принимает информацию конфигурации UI, относящуюся к вспомогательному UI, от портативного электронного устройства в операции 720 и выводит вспомогательный UI в операции 725. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений, выполняющегося в портативном электронном устройстве) и всплывающее меню имеет размер, форму и разрешение на основании экранной информации вспомогательного устройства.
В операции 730, вспомогательное устройство отслеживает, регистрируется ли пользовательский ввод на всплывающем меню, то есть, принимается ли пользовательский ввод от блока регистрации прикосновения вспомогательного устройства. В случае регистрации тактильного пользовательского ввода, вспомогательное устройство конфигурирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство в операции 735. Согласно варианту осуществления, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод на всплывающем меню. В другом варианте осуществления, данные пользовательского ввода могут включать в себя данные, связанные с приложением портативного терминала (например, тип кисти, цвет и толщину кисти).
В операции 740, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, приняв от портативного электронного устройства команду, предписывающую заканчивать отображение вспомогательного UI, вспомогательное устройство заканчивает отображение вспомогательного UI. В другом варианте осуществления, если вспомогательное устройство регистрирует пользовательский ввод для запрашивания окончания взаимодействия через всплывающее меню или другое программное меню или регистрирует ввод физической кнопки для запрашивания окончания взаимодействия, вспомогательное устройство заканчивает отображение вспомогательного UI и сообщает об окончании взаимодействия портативному электронному устройству.
Далее, со ссылкой на прилагаемые чертежи будет подробно описан пример взаимодействия между портативным электронным устройством и вспомогательным устройством. В нижеследующем описании, в качестве примера всплывающего меню, отображаемого в рабочей области приложения, будут описаны приложение редактирования изображений, программа блокнота для письма и текстовый редактор, выполняющийся на смартфоне.
Фиг.8 демонстрирует пример всплывающего меню, отображаемого в рабочей области приложения согласно варианту осуществления настоящего изобретения.
Согласно Фиг.8, приложение 800 редактирования изображений обеспечивает рабочую область 820, которая занимает большую часть экрана смартфона и имеет сравнительно малую область 830 меню. Область 830 меню обычно конструируется так, чтобы иметь минимальный размер, чтобы не прерывать работу пользователя по редактированию изображений в рабочей области 820. Если пользовательский ввод регистрируется на конкретном элементе меню в области 830 меню, например, меню 805 "настройка кисти", приложение 800 редактирования изображений отображает всплывающее меню 810.
Всплывающее меню 810 может включать в себя, по меньшей мере, одну из области 812 текущего состояния, отображающей выбранные тип и цвет кисти, области 814 выбора типа для выбора типа кисти, области 816 выбора толщины для выбора толщины кисти, и области 818 выбора цвета для выбора цвета кисти. После регистрации пользовательского ввода в областях 814, 816 и 818 выбора, выбранная форма кисти отображается в области 812 текущего состояния. Если пользовательский ввод регистрируется во внешней области всплывающего меню 810, всплывающее меню 810 исчезает, и, согласно пользовательскому вводу в рабочей области 820, в рабочей области 820 отображается рисование изображения с использованием выбранной кисти.
Если активирован режим вспомогательного UI, всплывающее меню 810, отображаемое в рабочей области 820, может быть сконфигурировано в качестве вспомогательного UI.
На Фиг.9a, 9b, 9c, 9d, 9e и 9f показаны схемы для описания последовательности операций для взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.
Согласно Фиг.9a, портативное электронное устройство 900 реализовано в виде смартфона, где выполняется приложение комментария, которое включает в себя функцию редактирования изображений. Если вспомогательное устройство, доступное в качестве вспомогательного UI, соединено с портативным электронным устройством 900 в ходе выполнения приложения комментария, на экране отображается окно 905a уведомлений, запрашивающее использовать вспомогательный UI. Согласно варианту осуществления, смартфон 900 может отображать окно 905a уведомлений, когда выполняется приложение, поддерживающее режим вспомогательного UI. Согласно варианту осуществления, смартфон 900 обеспечивает программируемую клавишу 905b для активации вспомогательного UI по выполнении приложения комментария и отображает окно 905a уведомлений после регистрации пользовательского ввода, например, прикосновения к программируемой клавише 905b.
В случае регистрации ввода, разрешающего использовать вспомогательный UI на окне 905b уведомлений, например, тактильного ввода на программируемой клавише "Да," смартфон 900 отправляет запрос подтверждения состояния на подключенное вспомогательное устройство, доступное в качестве вспомогательного UI.
Согласно Фиг.9b, вспомогательное устройство 910 реализовано в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством проводными или беспроводными средствами. В ответ на запрос подтверждения состояния от смартфона 900, вспомогательное устройство 910 предоставляет смартфону 900 свое состояние и экранную информацию 915. Экранная информация 915 может включать в себя, например, "квадрат", указывающий физическую форму наручных часов 910, и "320×320", указывающий размер (или разрешение) наручных часов 910.
Фиг.9c демонстрирует примеры экранной информации 915. Если наручные часы 910 имеют прямоугольный экран, экранная информация 920a указывает "квадрат, 320×320". В другом примере, если наручные часы 910 имеют круглый экран, экранная информация 920b указывает "круг, 320×320".
Согласно Фиг.9d, смартфон 900 передает на наручные часы 910 информацию 920 конфигурации UI, относящуюся к всплывающему меню, которое сконфигурировано для экрана наручных часов 910. Согласно Фиг.9e, наручные часы 910 отображают всплывающее меню 925 на своем экране на основании информации 920 конфигурации UI. Всплывающее меню 925 сконфигурировано в соответствии с формой экрана наручных часов 910 и включают в себя область 930a выбора типа для выбора типа кисти, область 930b выбора толщины для выбора толщины кисти, область 930c выбора цвета для выбора цвета кисти и область 940 состояния кисти, указывающие выбранную кисть.
Согласно Фиг.9f, если пользовательский ввод регистрируется в конкретной позиции на всплывающем меню 925, область 940 состояния кисти изменяется в соответствии с позицией, в которой регистрируется пользовательский ввод. Например, если пользовательский ввод регистрируется в черной области в области выбора цвета 930c, цвет области 940 состояния кисти меняется на черный, и данные 945 пользовательского ввода, указывающие информацию о позиции, в которой регистрируется пользовательский ввод, от наручных часов 910 на смартфон 900. Затем смартфон 900 вычисляет и сохраняет цвет кисти, выбранный согласно данным 945 пользовательского ввода, и отображает нарисованное изображение 955 в черном цвете, когда пользовательский ввод перемещается в рабочей области 950.
На Фиг.10 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу портативного электронного устройства согласно другому варианту осуществления настоящего изобретения.
На Фиг.10 проиллюстрирована операция, соответствующая случаю, когда вспомогательное устройство инициирует использование вспомогательного UI. В операции 1005, портативное электронное устройство распознает соединимое вспомогательное устройство. Согласно варианту осуществления, в случае идентификации пароля, согласованного со вспомогательным устройством, и завершения взаимной аутентификации со вспомогательным устройством, портативное электронное устройство может определить, что оно может осуществлять связь со вспомогательным устройством. Согласно варианту осуществления, если для беспроводного соединения с вспомогательным устройством используется Bluetooth®, портативное электронное устройство сопрягается со вспомогательным устройством за счет использования Bluetooth®. Портативное электронное устройство принимает запрос взаимодействия, подлежащее использованию в качестве вспомогательного UI, от вспомогательного устройства в операции 1010 и идентифицирует приложение, выполняющееся на экране в операции 1015.
В операции 1020, портативное электронное устройство определяет, обеспечивать ли режим вспомогательного UI для выполняющегося приложения. Согласно варианту осуществления, если приложение генерирует всплывающее меню, портативное электронное устройство может определять обеспечение режим вспомогательного UI. Если приложение обеспечивает режим вспомогательного UI, портативное электронное устройство определяет, согласен ли пользователь использовать режим вспомогательного UI в операции 1025. Согласно варианту осуществления, портативное электронное устройство выводит окно уведомлений, запрашивающее пользователя, использовать ли режим вспомогательного UI на экране, и переходит к операции 1030, где пользовательский ввод указывает, что пользователь согласен использовать режим вспомогательного UI регистрируется на окне уведомлений.
В операции 1030, портативное электронное устройство извещает вспомогательное устройство о том, что взаимодействие для вспомогательного ввода/вывода разрешено. Для извещения, портативное электронное устройство, при необходимости, может устанавливать соединение с вспомогательным устройством. Если портативное электронное устройство автоматически определяет использовать вспомогательный UI, если приложение поддерживает вспомогательный UI, операцию 1025 можно исключить, и в этом случае, портативное электронное устройство может просто запрашивать экранную информацию вспомогательного устройства в операции 1030.
В операции 1035, портативное электронное устройство принимает от вспомогательного устройства экранную информацию, указывающую, по меньшей мере, одно из формы дисплея, размера и разрешения вспомогательного устройства. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер (например, сервер производителя вспомогательного устройства), операцию 1035 можно исключить.
В операции 1040, портативное электронное устройство активирует режим вспомогательного UI для конфигурирования (или идентификации) вспомогательного UI для выполняющегося приложения на основании экранной информации, и передает информацию конфигурации UI, относящуюся к вспомогательному UI, на вспомогательное устройство. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений) и всплывающее меню имеет размер, форму и разрешение на основании экранной информации вспомогательного устройства.
В операции 1045, портативное электронное устройство выводит UI для функции выполняющегося приложения на своем экране дисплея, и управляет выполнением приложения согласно пользовательскому вводу на вспомогательном устройстве. Согласно варианту осуществления, после приема данных пользовательского ввода, относящихся к настройке кисти, от вспомогательного устройства, портативное электронное устройство изменяет кисть (тип, толщину, цвет и т.д.), отображаемый на своем экране дисплея. В другом варианте осуществления, данные пользовательского ввода, принятые от вспомогательного устройства, включают в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на всплывающем меню, и портативное электронное устройство идентифицирует, по меньшей мере, один из команды управления, указанной пользовательским вводом, типа кисти, выбранного цвета кисти и выбранной толщины кисти, на основании конфигурации всплывающего меню в операции 1040.
В операции 1050, портативное электронное устройство определяет, заканчивать ли использование вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню выполняющегося приложения или на всплывающем меню, которое отображается на вспомогательном устройстве, и определяет закончить использование вспомогательного UI, пользовательский ввод регистрируется на пиктограмме. В другом варианте осуществления, по окончании приложения, портативное электронное устройство может определять закончить использование вспомогательного UI. Если определено закончить использование вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. Если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.
Если определено, что выполняющееся приложение недоступно в качестве вспомогательного UI в операции 1020 или в отсутствие регистрации пользовательского ввода, указывающего, что пользователь согласен использовать вспомогательный ввод/вывод в операции 1025, портативное электронное устройство извещает вспомогательное устройство о том, что взаимодействие для вспомогательного ввода/вывода отвергается в операции 1055, и продолжает осуществлять функцию приложения на своем экране дисплея в операции 1060.
На Фиг.11 показана блок-схема операций, демонстрирующая вспомогательный UI, обеспечивающий работу с использованием вспомогательного устройства согласно другому варианту осуществления настоящего изобретения.
На Фиг.11 проиллюстрирована операция, соответствующая случаю, когда вспомогательное устройство инициирует использование вспомогательного UI. В операции 1105, вспомогательное устройство распознает соединимое портативное электронное устройство. Согласно варианту осуществления, вспомогательное устройство может определить, что оно может осуществлять связь с портативным электронным устройством, если пароль согласован с портативным терминалом, и осуществлена взаимная аутентификация. Согласно варианту осуществления, если для беспроводного соединения с портативным электронным устройством используется Bluetooth®, вспомогательное устройство сопрягается с портативным электронным устройством за счет использования Bluetooth®. В операции 1110, вспомогательное устройство регистрирует запрос пользователя для взаимодействия с портативным электронным устройством. В данном случае, вспомогательное устройство может регистрировать, что взаимодействие с портативным электронным устройством запрашивается через сенсорный экран или физическое средство ввода. Согласно варианту осуществления, если вспомогательное устройство реализовано с аналоговыми наручными часами, вспомогательное устройство может определить, что взаимодействие с портативным электронным устройством запрашивается, когда головка наручных часов выдвинута. В другом варианте осуществления, вспомогательное устройство обеспечивает программное меню или виртуальную кнопку для взаимодействия с портативным электронным устройством на сенсорном экране, и в случае регистрации пользовательского ввода, например, прикосновения к программному меню или виртуальной кнопке, вспомогательное устройство может определить, что запрашивается взаимодействие с портативным электронным устройством. Программное меню или виртуальная кнопка может предназначаться для запрашивания взаимодействия с портативным электронным устройством или для запрашивания как выполнения приложения, заранее установленного на портативном электронном устройстве, например, приложения редактирования изображений, так и взаимодействия с портативным электронным устройством.
В операции 1115, вспомогательное устройство устанавливает, при необходимости, соединение с портативным электронным устройством и отправляет запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного UI на портативное электронное устройство. В операции 1120, вспомогательное устройство ожидает разрешения от портативного электронного устройства. После приема разрешения на взаимодействие для вспомогательного ввода/вывода от портативного электронного устройства, вспомогательное устройство передает экранную информацию, указывающую (например, форму дисплея, размер и разрешение вспомогательного устройства) на портативное электронное устройство в операции 1125. Согласно варианту осуществления, если портативное электронное устройство может получать экранную информацию вспомогательного устройства непосредственно от вспомогательного устройства через предыдущее соединение (например, сопряжение Bluetooth®) со вспомогательным устройством или через интернет-сервер, операцию 1125 можно пропустить.
В операции 1130, вспомогательное устройство от портативного электронного устройства принимает информацию конфигурации UI, относящуюся к вспомогательному UI, который конфигурируется на основании экранной информации. В операции 1135, вспомогательное устройство выводит вспомогательный UI на основании информации конфигурации UI на своем экране дисплея. Согласно варианту осуществления, информация конфигурации UI может включать в себя всплывающее меню (например, настройку кисти приложения редактирования изображений, выполняющегося на портативном электронном устройстве), и всплывающее меню имеет размер, форму, и разрешение на основании экранной информации вспомогательного устройства.
В операции 1140, вспомогательное устройство регистрирует пользовательский ввод на всплывающем меню. В случае регистрации тактильного пользовательского ввода, вспомогательное устройство конфигурирует данные пользовательского ввода, указывающие пользовательский ввод, и передает данные пользовательского ввода на портативное электронное устройство в операции 1145. Согласно варианту осуществления, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод на всплывающем меню. В другом варианте осуществления, данные пользовательского ввода могут включать в себя, по меньшей мере, один из типа кисти, цвета кисти и толщины кисти, выбранной на всплывающем меню.
В операции 1150, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, в случае приема от портативного электронного устройства команды, предписывающей заканчивать отображение вспомогательного UI, вспомогательное устройство может заканчивать отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство может заканчивать отображение вспомогательного UI и сообщать об окончании взаимодействия портативному электронному устройству, если пользовательский ввод, запрашивающий окончание взаимодействия, регистрируется через всплывающее меню, другое программное меню или регистрируется ввод физической кнопки.
В отсутствие приема извещения, указывающего разрешение взаимодействия для вспомогательного ввода/вывода от портативного электронного устройства в операции 1120, вспомогательное устройство извещает пользователя об отказе от взаимодействия с портативным электронным устройством и продолжает осуществлять функцию (например, функцию часов) вспомогательного устройства в операции 1155.
Далее, со ссылкой на прилагаемые чертежи будет подробно описан пример взаимодействия между портативным электронным устройством и вспомогательным устройством.
На Фиг. 12a и 12b показаны схемы для описания взаимодействия между портативным электронным устройством и вспомогательным устройством согласно варианту осуществления настоящего изобретения.
Согласно Фиг.12a, вспомогательное устройство 1200 реализован в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством и включающих в себя головку 1205, способную действовать как физическая кнопка. Как показано, когда головка 1205 выдвинута, наручные часы 1200 определяют, что запрашивается взаимодействие для использования в качестве вспомогательного UI, и передают запрос взаимодействия на сопряженное портативное электронное устройство. Согласно варианту осуществления, наручные часы 1200 отображают пиктограмму для запрашивания взаимодействия для режима вспомогательного UI на экране, реализованном в виде сенсорного экрана, и когда головка 1205 выдвигается после регистрации ввода пиктограммы, наручные часы 1200 могут определять, что запрашивается взаимодействие с портативным электронным устройством.
Согласно Фиг.12b, портативное электронное устройство 1210 реализовано в виде смартфона, включающего в себя приложение комментария, имеющее функцию редактирования изображений. После приема запроса взаимодействия для использования в качестве вспомогательного UI от сопряженных наручных часов 1200 в ходе выполнения приложения комментария, портативное электронное устройство 1210 информирует наручные часы 1200 о разрешении взаимодействия и передает на наручные часы 1200 информацию конфигурации UI, относящуюся к всплывающему меню, которое сконфигурировано пригодным для экрана наручных часов 1200.
Наручные часы 1200 отображают всплывающее меню 1230 на своем экране на основании информации конфигурации UI, обеспеченной от смартфона 1210. Всплывающее меню 1230 может иметь круглую структуру, пригодную для формы экрана наручных часов 1200, и может включать в себя область 1235a выбора типа для выбора типа кисти, область 1235b выбора толщины для выбора толщины кисти, область 1235c выбора цвета для выбора цвета кисти и область 1040 состояния кисти, указывающую выбранную кисть.
Если пользовательский ввод регистрируется в конкретной позиции на всплывающем меню 1230, область 1240 состояния кисти изменяется в соответствии с позицией, в которой регистрируется пользовательский ввод. Например, если пользовательский ввод регистрируется в черной области в области 1235c выбора цвета, цвет области 1240 состояния кисти меняется на черный цвет, и данные 1250 пользовательского ввода, указывающие информацию о позиции, в которой регистрируется пользовательский ввод, передаются на смартфон 1210. Затем смартфон 1210 вычисляет и сохраняет цвет кисти, выбранный согласно данным 1250 пользовательского ввода, и отображает нарисованное изображение 1255 в черном цвете, когда пользовательский ввод перемещается в рабочей области 1260.
На Фиг.13 показана схема обмена сигналами, демонстрирующая операцию изменения настройки кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.
Согласно Фиг.13, в операции 1300, устанавливается соединение между вспомогательным устройством и портативным электронным устройством, где выполняется приложение редактирования изображений, и всплывающее меню, обеспечиваемое портативным электронным устройством, отображается на дисплее вспомогательного устройства. Установление соединения в операции 1300 можно реализовать, например, посредством операций 605-650 на Фиг.6a, операций 705-725 на Фиг.7, операций 1005-1040 на Фиг.10 и операций 1105-1135 на Фиг.11. Если пользовательский ввод регистрируется в области выбора цвета во всплывающем меню, отображаемом на дисплее в операции 1305, вспомогательное устройство переходит к операции 1310. Пользовательским вводом может быть, например, прикосновение или бесконтактное приближение. В операции 1310, вспомогательное устройство передает данные пользовательского ввода, указывающие запрос изменения цвета кисти, на портативное электронное устройство. Например, данными пользовательского ввода может быть информация координат, указывающая позицию, в которой регистрируется пользовательский ввод в области выбора цвета. В другом варианте осуществления, данные пользовательского ввода могут указывать цвет, выбранный в области выбора цвета.
В операции 1315, приложение редактирования изображений портативного электронного устройства идентифицирует выбранный цвет на всплывающем меню в ответ на данные пользовательского ввода, сохраняет измененный цвет кисти согласно идентифицированному цвету, и отображает нарисованное изображение с измененным цветом кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.
Если пользовательский ввод регистрируется в области выбора типа во всплывающем меню в операции 1320, вспомогательное устройство переходит к операции 1325. Пользовательским вводом может быть прикосновение или бесконтактное приближение. В операции 1325, вспомогательное устройство передает данные пользовательского ввода, указывающие запрос изменения типа кисти, на портативное электронное устройство в ответ на регистрацию пользовательского ввода. Как описано выше, данные пользовательского ввода могут представлять собой информацию координат или значение, указывающее выбранный тип кисти.
В операции 1330, приложение редактирования изображений портативного электронного устройства идентифицирует тип кисти, выбранный на всплывающем меню, в ответ на данные пользовательского ввода, сохраняет идентифицированный тип кисти, и отображает нарисованное изображение с измененным типом кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.
В случае регистрации пользовательского ввода в области выбора толщины во всплывающем меню в операции 1335, вспомогательное устройство переходит к операции 1340. Пользовательским вводом может быть, например, прикосновение или бесконтактное приближение. В операции 1340, вспомогательное устройство передает данные пользовательского ввода, запрашивающего изменение толщины кисти, на портативное электронное устройство в ответ на регистрацию пользовательского ввода. Как упомянуто выше, данные пользовательского ввода могут представлять собой информацию координат или значение, указывающее выбранную толщину кисти.
В операции 1345, приложение редактирования изображений портативного электронного устройства идентифицирует выбранную толщину кисти на всплывающем меню в ответ на данные пользовательского ввода, сохраняет идентифицированную толщину кисти и отображает нарисованное изображение с измененной толщиной кисти при перемещении пользовательского ввода, регистрируемого на дисплее портативного электронного устройства.
Фиг. 14a и 14b демонстрируют пример изменения кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.
Согласно Фиг.14a, наручные часы 1400 отображают всплывающее меню 1410 взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретного цвета, например, розовой области 1415 на всплывающем меню 1410, и изменяют цвет области состояния кисти 1420 на розовый в ответ на пользовательский ввод. Наручные часы 1400 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.
Согласно Фиг.14b, смартфон 1440 отображает рабочую область 1425, обеспеченную приложением редактирования изображений, и изображение 1430, нарисованное ранее введенным черным цветом, отображается в рабочей области 1425. Смартфон 1440 принимает данные пользовательского ввода, запрашивающего изменение на розовый, от наручных часов 1400. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1400. В другом варианте осуществления, данные пользовательского ввода могут включать в себя значение красного, зеленого и синего (RGB), указывающее выбранный цвет. Смартфон 1440 сохраняет измененный цвет, который является розовым, в ответ на прием данных пользовательского ввода. В случае регистрации пользовательского ввода и его перемещения в рабочей области 1425, смартфон 1440 отображает нарисованное изображение 1435 в розовом цвете, при перемещении пользовательского ввода.
Согласно варианту осуществления, смартфон 1440 отображает пиктограмму состояния кисти, указывающую, по меньшей мере, один из выбранного цвета, типа кисти и толщины кисти внутри или вне рабочей области 1425, позволяя пользователю быстро распознавать выбранную кисть на смартфоне 1440.
Фиг.15a и 15b демонстрируют пример изменения типа кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.
Согласно Фиг.15a, наручные часы 1500 отображают всплывающее меню 1510, взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретного типа кисти, например, в области 1515 малярной кисти на всплывающем меню 1510, и отображает пиктограмму в форме малярной кисти в области 1520 состояния кисти. Наручные часы 1500 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.
Согласно Фиг.15b, смартфон 1540 отображает рабочую область 1525, обеспеченную приложением редактирования изображений, и изображение 1530, нарисованное кистью ранее введенного типа, отображается в рабочей области 1525. Смартфон 1540 принимает данные пользовательского ввода, запрашивающего изменение на малярную кисть, от наручных часов 1500. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1500. В другом варианте осуществления, данные пользовательского ввода могут включать в себя указатель выбранной малярной кисти. Смартфон 1540 сохраняет измененный тип кисти в ответ на прием данных пользовательского ввода. После регистрации пользовательского ввода, перемещающегося в рабочей области 1525, смартфон 1540 отображает изображение 1535, нарисованное кистью выбранного малярного типа.
Фиг.16a и 16b демонстрируют пример изменения толщины кисти посредством вспомогательного устройства, соединенного с приложением редактирования изображений согласно варианту осуществления настоящего изобретения.
Согласно Фиг.16a, наручные часы 1600 отображают всплывающее меню 1610, взаимодействующее с приложением редактирования изображений, регистрируют пользовательский ввод в области конкретной толщины кисти, например, в области 1620 толщины в 3 пункта на всплывающем меню 1610, и отображает пиктограмму, указывающую толщину в 3 пункта в области 1615 состояния кисти, в ответ на пользовательский ввод. Наручные часы 1600 передают данные пользовательского ввода, указывающие пользовательский ввод, на смартфон, где выполняется приложение редактирования изображений.
Согласно Фиг.16b, смартфон 1640 отображает рабочую область 1625, обеспеченную приложением редактирования изображений, и изображение 1630, нарисованное кистью ранее введенного типа, отображается в рабочей области 1625. Смартфон 1640 принимает данные пользовательского ввода, запрашивающего изменение на толщину в 3 пункта, от наручных часов 1600. Данные пользовательского ввода могут включать в себя информацию координат, указывающую позицию, в которой регистрируется пользовательский ввод на наручных часах 1600. В другом варианте осуществления, данные пользовательского ввода могут включать в себя указатель толщины в 3 пункта. Смартфон 1640 сохраняет измененную толщину кисти в ответ на прием данных пользовательского ввода. После регистрации пользовательского ввода, перемещающегося в рабочей области 1625, смартфон 1640 отображает изображение 1635, нарисованное кистью толщиной в 3 пункта.
Фиг.17a и 17b демонстрируют примеры соединения между приложением редактирования изображений и наручными часами согласно варианту осуществления настоящего изобретения.
Согласно Фиг.17a, смартфон 1710 отображает рабочую область 1715, обеспеченную приложением редактирования изображений, и всплывающее меню 1705, генерируемое приложением редактирования изображений, конфигурируется в круглой форме и отображается на наручных часах 1700. Согласно варианту осуществления, смартфон 1710 может отображать в конкретной позиции, по меньшей мере, одну пиктограмму 1715a, указывающую, что всплывающее меню 1705 отображается на наручных часах 1700 и/или указывающую текущее состояние кисти, выбранной на всплывающем меню 1705.
Согласно Фиг.17b, смартфон 1730 отображает рабочую область 1735, обеспеченную приложением редактирования изображений, и всплывающее меню 1725, генерируемое приложением редактирования изображений, переконфигурируется в прямоугольную форму и отображается на наручных часах 1720. Согласно варианту осуществления, смартфон 1730 может отображать, в конкретной позиции, по меньшей мере, одну пиктограмму 1735a, указывающую, что всплывающее меню 1725 отображается на наручных часах 1720 и/или указывающую текущее состояние кисти, выбранной на всплывающем меню 1725.
Согласно варианту осуществления, приложение редактирования изображений может обеспечивать пиктограмму, указывающую, что всплывающее меню отображается через вспомогательное устройство в области меню, и пиктограмма может быть сконфигурирована как малое изображение, указывающее выбранные тип, толщину и цвет кисти. Если пользовательский ввод регистрируется на пиктограмме, приложение редактирования изображений определяет закончить режим вспомогательного UI и запрашивает вспомогательное устройство остановить отображение всплывающего меню.
Фиг.18 демонстрирует экран приложения просмотра фотографий согласно уровню техники.
Согласно Фиг.18, портативное электронное устройство 1800 является таким устройством, как смартфон, где выполняется приложение просмотра фотографий, и отображает выбранную фотографию. Несколько секунд спустя после первого отображения фотографии или в случае ввода запроса пользователя, портативное электронное устройство 1800 отображает подробную информацию 1810 о фотографии на фотографии в режиме всплывания. Подробная информация 1810 может включать в себя, по меньшей мере, одно из имени файла фотографии, места и даты фотографирования, и формата фотографии и комментарий к ней. Подробная информация 1810 отображается таким образом, что она заслоняет фотографию.
Электронное устройство 1800 фотографий устанавливает соединение для использования вспомогательного устройства (не показано) в качестве вспомогательного UI со вспомогательным устройством, и предписывает отображать подробную информацию 1810 на вспомогательном устройстве.
На Фиг.19 показана блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI приложения просмотра фотографий посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения.
Согласно Фиг.19, в операции 1905, портативное электронное устройство устанавливает соединение для использования вспомогательного устройства в качестве вспомогательного UI приложения просмотра фотографий со вспомогательным устройством и активирует режим вспомогательного UI. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством, и, при необходимости, портативное электронное устройство запрашивает у пользователя разрешение использовать вспомогательное устройство в качестве вспомогательного UI.
В операции 1910, портативное электронное устройство отображает выбранную пользователем фотографию на дисплее посредством приложения просмотра фотографий. В операции 1915, портативное электронное устройство определяет, сохранена ли подробная информация об отображаемой фотографии. Если подробной информации, подлежащей отображению, не существует, портативное электронное устройство информирует пользователя об отсутствии подробной информации в операции 1935. Например, поверх фотографии отображается фраза "Нет информации", или она может отображаться вне фотографии. В другом варианте осуществления, в операции 1935, портативное электронное устройство может отображать только фотографию без дополнительной операции.
С другой стороны, если подробная информация, подлежащая отображению, существует, портативное электронное устройство передает информацию конфигурации UI, указывающую подробную информацию, на вспомогательное устройство, чтобы вспомогательное устройство могло отображать подробную информацию на дисплее вспомогательного устройства в операции 1920. В операции 1925, портативное электронное устройство определяет, существует ли запрос изменения фотографии для изменения фотографии, подлежащей отображению. Например, в случае регистрации команды перемещения (например, скольжения, легкого маха и т.п.) на отображаемой в данный момент фотографии или пользовательского ввода, например, прикосновения к программируемой клавише перемещения, обеспеченной на экране, портативное электронное устройство определяет, что отображение предыдущей или следующей фотографии запрашивается и возвращается к операции 1910.
С другой стороны, если запроса изменения фотографии не существует, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI, в операции 1930. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в области меню приложения просмотра фотографий, или через вспомогательное устройство и определяет закончить режим вспомогательного UI в случае регистрации пользовательского ввода на пиктограмме. В другом варианте осуществления, портативное электронное устройство может определять закончить режим вспомогательного UI, если приложение просмотра фотографий заканчивается. Если определено закончить режим вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. В этом состоянии, если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания приложения просмотра фотографий, портативное электронное устройство может отображать подробная информация фотографии на своем экране дисплея по запросу пользователя.
На Фиг.20 показана блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения.
Согласно Фиг.20, в операции 2005, вспомогательное устройство устанавливает соединение с портативным электронным устройством для работы в качестве вспомогательного UI портативного электронного устройства. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством. В операции 2010, вспомогательное устройство определяет, принимается ли подробная информация от портативного электронного устройства. Например, подробная информация может быть подробной информацией о фотографии, обеспеченной приложением просмотра фотографий, выполняющимся в портативном электронном устройстве. Если принятая подробная информация существует, вспомогательное устройство отображает подробную информацию на своем экране дисплея в операции 2015. В операции 2020, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, приняв от портативного электронного устройства команду, предписывающую заканчивать отображение вспомогательного UI, вспомогательное устройство заканчивает взаимодействие с портативным электронным устройством и отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство отображает пиктограмму, указывающую, что вспомогательный UI обеспечивается на его экране дисплея, заканчивает отображение вспомогательного UI в случае регистрации пользовательского ввода, например, прикосновения на пиктограмме или ввода физической кнопки для запрашивания окончания взаимодействия, и сообщает об окончании взаимодействия портативному электронному устройству.
На Фиг.21a, 21b, 21c и 21d показаны схемы для описания операции обеспечения вспомогательного UI приложения просмотра фотографий согласно варианту осуществления настоящего изобретения.
Согласно Фиг.21a, портативное электронное устройство 2100 реализовано в виде смартфона, где выполняется приложение просмотра фотографий, и отображает фотографию 2105 посредством приложения просмотра фотографий.
Согласно Фиг.21b, портативное электронное устройство 2100 определяет, существует ли подробная информация 2115, относящаяся к фотографии 2105, и если подробная информация 2115 существует, и существует вспомогательное устройство 2110 подлежащее использованию в качестве вспомогательного UI, то портативное электронное устройство 2100 передает подробную информацию 2115 на вспомогательное устройство 2110.
Согласно Фиг.21c, вспомогательное устройство 2110 можно реализовать в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством 2100, и оно отображает подробную информацию 2115, принятую от портативного электронного устройства 2100. Согласно варианту осуществления, подробная информация 2115 может отображаться на первоначальном экране (например, экране часов), соответствующем первичной функции вспомогательного устройства 2110. В другом варианте осуществления, подробная информация 2115 может отображаться вместо первоначального экрана вспомогательного устройства 2110. В другом варианте осуществления, когда подробная информация 2115 принимается, первоначальный экран вспомогательного устройства 2110 может уменьшаться (или трансформироваться), и подробная информация может отображаться в другой области, а не в уменьшенной области первоначального экрана.
Согласно Фиг.21d, если на портативном электронном устройстве 2100 отображается другая фотография 2120, вспомогательное устройство 2110 отображает подробную информацию 2125 фотографии 2120 таким же образом, как описано выше.
Фиг.22 демонстрирует экран игрового приложения согласно уровню техники.
Согласно Фиг.22, портативное электронное устройство 2200 является таким устройством, как смартфон, где выполняется игровое приложение, и отображает экран 2210 выполнения игрового приложения. Игровое приложение конкретного типа отображает различные объекты на экране выполнения и, в случае выбора конкретного объекта 2215 (например, прикосновением), подробная информация об объекте 2215 отображается во всплывающем меню 2220 для настройки объекта 2215. В частности, для игры, проходимой в реальном времени, размер и позицию всплывающего меню 2220 нужно тщательно выбирать, чтобы не прерывать прохождение игры вследствие отображения всплывающего меню 2220.
Портативное электронное устройство 2200 устанавливает соединение со вспомогательным устройством (не показано) для использования вспомогательного устройства в качестве вспомогательного UI и предписывает вспомогательному устройству отображать всплывающее меню 2220.
На Фиг.23 показана блок-схема операций, демонстрирующая работу портативного электронного устройства для обеспечения вспомогательного UI игрового приложения посредством вспомогательного устройства согласно варианту осуществления настоящего изобретения.
Согласно Фиг.23, в операции 2305, портативное электронное устройство устанавливает соединение с вспомогательным устройством для использования вспомогательного устройства в качестве вспомогательного UI игрового приложения. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством и, при необходимости, портативное электронное устройство может запрашивать у пользователя разрешение использовать вспомогательное устройство в качестве вспомогательного UI.
В операции 2310, портативное электронное устройство отображает экран выполнения игрового приложения, и экран выполнения может включать в себя один или более объектов, необходимых для прохождения игры. В операции 2315, портативное электронное устройство определяет, выбран ли конкретный объект на экране выполнения. Например, в случае регистрации тактильного пользовательского ввода на объекте, портативное электронное устройство может определить, что объект выбран. Если объект выбран, портативное электронное устройство определяет, существует ли всплывающее меню для выбранного объекта, в операции 2320. Согласно варианту осуществления, всплывающее меню может включать в себя подробную информацию о выбранном объекте и/или, по меньшей мере, одну программируемую клавишу для информации настроек выбранного объекта. В другом варианте осуществления, всплывающее меню может включать в себя, по меньшей мере, одно из наименования и подробной информации выбранного объекта.
Если всплывающее меню, подлежащее отображению, существует, портативное электронное устройство передает информацию конфигурации вспомогательного UI, указывающую всплывающее меню, на вспомогательное устройство, чтобы вспомогательное устройство отображало всплывающее меню на дисплее вспомогательного устройства в операции 2325. Хотя это не показано на фигуре, при необходимости, всплывающее меню может быть сконфигурировано согласно физической форме и разрешению вспомогательного устройства, и для этого, портативное электронное устройство может получать экранную информацию, указывающую физическую форму и разрешение вспомогательного устройства, от вспомогательного устройства и/или интернет-сервера.
В операции 2330, портативное электронное устройство определяет, запрашивается ли окончание режима вспомогательного UI. Согласно варианту осуществления, портативное электронное устройство обеспечивает пиктограмму, указывающую, что вспомогательный UI используется в конкретной области экрана выполнения игрового приложения или через вспомогательное устройство, и в случае регистрации пользовательского ввода на пиктограмме, портативное электронное устройство определяет закончить режим вспомогательного UI. В другом варианте осуществления, портативное электронное устройство может определять закончить режим вспомогательного UI, если заканчивается игровое приложение. Если определено закончить режим вспомогательного UI, портативное электронное устройство предписывает вспомогательному устройству закончить отображение вспомогательного UI. В этом состоянии, если вспомогательное устройство не используется в других целях, портативное электронное устройство может освобождать соединение с вспомогательным устройством. Если отображение вспомогательного UI заканчивается без окончания игрового приложения, портативное электронное устройство может отображать всплывающее меню на своем экране дисплея по запросу пользователя.
На Фиг.24 показана блок-схема операций, демонстрирующая работу вспомогательного устройства для обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.
Согласно Фиг.24, в операции 2405, вспомогательное устройство устанавливает соединение с портативным электронным устройством для работы в качестве вспомогательного UI портативного электронного устройства. Соединение может инициироваться портативным электронным устройством или вспомогательным устройством. В операции 2410, вспомогательное устройство определяет, принимается ли от портативного электронного устройства информация конфигурации вспомогательного UI, указывающая вспомогательный UI. Например, информация конфигурации вспомогательного UI может представлять собой всплывающее меню, включающее в себя подробную информацию о конкретном объекте в игровом приложении и/или, по меньшей мере, одну программируемую клавишу для информации настроек. Хотя это не показано на фигуре, при необходимости, всплывающее меню может быть сконфигурировано согласно физической форме и разрешению вспомогательного устройства, и для этого, вспомогательное устройство может переносить экранную информацию, указывающую физическую форма и разрешение вспомогательного устройства, на портативное электронное устройство.
Если принятая информация конфигурации вспомогательного UI существует, вспомогательное устройство отображает всплывающее меню на своем экране дисплея в операции 2415. В операции 2420, вспомогательное устройство определяет, заканчивать ли взаимодействие с портативным электронным устройством. Согласно варианту осуществления, в случае приема команды, предписывающей заканчивать отображение вспомогательного UI от портативного электронного устройства, вспомогательное устройство заканчивает отображение вспомогательного UI. В другом варианте осуществления, вспомогательное устройство отображает пиктограмму, указывающую, что вспомогательный UI обеспечивается на его экране дисплея, заканчивает отображение вспомогательного UI и сообщает об окончании портативному электронному устройству в случае регистрации пользовательского ввода на пиктограмме или ввода физической кнопки для запрашивания окончания взаимодействия.
На Фиг. 25a, 25b и 25c показаны схемы для описания операции обеспечения вспомогательного UI игрового приложения согласно варианту осуществления настоящего изобретения.
Согласно Фиг.25a, портативное электронное устройство 2500 реализовано в виде смартфона, где выполняется игровое приложение, и отображает экран 2510 выполнения игрового приложения. Экран 2510 выполнения может включать в себя один или более объектов 2515, необходимых для прохождения игры.
Согласно Фиг.25b, портативное электронное устройство 2500 регистрирует запрашивание отображения всплывающего меню для объекта, включенного в экран 2510 выполнения. Например, в случае регистрации пользовательского ввода на объекте, отображаемом на экране 2510 выполнения, или определения, что игровое приложение обеспечивает дополнительную информацию о конкретном объекте, портативное электронное устройство 2500 может определить, что запрашивается отображение всплывающего меню. Если запрашивается отображение всплывающего меню, и существует вспомогательное устройство 2510, подлежащее использованию в качестве вспомогательного UI, информация 2520 конфигурации вспомогательного UI, указывающая всплывающее меню, передается на вспомогательное устройство 2510.
Согласно Фиг.25c, вспомогательное устройство 2525 можно реализовать в виде наручных часов, выполненных с возможностью соединения с портативным электронным устройством 2500, и отображает всплывающее меню 2530, соответствующее информации 2520 конфигурации вспомогательного UI, принятой от портативного электронного устройства 2500, на своем экране дисплея. Согласно варианту осуществления, всплывающее меню 2530 может отображаться на первоначальном экране (например, экране часов), соответствующем функции вспомогательного устройства 2525. В другом варианте осуществления, всплывающее меню 2530 может отображаться вместо первоначального экрана вспомогательного устройства 2525. В другом варианте осуществления, в случае приема информации 2520 конфигурации вспомогательного UI, первоначальный экран вспомогательного устройства 2525 отображается уменьшенным (или трансформированным), и всплывающее меню 2530 может отображаться в другой области, а не в уменьшенной области первоначального экрана.
Другие результаты, которые можно получить или ожидать из варианта осуществления настоящего изобретения, явно или неявно раскрыты в подробном описании варианта осуществления настоящего изобретения. Таким образом, различные результаты, ожидаемые из варианта осуществления настоящего изобретения, раскрыты в подробном описании настоящего изобретения.
Хотя настоящее изобретение показано и описано со ссылкой на различные варианты его осуществления, специалистам в данной области техники понятно, что оно допускает различные изменения, касающиеся формы и деталей, но не выходящие за рамки сущности и объема настоящего изобретения, заданные нижеследующей формулой изобретения и ее эквивалентами.

Claims (30)

1. Способ отображения на портативном электронном устройстве, содержащий этапы, на которых:
регистрируют, посредством портативного электронного устройства, ввод, соответствующий отображению всплывающего меню, которое обеспечивается приложением, на вспомогательном устройстве, которое соединено с портативным электронным устройством;
принимают из вспомогательного устройства информацию, относящуюся к дисплею вспомогательного устройства, причем информация содержит по меньшей мере одно из формы дисплея, размера дисплея и разрешения дисплея вспомогательного устройства;
переконфигурируют, посредством портативного электронного устройства, информацию конфигурации, соответствующую всплывающему меню, на основе принятой информации, относящейся к дисплею вспомогательного устройства;
передают, посредством портативного электронного устройства, информацию конфигурации, соответствующую всплывающему меню, на вспомогательное устройство;
принимают, от вспомогательного устройства, данные пользовательского ввода, соответствующие пользовательскому вводу, зарегистрированному на всплывающем меню, которое отображается на вспомогательном устройстве; и
управляют выполнением приложения в ответ на принятые данные пользовательского ввода.
2. Способ отображения по п. 1, в котором всплывающее меню содержит по меньшей мере одно из меню настройки кисти, генерируемого приложением редактирования изображений, которое выполняется на портативном электронном устройстве, подробной информации, относящейся к фотографии, которая отображается приложением просмотра фотографий на портативном электронном устройстве, и подробной информации о конкретном объекте и по меньшей мере одном элементе меню для информации настроек, обеспечиваемой игровым приложением, которое выполняется на портативном электронном устройстве.
3. Способ отображения по п. 1, дополнительно содержащий этап, на котором получают экранную информацию, соответствующую форме дисплея, размеру дисплея и разрешению дисплея вспомогательного устройства, от вспомогательного устройства.
4. Способ отображения по п. 1, в котором данные пользовательского ввода содержат информацию координат, указывающую позицию, где зарегистрирован пользовательский ввод на всплывающем меню, или указывает команду, соответствующую пользовательскому вводу.
5. Способ отображения по п. 1, дополнительно содержащий этапы, на которых:
принимают запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса от вспомогательного устройства и
извещают вспомогательное устройство о разрешении взаимодействия.
6. Способ отображения по п. 1, дополнительно содержащий этапы, на которых:
если приложение поддерживает режим вспомогательного пользовательского интерфейса, определяют, доступно ли вспомогательное устройство в качестве вспомогательного пользовательского интерфейса; и
отправляют запрос взаимодействия на вспомогательное устройство.
7. Способ соединения вспомогательного устройства с портативным электронным устройством, причем способ содержит этапы, на которых:
передают, посредством вспомогательного устройства, информацию, относящуюся к дисплею вспомогательного устройства, портативному электронному устройству, которое соединено с вспомогательным устройством, причем информация содержит по меньшей мере одно из формы дисплея, размера дисплея и разрешения дисплея вспомогательного устройства;
принимают, посредством вспомогательного устройства, информацию конфигурации, соответствующую всплывающему меню, обеспеченному приложением портативного электронного устройства, от портативного электронного устройства, причем информация конфигурации выполнена на основе переданной информации посредством портативного электронного устройства;
в ответ на прием информации конфигурации отображают всплывающее меню на экране дисплея вспомогательного устройства;
регистрируют пользовательский ввод на всплывающем меню, отображаемом на вспомогательном устройстве; и
передают данные пользовательского ввода, соответствующие зарегистрированному пользовательскому вводу, на портативное электронное устройство.
8. Способ по п. 7, в котором всплывающее меню содержит по меньшей мере одно из меню настройки кисти, генерируемого приложением редактирования изображений, которое выполняется на портативном электронном устройстве, подробной информации, относящейся к фотографии, которая отображается приложением просмотра фотографий на портативном электронном устройстве, и подробной информации о конкретном объекте и по меньшей мере одном элементе меню для информации настроек, обеспечиваемой игровым приложением, которое выполняется на портативном электронном устройстве.
9. Способ по п. 7, в котором данные пользовательского ввода содержат информацию координат, указывающую позицию, где зарегистрирован пользовательский ввод на всплывающем меню, или указывает команду, соответствующую пользовательскому вводу.
10. Способ по п. 7, дополнительно содержащий этапы, на которых:
отправляют запрос взаимодействия для предпочтительного использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса портативного электронного устройства во вспомогательном устройстве, на портативное электронное устройство; и
принимают разрешение взаимодействия от портативного электронного устройства.
11. Способ по п. 7, дополнительно содержащий этап, на котором принимают запрос взаимодействия для использования вспомогательного устройства в качестве вспомогательного пользовательского интерфейса портативного электронного устройства от портативного электронного устройства.
12. Портативное электронное устройство для отображения всплывающего меню посредством вспомогательного устройства, причем портативное электронное устройство выполнено с возможностью осуществления способа по одному из пп. 1-6.
13. Вспомогательное устройство для отображения всплывающего меню, которое предоставлено портативным электронном устройством, причем вспомогательное устройство выполнено с возможностью осуществления способа по одному из пп. 7-11.
RU2015152483A 2013-05-09 2014-05-09 Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством RU2686622C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0052248 2013-05-09
KR20130052248A KR20140132917A (ko) 2013-05-09 2013-05-09 휴대 전자기기와 연결 가능한 부가 장치를 통한 표시 방법 및 장치
PCT/KR2014/004147 WO2014182117A1 (en) 2013-05-09 2014-05-09 Method and apparatus for displaying user interface through sub device that is connectable with portable electronic device

Publications (2)

Publication Number Publication Date
RU2015152483A RU2015152483A (ru) 2017-06-15
RU2686622C2 true RU2686622C2 (ru) 2019-04-29

Family

ID=51865766

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015152483A RU2686622C2 (ru) 2013-05-09 2014-05-09 Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством

Country Status (9)

Country Link
US (1) US9843618B2 (ru)
EP (1) EP2994810B1 (ru)
JP (1) JP2016521420A (ru)
KR (1) KR20140132917A (ru)
CN (1) CN105190523A (ru)
AU (1) AU2014263305B2 (ru)
CA (1) CA2912045A1 (ru)
RU (1) RU2686622C2 (ru)
WO (1) WO2014182117A1 (ru)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170446A2 (en) 2011-06-05 2012-12-13 Apple Inc. Systems and methods for displaying notifications received from multiple applications
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
US9990105B2 (en) * 2014-07-08 2018-06-05 Verizon Patent And Licensing Inc. Accessible contextual controls within a graphical user interface
EP3195098A2 (en) 2014-07-21 2017-07-26 Apple Inc. Remote user interface
KR102206533B1 (ko) 2014-08-05 2021-01-22 삼성전자주식회사 모바일 장치, 모바일 장치의 화면 표시 방법, 웨어러블 장치, 웨어러블 장치의 구동 방법 및 컴퓨터 판독가능 기록매체
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
KR102418119B1 (ko) 2014-08-25 2022-07-07 삼성전자 주식회사 시계 화면 구성 방법 및 이를 구현한 웨어러블 전자장치
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
KR102409328B1 (ko) * 2014-09-15 2022-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 착용가능 디바이스의 통신 방법, 통신 시스템 및 관련 디바이스
US10254911B2 (en) * 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
US10796300B2 (en) * 2015-03-11 2020-10-06 Em Microelectronic-Marin S.A. Assembly of connected terminals for programming and managing a selection of functions
JP6400514B2 (ja) * 2015-03-20 2018-10-03 シャープ株式会社 表示システム、コンピュータプログラム及び記録媒体
KR102246742B1 (ko) * 2015-04-17 2021-05-03 삼성전자주식회사 전자 장치 및 전자 장치에서 적어도 하나의 페어링 대상을 식별하는 방법
AU2016252993B2 (en) 2015-04-23 2018-01-04 Apple Inc. Digital viewfinder user interface for multiple cameras
WO2016183325A1 (en) * 2015-05-12 2016-11-17 PRO Unlimited Global Solutions, Inc. System and method for managing action items
CN104932772B (zh) * 2015-05-27 2018-06-19 广东欧珀移动通信有限公司 智能手表的应用显示方法及装置
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN105116999B (zh) * 2015-07-28 2017-11-14 广东欧珀移动通信有限公司 一种智能手表的控制方法及智能手表
USD783659S1 (en) * 2015-08-12 2017-04-11 Samsung Electronics Co., Ltd Display screen or portion thereof with graphical user interface
GB2542562B (en) * 2015-09-21 2018-06-27 Displaylink Uk Ltd Private access to HID
JP2017130735A (ja) * 2016-01-19 2017-07-27 ソニー株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10871880B2 (en) * 2016-11-04 2020-12-22 Microsoft Technology Licensing, Llc Action-enabled inking tools
US10739988B2 (en) 2016-11-04 2020-08-11 Microsoft Technology Licensing, Llc Personalized persistent collection of customized inking tools
US10423236B2 (en) * 2017-05-25 2019-09-24 International Business Machines Corporation Using a wearable device to control characteristics of a digital pen
US10761569B2 (en) 2018-02-14 2020-09-01 Microsoft Technology Licensing Llc Layout for a touch input surface
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN109358937A (zh) * 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
KR102393717B1 (ko) 2019-05-06 2022-05-03 애플 인크. 전자 디바이스의 제한된 동작
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11513756B2 (en) * 2019-09-27 2022-11-29 Apple Inc. Coordinating adjustments to composite graphical user interfaces generated by multiple devices
CN111610924A (zh) * 2020-04-30 2020-09-01 北京小米移动软件有限公司 基于颜色采集的数据处理方法及装置、触控笔、终端设备
US11379056B2 (en) * 2020-09-28 2022-07-05 Arian Gardner Editor's pen pad

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020151283A1 (en) * 2001-04-02 2002-10-17 Pallakoff Matthew G. Coordinating images displayed on devices with two or more displays
WO2010030610A1 (en) * 2008-09-11 2010-03-18 Ely Tsern Expandable systems architecture for a handheld device that dynamically generates different user environments for device displays
RU2400802C2 (ru) * 2004-11-23 2010-09-27 Майкрософт Корпорейшн Способ и система для обмена данными между компьютерными системами и вспомогательными дисплеями
RU2409834C2 (ru) * 2005-01-18 2011-01-20 Нокиа Корпорейшн Интерфейс пользователя для различных дисплеев
US20120092253A1 (en) * 2009-06-22 2012-04-19 Pourang Irani Computer Input and Output Peripheral Device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309555A (en) * 1990-05-15 1994-05-03 International Business Machines Corporation Realtime communication of hand drawn images in a multiprogramming window environment
JPH0520044A (ja) * 1991-07-15 1993-01-29 Personal Joho Kankyo Kyokai ユーザインタフエース装置
US6621508B1 (en) * 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
US20070132860A1 (en) * 2000-04-14 2007-06-14 Prabhu Girish V Method for customizing a digital camera using queries to determine the user's experience level
US6477117B1 (en) * 2000-06-30 2002-11-05 International Business Machines Corporation Alarm interface for a smart watch
JP2005149230A (ja) * 2003-11-17 2005-06-09 Ntt Docomo Inc 表示連動システム
JP2005284886A (ja) * 2004-03-30 2005-10-13 Toshiba Corp 情報表示システム
KR100782064B1 (ko) 2006-10-31 2007-12-04 에스케이 텔레콤주식회사 통신 단말기와 외부 디바이스간의 메뉴 전송 및 제어시스템 및 방법
WO2008153098A1 (ja) * 2007-06-14 2008-12-18 Sharp Kabushiki Kaisha 画像データ受信装置、操作装置、操作システム、画像データのデータ構造、制御方法、操作方法、プログラム、および、記録媒体
US8271893B1 (en) * 2009-01-09 2012-09-18 Adobe Systems Incorporated Transforming representation information
US8565829B2 (en) * 2009-03-02 2013-10-22 Lg Electronics Inc. Mobile terminal with detachably coupled sub-device
US8805439B2 (en) * 2009-03-05 2014-08-12 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9672646B2 (en) * 2009-08-28 2017-06-06 Adobe Systems Incorporated System and method for image editing using visual rewind operation
US8698845B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
KR101626484B1 (ko) 2010-01-25 2016-06-01 엘지전자 주식회사 단말기 및 그 제어 방법
KR101601049B1 (ko) 2010-02-10 2016-03-08 삼성전자주식회사 듀얼 표시부를 가지는 휴대단말 및 그 표시부를 이용한 클립보드 기능 제공 방법
KR20120036693A (ko) 2010-10-08 2012-04-18 에스케이플래닛 주식회사 커뮤니티 서비스와 연계된 멀티미디어 컨텐츠 서비스 시스템 및 방법
KR101853057B1 (ko) 2011-04-29 2018-04-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
JP5325943B2 (ja) * 2011-07-12 2013-10-23 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
US9083918B2 (en) * 2011-08-26 2015-07-14 Adobe Systems Incorporated Palette-based image editing
TW201318423A (zh) * 2011-10-18 2013-05-01 Acer Inc 即時影像編輯方法與電子裝置
US9116663B2 (en) * 2011-12-22 2015-08-25 Blackberry Limited Method for changing device modes of an electronic device connected to a docking station and an electronic device configured for same
KR102013239B1 (ko) * 2011-12-23 2019-08-23 삼성전자주식회사 디지털 영상 처리장치, 및 그 제어방법
US20130219303A1 (en) * 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
JP5692541B2 (ja) * 2012-10-15 2015-04-01 コニカミノルタ株式会社 画像処理連携システム、連携方法、携帯端末装置及び連携プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020151283A1 (en) * 2001-04-02 2002-10-17 Pallakoff Matthew G. Coordinating images displayed on devices with two or more displays
RU2400802C2 (ru) * 2004-11-23 2010-09-27 Майкрософт Корпорейшн Способ и система для обмена данными между компьютерными системами и вспомогательными дисплеями
RU2409834C2 (ru) * 2005-01-18 2011-01-20 Нокиа Корпорейшн Интерфейс пользователя для различных дисплеев
WO2010030610A1 (en) * 2008-09-11 2010-03-18 Ely Tsern Expandable systems architecture for a handheld device that dynamically generates different user environments for device displays
US20120092253A1 (en) * 2009-06-22 2012-04-19 Pourang Irani Computer Input and Output Peripheral Device

Also Published As

Publication number Publication date
EP2994810B1 (en) 2022-10-12
RU2015152483A (ru) 2017-06-15
AU2014263305B2 (en) 2019-09-05
KR20140132917A (ko) 2014-11-19
CN105190523A (zh) 2015-12-23
AU2014263305A1 (en) 2015-08-20
JP2016521420A (ja) 2016-07-21
US20140337748A1 (en) 2014-11-13
EP2994810A1 (en) 2016-03-16
CA2912045A1 (en) 2014-11-13
US9843618B2 (en) 2017-12-12
WO2014182117A1 (en) 2014-11-13
EP2994810A4 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
RU2686622C2 (ru) Способ и устройство для отображения пользовательского интерфейса посредством вспомогательного устройства, соединимого с портативным электронным устройством
US10739957B2 (en) Data processing method and electronic device supporting the same
KR102144763B1 (ko) 웨어러블 부가 장치를 통한 스케줄 표시 방법 및 장치
KR102352172B1 (ko) 전자 장치들의 연동 방법 및 장치
US20170017451A1 (en) Method and system for managing applications running on smart device using a wearable device
EP2672762A1 (en) Connecting the highest priority Bleutooth device to a mobile terminal
US20150067536A1 (en) Gesture-based Content Sharing Between Devices
KR20150026079A (ko) 전자 기기의 화면 전환 방법 및 장치
JP6602045B2 (ja) ディスプレイを用いる入力処理方法及び装置
KR102199030B1 (ko) 주변 장치와의 통신 방법, 전자 장치 및 저장 매체
TWI688866B (zh) 一種資料共用系統及方法
US20140013257A1 (en) Method and Terminal Device for File Processing Based on User Interface
KR102110257B1 (ko) 전화번호를 이용하여 외부 기기를 제어하는 전자 기기 및 방법
KR20150099324A (ko) 전자 장치간 원격 제어 방법 및 그를 위한 시스템
GB2526695A (en) Smart pen pairing and connection
US20140164186A1 (en) Method for providing application information and mobile terminal thereof
US20160165026A1 (en) Remote Controller Utilized with Charging Dock for Controlling Mobile Device
WO2015051742A1 (zh) 一种设备之间自动实现无线连接的方法及设备
EP2990929B1 (en) Electronic device and method for setting block
KR102011834B1 (ko) 디스플레이 장치
KR102175992B1 (ko) 스마트 단말기를 위한 도킹 패드 장치
KR20130081119A (ko) 디스플레이 장치
KR20130003657A (ko) 영상 출력 제어 방법 및 그 장치
TW201351201A (zh) 檔案傳輸方法、檔案傳輸系統及電子裝置

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200510