RU2576498C2 - Способ и устройство для создания комплексного интерфейса пользователя - Google Patents

Способ и устройство для создания комплексного интерфейса пользователя Download PDF

Info

Publication number
RU2576498C2
RU2576498C2 RU2012103179/08A RU2012103179A RU2576498C2 RU 2576498 C2 RU2576498 C2 RU 2576498C2 RU 2012103179/08 A RU2012103179/08 A RU 2012103179/08A RU 2012103179 A RU2012103179 A RU 2012103179A RU 2576498 C2 RU2576498 C2 RU 2576498C2
Authority
RU
Russia
Prior art keywords
application
uis
complex
integrated
characteristic information
Prior art date
Application number
RU2012103179/08A
Other languages
English (en)
Other versions
RU2012103179A (ru
Inventor
Киунг Мо ПАРК
Сео Янг ХВАНГ
Дзае Йеон СОНГ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2012103179A publication Critical patent/RU2012103179A/ru
Application granted granted Critical
Publication of RU2576498C2 publication Critical patent/RU2576498C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

Изобретение относится к средствам создания комплексного Интерфейса Пользователя (UI) посредством объединения отдельных UI-интерфейсов приложений. Технический результат заключается в обеспечении возможности эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах. Принимают первый UI приложения от первого устройства. Принимают второй UI приложения от второго устройства. Определяют, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности. Объединяют первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе упомянутого списка отношений связности. Отображают комплексный UI. 2 н. 4 з.п. ф-лы, 4 ил. 11 табл.

Description

2420-183811RU/031
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение в целом относится к Интерфейсу Пользователя (UI), и, в частности, к способу и устройству для создания нового комплексного UI посредством объединения отдельных UI приложений, принимаемых от внешних объектов связи.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
UI является физическим или виртуальным средством, с помощью которого пользователь взаимодействует с электронным устройством. Обычно, UI предоставляет средства ввода, позволяющие пользователю манипулировать устройством, и средства вывода, позволяющие устройству показывать информацию пользователю.
Традиционные UI предлагаются производителями устройств и не предполагают возможности их переделки или изменения, после того, как они сохранены на устройствах.
На сегодняшний день, поскольку устройствами обрабатывается большой объем и широкое многообразие данных, то изучаются и разрабатываются разнообразные UI. В частности, обычные UI, которые предлагают просто изображения и текст, в настоящее время вытеснены более новыми UI, основанными на мультимедийных средствах, в которых различные типы данных, такие как текст, аудио, видео, шрифты, изображения, графика и т.д., предоставляются в качестве комплексного контента.
Двоичный Формат для Сцены (BIFS), Упрощенное Представление Сцены для Приложений (LASeR), и т.д. являются известными международными стандартами, которые относятся к мультимедийным услугам. В частности, спецификация LASeR была разработана, чтобы предложить намного более богатые пользовательские услуги посредством эффективного представления и обеспечения взаимодействия пользователя с помощью различных мультимедийных элементов, таких как описание сцены, видео, аудио, изображение, шрифт, мета данные, сценарии (скрипт) и т.д.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
Несмотря на то, что устройство может выполнять различные функции совместно с внешними устройствами, UI каждого отдельного устройства все еще находится на уровне, заданном по умолчанию производителем устройства. Соответственно, возникает потребность в усовершенствованном, гибком, комплексном UI, который позволяет обеспечить расширенное и комплексное управление другими устройствами.
РЕШЕНИЕ ЗАДАЧИ
Настоящее изобретение задумано для решения, по меньшей мере, вышеназванных задач и/или недостатков, и для того чтобы предложить, по меньшей мере, описанные ниже преимущества.
Аспект настоящего изобретения состоит в предоставлении способа и устройства для создания комплексного UI.
В соответствии с аспектом настоящего изобретения предоставлен способ для создания комплексного UI из UI приложений для выполнения конкретных функций. Способ включает в себя этапы, на которых: принимают первый UI приложения от первого устройства предоставления отдельных UI; принимают второй UI приложения от второго устройства предоставления отдельных UI; объединяют первый и второй UI приложений в комплексный UI с единой сценой; и отображают комплексный UI.
В соответствии с другим аспектом настоящего изобретения, предоставлено устройство для создания комплексного UI. Устройство включает в себя модуль связи, который соединен с первым устройством предоставления UI и вторым устройством предоставления UI, и который выполнен с возможностью приема первого UI приложения от первого устройства предоставления UI и второго UI приложения от второго устройства предоставления UI, при этом каждый служит для выполнения конкретной функции; модуль управления, который объединяет первый и второй UI приложения в комплексный UI с единой сценой; и модуль отображения, который отображает комплексный UI.
Другие аспекты, преимущества, и ключевые признаки настоящего изобретения станут очевидны специалисту в соответствующей области из нижеследующего подробного описания, которое, при рассмотрении совместно с прилагаемыми чертежами, раскрывает характерные варианты осуществления изобретения.
ПРЕИМУЩЕСТВЕННЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Как описано выше, настоящее изобретение может объединять отдельные UI нескольких устройств в единый комплексный UI. Дополнительно, такой комплексный UI, отображаемый на устройстве, может гибко изменяться исходя из изменений в отдельных UI, предлагаемых внешними устройствами, так что пользователь может просто проверять исполняемые функции каждого устройства. Также, данный комплексный UI может обеспечить возможность эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.
ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ
Вышеупомянутые и прочие аспекты, признаки и преимущества настоящего изобретения станут очевидны из нижеследующего подробного описания, при рассмотрении совместно с сопроводительными чертежами, в которых:
Фиг.1 является блок-схемой, иллюстрирующей поток сигналов между устройством создания комплексного UI и устройствами предоставления отдельных UI, в соответствии с вариантом осуществления настоящего изобретения;
Фиг.2 иллюстрирует устройство создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения;
Фиг.3 иллюстрирует комплексный UI, созданный из двух отдельных UI приложений в соответствии с вариантом осуществления настоящего изобретения; и
Фиг.4 является логической блок-схемой, иллюстрирующей способ для создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Теперь со ссылкой на сопроводительные чертежи более полно будут описаны различные варианты осуществления настоящего изобретения. В описании, хорошо известные или широко используемые методики, элементы, структуры и процессы могут не описываться или не иллюстрироваться в подробностях, чтобы не затенять сущность настоящего изобретения. Несмотря на то, что чертежи представляют конкретные варианты осуществления изобретения, чертежи не обязательно воспроизведены в масштабе и конкретные признаки могут быть преувеличены или опущены для того, чтобы лучше проиллюстрировать или объяснить настоящее изобретение.
Среди приведенных здесь понятий, понятие ″устройство″ относится к части оборудования разработанной для передачи и приема разнообразных данных к и от внешних объектов связи посредством проводного или беспроводного соединения. Например, устройством может быть мобильный телефон, ноутбук, стерео система, ТВ, телевизионная абонентская приставка, сервер сети и т.д. В дополнение, также в качестве описываемого здесь устройства могут использоваться разнообразные портативные устройства, мультимедийные проигрыватели, машины автоматизации офисной деятельности и любые прочие объекты связи. Такое устройство может отображать UI приложения, выбранный для выполнения конкретной функции.
Здесь и далее, устройство будет подразделяться на устройство создания комплексного UI и устройство предоставления отдельных UI. Устройство создания комплексного UI является устройством, которое принимает отдельные UI приложений от других устройств посредством проводного или беспроводного соединения, объединяет принятые отдельные UI приложений в единый UI, т.е., комплексный UI, и затем отображает комплексный UI. Например, устройство создания комплексного UI может играть роль машины управления UI или устройства управления виджетами.
Устройство предоставления отдельных UI является устройством, которое обладает и отображает некоторый UI приложения, а также предоставляет информацию о нем устройству создания комплексного UI посредством проводного или беспроводного соединения.
UI приложения представляет собой конкретную исполняемую функцию устройства, например, при помощи графических изображений, таких как кнопки, пиктограммы, анимированной и векторной графики, и любых других визуальных, звуковых и тактильных элементов. UI приложения также может задействовать некоторые функциональные элементы для исполнения, удаления, добавления и преобразования приложения. Здесь, каждый UI приложения согласуется с отдельным приложением для выполнения конкретной функции. Вследствие этого, если выбран какой-либо UI приложения, то может исполняться конкретное приложение, согласующееся с выбранным UI приложения. Например, UI приложения может быть виджет.
В мобильном устройстве, виджет при помощи пиктограммы представляет часто используемую функцию. Примерами часто используемых в мобильном устройстве виджетов являются виджет погоды, виджет приложения для просмотра изображений, виджет схемы метро и т.д. Если пользователь, например, выбирает виджет погоды, то мобильное устройство может отобразить заданный контент, относящийся к погоде.
Контент относится к данным, которые отображаются применительно к конкретной функции, которая выполняется при выборе UI приложения. Например, контентом, который обычно находится в мобильном устройстве, могут быть: ссылочные данные, такие как номера телефонов, данные изображения, такие как фотографии, текстовые данные, такие как сообщения, и т.д.
Функция относится к конкретному действию, программе и т.д., которые выполняют конкретную операцию в устройстве. Например, обычной функцией, выполняемой в мобильном устройстве, является функция вызова, функция отображения данных и т.д.
Фиг.1 является блок-схемой, иллюстрирующей поток сигналов между устройством создания комплексного UI и устройствами предоставления отдельных UI в соответствии с вариантом осуществления настоящего изобретения.
Обращаясь к Фиг.1, устройство 10 создания комплексного UI соединено с, по меньшей мере, двумя устройствами 20 и 30 предоставления отдельных UI посредством проводной или беспроводной сети. Каждое из устройств 20 и 30 предоставления отдельных UI предоставляет конкретный отдельный UI приложения устройству 10 создания комплексного UI. Вследствие этого, устройство 10 создания комплексного UI создает комплексный UI посредством объединения принятых отдельных UI приложений и затем отображает комплексный UI.
В частности, на этапе 110 устройство 10 создания комплексного UI по запросу пользователя запускает режим отображения комплексного UI. Как описано выше, комплексный UI является единой сценой, включающей в себя объединенные UI приложений, каждый из которых предлагается устройством предоставления отдельных UI, а также используется для выполнения на этом устройстве конкретной функции.
На этапах 115 и 120 устройство 10 создания комплексного UI выполняет поиск устройств 20 и 30 предоставления отдельных UI посредством проводного или беспроводного соединения. На этапах 125 и 130 устройство 10 создания комплексного UI принимает первый UI приложения и второй UI приложения от соответственно первого устройства 20 предоставления отдельных UI и второго устройства 30 предоставления отдельных UI. Здесь, устройства 20 и 30 предоставления отдельных UI также отправляют устройству 10 создания комплексного UI характерную информацию об их соответствующих UI приложений. Характерная информация включает в себя подробности в отношении мультимедийных и графических объектов, которые составляют UI приложения, включая элементы, написанные в объявленном виде, и атрибут каждого элемента, сценарии, информацию о согласующихся приложениях, и т.д.
Впоследствии устройство 10 создания комплексного UI декодирует характерную информацию о каждом принятом UI приложения и затем проверяет соответствующие приложения и объекты для того, чтобы выразить каждый UI приложения при помощи декодированной характерной информации. Например, характерная информация, предлагаемая устройствами 20 и 30 предоставления отдельных UI, может быть записана так, как показано в Таблице 1.
Figure 00000001
В Таблице 1 атрибут <mw:massageOut> указывает на то, что данный интерфейс может быть выведен в соответствующем приложении, и также имеет атрибут имени (name), который обозначает имя интерфейса. Любой подчиненный интерфейс может быть выражен при помощи параметра вывода <mw:output> и параметра ввода <mw:input>, каждый из которых имеет атрибут name и атрибут scriptParamType.
После проверки характерной информации о принятом UI приложения, на этапе 140 устройство 10 создания комплексного UI объединяет первый и второй UI приложений в комплексный UI при помощи характерной информации, т.е. устройство 10 создания комплексного UI создает комплексный UI.
В частности, устройство 10 создания комплексного UI находит характерную информацию об интерфейсах UI приложений, которую соответственно предлагают устройства 20 и 30 предоставления отдельных UI. Например, найденная характерная информация может включать в себя, но этим не ограничивается, информацию Графического UI (GUI) о размере и цвете модулей, которые составляют каждый UI приложения, и информацию об имени и атрибуте интерфейсов, которые определяют функции таких модулей. Такая характерная информация может обрабатываться в машине представления, специализированном модуле для внешних связей, машине управления UI, интерфейсе прикладного программирования, временной памяти системной библиотеки, или любом их эквиваленте. Машина управления UI часто именуется как средство управления (диспетчер) UI или средство управления виджетами и может быть выполнена с расширенными возможностями в виде мультимедийной машины. Мультимедийная машина является интерактивной мультимедийной машиной, которая может предоставлять динамическую информацию, в которой к аудио и видео применяется графическая или флэш технология. Машина управления UI может быть включена в мультимедийную машину, или может быть независимым модулем, полностью отделенным от мультимедийной машины.
Устройство 10 создания комплексного UI проверяет заранее заданное описание связности между соответствующими устройствами и затем создает комплексный UI при помощи полученной характерной информации о каждом UI приложения. То есть, при помощи ID, категории и т.д. каждого UI приложения, устройство 10 создания комплексного UI получает соединяемые UI приложений из всех UI приложений, которые предлагают соответствующие устройства предоставления отдельных UI.
Затем устройство 10 создания комплексного UI создает комплексный UI посредством объединения полученных UI приложений. Здесь, комплексный UI включает в себя UI приложений, каждый из которых предлагается устройством 20 или 30 предоставления отдельных UI, а также используется для управления конкретной функцией, которая должна быть выполнена на этом устройстве. Соответственно, при объединении первого и второго UI приложений в комплексный UI, устройство 10 создания комплексного UI выполняет сопоставление полученной характерной информации с каждым UI приложения, отображаемым в комплексном UI.
На этапе 150 устройство 10 создания комплексного UI отображает комплексный UI, который включает в себя интерфейсы UI приложений применительно к устройствам 20 и 30 предоставления отдельных UI. Здесь, устройство 10 создания комплексного UI может переконфигурировать позицию, форму и т.д. соответствующего UI приложения в комплексном UI и также может выполнять координацию и управление каждым UI приложения.
На этапах 155 и 160, когда в комплексном UI выбирается каждый из первого и второго UI приложения, устройство 10 создания комплексного UI отправляет сигнал вызова функции каждому из первого и второго устройств 20 и 30 предоставления отдельных UI. Здесь, сигнал вызова функции запускает конкретную функцию в устройстве 20 или 30 предоставления отдельных UI. Соответственно, на этапе 170, после приема сигнала вызова функции, каждое из первого и второго устройств 20 и 30 предоставления отдельных UI запускает выбранную функцию.
Фиг.2 иллюстрирует устройство создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.
Обращаясь к Фиг.2, устройство 10 создания комплексного UI включает в себя модуль 210 связи, модуль 220 ввода, модуль 230 управления, модуль 240 проверки связности, модуль 250 объединения UI и модуль 260 отображения. Здесь, модуль 240 проверки связности и модуль 250 объединения UI включены в модуль 230 управления.
Модуль 210 связи устанавливает проводное или беспроводное соединение с, по меньшей мере, одним из прочих устройств, т.е., внешними объектами связи, и затем, под управлением модуля 230 управления, отправляет и/или принимает данные к и/или от подсоединенных устройств. В частности, модуль 210 связи принимает сигнал, включающий в себя характерную информацию о, по меньшей мере, одном UI приложения (здесь и далее именуемый как сигнал UI приложения), от, по меньшей мере, одного устройства предоставления отдельных UI, которое предлагает UI приложений. Впоследствии, модуль 210 связи доставляет принятый сигнал UI приложения модулю 230 управления. Модуль 210 связи также может отправлять сигнал вызова функции соответствующему устройству предоставления отдельных UI под управлением модуля 230 управления. Как описано выше, сигнал вызова функции запускает конкретную функцию, соответствующую конкретному выбранному пользователем UI приложения.
Модуль 220 ввода создает различные входные сигналы в зависимости от инструкций пользователя и доставляет различные входные сигналы модулю 230 управления. Модуль 220 ввода может включать в себя, но не ограничиваться этим, сенсорный экран, клавиатуру, пульт дистанционного управления или любое другое эквивалентное устройство. В частности, модуль 220 ввода отправляет входной сигнал, указывающий UI приложения выбранный пользователем, модулю 230 управления.
Модуль 230 управления управляет состоянием и операциями элементов в устройстве 10 создания комплексного UI. В частности, модуль 230 управления создает комплексный UI посредством объединения отдельных UI приложений, принятых от соответствующих устройств предоставления отдельных UI, и затем управляет отображением комплексного UI.
В частности, когда для отображения единой сцены, включающей в себя несколько UI приложений, которые предлагаются соответствующими устройствами предоставления отдельных UI, выбран режим отображения комплексного UI, то модуль 230 управления выполняет поиск устройств предоставления отдельных UI посредством управления модулем 210 связи. Модуль 230 управления принимает, по меньшей мере, один сигнал UI приложения от устройств предоставления отдельных UI через модуль 210 связи. Дополнительно, модуль 230 управления декодирует принятые сигналы UI приложения в характерную информацию UI приложения, объединяет UI приложения, принятые соответственно от устройств предоставления отдельных UI, в комплексный UI при помощи декодированной характерной информации, и отображает комплексный UI на модуле 260 отображения. Вследствие этого, комплексный UI включает в себя UI приложений, каждый из которых используется для выполнения соответствующей функции. Когда один из UI приложений включенных в комплексный UI выбирается при помощи модуля 220 ввода, то модуль 230 управления отправляет сигнал вызова функции, соответствующий выбранному UI приложения, устройству предоставления отдельных UI через модуль 210 связи.
Для того, чтобы отобразить комплексный UI, модуль 230 управления получает характерную информацию о каждом UI приложения. Как описано выше, характерная информация включает в себя графические объекты, информацию о соответствующих приложениях, информацию атрибута и т.д.
Впоследствии, модуль 230 управления проверят отношения связности между устройствами предоставления отдельных UI посредством принятой характерной информации и создает комплексный UI, исходя из описаний связности. Как проиллюстрировано на Фиг.2, модуль управления может включать в себя модуль 240 проверки связности и модуль 250 объединения UI.
Модуль 240 проверки связности может проверять описания связности между устройствами предоставления отдельных UI, предлагающих интерфейсы UI приложений.
Например, модуль 240 проверки связности может проверять связность UI приложений посредством выполнения поиска по списку отношений связности. Данный список может храниться в устройстве 10 создания комплексного UI. Данный список может сохраняться по умолчанию производителем устройства или может заранее предлагаться поставщиком UI приложения, таким как оператор услуги.
Устройство 10 создания комплексного UI может управлять списком отношений связности между устройствами предоставления отдельных UI, а также получать отношение связности посредством заранее определенного интерфейса, как показано ниже в Таблице 2. Таблица 2 направляется устройству 10 создания комплексного UI как устройству управления виджетами, и представляет отдельный UI в качестве виджета.
Figure 00000002
Метод getInterfaceHandlersByType позволяет объекту Виджет (Widget) получить массив объектов, реализующих интерфейс InterfaceHandler заданного типа, и он представляет собой связанные интерфейсы.
Функция onInterfaceBind может быть задана как функция, которая будет вызываться устройством управления виджетами, при связывании любого интерфейса. Функция onInterfaceUnbind может быть задана как функция, которая будет вызываться устройством управления виджетами, при разрыве связи с любым интерфейсом.
Функция onActivation может быть задана как функция, которая будет вызываться устройством управления виджетами при активации или при сбое активации компонента. Возвращаемый параметр является логическим значением, указывающим на то, была ли активация успешной (истина) или произошел сбой (ложь).
Метод activateComponentWidget вызывается виджетом для того, чтобы инициировать активацию виджета-компонента.
Метод deactivateComponentWidget вызывается виджетом для того, чтобы инициировать деактивацию виджета-компонента.
Устройство управления виджетами предоставляет объект InterfaceHandler из расчета на единицу заданного интерфейса виджета, как показано в Таблице 3.
Figure 00000003
В Таблице 3 строка «связанный» (bound) указывает адрес (например, IP Адрес, имя хоста, ...) внешнего субъекта связи, соответствующего данному объекту InterfaceHandler.
Строка типа указывает тип внешнего субъекта связи, соответствующего объекту InterfaceHandler.
Сценарий внутри виджета может вызывать процедуру вызова из объекта InterfaceHandler для отправки сообщения соответствующему внешнему субъекту связи. Параметр сообщения указывает объявление интерфейса каждого внешнего субъекта связи, в порядке объявления. Устройство Управления Виджетами инициирует вызов функции callBackFunction при приеме ответа субъекта, выдающую объект MsgHandler, позволяя тем самым сценарию распознавать множество вызовов при обратном вызове.
Когда функции сценариев вызываются при приеме входящего сообщения (т.е., потому что функция объявлена в атрибуте mw:inputAction элемента <mw:messageIn>), то сценарий может отправить ответ исходному субъекту связи.
Метод invokeReply используется для отправки ответа на предшествующее сообщение. При вызове данного метода, Устройство Управления Виджетами должно отправить сообщение обратно субъекту связи. Параметры выходного сообщения сопоставляются с порядком следования аргументов метода.
Например, предположим, что Виджет A определяет метод doSearch (выполнитьПоиск), а Виджет B желает использовать услугу, о которой идет речь, тогда Устройство Управления Виджетами идентифицирует, что виджеты A и B являются совместимыми для осуществления связи и соединяет выход виджета B с входом виджета A. При вызове Виджетом B метода «Search» (Поиск), Устройство Управления Виджетами отправляет сообщение Виджету A, который инициирует вызов метода «SearchFunction» (ПоискФункция). Затем Виджет A выполняет свой поиск, создает и сохраняет объект MsgHandler и выполняет возврат. Когда обработка выполнена, Виджет A вызывает метод invokeReply с объектом MsgHandler и результатом его обработки, отправляя сообщение ответа, которое, в свою очередь, повторно вызывает Виджет B и его метод myProcessSearchResults (моиРезультатыПроцессаПоиска) вместе с результатом (значением URL).
Декларация (манифест) виджета A объявляется в интерфейсе типа «example:search:interface» (пример:поиск:интерфейс), как показано в Таблице 4.
Figure 00000004
Figure 00000005
В виджете B сценарий составлен так, как показано в Таблице 6.
Figure 00000006
В виджете A, сценарий составлен так, как показано в Таблице 7.
Figure 00000007
Список отношений связности может быть составлен так, как показано в Таблице 8 или 9 ниже.
Таблица 8 организует список вторых UI приложений, соединяемых с каждым из первых UI приложений
Figure 00000008
Когда список отношений связности определяется, в соответствии с тем, что показано в Таблице 8, то модуль 240 проверки связности определяет, какой из вторых UI приложений, предлагаемых вторым устройством 30 предоставления отдельных UI, может быть объединен с каждым из первых UI приложений, предлагаемых первым устройством 20 предоставления отдельных UI. Например, если первый UI приложения является UI приложения работы с картами, то модуль 240 проверки связности определяет ID, widget_H_Map01, UI приложения работы с картами посредством извлечения характерной информации о первом UI приложения. Впоследствии, модуль 240 проверки связности находит идентификаторы ID соединяемых интерфейсов UI приложений в списке отношений связности. Как показано а Таблице 8, соединяемыми UI приложений являются, например, widget_H_weather01, …, widget_H_weather04, widget_H_cal01 и widget_H_cal02. Дополнительно, модуль 240 проверки связности проверяет характерную информацию о вторых UI приложений, предлагаемых вторым устройством 20 предоставления отдельных UI, а затем получает вторые UI приложений, соответствующие соединяемым UI приложений, включенным в список отношений связности.
Таблица 9 организует группу вторых UI приложений соединяемых с каждым из первых UI приложений.
Figure 00000009
Когда список отношений связности определяется так, как показано в Таблице 9, то модуль 240 проверки связности проверяет, какая группа вторых UI приложений может быть объединена с каждым из первых UI приложений. Все UI приложений, которые могут быть отображены в устройствах предоставления отдельных UI, включены в группы UI приложений, и каждой группе UI приложений назначен ID. В мобильном устройстве, группы UI приложений могут быть UI игровых приложений, UI приложений погоды, UI приложений работы с календарем, и UI приложений вызова, и т.д.
Нижеследующий пример является способом проверки соединяемых UI приложений посредством групп UI приложений.
Если первый UI приложения является UI приложения работы с календарем, то модуль 240 проверки связности устанавливает ID, widget_S_cal01, UI приложения работы с календарем посредством получения характерной информации о первом UI приложения. Впоследствии, модуль 240 проверки связности находит ID групп соединяемых UI приложений в списке описаний связности. Как показано в Таблице 9, ID группы соединяемых UI приложений является, например, widget_Group_S_01. Дополнительно, модуль 240 проверки связности проверяет характерную информацию о вторых UI приложений, и затем получает вторые UI приложений, соответствующие соединяемой группе UI приложений, включенной в список отношений связности.
Модуль 240 проверки связности может создавать список отношений связности всякий раз при приеме UI приложения от устройства предоставления отдельных UI, и затем проверять отношения связности между UI приложений. Применительно к вышесказанному, устройство предоставления отдельных UI при отправке UI приложений устройству 10 создания комплексного UI включает информацию о соединяемых UI приложений в характерную информацию. Такая информация о соединяемых UI приложений может быть записана в виде «собираемый=T/F» в или с привязкой к полю ID UI приложения. Модуль 240 проверки связности проверяет информацию о соединяемых UI приложений, включенную в характерную информацию, тем самым создавая список отношений связности. Впоследствии, модуль 240 проверки связности находит соединимые UI приложений посредством сравнения характерной информации о каждом UI приложения со списком отношений связности.
Дополнительно, модуль 240 проверки связности может назначить приоритет каждому UI приложения, предлагаемому устройством предоставления отдельных UI. Когда UI приложений объединяются модулем 250 объединения UI в комплексный UI, то UI приложений могут выборочно сохраняться в порядке приоритетности. Данная приоритетность может быть по умолчанию определена заранее производителем устройства или может меняться, исходя из частоты использования.
После проверки модулем 240 проверки связности, информация отношений связности о соединяемых UI приложений может формироваться в качестве мультимедийных данных, сохраняться как отдельные данные, относящиеся к отношениям связности, или включаться в характерную информацию об интерфейсах UI приложений.
Модуль 250 объединения UI объединяет UI-интерфейсы приложений, предложенные устройствами предоставления отдельных UI, в комплексный UI при помощи информации отношений связности, проверенной модулем 240 проверки связности. Например, модуль 250 объединения UI проверяет характерную информацию о соединяемых UI приложений, как показано в Таблице 10.
Figure 00000010
В Таблице 10 атрибут <mw:interface> описывает способности виджета к осуществлению связи применительно к конкретному типу связи. Дополнительно, подчиненные атрибуты могут включать в себя, но этим не ограничиваться: тип, идентифицирующий тип интерфейса; атрибут mw:bindAction/mw:unbindAction, указывающий конструкцию сцены для изменения или инициирования, или имя функции сценария для вызова при успешном связывании данного интерфейса; атрибут mw:serviceProvider, который позволяет выполнить внешний поиск данного интерфейса; атрибут mw:connectTo, указывающий отношения связности с данным интерфейсом; атрибут mw:multipleBindings, указывающий возможность соединения данного интерфейса с другими интерфейсами; и атрибут mw:required, указывающий интерфейс, необходимый при активации.
Характерная информация может включать в себя особенности представления и конфигурации, такие как: графические объекты, условия активации функций в комплексном UI, и информацию о переносимых областях, объектах, атрибутах, частях, функциях и т.д. Такая характерная информация может быть записана в самом UI приложения или декларации, или, в качестве альтернативы, может быть сформирована как отдельный файл или данные.
Нижеследующее является описанием соответствующей характерной информации в предположении, что устройство 10 создания комплексного UI является устройством управления виджетами, а отдельный UI является виджетом.
После загрузки данной декларации, Устройство Управления Виджетами извлекает декларацию виджетов-компонентов, которые выделяются атрибутом mw:src, или пытается найти виджет, который совпадает с интерфейсами, которые объявляются элементами <mw:requiredInterface>, фактически не активируя виджет-компонент. Если ни один из доступных виджетов не совпадает с требуемым интерфейсом, то порядок поведения, и, в частности, загрузка основного виджета, зависят от варианта реализации. Если совпадающий виджет найден, то должны инициироваться события для связывания данного компонента после того, как инициируются события для активации данного виджета.
В зависимости от фактической ситуации, могут быть не приняты сообщения activatedAction и deactivatedAction, например, когда компонент был уже активирован до того, как родительский элемент запросил активацию компонента.
В нижеследующем примере, компоненты могут использоваться для создания виджетов-шаблонов. Виджет A относится к сцене, обладающей возможностью визуально группировать два объекта. Декларация виджета A использует два компонента B и C, указывающие либо на конкретные виджеты, либо на обычные интерфейсы. После активации B и C, может быть активирован A и его сцена может указывать устройству управления виджетами то, каким образом визуально сгруппировать B и C, как показано в Таблице 11.
Figure 00000011
Модуль 250 объединения UI может задать информацию о позициях отображения UI приложений в комплексном UI, функции, сопоставленные с интерфейсами UI приложений и т.д. при помощи полученной характерной информации UI приложения. Также, модуль 250 объединения UI может задать сценарий работы интерфейсов UI приложений в комплексном UI при помощи, например, рабочей таблицы.
Когда интерфейсы UI приложений объединяются в комплексный UI, модуль 250 объединения UI может задать характерную информацию, которая должна быть сохранена или которая не должна использоваться совместно, из расчета на UI приложения, а также может задать те UI приложений, которые должны быть удалены или включены. В дополнение, модуль 250 объединения UI может в зависимости от приоритета определить, какие UI приложений назначить заранее в качестве основных или подчиненных. Также модуль 250 объединения UI может выполнить комплексное или индивидуальное администрирование применительно к информации об устройствах предоставления отдельных UI, которые предлагают соответствующие UI приложений, включенные в комплексный UI. Данная информация может использоваться, при расформировании или повторном объединении комплексного UI.
Также включенным в рассмотрение является сценарий, при котором устройство управления виджетами управляет независимыми UI приложений как комплексным UI. Например, устройство управления виджетами объединяет UI (A) приложения, предлагаемый кондиционером воздуха, с другим UI (B) приложения для предоставления информации о погоде, а затем рассматривает его как независимый UI приложения, объединенный модулем 250 объединения UI. В данном случае, если определенное событие происходит в UI (B) приложения погоды, то устройство управления виджетами или UI (B) приложения погоды может отправить данное событие UI (A) приложения кондиционера воздуха.
Кроме того, модуль 230 управления управляет модулем 260 отображения таким образом, чтобы предоставить возможность отображения комплексного UI. Здесь, отображаемый комплексный UI включает в себя интерфейсы UI приложений, каждый из которых соответствует конкретной функции устройства предоставления отдельных UI, которое предложило UI приложения. При выборе определенного UI приложения, модуль 230 управления определяет функцию, которая должна выполняться в зависимости от выбранного UI приложения, и затем отправляет сигнал вызова функции соответствующему одному из устройств предоставления отдельных UI посредством модуля 210 связи.
Модуль 260 отображения представляет информацию в зависимости от состояний и операций устройства 10 создания комплексного UI. В частности, модуль 260 отображения отображает комплексный UI, созданный из, по меньшей мере, одного UI приложения под управлением модуля 230 управления.
Фиг.3 иллюстрирует комплексный UI, составленный из двух отдельных UI приложений в соответствии с вариантом осуществления настоящего изобретения. В примере, проиллюстрированном на Фиг.3, устройство 10 создания комплексного UI является мобильным устройством, первое устройство 20 предоставления отдельных UI является принтером, а второе устройство 30 предоставления отдельных UI является фотоаппаратом.
Обращаясь к Фиг.3, принтер 20 отображает UI 310 приложения печати для выполнения функции печати и UI приложения настройки для настройки режимов печати. В дополнение, фотоаппарат 30 отображает UI 320 приложения просмотра фотографий для показа хранящихся фото изображений и UI 330 приложения увеличения для увеличения выбранного фото изображения. Когда мобильное устройство 10 отправляет сигнал, запрашивающий интерфейсы UI приложений, то принтер 20 передает мобильному устройству 10 UI 310 приложения печати и UI приложения настройки, а фотоаппарат 30 передает мобильному устройству 10 UI приложения просмотра фотографий и UI 330 приложения увеличения.
Мобильное устройство 10 принимает UI 310 приложения печати, UI приложения настройки, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения от принтера 20 и фотоаппарата 30, а затем получает характерную информацию о принятых UI приложений. Дополнительно, мобильное устройство 10 проверяет отношение связности посредством ID каждого UI приложения в полученной характерной информации. Здесь предполагается, что UI 310 приложения печати, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения являются соединяемыми UI приложений, и приоритет назначен в порядке: UI 320 приложения просмотра фотографий, UI 310 приложения печати и UI 330 приложения увеличения.
Мобильное устройство 10 создает комплексный UI при помощи характерной информации, полученной из UI приложений, принятых от принтера 20 и фотоаппарата 30. Посредством проверки информации отношений связности мобильное устройство 10 выясняет, что UI 310 приложения печати, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения являются соединяемыми, а UI 320 приложения просмотра фотографий имеет наивысший приоритет. Вследствие этого, мобильное устройство 10 объединяет вышеупомянутые соединяемые UI приложений в комплексный UI, а затем отображает комплексный UI в модуле отображения.
Впоследствии, когда в комплексном UI выбирается любой UI приложения, мобильное устройство 10 отправляет сигнал вызова функции соответствующему устройству предоставления отдельных UI, так чтобы начать выполнение конкретной функции, соответствующей выбранному UI приложения. Если в UI 320 приложения просмотра фотографий выбрано любое фото изображение, а затем дополнительно выбрано UI 310 приложения печати, то мобильное устройство 10 отправляет сигнал вызова функции, запрашивающей выбранное фото изображение, фотоаппарату 30, который предложил UI 320 приложения просмотра фотографий с более высоким приоритетом. Дополнительно, мобильное устройство 10 отправляет сигнал вызова функции для вывода на печать выбранного фото изображения принтеру 20, который предложил UI 310 приложения печати со следующим приоритетом. Вследствие этого, фотоаппарат 30 отправляет выбранное фото изображение мобильному устройству 10, а затем мобильное устройство 10 отправляет принятое фото изображение принтеру 20. Вследствие этого притер 20 печатает принятое фото изображение.
Дополнительно, мобильное устройство 10 может заранее принять данные фото изображения, отображаемого в UI 320 приложения просмотра фотографий, от камеры 30 и затем, быстро реагируя на выбор, может отправить выбранные фото данные на принтер 20. В качестве альтернативы, мобильное устройство 10 может передать IP адрес или другую идентификационную информацию принтера 20 фотоаппарату 30, и затем фотоаппарат 30 может отправить выбранные фото данные принтеру 20 при помощи IP адреса или другой идентификационной информации принтера 20.
Описанный выше способ для объединения интерфейсов UI приложений, предлагаемых устройствами предоставления отдельных UI, в комплексный UI не ограничивается частичной передачей функций и характерной информации приложений, а также может включать в себя способ комплексного управления применительно к соответствующим устройствам предоставления отдельных UI при помощи независимого UI приложения. Например, если первый устройство 20 предоставления отдельных UI предлагает первой UI приложения для управления кондиционером воздуха, и если второе устройство 30 предоставления отдельных UI предлагает второй UI приложения для выполнения функции термометра, то устройство 10 создания комплексного UI создает комплексный UI посредством объединения первого и второго UI приложений. Впоследствии, если посредством второго UI приложения обнаруживается изменение в температуре, то устройство 10 создания комплексного UI может отправить обнаруженное значение температуры первому устройству 20 предоставления отдельных UI и тем самым выполнить управление кондиционером воздуха.
Дополнительно, данный способ позволяет нескольким устройствам совместно друг с другом использовать журнал регистрации или данные UI приложения, так что комплексный UI может использоваться в качестве третьего приложения. Например, такой журнал регистрации или данные UI приложения могут использоваться посредством другого UI приложения.
Фиг.4 является логической блок-схемой, иллюстрирующей способ для создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.
Обращаясь к Фиг.4, на этапе 410 устройство 10 создания комплексного UI запускает режим отображения комплексного UI. Например, режим отображения комплексного UI может выбираться посредством заданного меню или функциональной клавиши. Если любой UI приложения отображаемый в устройстве создания комплексного UI объединен в комплексный UI, то устройство создания комплексного UI может предложить всплывающее окно, указывающее на то, что отображаемый UI приложения доступен применительно к комплексному UI. В ответ на выбор со стороны пользователя меню отображения комплексного UI, устройство создания комплексного UI может начать режим отображения комплексного UI. В качестве альтернативы, при приеме, по меньшей мере, одного UI приложения от по меньшей мере одного устройства предоставления отдельных UI, устройство создания комплексного UI может предлагать всплывающее окно, позволяющее пользователю выбрать режим отображения комплексного UI.
На этапе 420 устройство создания комплексного UI выполняет поиск устройств предоставления отдельных UI посредством проводного или беспроводного соединения. Несмотря на то, что не проиллюстрировано, устройство 10 создания комплексного UI может отправить сигнал запроса в отношении UI приложений каждому устройству предоставления отдельных UI. Данный сигнал может быть запросом в отношении интерфейсов UI приложений, которые в настоящий момент отображаются на каждом устройстве предоставления отдельных UI или в отношении выборочных UI приложений среди всех приложений, хранящихся на каждом устройстве предоставления отдельных UI.
На этапе 430 устройство создания комплексного UI принимает, по меньшей мере, один из первых UI приложений от первого устройства предоставления отдельных UI и, по меньшей мере, один из вторых UI приложений от второго устройства предоставления отдельных UI. На этапе 440 устройство создания комплексного UI проверяет отношения связности первого и второго устройств предоставления отдельных UI посредством принятых первого и второго UI приложений. В частности, устройство создания комплексного UI определяет соединяемые UI приложений посредством сравнения заранее определенного списка отношений связности с характерной информацией о каждом UI приложения. В дополнение, устройство создания комплексного UI определяет приоритет каждого UI приложения. Несмотря на то, что не проиллюстрировано, устройство создания комплексного UI может информировать пользователя о наличии соединяемых UI приложений при помощи, например, всплывающего окна или другого сообщения, в том случае если соединяемые UI приложений отсутствуют.
На этапе 450 устройство создания комплексного UI объединяет первый и второй UI приложений в комплексный UI, исходя из отношений связности. Устройство 10 создания комплексного UI отображает комплексный UI в модуле отображения на этапе 460, и отправляет сигнал вызова каждому устройству предоставления отдельных UI на этапе 470. Устройство создания комплексного UI может отправить сигналы вызова в порядке приоритетности выбранных UI приложений, т.е. сигнал вызова сначала передается устройству предоставления отдельных UI, которое имеет UI приложения с более высоким приоритетом, чем у других устройств предоставления отдельных UI.
Несмотря на то, что описанное выше устройство создания комплексного UI объединяет UI приложений, принятые от устройств предоставления отдельных UI, устройство создания комплексного UI также может объединять свои собственные UI приложений в комплексный UI. Например, мобильное устройство может объединить UI приложения обмена сообщениями с UI приложения отображения изображений в комплексный UI, а затем отобразить его как единую сцену. Аналогичным образом, UI приложения планирования и UI приложения памяток могут быть объединены и отображаться в качестве комплексного UI.
Как описано выше, настоящее изобретение может объединять отдельные UI разных устройств в единый комплексный UI. Дополнительно, такой комплексный UI, отображаемый на устройстве, может гибко меняться, исходя из изменений в отдельных UI, предлагаемых внешними устройствами, таким образом, что пользователь может легко проверить исполняемые функции каждого устройства. Также, данный комплексный UI может предоставить возможность эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.
Несмотря на то, что настоящее изобретение было, в частности, показано и описано со ссылкой на определенные его варианты осуществления, специалисту в соответствующей области должно быть понятно, что могут быть выполнены различные изменения по форме и в деталях при этом, не отступая от сущности и объема настоящего изобретения, как определено прилагаемой формулой изобретения.

Claims (6)

1. Способ создания комплексного интерфейса пользователя (UI) из UI-интерфейсов приложений для выполнения конкретных функций, содержащий этапы, на которых:
принимают первый UI приложения от первого устройства;
принимают второй UI приложения от второго устройства;
определяют, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности;
объединяют первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе упомянутого списка отношений связности; и
отображают комплексный UI.
2. Способ по п. 1, в котором этап, на котором объединяют первый UI приложения и второй UI приложения, содержит этапы, на которых:
получают характерную информацию из множества UI-интерфейсов приложений, при этом характерная информация включает в себя по меньшей мере одно из графического объекта, информации о соответствующем приложении и идентификационных данных UI приложения;
выбирают связываемые UI-интерфейсы приложений из этого множества UI-интерфейсов приложений посредством сравнения полученной характерной информации с заранее определенным списком отношений связности; и
создают комплексный UI из выбранных связываемых UI-интерфейсов приложений.
3. Способ по п. 1, дополнительно содержащий этапы, на которых:
выбирают по меньшей мере один из первого UI приложения и второго UI приложения, включенных в комплексный UI; и
отправляют сигнал вызова функции одному из первого и второго устройств, чтобы выполнить конкретную функцию, соответствующую выбранному UI приложения.
4. Устройство для создания комплексного Интерфейса Пользователя (UI), содержащее:
модуль связи, который принимает первый UI приложения для выполнения первой функции от первого устройства и второй UI приложения для выполнения второй функции от второго устройства;
модуль управления, выполненный с возможностью определять, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе упомянутого списка отношений связности, и объединять первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности; и
модуль отображения, который отображает комплексный UI.
5. Устройство по п. 4, в котором модуль управления получает характерную информацию из множества UI-интерфейсов приложений, при этом характерная информация включает в себя по меньшей мере одно из графического объекта, информации о соответствующем приложении и идентификационных данных UI приложения, чтобы выбрать связываемые UI-интерфейсы приложений из этого множества UI-интерфейсов приложений посредством сравнения полученной характерной информации с заранее определенным списком отношений связности, и создает комплексный UI из выбранных связываемых UI-интерфейсов приложений.
6. Устройство по п. 4, в котором модуль управления отправляет сигнал вызова функции одному из первого и второго устройств, чтобы выполнить одну из первой и второй функций, соответствующую выбору одного из первого UI приложения и второго UI приложения из комплексного UI.
RU2012103179/08A 2009-07-31 2010-07-30 Способ и устройство для создания комплексного интерфейса пользователя RU2576498C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2009-0070329 2009-07-31
KR20090070329 2009-07-31
PCT/KR2010/005045 WO2011014040A2 (en) 2009-07-31 2010-07-30 Method and device for creation of integrated user interface

Publications (2)

Publication Number Publication Date
RU2012103179A RU2012103179A (ru) 2013-08-20
RU2576498C2 true RU2576498C2 (ru) 2016-03-10

Family

ID=43529898

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012103179/08A RU2576498C2 (ru) 2009-07-31 2010-07-30 Способ и устройство для создания комплексного интерфейса пользователя

Country Status (7)

Country Link
US (1) US9658864B2 (ru)
EP (1) EP2460065A4 (ru)
JP (1) JP5795582B2 (ru)
KR (1) KR20120050986A (ru)
CN (1) CN102576287B (ru)
RU (1) RU2576498C2 (ru)
WO (1) WO2011014040A2 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014040A2 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and device for creation of integrated user interface
KR101660746B1 (ko) * 2010-08-24 2016-10-10 엘지전자 주식회사 이동 단말기 및 이것의 애플리케이션 지시자 설정 방법
US20120089923A1 (en) * 2010-10-08 2012-04-12 Microsoft Corporation Dynamic companion device user interface
US8918719B2 (en) * 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
US9733934B2 (en) * 2011-03-08 2017-08-15 Google Inc. Detecting application similarity
US9383800B2 (en) 2011-03-22 2016-07-05 International Business Machines Corporation Managing a portal application
KR20120137756A (ko) * 2011-06-13 2012-12-24 삼성전자주식회사 휴대용 단말기에서 응용 프로그램 병합을 위한 방법 및 장치
JP5532037B2 (ja) * 2011-09-30 2014-06-25 コニカミノルタ株式会社 連携システム、携帯情報装置、連携方法および連携プログラム
US9448813B2 (en) * 2012-05-24 2016-09-20 Microsoft Technology Licensing, Llc Entry points to image-related applications in a mobile device
US10099115B2 (en) * 2012-12-06 2018-10-16 Sony Interactive Entertainment America Llc System and method for user creation of digital objects
US11113773B2 (en) 2012-12-06 2021-09-07 Sony Interactive Entertainment LLC System and method for sharing digital objects
KR102020324B1 (ko) * 2013-03-14 2019-09-10 삼성전자 주식회사 휴대단말기에서의 메시지 통합 방법 및 장치
US9696885B2 (en) 2013-09-20 2017-07-04 International Business Machines Corporation Integrated user interface using linked data
US10242080B1 (en) 2013-11-20 2019-03-26 Google Llc Clustering applications using visual metadata
CN103606077A (zh) * 2013-11-26 2014-02-26 山西农业大学 一种移动办公系统
CN104765595B (zh) 2014-01-08 2018-05-22 联发科技（新加坡）私人有限公司 一种显示图形用户界面的方法及装置
US9280325B2 (en) 2014-05-30 2016-03-08 International Business Machines Corporation Customized ready-to-go componentized application definitions
KR102642923B1 (ko) * 2016-07-28 2024-03-05 삼성전자주식회사 외부 디바이스를 제어하기 위한 gui를 생성하는 디바이스 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596702A (en) * 1993-04-16 1997-01-21 International Business Machines Corporation Method and system for dynamically sharing user interface displays among a plurality of application program
RU2005120363A (ru) * 2004-09-30 2007-01-20 Майкрософт Корпорейшн (Us) Усовершенствованный пользовательский интерфейс для обеспечения управления задачами и информации календаря
JP4138231B2 (ja) * 2000-03-22 2008-08-27 株式会社リコー 複合ユーザーインタフェース方法、コンピュータシステム及びコンピュータ読み取り可能な記録媒体

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226109A (en) * 1990-04-26 1993-07-06 Honeywell Inc. Three dimensional computer graphic symbol generator
US5408653A (en) * 1992-04-15 1995-04-18 International Business Machines Corporation Efficient data base access using a shared electronic store in a multi-system environment with shared disks
JP3344528B2 (ja) * 1995-06-29 2002-11-11 インターナショナル・ビジネス・マシーンズ・コーポレーション ウィンドウの表示方法およびそのシステム
US5684967A (en) * 1995-09-13 1997-11-04 International Business Machines Corporation System and method for generalized network topology representation
US5764226A (en) * 1995-12-29 1998-06-09 International Business Machine Corp. Reusable and modifiable data entry interface part
US5801699A (en) * 1996-01-26 1998-09-01 International Business Machines Corporation Icon aggregation on a graphical user interface
US5760770A (en) * 1996-05-15 1998-06-02 Microsoft Corporation System and method for defining a view to display data
US6300947B1 (en) * 1998-07-06 2001-10-09 International Business Machines Corporation Display screen and window size related web page adaptation system
JP3846666B2 (ja) * 1998-09-24 2006-11-15 富士通株式会社 共有画面制御装置
US6857106B1 (en) * 1999-09-15 2005-02-15 Listen.Com, Inc. Graphical user interface with moveable, mergeable elements
US8793589B2 (en) 2000-03-22 2014-07-29 Ricoh Co., Ltd. Melded user interfaces
FI20010817A (fi) * 2001-04-20 2003-02-14 Nokia Corp Menetelmä informaation esittämiseksi elektroniikkalaitteen näytöllä ja elektroniikkalaite
EP1253750A1 (en) 2001-04-24 2002-10-30 Deutsche Thomson-Brandt Gmbh Method for the control of network devices connected via a bus system
EP3086288B1 (en) * 2001-04-30 2021-05-26 Activemap LLC Interactive electronically presented map
WO2002089108A1 (en) * 2001-04-30 2002-11-07 Broadband Graphics, Llc Cell based eui methods and apparatuses
US7185290B2 (en) * 2001-06-08 2007-02-27 Microsoft Corporation User interface for a system and process for providing dynamic communication access and information awareness in an interactive peripheral display
JP4086529B2 (ja) * 2002-04-08 2008-05-14 松下電器産業株式会社 画像処理装置及び画像処理方法
US6898645B2 (en) * 2002-04-17 2005-05-24 Canon Kabushiki Kaisha Dynamic generation of a user interface based on automatic device detection
JP2003345697A (ja) * 2002-05-27 2003-12-05 Hitachi Ltd 統合インタフェース提供方法、装置及び記憶媒体
US7890868B2 (en) * 2002-08-13 2011-02-15 National Instruments Corporation Selecting a connectable element of a hardware device in a measurement system
JP3755500B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Ｇｕｉアプリケーション開発支援装置および方法、並びにコンピュータ・プログラム
US7519910B2 (en) * 2002-10-10 2009-04-14 International Business Machines Corporation Method for transferring files from one machine to another using adjacent desktop displays in a virtual network
US7315985B1 (en) * 2002-12-31 2008-01-01 Emc Corporation Methods and apparatus for managing network resources using a network topology view
US7430721B2 (en) * 2003-04-08 2008-09-30 Tidebreak, Inc. Pointright: a system to redirect mouse and keyboard control among multiple machines
EP1738251A2 (en) * 2004-04-16 2007-01-03 Cascade Basic Research Corp. Modelling relationships within an on-line connectivity universe
JP2006079413A (ja) * 2004-09-10 2006-03-23 Yokogawa Electric Corp コンピュータ切替装置
US20060236328A1 (en) * 2004-12-10 2006-10-19 Siemens Medical Solutions Usa, Inc. Integrated graphical user interface server for use with multiple client applications
US7747959B2 (en) * 2004-12-17 2010-06-29 Siebel Systems, Inc. Flexible and extensible combination user interfaces
US8631342B2 (en) * 2004-12-22 2014-01-14 Hewlett-Packard Development Company, L.P. Computer display control system and method
US20060150109A1 (en) * 2004-12-30 2006-07-06 Motorola, Inc. Shared user interface
US20060179069A1 (en) * 2005-02-04 2006-08-10 Bechtel Michael E Knowledge discovery tool navigation
US7657837B2 (en) * 2005-04-06 2010-02-02 Ericom Software Ltd. Seamless windows functionality to remote desktop sessions regarding z-order
US9104294B2 (en) * 2005-10-27 2015-08-11 Apple Inc. Linked widgets
US20070162864A1 (en) * 2006-01-10 2007-07-12 International Business Machines Corp. User-directed repartitioning of content on tab-based interfaces
US20080215240A1 (en) * 2006-12-18 2008-09-04 Damian Howard Integrating User Interfaces
TW200830166A (en) * 2007-01-15 2008-07-16 Asustek Comp Inc Method and computer system capable of presenting program graphics interface on title bar of window
US8156201B2 (en) * 2007-02-20 2012-04-10 Microsoft Corporation Unifying discoverability of a website's services
US7770121B2 (en) * 2007-04-12 2010-08-03 Microsoft Corporation Host controlled user interface
US8756512B2 (en) * 2007-05-09 2014-06-17 International Business Machines Corporation Dynamic GUI rendering by aggregation of device capabilities
KR101382504B1 (ko) * 2007-05-21 2014-04-07 삼성전자주식회사 매크로 생성 장치 및 방법
JP4480180B2 (ja) * 2007-05-31 2010-06-16 キヤノン株式会社 画像形成装置、コンピュータ、情報処理方法、および情報処理システム
WO2009018177A2 (en) * 2007-07-27 2009-02-05 Deluxe Digital Studios, Inc. Methods and systems for use in customizing displayed content associated with a portable storage medium
US7930600B2 (en) * 2008-02-26 2011-04-19 International Business Machines Corporation Logical to physical connectivity verification in a predefined networking environment
US8108783B2 (en) * 2008-05-20 2012-01-31 International Business Machines Corporation System and method of GUI overlaying for migrating from a first application to a second application
US8286199B1 (en) * 2008-08-22 2012-10-09 SmartVault Corporation Automated method for creating a graphical user interface for a document management system that is visually integrated with an application having limited native GUI-integration capabilities
US8146010B2 (en) * 2008-11-03 2012-03-27 Microsoft Corporation Combinable tabs for a tabbed document interface
US8863007B2 (en) * 2009-04-03 2014-10-14 International Business Machines Corporation Programmatic information transfer
US20100309049A1 (en) * 2009-06-05 2010-12-09 Nokia Corporation Directional data distribution
US9933914B2 (en) * 2009-07-06 2018-04-03 Nokia Technologies Oy Method and apparatus of associating application state information with content and actions
WO2011014040A2 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and device for creation of integrated user interface
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
US9110686B2 (en) * 2010-06-08 2015-08-18 Microsoft Technology Licensing, Llc Web client command infrastructure integration into a rich client application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596702A (en) * 1993-04-16 1997-01-21 International Business Machines Corporation Method and system for dynamically sharing user interface displays among a plurality of application program
JP4138231B2 (ja) * 2000-03-22 2008-08-27 株式会社リコー 複合ユーザーインタフェース方法、コンピュータシステム及びコンピュータ読み取り可能な記録媒体
RU2005120363A (ru) * 2004-09-30 2007-01-20 Майкрософт Корпорейшн (Us) Усовершенствованный пользовательский интерфейс для обеспечения управления задачами и информации календаря

Also Published As

Publication number Publication date
US20110041078A1 (en) 2011-02-17
WO2011014040A3 (en) 2011-06-30
EP2460065A2 (en) 2012-06-06
CN102576287B (zh) 2016-09-28
KR20120050986A (ko) 2012-05-21
EP2460065A4 (en) 2013-01-02
US9658864B2 (en) 2017-05-23
JP2013501262A (ja) 2013-01-10
RU2012103179A (ru) 2013-08-20
CN102576287A (zh) 2012-07-11
WO2011014040A2 (en) 2011-02-03
JP5795582B2 (ja) 2015-10-14

Similar Documents

Publication Publication Date Title
RU2576498C2 (ru) Способ и устройство для создания комплексного интерфейса пользователя
US10956008B2 (en) Automatic home screen determination based on display device
KR100757820B1 (ko) 리얼타임 웹 공유 시스템
US12056415B2 (en) Desktop sharing method and mobile terminal
US8850322B2 (en) Customized diagrammatic view of a network topology
CN113497945B (zh) 基于云手机的直播和配置方法以及相关装置和系统
KR101547953B1 (ko) 그래픽 오브젝트 배치 편의를 위한 스마트 기기 및 그래픽 오브젝트 배치 방법
US20110271226A1 (en) Integrated Icon View in a Server-Based Computing Environment
KR20170063793A (ko) 세션 이력 범위 제어
MX2014007791A (es) Servicios de uso compartido.
CN112217671B (zh) 基于拆分部署的前端微服务进行界面显示的方法及设备
US20190297125A1 (en) Method and electronic device for editing content
CN106027631B (zh) 一种数据传输方法及装置
JP6381187B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115794095B (zh) 基于JavaScript的虚幻引擎UI开发方法及系统
WO2008018503A1 (fr) Dispositif d&#39;affichage d&#39;images, dispositif fournisseur de données d&#39;image, système d&#39;affichage d&#39;images, procédé de commande du système d&#39;affichage d&#39;images, programme de commande et support d&#39;enregistrement
CN114168853A (zh) 一种数据可视化展示方法、装置、介质及电子设备
CN112558968A (zh) 一种资源树视图的生成方法、装置、设备及存储介质
CN109195021B (zh) 截图分享方法和装置
JP2007172074A (ja) 一連の画面の切り替え表示の際のユーザ利便性向上
CN113132809B (zh) 一种通道切换方法、通道节目播放方法及显示设备
US10642629B2 (en) Web-application-launch application programming interfaces
CN114035870A (zh) 一种终端设备、应用资源控制方法和存储介质
CN110908745B (zh) 数据分析展示方法及系统、存储介质、服务器及客户端
CN114690996A (zh) 内容显示方法、装置以及电子设备

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200731