KR20120050986A - 사용자 인터페이스 표시 방법 및 그를 수행하는 장치 - Google Patents

사용자 인터페이스 표시 방법 및 그를 수행하는 장치 Download PDF

Info

Publication number
KR20120050986A
KR20120050986A KR1020127002670A KR20127002670A KR20120050986A KR 20120050986 A KR20120050986 A KR 20120050986A KR 1020127002670 A KR1020127002670 A KR 1020127002670A KR 20127002670 A KR20127002670 A KR 20127002670A KR 20120050986 A KR20120050986 A KR 20120050986A
Authority
KR
South Korea
Prior art keywords
application
user interface
integrated
providing
function
Prior art date
Application number
KR1020127002670A
Other languages
English (en)
Inventor
박경모
황서영
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120050986A publication Critical patent/KR20120050986A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

본 발명은 단말기와 같은 장치에서 수행될 기능을 선택할 수 있는 사용자 인터페이스를 표시하는 방법 및 그를 수행하는 장치에 관한 것으로, 적어도 두개의 사용자 인터페이스 제공 장치별로 적어도 하나의 어플리케이션 사용자 인터페이스를 제공받는 과정; 상기 제공된 어플리케이션 사용자 인터페이스를 상기 사용자 인터페이스 제공 장치를 제어하기 위한 각각의 어플리케이션 사용자 인터페이스를 하나의 화면으로 표시하는 통합 사용자 인터페이스로 결합하는 과정; 상기 통합 사용자 인터페이스를 표시하는 과정을 포함한다.

Description

사용자 인터페이스 표시 방법 및 그를 수행하는 장치{APPARATUS AND METHOD FOR DISPLAYING USER INTERFACE}
본 발명은 사용자 인터페이스를 표시하는 방법 및 그를 수행하는 장치에 관한 것으로, 특히 적어도 두 개의 서버로부터 수신된 사용자 인터페이스를 하나의 통합 사용자 인터페이스를 표시하는 방법 및 그를 수행하는 장치에 관한 것이다.
사용자 인터페이스는 사용자와 사물 또는 단말기 등 사이에서 의사소통이 가능하도록 일시적 또는 영구적인 접근을 목적으로 만들어진 물리적, 가상적 매개체를 의미한다. 그리고 사용자 인터페이스는 사용자가 단말기를 조작하기 위한 입력과, 단말기에서 보이는 반응 또는 결과를 보이는 출력으로 분류될 수 있다.
사용자 인터페이스는 단말기 제조사에 의해 제공되며, 단말기에 한 번 저장된 사용자 인터페이스는 재가공하거나, 수정할 수 없다. 그러나 단말기에서 처리할 수 있는 데이터가 다양해지고, 그 양이 많아지면서, 그를 처리하기 위해 제공되던 사용자 인터페이스도 다양해지고 있다. 다시 말해 사용자 인터페이스는 단순한 이미지와 텍스트만 제공하는 종래 서비스 형태에서 하나의 콘텐츠로써 텍스트, 오디오, 비디오, 폰트, 이미지, 그래픽 등과 같은 여러 가지의 데이터가 혼합된 형태로 제공되는 리치 미디어(Rich-media) 서비스 형태로 발전하고 있다.
상기 리치 미디어 서비스를 제공하기 위한 국제 표준 규격으로는 BIFS (BInary Format for Scene), LASeR (Light-weight Application Scene Representation) 등이 있다. 상기 LASeR 는 오늘날 통신 및 방송의 응용 기술이 다양한 미디어 요소를 이용하여, 보다 효과적인 정보를 전달할 수 있는 방법을 제할 수 있도록 진화함에 따라, 장면 기술 (Scene Description), 비디오(video), 오디오(audio), 이미지(image), 폰트(font), 텍스트(text), 메타데이터(meta-data), 스크립트(script) 등과 같은 다양한 멀티미디어 요소들을 이용한 자유로운 표현과 사용자와의 상호작용을 통하여 보다 풍부한 사용자 서비스를 제공하기 위해 개발된 국제 표준 규격이다. 또한 통신 기술의 발전으로 단말기 간에 데이터가 자유롭게 송수신될 수 있으며, 단말기는 외부 단말기를 제어하여 다양한 기능을 수행하도록 할 수 있다.
그러나 단말기가 외부 단말기들과 연동하여 다양한 기능을 수행할 수 있음에도 불구하고, 단말기에 표시되는 사용자 인터페이스는 단말기 제조사에서 설정해둔 사용자 인터페이스만 제공된다. 따라서 단말기별로 고정되었던 사용자 인터페이스 대신에 있는 단말기와 연동된 다른 단말기까지 통합적으로 제어할 수 있는 사용자 인터페이스의 필요성이 대두되었다.
상기와 같은 문제점을 해결하기 위해 본 발명은 사용자 인터페이스 표시 방법 및 그를 수행하는 장치를 제안한다.
상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 사용자 인터페이스 표시 방법은 적어도 두 개의 사용자 인터페이스 제공 장치별로 적어도 하나의 어플리케이션 사용자 인터페이스를 제공받는 과정; 상기 제공된 어플리케이션 사용자 인터페이스를 상기 사용자 인터페이스 제공 장치를 제어하기 위한 각각의 어플리케이션 사용자 인터페이스를 하나의 화면으로 표시하는 통합 사용자 인터페이스로 결합하는 과정; 상기 통합 사용자 인터페이스를 표시하는 과정을 포함한다.
또한 상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 사용자 인터페이스 표시 장치는 적어도 두개의 사용자 인터페이스 제공 장치와 연결되며, 상기 사용자 인터페이스 제공 장치별로 적어도 하나의 어플리케이션 사용자 인터페이스를 수신하는 통신부; 상기 사용자 인터페이스 제공 장치별로 제공된 어플리케이션 사용자 인터페이스를 상기 적어도 두 개의 사용자 인터페이스 제공 장치를 제어하기 위한 각각의 어플리케이션 사용자 인터페이스를 하나의 화면으로 표시하는 통합 사용자 인터페이스로 결합하는 제어부; 상기 통합 사용자 인터페이스를 표시하는 표시부를 포함한다.
본 발명에 따르면, 서로 연동된 단말기에 표시되는 사용자 인터페이스들을 하나의 단말기에 통합적으로 표시할 수 있다. 또한 단말기에 표시된 사용자 인터페이스가 외부 단말기로부터 전송되는 사용자 인터페이스와 결합함으로써 유동적으로 변경될 수 있다. 이렇게 사용자 인터페이스가 유동적으로 변경됨에 따라 사용자는 다수 개의 단말기별로 수행될 수 있는 기능을 용이하게 확인할 수 있다. 또한 통합된 사용자 인터페이스를 통해 각 단말기별 저장된 데이터 또는 수행될 수 있는 기능들의 활용성을 높일 수 있다는 효과가 있다.
도 1은 본 발명의 실시예에 따라 통합 사용자 인터페이스를 표시할 수 있는 장치들간의 신호 흐름을 도시한 흐름도.
도 2는 본 발명의 실시예에 따른 통합 UI 표시 장치의 구성을 도시한 도면.
도 3은 본 발명의 실시예에 따른 통합 UI 표시 화면을 예시한 화면 예시도.
도 4는 본 발명의 실시예에 따른 통합 UI를 생성하는 방법을 나타낸 흐름도.
'장치'는 외부 장치와 유선 또는 무선으로 연결되어 다양한 데이터를 전송하거나, 수신하여 처리할 수 있는 단말기를 의미한다. 예를 들어 장치는 휴대 단말기, 노트북, 오디오, 텔레비전과 가전 제품, 셋탑 박스, 네트워크를 통해 서비스를 제공하는 서버 등이 될 수 있다. 또한 장치는 특정 기능을 수행하기 위해 선택되는 어플리케이션 사용자 인터페이스를 표시할 수 있다. 여기서 장치는 통합 사용자 인터페이스 표시 장치, UI 제공 장치로 구분하여 설명한다.
'통합 사용자 인터페이스 표시 장치(이하에서는 통합 UI(User Interface) 표시 장치라 칭한다)'는 유선 또는 무선으로 연동된 적어도 두 개의 장치로부터 제공되는 적어도 하나의 어플리케이션 사용자 인터페이스를 하나의 사용자 인터페이스로 결합하여 표시하는 장치를 의미한다. 여기서 통합 사용자 인터페이스 표시 장치는 다수개의 어플리케이션 UI를 관리할 수 있는 UI 관리 엔진 또는 위젯 매니저의 역할을 할 수 있다.
'사용자 인터페이스 제공 장치(이하에서는 UI(User Interface) 제공 장치라 칭한다)'는 유선 또는 무선으로 외부 장치와 연동될 수 있는 장치로, 자신이 표시하고 있는 어플리케이션 사용자 인터페이스에 대한 정보를 통합 UI 표시 장치로 제공하는 장치를 의미한다.
'어플리케이션 사용자 인터페이스(이하에서는 어플리케이션 UI라 칭한다)'는 장치에서 수행될 수 있는 기능들을 버튼, 아이콘, 애니메이션, 벡터 그래픽과 같은 시각적 이미지와 다중 시각/ 청각/ 촉각 요소로 표시하는 사용자 인터페이스이다. 또한 어플리케이션 UI는 응용 프로그램의 실행, 삭제, 추가, 변환 기능이 포함된 동작적인 요소들을 포함한다. 여기서 어플리케이션 UI별로 기능을 수행하기 위한 응용 프로그램이 매핑된다. 따라서 어플리케이션 UI가 선택되면, 선택된 어플리케이션 UI와 매핑된 응용 프로그램을 실행할 수 있다. 어플리케이션 UI로는 위젯이 대표적인 예이다. 예를 들어 휴대 단말기에서의 위젯은 사용자가 자주 사용하는 기능들을 모아 아이콘으로 표시한 형태이다. 휴대 단말기의 위젯으로 날씨를 표시하는 날씨 위젯, 사진과 같은 이미지 데이터를 확인할 수 있는 이미지 확인 위젯, 지하철 노선도 표시를 선택할 수 있는 지하철 노선 표시 위젯 등이 될 수 있다. 만약 사용자가 날씨 위젯을 선택하면, 휴대 단말기는 저장된 날씨에 관련된 컨텐츠를 표시할 수 있다.
'컨텐츠'는 어플리케이션 UI가 선택되었을 때 수행되는 기능에 따라 표시되는 데이터를 의미한다. 예를 들어 휴대 단말기에서 표시될 수 있는 컨텐츠로 전화번호와 같은 연결 데이터, 사진과 같은 이미지 데이터, 문자 메시지로 송수신되는 문자 데이터 등이 될 수 있다.
'기능'은 장치에서 수행되는 모든 동작들을 의미한다. 예를 들어 휴대 단말기에서 수행될 수 있는 기능은 통화 기능, 데이터 표시 기능 등이 될 수 있다.
'사용자 인터페이스(이하에서는 UI)'는 어플리케이션 UI를 표시할 수 있으며, 어플리케이션 UI를 통해 선택되는 컨텐츠를 표시하는 화면을 의미한다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 실시예에 따라 통합 사용자 인터페이스를 표시할 수 있는 장치들간의 신호 흐름을 도시한 흐름도이다.
도 1을 참조하면, 적어도 두 개의 장치로부터 수신된 어플리케이션 UI가 결합된 통합 UI를 표시할 수 있는 통합 UI 표시 장치(10) 및 통합 UI 표시 장치(10)에 어플리케이션 UI를 제공하는 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)가 구성된다.
먼저 통합 UI 표시 장치(10)는 110단계에서 사용자의 선택에 따라 통합 UI 표시 모드를 수행한다. 통합 UI는 적어도 두 개의 UI 제공 장치를 제어하기 위한 UI 제공 장치 각각의 어플리케이션 UI를 결합하여 하나의 화면으로 표시한 사용자 인터페이스를 의미한다.
그리고 통합 UI 표시 장치(10)는 115단계 내지 120단계에서 유선 또는 무선으로 연결된 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)를 검색한다. 다음으로 통합 UI 표시 장치(10)는 125단계 내지 130단계에서 제1 UI 제공 장치(20)에서 제공한 제1 어플리케이션 UI 및 제2 UI 제공 장치(30)에서 제공한 제2 어플리케이션 UI를 수신한다. 이때 제1 UI 제공 장치(20)는 제1 어플리케이션 UI를 구성하는 특성 정보를, 제2 UI 제공 장치(30)는 제2 어플리케이션 UI를 구성하는 특성 정보를 통합 UI 표시 장치(10)에 전송한다. 특성 정보는 어플리케이션 UI를 구성하는 미디어 및 그래픽 객체들에 해당하는 정보로, 선언적 방법으로 표현하는 엘리먼트(element)와 각 엘리먼트의 속성(attribute), 스크립트, 매핑된 응용 프로그램에 대한 정보 등을 포함한다.
통합 UI 표시 장치(10)는 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)로부터 전송된 특성 정보를 복호(decoding)한 다음, 디코딩된 특성 정보를 이용하여 제1 어플리케이션 UI 및 제2 어플리케이션 UI를 표현하기 위한 그래픽 객체들 및 매핑된 응용 프로그램을 확인한다. 구체적으로 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)로부터 전송된 특성 정보는 다음 표 1과 같은 구조로 표시될 수 있다.
Figure pct00001
표 1에서 <mw:messageOut>은 해당 어플리케이션에서 출력할 수 있는 인터페이스 임을 나타내고, 해당 인터페이스의 이름인 name 속성을 가지고 있다. 하위 인터페이스로는 출력 인자인 <mw:output>와 입력 인자인 <mw:input>로 표현될 수 있으며, 각각 입/출력 인자는 name과 그 속성을 나타내는 scriptParamType을 가지고 있다.
다음으로 통합 UI 표시 장치(10)는 140단계에서 확인된 특성 정보를 이용하여 제1 어플리케이션 UI 및 제2 어플리케이션 UI를 통합 UI로 결합한다. 좀 더 상세히 설명하면, 통합 UI 표시 장치(10)는 UI 제공 장치별로 제공된 어플리케이션 UI의 특성 정보를 추출한다. 이때 추출되는 특성정보는 제1 UI 제공 장치 및 제2 UI 제공 장치 별로 제공되는 어플케이션 UI을 구성하는 모듈의 크기, 색상을 나타내는 GUI(Grahpic UI) 정보와 모듈의 기능을 구성하는 Interface의 이름 및 속성 정보 등이 있다. 이렇게 추출된 특성 정보는 프리젠테이션 엔진이나, 외부와의 커뮤니케이션을 담당하는 별도의 모듈, UI를 관리하는 관리 엔진, 어플리케이션 프로그래밍 인터페이스, 또는 통합 UI 장치의 자체 시스템 라이브러리의 임시 메모리에서 핸들링할 수 있다. 여기서 UI 관리 엔진은 사용자 인터페이스 매니저 혹은 위젯 매니저로 칭해지며, 리치미디어 엔진 기능이 확장된 형태일 수 있다. 여기서 리치미디어 엔진은 기존의 오디오와 비디오에 그래픽이나 플래시 기술 등이 적용된 역동적인 정보를 양방향으로 제공할 수 있는 미디어 엔진을 의미한다. 그리고 UI 관리 엔진은 리치미디어 엔진에 포함되거나, 리치미디어 엔진을 포함하는 별도의 기능 모듈일 수 있으며, 리치미디어 엔진과는 완전히 별개로 구성된 별도의 모듈일 수 있다.
통합 UI 표시 장치(10)는 미리 설정된 장치별 연결 관계를 확인하고, 제1 어플리케이션 UI 및 제2 어플리케이션 UI별로 추출된 특성 정보를 이용하여 통합 UI를 생성할 수 있다. 다시 말해 통합 UI 표시 장치(10)는 어플리케이션 UI별 아이디와 카테고리 등을 이용하여 각 UI 제공 장치별로 제공된 어플리케이션 UI 중에서 서로 연관되는 어플리케이션 UI들을 추출한다.
통합 UI 표시 장치(10)는 추출된 어플리케이션 UI들을 결합하여 통합 UI로 생성한다. 통합 UI는 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)별로 수행될 기능을 제어하는 어플리케이션 UI를 포함한다. 따라서 제1 어플리케이션 UI 및 제2 어플리케이션 UI를 통합 UI로 결합할 때, 통합 UI 표시 장치(10)는 제1 어플리케이션 UI 및 제2 어플리케이션 UI별로 추출된 특성 정보를 통합 UI에 표시되는 어플리케이션 UI별로 매핑한다.
그리고 통합 UI 표시 장치(10)는 150단계에서 UI 제공 장치별 어플리케이션 UI가 결합된 통합 UI를 표시한다. 이때 통합 UI 표시 장치(10)는 통합 UI에 표시되는 각 UI 제공 장치별 어플리케이션 UI의 위치, 모양 등을 재구성할 수 있으며, 각 어플리케이션 UI를 관리하고 제어할 수 있다.
통합 UI에 포함된 제1 어플리케이션 UI 및 제2 어플리케이션 UI가 선택되면, 통합 UI 표시 장치(10)는 155단계 및 160단계에서 선택된 제1 어플리케이션 UI에 해당하는 기능 수행을 제어하는 기능 수행 신호 및 제2 어플리케이션 UI에 해당하는 기능 수행을 제어하는 기능 수행 신호를 각각 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)로 전송한다. 장치별로 기능 수행 신호가 수신되면, 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)는 170단계에서 해당 기능을 수행한다.
지금까지는 UI 제공 장치별로 제공된 적어도 하나의 어플리케이션 UI를 통합 UI로 결합하여 표시하는 방법을 각각의 장치별로 송수신되는 신호의 흐름에 따라 설명하였다. 다음으로 통합 UI를 결합하여 표시하는 통합 UI 표시 장치(10) 및 그 장치에서 어플리케이션 UI를 통합 UI로 결합하는 방법에 대하여 도 2 내지 도 4를 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 통합 UI 표시 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 통합 UI 표시 장치(10)는 통신부(210), 입력부(220), 제어부(230), 제어부(230)에 포함된 관계 확인부(240), 통합 UI 결합부(250), 표시부(260)를 포함한다.
통신부(210)는 제어부(230)의 제어 하에 유선 또는 무선으로 적어도 하나의 외부 장치와 연결되고, 연결된 적어도 두 개의 외부 장치와 데이터를 송수신할 수 있다. 특히 통신부(210)는 어플리케이션 UI를 제공하는 적어도 하나의 UI 제공 장치로부터 적어도 하나의 어플리케이션 UI에 대한 특성 정보가 포함된 신호(이하 어플리케이션 UI 신호라 칭한다)를 수신한다. 그리고 통신부(210)는 수신된 어플리케이션 UI 신호를 제어부(230)로 전송한다. 또한 통신부(210)는 제어부(230)의 제어 하에 사용자에 의해 선택된 어플리케이션 UI에 해당하는 기능을 수행하기 위한 기능 수행 신호를 해당 UI 제공 장치로 전송할 수 있다.
입력부(220)는 사용자로부터 입력되는 숫자 및 문자 정보, 각종 기능들의 설정 및 장치에서 수행될 수 있는 기능을 제어하기 위해 사용자로부터 입력되는 신호를 제어부(230)로 전달한다. 입력부(220)는 터치 센서를 통해 감지되는 터치를 통해 신호를 전달하는 터치 스크린 또는 물리적인 키로 구성되는 키패드 또는 무선으로 연결되는 리모콘 등이 될 수 있다. 여기서 입력부(220)는 통합 UI에서 사용자에 의해 선택되는 어플리케이션 UI에 대한 입력 신호를 제어부(230)로 전송한다.
제어부(230)는 통합 UI 표시 장치(10)를 구성하는 모든 구성의 상태 및 동작을 제어한다. 제어부(230)는 유선 또는 무선으로 연결된 UI 제공 장치 별로 전송되는 적어도 하나의 어플리케이션 UI를 통합 UI로 결합할 수 있다. 좀 더 상세히 설명하면, 서로 다른 UI 제공 장치로부터 제공되는 적어도 하나의 어플리케이션 UI들을 통합 UI로 결합하여 하나의 화면으로 표시할 수 있는 통합 UI 표시 모드가 선택되면, 제어부(230)는 통신부(210)를 제어하여 연결된 적어도 하나의 UI 제공 장치를 검색한다. 그리고 제어부(230)는 검색된 UI 제공 장치 별로 제공되는 적어도 하나의 어플리케이션 UI 신호를 통신부(210)를 통해 수신한다.
제어부(230)는 수신된 어플리케이션 UI 신호를 어플리케이션 UI 특성 정보로 디코딩한다. 다음으로 제어부(230)는 디코딩된 어플리케이션 UI의 특성 정보를 이용하여, UI 제공 장치 별로 수신된 어플리케이션 UI를 통합 UI로 결합한다. 그리고 제어부(230)는 결합된 통합 UI를 표시부(260)에 표시한다. 통합 UI는 특정 기능 수행을 제어하기 위한 어플리케이션 UI를 포함한다. 입력부(220)를 통해 통합 UI에 포함된 어플리케이션 UI중 하나가 선택되면, 제어부(230)는 통신부(210)를 제어하여 선택된 어플리케이션 UI에 해당하는 기능이 수행되도록 기능 수행 신호를 UI 제공 장치별로 전송한다.
통합 UI를 표시하기 위해서 제어부(230)는 어플리케이션 UI별 특성 정보를 추출한다. 여기서 특성 정보는 어플리케이션 UI를 표시하기 위한 그래픽 객체, 매핑된 응용 프로그램에 대한 정보, 속성 정보 등을 의미한다. 그리고 제어부(230)는 추출된 어플리케이션 UI별 특성 정보를 통해 UI 제공 장치별 연결 관계를 확인하고, 확인된 연결 관계에 따라 어플리케이션 UI를 통합한다. 그러기 위해 제어부(230)는 관계 확인부(240) 및 통합 UI 결합부(250)를 포함할 수 있다.
관계 확인부(240)는 어플리케이션 UI를 제공하는 UI 제공 장치 간의 연결 관계를 확인할 수 있다. 관계 확인부(240)가 UI 제공 장치 간 연결 관계를 확인하는 방법은 다음과 같을 수 있다.
첫 번째로 관계 확인부(240)가 미리 저장된 연결 관계 리스트를 확인하여, 어플리케이션 UI 관계를 확인하는 방법이다. 그러기 위해 통합 UI 제공 장치(10)에 연결 관계 리스트가 미리 저장되어야 한다. 연결 관계 리스트는 장치를 제조하는 제조사에 의해 미리 저장될 수도 있고, 서비스 사업자같이 어플리케이션 UI를 제공하는 UI 제공자에 의해 저장될 수 있다.
UI 제공 장치 간의 연결 관계는 연결 관계 검색을 통해서 통합 UI표시 장치(10)가 관계 리스트를 관리할 수 있으며, 아래의 표 2와 같이 정의된 인터페이스를 통해서 추출해 낼 수 있다. 여기서 통합 UI 표시 장치(10)은 위젯 매니저로, 어플리케이션 UI는 위젯으로 가정하여 설명한다.
Figure pct00002
<getInterfaceHandlersByType> 절차는 위젯이 객체들을 추출할 수 있도록 한다. 이 객체들은 소정 유형의 InterfaceHandler 인터페이스를 실행하면서 결합 인터페이스를 표현하는 객체들이다.
<onInterfaceBind> 함수는 인터페이스의 결합시 위젯 매니저에 의해 호출되는 함수로 설정될 수 있다. <onInterfaceUnbind> 함수는 인터페이스의 결합 해제시 위젯 매니저에 의해 호출되는 함수로 설정될 수 있다.
<onActivation> 함수는 성분의 활성화시 또는 활성화 실패시 위젯 매니저에 의해 호출되는 함수로 설정될 수 있다. 리턴 파라미터(return parameter)는 활성화가 성공(true)인지 실패(false)인지를 나타내는 Boolean이다.
<activateComponentWidget> 절차는 성분 위젯의 활성화를 항시작하기 위해 위젯에 의해 호출된다.
<deactivateComponentWidget> 절차는 성분 위젯의 비활성화를 시작하기 위해 위젯에 의해 호출된다.
위젯 매니저는 표 3에 보여진 바와 같이 위젯의 정의된 인터페이스마다 <InterfaceHandler> 객체를 제공한다.
Figure pct00003
표 3에서 결합(bound) 스트링은 <InterfaceHandler> 객체에 대응하는 외부 장치의 주소(예컨대, IP 주소, 호스트명 등)를 나타낸다.
유형(type) 스트링은 <InterfaceHandler> 객체에 대응하는 외부 장치의 유형을 나타낸다.
위젯 안의 스크립트는 메시지를 대응하는 외부 장치로 전송하기 위해 <InterfaceHandler> 객체로부터 인보크(invoke) 방법을 호출할 수 있다. 메시지 파라미터는 선언 순서대로 각 외부 장치의 인터페이스 선언(declaration)을 나타낸다. 위젯 매니저는 장치의 응답 수신시 <callBackFunction>을 시작하고 <MsgHandler> 객체를 제공하며 스크립트가 콜백(callback)에 다수의 호출을 구별하도록 한다.
메시지 수신시 스크립트 함수들이 호출될 때(즉, 이 함수는 <mw:messageIn> 요소의 mw:inputAction 속성에 선언되기 때문에), 스크립트는 최초 장치에 응답한다.
<invokeReply> 절차는 이전 메시지에 응답을 보내기 위해 사용된다. 이 절차에 대한 호출시, 위젯 매니저는 외부 장치에 메시지를 반환할 수 있다. 메시지 출력 파라미터들은 이 절차의 다음 독립변수들(arguments)에 순서대로 매핑된다.
예를 들어, 위젯 A가 검색 절차를 정의하고 위젯 B가 해당 서비스를 사용하고자 한다고 가정하면, 위젯 매니저는 위젯 A와 B가 통신 가능한지 확인하고 위젯 B의 출력을 위젯 A의 입력에 연결한다. 위젯 B에 의해 “검색” 절차가 시작될 때, 위젯 매니저는 메시지를 위젯 A에 전송한다. 이때, 위젯 A는 “SearchFunction” 절차에 호출을 시작한다. 이어서 위젯 A는 검색을 수행하고 <MsgHandler> 객체와 반환을 생성하여 저장한다. 처리가 완료되면, 위젯 A는 <MsgHandler> 객체와 그 처리결과를 가지는 <invokeReply> 절차를 호출한다. 이 절차는 차례로 응답 메시지를 전송하고, 이 메시지는 위젯 B와 결과(URL 값)를 가진 <myProcessSearchResults> 절차를 다시 호출한다.
위젯 A의 목록은 표 4에 보여진 바와 같이 “example:search:interface” 유형의 인터페이스 안에 선언한다.
위젯 B의 목록은 표 5에 보여진 바와 같이 “example:search:interface” 유형의 인터페이스 안에 선언한다.
Figure pct00005
위젯 B에서, 스크립트는 표 6에 보여진 바와 같이 구성된다.
Figure pct00006
위젯 A에서, 스크립트는 표 7에 보여진 바와 같이 구성된다.
Figure pct00007
연결 관계 리스트는 표 8 또는 표 9와 같은 형태로 구성될 수 있다.
표 8은 제1 어플리케이션 UI와 연결되어 함께 표시될 수 있는 제2 어플리케이션 UI를 리스트화한 형태이다.
Figure pct00008
표 8과 같이 연결 관계 리스트가 정의된 경우, 관계 확인부(240)는 제1 UI 제공 장치(20)로부터 수신된 제1 어플리케이션 UI와 결합될 수 있는 제2 UI 제공 장치(20)로부터 수신된 제2 어플리케이션 UI가 무엇 무엇인지를 판단할 수 있다. 예를 들어 제1 어플리케이션 UI가 지도 표시 기능을 수행할 수 있는 어플리케이션 UI인 경우, 관계 확인부(240)는 추출된 제1 어플리케이션 특성 정보를 통해 지도 어플리케이션 UI의 ID인 wiget_H_Map01을 확인한다. 그리고 관계 확인부(240)는 연결 관계 리스트에서 제1 어플리케이션 UI와 통합 가능한 어플리케이션 UI ID를 확인한다. 여기서 제1 어플리케이션 UI와 통합 가능한 어플리케이션 UI의 ID는 wiget_H_weather01... wiget_H_weather04, wiget_H_cal01, wiget_H_cal02 등이 될 수 있다. 그리고 관계 확인부(240)는 제2 UI 제공 장치가 제공한 제2 어플리케이션 UI의 특성 정보를 확인하여, 연결 관계 리스트에 포함된 어플리케이션 UI ID에 해당하는 제2 어플리케이션 UI만 추출한다.
표 9는 제1 어플리케이션 UI와 연결되어 함께 표시될 수 있는 제2 어플리케이션 UI를 그룹으로 리스트화한 형태이다.
Figure pct00009
표 9와 같이 연결 관계 리스트가 정의된 경우, 관계 확인부(240)는 제1 어플리케이션 UI와 결합될 수 있는 제2 어플리케이션 UI를 그룹으로 묶어서 확인할 수 있다. 여기서 어플리케이션 UI 그룹마다 아이디가 설정되며, 어플리케이션 UI 그룹으로 UI 제공 장치에서 표시될 수 있는 모든 어플리케이션 UI가 포함된다. 예를 들어 휴대 단말기의 경우, 어플리케이션 UI 그룹으로 게임 어플리케이션 UI, 날씨 어플리케이션 UI, 달력 어플리케이션 UI, 통화 어플리케이션 UI 등이 포함될 수 있다.
그룹핑된 어플리케이션 UI를 이용하여 결합된 어플리케이션 UI를 확인하는 방법은 다음과 같이 예를 들어 설명할 수 있다. 제1 어플리케이션 UI가 달력 표시 기능을 수행할 수 있는 어플리케이션 UI인 경우, 관계 확인부(240)는 추출된 제1 어플리케이션 특성 정보를 통해 달력 어플리케이션 UI의 ID인 wiget_S_cal01을 확인한다. 그리고 관계 확인부(240)는 연결 관계 리스트에서 제1 어플리케이션 UI와 통합 가능한 어플리케이션 UI 그룹 ID를 확인한다. 여기서 제1 어플리케이션 UI와 통합 가능한 어플리케이션 UI 그룹 ID는 widget_Group_S_01이 될 수 있다. 그리고 관계 확인부(240)는 제2 어플리케이션 UI의 특성 정보를 확인하여, 연결 관계 리스트에 포함된 어플리케이션 UI 그룹 ID에 해당하는 제2 어플리케이션 UI만 추출한다.
두 번째로 관계 확인부(240)가 UI 제공 장치별로 어플리케이션 UI가 제공될 때마다 연결 관계 리스트를 생성하여, 어플리케이션 UI 간에 연결 관계를 확인할 수 있다. 그러기 위해서는 UI 제공 장치는 어플리케이션 UI를 통합 UI 표시 장치(10)로 전송할 때에 결합 가능한 어플리케이션 UI에 대한 정보를 특성 정보에 포함시켜 전송한다. 결합 가능한 어플리케이션 UI에 대한 정보는 어플리케이션 UI의 ID가 저장된 필드에 aggregatable =T/F 등과 같이 작성될 수 있다. 그러면 관계 확인부(240)는 특성 정보에 포함된 결합 가능한 어플리케이션 UI 정보를 확인하여, 연결 관계 리스트를 생성한다. 그리고 관계 확인부(240)는 UI 제공 장치별로 제공된 어플리케이션 UI의 특성 정보와 생성된 연결 관계 리스트를 비교하여, 결합 가능한 어플리케이션 UI를 확인한다.
또한 관계 확인부(240)는 UI 제공 장치별로 제공된 어플리케이션 UI에 대하여 우선순위를 설정할 수 있다. 이렇게 설정된 우선 순위를 이용하여 통합 UI 결합부(250)에서 어플리케이션 UI가 결합될 때, 우선 순위가 높은 어플리케이션 UI는 표시되고, 우선 순위가 낮은 어플리케이션 UI는 삭제될 수 있다. 어플리케이션 UI의 우선순위는 장치를 제조하는 제조사에서 장치의 종류에 따라 미리 설정할 수도 있고, 사용자의 사용빈도에 따라 설정될 수 있다.
그리고 관계 확인부(240)에서 확인된 결합 가능한 어플리케이션 UI에 대한 연결 관계 정보는 리치미디어 데이터로 구성될 수 있다. 또한 연결 관계 정보는 별도로 연결 관계 데이터로 저장하거나, 어플리케이션 UI의 특성 정보에 포함시킬 수 있다.
통합 UI 결합부(250)는 관계 확인부(240)에서 확인된 연결 관계 정보를 이용하여 UI 제공 장치별로 제공된 어플리케이션 UI를 통합 UI로 결합할 수 있다. 그러기 위해 통합 UI 결합부(250)는 결합 가능한 어플리케이션 UI의 특성 정보를 확인한다.
Figure pct00010
표 10에서, <mw:interface> 는 통신 유형에 대한 위젯의 통신 능력을 나타낸다. 또한 하위 속성으로 인터페이스의 유형을 나타내는 type, 인터페이스의 성공적 결합시 호출하는 스크립 함수의 명칭 등을 나타내는 mw:bindAction/ mw:unbindAction, 외부에서 해당 인터페이스를 검색 가능하도록 표시하는 mw:serviceProvider, 해당 인터페이스와 연결 관계를 나타내는 mw:connectTo, 해당 인터페이스와 복수개의 인터페이스가 연결 가능함을 나타내는 mw:multipleBindings, 해당 인터페이스가 활성화되는 경우 필요한 인터페이스임을 나타내는 mw:required로 구분된다.
여기서 특성 정보는 그래픽 객체와 같은 표현 및 구성 상의 특성 및 통합 UI 결합시, 기능이 활성화 되어야 하는 조건, 이식 가능한 영역, 객체, 속성, 부분, 기능 등에 대한 정보를 포함한다. 이러한 특성 정보는 어플리케이션 UI 자체 내에 기술되거나, manifest에 기술될 수 있고, 별도의 파일 또는 데이터로 구성될 수 있다. 여기서 통합 UI 표시 장치(10)은 위젯 매니저로, 어플리케이션 UI는 위젯으로 가정하여 특성 정보를 좀 더 상세히 설명하면 다음과 같다.
이 목록의 로딩시, 위젯 매니저는 성분 위젯들을 실제로 활성화하지 않고 mw:src 속성에 의해 참조된 성분 위젯들의 목록을 추출하거나 <mw:requiredInterface> 요소들에 의해 선언된 인터페이스들에 적합한 위젯을 발견하려고 시도한다. 만약 인터페이스들에 적합한 위젯이 없다면, 동작은(특히 주요 위젯의 로딩은) 특유하게 실행된다. 만약 적합한 위젯이 발견되면, 이 성분을 결합하기 위한 이벤트들은 그 위젯의 활성화를 위한 이벤트들이 트리거된 후에 트리거될 것이다.
실제 상황에 따르면, 모체(parent)가 성분의 활성화를 요청하기 전에 성분이 이미 활성화된 경우 예를 들어 activatedAction 메시지 및 deactivatedAction 메시지는 수신되지 않을 것이다.
다음의 예에서, 성분들은 템플릿 위젯들을 생성하기 위해 사용될 것이다. 위젯 A는 두 개의 위젯들을 시각적으로 그룹핑할 수 있는 장면이다. A의 목록은 특정 위젯들을 또는 일반적인 인터페이스들을 가리키는 두 개의 성분 B, C를 사용한다. B와 C의 활성화시, A는 활성화될 수 있고 그 장면은 표 11에 보여진 바와 같이 B와 C를 어떻게 시각적으로 그룹핑하는지 위젯 매니저에게 나타낼 수 있다.
Figure pct00011
그리고 통합 UI 결합부(250)는 추출된 어플리케이션 UI 특성 정보를 이용하여 통합 UI 내에 어플리케이션 UI가 표시될 위치, 어플리케이션 UI에 매핑될 기능 등에 대한 정보를 설정할 수 있다. 또한 통합 UI 결합부(250)는 통합 UI에 포함된 어플리케이션 UI의 동작 순서를 동작 테이블과 같은 구조적인 의미로 설정할 수 있다.
또한 각 UI 제공 장치에서 제공된 적어도 하나의 어플리케이션 UI가 통합 UI로 결합되었을 때, 통합 UI 결합부(250)는 어플리케이션 UI별 유지해야 할 특성 정보, 공유하지 않을 특성 정보, 삭제할 어플리케이션 UI, 통합될 어플리케이션 UI를 설정할 수 있다. 또한 통합 UI 결합부(250)는 어플리케이션 UI를 결합할 때, 우선순위를 통해 어떠한 어플리케이션 UI가 메인 또는 서브가 될지 설정할 수 있다. 그리고 통합 UI 결합부(250)는 통합 UI로 결합된 각각의 어플리케이션 UI를 제공한 UI 제공 장치에 대한 정보를 통합 또는 별도로 관리한다. UI 제공 장치에 대한 정보는 통합 UI가 해제되거나, 다시 통합 UI를 재설정할 때 활용할 수 있다. 또한, 위젯 매니저에서 독립적인 어플리케이션 UI를 통합 UI로 관리하는 것도 포함한다. 예를 들어, 별도의 에어콘 장치에서 제공하는 어플리케이션 UI(A)과 날씨 정보를 제공하는 어플리케이션 UI(B)는 위젯 매니저에 의해 결합되어, 통합 UI 결합부(250)에 의해 결합된 독립적인 어플리케이션 UI로 기능을 수행할 수 있다. 이러한 경우 날씨 어플리케이션 UI에서 특정 조건 이벤트가 발생하면, 위젯 매니저 혹은 해당 어플리케이션 UI(B)가 발행된 이벤트가 에어콘 어플리케이션(A)으로 전달될 수 있다.
다음으로 제어부(230)는 표시부(260)를 제어하여 통합 UI 결합부(250)를 통해 결합된 통합 UI를 표시한다. 이때 통합 UI는 어플리케이션 UI를 제공한 UI 제공 장치별로 수행될 수 있는 기능에 해당하는 어플리케이션 UI를 표시한다. 사용자에 의해 어플리케이션 UI가 선택되면, 제어부(230)는 선택된 어플리케이션 UI에 따라 수행되는 기능을 확인한다. 그리고 제어부(230)는 통신부(210)를 제어하여 각 UI 제공 장치 별로 확인된 기능이 수행되도록 기능 수행 신호를 전송한다.
표시부(260)는 통합 UI 표시 장치(10)의 전반적인 상태 및 동작과 관련된 정보를 표시한다. 여기서 표시부(260)는 제어부(230)의 제어 하에 적어도 하나의 UI 제공 장치가 제공한 적어도 하나의 어플리케이션 UI가 결합되어 생성된 통합 UI를 표시한다. 통합 UI가 표시되는 화면에 대하여 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 통합 UI 표시 화면을 예시한 화면 예시도이다.
우선 통합 UI 표시 장치(10)는 휴대 단말기, 제1 UI 제공 장치(20)는 프린터, 제2 UI 제공 장치(30)는 카메라라고 가정한다.
도 3을 참조하면, 프린터(20)는 프린트 기능을 수행하기 위한 프린트 어플리케이션 UI(310)와 프린트 환경을 설정하기 위한 set 어플리케이션 UI를 표시한다. 그리고 카메라(30)는 미리 저장된 이미지를 표시하기 위한 photo viewer 어플리케이션 UI(320)와 선택된 사진 이미지를 확대하여 표시하는 기능을 수행하기 위한 확대 어플리케이션 UI(330)를 표시한다. 그리고 휴대 단말기(10)로부터 어플리케이션 UI를 요청하는 신호가 수신되면, 프린터(20)는 프린트 어플리케이션 UI(310)와 set 어플리케이션 UI를, 카메라(30)는 photo viewer 어플리케이션 UI(320)와 확대 어플리케이션 UI(330)를 휴대 단말기(10)로 전송한다.
휴대 단말기(10)는 프린터(20)와 카메라(30)로부터 수신된 프린트 어플리케이션 UI(310), set 어플리케이션 UI, photo viewer 어플리케이션 UI(320) 및 확대 어플리케이션 UI(330)의 특성 정보를 추출한다. 그리고 휴대 단말기(10)는 추출된 특성 정보에서 각 어플리케이션 UI 아이디를 통해 연결 관계를 확인한다. 여기서 연결 관계 정보를 통해 결합 가능한 어플리케이션 UI로 프린트 어플리케이션 UI(310), photo viewer 어플리케이션 UI(320) 및 확대 어플리케이션 UI(330)가 존재하며, photo viewer 어플리케이션 UI(320)의 우선순위가 1위, 프린트 어플리케이션 UI(310)의 우선순위가 2위, 확대 어플리케이션 UI(330)의 우선순위는 3위로 설정되어 있다고 가정한다.
프린터(20) 및 카메라(30)로부터 수신된 어플리케이션 UI들로부터 추출된 특성 정보를 이용하여 휴대 단말기(10)는 통합 UI를 생성한다. 연결 관계 정보에 의하면, 프린트 어플리케이션 UI(310), photo viewer 어플리케이션 UI(320) 및 확대 어플리케이션 UI(330)가 결합 가능하며, photo viewer 어플리케이션 UI(320)의 우선순위가 가장 높다. 따라서 휴대 단말기(10)는 프린트 어플리케이션 UI(310), photo viewer 어플리케이션 UI(320) 및 확대 어플리케이션 UI(330)을 포함한 통합 UI를 생성하고, photo viewer 어플리케이션 UI(320)를 우선순위로 표시하도록 설정한다. 그리고 휴대 단말기(10)는 생성된 통합 UI를 표시부에 표시된다.
그리고 휴대 단말기(10)의 표시부에 표시된 통합 UI에서 어플리케이션 UI가 선택되면, 휴대 단말기(10)는 선택된 어플리케이션 UI에 해당하는 기능이 수행되도록 기능 수행 신호를 해당 UI 제공 장치로 전송된다. 예를 들어 photo viewer 어플리케이션 UI(320)에서 사진 이미지가 선택되고, 프린트 어플리케이션 UI(310)가 선택되었다고 가정한다. 그러면 휴대 단말기(10)는 우선순위가 높은 photo viewer 어플리케이션 UI(320)를 제공한 카메라(30)에 선택된 사진 이미지를 요청하는 기능 수행 신호를 전송한다. 그리고 휴대 단말기(10)는 그 다음 우선순위인 프린트 어플리케이션 UI(310)를 제공한 프린터(20)에 선택된 사진 이미지를 프린트하는 프린트 기능 수행 신호를 전송한다. 그러면 카메라(30)는 요청된 사진 이미지를 휴대 단말기(10)로 전송하고, 휴대 단말기(10)는 전송된 사진 이미지를 프린터(20)로 전송한다. 그리고 프린터(20)는 수신된 사진 이미지를 프린트한다.
여기서 휴대 단말기(10)는 카메라(30)로부터 수신된 사진 이미지를 프린터(20)에 전송한다고 설명하고 있으나 이에 한정되지 않는다. 카메라(30)로부터 photo viewer 어플리케이션 UI(320)에서 표시되는 사진 데이터를 미리 수신한 다음, 선택되는 사진 데이터를 프린터(20)로 바로 전송할 수 있다. 또는 휴대 단말기(10)는 프린트(20)의 식별 정보 또는 IP 주소 등을 카메라(30)로 전달하면, 카메라(30)는 수신된 프린트(20)의 식별 정보 또는 IP 주소 등을 이용하여 선택된 사진 데이터를 프린트(20)로 전송할 수 있다.
이렇게 각각의 UI 제공 장치로부터 제공된 어플리케이션 UI를 통합 UI로 결합하는 방법은 기능 및 어플리케이션 특성 정보의 일부분을 이동시키는데 한정되는 것이 아니라, 독자적인 어플리케이션 UI로 각각의 UI 제공 장치를 통합적으로 관리하는 방법도 포함된다. 예를 들어 제1 UI 제공 장치(20)가 에어컨 제어를 위한 제1 어플리케이션 UI를 제공하고, 제2 UI 제공 장치(30)가 온도계 기능을 수행하기 위한 제2 어플리케이션 UI를 제공한다면, 통합 UI 표시 장치(10)는 에어컨 제어를 위한 제1 어플리케이션 UI 및 온도계 기능을 위한 제2 어플리케이션 UI를 결합하여 통합 UI를 생성한다. 그리고 온도계 기능을 위한 제2 어플리케이션 UI에서 온도 변화가 감지되면, 통합 UI 표시 장치(10)는 감지된 온도 변화를 제1 UI 제공 장치(20)로 전송하여 에어컨을 제어할 수 있다.
또한 통합 UI 결합 방법을 통해 각 장치별 어플리케이션 UI 사용 기록 또는 데이터를 공유할 수 있어 통합 UI가 제3의 응용 프로그램으로 활용될 수 있다. 예를 들어 어플리케이션 UI의 사용 기록 정보/ 시간 또는 데이터가 다른 어플리케이션 UI를 통해 활용될 수 있다.
이상에서는 UI 제공 장치별로 제공된 어플리케이션 UI를 통합 UI로 결합하는 장치 및 통합 UI를 표시하는 화면에 대하여 설명했다. 다음으로 통합 UI 표시 장치(10)에서 UI 제공 장치별 제공된 어플리케이션 UI를 결합하여 표시하는 방법에 대하여 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 통합 UI를 생성하는 방법을 나타낸 흐름도이다.
도 4를 참조하면, 통합 UI 표시 장치(10)는 410단계에서 통합 UI 표시 모드를 수행한다. 여기서 통합 UI 표시 모드는 메뉴 또는 기능키를 통해 선택되어 수행될 수 있다. 또는 통합 UI 표시 장치(10)에 표시된 어플리케이션 UI가 통합 UI로 결합 가능한 어플리케이션 UI라면, 통합 UI 표시 장치(10)는 통합 UI가 가능한 어플리케이션 UI임을 알리는 알림창을 표시한다. 그리고 사용자에 의해 통합 UI 표시 메뉴가 선택되면, 통합 UI 표시 장치(10)는 통합 UI 표시 모드를 수행할 수 있다. 그리고 적어도 하나의 UI 제공 장치로부터 어플리케이션 UI가 전송되면, 통합 UI 표시 장치(10)는 통합 UI 표시 모드를 선택할 수 있는 선택창을 표시한다. 그리고 사용자에 의해 통합 UI 표시가 선택되면, 통합 UI 표시 장치(10)는 통합 UI 표시 모드를 수행할 수 있다.
다음으로 통합 UI 표시 장치(10)는 420단계에서 유선 또는 무선으로 연결된 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)를 검색한다. 여기서 도면에 도시되지 않았지만, 통합 UI 표시 장치(10)는 검색된 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)로 어플리케이션 UI를 요청하는 신호를 전송할 수 있다. 어플리케이션 UI 요청 신호는 현재 각각의 UI 제공 장치에 표시된 어플리케이션 UI를 요청하는 신호가 될 수 있고, 각각의 UI 제공 장치에 저장된 어플리케이션 UI 중에서 사용자에 의해 선택되는 어플리케이션 UI를 요청하는 신호가 될 수 있다.
통합 UI 표시 장치(10)는 430단계에서 제1 UI 제공 장치(20)에서 적어도 하나의 제1 어플리케이션 UI를, 제2 UI 제공 장치(30)에서 적어도 하나의 제2 어플리케이션 UI를 수신한다. 그리고 통합 UI 표시 장치(10)는 440단계에서 수신된 제1 어플리케이션 UI 및 제2 어플리케이션 UI를 통해 제1 UI 제공 장치(20) 및 제2 UI 제공 장치(30)의 연결 관계를 확인한다. 좀 더 상세히 설명하면, 통합 UI 표시 장치(10)는 미리 설정된 연결 관계 리스트와 제1 어플리케이션 UI 및 제2 어플리케이션 UI의 특성 정보를 비교하여 결합 가능한 어플리케이션 UI를 확인한다. 또한 통합 UI 표시 장치(10)는 각 어플리케이션 UI의 우선순위를 설정한다. 그리고 도면에 도시되지 않았지만, 제1 어플리케이션 UI와 제2 어플리케이션 UI 간에 연결 관계를 확인할 때, 결합 가능한 어플리케이션 UI가 존재하지 않으면, 통합 UI 표시 장치(10)는 결합 가능한 어플리케이션 UI가 아님을 사용자에게 팝업, 알림 창 등과 같은 방법으로 알릴 수 있다.
통합 UI 표시 장치(10)는 450단계에서 확인된 연결 관계에 따라 제1 어플리케이션 UI 및 제2 어플리케이션 UI를 통합 UI로 결합한다. 그리고 통합 UI 표시 장치(10)는 460단계에서 결합된 통합 UI를 표시한다. 다음으로 통합 UI 표시 장치(10)는 470단계에서 표시된 통합 UI에서 선택되는 어플리케이션 UI에 해당하는 기능이 수행되도록 기능 수행 신호를 각각의 UI 제공 장치로 전송한다. 통합 UI 표시 장치(10)는 어플리케이션 UI의 우선순위에 따라 UI 제공 장치에 기능 수행 신호를 전송한다. 즉 어플리케이션 UI의 우선순위가 높은 UI 제공 장치에 먼저 기능 수행 신호가 전송되고, 그 다음 순위에 해당하는 어플리케이션 UI를 제공한 UI 제공 장치에 기능 수행 신호가 전송된다.
본 발명에서 통합 UI 표시 장치(10)는 적어도 하나의 UI 제공 장치로부터 제공되는 어플리케이션 UI를 결합하여 표시하는 것으로 설명하고 있으나 이에 한정되지 않는다. 다시 말해 통합 UI 표시 장치(10)과 UI 제공 장치가 따로 구성되는 것이 아니라 하나의 장치 내에서 수행되는 기능에 해당하는 다수 개의 어플리케이션 UI도 결합되어 표시할 수 있다. 예를 들어 휴대 단말기의 경우, 메시지를 전송할 수 있는 메시지 기능에 해당하는 메시지 어플리케이션 UI와 저장된 사진을 표시할 수 있는 이미지 표시 기능에 해당하는 이미지 표시 어플리케이션 UI가 하나의 통합 어플리케이션으로 결합되어 하나의 화면에 표시될 수 있다. 또는 일정 관리를 할 수 있는 일정 관리 기능에 해당하는 일정 관리 어플리케이션 UI와 메모 기능에 해당하는 메모 어플리케이션 UI가 하나의 통합 어플리케이션으로 결합되어 하나의 화면에 표시될 수 있다.
본 발명에 따르면, 서로 연동된 단말기에 표시되는 사용자 인터페이스들을 하나의 단말기에 통합적으로 표시할 수 있다. 또한 단말기에 표시된 사용자 인터페이스가 외부 단말기로부터 전송되는 사용자 인터페이스와 결합함으로써 유동적으로 변경될 수 있다. 이렇게 사용자 인터페이스가 유동적으로 변경됨에 따라 사용자는 다수 개의 단말기별로 수행될 수 있는 기능을 용이하게 확인할 수 있다. 또한 통합된 사용자 인터페이스를 통해 각 단말기별 저장된 데이터 또는 수행될 수 있는 기능들의 활용성을 높일 수 있다는 효과가 있다.
이상에서는 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기서 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (6)

  1. 특정 기능을 수행하기 위한 적어도 하나의 어플리케이션 사용자 인터페이스가 포함된 사용자 인터페이스를 표시하는 장치의 사용자 인터페이스 표시 방법에 있어서,
    적어도 두 개의 사용자 인터페이스 제공 장치별로 적어도 하나의 어플리케이션 사용자 인터페이스를 제공받는 과정;
    상기 제공된 어플리케이션 사용자 인터페이스를 상기 사용자 인터페이스 제공 장치를 제어하기 위한 각각의 어플리케이션 사용자 인터페이스를 하나의 화면으로 표시하는 통합 사용자 인터페이스로 결합하는 과정;
    상기 통합 사용자 인터페이스를 표시하는 과정을 포함하는 사용자 인터페이스 표시 방법.
  2. 제1 항에 있어서, 상기 통합 사용자 인터페이스로 결합하는 과정은
    상기 적어도 두 개의 사용자 인터페이스 제공 장치별로 제공된 상기 어플리케이션 사용자 인터페이스에서 상기 어플리케이션 사용자 인터페이스를 표현하기 위한 그래픽 객체, 매핑된 응용 프로그램 정보 및 상기 어플리케이션 사용자 인터페이스 아이디를 포함하는 특성 정보를 추출하는 과정;
    상기 추출된 특성 정보를 미리 설정된 연결 관계 리스트와 비교하여 결합 가능한 어플리케이션 사용자 인터페이스를 확인하는 과정;
    상기 확인된 결과에 따라 상기 통합 사용자 인터페이스를 생성하는 과정을 더 포함함을 특징으로 하는 사용자 인터페이스 표시 방법.
  3. 제1항에 있어서,
    상기 통합 사용자 인터페이스에 포함된 어플리케이션 사용자 인터페이스를 선택하는 과정;
    상기 선택된 어플리케이션 사용자 인터페이스에 해당하는 기능을 수행하도록 제어하는 기능 수행 신호를 상기 적어도 두 개의 사용자 인터페이스 제공 장치에 전송하는 과정을 더 포함함을 특징으로 하는 사용자 인터페이스 표시 방법.
  4. 적어도 두 개의 사용자 인터페이스 제공 장치와 연결되며, 상기 사용자 인터페이스 제공 장치별로 적어도 하나의 어플리케이션 사용자 인터페이스를 수신하는 통신부;
    상기 사용자 인터페이스 제공 장치별로 제공된 어플리케이션 사용자 인터페이스를 상기 적어도 두 개의 사용자 인터페이스 제공 장치를 제어하기 위한 각각의 어플리케이션 사용자 인터페이스를 하나의 화면으로 표시하는 통합 사용자 인터페이스로 결합하는 제어부;
    상기 통합 사용자 인터페이스를 표시하는 표시부로 구성된 사용자 인터페이스 표시 장치.
  5. 제4항에 있어서, 상기 제어부는
    상기 적어도 두 개의 사용자 인터페이스 제공 장치별로 제공된 상기 어플리케이션 사용자 인터페이스에서 상기 어플리케이션 사용자 인터페이스를 표현하기 위한 그래픽 객체, 매핑된 응용 프로그램 정보 및 상기 어플리케이션 사용자 인터페이스 아이디를 포함하는 특성 정보를 추출하고, 상기 추출된 특성 정보를 미리 설정된 연결 관계 리스트와 비교하여 결합 가능한 어플리케이션 사용자 인터페이스를 확인하여, 상기 통합 사용자 인터페이스를 생성함을 특징으로 하는 사용자 인터페이스 표시 장치.
  6. 제4항에 있어서, 상기 제어부는
    상기 통합 사용자 인터페이스에 포함된 어플리케이션 사용자 인터페이스가 선택되면, 상기 통신부를 제어하여 상기 선택된 어플리케이션 사용자 인터페이스에 해당하는 기능을 수행하도록 제어하는 기능 수행 신호를 상기 적어도 두 개의 사용자 인터페이스 제공 장치에 전송함을 특징으로 하는 사용자 인터페이스 표시 장치.
KR1020127002670A 2009-07-31 2010-07-30 사용자 인터페이스 표시 방법 및 그를 수행하는 장치 KR20120050986A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090070329 2009-07-31
KR20090070329 2009-07-31

Publications (1)

Publication Number Publication Date
KR20120050986A true KR20120050986A (ko) 2012-05-21

Family

ID=43529898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127002670A KR20120050986A (ko) 2009-07-31 2010-07-30 사용자 인터페이스 표시 방법 및 그를 수행하는 장치

Country Status (7)

Country Link
US (1) US9658864B2 (ko)
EP (1) EP2460065A4 (ko)
JP (1) JP5795582B2 (ko)
KR (1) KR20120050986A (ko)
CN (1) CN102576287B (ko)
RU (1) RU2576498C2 (ko)
WO (1) WO2011014040A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113799A (ko) * 2013-03-14 2014-09-25 삼성전자주식회사 휴대단말기에서의 메시지 통합 방법 및 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2460065A4 (en) * 2009-07-31 2013-01-02 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CREATING AN INTEGRATED USER INTERFACE
KR101660746B1 (ko) * 2010-08-24 2016-10-10 엘지전자 주식회사 이동 단말기 및 이것의 애플리케이션 지시자 설정 방법
US20120089923A1 (en) * 2010-10-08 2012-04-12 Microsoft Corporation Dynamic companion device user interface
US8918719B2 (en) * 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
US9733934B2 (en) * 2011-03-08 2017-08-15 Google Inc. Detecting application similarity
US9383800B2 (en) 2011-03-22 2016-07-05 International Business Machines Corporation Managing a portal application
KR20120137756A (ko) * 2011-06-13 2012-12-24 삼성전자주식회사 휴대용 단말기에서 응용 프로그램 병합을 위한 방법 및 장치
JP5532037B2 (ja) * 2011-09-30 2014-06-25 コニカミノルタ株式会社 連携システム、携帯情報装置、連携方法および連携プログラム
US9448813B2 (en) * 2012-05-24 2016-09-20 Microsoft Technology Licensing, Llc Entry points to image-related applications in a mobile device
US10099115B2 (en) * 2012-12-06 2018-10-16 Sony Interactive Entertainment America Llc System and method for user creation of digital objects
US11113773B2 (en) 2012-12-06 2021-09-07 Sony Interactive Entertainment LLC System and method for sharing digital objects
US9696885B2 (en) 2013-09-20 2017-07-04 International Business Machines Corporation Integrated user interface using linked data
US10242080B1 (en) 2013-11-20 2019-03-26 Google Llc Clustering applications using visual metadata
CN103606077A (zh) * 2013-11-26 2014-02-26 山西农业大学 一种移动办公系统
CN104765595B (zh) * 2014-01-08 2018-05-22 联发科技（新加坡）私人有限公司 一种显示图形用户界面的方法及装置
US9280325B2 (en) 2014-05-30 2016-03-08 International Business Machines Corporation Customized ready-to-go componentized application definitions
KR102642923B1 (ko) * 2016-07-28 2024-03-05 삼성전자주식회사 외부 디바이스를 제어하기 위한 gui를 생성하는 디바이스 및 방법

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226109A (en) * 1990-04-26 1993-07-06 Honeywell Inc. Three dimensional computer graphic symbol generator
US5408653A (en) * 1992-04-15 1995-04-18 International Business Machines Corporation Efficient data base access using a shared electronic store in a multi-system environment with shared disks
US5596702A (en) * 1993-04-16 1997-01-21 International Business Machines Corporation Method and system for dynamically sharing user interface displays among a plurality of application program
JP3344528B2 (ja) * 1995-06-29 2002-11-11 インターナショナル・ビジネス・マシーンズ・コーポレーション ウィンドウの表示方法およびそのシステム
US5684967A (en) * 1995-09-13 1997-11-04 International Business Machines Corporation System and method for generalized network topology representation
US5764226A (en) * 1995-12-29 1998-06-09 International Business Machine Corp. Reusable and modifiable data entry interface part
US5801699A (en) * 1996-01-26 1998-09-01 International Business Machines Corporation Icon aggregation on a graphical user interface
US5760770A (en) * 1996-05-15 1998-06-02 Microsoft Corporation System and method for defining a view to display data
US6300947B1 (en) * 1998-07-06 2001-10-09 International Business Machines Corporation Display screen and window size related web page adaptation system
JP3846666B2 (ja) * 1998-09-24 2006-11-15 富士通株式会社 共有画面制御装置
US6857106B1 (en) * 1999-09-15 2005-02-15 Listen.Com, Inc. Graphical user interface with moveable, mergeable elements
US8015494B1 (en) * 2000-03-22 2011-09-06 Ricoh Co., Ltd. Melded user interfaces
US8793589B2 (en) 2000-03-22 2014-07-29 Ricoh Co., Ltd. Melded user interfaces
FI20010817A (fi) * 2001-04-20 2003-02-14 Nokia Corp Menetelmä informaation esittämiseksi elektroniikkalaitteen näytöllä ja elektroniikkalaite
EP1253750A1 (en) * 2001-04-24 2002-10-30 Deutsche Thomson-Brandt Gmbh Method for the control of network devices connected via a bus system
EP3086288B1 (en) * 2001-04-30 2021-05-26 Activemap LLC Interactive electronically presented map
US7013431B2 (en) * 2001-04-30 2006-03-14 Broadband Graphics, Llc Cell based EUI methods and apparatus
US7185290B2 (en) * 2001-06-08 2007-02-27 Microsoft Corporation User interface for a system and process for providing dynamic communication access and information awareness in an interactive peripheral display
JP4086529B2 (ja) * 2002-04-08 2008-05-14 松下電器産業株式会社 画像処理装置及び画像処理方法
US6898645B2 (en) * 2002-04-17 2005-05-24 Canon Kabushiki Kaisha Dynamic generation of a user interface based on automatic device detection
JP2003345697A (ja) * 2002-05-27 2003-12-05 Hitachi Ltd 統合インタフェース提供方法、装置及び記憶媒体
US7890868B2 (en) * 2002-08-13 2011-02-15 National Instruments Corporation Selecting a connectable element of a hardware device in a measurement system
JP3755500B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Ｇｕｉアプリケーション開発支援装置および方法、並びにコンピュータ・プログラム
US7519910B2 (en) * 2002-10-10 2009-04-14 International Business Machines Corporation Method for transferring files from one machine to another using adjacent desktop displays in a virtual network
US7315985B1 (en) * 2002-12-31 2008-01-01 Emc Corporation Methods and apparatus for managing network resources using a network topology view
US7430721B2 (en) * 2003-04-08 2008-09-30 Tidebreak, Inc. Pointright: a system to redirect mouse and keyboard control among multiple machines
WO2005103874A2 (en) * 2004-04-16 2005-11-03 Cascade Basic Research Corp. Modelling relationships within an on-line connectivity universe
JP2006079413A (ja) * 2004-09-10 2006-03-23 Yokogawa Electric Corp コンピュータ切替装置
US7747966B2 (en) * 2004-09-30 2010-06-29 Microsoft Corporation User interface for providing task management and calendar information
US20060236328A1 (en) * 2004-12-10 2006-10-19 Siemens Medical Solutions Usa, Inc. Integrated graphical user interface server for use with multiple client applications
US7747959B2 (en) * 2004-12-17 2010-06-29 Siebel Systems, Inc. Flexible and extensible combination user interfaces
US8631342B2 (en) * 2004-12-22 2014-01-14 Hewlett-Packard Development Company, L.P. Computer display control system and method
US20060150109A1 (en) * 2004-12-30 2006-07-06 Motorola, Inc. Shared user interface
US20060179069A1 (en) * 2005-02-04 2006-08-10 Bechtel Michael E Knowledge discovery tool navigation
US7657837B2 (en) * 2005-04-06 2010-02-02 Ericom Software Ltd. Seamless windows functionality to remote desktop sessions regarding z-order
US9104294B2 (en) * 2005-10-27 2015-08-11 Apple Inc. Linked widgets
US20070162864A1 (en) * 2006-01-10 2007-07-12 International Business Machines Corp. User-directed repartitioning of content on tab-based interfaces
US20080215240A1 (en) * 2006-12-18 2008-09-04 Damian Howard Integrating User Interfaces
TW200830166A (en) * 2007-01-15 2008-07-16 Asustek Comp Inc Method and computer system capable of presenting program graphics interface on title bar of window
US8156201B2 (en) * 2007-02-20 2012-04-10 Microsoft Corporation Unifying discoverability of a website's services
US7770121B2 (en) * 2007-04-12 2010-08-03 Microsoft Corporation Host controlled user interface
US8756512B2 (en) * 2007-05-09 2014-06-17 International Business Machines Corporation Dynamic GUI rendering by aggregation of device capabilities
KR101382504B1 (ko) * 2007-05-21 2014-04-07 삼성전자주식회사 매크로 생성 장치 및 방법
JP4480180B2 (ja) * 2007-05-31 2010-06-16 キヤノン株式会社 画像形成装置、コンピュータ、情報処理方法、および情報処理システム
AU2008282367B2 (en) * 2007-07-27 2012-08-02 Deluxe Media Inc. Methods and systems for use in customizing displayed content associated with a portable storage medium
US7930600B2 (en) * 2008-02-26 2011-04-19 International Business Machines Corporation Logical to physical connectivity verification in a predefined networking environment
US8108783B2 (en) * 2008-05-20 2012-01-31 International Business Machines Corporation System and method of GUI overlaying for migrating from a first application to a second application
US8286199B1 (en) * 2008-08-22 2012-10-09 SmartVault Corporation Automated method for creating a graphical user interface for a document management system that is visually integrated with an application having limited native GUI-integration capabilities
US8146010B2 (en) * 2008-11-03 2012-03-27 Microsoft Corporation Combinable tabs for a tabbed document interface
US8863007B2 (en) * 2009-04-03 2014-10-14 International Business Machines Corporation Programmatic information transfer
US20100309049A1 (en) * 2009-06-05 2010-12-09 Nokia Corporation Directional data distribution
US9933914B2 (en) * 2009-07-06 2018-04-03 Nokia Technologies Oy Method and apparatus of associating application state information with content and actions
EP2460065A4 (en) * 2009-07-31 2013-01-02 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CREATING AN INTEGRATED USER INTERFACE
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
US9110686B2 (en) * 2010-06-08 2015-08-18 Microsoft Technology Licensing, Llc Web client command infrastructure integration into a rich client application

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113799A (ko) * 2013-03-14 2014-09-25 삼성전자주식회사 휴대단말기에서의 메시지 통합 방법 및 장치

Also Published As

Publication number Publication date
WO2011014040A2 (en) 2011-02-03
EP2460065A2 (en) 2012-06-06
EP2460065A4 (en) 2013-01-02
US20110041078A1 (en) 2011-02-17
WO2011014040A3 (en) 2011-06-30
CN102576287A (zh) 2012-07-11
CN102576287B (zh) 2016-09-28
JP5795582B2 (ja) 2015-10-14
RU2576498C2 (ru) 2016-03-10
JP2013501262A (ja) 2013-01-10
US9658864B2 (en) 2017-05-23
RU2012103179A (ru) 2013-08-20

Similar Documents

Publication Publication Date Title
KR20120050986A (ko) 사용자 인터페이스 표시 방법 및 그를 수행하는 장치
US11422779B2 (en) Application support for network devices
US20190297125A1 (en) Method and electronic device for editing content
CN113784220B (zh) 播放媒体资源的方法、显示设备及移动设备
US20100318601A1 (en) Widget activation and communication method
US11200294B2 (en) Page updating method and display device
JP2007310596A (ja) サービス提供装置、コンピュータプログラム及び記録媒体
CN112217671A (zh) 基于拆分部署的前端微服务进行界面显示的方法及设备
CN111246299A (zh) 通信终端以及应用管理方法
CN105025320B (zh) 一种混合构架的可运营桌面系统及其实现方法
KR101719593B1 (ko) 정보처리단말 및 그 제어 방법, 시스템 및 그 제어 방법, 및 컴퓨터 판독 가능한 기억매체
CN111897641A (zh) 微服务监控调度方法及显示设备
CN112040308A (zh) 一种hdmi通道切换方法及显示设备
CN111479144A (zh) 显示设备及应用交互方法
CN106383705B (zh) 在应用瘦客户端中设置鼠标显示状态的方法及装置
CN114035870A (zh) 一种终端设备、应用资源控制方法和存储介质
CN114357279A (zh) 一种显示设备及基于网站内页面的语音搜索方法
CN113825007B (zh) 视频播放方法、装置及显示设备
CN112199612B (zh) 一种书签添加和合并的方法及显示设备
CN112839247B (zh) 一种内容显示方法、显示设备及云端服务器
CN112040317B (zh) 事件响应方法及显示设备
JP2009076099A (ja) サービス提供装置
WO2020187099A1 (zh) 页面更新方法及显示设备
CN117979084A (zh) 一种显示设备及hdmi设备的更新方法
CN114296842A (zh) 显示设备和滚动文本检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101002886; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170615

Effective date: 20190314