KR20070057646A - User interface automatic transformation depending on following display device - Google Patents

User interface automatic transformation depending on following display device Download PDF

Info

Publication number
KR20070057646A
KR20070057646A KR1020060072996A KR20060072996A KR20070057646A KR 20070057646 A KR20070057646 A KR 20070057646A KR 1020060072996 A KR1020060072996 A KR 1020060072996A KR 20060072996 A KR20060072996 A KR 20060072996A KR 20070057646 A KR20070057646 A KR 20070057646A
Authority
KR
South Korea
Prior art keywords
user interface
display device
information
conversion
management means
Prior art date
Application number
KR1020060072996A
Other languages
Korean (ko)
Other versions
KR100821121B1 (en
Inventor
구태연
박동환
문경덕
박준희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/605,743 priority Critical patent/US20070130523A1/en
Publication of KR20070057646A publication Critical patent/KR20070057646A/en
Application granted granted Critical
Publication of KR100821121B1 publication Critical patent/KR100821121B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A system and a method for automatically changing a UI according to a display device are provided to offer the UI suitable for property of a display device in real-time by storing the developed UI of a developer to a database and converting the original UI stored in the database according to the property of the display device. A GUI(Graphic User Interface) manager(22) stores/manages style information of the display device corresponding to display device information and manages library information of GUIs by using a mapping table. A conversion rule manager(23) stores and manages a conversion rule according to the property of the display devices. A UI database manager(24) stores and manages the original UI made by a making tool(10). A rendering agent manager(26) generates an agent for communicating with the display device. A making tool agent manager(25) generates the agent for communicating with the making tool. A conversion engine(21) generates the adaptive UI by converting the original UI based on device style information, GUI library mapping information, and the conversion rule.

Description

디스플레이 디바이스에 따른 사용자 인터페이스 자동 변환 시스템 및 그 방법{User Interface Automatic Transformation Depending on Following Display Device}User interface automatic transformation system and method according to display device {User Interface Automatic Transformation Depending on Following Display Device}

도 1 은 본 발명에 따른 사용자 인터페이스 자동 변환 시스템의 블록 구성도.1 is a block diagram of a user interface automatic conversion system according to the present invention.

도 2 는 본 발명에 따른 사용자 인터페이스 자동 변환 방법을 나타낸 처리 흐름도.2 is a process flowchart showing a method for automatically converting a user interface according to the present invention.

*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

10: 저작툴 20: 변환 서버10: Authoring Tool 20: Conversion Server

21: 변환 엔진 22: GUI 관리부21: transformation engine 22: GUI management unit

23: 변환룰 관리부 24: UI DB 관리부23: conversion rule management unit 24: UI DB management unit

25: 저작 에이전트 관리부 26: 렌더러 에이전트 관리부25: Authoring Agent Manager 26: Renderer Agent Manager

30: 렌더러 31: XML 파서30: Renderer 31: XML Parser

32: 입력 처리부 33: 화면 구성부32: input processing unit 33: screen configuration unit

34: 자바 모듈 생성부34: Java module generator

본 발명은 디스플레이 디바이스에 따른 사용자 인터페이스(UI: User Interface) 자동 변환 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 어플리케이션 개발자가 타겟으로 하는 하나의 사용자 인터페이스를 다양한 사용자 디바이스의 특성에 맞도록 실시간으로 변환하여 제공하는 디스플레이 디바이스에 따른 사용자 인터페이스 자동 변환 시스템 및 그 방법에 관한 것이다.The present invention relates to a system for automatically converting a user interface (UI) according to a display device and a method thereof, and more particularly, to a single user interface targeted by an application developer in real time to match the characteristics of various user devices. The present invention relates to a system for automatically converting a user interface according to a display device provided by converting the same, and a method thereof.

개인용 컴퓨터(PC)를 비롯하여 PDA, 휴대전화기뿐만 아니라 시계에 이르기까지 인터넷 가능한 디바이스들이 나날이 증가하고 있다. 각 디바이스들은 운용체계(OS)를 비롯한 디스플레이 크기, 서로 상이한 입출력 장치와 같이 각각 자신의 속성을 가진다. 또한 각 디바이스들은 자신의 사용자 인터페이스를 가진다.Internet-enabled devices, including personal computers (PCs), personal digital assistants (PDAs) and mobile phones, as well as watches, are increasing day by day. Each device has its own attributes such as operating system (OS), display size, and different I / O devices. Each device also has its own user interface.

또한 어떤 디바이스는 입력 장치로 키보드와 마우스를 이용하고, 어떤 디바이스는 입력 장치로 터치 스크린을 이용하며, 어떤 디바이스는 화면이 없고 음성으로 입력을 담당한다.Some devices use keyboards and mice as input devices, some use touch screens as input devices, and some devices do not have a screen and are responsible for voice input.

이와 같은 각 디바이스에 구동되는 어플리케이션도 디바이스의 다양한 특성이 반영되어 설계되어야 한다. 이때 고려되어야 하는 점으로 화면의 해상도나 입출력 장치의 제약과 같은 디바이스 성능에 따른 측면과, 운용체계(OS)로 윈도우를 사용할 것인지 리눅스를 사용할 것인지와, 그래픽 라이브러리로 어떤 것을 사용할 것인지 등이다. 이와 같은 고려 대상에 따라 어플리케이션을 별도로 제작하여 각 디 바이스에 탑재해야 한다.Applications driven on such devices should be designed to reflect various characteristics of the device. This should be considered in terms of device performance, such as screen resolution and input / output device constraints, whether to use Windows as the operating system (OS) or Linux, and what to use as a graphics library. Depending on these considerations, an application must be manufactured separately and mounted on each device.

이는 시간과 인력 자원적인 측면에서 많은 낭비를 가지고 온다. 이 작업은 단순히 포팅적 차원에서 끝나는 것뿐만 아니라 재구성 재설계가 필요한 작업이 될 수도 있다. 따라서, 기존의 어플리케이션 제작 방식은 앞으로의 유비쿼터스 환경에 적합하지 않고 재작업이라는 문제점을 안고 있다.This is a waste of time and human resources. This may not only be done at the porting level, but may also be a task requiring redesign. Therefore, the existing application production method is not suitable for the ubiquitous environment in the future and has a problem of rework.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 어플리케이션 개발자가 타겟으로 하는 하나의 사용자 인터페이스를 작성하여 데이터베이스에 저장한 다음에, 디스플레이 디바이스의 특성에 맞도록 데이터베이스에 저장된 원 사용자 인터페이스를 실시간으로 변환하여 제공하는 디스플레이 디바이스에 따른 사용자 인터페이스 자동 변환 시스템 및 그 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been proposed to solve the above-mentioned problems, and after the application developer creates one user interface and stores it in the database, the original user interface stored in the database to match the characteristics of the display device. It is an object of the present invention to provide a system and a method for automatically converting a user interface according to a display device for converting and providing the same in real time.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 디스플레이 디바이스에 탑재된 렌더 러와 통신하고, 사용자 인터페이스의 저작 툴과 통신하여 원 사용자 인터페이스를 자동 변환하는 시스템에 있어서, 디스플레이 디바이스의 정보에 대응되는 디스플레이 디바이스의 스타일 정보를 저장 관리하고, 그래픽 사용자 인터페이스의 라이브러리 정보를 맵핑 테이블로 관리하는 그래픽 사용자 인터페이스(GUI) 관리수단; 디스플레이 디바이스의 특성에 따른 변환 룰을 저장 관리하는 변환 룰 관리수단; 상기 저작 툴에 의해 작성된 원 사용자 인터페이스를 저장 관리하는 사용자 인터페이스 데이터베이스 관리수단; 상기 디스플레이 디바이스와의 통신을 위한 에이전트를 생성하는 렌더러 에이전트 관리수단; 상기 저작 툴과의 통신을 위한 에이전트를 생성하는 저작 에이전트 관리수단; 및 상기 렌더러로부터 전달된 디스플레이 디바이스 정보를 이용해 상기 그래픽 사용자 인터페이스 관리수단으로부터 디바이스의 스타일 정보와 GUI 라이브러리 맵핑 정보를 획득하고, 상기 디스플레이 디바이스의 정보를 근거로 상기 변환 룰 관리수단으로부터 변환 룰을 획득하여, 상기 사용자 인터페이스 데이터베이스 관리수단으로부터 읽은 원 UI를 디바이스의 스타일 정보와 GUI 라이브러리 정보와 변환 룰을 이용해 변환하여 어댑티브 사용자 인터페이스를 생성하는 변환 수단을 포함한다.In order to achieve the above object, the present invention provides a system for communicating with a renderer mounted on a display device, and for automatically converting an original user interface by communicating with an authoring tool of a user interface, the display device corresponding to information of the display device. Graphical user interface (GUI) management means for storing and managing style information and managing library information of the graphical user interface as a mapping table; Conversion rule management means for storing and managing conversion rules according to characteristics of the display device; User interface database management means for storing and managing the original user interface created by the authoring tool; Renderer agent management means for generating an agent for communication with the display device; Authoring agent management means for generating an agent for communication with the authoring tool; And obtaining device style information and GUI library mapping information from the graphical user interface management means using display device information transmitted from the renderer, and obtaining a conversion rule from the conversion rule management means based on the information of the display device. And conversion means for converting the original UI read from the user interface database management means using device style information, GUI library information, and conversion rules to generate an adaptive user interface.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 방법은, 원 사용자 인터페이스를 디스플레이 디바이스에 따라 자동 변환하는 방법 있어서, 저작 툴에 의해 작성된 원 사용자 인터페이스를 데이터베이스에 등록하고, 디스플레이 디바이스의 스타일 정보와 그래픽 사용자 인터페이스 라이브러리의 맵핑 정보를 저장하는 제1 단계; 각 디스플레이 디바이스에 따른 스타일 정보에 대응시켜 사용자 인터페이스 를 변환하기 위한 변환 룰을 등록하는 제2 단계; 디스플레이 디바이스의 렌더러로부터 사용자 인터페이스 요청을 수신하면, 상기 렌더러로부터 전달된 디스플레이 디바이스의 정보를 이용해 디바이스의 스타일 정보와 그래픽 사용자 인터페이스의 라이브러리 맵핑 정보를 획득하고, 변환 룰을 획득하는 제3 단계; 상기 획득한 디스플레이 디바이스의 스타일 정보와 그래픽 사용자 인터페이스 라이브러리 맵핑 정보와 변환 룰을 이용해 상기 저장된 원 사용자 인터페이스를 변환하여 어댑티브 사용자 인터페이스를 생성하는 제4 단계; 및 상기 생성된 어댑티브 사용자 인터페이스를 상기 디바이스의 렌더러로 제공하는 제5 단계를 포함한다.In addition, the method according to the present invention for achieving the above object, in a method for automatically converting the original user interface according to the display device, registering the original user interface created by the authoring tool in the database, the style information and graphics of the display device A first step of storing mapping information of the user interface library; Registering a conversion rule for converting the user interface in correspondence with the style information according to each display device; Receiving a user interface request from a renderer of a display device, obtaining style information of the device and library mapping information of a graphical user interface using information of the display device transferred from the renderer, and obtaining a conversion rule; A fourth step of generating an adaptive user interface by converting the stored original user interface using the acquired style information, graphic user interface library mapping information, and a conversion rule; And a fifth step of providing the generated adaptive user interface to the renderer of the device.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 사용자 인터페이스 자동 변환 시스템의 블록 구성도이다.1 is a block diagram of a user interface automatic conversion system according to the present invention.

사용자 인터페이스 자동 변환 모듈은 홈 네트워크에 있는 모든 기기의 사용자 인터페이스를 관리하는 홈서버에 내장된 모듈이다. 홈 서버는 홈네트워크 상에 존재하는 모든 기기를 제어하기 위한 사용자 인터페이스를 관리하며, 사용자 인터 페이스의 정보를 표현할 수 있는 디스플레이 기기에 대한 세부 사항 정보도 수집하여 관리한다. 이를 위해서 모든 정보는 XML로 표현되며, 홈서버의 자동 변환 모듈은 XML 스크립트(Script)를 해당되는 디스플레이 디바이스의 특성에 맞게 변환함으로써, 디스플레이 디바이스의 렌더러가 표현할 수 있도록 한다.The automatic user interface conversion module is a module embedded in the home server that manages the user interface of all the devices in the home network. The home server manages a user interface for controlling all devices on the home network, and collects and manages detailed information on display devices capable of expressing information of the user interface. To this end, all information is expressed in XML, and the home server's automatic conversion module converts the XML script according to the characteristics of the corresponding display device, so that the renderer of the display device can express it.

저작툴(10)은 개발자가 디바이스를 배포할 때 사용하는 툴로써, 변환 서버의 저작 에이전트 관리부(25)와 상호 작용한다. 개발자는 자신이 타겟으로 하는 디바이스를 위한 사용자 인터페이스만을 만들고, 이렇게 제작된 원(Original) 사용자 인터페이스는 변환 서버(20)의 데이터베이스(DB)에 저장된다.The authoring tool 10 is a tool used by a developer to distribute a device, and interacts with the authoring agent manager 25 of the conversion server. The developer creates only a user interface for a device he or she targets, and the original user interface thus produced is stored in a database DB of the conversion server 20.

저작툴(20)은 변환 서버(20)에 저장된 원 사용자 인터페이스가 디스플레이 디바이스에 따라 변환된 어댑티브(adaptive) 사용자 인터페이스를 미리 보기 항목을 통하여 사전에 확인할 수 있고, 이에 따라 개발자는 변환 서버(20)에 저장된 변환 룰을 새롭게 수정할 수 있다.The authoring tool 20 may check in advance the adaptive user interface, in which the original user interface stored in the conversion server 20 is converted according to the display device, through a preview item, so that the developer may contact the conversion server 20. Saved conversion rules can be modified.

또한 사용자 그래픽 사용자 인터페이스(GUI) 랜더러(30)는 실제 사용자 인터페이스를 표현해주는 브라우저로, 사용자가 렌더러를 실행시키게 되면, 렌더러는 자신의 디스플레이 디바이스의 스타일 시트(Style Sheet)를 변환 서버(20)로 제공한다. 변화 서버(20)는 렌더러(30)로부터 제공된 디스플레이 디바이스의 스타일 시트를 바탕으로 사용자 인터페이스를 변환하여 다시 렌더러(30)로 전달한다.In addition, the graphical user interface (GUI) renderer 30 is a browser that represents an actual user interface. When the user executes the renderer, the renderer transfers a style sheet of its display device to the conversion server 20. to provide. The change server 20 converts the user interface based on the style sheet of the display device provided from the renderer 30 and delivers it back to the renderer 30.

렌더러(30)는 변환 서버(30)로부터 변화되어 전달된 XML 스크립트를 파싱하여 실제 화면에 표현해 준다.The renderer 30 parses the XML script transferred from the conversion server 30 and expresses the XML script on the screen.

변환 서버(20)는 개발자에 의해 개발된 원 사용자 인터페이스를 데이터베이 스에 저장하고, 개발자에 의해 작성된 변환 룰을 저장하며, 렌더러(30)의 요청에 따라 디스플레이 디바이스의 특성에 맞는 변환 룰을 적용하여 원 사용자 인터페이스를 변환한다. 또한, 변환 서버(20)는 홈 네트워크 상에 존재하는 제어 디바이스에 대한 정보를 가져 오기 위해 홈 네트워크 미들웨어와 유기적인 정보 교환을 수행한다. 변환 서버(20)는 변환 엔진(21), GUI 관리부(22), 변환룰 관리부(23), UI DB 관리부(24), 저작 에이전트 관리부(25) 및 렌더러 에이전트 관리부(26)를 포함한다.The conversion server 20 stores the original user interface developed by the developer in the database, stores the conversion rule created by the developer, and applies the conversion rule that matches the characteristics of the display device according to the request of the renderer 30. To convert the original user interface. In addition, the conversion server 20 performs an organic information exchange with the home network middleware to obtain information about the control device existing on the home network. The conversion server 20 includes a conversion engine 21, a GUI manager 22, a conversion rule manager 23, a UI DB manager 24, an authoring agent manager 25, and a renderer agent manager 26.

변환 엔진(21)은 디스플레이 디바이스 정보를 이용하여 GUI 관리부(22)로부터 디스플레이 디바이스 스타일 정보를 전달받고, 변환 룰 관리부(23)로부터 디스플레이 디바이스에 따른 변환 정책을 획득한다. 그런 다음, UI DB 관리부(24)로부터 제공받은 원 사용자 인터페이스를 디스플레이 디바이스의 스타일 정보와 변환 정책을 근거로 변환하여 어댑티브 사용자 인터페이스를 생성한다.The conversion engine 21 receives display device style information from the GUI manager 22 using the display device information, and obtains a conversion policy according to the display device from the conversion rule manager 23. Thereafter, the original user interface provided from the UI DB manager 24 is converted based on the style information and the conversion policy of the display device to generate an adaptive user interface.

변환 엔진(20)에 의해 생성된 어댑티브 사용자 인터페이스를 화면에 표현하고 사용자의 입력을 수용하기 위해서는 디스플레이 렌더러의 그래픽 사용자 인터페이스(GUI) 라이브러리(LIB)에 맞도록 원 사용자 인터페이스(UI)의 라이브러리(LIB)를 맵핑하여야 하는데, GUI 관리부(22)는 원 사용자 인터페이스 라이브러리의 맴핑 테이블을 관리하고, 디스플레이 디바이스 정보에 따른 디스플레이 디바이스 스타일 정보를 저장 관리한다. 여기서, 저작툴에서 UI를 만들 때 사용되어지는 디폴트 GUI 라이브러리(LIB)는 자바(Java) AWT 를 기준으로 작성된다. In order to display the adaptive user interface generated by the conversion engine 20 on the screen and to accept user input, the library of the original user interface (UI) to match the graphical user interface (GUI) library (LIB) of the display renderer (LIB). ), The GUI manager 22 manages the mapping table of the original user interface library and stores and manages display device style information according to the display device information. Here, the default GUI library (LIB) used when creating a UI in the authoring tool is written based on Java AWT.

변환 룰 관리부(23)는 변환 엔진(21)에서 수행될 변환 정책에 대한 관리를 수행한다. 변환 룰 관리부(23)는 키보드, 마우스, 터치 패드, 음성 등과 같이 다양한 입력 장치의 타입에 따른 UI 정책을 관리하는 입력 변환과, GUI 라이브러리(LIB) 상이에 따른 변환과, 디스플레이 단말의 화면 크기, 해상도, 사용자 선호도에 따른 UI 스케일 변환 및 이미지 축소나 폰트 대체 등을 담당하는 폰트/이미지 변환을 포함한다. 변환 룰 관리부(23)는 4가지 타입의 디스플레이 타입별 변환 정책을 XML 문서로 관리하고, 새로운 변환 정책이 필요할 때 XML 문서만을 첨가함으로써 확장성과 유연성을 제공하며, 새로운 스타일의 디스플레이 단말의 출현시에도 빠른 업데이트가 가능하다.The conversion rule manager 23 manages the conversion policy to be performed in the conversion engine 21. The conversion rule manager 23 may include an input conversion for managing UI policies according to various types of input devices such as a keyboard, a mouse, a touch pad, and a voice, a conversion according to a GUI library LIB, a screen size of a display terminal, This includes UI scaling for resolution, user preference, and font / image conversion for image reduction or font replacement. The conversion rule manager 23 manages four types of display policies for each display type as XML documents, and provides scalability and flexibility by adding only XML documents when a new conversion policy is needed. Quick update is available.

사용자 인터페이스(UI) DB 관리부(24)는 저작 툴에서 생성된 원 사용자 인터페이스를 전달받아 지원 단말 디바이스의 정보와 타켓 UI 정보를 기반으로 저장 관리하고, 사용자의 요청에 빠른 서비스를 제공해 주기 위하여 미리 만들어진 프리어댑티브 UI를 저장 관리한다.The user interface (UI) DB manager 24 receives the original user interface generated by the authoring tool, stores and manages it based on the information of the supporting terminal device and the target UI information, and is prepared in advance to provide a quick service to the user's request. Save and manage the pre-adaptive UI.

저작 에어전트 관리부(25)는 저작 툴과 실질적으로 통신을 담당하는 부분으로, 원 UI와 UI 관련 정보를 전송받고, 이를 UI DB 관리부(24)로 제공한다. 한편, 변환 서버(20)에서 저작 툴(10)로 제공되는 Preview 기능은 단지 UI 모습만을 제공해 줄뿐 실질적인 제어 기능이 수행되지 않도록 하며, 저작 툴과 저작 에이전트 관리부(25)와의 통신은 SOAP 프로토콜을 이용함으로써 XML 정보를 효율적으로 전송할 수 있도록 한다.The authoring agent management unit 25 is a part which is in charge of the communication with the authoring tool, and receives the original UI and the UI related information, and provides it to the UI DB management unit 24. On the other hand, the preview function provided from the conversion server 20 to the authoring tool 10 provides only a UI appearance, so that no actual control function is performed, and the communication between the authoring tool and the authoring agent manager 25 uses a SOAP protocol. This allows efficient transmission of XML information.

렌더러 에이전트 관리부(26)는 렌더러의 UI 요청이 있을 때 이를 처리해 주기 위해, 각 렌더러당 하나의 렌더러 에이전트를 생성하여 모든 통신과 처리를 담 당하도록 한다. 렌더러 에이전트 관리부(26)는 하나의 에이전트 생성 요구가 발생되면, 디스플레이 디바이스의 정보를 통해 해당되는 기능을 수행하는 에이전트를 생성한다. 렌더러 에인전트는 디스플레이 단말의 정보를 전송받고 이 정보를 기반으로 서비스 가능한 제어 디바이스 목록을 전달하고, 이에 대한 사용자의 선택을 처리하며, 실질적으로 UI 전송을 담당하고 또한 사용자의 UI를 통한 제어명령을 전달해 주는 역할을 담당한다.The renderer agent manager 26 generates one renderer agent for each renderer to handle all communication and processing in order to process the UI request of the renderer. The renderer agent manager 26 generates an agent that performs a corresponding function through the information of the display device when one agent generation request is generated. The renderer agent receives the information of the display terminal and transmits a list of control devices that can be serviced based on the information, processes the user's selection of the display device, and is in charge of transmitting the UI, and controls commands through the user's UI. It is in charge of conveying.

디스플레이 렌더러(30)는 디스플레이 디바이스에 존재하며, 실제 UI를 표현해주는 브라우저이다. 우선 사용자가 렌더러를 실행시키게 되면 렌더러(30)는 자신의 디스플레이 디바이스 정보를 변환 서버(20)로 제공한다.The display renderer 30 exists in a display device and is a browser that represents an actual UI. First, when the user executes the renderer, the renderer 30 provides its display device information to the conversion server 20.

그리고, 렌더러(30)는 변환 서버(20)로부터 변화되어 온 XML 스크립트를 파싱하여 실제 화면에 표현해 주는 역할을 한다. 렌더러(30)는 XML 파서(31), 입력 처리부(32), 화면 구성부(33), 자바(Java) 모듈 생성부(34)를 포함한다.The renderer 30 parses the XML script that has been changed from the conversion server 20 and expresses the XML script on the screen. The renderer 30 includes an XML parser 31, an input processor 32, a screen constructer 33, and a Java module generator 34.

입력 처리부(32)는 사용자의 입력을 받아, 이를 변환 서버(20)로 전송해 주기 위해 SOAP　프로토콜로 변환해 주는 역할을 하는 부분으로, 마우스, 키보드, 음성, 터치패드 등의 다양한 디바이스별 입력 장치에 따른 변환을 담당한다.The input processing unit 32 receives a user's input and converts it into a SOAP protocol in order to transmit it to the conversion server 20. The input device for various devices such as a mouse, a keyboard, a voice, and a touch pad is used. Responsible for the conversion.

화면 구성부(33)는 XML로 전송되어진 UI 정보를 실질적으로 화면에 보여주는 기능을 담당하는 부분이다. 즉 화면 구성부(33)는 변환 엔진을 통해 변환되어진 UI정보를 실질적으로 GUI　라이브러리(LIB)와 맵핑시키고, 레이아웃 매니저를 통해 이를 효율적으로 사용자에게 제공해 주는 역할을 한다.The screen configuration unit 33 is a part that is responsible for a function of substantially showing the UI information transmitted as XML on the screen. That is, the screen configuration unit 33 substantially maps the UI information converted through the conversion engine with the GUI library LIB, and serves to efficiently provide it to the user through the layout manager.

자바(Java) 모듈 생성부(34)는 전송되어진 UI를 통해 실질적으로 제어 명령 을 수행하고, 수행되어진 결과를 UI에 반영하기 위해서는 UI XML 문서를 자바(Java) 응용(Applicaton)에 해당되는 자바 모듈을 생성한다. 단순히 화면에 표현 되어진 UI 만으로는 응용(Application)과 같은 역할이 수행되어 질 수 없음으로 객체(Object)를 생성하고, 이에 기능을 부여하는 부분이 자바(Java) 모듈 생성부(34)이다. 즉, 자바 모듈 생성부(34)는 파싱되어진 XML 문서를 기본으로 자바 프레임 객체를 만들고, 이에 GUI 속성을 부여하고 해당 함수를 생성한다.The Java module generator 34 substantially executes a control command through the transmitted UI, and in order to reflect the result to the UI, a UI module corresponding to a Java application is a Java module corresponding to a Java application. Create Since only the UI represented on the screen cannot play a role as an application, an object is created, and a part that provides a function is a Java module generator 34. That is, the Java module generation unit 34 creates a Java frame object based on the parsed XML document, gives a GUI property thereto, and generates a corresponding function.

저작 툴(10)은 UI에서 사용되는 객체들과 각 객체의 프라퍼티를 관리하고, UI 저작을 위한 객체 에디터를 제공한다. 그리고, 문서의 저장을 위해 객체와 UIML간의 상호 변환을 지원한다. 또한 저작 툴은 XML 파서를 이용하여 UI 저작 기능에 의해 저작된 UIML 문서의 적합성을 검사한다 The authoring tool 10 manages objects used in the UI and properties of each object, and provides an object editor for UI authoring. It also supports cross conversion between objects and UIML for document storage. The authoring tool also uses an XML parser to check the conformance of UIML documents authored by the UI authoring function.

도 2는 본 발명에 따른 사용자 인터페이스의 자동 변환 방법을 나타낸 처리 흐름도이다.2 is a process flowchart showing an automatic conversion method of a user interface according to the present invention.

저작 툴을 이용해 서비스 개발자는 자신이 목적으로 하는 UI 하나를 만들고, 원 사용자 인터페이스를 변환 서버의 데이터베이스에 저장한다(101). Using the authoring tool, the service developer creates one UI for his or her purpose and stores the original user interface in the database of the conversion server (101).

또한, 디스플레이 디바이스의 스타일 정보를 저장하고, 그래픽 사용자 인터페이스 라이브러리를 맵핑 테이블에 저장한다(102).In addition, it stores style information of the display device and stores the graphical user interface library in the mapping table (102).

이와 더불어, 각 디스플레이 디바이스에 따른 스타일 정보에 대응시켜 변환 룰을 등록한다(103).In addition, the conversion rule is registered in correspondence with the style information corresponding to each display device (103).

디바이스에 설치된 렌더러는 초기 셋팅 시에 렌더러의 해상도, 입력장치, 출력장치에 대해 설정하고, 렌더러가 실행되면, 렌더러는 현재 네트워크 상에서 서비 스를 받을수 있는 UI 변환 엔진을 검색한다. 변환 엔진은 렌더러의 요청에 대해 자신을 알리고, 렌더러는 서비스 가능한 변환 엔진에 자신을 등록하고 서비스 가능한 UI 목록을 받아 표시한다. 렌더러는 사용자의 선택에 의해 변환 엔진으로 해당 UI를 요청한다.The renderer installed on the device sets up the renderer's resolution, input device, and output device at the initial setting. When the renderer is executed, the renderer searches for a UI conversion engine that can receive service on the current network. The transformation engine informs itself of the renderer's request, and the renderer registers itself with the serviceable transformation engine and receives and displays a list of serviceable UIs. The renderer requests the UI to the transformation engine at the user's choice.

변환 엔진은 렌더러로부터 UI 요청을 수신하면(104), 렌더러로부터 전달된 디스플레이 디바이스의 정보를 참조하여 렌더러 에이전트를 생성한다(105). 이후의 과정은 렌더러 에이전트와 변환 엔진과의 상호 작용에 의해 이루어진다.When the transformation engine receives the UI request from the renderer (104), the transformation engine generates a renderer agent by referring to the information of the display device transferred from the renderer (105). Subsequent processing is achieved by interaction between the renderer agent and the transformation engine.

변환 엔진은 디스플레이 디바이스 정보를 이용해 GUI 관리부로부터 디바이스의 스타일 정보와 GUI 라이브러리 맵핑 정보를 획득한다(106).The transformation engine obtains device style information and GUI library mapping information from the GUI manager using the display device information (106).

그리고, 변환 엔진은 디스플레이 디바이스의 정보를 근거로 변환 룰을 변환룰 관리부로부터 획득한다(107).Then, the conversion engine obtains the conversion rule from the conversion rule manager based on the information of the display device (107).

그런 다음, 변환 엔진은 UI DB 관리부로부터 원 UI를 읽어 디스플레이 디바이스의 스타일 정보와 GUI 라이브러리 정보와 변환 룰을 이용해 어댑티브 UI를 생성한다(108).Then, the transformation engine reads the original UI from the UI DB manager to generate an adaptive UI using style information, GUI library information, and transformation rules of the display device (108).

그런 다음, 변환 엔진은 생성된 어댑티브 UI를 디바이스의 렌더러로 제공한다(109).The transformation engine then provides the generated adaptive UI to the device's renderer (109).

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기 로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily carried out by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 원 UI를 디스플레이 디바이스에 적합하게 자동 변환하여 제공함으로써, 재작업시 필요한 시간적, 인력적 자원을 절약할 수 있을 뿐만 아니라, UI의 업데이트와 유지보수도 자동으로 수행할 수 있는 효과가 있다.The present invention as described above, by automatically converting and providing the original UI suitable for the display device, not only can save time and manpower resources required for rework, but also automatically update and maintain the UI. It has an effect.

Claims (9)

디스플레이 디바이스에 탑재된 렌더러와 통신하고, 사용자 인터페이스의 저작 툴과 통신하여 원 사용자 인터페이스를 자동 변환하는 시스템에 있어서,A system for communicating with a renderer mounted on a display device and for communicating with a authoring tool of a user interface to automatically convert the original user interface, 디스플레이 디바이스의 정보에 대응되는 디스플레이 디바이스의 스타일 정보를 저장 관리하고, 그래픽 사용자 인터페이스의 라이브러리 정보를 맵핑 테이블로 관리하는 그래픽 사용자 인터페이스(GUI) 관리수단;Graphical user interface (GUI) management means for storing and managing style information of the display device corresponding to the information of the display device and managing library information of the graphical user interface as a mapping table; 디스플레이 디바이스의 특성에 따른 변환 룰을 저장 관리하는 변환 룰 관리수단;Conversion rule management means for storing and managing conversion rules according to characteristics of the display device; 상기 저작 툴에 의해 작성된 원 사용자 인터페이스를 저장 관리하는 사용자 인터페이스 데이터베이스 관리수단;User interface database management means for storing and managing the original user interface created by the authoring tool; 상기 디스플레이 디바이스와의 통신을 위한 에이전트를 생성하는 렌더러 에이전트 관리수단;Renderer agent management means for generating an agent for communication with the display device; 상기 저작 툴과의 통신을 위한 에이전트를 생성하는 저작 에이전트 관리수단; 및Authoring agent management means for generating an agent for communication with the authoring tool; And 상기 렌더러로부터 전달된 디스플레이 디바이스 정보를 이용해 상기 그래픽 사용자 인터페이스 관리수단으로부터 디바이스의 스타일 정보와 GUI 라이브러리 맵핑 정보를 획득하고, 상기 디스플레이 디바이스의 정보를 근거로 상기 변환 룰 관리수단으로부터 변환 룰을 획득하여, 상기 사용자 인터페이스 데이터베이스 관리수단으로부터 읽은 원 UI를 디바이스의 스타일 정보와 GUI 라이브러리 정보와 변환 룰을 이용해 변환하여 어댑티브 사용자 인터페이스를 생성하는 변환 수단을 포함하는 것을 특징으로 하는 사용자 인터페이스 자동 변환 시스템.Obtaining style information and GUI library mapping information of the device from the graphic user interface management means using the display device information transmitted from the renderer, and obtaining a conversion rule from the conversion rule management means based on the information of the display device; And conversion means for converting the original UI read from the user interface database management means by using the device style information, the GUI library information, and the conversion rule to generate an adaptive user interface. 제 1 항에 있어서,The method of claim 1, 상기 사용자 인터페이스 데이터베이스 관리수단은, 사전에 변환된 어댑티브 사용자 인터페이스 정보를 저장 관리하는 것을 특징으로 하는 사용자 인터페이스 자동 변환 시스템.And the user interface database management means stores and manages the adaptive user interface information converted in advance. 제 1 항에 있어서,The method of claim 1, 상기 그래픽 사용자 인터페이스 관리수단에 저장되는 디폴트 그래픽 사용자 인터페이스 라이브러리는 자바 AWT를 기준으로 작성되는 것을 특징으로 하는 사용자 인터페이스 자동 변환 시스템.And a default graphic user interface library stored in the graphic user interface management means is written based on Java AWT. 제 1 항에 있어서,The method of claim 1, 상기 변환 룰 관리수단은, The conversion rule management means, 다양한 입력 장치의 타입에 따른 사용자 인터페이스 정책과, 그래픽 사용자 인터페이스 라이브러리의 차이에 따른 정책과, 디스플레이 단말의 화면 크기, 해상 도, 사용자 선호도에 따른 사용자 인터페이스 스케일에 따른 정책 및 이미지 축소나 폰트 대체 등을 담당하는 폰트/이미지 변환 정책을 포함하는 것을 특징으로 하는 사용자 인터페이스 자동 변환 시스템.The user interface policy according to various input device types, the policy according to the difference of graphic user interface library, and the policy and image reduction or font substitution according to the user interface scale according to the screen size, resolution, and user preference of the display terminal. User interface automatic conversion system comprising a font / image conversion policy in charge. 제 4 항에 있어서,The method of claim 4, wherein 상기 변환 룰 관리수단의 변환 정책은 XML 문서로 관리되는 것을 특징으로 하는 사용자 인터페이스 자동 변환 시스템.And the conversion policy of the conversion rule management means is managed as an XML document. 원 사용자 인터페이스를 디스플레이 디바이스에 따라 자동 변환하는 방법 있어서,In the method of automatically converting the original user interface according to the display device, 저작 툴에 의해 작성된 원 사용자 인터페이스를 데이터베이스에 등록하고, 디스플레이 디바이스의 스타일 정보와 그래픽 사용자 인터페이스 라이브러리의 맵핑 정보를 저장하는 제1 단계;Registering the original user interface created by the authoring tool in a database, and storing style information of the display device and mapping information of the graphical user interface library; 각 디스플레이 디바이스에 따른 스타일 정보에 대응시켜 사용자 인터페이스를 변환하기 위한 변환 룰을 등록하는 제2 단계;Registering a conversion rule for converting a user interface in correspondence with style information according to each display device; 디스플레이 디바이스의 렌더러로부터 사용자 인터페이스 요청을 수신하면, 상기 렌더러로부터 전달된 디스플레이 디바이스의 정보를 이용해 디바이스의 스타일 정보와 그래픽 사용자 인터페이스의 라이브러리 맵핑 정보를 획득하고, 변환 룰 을 획득하는 제3 단계;Receiving a user interface request from a renderer of a display device, obtaining style information of the device and library mapping information of a graphic user interface using information of the display device transferred from the renderer, and obtaining a conversion rule; 상기 획득한 디스플레이 디바이스의 스타일 정보와 그래픽 사용자 인터페이스 라이브러리 맵핑 정보와 변환 룰을 이용해 상기 저장된 원 사용자 인터페이스를 변환하여 어댑티브 사용자 인터페이스를 생성하는 제4 단계; 및A fourth step of generating an adaptive user interface by converting the stored original user interface using the acquired style information, graphic user interface library mapping information, and a conversion rule; And 상기 생성된 어댑티브 사용자 인터페이스를 상기 디바이스의 렌더러로 제공하는 제5 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 자동 변환 방법.And a fifth step of providing the generated adaptive user interface to the renderer of the device. 제 6 항에 있어서,The method of claim 6, 상기 제1 단계에서 저장되는 디폴트 그래픽 사용자 인터페이스 라이브러리 맵핑 정보는 자바 AWT를 기준으로 작성되는 것을 특징으로 하는 사용자 인터페이스 자동 변환 방법.The default graphical user interface library mapping information stored in the first step is created based on Java AWT. 제 6 항에 있어서,The method of claim 6, 상기 변환 룰은, The conversion rule, 다양한 입력 장치의 타입에 따른 사용자 인터페이스 정책과, 그래픽 사용자 인터페이스 라이브러리의 차이에 따른 정책과, 디스플레이 단말의 화면 크기, 해상도, 사용자 선호도에 따른 사용자 인터페이스 스케일에 따른 정책 및 이미지 축소나 폰트 대체 등을 담당하는 폰트/이미지 변환 정책을 포함하는 것을 특징으로 하 는 사용자 인터페이스 자동 변환 방법.Responsible for user interface policies according to various input device types, policies based on differences in graphic user interface libraries, policies based on user interface scale according to screen size, resolution, and user preference of display terminals, and image reduction or font replacement. And a font / image conversion policy. 제 8 항에 있어서,The method of claim 8, 상기 변환 정책은 XML 문서로 관리되는 것을 특징으로 하는 사용자 인터페이스 자동 변환 방법.And the conversion policy is managed as an XML document.
KR1020060072996A 2005-12-01 2006-08-02 User Interface Automatic Transformation Depending on Following Display Device KR100821121B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/605,743 US20070130523A1 (en) 2005-12-01 2006-11-29 User interface automatic transform system and method based on display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050116170 2005-12-01
KR1020050116170 2005-12-01

Publications (2)

Publication Number Publication Date
KR20070057646A true KR20070057646A (en) 2007-06-07
KR100821121B1 KR100821121B1 (en) 2008-04-11

Family

ID=38354955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060072996A KR100821121B1 (en) 2005-12-01 2006-08-02 User Interface Automatic Transformation Depending on Following Display Device

Country Status (1)

Country Link
KR (1) KR100821121B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560087B2 (en) 2012-02-23 2017-01-31 Kt Corporation Providing machine-to-machine service
US11232170B1 (en) 2020-09-08 2022-01-25 UiPath, Inc. Application-specific graphical element detection
US11281362B1 (en) 2020-09-08 2022-03-22 UiPath, Inc. Graphical element detection using a combined series and delayed parallel execution unified target technique, a default graphical element detection technique, or both

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475432B1 (en) * 2002-02-26 2005-03-10 삼성전자주식회사 method for design modification of Graphic User Interface and recorded media thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560087B2 (en) 2012-02-23 2017-01-31 Kt Corporation Providing machine-to-machine service
US11232170B1 (en) 2020-09-08 2022-01-25 UiPath, Inc. Application-specific graphical element detection
WO2022055518A1 (en) * 2020-09-08 2022-03-17 UiPath, Inc. Application-specific graphical element detection
US11281362B1 (en) 2020-09-08 2022-03-22 UiPath, Inc. Graphical element detection using a combined series and delayed parallel execution unified target technique, a default graphical element detection technique, or both
US11507259B2 (en) 2020-09-08 2022-11-22 UiPath, Inc. Graphical element detection using a combined series and delayed parallel execution unified target technique, a default graphical element detection technique, or both

Also Published As

Publication number Publication date
KR100821121B1 (en) 2008-04-11

Similar Documents

Publication Publication Date Title
US11709668B2 (en) Systems and methods for application program and application program update deployment to a mobile device
US20070130523A1 (en) User interface automatic transform system and method based on display device
JP4340566B2 (en) Web page generation apparatus, embedded apparatus, Web page generation control method, Web page generation program, and recording medium
KR100807651B1 (en) System and method of creating and communicating with component based wireless applications
US7756905B2 (en) System and method for building mixed mode execution environment for component applications
KR20180125422A (en) Messaging application interacting with one or more extension applications
KR20110040604A (en) Cloud server, client terminal, device, method for operating cloud server and method for operating client terminal
US7747683B2 (en) Method and system for operating applications for remote terminal devices
CN102362261A (en) Input content to application via web browser
CN1708751A (en) Processing application data
JP5458708B2 (en) Image processing apparatus, display control method, and display control program
US9026588B2 (en) Storage device including software development kit that includes web service interface and terminal apparatus including the software development kit
US8140999B2 (en) Display process device and display process method
US20130290851A1 (en) User interface web services
KR102546577B1 (en) Method and device for mini program data processing
CN113961463A (en) Application environment switching method and system, storage medium and electronic equipment
KR100821121B1 (en) User Interface Automatic Transformation Depending on Following Display Device
CN112131230B (en) Application software as a service (SaaS) realization method, device, equipment and storage medium
CN101447951A (en) System and method for service oriented email client application
US20070073902A1 (en) Information processor, information processing method and program
JP5370029B2 (en) Integrated management apparatus, integrated management system, integrated management method, integrated management program, and recording medium recording the program
Repo et al. Middleware support for implementing context-aware multimodal user interfaces
KR100631775B1 (en) Apparatus and method for creating script code for controlling home network appliance using pseudo code
CN113448583A (en) Configuration development method and device based on Internet of things, terminal equipment and medium
CN114422637B (en) Media request processing method and cross-platform engine system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 19