KR20180130470A - Methods and apparatus for remote controlling peripheral device in mobile communication terminal - Google Patents

Methods and apparatus for remote controlling peripheral device in mobile communication terminal Download PDF

Info

Publication number
KR20180130470A
KR20180130470A KR1020180149395A KR20180149395A KR20180130470A KR 20180130470 A KR20180130470 A KR 20180130470A KR 1020180149395 A KR1020180149395 A KR 1020180149395A KR 20180149395 A KR20180149395 A KR 20180149395A KR 20180130470 A KR20180130470 A KR 20180130470A
Authority
KR
South Korea
Prior art keywords
electronic device
external electronic
information
executable object
user interface
Prior art date
Application number
KR1020180149395A
Other languages
Korean (ko)
Other versions
KR102049069B1 (en
Inventor
김두석
박현철
김규열
신동윤
양준모
정효용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180149395A priority Critical patent/KR102049069B1/en
Publication of KR20180130470A publication Critical patent/KR20180130470A/en
Application granted granted Critical
Publication of KR102049069B1 publication Critical patent/KR102049069B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/22—Microcontrol or microprogram arrangements
    • G06F9/24—Loading of the microprogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control

Abstract

The present invention relates to an apparatus and a method for remotely controlling a peripheral device in a mobile communication terminal. The method according to the present invention comprises the steps of: acquiring a profile for a device to be controlled; configuring a control application for the device to be controlled based on the acquired profile; and controlling the device to be controlled by using the configured control application.

Description

이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법{METHODS AND APPARATUS FOR REMOTE CONTROLLING PERIPHERAL DEVICE IN MOBILE COMMUNICATION TERMINAL}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a device and a method for remotely controlling a peripheral device in a mobile communication terminal,

본 발명은 이동통신 단말기에 관한 것이며, 특히 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법에 관한 것이다. The present invention relates to a mobile communication terminal, and more particularly, to an apparatus and method for remotely controlling a peripheral device in a mobile communication terminal.

최근의 IT(information technology)업계에서는 컨버젼스(Convergence)가 이슈화 되면서 디바이스 간의 특성을 서로 유기적으로 엮어 새로운 소비 컨텐츠를 만들어 내는 것이 화두가 되고 있다. 또한 디바이스들은 이전의 단일 기능을 목적으로 하는 펌웨어 수준의 디바이스에서 OS(Operate System)를 내장하여 어플리케이션(Application)의 실행에 따라 다양한 목적으로 여러 서비스들을 사용할 수 있는 구조의 디바이스로 변화하고 있다. 이러한 변화는 스마트 폰의 활발한 보급을 기반으로 하여, 스마트 TV, 타블렛(Tablet) PC와 같은 디바이스까지 그 영역을 넓혀 가고 있다. In the recent information technology (IT) industry, convergence has become a hot topic, and it has become a hot topic to create new consumption contents by organically combining the characteristics of devices. In addition, devices are changing to devices with a built-in operating system (OS) in a firmware level device aiming at a single single function, and capable of using various services for various purposes according to the execution of an application. These changes are spreading to devices such as smart TVs and tablet PCs based on the active spread of smartphones.

이와 같이 OS와 통신 네트워크 인터페이스를 가지는 디바이스가 확대됨에 따라 다양한 통신 방법을 통하여 디바이스 간의 의사소통이 가능해져 디바이스 간의 물리적인 결합, 즉 물리적 컨버젼스가 아닌 소프트웨어적 컨버젼스를 통한 새로운 서비스가 가능해지고 있다. 이러한 컨버젼스 기능 중 대표적인 것으로 스마트 폰과 같은 모바일 디바이스로 주변의 장치를 제어하는 서비스들이 있다. 예를 들어 스마트 폰을 이용하여 TV원격 제어, 홈시어터 제어, 자동차 원격제어, PC 마우스 키보드 기능 등을 수행할 수 있다. 이는, 각 리모트 컨트롤러가 해당 디바이스에 특화된 물리적 입력장치를 가지고 있어, 사용자가 각 디바이스들을 제어하기 위해서는 복수개의 물리적 리모트 컨트롤러를 보유해야한다는 단점을 해결하기 위하여, 사용자가 항상 소지하고 있는 스마트 폰과 같은 모바일 디바이스로 그 역할을 옮김으로서, 사용자에게 여러 리모트 컨트롤러의 기능을 하나의 장치로 모아서 사용할 수 있는 환경을 마련해주고 있다. 여기서, 상기 모바일 디바이스는 핸드폰 및 PDA, 스마트 폰, 타블렛 PC, 노트북 등 OS 기능과 통신 네트워크 기능을 가지는 다양한 디바이스들을 총칭할 수 있다. As devices having an OS and a communication network interface are expanded in this way, devices can communicate with each other through various communication methods, so that new services can be realized through physical convergence between devices, i.e., software convergence rather than physical convergence. Among these convergence functions, there are services for controlling peripheral devices with a mobile device such as a smart phone. For example, a smart phone may be used to perform a TV remote control, a home theater control, a car remote control, a PC mouse keyboard function, and the like. In order to solve the disadvantage that each remote controller has a physical input device specific to the device and a user has to have a plurality of physical remote controllers in order to control each device, By shifting its role to a mobile device, the user is provided with an environment in which the functions of various remote controllers can be collected and used as a single device. Here, the mobile device may be collectively referred to as various devices having an OS function and a communication network function such as a mobile phone, a PDA, a smart phone, a tablet PC, and a notebook computer.

종래 모바일 디바이스를 이용하여 주변의 제어하고자 하는 대상이 되는 디바이스를 원격 제어하기 위해서는 사용자는 키 조작을 통해 외부 서버에 접속하여 제어 어플리케이션을 다운받아 모바일 디바이스에 설치해야 한다. 또한, 종래 모바일 디바이스를 이용하여 각기 다른 제어대상 디바이스를 제어하기 위해서는 모바일 디바이스에 각 제어대상 디바이스별 어플리케이션들이 존재해야 한다. 이에 따라, 마치 실제 생활에 있어서 리모트 컨트롤러를 어디다 두었는지 몰라 리모트 컨트롤러를 찾아 시간을 소비하는 것과 유사한 현상이 모바일 디바이스 상에서도 나타나게 되는 문제점이 있다. Conventionally, in order to remotely control a device to be controlled in the vicinity using a mobile device, a user must connect to an external server through a key operation and download the control application and install the control application on the mobile device. Further, in order to control different control target devices using a conventional mobile device, applications for each control target device must exist in the mobile device. Accordingly, there is a problem that a phenomenon similar to the case where the remote controller is located in the real life and the time consumed by searching for the remote controller is displayed on the mobile device.

또한, 종래 모바일 디바이스는 제어대상 디바이스 자체의 고유 기능(예를 들어, TV의 볼륨 및 채널 변경 기능)만을 제어 가능할 뿐, 최근 대두되고 있는 스마트 서비스 즉, 스마트 TV, 타블렛(Tablet) PC와 같이 OS가 내장되어 있는 디바이스에서 실행되는 서비스 어플리케이션에 대응하는 최적화된 제어 및 인터액션(Control & Interaction)에 대해서는 대응하지 못하고 있는 문제점이 있다. 다시 말해, 종래 모바일 디바이스는 일반적인 TV 리모트 컨트롤러처럼 제어 신호를 단방향으로 보내는 형태로 구조화 되어 있거나 간단한 구동 상태에 대한 정보만을 보여주는 형태이기 때문에, 종래 모바일 디바이스의 제어 기능은 스마트 TV와 같은 장치에서 실행되는 여러 서로 다른 어플리케이션의 최적화된 제어 방법을 제공할 수 없는 단점이 있다. 예를 들어, 스마트 TV에는 게임, 탐색기, 잡지, 메신져, 멀티미디어 어플리케이션과 같은 다양한 어플리케이션들이 존재하지만, 일반적인 TV 리모트 컨트롤러의 기능으로는 이와 같은 다양한 어플리케이션들을 쉽고 편리하게 제어할 수 없다. In addition, the conventional mobile device is capable of controlling only the inherent functions of the control target device itself (for example, the volume and channel changing function of the TV), and the smart service such as Smart TV, Tablet PC, There is a problem in that it can not cope with optimized control and interaction (Control & Interaction) corresponding to a service application executed in a device having a built-in function. In other words, since the conventional mobile device is structured in the form of sending a control signal unidirectionally like a general TV remote controller, or showing only information on a simple driving state, the control function of a conventional mobile device is implemented in a device such as a smart TV There is a disadvantage that it is not possible to provide an optimized control method for many different applications. For example, there are various applications such as games, explorers, magazines, messengers, and multimedia applications on smart TVs, but the functions of general TV remote controllers can not easily and conveniently control these various applications.

또한, 종래 모바일 디바이스를 이용하여 각 제어대상 디바이스별 다양한 어플리케이션들을 제어하기 위해서는 대응하는 각각의 제어 어플리케이션에 대한 프로그램의 설계, UI(User Interface) 작업 및 기능 구현까지 전 과정을 개발해야 하기 때문에 투자 비용 및 시간이 많이 필요한 문제점이 있다. Further, in order to control various applications for each control target device by using a conventional mobile device, it is necessary to develop the entire process from program design to UI (User Interface) work and function implementation for each corresponding control application, And time-consuming problems.

본 발명의 목적은 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법을 제공함에 있다. It is an object of the present invention to provide an apparatus and a method for remotely controlling a peripheral device in a mobile communication terminal.

본 발명의 다른 목적은 이동통신 단말기에서 주변의 제어 가능한 다양한 디바이스들에 대하여 프로파일을 기반으로 하나의 통합제어 애플리케이션을 구성하고, 상기 구성된 제어 어플리케이션을 이용하여 제어대상 디바이스를 원격 제어하기 위한 장치 및 방법을 제공함에 있다. It is another object of the present invention to provide an apparatus and method for remotely controlling a control target device by configuring one integrated control application based on a profile for various devices controllable in a mobile communication terminal and using the configured control application .

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 이동통신 단말기에서 주변 디바이스를 제어하기 위한 방법은, 제어대상 디바이스에 대한 프로파일을 획득하는 과정과, 상기 획득된 프로파일을 기반으로 상기 제어대상 디바이스에 대한 제어 어플리케이션을 구성하는 과정과, 상기 구성된 제어 어플리케이션을 이용하여 상기 제어대상 디바이스를 제어하는 과정을 포함하는 것을 특징으로 한다.According to a first aspect of the present invention, there is provided a method for controlling a peripheral device in a mobile communication terminal, the method comprising: obtaining a profile of a device to be controlled; Configuring a control application for the target device, and controlling the control target device using the configured control application.

본 발명의 제 2 견지에 따르면, 이동통신 단말기에서 주변 디바이스를 제어하기 위한 장치는, 제어대상 디바이스에 대한 프로파일을 획득하는 프로파일 매니저와, 상기 획득된 프로파일을 기반으로 상기 제어대상 디바이스에 대한 제어 어플리케이션을 구성하는 동적 구성 매니저와, 상기 구성된 제어 어플리케이션을 이용하여 상기 제어대상 디바이스를 제어하는 제어 인터액션 매니저를 포함하는 것을 특징으로 한다. According to a second aspect of the present invention, there is provided an apparatus for controlling a peripheral device in a mobile communication terminal, the apparatus comprising: a profile manager for obtaining a profile of a device to be controlled; And a control interaction manager for controlling the control target device using the control application configured as described above.

본 발명은 주변의 제어 가능한 다양한 디바이스들에 대하여 프로파일을 기반으로 하나의 통합제어 애플리케이션을 구성함으로써, 사용자가 매번 외부 서버에 접속하여 각기 다른 제어대상 디바이스를 제어하기 위한 제어 어플리케이션을 다운받아 단말에 설치해야 하는 번거로움을 줄일 수 있다. 또한, 하나의 화면에서 여러 제어 가능한 디바이스 및 어플리케이션(또는 서비스)의 목록을 관리하기 때문에, 단말 내에 설치된 다수의 제어 애플리케이션들 중에서 제어대상 디바이스에 적합한 제어 애플리케이션을 선택하여 실행할 필요없이, 하나의 통합제어 애플리케이션으로 다양한 디바이스 및 어플리케이션(또는 서비스)을 제어할 수 있는 이점이 있다. The present invention constitutes one integrated control application based on a profile for various controllable devices in the vicinity, so that a user can download a control application for controlling each different control target device by connecting to an external server each time, You can reduce the hassle of having to. In addition, since a list of a plurality of controllable devices and applications (or services) is managed on one screen, it is unnecessary to select and execute a control application suitable for the control target device from among a plurality of control applications installed in the terminal, An application has the advantage of being able to control various devices and applications (or services).

또한, 디바이스 검색 및 제어 프로토콜, 제어 기능에 대한 추가 개발 없이도 프로파일 획득 및 갱신을 통해 새로운 디바이스(서비스 또는 어플리케이션)에 대한 제어 어플리케이션을 간단히 제공할 수 있어 개발 리소스 측면에서 상당히 절감할 수 있는 이점이 있다. 또한, 하나의 제품군이라 할지라도 모델별로 특화된 다양한 기능을 제공하는 제품에 대하여, 모델별로 제어 애플리케이션을 일일이 개발하여 사용자에게 제공할 필요가 없으므로, 제어 애플리케이션 관리 및 배포 측면에서도 신속하고 편리하게 대응이 가능한 이점이 있다. In addition, there is an advantage that it is possible to provide a control application for a new device (service or application) simply by acquiring and updating a profile without further development of a device search and control protocol and a control function, . In addition, since there is no need to develop a control application for each model and provide it to a user for a product that provides various functions specialized for each model even in a single product group, it is possible to respond quickly and conveniently in terms of control application management and distribution There is an advantage.

도 1은 본 발명에 따른 이동통신 단말기와 제어대상이 되는 주변 디바이스를 도시한 도면,
도 2는 본 발명에 따른 이동통신 단말기의 장치 구성을 도시한 블럭도,
도 3은 본 발명의 실시 예에 따른 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 방법을 도시한 흐름도, 및
도 4는 본 발명의 실시 예에 따른 화면을 구성하는 오브젝트의 이미지와 배치를 도시한 예시도.1 is a diagram illustrating a mobile communication terminal and a peripheral device to be controlled according to an embodiment of the present invention;
FIG. 2 is a block diagram showing the configuration of a mobile communication terminal according to the present invention;
3 is a flowchart illustrating a method for remotely controlling a peripheral device in a mobile communication terminal according to an embodiment of the present invention, and FIG.
4 is an exemplary view showing an image and an arrangement of objects constituting a screen according to an embodiment of the present invention;

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, the operation principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

이하, 본 발명은 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 방안에 대해 설명하기로 한다. 이하 본 발명은 단말을 예로 들어 설명할 것이나, 주변 디바이스의 어플리케이션 제어가 가능한 모든 모바일 디바이스에 적용 가능함은 물론이다. Hereinafter, a method for remotely controlling a peripheral device in a mobile communication terminal will be described. Hereinafter, the present invention will be described by taking a terminal as an example, but it goes without saying that the present invention is applicable to all mobile devices capable of controlling applications of peripheral devices.

도 1은 본 발명에 따른 이동통신 단말기와 제어대상이 되는 주변 디바이스를 도시한 도면이다. 1 is a diagram illustrating a mobile communication terminal and peripheral devices to be controlled according to the present invention.

상기 도 1을 참조하면, 단말(100)은 입력, 표시, 통신 기능을 가지며, 제어대상이 되는 주변 디바이스들(110, 120, 130)과 통신하여 제어대상 디바이스들(110, 120, 130)의 프로파일을 획득하고, 획득된 프로파일을 이용하여 하나의 통합제어 어플리케이션을 구성하며, 상기 구성된 통합제어 어플리케이션을 이용하여 해당 제어대상 디바이스(110, 120, 130)의 어플리케이션(또는 서비스)을 원격 제어한다.Referring to FIG. 1, the terminal 100 has input, display, and communication functions, and communicates with peripheral devices 110, 120, and 130 to be controlled, Profile, configures one integrated control application using the obtained profile, and remotely controls the application (or service) of the corresponding control target device 110, 120, or 130 using the configured integrated control application.

또한, 도시하지는 않았지만, 프로파일 서버(rofile Server)는 각 제어대상 디바이스들의 프로파일을 관리하며, 상기 단말(100)의 요청에 따라 제어대상 디바이스(110, 120, 130)의 프로파일을 상기 단말(100)에게 제공한다. 여기서, 상기 프로파일 서버는, 외부에 존재하는 외부 서버이거나, 댁내 혹은 일정 영역에 존재하는 로컬 서버(Local Server)일 수 있다. 또는 다른 방법으로, 별도의 프로파일 서버 없이, 제어대상 디바이스(110, 120, 130)가 프로파일을 관리할 수 있으며, 이 경우 단말(100)과 제어대상 디바이스(110, 120, 130) 간 직접 연결을 통한 P2P 방식을 통해 제어대상 디바이스(110, 120, 130)의 프로파일을 단말(100)에게 제공할 수 있다. Although not shown, the rofile server manages the profile of each control target device and transmits a profile of the controlled devices 110, 120, and 130 to the terminal 100 according to a request of the terminal 100. [ Lt; / RTI > Here, the profile server may be an external server existing in the outside, or a local server existing in a house or a certain area. Alternatively, the control target device 110, 120, 130 can manage the profile without a separate profile server. In this case, a direct connection between the terminal 100 and the controlled device 110, 120, 120, and 130 to the terminal 100 through the P2P method through the control-target devices 110, 120, and 130, respectively.

도 2는 본 발명에 따른 이동통신 단말기의 장치 구성을 도시한 블럭도이다. 2 is a block diagram illustrating the configuration of a mobile communication terminal according to the present invention.

도시된 바와 같이, 이동통신 단말기는, 물리적 통신 인터페이스(200), 통신 프로토콜(202), 디바이스 연결 매니저(Device Link Manager)(204), 서비스 인에이블러(Service Enabler)(206), 프로파일 매니저(Profile Manager)(208), 제어 인터액션 매니저(Control Interaction Manager)(210), 동적 구성 매니저(Dynamic Configuration Manager)(212), 제어 어플리케이션(Control Application)(214)을 포함하여 구성된다. As shown, the mobile communication terminal includes a physical communication interface 200, a communication protocol 202, a device link manager 204, a service enabler 206, a profile manager A Profile Manager 208, a Control Interaction Manager 210, a Dynamic Configuration Manager 212, and a Control Application 214.

상기 도 2를 참조하면, 상기 물리적 통신 인터페이스(200)는 와이파이(WiFi), 블루투스(Bluetooth), 지그비(ZigBee) 등의 전송 수단을 통해 주변 제어대상 디바이스들과 통신한다. Referring to FIG. 2, the physical communication interface 200 communicates with peripheral control target devices through a transmission means such as WiFi, Bluetooth, or ZigBee.

상기 통신 프로토콜(202)은 UPnP(Universal Plug and Play), DLNA(Digital Living Network Alliance), TCP(Transmission Control Protocol), UDP(User Datagram Protocol), SNMP(Simple Network Management Protocol), RF4CE(Radio Frequency for Consumer Electronics) 등의 데이터 전송 규약을 정의한다. The communication protocol 202 may be a universal plug and play (UPnP), a Digital Living Network Alliance (DLNA), a Transmission Control Protocol (TCP), a User Datagram Protocol (UDP), a Simple Network Management Protocol (SNMP) Consumer Electronics).

상기 디바이스 연결 매니저(204)는 주변 제어대상 디바이스들을 검색하기 위한 역할을 수행한다. 특히, 상기 디바이스 연결 매니저(204)는, 상기 통신 프로토콜(202)와 물리적 통신 인터페이스(200)을 이용하여, 주변 제어대상 디바이스들에게 검색요청 메시지를 브로드캐스트하고, 주변 제어대상 디바이스들로부터 상기 검색요청 메시지에 대한 응답 메시지를 수신한다. 여기서, 상기 응답 메시지는 해당 제어대상 디바이스에 관한 정보를 포함하여 구성된다. 예를 들어, 상기 제어대상 디바이스에 관한 정보는 디바이스 명, 모델명, 디바이스 타입(제어가능 여부를 지시), 네트워크 주소, 서비스 및 애플리케이션에 대한 이름 및 종류 등 다양한 정보를 포함할 수 있다. 또한, 상기 디바이스 연결 매니저(204)는 주변 제어대상 디바이스별로 수신된 응답 메시지에서 디바이스 관련 정보를 추출하고, 상기 추출된 주변 제어대상 디바이스별 디바이스 관련 정보를 기반으로 화면에 제어대상 디바이스 목록을 표시한다. The device connection manager 204 performs a role of searching for devices to be controlled peripheral devices. Particularly, the device connection manager 204 broadcasts a search request message to peripheral control target devices using the communication protocol 202 and the physical communication interface 200, And receives a response message to the request message. Here, the response message includes information on the control target device. For example, the information on the control target device may include various information such as a device name, a model name, a device type (indicating whether or not control is possible), a network address, a name of a service and an application, and the like. In addition, the device connection manager 204 extracts the device-related information from the response message received for each peripheral control target device, and displays the control target device list on the screen based on the extracted device-related information for each of the peripheral control target devices .

상기 서비스 인에이블러(206)는 주변 제어대상 디바이스들에서 수행하는 서비스나 어플리케이션을 검색하기 위한 역할을 수행한다. 특히, 상기 서비스 인에이블러(206)는, 상기 통신 프로토콜(202)와 물리적 통신 인터페이스(200)을 이용하여, 주변 제어대상 디바이스들에게 검색요청 메시지를 브로드캐스트하고, 주변 제어대상 디바이스들로부터 상기 검색요청 메시지에 대한 응답 메시지를 수신한다. 여기서, 상기 응답 메시지는 해당 제어대상 디바이스로부터 현재 수행되고 있거나 변경되는 서비스나 애플리케이션에 관한 정보를 포함하여 구성된다.The service enabler 206 plays a role of searching for services or applications to be performed by the peripheral control target devices. In particular, the service enabler 206 broadcasts a search request message to peripheral control target devices using the communication protocol 202 and the physical communication interface 200, And receives a response message to the search request message. Here, the response message includes information on a service or an application currently being executed or changed from the control target device.

상기 프로파일 매니저(208)는 메모리(도시하지 않음)에 제어대상 디바이스의 프로파일이 존재하지 않는 경우, 프로파일 서버에게 해당 제어대상 디바이스의 프로파일을 전송해줄 것을 요청하고, 상기 프로파일 서버로부터 해당 프로파일을 수신하여 메모리(도시하지 않음)에 저장 및 관리한다. 여기서, 상기 프로파일은 화면 구성을 위한 UI 정보와 오브젝트(Object)에 등록될 제어명령 정보를 포함하여 구성되고 그 외에도 통신 프로토콜을 포함하여 구성되며, 상기 UI 정보는 화면을 구성하는 오브젝트의 이미지 정보와 배치(Layout) 정보를 포함하여 구성된다. 상기 오브젝트는, 예를 들어 도 4와 같이, 버튼, 터치 입력, 제스쳐 입력, 센서 입력, 파일 목록, 동영상, 음악 등 단말을 통해 사용자에게 제공 가능한 다양한 종류의 오브젝트가 될 수 있다.If the profile of the controlled device does not exist in the memory (not shown), the profile manager 208 requests the profile server to transmit the profile of the control target device, receives the profile from the profile server And stores and manages them in a memory (not shown). Here, the profile includes UI information for a screen configuration and control command information to be registered in an object, and further includes a communication protocol. The UI information includes image information of an object constituting a screen, And layout information. As shown in FIG. 4, the object may be various types of objects that can be provided to a user through a terminal such as a button, a touch input, a gesture input, a sensor input, a file list, a moving picture,

상기 제어 인터액션 매니저(210)는 구성된 제어 어플리케이션(214)을 이용하여 제어대상 디바이스를 원격 제어한다. 즉, 사용자로부터 화면에 배치된 오브젝트의 이미지가 입력되면, 상기 제어 인터액션 매니저(210)는 상기 오브젝트 이미지에 매핑된 제어명령 정보를 확인하고, 상기 확인된 제어명령 정보를 해당 프로파일에 정의되어 있는 통신 프로토콜(예를 들어 TCP, UDP, UPnP 등의 규격)에 맞게 가공하여 해당 제어대상 디바이스로 전송한다. 또한, 상기 제어 인터액션 매니저(210)는 해당 제어대상 디바이스로부터 정보가 수신되면, 상기 수신된 정보를 해석하고, 상기 해석된 정보와 등록된 제어명령 정보를 비교하여 적절한 동작을 수행한다. The control interaction manager 210 remotely controls the control target device using the configured control application 214. [ That is, when an image of an object placed on the screen is inputted by the user, the control interaction manager 210 confirms the control command information mapped to the object image, and transmits the checked control command information to the communication (Such as TCP, UDP, or UPnP) and transmits the processed data to the corresponding control target device. The control interaction manager 210 interprets the received information when the information is received from the control target device 210, compares the interpreted information with the registered control command information, and performs an appropriate operation.

상기 동적 구성 매니저(212)는 제어대상 디바이스의 프로파일을 분석하고, 분석 결과를 기반으로 상기 제어대상 디바이스에 대한 제어 어플리케이션(214)을 실시간으로 구성한다. 즉, 상기 동적 구성 매니저(212)는 제어대상 디바이스의 프로파일에서 화면 구성을 위한 UI 정보와 오브젝트에 등록될 제어명령 정보를 추출한 후, 상기 추출된 UI 정보를 이용하여 각 오브젝트의 이미지를 화면에 배치하고, 상기 추출된 제어명령 정보를 각 오브젝트에 연결하며, 화면에 배치된 각 오브젝트의 이미지와 오브젝트별 제어명령 정보를 매핑하여 등록한다.The dynamic configuration manager 212 analyzes the profile of the device to be controlled and configures the control application 214 for the device under control based on the analysis result in real time. That is, the dynamic configuration manager 212 extracts the UI information for the screen configuration and the control command information to be registered in the object from the profile of the control target device, and then arranges the image of each object on the screen using the extracted UI information Connects the extracted control command information to each object, and maps an image of each object disposed on the screen and control command information for each object to register the control command information.

도 3은 본 발명의 실시 예에 따른 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 방법을 도시한 흐름도이다. 3 is a flowchart illustrating a method for remotely controlling a peripheral device in a mobile communication terminal according to an embodiment of the present invention.

상기 도 3을 참조하면, 단말은 301단계에서 사용자의 키 조작에 따라 통신제어 어플리케이션 실행 메뉴가 선택되는지 여부를 검사한다. Referring to FIG. 3, in step 301, the terminal checks whether a communication control application execution menu is selected according to a user's key operation.

상기 301단계에서, 통신제어 어플리케이션 실행 메뉴가 선택됨이 판단될 시, 상기 단말은 303단계에서 제어하고자 하는 대상 디바이스들이 제어 가능 범위에 존재하는지 여부를 파악하기 위해 주변 제어대상 디바이스들에게 검색요청 메시지를 브로드캐스트한다. 여기서, 상기 단말은 기 결정된 다양한 물리적 통신 인터페이스(예를 들어, 와이파이, 블루투스, 지그비 등)와 디바이스별로 가질 수 있는 다양한 통신 프로토콜(예를 들어, UPnP, DLNA, TCP, UDP, SNMP, RF4CE 등)을 사용하여, 주변 제어대상 디바이스들에게 검색요청 메시지를 브로드캐스트한다. 여기서, 상기 주변 제어대상 디바이스는, 단말에 해당 디바이스에 대한 제어 기능이 존재하는 디바이스와, 신규구입하여 단말에 해당 디바이스에 대한 제어 기능이 존재하지 않는 디바이스를 모두 포함하는 의미이다. In step 301, when it is determined that the communication control application execution menu is selected, the terminal transmits a search request message to the peripheral control target devices to determine whether the target devices to be controlled exist in the controllable range in step 303 Broadcast. (E.g., UPnP, DLNA, TCP, UDP, SNMP, RF4CE, etc.) that can have a predetermined physical communication interface (e.g., Wi-Fi, Bluetooth, ZigBee, And broadcasts a search request message to peripheral control target devices. Here, the peripheral control target device includes both a device in which a control function for the device exists in the terminal and a device in which the terminal does not have a control function for the device.

이후, 상기 단말은 305단계에서 주변 제어대상 디바이스들로부터 상기 검색요청 메시지에 대한 응답 메시지가 수신되는지 여부를 검사한다. 여기서, 상기 응답 메시지는 해당 제어대상 디바이스에 관한 정보를 포함하여 구성된다. 예를 들어, 상기 제어대상 디바이스에 관한 정보는 디바이스 명, 모델명, 디바이스 타입(제어가능 여부를 지시), 네트워크 주소, 서비스 및 애플리케이션에 대한 이름 및 종류 등 다양한 정보를 포함할 수 있다. In step 305, the terminal checks whether a response message for the search request message is received from the peripheral control target devices. Here, the response message includes information on the control target device. For example, the information on the control target device may include various information such as a device name, a model name, a device type (indicating whether or not control is possible), a network address, a name of a service and an application, and the like.

상기 305단계에서, 주변 제어대상 디바이스들로부터 상기 검색요청 메시지에 대한 응답 메시지가 수신됨이 판단될 시, 상기 단말은 제어하고자 하는 대상 디바이스들이 제어 가능 범위에 존재함을 확인하고, 307단계에서 주변 제어대상 디바이스별로 수신된 응답 메시지에서 디바이스 관련 정보를 추출하고, 상기 추출된 주변 제어대상 디바이스별 디바이스 관련 정보를 기반으로 화면에 제어대상 디바이스 목록을 표시한다. If it is determined in step 305 that a response message to the search request message is received from the peripheral control target devices, the terminal confirms that the target devices to be controlled exist in the controllable range, Extracts the device-related information from the response message received for each control target device, and displays the control target device list on the screen based on the extracted device-related information for each of the peripheral control target devices.

이후, 상기 단말은 309단계에서 사용자의 키 조작에 따라 화면에 표시된 제어대상 디바이스 목록 중 제어하고자 하는 하나의 제어대상 디바이스가 선택되는지 여부를 검사한다. In step 309, the terminal checks whether one control target device to be controlled is selected from the control target device list displayed on the screen according to the user's key operation.

상기 309단계에서, 화면에 표시된 제어대상 디바이스 목록 중 제어하고자 하는 하나의 제어대상 디바이스가 선택됨이 판단될 시, 상기 단말은 311단계에서 상기 선택된 제어대상 디바이스의 디바이스 관련 정보를 이용하여, 메모리에 상기 선택된 제어대상 디바이스의 프로파일이 존재하는지 여부를 검사한다.If it is determined in step 309 that one control target device to be controlled is selected from among the control target device list displayed on the screen, the terminal uses the device related information of the selected control target device in step 311, It is checked whether or not the profile of the selected control target device exists.

상기 311단계에서, 메모리에 상기 선택된 제어대상 디바이스의 프로파일이 존재함이 판단될 시, 상기 단말은 315단계로 바로 진행한다. 도시하지는 않았지만, 만약, 메모리에 상기 선택된 제어대상 디바이스의 프로파일이 존재하는 경우, 상기 단말은 상기 메모리에 존재하는 프로파일의 버전정보를 프로파일 서버에게 전송하고, 상기 프로파일 서버에 새롭게 갱신된 프로파일이 존재한다면, 상기 프로파일 서버로부터 새롭게 갱신된 프로파일을 수신하여, 상기 메모리에 존재하는 프로파일을 갱신할 수 있다. If it is determined in step 311 that a profile of the selected control target device exists in the memory, the terminal directly goes to step 315. If there is a profile of the selected control target device in the memory, the terminal transmits the version information of the profile existing in the memory to the profile server, and if there is a newly updated profile in the profile server , Receive a newly updated profile from the profile server, and update the profile present in the memory.

반면, 상기 311단계에서, 메모리에 상기 선택된 제어대상 디바이스의 프로파일이 존재하지 않음이 판단될 시, 상기 단말은 313단계에서 상기 선택된 제어대상 디바이스의 디바이스 관련 정보를 이용하여, 예를 들어 디바이스 명을 이용하여 프로파일 서버에게 상기 선택된 제어대상 디바이스의 프로파일에 대한 전송을 요청하고, 상기 프로파일 서버로부터 상기 선택된 제어대상 디바이스의 프로파일을 수신한다. 이때, 상기 프로파일 서버는 상기 단말로부터 수신되는 디바이스 관련 정보를 이용하여 상기 선택된 제어대상 디바이스의 프로파일을 검색하고, 검색되는 프로파일을 상기 단말로 전송할 수 있다. On the other hand, if it is determined in step 311 that the profile of the selected control target device does not exist in the memory, the terminal uses the device related information of the selected control target device in step 313, Requests the profile server to transmit the profile of the selected control target device, and receives the profile of the selected control target device from the profile server. At this time, the profile server can search the profile of the selected control target device using the device-related information received from the terminal, and transmit the profile to be searched to the terminal.

이후, 상기 단말은 315단계에서 상기 메모리에 존재하는 또는 상기 프로파일 서버로부터 수신한 제어대상 디바이스의 프로파일을 분석하고, 분석 결과를 기반으로 상기 선택된 제어대상 디바이스에 대한 제어 어플리케이션을 실시간으로 구성하여 화면에 표시한다. 여기서, 상기 프로파일은 화면 구성을 위한 UI 정보와 오브젝트(Object)에 등록될 제어명령 정보를 포함하여 구성되고 그 외에도 통신 프로토콜을 포함하여 구성되며, 상기 UI 정보는 화면을 구성하는 오브젝트의 이미지 정보와 배치(Layout) 정보를 포함하여 구성된다. 상기 오브젝트는, 예를 들어 도 4와 같이, 버튼, 터치 입력, 제스쳐 입력, 센서 입력, 파일 목록, 동영상, 음악 등 단말을 통해 사용자에게 제공 가능한 다양한 종류의 오브젝트가 될 수 있다. 즉, 상기 단말은 상기 제어대상 디바이스의 프로파일에서 화면 구성을 위한 UI 정보와 오브젝트에 등록될 제어명령 정보를 추출한 후, 상기 추출된 UI 정보를 이용하여 각 오브젝트의 이미지를 화면에 배치하고, 상기 추출된 제어명령 정보를 각 오브젝트에 연결한다. 이후, 상기 단말은 화면에 배치된 각 오브젝트의 이미지와 오브젝트별 제어명령 정보를 매핑하여 등록한다.In step 315, the terminal analyzes the profile of the control target device existing in the memory or received from the profile server, and configures a control application for the selected control target device in real time based on the analysis result, Display. Here, the profile includes UI information for a screen configuration and control command information to be registered in an object, and further includes a communication protocol. The UI information includes image information of an object constituting a screen, And layout information. As shown in FIG. 4, the object may be various types of objects that can be provided to a user through a terminal such as a button, a touch input, a gesture input, a sensor input, a file list, a moving picture, That is, the terminal extracts the UI information for the screen configuration and the control command information to be registered in the object in the profile of the control target device, arranges the image of each object on the screen using the extracted UI information, And connects the control command information to each object. Then, the terminal maps the image of each object placed on the screen and control command information for each object and registers them.

이후, 상기 단말은 317단계에서 상기 구성된 제어 어플리케이션을 이용하여 사용자의 키 조작에 따라 상기 선택된 제어대상 디바이스를 원격 제어할 수 있다. 즉, 사용자로부터 화면에 배치된 오브젝트의 이미지가 입력되면, 상기 단말은 상기 오브젝트 이미지에 매핑된 제어명령 정보를 확인하고, 상기 확인된 제어명령 정보를 해당 프로파일에 정의되어 있는 통신 프로토콜(예를 들어 TCP, UDP, UPnP 등의 규격)에 맞게 가공하여 해당 제어대상 디바이스로 전송한다. 또한, 상기 단말은 해당 제어대상 디바이스로부터 정보가 수신되면, 상기 수신된 정보를 해석하고, 상기 해석된 정보와 등록된 제어명령 정보를 비교하여 적절한 동작을 수행한다. In step 317, the terminal may remotely control the selected control target device according to a user's key operation using the control application configured in the above-described manner. That is, when an image of an object disposed on the screen is inputted from a user, the terminal checks the control command information mapped to the object image, and transmits the checked control command information to a communication protocol defined in the profile TCP, UDP, and UPnP), and transmits the processed data to the corresponding control target device. Also, the terminal interprets the received information when the information is received from the control target device, compares the interpreted information with the registered control command information, and performs appropriate operations.

이후, 상기 단말은 본 발명에 따른 알고리즘을 종료한다. Thereafter, the terminal terminates the algorithm according to the present invention.

한편, 도시하지는 않았지만, 상기 단말은 제어대상 디바이스를 원격 제어하는 도중, 상기 제어대상 디바이스가 어떤 어플리케이션(또는 서비스)을 실행하게 되면, 해당 어플리케이션에 대하여 인터액션(Interaction)할 수 있는 최적의 제어 어플리케이션을 자동으로 구성할 수 있다. 상기 단말은 해당 제어대상 디바이스로부터 현재 수행되고 있거나 변경되는 서비스나 애플리케이션의 프로파일 또는 프로파일 식별자를 획득(메모리에서 검색 또는 프로파일 서버로 요청하여 수신)하고 이를 기반으로 사용자에게 최적의 제어 기능을 제공할 수 있는 제어 어플리케이션을 실시간으로 구성하도록 할 수 있다. 예를 들어, 제어대상 디바이스로서 PC가 검색되고 선택되면, 단말은 PC의 프로파일을 기반으로 PC의 마우스와 키보드 기능 관련 제어 어플리케이션을 구성하고, 이를 이용하여 PC를 원격 제어할 수 있다. 이때, PC가 미디어 플레이어(Media Player)나 파워포인트(Power Point) 등의 어플리케이션을 실행한다면, PC는 해당 어플리케이션의 프로파일 또는 프로파일 식별자를 단말로 전송하여, 상기 단말로 하여금 해당 프로파일을 획득(메모리에서 검색 또는 프로파일 서버로 요청하여 수신)하고 이를 기반으로 사용자에게 최적의 제어 기능을 제공할 수 있는 제어 어플리케이션을 실시간으로 구성하도록 할 수 있다. 즉, PC에서 미디어 플레이어가 실행되는 경우, 단말은 재생, 일시정지, 볼륨조절 등의 정보가 담긴 프로파일을 기반으로 미디어 플레이어에 대한 제어 기능을 사용자에게 제공하고, PC에서 파워포인트가 실행되는 경우, 단말은 프리젠테이션 모드 변경, 이전 페이지, 다음 페이지 등의 제어 기능을 제공할 수 있다. Meanwhile, although not shown, when the control target device executes an application (or a service) while the control target device is remotely controlled, the terminal transmits an optimal control application capable of interacting with the control target device It can be configured automatically. The terminal obtains a profile or a profile identifier of a service or an application currently being performed or changed from the control target device (retrieving it from the memory or requesting it from the profile server and receiving it), and providing an optimal control function to the user The control application can be configured in real time. For example, when a PC is searched and selected as a control target device, the terminal configures a control application related to the mouse and keyboard functions of the PC based on the profile of the PC, and can remotely control the PC using the control application. At this time, if the PC executes an application such as a media player or a power point, the PC transmits a profile or profile identifier of the application to the terminal, and the terminal acquires the profile Or receiving a request from a profile server and receiving it), and based on this, a control application that can provide an optimal control function to the user can be configured in real time. That is, when the media player is executed in the PC, the terminal provides a control function to the media player based on a profile containing information such as playback, pause, and volume control, and when the power point is executed in the PC, The terminal can provide control functions such as presentation mode change, previous page, next page, and the like.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

Claims (20)

전자 장치에 있어서,
명령어들을 저장하는 하나 이상의 메모리들;
통신 인터페이스; 및
상기 하나 이상의 메모리들 및 상기 통신 인터페이스와 기능적으로 결합된 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
외부 전자 장치로부터 상기 외부 전자 장치에서 구동 중인 어플리케이션의 정보를 수신하고,
상기 외부 전자 장치를 제어하기 위한 어플리케이션의 사용자 인터페이스(user interface) 상에서, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션에 대한 제어 정보에 기초하여, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션의 적어도 하나의 기능과 관련된 적어도 하나의 실행가능한(executable) 객체를 표시하며,
상기 적어도 하나의 실행가능한 객체 중 하나의 실행가능한 객체를 선택하기 위한 입력을 수신하는 것에 응답하여, 상기 외부 전자 장치와 상기 전자 장치 사이의 직접(direct) 통신 경로를 통해 상기 외부 전자 장치 내에서 상기 선택된 실행가능한 객체에 의해 지시되는 기능을 실행하기 위한 신호를 송신하기 위해 상기 저장된 명령어들을 실행하도록 설정되는(configured) 전자 장치.
In an electronic device,
One or more memories for storing instructions;
Communication interface; And
And one or more processors operably coupled to the one or more memories and the communication interface,
Receiving information of an application being driven by the external electronic device from an external electronic device,
On the user interface of the application for controlling the external electronic device, at least one function of the running application in the external electronic device, based on control information for the running application in the external electronic device, Indicating at least one executable object associated therewith,
Responsive to receiving an input for selecting an executable object of one of said at least one executable object, determining, within said external electronic device, via a direct communication path between said external electronic device and said electronic device, And configured to execute the stored instructions to transmit a signal to perform the function indicated by the selected executable object.
제 1 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 외부 전자 장치를 제어하기 위한 상기 어플리케이션의 다른 사용자 인터페이스 상에서, 하나 이상의 외부 전자 장치들을 나타내기 위한 하나 이상의 객체들을 표시하고,
상기 하나 이상의 객체(object)들 중 하나의(an) 객체에 대한 입력을 검출하는 것에 응답하여, 상기 하나의 객체에 의해 지시되는 상기 외부 전자 장치의 상기 구동 중인 어플리케이션의 정보를 상기 외부 전자 장치에 요청하기 위해 상기 저장된 명령어들을 실행하도록 설정되는 전자 장치.
2. The method of claim 1,
Displaying one or more objects for representing one or more external electronic devices on another user interface of the application for controlling the external electronic device,
In response to detecting an input to one of the one or more objects, sending information of the running application of the external electronic device indicated by the one object to the external electronic device And to execute the stored instructions to request.
제 2 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 전자 장치 주변에 위치된 다른 전자 장치를 검색하기 위해 메시지를 방송하고,
상기 하나 이상의 외부 전자 장치들로부터 상기 하나 이상의 외부 전자 장치들에 대한 정보를 포함하는 하나 이상의 메시지들을 수신하고,
상기 하나 이상의 메시지들을 수신하는 것에 응답하여, 상기 어플리케이션의 상기 다른 사용자 인터페이스 상에서 상기 하나 이상의 객체들을 표시하기 위해 상기 저장된 명령어들을 실행하도록 설정되는 전자 장치.
3. The system of claim 2,
Broadcast a message to retrieve another electronic device located around the electronic device,
Receiving one or more messages from the one or more external electronic devices, the one or more messages including information about the one or more external electronic devices,
And responsive to receiving the one or more messages, to execute the stored instructions to display the one or more objects on the another user interface of the application.
제 3 항에 있어서, 상기 하나 이상의 외부 전자 장치들에 대한 상기 정보는,
상기 하나 이상의 외부 전자 장치들의 장치 이름(device name)에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 모델명(model name)에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 네트워크 주소에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 서비스명(service name)에 대한 데이터, 또는 상기 하나 이상의 외부 전자 장치들의 서비스 유형에 대한 데이터 중 적어도 하나를 포함하는 전자 장치.
4. The method of claim 3, wherein the information for the one or more external electronic devices
Data on a device name of the one or more external electronic devices, data on a model name of the one or more external electronic devices, data on a network address of the one or more external electronic devices, Data on the service name of the electronic devices, or data on the service type of the one or more external electronic devices.
제 1 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하고,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하는 것에 응답하여, 서버에게 상기 제어 정보를 요청하기 위해 상기 저장된 명령어들을 실행하도록 설정되는 전자 장치.
2. The method of claim 1,
Identifying that the control information is not stored in the electronic device,
In response to identifying that the control information is not stored in the electronic device, to execute the stored instructions to request the server for the control information.
제 5 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 제어 정보가 상기 전자 장치에 저장됨을 식별하고,
상기 저장된 제어 정보에 기반하여, 상기 사용자 인터페이스 상에서 상기 적어도 하나의 실행가능한 객체를 표시하기 위해 상기 저장된 명령어들을 실행하도록 더 설정되는 전자 장치.
6. The method of claim 5,
Identifying that the control information is stored in the electronic device,
And to execute the stored instructions to display the at least one executable object on the user interface based on the stored control information.
제 1 항에 있어서, 상기 제어 정보는,
상기 사용자 인터페이스에 대한 사용자 인터페이스 데이터(user interface data)를 포함하고,
상기 사용자 인터페이스 데이터는,
상기 적어도 하나의 실행가능한 객체에 대한 이미지 정보 또는 상기 적어도 하나의 실행가능한 객체의 배치(arrangement)에 대한 레이아웃(layout) 정보 중 적어도 하나를 포함하는 전자 장치.
The apparatus according to claim 1,
And user interface data for the user interface,
Wherein the user interface data comprises:
At least one of image information for the at least one executable object or layout information for an arrangement of the at least one executable object.
제 7 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 사용자 인터페이스 상에서 상기 제어 정보에 기반하여 배치된 상기 적어도 하나의 실행가능한 객체를 표시하기 위해 상기 저장된 명령어들을 실행하도록 설정되는 전자 장치.
8. The method of claim 7,
And to execute the stored instructions to display the at least one executable object disposed on the user interface based on the control information.
전자 장치의 동작 방법에 있어서,
외부 전자 장치로부터 상기 외부 전자 장치에서 구동 중인 어플리케이션의 정보를 수신하는 동작과,
상기 외부 전자 장치를 제어하기 위한 어플리케이션의 사용자 인터페이스(user interface) 상에서, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션에 대한 제어 정보에 기초하여, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션의 적어도 하나의 기능과 관련된 적어도 하나의 실행가능한(executable) 객체를 표시하는 동작과,
상기 적어도 하나의 실행가능한 객체 중 하나의 실행가능한 객체를 선택하기 위한 입력을 수신하는 것에 응답하여, 상기 외부 전자 장치와 상기 전자 장치 사이의 직접(direct) 통신 경로를 통해 상기 외부 전자 장치 내에서 상기 선택된 실행가능한 객체에 의해 지시되는 기능을 실행하기 위한 신호를 송신하는 동작을 포함하는 방법.
A method of operating an electronic device,
Receiving information of an application running on the external electronic device from an external electronic device;
On the user interface of the application for controlling the external electronic device, at least one function of the running application in the external electronic device, based on control information for the running application in the external electronic device, Displaying an associated at least one executable object;
Responsive to receiving an input for selecting an executable object of one of said at least one executable object, determining, within said external electronic device, via a direct communication path between said external electronic device and said electronic device, And sending a signal to perform the function indicated by the selected executable object.
제 9 항에 있어서, 상기 어플리케이션의 정보를 수신하는 동작은,
상기 외부 전자 장치를 제어하기 위한 상기 어플리케이션의 다른 사용자 인터페이스 상에서, 하나 이상의 외부 전자 장치들을 나타내기 위한 하나 이상의 객체들을 표시하는 동작과,
상기 하나 이상의 객체(object)들 중 하나의(an) 객체에 대한 입력을 검출하는 것에 응답하여, 상기 하나의 객체에 의해 지시되는 상기 외부 전자 장치의 상기 구동 중인 어플리케이션의 정보를 상기 외부 전자 장치에 요청하는 동작을 더 포함하는 방법.
10. The method of claim 9, wherein the operation of receiving the application information comprises:
Displaying one or more objects to represent one or more external electronic devices on another user interface of the application for controlling the external electronic device;
In response to detecting an input to one of the one or more objects, sending information of the running application of the external electronic device indicated by the one object to the external electronic device Further comprising a requesting action.
제 10 항에 있어서, 상기 하나 이상의 객체들을 표시하는 동작은,
상기 전자 장치 주변에 위치된 다른 전자 장치를 검색하기 위해 메시지를 방송하는 동작과,
상기 하나 이상의 외부 전자 장치들로부터 상기 하나 이상의 외부 전자 장치들에 대한 정보를 포함하는 하나 이상의 메시지들을 수신하는 동작과,
상기 하나 이상의 메시지들을 수신하는 것에 응답하여, 상기 어플리케이션의 상기 다른 사용자 인터페이스 상에서 상기 하나 이상의 객체들을 표시하는 동작을 더 포함하는 방법.
11. The method of claim 10, wherein the act of displaying the one or more objects comprises:
Broadcasting a message to retrieve another electronic device located around the electronic device;
Receiving one or more messages from the one or more external electronic devices, the one or more messages including information about the one or more external electronic devices;
Responsive to receiving the one or more messages, displaying the one or more objects on the another user interface of the application.
제 11 항에 있어서, 상기 하나 이상의 외부 전자 장치들에 대한 상기 정보는,
상기 하나 이상의 외부 전자 장치들의 장치 이름(device name)에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 모델명(model name)에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 네트워크 주소에 대한 데이터, 상기 하나 이상의 외부 전자 장치들의 서비스명(service name)에 대한 데이터, 또는 상기 하나 이상의 외부 전자 장치들의 서비스 유형에 대한 데이터 중 적어도 하나를 포함하는 방법.
12. The method of claim 11, wherein the information for the one or more external electronic devices comprises:
Data on a device name of the one or more external electronic devices, data on a model name of the one or more external electronic devices, data on a network address of the one or more external electronic devices, Data on the service name of the electronic devices, or data on the service type of the one or more external electronic devices.
제 9 항에 있어서, 상기 적어도 하나의 실행가능한 객체를 표시하는 동작은,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하는 동작과,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하는 것에 응답하여, 서버에게 상기 제어 정보를 요청하는 동작을 더 포함하는 방법.
10. The method of claim 9, wherein the act of displaying the at least one executable object comprises:
Identifying that the control information is not stored in the electronic device;
Further comprising: requesting the server for the control information in response to identifying that the control information is not stored in the electronic device.
제 13 항에 있어서,
상기 제어 정보가 상기 전자 장치에 저장됨을 식별하는 동작과,
상기 저장된 제어 정보에 기반하여, 상기 사용자 인터페이스 상에서 상기 적어도 하나의 실행가능한 객체를 표시하기 위해 상기 저장된 명령어들을 실행하는 동작을 더 포함하는 방법.
14. The method of claim 13,
Identifying that the control information is stored in the electronic device;
And executing the stored instructions to display the at least one executable object on the user interface based on the stored control information.
제 9 항에 있어서, 상기 제어 정보는,
상기 사용자 인터페이스에 대한 사용자 인터페이스 데이터(user interface data)를 포함하고,
상기 사용자 인터페이스 데이터는,
상기 적어도 하나의 실행가능한 객체에 대한 이미지 정보 또는 상기 적어도 하나의 실행가능한 객체의 배치(arrangement)에 대한 레이아웃(layout) 정보 중 적어도 하나를 포함하는 방법.
10. The method according to claim 9,
And user interface data for the user interface,
Wherein the user interface data comprises:
Wherein the at least one executable object comprises at least one of image information for the at least one executable object or layout information for an arrangement of the at least one executable object.
제 15 항에 있어서, 상기 적어도 하나의 실행가능한 객체를 표시하는 동작은,
상기 사용자 인터페이스 상에서 상기 제어 정보에 기반하여 배치된 상기 적어도 하나의 실행가능한 객체를 표시하는 동작을 포함하는 방법.
16. The method of claim 15, wherein the act of displaying the at least one executable object comprises:
And displaying the at least one executable object disposed on the user interface based on the control information.
비일시적(non-transitory) 컴퓨터 판독가능 저장 매체(medium)에 있어서,
외부 전자 장치로부터 상기 외부 전자 장치에서 구동 중인 어플리케이션의 정보를 수신하는 동작과,
상기 외부 전자 장치를 제어하기 위한 어플리케이션의 사용자 인터페이스(user interface) 상에서, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션에 대한 제어 정보에 기초하여, 상기 외부 전자 장치에서 상기 구동 중인 어플리케이션의 적어도 하나의 기능과 관련된 적어도 하나의 실행가능한(executable) 객체를 표시하는 동작과,
상기 적어도 하나의 실행가능한 객체 중 하나의 실행가능한 객체를 선택하기 위한 입력을 수신하는 것에 응답하여, 상기 외부 전자 장치와 상기 전자 장치 사이의 직접(direct) 통신 경로를 통해 상기 외부 전자 장치 내에서 상기 선택된 실행가능한 객체에 의해 지시되는 기능을 실행하기 위한 신호를 송신하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하는 매체.
A non-transitory computer readable storage medium,
Receiving information of an application running on the external electronic device from an external electronic device;
On the user interface of the application for controlling the external electronic device, at least one function of the running application in the external electronic device, based on control information for the running application in the external electronic device, Displaying an associated at least one executable object;
Responsive to receiving an input for selecting an executable object of one of said at least one executable object, determining, within said external electronic device, via a direct communication path between said external electronic device and said electronic device, And sending a signal to perform the function indicated by the selected executable object.
제 17 항에 있어서, 상기 어플리케이션의 정보를 수신하는 동작은,
상기 외부 전자 장치를 제어하기 위한 상기 어플리케이션의 다른 사용자 인터페이스 상에서, 하나 이상의 외부 전자 장치들을 나타내기 위한 하나 이상의 객체들을 표시하는 동작과,
상기 하나 이상의 객체(object)들 중 하나의(an) 객체에 대한 입력을 검출하는 것에 응답하여, 상기 하나의 객체에 의해 지시되는 상기 외부 전자 장치의 상기 구동 중인 어플리케이션의 정보를 상기 외부 전자 장치에 요청하는 동작을 더 포함하는 매체.
18. The method of claim 17, wherein the act of receiving the application information comprises:
Displaying one or more objects to represent one or more external electronic devices on another user interface of the application for controlling the external electronic device;
In response to detecting an input to one of the one or more objects, sending information of the running application of the external electronic device indicated by the one object to the external electronic device Further comprising a requesting action.
제 17 항에 있어서, 상기 적어도 하나의 실행가능한 객체를 표시하는 동작은,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하는 동작과,
상기 제어 정보가 상기 전자 장치에 저장되지 않음을 식별하는 것에 응답하여, 서버에게 상기 제어 정보를 요청하는 동작을 더 포함하는 매체.
18. The method of claim 17, wherein the act of displaying the at least one executable object comprises:
Identifying that the control information is not stored in the electronic device;
And in response to identifying that the control information is not stored in the electronic device, requesting the server for the control information.
제 17 항에 있어서, 상기 제어 정보는,
상기 다른 사용자 인터페이스에 대한 사용자 인터페이스 데이터(user interface data)를 포함하고,
상기 사용자 인터페이스 데이터는,
상기 적어도 하나의 실행가능한 객체에 대한 이미지 정보 또는 상기 적어도 하나의 실행가능한 객체의 배치(arrangement)에 대한 레이아웃(layout) 정보 중 적어도 하나를 포함하는 매체. 18. The apparatus of claim 17,
And user interface data for the other user interface,
Wherein the user interface data comprises:
And at least one of image information for the at least one executable object or layout information for an arrangement of the at least one executable object.
KR1020180149395A 2018-11-28 2018-11-28 Methods and apparatus for remote controlling peripheral device in mobile communication terminal KR102049069B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149395A KR102049069B1 (en) 2018-11-28 2018-11-28 Methods and apparatus for remote controlling peripheral device in mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149395A KR102049069B1 (en) 2018-11-28 2018-11-28 Methods and apparatus for remote controlling peripheral device in mobile communication terminal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000370A Division KR101924974B1 (en) 2011-01-04 2011-01-04 Methods and apparatus for remote controlling peripheral device in mobile communication terminal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149802A Division KR102093397B1 (en) 2019-11-20 2019-11-20 Methods and apparatus for remote controlling peripheral device in mobile communication terminal

Publications (2)

Publication Number Publication Date
KR20180130470A true KR20180130470A (en) 2018-12-07
KR102049069B1 KR102049069B1 (en) 2020-01-08

Family

ID=64669485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149395A KR102049069B1 (en) 2018-11-28 2018-11-28 Methods and apparatus for remote controlling peripheral device in mobile communication terminal

Country Status (1)

Country Link
KR (1) KR102049069B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015856A (en) * 2000-08-23 2002-03-02 윤종용 Method and apparatus for controlling at least one controlled device in a controlling device
KR20050091992A (en) * 2003-01-30 2005-09-16 소니 가부시끼 가이샤 Control device and method, information processing device and method, recording medium, and program
US20060271695A1 (en) * 2005-05-16 2006-11-30 Electronics Line 3000 Ltd. System for remote secured operation, monitoring and control of security and other types of events
KR20070054901A (en) * 2005-11-24 2007-05-30 주식회사 유캠프 Apparatus and control method for home network system by united remote controller
KR20090039904A (en) * 2007-10-19 2009-04-23 경북대학교 산학협력단 Wireless network system and method of controlling device therein

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015856A (en) * 2000-08-23 2002-03-02 윤종용 Method and apparatus for controlling at least one controlled device in a controlling device
KR20050091992A (en) * 2003-01-30 2005-09-16 소니 가부시끼 가이샤 Control device and method, information processing device and method, recording medium, and program
US20060271695A1 (en) * 2005-05-16 2006-11-30 Electronics Line 3000 Ltd. System for remote secured operation, monitoring and control of security and other types of events
KR20070054901A (en) * 2005-11-24 2007-05-30 주식회사 유캠프 Apparatus and control method for home network system by united remote controller
KR20090039904A (en) * 2007-10-19 2009-04-23 경북대학교 산학협력단 Wireless network system and method of controlling device therein

Also Published As

Publication number Publication date
KR102049069B1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
KR101924974B1 (en) Methods and apparatus for remote controlling peripheral device in mobile communication terminal
RU2698247C2 (en) System and method for configuring remote control functionality of portable device
CN105634881B (en) Application scene recommendation method and device
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
TWI511537B (en) Smart tv system, smart tv, mobile device and input operation method thereof
KR101634745B1 (en) Electronic device, user input apparatus controlling electronic device and contol method thereof
US11372612B2 (en) Display device and method for controlling same
US11131973B2 (en) System and method of IOT device control using augmented reality
US20160006971A1 (en) Display apparatus and controlling method thereof
EP3387821B1 (en) Electronic device and method for controlling the same
WO2017187664A1 (en) Measurement information transmission device, management system, and information processing program
KR20120026702A (en) Method for providing user interface of using augmeted reality and mobile terminal using therof
KR102156802B1 (en) Methods and apparatus for remote controlling peripheral device in mobile communication terminal
KR102049069B1 (en) Methods and apparatus for remote controlling peripheral device in mobile communication terminal
KR102093397B1 (en) Methods and apparatus for remote controlling peripheral device in mobile communication terminal
CN114980358A (en) Automatic network distribution method, system, equipment and storage medium for batch intelligent equipment
KR20180000212A (en) Boiler controlling method based on application and terminal apparatus
CN117812204A (en) Display equipment and key function setting method
KR101012458B1 (en) Remote control device for providing personalized services using natural view user interface, and system having the said device, and method therefor, and the recording media storing the program performing the said method
CN117979084A (en) Display device and HDMI device updating method
KR20120025110A (en) Device and method for registrating zigbee device
KR20140147599A (en) Electronic device and method for controlling the same

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant