KR101540447B1 - Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module - Google Patents

Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module Download PDF

Info

Publication number
KR101540447B1
KR101540447B1 KR1020130132938A KR20130132938A KR101540447B1 KR 101540447 B1 KR101540447 B1 KR 101540447B1 KR 1020130132938 A KR1020130132938 A KR 1020130132938A KR 20130132938 A KR20130132938 A KR 20130132938A KR 101540447 B1 KR101540447 B1 KR 101540447B1
Authority
KR
South Korea
Prior art keywords
graphic
remote control
electronic device
component information
wireless communication
Prior art date
Application number
KR1020130132938A
Other languages
Korean (ko)
Other versions
KR20150051455A (en
Inventor
송관근
이명준
Original Assignee
주식회사 삼진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼진 filed Critical 주식회사 삼진
Priority to KR1020130132938A priority Critical patent/KR101540447B1/en
Publication of KR20150051455A publication Critical patent/KR20150051455A/en
Application granted granted Critical
Publication of KR101540447B1 publication Critical patent/KR101540447B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Abstract

본 발명은 그래픽 리모트 컨트롤 장치, 시스템 및 방법에 관한 것으로, 본 발명에 따른 그래픽 리모트 컨트롤 장치는, 전자기기와 저전력 무선 통신 가능한 저전력 무선 통신 모듈과 전자기기와 와이파이 통신 가능한 와이파이 모듈을 구비한 통신 인터페이스부와, 전자기기와 무선으로 통신할 수 있는 통신 인터페이스부와, 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들을 저장하기 위한 저장부와, 그래픽 컴포넌트 정보들을 표시하고, 그래픽 컴포넌트 정보들을 이용하여 제어 명령이 입력되는 UI부와, 와이파이 모듈을 통해 그래픽 컴포넌트 정보들과 관련 제어 코드들이 수신되면 저장부에 저장하고, 사용자가 UI부에 표시된 그래픽 컴포넌트 정보들을 이용하여 전자기기에 대한 제어 명령이 입력되면 저전력 무선 통신 모듈을 통해 전자기기로 해당 제어 코드를 송신하는 제어부를 포함함으로써, 복수의 전자기기를 각각 제어할 수 있는 그래픽 유저 인터페이스를 구현할 수 있다.The present invention relates to a graphic remote control device, a system and a method, and a graphic remote control device according to the present invention includes a low power wireless communication module capable of low-power wireless communication with an electronic device, a communication interface having an electronic device and a Wi- A communication interface unit capable of wirelessly communicating with the electronic device, a storage unit for storing graphic component information and related control codes capable of remotely controlling the electronic equipment, A UI unit to which a control command is input by using the component information; and a control unit that receives the graphic component information and the related control codes through the WiFi module, stores the received control code in a storage unit, When a control command is input, a low power wireless By a control unit for transmitting the control codes to the electronic apparatus through the new module, it is possible to implement a graphical user interface, each of which is capable of controlling a plurality of electronic devices.

Description

복수의 무선 통신 모듈을 구비한 그래픽 리모트 컨트롤 장치, 시스템 및 방법{Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module}Technical Field [0001] The present invention relates to a graphic remote control device having a plurality of wireless communication modules, a system and a method thereof,

본 발명은 그래픽 리모트 컨트롤 장치, 시스템 및 방법에 관한 것으로, 복수의 전자기기를 각각 제어할 수 있는 그래픽 유저 인터페이스를 구현할 수 있는 그래픽 리모트 컨트롤 장치, 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a graphic remote control device, a system and a method, and more particularly, to a graphic remote control device, system, and method capable of implementing a graphic user interface capable of controlling a plurality of electronic devices, respectively.

리모트 컨트롤 장치는 원격에서 해당 전자기기를 제어하기 위한 것으로, 전자기기들은 각자 고유의 리모트 컨트롤 장치를 구비하고 있다. 이러한 리모트 컨트롤 장치는 적외선을 이용하거나 특정 주파수를 이용하여 제어 명령을 해당 전자기기에 송신한다. The remote control device is for remotely controlling the corresponding electronic device, and each of the electronic devices has its own remote control device. Such a remote control device transmits a control command to the corresponding electronic device by using infrared rays or using a specific frequency.

그러나 리모트 컨트롤 장치로 제어되는 전자기기들이 증가함에 따라 이들의 관리와 사용에 사용자의 부담이 증가하고 있다. 예를 들면, 전자기기들의 기능이 상이한 경우, 리모트 컨트롤 장치의 유저 인터페이스의 상이하기 때문에 직관적이고 효과적으로 제어하기 힘들다. However, as the number of electronic devices controlled by a remote control device increases, the burden on the users for the management and use of the devices increases. For example, when the function of the electronic apparatuses is different, it is difficult to intuitively and effectively control because the user interface of the remote control apparatus is different.

통합 리모트 컨트롤 장치는 상술한 불편을 해소하기 위해, 복수의 전자기기를 제어가능하게 하기 위해 구현된 장치이다. 그러나 이러한 통합 리모트 컨트롤 장치는 복수의 전자기기에 공통되는 필수 기능만을 제어하거나 또한 학습 기능이 포함되어 있어서 소스가 되는 적외선에 실린 주파수를 저장해두었다가 이를 사용하여 제어한다.An integrated remote control device is a device implemented to enable control of a plurality of electronic devices in order to solve the aforementioned inconvenience. However, such an integrated remote control device controls only necessary functions common to a plurality of electronic devices, or includes a learning function, and stores a frequency in a source infrared ray, and controls the use of the frequency.

그러나 이러한 통합 리모트 컨트롤 장치는 해당 전자기기의 특유의 기능을 사용하지 못하거나 또는 학습 기능을 이용하여 사용자가 해당 기능을 모두 입력하여야하는 불편이 있었다.However, such an integrated remote control device has inconvenience that the user can not use the specific function of the corresponding electronic device or input the corresponding function by using the learning function.

상술한 문제점을 해결하기 위해, 본 발명은 복수의 전자기기를 각각 제어할 수 있는 그래픽 유저 인터페이스를 구현할 수 있는 그래픽 리모트 컨트롤 장치, 시스템 및 방법을 제공하는 것을 목적으로 한다.In order to solve the above-described problems, it is an object of the present invention to provide a graphic remote control device, system, and method capable of implementing a graphic user interface capable of controlling a plurality of electronic devices, respectively.

상술한 목적을 달성하기 위해, 본 발명에 일실시예에 따른 전자기기와 통신할 수 있는 그래픽 리모트 컨트롤 장치는, 상기 전자기기와 저전력 무선 통신 가능한 저전력 무선 통신 모듈과 상기 전자기기와 와이파이 통신 가능한 와이파이 모듈을 구비한 통신 인터페이스부와, 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들을 저장하기 위한 저장부와, 그래픽 컴포넌트 정보들을 표시하고, 그래픽 컴포넌트 정보들을 이용하여 제어 명령이 입력되는 UI부와, 상기 와이파이 모듈을 통해 상기 전자기기로부터 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들이 수신되면 상기 저장부에 저장하고, 사용자가 상기 UI부에 표시된 그래픽 컴포넌트 정보들을 이용하여 상기 전자기기에 대한 제어 명령이 입력되면 상기 저전력 무선 통신 모듈을 통해 상기 전자기기로 해당 제어 코드를 송신하는 제어부를 제공한다.In order to achieve the above object, a graphic remote control device capable of communicating with an electronic device according to an embodiment of the present invention includes a low-power wireless communication module capable of low-power wireless communication with the electronic device, a Wi- A storage unit for storing graphic component information and related control codes capable of remotely controlling the electronic equipment; a display unit for displaying graphic component information, And a UI unit for receiving graphic component information and control codes capable of remotely controlling the electronic device from the electronic device via the WiFi module, Using the displayed graphic component information, And transmits the control code to the electronic device through the low power wireless communication module when the control command for the low power wireless communication module is inputted.

상기 제어부는 복수의 전자기기 중 어느 하나와의 무선 통신 연결을 위해 상기 저전력 무선 통신 모듈을 구동시켜 저전력 무선 통신 가능한 전자기기를 조회할 수 있다.The control unit may search for an electronic device capable of low-power wireless communication by driving the low-power wireless communication module for wireless communication connection with any one of the plurality of electronic devices.

상기 제어부는 복수의 전자기기 중 어느 하나와 저전력 무선 통신이 연결된 상태에서 해당 전자기기의 그래픽 컴포넌트 정보들의 다운로드의 요청이 필요한 경우 상기 와이파이 모듈을 액티브 모드로 웨이크업할 수 있다.The controller may wake up the Wi-Fi module to an active mode when a request for downloading graphic component information of the electronic device is required in a state that low-power wireless communication is connected to one of the plurality of electronic devices.

상기 제어부는 상기 UI부에 그래픽 컴포넌트 정보를 표시하고자 하는 경우 그래픽 엔진이 GPU(Graphi Processing Unit)를 직접 액세스할 수 있도록 하여 상기 GPU로 직접 그래픽 컴포넌트 정보들을 제공하는 플랫폼을 포함할 수 있다.The control unit may include a platform for providing graphical component information directly to the GPU by enabling a graphic engine to directly access a GPU (Graphic Processing Unit) when displaying graphic component information in the UI unit.

상기 플랫폼은 효율적인 사용자 입력과 디스플레이 처리를 위해 이벤트별 우선 순위 적용이 가능한 멀티스레드 방식을 포함할 수 있다.The platform may include a multi-threaded scheme that allows prioritization by event for efficient user input and display processing.

본 발명의 다른 실시예에 따른 그래픽 리모트 컨트롤 시스템은, 상술한 그래픽 리모트 컨트롤 장치와, 상기 그래픽 리모트 컨트롤 장치로부터 그래픽 컴포넌트 정보들과 관련 제어 코드들의 다운로드가 요청되면 상기 그래픽 리모트 컨트롤 장치로 그래픽 컴포넌트 정보들과 관련 제어 코드들을 송신하고, 상기 그래픽 리모트 컨트롤 장치로부터 제어 코드가 입력되면 해당 기능을 수행하는 전자기기를 제공함으로써, 상술한 목적을 달성할 수 있다.The graphic remote control system according to another exemplary embodiment of the present invention may include the graphic remote control device and the graphical remote control device when the graphical component information and the related control codes are requested to be downloaded from the graphic remote control device, And the control code is inputted from the graphic remote control device, the above-mentioned object can be achieved by providing the electronic device performing the function.

상기 전자기기는 상기 그래픽 리모트 컨트롤 장치와 저전력 무선 통신이 연결된 상태에서 상기 그래픽 리모트 컨트롤 장치로부터 그래픽 컴포넌트 정보들의 다운로드가 요청되면 상기 전자기기의 와이파이 모듈을 액티브 모드로 웨이크업할 수 있다.The electronic device can wake up the WiFi module of the electronic device to the active mode when downloading of graphic component information from the graphic remote control device is requested while the graphic remote control device is connected to the low power wireless communication.

본 발명의 또 다른 실시예에 따른, 저전력 무선 통신 가능한 장치 저전력 무선 통신 모듈과 와이파이 통신 가능한 장치 와이파이 모듈을 구비한 그래픽 리모트 컨트롤 장치와 저전력 무선 통신 가능한 기기 저전력 무선 통신 모듈과 와이파이 통신 가능한 기기 와이파이 모듈을 구비한 전자기기와의 그래픽 리모트 컨트롤 방법은, 상기 그래픽 리모트 컨트롤 장치에서, 장치 저전력 무선 통신 모듈을 통해 상기 전자기기로 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들의 다운로드를 요청하는 단계와, 상기 전자기기에서, 상기 기기 와이파이 모듈을 통해 상기 그래픽 리모트 컨트롤 장치로 그래픽 컴포넌트 정보들과 관련 제어 코드들을 송신하는 단계와, 상기 그래픽 리모트 컨트롤 장치에서 상기 장치 와이파이 모듈을 통해 상기 전자기기로부터 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들을 수신하는 단계와, 상기 그래픽 리모트 컨트롤 장치에서, 상기 장치 와이파이 모듈을 통해 수신한 그래픽 컴포넌트 정보들을 표시하는 단계와, 상기 그래픽 리모트 컨트롤 장치에서, 사용자가 표시된 그래픽 컴포넌트 정보들을 이용하여 상기 전자기기에 대한 제어 명령을 입력하면 상기 장치 저전력 무선 통신 모듈을 통해 상기 전자기기로 해당 제어 코드를 송신하는 단계와, 상기 전자기기에서, 상기 기기 저전력 무선 통신 모듈을 통해 상기 그래픽 리모트 컨트롤 장치로부터 제어 코드가 입력되면 해당 기능을 수행하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.A low power wireless communication module and a Wi-Fi communication module, a graphic remote control module having a Wi-Fi module, and a low power wireless communication module, a low power wireless communication module, and a Wi-Fi communication module, The graphic remote control method comprising the steps of: displaying, in the graphic remote control device, graphical component information capable of remotely controlling the electronic device with the electronic device via the device low power wireless communication module and related control codes Downloading graphic component information and associated control codes from the graphic remote control device to the graphic remote control device through the device WiFi module in the electronic device; Receiving graphic component information and associated control codes capable of remotely controlling the electronic device from the electronic device through a module, receiving graphic component information received through the device WiFi module in the graphic remote control device And transmitting the control code to the electronic device through the device low power wireless communication module when the control command for the electronic device is input using the graphic component information displayed by the user in the graphic remote control device And a step of performing a corresponding function when the control code is input from the graphic remote control device through the device low power wireless communication module in the electronic device.

상술한 구성들에 의해, 본 발명은 복수의 전자기기를 각각 제어할 수 있는 그래픽 유저 인터페이스를 구현할 수 있다.According to the above-described configurations, the present invention can implement a graphic user interface capable of controlling a plurality of electronic devices, respectively.

또한, 본 발명은 UI부에 적합한 매핑을 자동으로 수행하게 함으로써, 사용자에게 편리성을 제공할 수 있다.In addition, the present invention automatically provides a mapping suitable for the UI unit, thereby providing convenience to the user.

또한, 본 발명은 그래픽 리모트 컨트롤 장치에 최적의 플랫폼을 제공함으로써 가격을 다운시키면서도 그래픽 성능을 향상시킬 수 있다.In addition, the present invention provides an optimal platform for the graphic remote control device, thereby improving the graphic performance while reducing the price.

또한, 본 발명은 블루투스 모듈과 와이파이 모듈을 구비함으로써, 저전력 및 최상의 통신 환경을 제공할 수 있다.Further, since the present invention includes a Bluetooth module and a Wi-Fi module, low power and a best communication environment can be provided.

도 1은 본 발명의 일 실시예에 따른 그래픽 리모트 컨트롤 시스템의 개념을 도시하는 도면이다.
도 2는 도 1에 도시된 그래픽 리모트 컨트롤 시스템의 블록도를 도시하는 도면이다.
도 3은 도 2에 도시된 장치 제어부의 플랫폼을 도시하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 그래픽 리모트 컨트롤 방법의 등록 절차의 흐름을 도시한 도면이다.
도 5는 도 4의 등록을 위한 초기 화면의 일례로 표시한 UI 화면이다.
도 6은 도 4의 등록에 따라 일례로 표시한 UI 화면이다.
도 7은 도 2에 도시된 통신 인터페이스부를 구체적으로 설명하는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 그래픽 리모트 컨트롤 방법의 통신 관련 흐름을 도시한 도면이다.1 is a diagram illustrating a concept of a graphic remote control system according to an embodiment of the present invention.
FIG. 2 is a block diagram of the graphic remote control system shown in FIG. 1. Referring to FIG.
Fig. 3 is a view showing a platform of the device control unit shown in Fig. 2. Fig.
4 is a flowchart illustrating a registration procedure of a graphic remote control method according to another embodiment of the present invention.
5 is a UI screen displayed as an example of an initial screen for registration in Fig.
FIG. 6 is a UI screen displayed by way of example according to the registration of FIG.
FIG. 7 is a diagram for explaining the communication interface unit shown in FIG. 2 in detail.
FIG. 8 is a flowchart illustrating a communication-related flow of a graphic remote control method according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 그래픽 리모트 컨트롤 장치, 시스템 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.Hereinafter, preferred embodiments of a graphic remote control device, system and method according to the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, it is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the technical scope of the present invention. Will be.

도 1은 본 발명의 일 실시예에 따른 그래픽 리모트 컨트롤 시스템의 개념을 도시하는 도면이다.1 is a diagram illustrating a concept of a graphic remote control system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 그래픽 리모트 컨트롤 시스템은 스마트 TV(110), 에어컨, 세탁기(130) 등과 이를 원격에서 제어하는 그래픽 리모트 컨트롤 장치(140)를 포함한다. 그래픽 리모트 컨트롤 장치(140)에는 스마트 TV(110), 에어컨(120), 세탁기(130) 등의 해당 전자기기를 원격에서 제어할 수 있는 유저 인터페이스(UI) 화면(142)이 구비된다.As shown in FIG. 1, the graphic remote control system includes a smart TV 110, an air conditioner, a washing machine 130, and a graphic remote control device 140 for remotely controlling the same. The graphic remote control device 140 is provided with a user interface (UI) screen 142 for remotely controlling corresponding electronic devices such as the smart TV 110, the air conditioner 120, and the washing machine 130.

그래픽 리모트 컨트롤 장치(140)는 유저 인터페이스 화면(142)에서 사용자에 의해 스마트 TV(110)가 선택되면 스마트 TV(110)를 제어할 수 있는 그래픽 컴포넌트 아이콘들을 유저 인터페이스 화면(142)에 표시하고, 에어컨(120)이 선택되면 에어컨(120)을 제어할 수 있는 그래픽 컴포넌트 아이콘들을 유저 인터페이스 화면(142)에 표시한다. 이 그래픽 리모트 컨트롤 장치(140)가 각 전자기기를 제어하기 위해 각 전자기기의 제어 코드들을 구비하여야 한다.The graphic remote control device 140 displays graphical component icons that can control the smart TV 110 on the user interface screen 142 when the smart TV 110 is selected by the user on the user interface screen 142, When the air conditioner 120 is selected, graphic component icons that can control the air conditioner 120 are displayed on the user interface screen 142. The graphic remote control device 140 must have control codes of each electronic device to control each electronic device.

또한, 그래픽 리모트 컨트롤 장치(140)는 특정 전자기기와 접속된 후에는 특정 전자기기의 동작에 따라 적합한 그래픽 화면을 자동으로 표시할 수 있다. 예를 들면, 스마트 TV(110) 접속의 경우 스마트 TV(110)의 여러 동작 특성에 맞는 그래픽 화면이 표시될 수 있다. 즉, 스마트 TV(110)에서 TV 방송을 시청하고 있는 경우에는 그래픽 리모트 컨트롤 장치(140)에는 채널, 볼륨 등 TV 방송 시청과 관련된 유저 인터페이스 화면(142)에 표시되고, 웹 서핑을 하고 있는 경우에는 인터넷 검색을 위한 포인팅 패드가 유저 인터페이스 화면(142)에 표시되고, 게임을 하고 있는 경우에는 각 게임과 관련된 적절한 유저 인터페이스 화면(142)이 표시될 수 있다.In addition, the graphic remote control device 140 can automatically display a suitable graphic screen according to the operation of the specific electronic device after being connected to the specific electronic device. For example, in the case of the connection to the smart TV 110, a graphic screen corresponding to various operating characteristics of the smart TV 110 may be displayed. That is, when watching the TV broadcast on the smart TV 110, the graphic remote control device 140 is displayed on the user interface screen 142 related to TV broadcast viewing such as channel and volume, and in the case of surfing the web A pointing pad for searching the Internet can be displayed on the user interface screen 142. When playing a game, a suitable user interface screen 142 related to each game can be displayed.

도 2는 도 1에 도시된 그래픽 리모트 컨트롤 시스템의 블록도를 도시하는 도면이다.FIG. 2 is a block diagram of the graphic remote control system shown in FIG. 1. Referring to FIG.

도 2에 도시된 바와 같이, 그래픽 리모트 컨트롤 시스템은 전자기기의 기기 통신 인터페이스부(212)와 그래픽 리모트 컨트롤 장치(140)의 장치 통신 인터페이스부(222)에 의해 상호 간에 통신이 연결된다.2, the graphic remote control system is connected to each other by a device communication interface unit 212 of an electronic device and a device communication interface unit 222 of a graphic remote control device 140. [

전자기기는 그래픽 리모트 컨트롤 장치(140)가 제어하고자 하는 제어 대상 기기로, 기기 저장부(214), 기기 통신 인터페이스부(212), 기기 제어부(216)를 포함할 수 있다.The electronic device is a control target device to be controlled by the graphic remote control device 140 and may include a device storage unit 214, a device communication interface unit 212, and a device control unit 216.

기기 저장부(214)에는 해당 전자기기의 그래픽 컴포넌트(graphic component) 정보들과 제어 코드들이 저장되고, 기기 통신 인터페이스부(212)는 기기 저장부(214)에 저장된 그래픽 컴포넌트 정보들과 제어 코드들을 그래픽 리모트 컨트롤 장치(140)로 전송하기 위해 장치 통신 인터페이스부(222)와 통신한다. The device communication interface unit 212 stores graphic component information and control codes stored in the device storage unit 214. The graphic component information and control codes of the electronic device are stored in the device storage unit 214, And communicates with the device communication interface 222 for transmission to the graphic remote control device 140.

기기 제어부(216)는 기기 통신 인터페이스부(212)를 통해 기기 저장부(214)에 저장된 해당 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들을 그래픽 리모트 컨트롤 장치(140)로 송신하고, 그래픽 리모트 컨트롤 장치(140)로부터 기기 통신 인터페이스부(212)를 통해 제어 코드가 수신되면 제어 코드에 할당된 기능을 수행하도록 제어한다. 여기서 그래픽 컴포넌트 정보는 비트맵 그래픽 데이터 또는 벡터 그래픽 데이터 등을 모두 포함한다.The device control unit 216 transmits the graphic component information and the control codes of the corresponding electronic device stored in the device storage unit 214 to the graphic remote control device 140 through the device communication interface unit 212, When the control code is received from the control unit 140 through the device communication interface unit 212, controls to perform the function assigned to the control code. Here, the graphic component information includes bitmap graphic data, vector graphic data, and the like.

그래픽 리모트 컨트롤 장치(140)는 제어 대상 기기인 전자기기를 원격에서 제어하기 위해, 장치 통신 인터페이스부(222), 장치 저장부(224), 유저 인터페이스(UI)부(226) 및 장치 제어부(228)를 포함한다.The graphic remote control apparatus 140 includes a device communication interface unit 222, a device storage unit 224, a user interface (UI) unit 226, and a device control unit 228 ).

장치 통신 인터페이스부(222)는 기기 통신 인터페이스부(212)와 통신하고, 장치 저장부(224)에는 장치 통신 인터페이스부(222)를 통해 수신된 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들이 저장된다.The device communication interface unit 222 communicates with the device communication interface unit 212 and the graphic component information and control codes of the electronic device received through the device communication interface unit 222 are stored in the device storage unit 224 .

UI부(226)에는 해당 전자기기의 그래픽 컴포넌트 정보들이 표시되고, 장치 제어부(228)는 장치 통신 인터페이스부(222)를 통해 해당 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들을 수신하면 장치 저장부(224)에 저장하고, UI부(226)에 해당 전자기기의 그래픽 컴포넌트 정보들을 표시하고, 그래픽 컴포넌트가 클릭되면 해당 제어 코드를 장치 통신 인터페이스부(222)를 통해 송신한다.The UI unit 226 displays graphic component information of the corresponding electronic device and the device control unit 228 receives graphic component information and control codes of the electronic device through the device communication interface unit 222, 224, displays the graphic component information of the electronic device in the UI unit 226, and transmits the control code through the device communication interface unit 222 when the graphic component is clicked.

도 3은 도 2에 도시된 장치 제어부의 플랫폼을 도시하는 도면이다.Fig. 3 is a view showing a platform of the device control unit shown in Fig. 2. Fig.

장치 제어부(228)에 구현된 플랫폼은 본 발명에 따른 그래픽 리모트 컨트롤 장치(140)에 적합한 전용 플랫폼으로, 크게 애플리케이션 레이어(310)와 코어 레이어(320)로 구분된다.The platform implemented in the device control unit 228 is a dedicated platform suitable for the graphic remote control apparatus 140 according to the present invention and is largely divided into an application layer 310 and a core layer 320.

애플리케이션 레이어(310)는 일반적인 스마트 디바이스의 플랫폼과는 다르게 전자기기 또는 애플리케이션(예를 들면, 웹브라우저, 게임 등)에서 송신되어 저장된 그래픽 컴포넌트 정보들만을 그래픽 디스크립션 인터페이스(312)를 통해 입력받아 해석하는 일을 주로 수행한다.The application layer 310 receives and interprets only graphics component information transmitted and stored in an electronic device or an application (for example, a web browser, a game, etc.) through the graphic description interface 312, unlike a general smart device platform Work mainly.

코어 레이어(320)는 멀티스레드/이벤트 핸들러 파트(322), 그래픽 엔진 파트(324) 및 하드웨어 액세스 레이어 API 파트(326)를 포함한다.Core layer 320 includes a multi-threaded / event handler part 322, a graphics engine part 324, and a hardware access layer API part 326.

멀티스레드/이벤트 핸들러 파트(322)는 그래픽 컴포넌트 정보에 대해 병렬 처리를 가능하게 하며, 이벤트가 발생하면 처리하는 구성이다. 멀티스레드/이벤트 핸들러 파트(322)는 특히 효율적인 사용자 입력과 디스플레이 처리를 위해 이벤트별 우선 순위 적용이 가능한 멀티스레드 방식을 포함한다.The multi-thread / event handler part 322 enables parallel processing of the graphic component information, and processes when an event occurs. The multithreaded / event handler part 322 includes a multi-threaded method that allows for prioritization by event for efficient user input and display processing.

그래픽 엔진 파트(324)는 일반적인 그래픽 엔진과는 다르게 CPU(Central Processing Unit)의 부담을 줄이기 위해 레지스터 기본 가상 머신을 사용하여 커널과 독립적으로 GPU(Graphi Processing Unit)를 직접 액세스할 수 있도록 하여 그래픽 성능을 향상시키고자 하였다. 따라서 그래픽 엔진 파트(324)는 UI부(226)에 그래픽 컴포넌트 정보들을 표시하고자 하는 경우 리눅스 커널(330)을 통하지 않고 디바이스 드라이버들(340) 중 하나인 GPU를 직접 액세스하여 GPU로 직접 그래픽 컴포넌트 정보들을 제공한다.Unlike a general graphics engine, the graphics engine part 324 allows a GPU (Graphic Processing Unit) to access the GPU (Graphic Processing Unit) independently of the kernel using a register-based virtual machine to reduce the burden on the CPU . The graphic engine part 324 directly accesses the GPU, which is one of the device drivers 340, without going through the Linux kernel 330 and displays the graphic component information directly to the GPU in the case of displaying the graphic component information in the UI part 226. [ Lt; / RTI >

이러한 그래픽 엔진 파트(324)는 해당 전자기기나 애플리케이션에서 스크립트 형태의 푸쉬 데이터를 가지고 가장 빠르게 유저 인터페이스 화면을 표시할 수 있다.  The graphic engine part 324 can display the user interface screen at the earliest with the push data in the form of a script in the corresponding electronic device or application.

하드웨어 액세스 레이어 API 파트(326)는 실시간 타이머를 가지며, 우선 순위 선점이 가능한 리눅스 커널을 사용하여 실시간성을 높이고 디바이스 드라이버들(340)에 대한 효율적인 접근을 가능하게 한다.The hardware access layer API part 326 has a real-time timer and uses a Linux kernel capable of prioritized preemption to enhance real-time performance and enable efficient access to the device drivers 340.

리눅스 커널(330)은 시스템 리소스에 대한 모든 요구를 관리하고 반응하는 역할을 수행한다. 기존의 안드로이드나 다른 리눅스 시스템에 사용되는 리눅스 커널은 여러 소프트웨어와의 호환성, 멀티 태스킹 등을 위해 무겁고 큰 용량의 구조를 가지는데 반해, 본 발명의 플랫폼은 그래픽 처리에 중점을 둔 운영 체계를 갖는다.The Linux kernel 330 is responsible for managing and responding to all requests for system resources. While the Linux kernel used in existing Android and other Linux systems has a heavy and large capacity structure for compatibility with various software, multitasking, etc., the platform of the present invention has an operating system focused on graphics processing.

도 4는 본 발명의 다른 실시예에 따른 그래픽 리모트 컨트롤 방법의 등록 절차의 흐름을 도시한 도면이고, 도 5는 도 4의 등록을 위한 초기 화면의 일례로 표시한 UI 화면이고, 도 6은 도 4의 등록에 따라 일례로 표시한 UI 화면이다.FIG. 4 is a flowchart illustrating a registration procedure of the graphic remote control method according to another embodiment of the present invention. FIG. 5 is a UI screen displayed as an example of an initial screen for registration of FIG. 4 is a UI screen displayed by way of example.

그래픽 리모트 컨트롤 장치(140)에 전원이 공급되면, 장치 제어부(228)는 UI부(226)에 전자기기를 새롭게 등록할 수 있는 그래픽 화면을 제공할 수 있다(S402). 또한 사용자가 전자기기를 구입한 경우 UI부(226)를 조작하여 UI부(226)에 전자기기를 새롭게 등록할 수 있는 그래픽 화면을 제공할 수 있다. 이러한 등록을 위한 초기 화면의 일례로 표시한 UI 화면이 도 5에 도시되어 있다. 또한, 사용자는 제어 대상 기기인 해당 전자 기기에 전원을 인가한다(S404)When power is supplied to the graphic remote control device 140, the device control unit 228 can provide a graphic screen to register the electronic device in the UI unit 226 (S402). In addition, when the user purchases the electronic device, the user can operate the UI unit 226 to provide a graphic screen for registering the electronic device in the UI unit 226. A UI screen displayed as an example of an initial screen for such registration is shown in Fig. In addition, the user applies power to the corresponding electronic device as the control target device (S404)

사용자가 UI부(226)에서 해당 전자기기, 예를 들면 스마트 TV(110)를 선택하면(S406), 장치 제어부(228)는 장치 통신 인터페이스부(222)를 제어하여 기기 통신 인터페이스부(212)와 연결한다(S408).The device control unit 228 controls the device communication interface unit 222 to control the device communication interface unit 212 to select the corresponding electronic device, for example, the smart TV 110 in the UI unit 226 (S406) (S408).

장치 제어부(228)는 장치 통신 인터페이스부(222)가 기기 통신 인터페이스부(212)와 연결되면, 그래픽 컴포넌트 정보들과 제어 코드들 등에 대한 다운로드를 요청한다(S410).When the device communication interface unit 222 is connected to the device communication interface unit 212, the device control unit 228 requests download of graphic component information, control codes, and the like (S410).

기기 제어부(216)는 그래픽 리모트 컨트롤 장치(140)로부터 그래픽 컴포넌트 정보 등에 대한 다운로드를 요청을 수신하면, 전자기기 정보와 함께 그래픽 컴포넌트 정보 등을 전송한다(S412).Upon receiving a request for downloading graphic component information or the like from the graphic remote control device 140, the device control unit 216 transmits graphics component information together with the electronic device information (S412).

장치 제어부(228)는 해당 전자기기로부터 전자기기 정보와 함께 그래픽 컴포넌트 정보들 및 관련 제어 코드들 등을 수신하면, 장치 저장부(224)에 이들을 저장한다(S414).Upon receiving the graphic component information and the related control codes together with the electronic device information from the electronic device, the device control unit 228 stores them in the device storage unit 224 (S414).

장치 제어부(228)는 해당 전자기기로부터 관련 정보 등을 모두 수신하면, 장치 저장부(224)에 저장된 그래픽 컴포넌트 정보들을 UI부(226)에 적합하게 매핑한다(S416). Upon receiving all of the related information from the corresponding electronic device, the device control unit 228 maps the graphic component information stored in the device storage unit 224 to the UI unit 226 (S416).

이 경우 장치 제어부(228)는 장치 저장부(224)에 저장된 그래픽 컴포넌트 정보들을 UI부(226)의 표시를 고려하여 매핑할 수 있다. 특히 장치 제어부(228)는 매핑시 UI부(226)의 해상도와 그래픽 컴포넌트 정보들의 해상도를 고려하여 매핑할 수 있다.In this case, the device control unit 228 can map the graphic component information stored in the device storage unit 224 in consideration of the display of the UI unit 226. [ In particular, the device control unit 228 may map the resolution of the UI unit 226 and the resolution of the graphic component information in mapping.

한편, 장치 제어부(228)는 장치 저장부(224)에 매핑을 위해 일부 전자기기에 대한 디폴트 화면으로 그래픽 배치 화면 정보들을 저장되어 있는 경우 매핑시 전자기기가 장치 저장부(224)에 저장된 그래픽 배치 화면 정보를 갖는 전자기기에 해당하면, 장치 저장부(224)에 저장된 해당 전자기기에 대한 그래픽 배치 화면 정보를 이용하여 매핑할 수 있다. 이와 같이, 장치 저장부(224)에 해당 전자기기에 대한 디폴트 화면이 구비되어 있으면, 기능적 배치가 훨씬 용이하게 이루어질 수 있다.On the other hand, when graphic arrangement screen information is stored as a default screen for some electronic devices for mapping to the device storage unit 224, the device control unit 228 displays the graphic arrangement screen information stored in the device storage unit 224 If it is an electronic device having screen information, it can be mapped using graphic arrangement screen information for the electronic device stored in the device storage unit 224. Thus, if a default screen for the electronic device is provided in the device storage unit 224, the functional arrangement can be made much easier.

장치 제어부(228)는 매핑된 그래픽 컴포넌트 정보들을 UI부(226)에 표시한다(S418). 이 경우 리눅스 커널은 장치 저장부(224)로부터 그래픽 엔진 파트(324)로 또한 그래픽 엔진 파트(324)로부터 GPU로 그래픽 컴포넌트 정보들을 직접 제공함으로써 그래픽 처리 성능을 향상시킬 수 있다.The device control unit 228 displays the mapped graphic component information on the UI unit 226 (S418). In this case, the Linux kernel can improve graphics processing performance by directly providing graphics component information from the device storage 224 to the graphics engine part 324 and from the graphics engine part 324 directly to the GPU.

사용자는 UI부(226)에 표시된 그래픽 컴포넌트 정보들, 즉 아이콘들의 배치를 자신의 취향대로 수정할 수 있다(S420). 이러한 등록에 따라 일례로 표시한 UI 화면이 도 6에 도시되어 있다.The user can modify the arrangement of the graphic component information displayed in the UI unit 226, that is, icons, according to his / her preference (S420). The UI screen displayed by way of example according to this registration is shown in Fig.

도 7은 도 2에 도시된 통신 인터페이스부를 구체적으로 설명하는 도면이다.FIG. 7 is a diagram for explaining the communication interface unit shown in FIG. 2 in detail.

본 발명에 따른 그래픽 리모트 컨트롤 장치(140)는 해당 전자기기로부터 대량의 UI 데이터, 즉 그래픽 컴포넌트 정보들 및 관련 제어 코드들을 수신하고, 또한 UI부(226)에 표시된 그래픽 컴포넌트 정보들을 이용하여 제어 명령이 입력되면 해당 전자기기로 관련 제어 코드를 송신하게 된다. The graphic remote control apparatus 140 according to the present invention receives a large amount of UI data, i.e., graphic component information and related control codes, from the corresponding electronic apparatus, The related control code is transmitted to the corresponding electronic device.

이를 위해, 그래픽 리모트 컨트롤 장치(140)는 와이파이 통신을 이용할 수 있으나, 와이파이 통신은 응답이 느리고 전력 소비가 크다는 단점이 있다. 일반적으로 그래픽 리모트 컨트롤 장치(140)는 일반 배터리의 전압 또는 충전용 배터리에 의한 충전 전압을 사용하여 구동됨으로 전력 소비가 크면 소비자의 불만을 유도할 수 있다.For this, the graphic remote control device 140 can use Wi-Fi communication, but Wi-Fi communication has a disadvantage in that the response is slow and the power consumption is large. Generally, the graphic remote control device 140 is driven by using a voltage of a general battery or a charging voltage of a rechargeable battery, so that it is possible to induce a consumer's dissatisfaction if the power consumption is large.

이러한 문제점을 해결하기 위해, 본 발명에서는 도 7에 도시된 바와 같이, 기기 통신 인터페이스부(212)는 기기 블루투스 모듈(712)과 기기 와이파이 모듈(714)을 포함하며, 장치 통신 인터페이스부(222)는 장치 블루투스 모듈(722)과 장치 와이파이 모듈(724)을 포함할 수 있다.7, the device communication interface unit 212 includes a device Bluetooth module 712 and a device WiFi module 714. The device communication interface unit 222 includes a device communication interface unit 222, Device Bluetooth module 722 and device WiFi module 724.

본 발명에 따른 그래픽 리모트 컨트롤 장치(140)는 블루투스 통신과 와이파이 통신이 모두 가능하므로, 효율적으로 사용량을 분배하여 효율적인 전력 관리와 데이터 전송을 처리할 수 있다. 블루투스 통신은 초기 연결 작업이 와이파이 통신보다 용이하여 초기 장치 연결로 적합하므로, 싱크 데이터와 제어 데이터, 즉, 장치 간 셋업 정보, 와이파이 웨이크업, 사용자의 제어 명령에 따른 제어 코드 전달용으로 사용한다. 한편, 와이파이 통신은 절전 모드로 동작하다가 그래픽 데이터 전송시에만 블루투스에 의해 웨이크되어 대량의 그래픽 데이터를 처리하게 된다.Since the graphic remote control device 140 according to the present invention is capable of both Bluetooth communication and Wi-Fi communication, efficient usage management can be efficiently performed and power management and data transmission can be performed. Since Bluetooth communication is easier than Wi-Fi communication and is suitable for initial device connection, Bluetooth communication is used for sink data and control data, that is, setup information between devices, Wi-Fi wakeup, and control codes according to user's control commands. On the other hand, Wi-Fi communication operates in a power saving mode, and is wokened by Bluetooth only when transmitting graphic data, thereby processing a large amount of graphic data.

한편, 본 발명은 이더넷 멀티캐스트 기능을 가능하게 하여 다중 그래픽 리모트 컨트롤 장치(140)를 가능하게 할 수 있다. 다중 그래픽 리모트 컨트롤 장치(140)는 하나의 TV에 다수의 그래픽 리모트 컨트롤 장치(140)가 접속할 필요가 있는 게임 환경에 적합하다.Meanwhile, the present invention enables an Ethernet multicast function, thereby enabling a multiple graphic remote control device 140. The multiple graphic remote control device 140 is suitable for a game environment in which a plurality of graphic remote control devices 140 need to be connected to one TV.

도 8은 본 발명의 또 다른 실시예에 따른 그래픽 리모트 컨트롤 방법의 통신 관련 흐름을 도시하는 도면이다.8 is a flowchart illustrating a communication-related flow of the graphic remote control method according to another embodiment of the present invention.

장치 제어부(228)는 장치 블루투스 모듈(722)을 구동시켜, 블루투스 통신 가능한 전자기기를 조회한다(S802). 이에 의해 그래픽 리모트 컨트롤 장치(140)는 그 주변의 블루투스 통신 가능한 전자기기의 존재 유무를 알 수 있다.The device control unit 228 drives the device Bluetooth module 722 to inquire about an electronic device capable of Bluetooth communication (S802). Thus, the graphic remote control device 140 can know whether or not the peripheral electronic devices capable of Bluetooth communication are present.

그래픽 리모트 컨트롤 장치(140)로부터 조회 신호를 수신한 전자기기들은 그 조회 요구에 응답한다(S804). 이 경우 블루투스 통신이 가능한 전자기기들은 그래픽 리모트 컨트롤 장치(140)로 조회 요구에 응답하여 해당 전자기기의 고유주소인 블루투스 어드레스, 전자기기의 종류 등을 송신한다.The electronic devices receiving the inquiry signal from the graphic remote control device 140 respond to the inquiry request (S804). In this case, the electronic devices capable of Bluetooth communication transmit the unique address of the electronic device, the Bluetooth address, the type of the electronic device, and the like in response to the inquiry request to the graphic remote control device 140.

장치 제어부(228)는 조회 요구에 응답한 전자기기들을 UI부(226)에 표시하고, 사용자가 UI부(226)에 표시된 전자기기들 중 해당 전자기기를 선택하면(S806), 해당 전자기기를 향해 필요한 셋업 정보를 송신한다(S808). 그리고 장치 제어부(228)는 해당 전자기기로부터 셋업 정보에 대한 응답을 수신하면(S810), 그래픽 리모트 컨트롤 장치(140)와 해당 전자기기는 블루투스 통신으로 연결된다(S812).The device control unit 228 displays the electronic devices responding to the inquiry request to the UI unit 226. When the user selects the electronic device among the electronic devices displayed in the UI unit 226 (S806) (Step S808). In step S810, the device control unit 228 receives a response to the setup information from the corresponding electronic device, and the graphic remote control device 140 and the corresponding electronic device are connected through Bluetooth communication in step S812.

해당 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들이 이미 장치 저장부(224)에 저장되어 있다면, 사용자는 그래픽 컴포넌트 정보들에 해당하는 아이콘을 클릭하여 제어 명령을 입력하고 장치 제어부(228)는 장치 블루투스 모듈(722)을 통해 제어 코드를 송신한다(S814). 기기 제어부(216)는 기기 블루투스 모듈(712)을 통해 수신된 제어 코드에 따라 전자기기의 기능을 수행한다(S816).If the graphic component information and the control codes of the electronic device are already stored in the device storage unit 224, the user clicks an icon corresponding to the graphic component information to input a control command, and the device control unit 228 controls the device Bluetooth And transmits the control code through the module 722 (S814). The device control unit 216 performs the function of the electronic device according to the control code received through the device Bluetooth module 712 (S816).

한편, 그래픽 컴포넌트 등의 다운로드가 필요한 경우 장치 제어부(228)는 블루투스 모듈을 통해 와이파이 웨이크업 신호를 송신한다(S820). 와이파이 웨이크업 신호에 의해 그래픽 리모트 컨트롤 장치(140)의 장치 와이파이 모듈(724)과 해당 전자기기의 기기 와이파이 모듈(714)이 슬립 모드에서 액티브 모드로 웨이크업된다(S822).On the other hand, when downloading of a graphic component or the like is required, the device control unit 228 transmits a Wi-Fi wakeup signal through the Bluetooth module (S820). The device WiFi module 724 of the graphic remote control device 140 and the device WiFi module 714 of the corresponding electronic device are woken up from the sleep mode to the active mode by the WiFi wakeup signal at step S822.

장치 와이파이 모듈(724)과 기기 와이파이 모듈(714) 간에 와이파이 통신이 연결되면(S824), 기기 제어부(216)는 기기 와이파이 모듈(714)을 통해 그래픽 컴포넌트 정보들과 제어 코드들을 송신한다(S826). 장치 제어부(228)는 장치 와이파이 모듈(724)을 통해 해당 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들을 수신하면, 장치 저장부(224)에 저장한다. When the Wi-Fi communication between the device Wi-Fi module 724 and the device Wi-Fi module 714 is connected (S824), the device control unit 216 transmits graphic component information and control codes through the device Wi-Fi module 714 (S826) . The device control unit 228 receives the graphic component information and the control codes of the corresponding electronic device through the device WiFi module 724, and stores the information in the device storage unit 224.

장치 제어부(228)는 해당 전자기기의 그래픽 컴포넌트 정보들과 제어 코드들을 모두 수신하면 와이파이 슬립 신호를 송신하게 되고(S828), 장치 와이파이 모듈(724)과 기기 와이파이 모듈(714) 모두 슬립 모드로 진입한다(S830).Upon receiving both the graphic component information and the control codes of the corresponding electronic device, the device control unit 228 transmits the WiFi sleep signal (S828), and both the device WiFi module 724 and the device WiFi module 714 enter the sleep mode (S830).

사용자는 매핑하여 표시된 UI부(226)의 그래픽 컴포넌트 정보들에서 제어 명령에 해당하는 아이콘을 클릭하여 제어 명령을 입력하고 장치 제어부(228)는 장치 블루투스 모듈(712)을 통해 제어 코드를 송신한다(S832). The user inputs a control command by clicking an icon corresponding to the control command in the graphic component information of the displayed UI unit 226, and the device control unit 228 transmits the control code through the device Bluetooth module 712 S832).

상술한 그래픽 리모트 컨트롤 장치는 일반적인 리모콘 이외에 스마트폰(smart phone), 핸드헬드 PC 등도 포함하는 광범위한 개념이다. 또한, 실시예에서는 저전력 무선 통신 모듈로 블루투스 모듈을 예로 설명하였지만, 이러한 저전력 무선 통신 모듈은 BLE(bluetooth low energy), 지그비 모듈, RF4CE 및 적외선 모듈도 포함할 수 있다. The above-mentioned graphic remote control device is a broad concept including a smart phone, a handheld PC, etc. in addition to a general remote controller. In addition, although a Bluetooth module is described as an example of a low power wireless communication module in the embodiment, such a low power wireless communication module may also include a BLE (bluetooth low energy), a ZigBee module, an RF4CE and an infrared module.

이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments of the present invention described above are merely illustrative of the technical idea of the present invention, and the scope of protection of the present invention should be interpreted according to the claims. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention as defined by the appended claims. It should be interpreted that it is included in the scope of right.

110: 스마트 TV 120: 에어컨
130: 세탁기 140: 그래픽 리모트 컨트롤 장치
212: 기기 통신 인터페이스부 214: 기기 저장부
216: 기기 제어부 222: 장치 통신 인터페이스부
224: 장치 저장부 226: UI부
228: 장치 제어부 712: 기기 블루투스 모듈
714: 기기 와이파이 모듈 722: 장치 블루투스 모듈
724: 장치 와이파이 모듈110: Smart TV 120: Air conditioner
130: Washing machine 140: Graphical remote control device
212: device communication interface unit 214: device storage unit
216: device control section 222: device communication interface section
224: Device storage unit 226: UI unit
228: Device control unit 712: Device Bluetooth module
714: Device WiFi Module 722: Device Bluetooth Module
724: Device WiFi Module

Claims (10)

전자기기와 통신할 수 있는 그래픽 리모트 컨트롤 장치로서,
상기 전자기기와 저전력 무선 통신 가능한 저전력 무선 통신 모듈과 상기 전자기기와 와이파이 통신 가능한 와이파이 모듈을 구비한 통신 인터페이스부와,
상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들을 저장하기 위한 저장부와,
그래픽 컴포넌트 정보들을 표시하고, 그래픽 컴포넌트 정보들을 이용하여 제어 명령이 입력되는 UI부와,
상기 와이파이 모듈을 통해 상기 전자기기로부터 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들이 수신되면 상기 저장부에 저장하고, 사용자가 상기 UI부에 표시된 그래픽 컴포넌트 정보들을 이용하여 상기 전자기기에 대한 제어 명령이 입력되면 상기 저전력 무선 통신 모듈을 통해 상기 전자기기로 해당 제어 코드를 송신하는 제어부를 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 장치.A graphic remote control device capable of communicating with an electronic device,
A communication interface unit having a low-power wireless communication module capable of low-power wireless communication with the electronic equipment, and a Wi-Fi module capable of communicating with the electronic equipment and a Wi-
A storage unit for storing graphical component information and associated control codes capable of remotely controlling the electronic equipment;
A UI unit for displaying graphic component information and inputting a control command using graphic component information,
When the graphic component information and the related control codes capable of remotely controlling the electronic device from the electronic device are received through the Wi-Fi module, the control component stores the graphic component information and the related control codes in the storage unit, And a controller for transmitting the control code to the electronic device via the low power wireless communication module when a control command for the electronic device is inputted. 제1항에 있어서,
상기 제어부는 복수의 전자기기 중 어느 하나와의 무선 통신 연결을 위해 상기 저전력 무선 통신 모듈을 구동시켜 저전력 무선 통신 가능한 전자기기를 조회하는 것을 특징으로 하는 그래픽 리모트 컨트롤 장치.The method according to claim 1,
Wherein the control unit inquires an electronic device capable of low-power wireless communication by driving the low-power wireless communication module for wireless communication connection with any one of the plurality of electronic devices. 제2항에 있어서,
상기 제어부는 복수의 전자기기 중 어느 하나와 저전력 무선 통신이 연결된 상태에서 해당 전자기기의 그래픽 컴포넌트 정보들의 다운로드의 요청이 필요한 경우 상기 와이파이 모듈을 액티브 모드로 웨이크업하는 것을 특징으로 하는 그래픽 리모트 컨트롤 장치.3. The method of claim 2,
Wherein the control unit wakes up the WiFi module to an active mode when a request for downloading graphic component information of the electronic device is requested in a state that low power wireless communication is connected to any one of the plurality of electronic devices. . 제1항에 있어서,
상기 제어부는 상기 UI부에 그래픽 컴포넌트 정보를 표시하고자 하는 경우 그래픽 엔진이 GPU(Graphi Processing Unit)를 직접 액세스할 수 있도록 하여 상기 GPU로 직접 그래픽 컴포넌트 정보들을 제공하는 플랫폼을 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 장치.The method according to claim 1,
Wherein the control unit includes a platform for directly providing graphic component information to the GPU by enabling a graphic engine to directly access a GPU (Graphic Processing Unit) when displaying graphic component information in the UI unit. Remote control device. 제4항에 있어서,
상기 플랫폼은 효율적인 사용자 입력과 디스플레이 처리를 위해 이벤트별 우선 순위 적용이 가능한 멀티스레드 방식을 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 장치.5. The method of claim 4,
Wherein the platform includes a multithreading method capable of applying priorities to events for efficient user input and display processing. 제1항 내지 제5항 중 어느 한 항에 따른 그래픽 리모트 컨트롤 장치와,
상기 그래픽 리모트 컨트롤 장치로부터 그래픽 컴포넌트 정보들과 관련 제어 코드들의 다운로드가 요청되면 상기 그래픽 리모트 컨트롤 장치로 그래픽 컴포넌트 정보들과 관련 제어 코드들을 송신하고, 상기 그래픽 리모트 컨트롤 장치로부터 제어 코드가 입력되면 해당 기능을 수행하는 전자기기를 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 시스템.A graphic remote control device according to any one of claims 1 to 5,
When the download of the graphic component information and the related control codes is requested from the graphic remote control device, graphic component information and related control codes are transmitted to the graphic remote control device, and when the control code is inputted from the graphic remote control device, And an electronic device for performing the operation of the graphic remote control system. 제6항에 있어서,
상기 전자기기는 상기 그래픽 리모트 컨트롤 장치와 저전력 무선 통신이 연결된 상태에서 상기 그래픽 리모트 컨트롤 장치로부터 그래픽 컴포넌트 정보들의 다운로드가 요청되면 상기 전자기기의 와이파이 모듈을 액티브 모드로 웨이크업하는 것을 특징으로 하는 그래픽 리모트 컨트롤 시스템.The method according to claim 6,
Wherein the electronic device wakes up the Wi-Fi module of the electronic device in an active mode when downloading of graphic component information from the graphic remote control device is requested in a state that low-power wireless communication is connected to the graphic remote control device. Control system. 저전력 무선 통신 가능한 장치 저전력 무선 통신 모듈과 와이파이 통신 가능한 장치 와이파이 모듈을 구비한 그래픽 리모트 컨트롤 장치와 저전력 무선 통신 가능한 기기 저전력 무선 통신 모듈과 와이파이 통신 가능한 기기 와이파이 모듈을 구비한 전자기기와의 그래픽 리모트 컨트롤 방법으로서,
상기 그래픽 리모트 컨트롤 장치에서, 장치 저전력 무선 통신 모듈을 통해 상기 전자기기로 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들의 다운로드를 요청하는 단계와,
상기 전자기기에서, 상기 기기 와이파이 모듈을 통해 상기 그래픽 리모트 컨트롤 장치로 그래픽 컴포넌트 정보들과 관련 제어 코드들을 송신하는 단계와,
상기 그래픽 리모트 컨트롤 장치에서 상기 장치 와이파이 모듈을 통해 상기 전자기기로부터 상기 전자기기를 원격에서 제어할 수 있는 그래픽 컴포넌트 정보들과 관련 제어 코드들을 수신하는 단계와,
상기 그래픽 리모트 컨트롤 장치에서, 상기 장치 와이파이 모듈을 통해 수신한 그래픽 컴포넌트 정보들을 표시하는 단계와,
상기 그래픽 리모트 컨트롤 장치에서, 사용자가 표시된 그래픽 컴포넌트 정보들을 이용하여 상기 전자기기에 대한 제어 명령을 입력하면 상기 장치 저전력 무선 통신 모듈을 통해 상기 전자기기로 해당 제어 코드를 송신하는 단계와,
상기 전자기기에서, 상기 기기 저전력 무선 통신 모듈을 통해 상기 그래픽 리모트 컨트롤 장치로부터 제어 코드가 입력되면 해당 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 방법.Low power wireless communication device Low power wireless communication module and Wi-Fi communicable device Graphic remote control device with Wi-Fi module and low power wireless communication device Low power wireless communication module and Wi-Fi communicable device Graphic remote control with electronic device having Wi-Fi module As a method,
Requesting downloading of graphic component information and associated control codes capable of remotely controlling the electronic device with the electronic device via the device low power wireless communication module in the graphic remote control device;
Transmitting, in the electronic device, graphic component information and associated control codes to the graphic remote control device through the device WiFi module;
Receiving graphical component information and associated control codes capable of remotely controlling the electronic device from the electronic device via the device WiFi module in the graphic remote control device;
Displaying graphic component information received through the device WiFi module in the graphic remote control device;
Transmitting a corresponding control code to the electronic device via the device low power wireless communication module when the user inputs a control command for the electronic device using graphic component information displayed by the user;
And performing a corresponding function when a control code is input from the graphic remote control device through the device low power wireless communication module in the electronic device. 제8항에 있어서,
상기 그래픽 리모트 컨트롤 장치에서, 복수의 전자기기 중 어느 하나와의 무선 통신 연결을 위해 상기 장치 저전력 무선 통신 모듈을 구동시켜 저전력 무선 통신 가능한 상기 전자기기를 조회하는 단계와,
상기 전자기기에서, 상기 그래픽 리모트 컨트롤 장치와 저전력 무선 통신이 연결된 상태에서 상기 그래픽 리모트 컨트롤 장치로부터 그래픽 컴포넌트 정보들의 다운로드가 요청되면 상기 전자기기의 장치 와이파이 모듈을 액티브 모드로 웨이크업하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 리모트 컨트롤 방법.9. The method of claim 8,
Power wireless communication module for wireless communication connection with any one of a plurality of electronic devices in the graphic remote control device,
The method further includes waking up the device WiFi module of the electronic device to an active mode when downloading of graphic component information from the graphic remote control device is requested while the graphic remote control device is connected to the low power wireless communication in the electronic device Wherein the graphic remote control method comprises: 제8항에 있어서,
상기 표시하는 단계는, 그래픽 엔진이 GPU(Graphi Processing Unit)를 직접 액세스할 수 있도록 하여 상기 GPU로 직접 그래픽 컴포넌트 정보들을 제공하는 것을 특징으로 하는 그래픽 리모트 컨트롤 방법. 9. The method of claim 8,
Wherein the displaying step provides graphics component information directly to the GPU by allowing the graphics engine to directly access a GPU (Graphi Processing Unit).
KR1020130132938A 2013-11-04 2013-11-04 Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module KR101540447B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130132938A KR101540447B1 (en) 2013-11-04 2013-11-04 Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130132938A KR101540447B1 (en) 2013-11-04 2013-11-04 Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module

Publications (2)

Publication Number Publication Date
KR20150051455A KR20150051455A (en) 2015-05-13
KR101540447B1 true KR101540447B1 (en) 2015-07-30

Family

ID=53388927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130132938A KR101540447B1 (en) 2013-11-04 2013-11-04 Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module

Country Status (1)

Country Link
KR (1) KR101540447B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170065239A (en) 2015-12-03 2017-06-13 한화테크윈 주식회사 Surveillance method and apparatus
US11770798B2 (en) 2015-03-27 2023-09-26 Hanwha Techwin Co., Ltd. Surveillance method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040104871A (en) * 2003-06-04 2004-12-13 삼성전자주식회사 Apparatus and method for remote controlling household electric appliances using an wireless terminal
KR20050002182A (en) * 2003-06-30 2005-01-07 주식회사 대우일렉트로닉스 Mobile having a remote controlling mode
KR20070076808A (en) * 2006-01-20 2007-07-25 주식회사 제노프릭스 Universal remote controller system for multi device control
KR20100036132A (en) * 2008-09-29 2010-04-07 (주)프로스트데일 Wireless communication apparatus for remote control of electronic appliance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040104871A (en) * 2003-06-04 2004-12-13 삼성전자주식회사 Apparatus and method for remote controlling household electric appliances using an wireless terminal
KR20050002182A (en) * 2003-06-30 2005-01-07 주식회사 대우일렉트로닉스 Mobile having a remote controlling mode
KR20070076808A (en) * 2006-01-20 2007-07-25 주식회사 제노프릭스 Universal remote controller system for multi device control
KR20100036132A (en) * 2008-09-29 2010-04-07 (주)프로스트데일 Wireless communication apparatus for remote control of electronic appliance

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770798B2 (en) 2015-03-27 2023-09-26 Hanwha Techwin Co., Ltd. Surveillance method and apparatus
KR20170065239A (en) 2015-12-03 2017-06-13 한화테크윈 주식회사 Surveillance method and apparatus
US10313585B2 (en) 2015-12-03 2019-06-04 Hanwha Aerospace Co., Ltd. Surveillance method and apparatus

Also Published As

Publication number Publication date
KR20150051455A (en) 2015-05-13

Similar Documents

Publication Publication Date Title
US11157168B2 (en) Method and apparatus for controlling a plurality of internet of things devices
US11023282B2 (en) Method and apparatus for migrating virtual machine for improving mobile user experience
KR101924974B1 (en) Methods and apparatus for remote controlling peripheral device in mobile communication terminal
CN105634881B (en) Application scene recommendation method and device
EP3806342A1 (en) Bluetooth communication method, and dual-mode bluetooth terminal
EP3373112A1 (en) Electronic device comprising plurality of displays and method for operating same
US20120159395A1 (en) Application-launching interface for multiple modes
US10809791B2 (en) Method for displaying content and electronic device thereof
US20220101719A1 (en) Controlling remote devices using user interface templates
KR20160054850A (en) Apparatus and method for operating processors
US10296072B2 (en) Method and apparatus for reducing power consumption based on use pattern of user
JP2017016248A (en) Portable electronic device, display controlling system, display controlling method, and display control program
CN107688298B (en) Remote control apparatus and control method thereof
EP3118720B1 (en) Apparatus for displaying an image and management of a plurality of processing cores, and method of operating the same
KR20180050052A (en) Display apparatus and method for controlling thereof
US20180232113A1 (en) System for providing application list and method therefor
KR101540447B1 (en) Graphic Remote Control Device, System and Method having a plurality of Wireless Communication Module
KR101742444B1 (en) Method and system for coupling among devices using adaptive pattern recognition
CN108200635B (en) Operation control method of application program and mobile terminal
KR101555329B1 (en) Adaptive Graphic Remote Control Device, System and Method
US8810604B2 (en) System and method for activating, actioning and providing feedback on interactive objects within line of sight
US11874716B2 (en) Embedded computing device management
Paul et al. A context-aware user interface for wireless personal-area network assistive environments
US20160132092A1 (en) Display apparatus and method for controlling display apparatus thereof
US20120184332A1 (en) Mobile phone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 4