KR20070009262A - A uniting remocon and method to seek a device to be controlled thereof - Google Patents

A uniting remocon and method to seek a device to be controlled thereof Download PDF

Info

Publication number
KR20070009262A
KR20070009262A KR1020050064391A KR20050064391A KR20070009262A KR 20070009262 A KR20070009262 A KR 20070009262A KR 1020050064391 A KR1020050064391 A KR 1020050064391A KR 20050064391 A KR20050064391 A KR 20050064391A KR 20070009262 A KR20070009262 A KR 20070009262A
Authority
KR
South Korea
Prior art keywords
camera
image data
image
photographed
mark
Prior art date
Application number
KR1020050064391A
Other languages
Korean (ko)
Inventor
신진철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050064391A priority Critical patent/KR20070009262A/en
Priority to EP06008661.8A priority patent/EP1744290B1/en
Priority to US11/415,276 priority patent/US20070013775A1/en
Publication of KR20070009262A publication Critical patent/KR20070009262A/en
Priority to US13/064,869 priority patent/US8836487B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

An integrated remote controller and a method for recognizing devices to be controlled thereby are provided to display the product icon of a device, photographed by a camera, and enable a user to select a device, which the user wants to control, in a display, thereby enabling the user to easily access to a control menu of the controlled device. A method for recognizing devices controlled by an integrated remote controller comprises the following steps of: storing the exterior images of various devices as image data; making a camera photograph the devices; comparing the image, outputted from the camera, with the image data in order to recognize the devices photographed in the camera(30); and displaying a product icon of the recognized device(32). The image data includes the exterior images obtained by attaching a pattern mark to one side of each of the various devices. If the pattern mark is detected in the image, outputted from the camera, the integrated remote controller compares the pattern mark with pattern marks of the various devices, included in the image data, and recognizes the device photographed in the camera.

Description

통합 리모콘 및 그 제어기기 인식방법{A uniting remocon and method to seek a device to be controlled thereof}A uniting remocon and method to seek a device to be controlled else}

도1은 본 발명의 일실시예에 따른 통합 리모콘의 외관을 도시한 사시도이다.1 is a perspective view showing the appearance of an integrated remote controller according to an embodiment of the present invention.

도2는 도1에 나타낸 통합 리모콘의 제어구성을 도시한 블록도이다.FIG. 2 is a block diagram showing a control configuration of the integrated remote controller shown in FIG.

도3 및 도4는 화상 인식으로 통합 리모콘 주위의 기기를 식별하기 위해 각 기기에 부착하는 패턴 마크를 예시한 도면이다. 3 and 4 illustrate a pattern mark attached to each device to identify devices around the integrated remote controller by image recognition.

도5는 본 발명의 일실시예에 따른 통합 리모콘의 제어기기 인식방법을 도시한 흐름도이다.5 is a flowchart illustrating a method for recognizing a controller of an integrated remote controller according to an exemplary embodiment of the present invention.

*도면의 주요 기능에 대한 부호의 설명*           * Description of the symbols for the main functions of the drawings *

11:표시부 12:입력부               11: display unit 12: input unit

14:제어부 15:인식 데이터 저장부               14: control unit 15: recognition data storage unit

16:카메라 17:적외선 송수신부               16: camera 17: infrared transceiver

본 발명은 통합 리모콘 및 그 제어기기 인식방법에 관한 것으로, 더욱 상세하게는 화상인식을 이용하여 사용자가 제어할 기기를 쉽게 선택할 수 있도록 하는 통합 리모콘 및 그 제어기기 인식방법에 관한 것이다.The present invention relates to an integrated remote controller and a method for recognizing a controller thereof, and more particularly, to an integrated remote controller and a method for recognizing a controller thereof, by which a user can easily select a device to be controlled by using image recognition.

최근 가정내에서 사용하는 각종 전기제품들을 리모콘으로 원격제어하는 기술이 보편화되어 각 가정에서 보유하는 리모콘의 수도 늘어나게 되었다. 이처럼 가정에서 사용하는 리모콘의 수가 늘게 되면서 리모콘의 관리 및 필요한 때에 원하는 리모콘을 찾는 것이 어려워져 여러 리모콘의 기능이 합쳐진 통합 리모콘이 개발되었다. Recently, the technology of remote control of various electric appliances used in the home by the remote control has become more common, and the number of remote controllers owned by each home has increased. As the number of remote controllers used in the home increases, it becomes difficult to manage the remote controller and to find the desired remote controller when necessary, and thus, an integrated remote controller has been developed that combines the functions of the remote controllers.

종래의 통합 리모콘은 대한민국 공개특허공보 특2005-0001702호에 개시된 바와 같이 리모콘 신호에 의해 동작하는 피제어기기의 다수의 기능정보를 저장하는 기능저장부와, 사용자에 의해 선택된 기능저장부에 저장된 1이상의 기능정보를 순차적으로 저장하는 기능군 저장부와, 기능군 저장부에 저장된 기능정보 또는 기능군 저장부에 저장된 기능정보를 전시하는 디스플레이부와, 디스플레이부에 전시된 기능정보 중 사용자가 원하는 다수의 기능을 순차적으로 선택하거나 선택하기 위해 이동하거나 선택된 다수의 기능을 한꺼번에 수행하도록 하는 사용자 입력부와, 사용자 입력부로부터 사용자의 입력신호를 수신하고 입력신호에 대응하는 명령을 수행하는 제어부와, 기기들에 대한 기능을 수행할 경우 기능정보에 대응하는 리모콘 키코드값을 출력하는 리모콘 신호 출력부를 포함한다. 이러한 종래의 통합 리모콘은 사용자가 기능버튼을 누르면 기능목록을 LCD영역에 전시하고 사용자가 방향버튼 으로 전시된 기능들을 네비게이션 하다가 선택버튼 및 실행버튼을 누르면 선택된 기능을 실행하였다. Conventional integrated remote control is a function storage unit for storing a plurality of function information of the controlled device operating by the remote control signal, as disclosed in the Republic of Korea Patent Publication No. 2005-0001702 and 1 stored in the function storage unit selected by the user A function group storage unit for sequentially storing the above function information, a display unit displaying the function information stored in the function group storage unit or the function information stored in the function group storage unit, and a plurality of function information displayed on the display unit. A user input unit for moving or performing a plurality of functions selected at a time in order to sequentially select or select a function of the user, a control unit for receiving a user input signal from the user input unit and performing a command corresponding to the input signal; Outputs the remote control key code value corresponding to the function information when performing the function. It shall include a remote control signal output. The conventional integrated remote controller displays a list of functions in the LCD area when the user presses a function button, and the user executes a selected function by pressing a selection button and an execution button while navigating the functions displayed by the direction button.

그러나 이와 같은 종래의 통합 리모콘은 하나의 기기를 제어하다가 기능구성이 상이한 다른 기기를 제어하고자 할 때 현재의 기능에서 빠져나온 후에 처음부터 기능을 다시 검색하여 원하는 기능을 찾아야 하므로 검색경로가 너무 길어지는 문제점이 있었다. 예를 들어 TV의 볼륨을 조절하다가 에어컨을 켜고자 할 때 사용자는 TV의 볼륨 조절 기능에서 빠져 나와 에어컨의 전원 온 기능을 검색하여 선택해야 하므로 검색경로가 복잡하였다.However, when the conventional integrated remote controller controls one device and wants to control another device having a different function configuration, the search path becomes too long because the function must be searched again to find a desired function from the beginning after exiting from the current function. There was a problem. For example, when the user wants to turn on the air conditioner while adjusting the volume of the TV, the search path is complicated because the user must exit the volume control function of the TV and search for and select the power-on function of the air conditioner.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 화상인식을 이용하여 사용자가 제어하고자 하는 기기를 쉽게 찾도록 해주는 통합 리모콘 및 그 제어기기 인식방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide an integrated remote controller and a method for recognizing a controller thereof, which allow a user to easily find a device to be controlled by using image recognition.

전술한 목적을 달성하기 위한 본 발명은 여러 기기의 외관 이미지를 화상 데이터로 저장하고, 카메라에서 기기를 촬영하고, 상기 카메라에서 출력된 영상을 상기 화상 데이터와 비교하여 상기 카메라에서 촬영된 기기를 식별하고, 식별된 기기의 제품 아이콘을 표시한다.In order to achieve the above object, the present invention stores external images of various devices as image data, photographs the device in the camera, and compares the image output from the camera with the image data to identify the device photographed by the camera. And the product icon of the identified device is displayed.

또한 상기 화상 데이터는 상기 여러 기기의 일측에 패턴마크를 부착하여 얻은 외관 이미지를 포함하며, 상기 카메라에서 출력된 영상에서 패턴마크가 발견되면 이 패턴마크를 상기 화상 데이터에 들어있는 여러 기기의 패턴마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 한다.In addition, the image data includes an appearance image obtained by attaching a pattern mark to one side of the various devices, and if a pattern mark is found in an image output from the camera, the pattern mark is a pattern mark of various devices included in the image data. Compared with and to identify the device photographed by the camera.

또한 상기 화상 데이터는 상기 여러 기기의 일측에 색상마크를 부착하여 얻은 외관 이미지를 포함하며, 상기 카메라에서 출력된 영상에서 색상마크가 발견되면 이 색상마크를 상기 화상 데이터에 들어있는 여러 기기의 색상마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 한다.In addition, the image data includes an appearance image obtained by attaching a color mark to one side of the various devices, and when the color mark is found in the image output from the camera, the color mark of the various devices included in the image data. Compared with and to identify the device photographed by the camera.

또한 통합 리모콘의 주위에 위치하는 기기를 촬영하는 카메라와, 상기 기기의 외관을 미리 촬영하여 얻은 화상 데이터를 저장하고 있는 인식 데이터 저장부와, 상기 카메라에서 촬영된 영상을 상기 인식 데이터 저장부에 저장되어 있는 화상 데이터와 비교하여 촬영된 기기를 인식하는 제어부와, 상기 제어부에서 인식된 기기를 표시하는 표시부를 포함한다.Also, a camera for photographing a device located around an integrated remote controller, a recognition data storage unit for storing image data obtained by capturing the appearance of the device in advance, and an image captured by the camera is stored in the recognition data storage unit. And a control unit for recognizing the photographed device in comparison with the image data, and a display unit for displaying the device recognized by the control unit.

또한 상기 화상 데이터는 상기 기기의 일측에 패턴마크 또는 색상마크를 부착한 상태에서 상기 기기를 촬영하여 얻고, 상기 제어부는 상기 카메라에서 촬영된 영상에 상기 패턴마크 또는 상기 색상마크가 있으면 상기 화상 데이터에 들어있는 패턴마크 또는 색상마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 한다.The image data may be obtained by photographing the device in a state where a pattern mark or a color mark is attached to one side of the device, and the controller may be configured to the image data if the pattern mark or the color mark is included in the image photographed by the camera. The apparatus may identify the device photographed by the camera in comparison with the pattern mark or the color mark.

또한 상기 제어부는 상기 카메라에서 촬영된 기기의 수가 기준개수 이상이면 화상인식의 범위를 줄여 기준개수의 기기만 상기 표시부에 표시되도록 하는 것을 특징으로 한다.The controller may reduce the range of image recognition when the number of devices photographed by the camera is greater than or equal to the reference number so that only the reference number of devices is displayed on the display unit.

이하에서는 본 발명의 바람직한 실시예를 본 도면을 참조하여 상세하게 설명하도록 한다. 도1 및 도2에 도시한 바와 같이 본 발명의 일실시예에 따른 통합 리 모콘(10)은 표시부(11)와, 입력부(12)와, 카메라(16)와, 적외선 송수신부(17)와, 인식데이터 저장부(13)와, 제어부(14)를 포함한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. 1 and 2, the integrated remote controller 10 according to an embodiment of the present invention includes a display unit 11, an input unit 12, a camera 16, an infrared transceiver 17, and And a recognition data storage unit 13 and a control unit 14.

표시부(11)는 LCD패널이며, 사용자의 터치입력이 있을 때 터치된 지점의 좌표를 검지하여 설정된 동작을 수행할 수 있는 터치패널로 구성함이 바람직하다. 표시부(11)에서는 다양한 기기들의 제어메뉴를 사용자의 터치입력으로 선택할 수 있도록 하기 위해 각 기기의 제품아이콘(예를 들어 TV를 제어할 때 선택할 수 있는 TV버튼, VTR을 제어할 때 선택할 수 있는 VTR버튼 등)과, 선택된 기기의 제어메뉴 아이콘(예를 들어 사용자가 TV아이콘을 터치하였을 때 표시되는 전원온 아이콘, 전원오프 아이콘 등) 등을 표시한다. The display unit 11 is an LCD panel, and it is preferable that the touch panel is configured as a touch panel capable of performing a set operation by detecting coordinates of a touched point when a user's touch input occurs. In the display unit 11, in order to select a control menu of various devices by a user's touch input, a product icon of each device (for example, a TV button selectable when controlling a TV and a VTR selectable when controlling a VTR) Button and the like, and a control menu icon (for example, a power-on icon and a power-off icon displayed when the user touches a TV icon) of the selected device.

입력부(12)는 휠(13a)과, 방향이동버튼(13b)과, 선택버튼(13c)과, 다양한 기능버튼들(13d)을 포함한다. 휠(13a)은 회전량에 따라 제어대상값을 조절(예를 들어 휠(13a)의 회전량에 따라 조명의 밝기를 다르게 함)하는데 사용되며, 방향이동버튼(13b)은 표시부(11)에서 표시되는 복수의 아이콘 사이를 이동할 때 주로 사용된다. 선택버튼(13c)은 사용자가 원하는 아이콘을 선택할 때 사용된다.The input unit 12 includes a wheel 13a, a direction movement button 13b, a selection button 13c, and various function buttons 13d. The wheel 13a is used to adjust the control target value according to the amount of rotation (for example, to change the brightness of the light according to the amount of rotation of the wheel 13a), and the direction movement button 13b is used on the display portion 11. It is mainly used to move between a plurality of displayed icons. The selection button 13c is used when the user selects an icon he wants.

적외선 송수신부(17)는 사용자에 의해 선택된 제어메뉴의 제어명령을 적외선으로 해당 기기에 전송하기 위해 마련된다. The infrared transceiver 17 is provided to transmit the control command of the control menu selected by the user to the corresponding device in infrared.

인식데이터 저장부(15)는 화상 데이터를 저장한다. 화상 데이터는 통합 리모콘(10)으로 제어할 각 기기들의 외관 이미지이며 사용자가 통합 리모콘(10)으로 기기를 제어하기 전에 인식 데이터 저장부(15)에 저장되어 있어야 한다. 화상 데이터를 저장하기 위해 사용자는 먼저 기기의 제조사 및 모델명 등의 기기정보를 미리 셋팅된 데이터 저장 안내툴에 맞춰 입력하고, 해당 기기를 카메라로 촬영하여 얻은 외관 이미지를 기기정보와 매칭시켜 화상 데이터로 인식데이터 저장부(15)에 저장한다. The recognition data storage unit 15 stores image data. The image data is an external image of each device to be controlled by the integrated remote controller 10 and must be stored in the recognition data storage unit 15 before the user controls the device by the integrated remote controller 10. In order to store image data, the user first inputs device information such as the manufacturer and model name of the device in accordance with a preset data storage guide tool, and matches the external image obtained by photographing the device with the device information as image data. The recognition data storage unit 15 stores the data.

이 때 화상 데이터는 해당 기기의 외관을 촬영한 이미지 자체를 이용할 수도 있지만 패턴마크 또는 색상마크를 이용할 수도 있다. 패턴마크는 도3에서와 같이 TV(21) 및 VTR(22)과 같은 기기의 전면일측에 부착되며, 도4와 같이 기기별로 다른 패턴의 마크가 할당된다. 이처럼 기기별로 할당된 패턴마크를 부착하여 촬영한 각 기기의 외관 이미지를 화상 데이터로 저장해 두고 카메라(16)에서 촬영된 영상에 있는 패턴마크를 화상 데이터의 패턴마크와 비교하여 카메라(16)에서 촬영된 기기를 식별할 수 있다. 또한, 각 기기별로 다른 색상의 마크(예를 들어 TV는 적색, VTR은 청색 등)를 부착하여 촬영한 각 기기의 외관 이미지를 화상 데이터로 저장하고, 카메라(16)에서 촬영된 영상에서 발견된 색상마크를 화상 데이터의 색상마크와 비교하여 카메라(16)에서 촬영된 기기를 인식한다. At this time, the image data may use the image itself photographing the appearance of the device, but may use a pattern mark or a color mark. The pattern mark is attached to one side of the front surface of the device such as the TV 21 and the VTR 22 as shown in FIG. 3, and a mark of a different pattern is assigned to each device as shown in FIG. In this way, the appearance image of each device photographed by attaching a pattern mark assigned to each device is stored as image data, and the pattern mark in the image taken by the camera 16 is compared with the pattern mark of the image data, and the image is captured by the camera 16. Identified devices can be identified. In addition, by storing the external image of each device photographed by attaching a different color mark (for example, red for TV, blue for VTR, etc.) for each device as image data, it is found in the image captured by the camera 16. The color mark is compared with the color mark of the image data to recognize the device photographed by the camera 16.

위에서 사용자가 각 기기의 제조사 및 모델 등의 기기정보를 입력하면 기기정보는 각 기기의 이미지와 매치되어 화상 데이터로 저장되는 한편, MBR(Multi Brand Remocon)데이터 확인과정에서 찾아진 제어메뉴와 함께 통합 리모콘 내부의 메모리(RAM 등)에 저장된다. 이 때 MBR데이터는 각 기기의 제조사, 기종, 제어메뉴 등을 저장하고 있는 데이터이다. 이렇게 저장된 제어메뉴들은 나중에 제어할 하나의 기기가 선택되면 표시부(11)에서 아이콘으로 디스플레이된다.When the user inputs device information such as the make and model of each device, the device information is matched with the image of each device and stored as image data, and integrated with the control menu found in the MBR (Multi Brand Remocon) data verification process. It is stored in memory (RAM, etc.) inside the remote controller. At this time, the MBR data stores the manufacturer, model, and control menu of each device. The stored control menus are displayed as icons on the display unit 11 when one device to be controlled later is selected.

제어부(14)는 카메라(16)에서 출력되는 영상을 화상 데이터와 비교하여 카메 라(16)에 포착된 기기들을 인식한다. 즉, 카메라(16)에서 촬영된 영상이 제어부(14)에 전달되면 제어부(14)는 이 영상을 인식 데이터 저장부(15)에 저장된 화상 데이터와 비교하여 카메라(14)에 포착된 기기를 인식한다. 이 때 제어부(14)는 촬영된 기기의 외관 이미지 자체를 미리 저장된 화상 데이터의 외관 이미지와 비교하여 기기를 식별하거나, 촬영된 각 기기에 부착된 패턴마크 또는 색상마크를 화상 데이터에 저장된 패턴마크 또는 색상마크와 비교하여 카메라(16)에서 촬영된 기기를 식별할 수 있다.The controller 14 compares the image output from the camera 16 with the image data to recognize the devices captured by the camera 16. That is, when an image captured by the camera 16 is transferred to the controller 14, the controller 14 compares the image with image data stored in the recognition data storage 15 to recognize a device captured by the camera 14. do. At this time, the controller 14 compares the appearance image itself of the photographed device with the appearance image of previously stored image data to identify the device, or the pattern mark or color mark attached to each photographed device is stored in the image data. The device photographed by the camera 16 may be identified by comparing with the color mark.

도5를 참조하여 본 발명의 일실시예에 따른 통합 리모콘의 제어기기 선택방법을 설명한다. 사용자가 통합 리모콘(10)으로 원하는 기기를 제어하기 위해 통합 리모콘(10)의 전원을 켜면 카메라(16)는 포착된 영상을 제어부(14)로 출력한다(30). 제어부(14)는 카메라(16)에서 출력된 영상을 인식 데이터 저장부(15)의 화상 데이터와 비교하여 카메라(16)에 포착된 기기들을 식별한다(30). 그리고 식별된 기기들의 제품 아이콘을 표시부(11)에 표시한다(32). 위에서 제어부(14)는 카메라(16)에서 계속 영상을 전달받아 분석하고, 카메라(16)에서 포착되는 기기들이 바뀌면 표시부(11)에서 표시하는 제품 아이콘도 함께 변경시킨다. 또한, 제어부(14)는 카메라(16)에 포착된 기기의 수가 기준개수 보다 많을 때에는 화상인식의 범위를 한정하여 표시부(11)에 기준개수의 제품 아이콘만 표시되도록 할 수 있다. 예를 들어 기준개수를 4개로 설정해 두었을 때 카메라(16)에 6개의 기기가 포착되면 4개의 기기만 포착될 수 있도록 화상인식의 범위를 줄여 4개의 제품아이콘만 표시부(11)에 표시해준다.A method of selecting a controller of an integrated remote controller according to an embodiment of the present invention will be described with reference to FIG. 5. When the user turns on the integrated remote controller 10 to control the desired device with the integrated remote controller 10, the camera 16 outputs the captured image to the controller 14 (30). The controller 14 compares the image output from the camera 16 with the image data of the recognition data storage 15 to identify the devices captured by the camera 16 (30). Product icons of the identified devices are displayed on the display unit 11 (32). From the above, the controller 14 continuously receives and analyzes the image from the camera 16 and changes the product icon displayed on the display unit 11 when the devices captured by the camera 16 are changed. In addition, when the number of devices captured by the camera 16 is larger than the reference number, the controller 14 may limit the range of image recognition so that only the reference number of product icons is displayed on the display unit 11. For example, if six devices are captured by the camera 16 when the reference number is set to four, only four product icons are displayed on the display unit 11 by reducing the image recognition range so that only four devices can be captured.

다음으로 제어부(14)는 카메라(16)에 포착된 기기가 복수인지 판단한다(34). 만약 카메라(16)에 포착된 기기가 하나이면 카메라(16)에 포착된 기기의 제어메뉴를 메모리에서 찾아 표시부(11)에서 제어메뉴 아이콘으로 표시해 준다(40). 그러나 복수의 기기가 카메라(16)에 포착되었으면 표시부(11)에 표시된 여러 개의 제품 아이콘 중에서 사용자에 의해 하나의 제품 아이콘이 선택되었는지 판단한다(36). 만약 사용자에 의해 하나의 기기가 선택되었다면 제어부(14)는 해당 기기의 제어메뉴가 표시부(11)에 디스플레이 되도록 한다(38). 그리고 다시 사용자에 의해 그 중에서 하나의 제어메뉴가 선택되었는지 판단한다(42). 만약 사용자가 제어메뉴 아이콘을 터치하거나 입력부(12)를 사용하여 하나의 제어메뉴를 선택하면 제어부(14)는 선택된 제어명령이 적외선 송수신부(17)에서 제어대상기기(즉, 사용자가 제어하고자 하는 기기)로 전송되도록 한다(44). Next, the controller 14 determines whether there are a plurality of devices captured by the camera 16 (34). If there is only one device captured by the camera 16, the control menu of the device captured by the camera 16 is found in the memory and displayed by the control menu icon on the display unit 11 (40). However, when a plurality of devices are captured by the camera 16, it is determined whether a single product icon is selected by the user from among a plurality of product icons displayed on the display unit 11 (36). If one device is selected by the user, the controller 14 causes the control menu of the corresponding device to be displayed on the display unit 11 (38). Then, it is determined by the user whether one of the control menus is selected (42). If the user touches the control menu icon or selects one control menu using the input unit 12, the control unit 14 determines that the selected control command is controlled by the infrared transmitting / receiving unit 17 (that is, the user wants to control it). Device) (44).

본 발명은 통합 리모콘을 위한 것이지만 통합 리모콘 자체에만 한정되는 것은 아니며 통합 리모콘의 기능을 가질 수 있는 홈패드, 웹패드, PDA 및 휴대폰 등과 같은 장치에도 적용될 수 있다.The present invention is for an integrated remote control, but is not limited to the integrated remote control itself, and may be applied to devices such as home pads, web pads, PDAs, mobile phones, and the like, which may have a function of the integrated remote control.

또한, 본 실시예에서는 카메라(16) 및 적외선 송수신부(17)가 통합 리모콘의 상부(도1의 A지점)에 위치하는 것으로 보고 기술하였으나 카메라 및 적외선 송수신부도 다른 위치에 설치할 수 있다.In addition, in the present embodiment, the camera 16 and the infrared transceiver 17 are described as being located above the integrated remote controller (point A of FIG. 1), but the camera and the infrared transceiver may be installed at other locations.

이상에서 상세히 설명한 바와 같이, 본 발명은 카메라에서 포착된 기기의 제품아이콘을 표시해주고 제어를 원하는 기기를 사용자가 표시부에서 선택할 수 있도 록 하여 보다 용이하게 제어대상기기의 제어메뉴에 접근할 수 있다.As described in detail above, the present invention displays the product icon of the device captured by the camera and allows the user to select a device to be controlled on the display unit, thereby making it easier to access the control menu of the control target device.

또한, 패턴마크와 색상마크를 이용하여 카메라에 포착된 기기를 인식하므로 신속하고 정확하게 카메라에서 촬영된 기기를 식별할 수 있다.In addition, by using the pattern mark and color mark to recognize the device captured by the camera, it is possible to quickly and accurately identify the device captured by the camera.

Claims (6)

여러 기기의 외관 이미지를 화상 데이터로 저장하고,Store external images of multiple devices as image data, 카메라에서 기기를 촬영하고,Shoot the device on the camera, 상기 카메라에서 출력된 영상을 상기 화상 데이터와 비교하여 상기 카메라에서 촬영된 기기를 식별하고,Compare the image output from the camera with the image data to identify a device photographed by the camera, 식별된 기기의 제품 아이콘을 표시하는 통합 리모콘의 제어기기 인식방법How to recognize the control unit of the integrated remote controller that displays the product icon of the identified device 제1항에 있어서,The method of claim 1, 상기 화상 데이터는 상기 여러 기기의 일측에 패턴마크를 부착하여 얻은 외관 이미지를 포함하며, 상기 카메라에서 출력된 영상에서 패턴마크가 발견되면 이 패턴마크를 상기 화상 데이터에 들어있는 여러 기기의 패턴마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 하는 통합 리모콘의 제어기기 인식방법The image data includes an appearance image obtained by attaching a pattern mark to one side of the various devices, and when the pattern mark is found in the image output from the camera, the pattern mark is compared with the pattern marks of the various devices included in the image data. A method for recognizing a controller of an integrated remote controller, characterized in that identifying a device photographed by the camera in comparison. 제1항에 있어서,The method of claim 1, 상기 화상 데이터는 상기 여러 기기의 일측에 색상마크를 부착하여 얻은 외관 이미지를 포함하며, 상기 카메라에서 출력된 영상에서 색상마크가 발견되면 이 색상마크를 상기 화상 데이터에 들어있는 여러 기기의 색상마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 하는 통합 리모콘의 제어기기 인식방법The image data includes an appearance image obtained by attaching a color mark to one side of the various devices, and when the color mark is found in the image output from the camera, the color mark is compared with the color marks of the various devices included in the image data. A method for recognizing a controller of an integrated remote controller, characterized in that identifying a device photographed by the camera in comparison. 통합 리모콘의 주위에 위치하는 기기를 촬영하는 카메라와,The camera which photographs apparatus located around the integrated remote control, 상기 기기의 외관을 미리 촬영하여 얻은 화상 데이터를 저장하고 있는 인식 데이터 저장부와,A recognition data storage unit for storing image data obtained by photographing the appearance of the device in advance; 상기 카메라에서 촬영된 영상을 상기 인식 데이터 저장부에 저장되어 있는 화상 데이터와 비교하여 촬영된 기기를 인식하는 제어부와, A controller for recognizing a photographed device by comparing the image photographed by the camera with image data stored in the recognition data storage unit; 상기 제어부에서 인식된 기기를 표시하는 표시부를 포함하는 통합 리모콘Integrated remote controller including a display unit for displaying the device recognized by the control unit 제4항에 있어서,The method of claim 4, wherein 상기 화상 데이터는 상기 기기의 일측에 패턴마크 또는 색상마크를 부착한 상태에서 상기 기기를 촬영하여 얻고, 상기 제어부는 상기 카메라에서 촬영된 영상에 상기 패턴마크 또는 상기 색상마크가 있으면 상기 화상 데이터에 들어있는 패턴마크 또는 색상마크와 비교하여 상기 카메라에서 촬영된 기기를 식별하는 것을 특징으로 하는 통합 리모콘The image data is obtained by photographing the device in a state in which a pattern mark or a color mark is attached to one side of the device, and the control unit enters the image data if the pattern mark or the color mark is present in the image photographed by the camera. Integrated remote control, characterized in that to identify the device photographed by the camera compared to the pattern mark or color mark 제4항에 있어서,The method of claim 4, wherein 상기 제어부는 상기 카메라에서 촬영된 기기의 수가 기준개수 이상이면 화상인식의 범위를 줄여 기준개수의 기기만 상기 표시부에 표시되도록 하는 것을 특징으로 하는 통합 리모콘The controller may reduce the range of image recognition when the number of devices photographed by the camera is greater than or equal to the reference number so that only the reference number of devices is displayed on the display unit.
KR1020050064391A 2005-07-15 2005-07-15 A uniting remocon and method to seek a device to be controlled thereof KR20070009262A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050064391A KR20070009262A (en) 2005-07-15 2005-07-15 A uniting remocon and method to seek a device to be controlled thereof
EP06008661.8A EP1744290B1 (en) 2005-07-15 2006-04-26 Integrated remote controller and method of selecting device controlled thereby
US11/415,276 US20070013775A1 (en) 2005-07-15 2006-05-02 Integrated remote controller and method of selecting device controlled thereby
US13/064,869 US8836487B2 (en) 2005-07-15 2011-04-21 Integrated remote controller and method of selecting device controlled thereby

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050064391A KR20070009262A (en) 2005-07-15 2005-07-15 A uniting remocon and method to seek a device to be controlled thereof

Publications (1)

Publication Number Publication Date
KR20070009262A true KR20070009262A (en) 2007-01-18

Family

ID=38011115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050064391A KR20070009262A (en) 2005-07-15 2005-07-15 A uniting remocon and method to seek a device to be controlled thereof

Country Status (1)

Country Link
KR (1) KR20070009262A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946673B1 (en) * 2007-12-11 2010-03-12 한국전자통신연구원 Method and system for remote controlling of digital device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946673B1 (en) * 2007-12-11 2010-03-12 한국전자통신연구원 Method and system for remote controlling of digital device

Similar Documents

Publication Publication Date Title
EP1744290B1 (en) Integrated remote controller and method of selecting device controlled thereby
US10089008B2 (en) System and method for enhanced command input
KR101287497B1 (en) Apparatus and method for transmitting control command in home network system
US8643790B2 (en) Remote controller, image processing apparatus, and imaging system comprising the same
US8552832B2 (en) System and method for interactive appliance control
EP2093650B1 (en) User interface system based on pointing device
JP5172485B2 (en) Input device and control method of input device
EP2651117B1 (en) Camera apparatus and control method thereof
US7307573B2 (en) Remote control system and information process system
WO2009084140A1 (en) Input device, input operation method, and input control program for electronic device
US11671275B2 (en) Method and system of controlling device using real-time indoor image
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
JP2006146803A (en) Operation device, and remote operation system
US20140184493A1 (en) Electronic device and gesture contol method for electronic device
KR20070009262A (en) A uniting remocon and method to seek a device to be controlled thereof
KR20070009261A (en) A uniting remocon and method to select a device to be controlled thereof
US20170332032A1 (en) Media system and method for implementing various modes using force input
JP2005150878A (en) Portable information processing apparatus, information processing method
EP3247122A1 (en) Image processing terminal and method for controlling an external device using the same
KR101075226B1 (en) A uniting remocon and method to seek a device to be controlled thereof
JP2000188792A (en) Method for sharing key and method for sharing the same function
JP2003283865A (en) Apparatus controller
KR20190042344A (en) Intelligent shorten control method using touch technology and electronic device thereof
JPH08322094A (en) Equipment operation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20120227

Effective date: 20130819