KR101381366B1 - 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법 - Google Patents

동작 인식 리모트 컨트롤러 장치 및 그 구동 방법 Download PDF

Info

Publication number
KR101381366B1
KR101381366B1 KR1020120126723A KR20120126723A KR101381366B1 KR 101381366 B1 KR101381366 B1 KR 101381366B1 KR 1020120126723 A KR1020120126723 A KR 1020120126723A KR 20120126723 A KR20120126723 A KR 20120126723A KR 101381366 B1 KR101381366 B1 KR 101381366B1
Authority
KR
South Korea
Prior art keywords
remote controller
unit
display device
movement
leds
Prior art date
Application number
KR1020120126723A
Other languages
English (en)
Inventor
이길재
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to KR1020120126723A priority Critical patent/KR101381366B1/ko
Priority to PCT/KR2013/010134 priority patent/WO2014073903A1/ko
Application granted granted Critical
Publication of KR101381366B1 publication Critical patent/KR101381366B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Position Input By Displaying (AREA)

Abstract

디스플레이 디바이스(display device)를 제어하는 동작 인식 리모트 컨트롤러 장치가 개시된다. 리모트 컨트롤러는 디스플레이 디바이스를 향하는 제1면에 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부를 포함한다. 제어부는 리모트 컨트롤러의 위치 및 움직임을 파악하여 사용자가 원하는 명령을 인식하여 디스플레이 디바이스를 제어한다. 본 발명에 따르면, 기존 리모트 컨트롤러에 간단한 LED나 색상부를 부가함으로써, 스마트 TV에 필요한 동작 인식 기능을 구현할 수 있다. 또한, 스마트 TV에 이미 카메라가 부착되어 있는 경우 부착된 카메라를 이용하여 동작 인식 기능을 구현할 수 있고, 나아가, 명령 입력 스위치를 함께 이용하여 스마트 TV의 위치 기반 메뉴 선택 및 웹서핑 등을 손쉽게 이용할 수 있다.

Description

동작 인식 리모트 컨트롤러 장치 및 그 구동 방법{Apparatus for gesture recognition remote controller and operating method for the same}
본 발명은 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법에 관한 것으로, 더욱 상세하게는, 리모트 컨트롤러의 움직임을 해석하여 디스플레이 디바이스를 제어하는 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법에 관한 것이다.
최근 들어 스마트 디스플레이 디바이스들이 각광받고 있다. 스마트 디스플레이 디바이스는 기존 디스플레이 디바이스의 기능에 컴퓨터의 기능이 합해진 것으로 기존의 수동적인 방식에서 벗어나 능동적인 방식으로 사용자와 상호 작용을 할 수 있다. 이를 위해 스마트 디스플레이 상 다양한 메뉴들을 선택하고 실행할 수 있어야 한다. 즉, 컴퓨터의 마우스 역할을 할 수 있는 별도의 디바이스의 필요성이 대두되고 있다.
휴대폰이나 태블릿과 같은 소형 스마트 디스플레이 디바이스들의 경우 직접 터치해서 메뉴를 선택할 수 있는 터치스크린을 사용하고 있다. 그러나 스마트 디스플레이 디바이스의 일예인, 스마트 TV와 같이 원거리에서 사용자가 디바이스를 이용하는 경우 직접 터치하는 것이 불가능하다. 또한, 기존 리모트 컨트롤러를 이용하여 메뉴를 선택하려면 상하좌우 키를 이용하여 메뉴의 위치를 움직여야 하는 불편함이 있다. 또한, 스마트 TV에서 제공되는 게임의 경우 화면 상 사용자가 원하는 위치로 빠른 시간 내에 자유자재로 움직일 수 있어야 한다. 즉, 이를 위해서는 화면상에 나타나는 커서의 위치를 사용자가 원하는 대로 빠르고 정확하게 움직일 수 있는 방법이 필요하다.
스마트 TV의 커서를 움직이기 위해 리모트 컨트롤러에 광마우스를 부가하는 방법을 고려할 수 있다. 그러나 이는 한번에 커서의 위치를 움직이지 못하는 경우가 발생할 수 있다. 예를 들어, 하방 우측에서 상방 좌측으로 커서를 이동하려면 연속적으로 여러번 미는 동작을 수행해야 한다. 따라서 스마트 TV에서 제공하는 게임을 할 경우 이는 바람직하지 않은 방법이다. 또 다른 방법으로 리모트 컨트롤러에 각속도 센서를 부가하여 리모컨의 움직임을 감지하는 것을 고려할 수 있다. 그러나 이는 각속도 센서 비용이 증가하고 각속도 센서의 특성상 움직이면서 사용하기 어렵다는 문제점이 있다.
따라서 최근에는 화상통신을 위해 스마트 TV에 카메라가 부착되는 제품들이 증가하고 있다. 이 경우 카메라가 이용자를 보고 있기 때문에 카메라가 획득한 이용자의 움직임에 대해 소정의 영상 처리를 통해서 화면상 커서를 이동시킬 수 있다.
이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2011-0014344호(발명의 명칭 : 공간 이동 인식 리모컨 장치, 영상처리장치 및 그 제어방법과 이를 포함하는 공간 이동 인식 리모컨 시스템)에는 리모컨의 공간 움직임을 감지하고, 영상처리장치의 화면에 표시된 아이콘의 위치가 리모컨 몸체의 움직임에 따라 변경되도록 하는 리모컨 시스템을 개시하고 있다.
또한, 한국공개공보 제2010-0041377호(발명의 명칭 : 리모컨 및 이를 이용한 입력 상태 표시 방법)에는 리모컨 상에 영상 표시 기기로의 신호 입력 상태를 나타낼 수 있는 LCD/LED를 구비하고 리모컨 내부에 이동 감지 센서를 구비하여 리모컨의 움직임에 의해 영상 표시 기기의 음량이나 채널을 제어하고 이를 화면상에 표시하는 리모컨을 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 기존 리모트 컨트롤러에 간단한 LED나 색상부를 부가함으로써, 스마트 TV에 필요한 동작 인식 기능을 구현할 수 있는 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 스마트 TV에 카메라가 부착되어 있는 경우 부착된 카메라를 이용하여 동작 인식 기능을 구현할 수 있고, 나아가, 명령 입력 스위치를 함께 이용하여 스마트 TV의 위치 기반 메뉴 선택 및 웹 서핑 등을 손쉽게 이용할 수 있는 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 동작 인식 리모트 컨트롤러 장치는, 디스플레이 디바이스(display device)를 제어하는 동작 인식 리모트 컨트롤러 장치에 있어서, 리모트 컨트롤러; 및 상기 리모트 컨트롤러의 위치 및 움직임을 파악하여 사용자가 원하는 명령을 인식하여 상기 디스플레이 디바이스를 제어하는 제어부;를 포함하며, 상기 리모트 컨트롤러는 상기 디스플레이 디바이스를 향하는 제1면에 상기 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 동작 인식 리모트 컨트롤러 장치의 구동 방법은, 디스플레이 디바이스(display device)를 제어하는 동작 인식 리모트 컨트롤러 장치가 수행하는 상기 동작 인식 리모트 컨트롤러 장치의 구동 방법에 있어서, (a) 리모트 컨트롤러의 위치 및 움직임 영상을 연속적으로 획득하는 단계; (b) 상기 획득된 연속 영상을 통해 상기 리모트 컨트롤러의 위치 및 움직임 궤적을 계산하는 단계; 및 (c) 상기 리모트 컨트롤러의 위치 및 움직임 궤적을 파악하여 사용자가 원하는 명령을 인식하여 상기 디스플레이 디바이스를 제어하는 단계;를 포함하며, 상기 리모트 컨트롤러는 상기 디스플레이 디바이스를 향하는 제1면에 상기 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부를 갖는다.
본 발명에 따른 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법에 의하면, 기존 리모트 컨트롤러에 간단한 LED나 색상부를 부가함으로써, 스마트 TV에 필요한 동작 인식 기능을 구현할 수 있다. 또한, 스마트 TV에 이미 카메라가 부착되어 있는 경우 부착된 카메라를 이용하여 동작 인식 기능을 구현할 수 있고, 나아가, 명령 입력 스위치를 함께 이용하여 스마트 TV의 위치 기반 메뉴 선택 및 웹 서핑 등을 손쉽게 이용할 수 있다.
도 1은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 제어부의 구성을 도시한 블록도,
도 3은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모터 컨트롤러의 구성을 도시한 블록도,
도 4 내지 도 7은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모트 컨트롤러의 일례를 도시한 도면,
도 8은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모트 컨트롤러를 앞뒤로 움직였을 때 위치 표시부의 거리가 변화하는 것을 도시한 도면,
도 9는 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모트 컨트롤러를 시계 방향으로 회전시켰을 때 위치 표시부의 위치가 변화하는 것을 도시한 도면,
도 10은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모트 컨트롤러를 반시계 방향으로 회전시켰을 때 위치 표시부의 위치가 변화하는 것을 도시한 도면, 그리고,
도 11은 본 발명에 따른 본 발명에 따른 동작 인식 리모트 컨트롤러 장치를 구성하는 리모트 컨트롤러 상에 배치된 LED를 점멸시켜 다른 물체와 리모트 컨트롤러를 구별하는 방법을 도시한 그래프이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 동작 인식 리모트 컨트롤러 장치 및 구동 방법의 바람직한 실시예에 대해 상세하게 설명한다.
디스플레이 디바이스(display device) 상에 표시되는 메뉴들을 선택하고 선택을 입력하기 위해서는 컴퓨터의 마우스와 같은 기능이 필요하다. 즉, 화면상에 커서(cursor)를 온(on) 시키고 커서를 원하는 메뉴 위로 가져가서 선택할 수 있어야 한다. 이와 같은 기능을 구현하기 위해 리모컨에 터치 스크린을 부가하거나 각속도 센서를 이용하여 리모컨의 움직임을 감지하는 방법을 사용한다.
특히, 최근에는 디스플레이 디바이스(display device)에 카메라가 장착되어 나오는 경우가 늘고 있다. 이 경우에는 카메라가 시청자를 볼 수 있으므로 시청자의 맨손의 움직임을 영상 처리해서 커서를 움직이도록 할 수 있다. 그러나 이 경우 신뢰성 있는 맨손 동작 인식 시스템을 구현하기 위해서는 복잡한 영상 처리가 필요하고, 주변 환경에 따른 오류가 종종 발생한다. 따라서 본 발명에 따른 동작 인식 리모트 컨트롤러 장치 및 구동 방법에서는 간단한 영상처리로 리모트 컨트롤러의 자세를 알아낼 수 있는 '위치 표시부'를 리모트 컨트롤러의 전면부에 부가하여 신뢰성 있고 값싼 마우스 기능을 구현하고자 한다.
도 1은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치(100)의 구성을 도시한 블록도이고, 도 2는 본 발명에 따른 동작 인식 리모트 컨트롤러 장치(100)를 구성하는 제어부(120)의 구성을 도시한 블록도이며, 도 3은 본 발명에 따른 동작 인식 리모트 컨트롤러 장치(100)를 구성하는 리모트 컨트롤러(110)의 구성을 도시한 블록도이다.
도 1 내지 도 3을 참조하면, 본 발명에 따른 동작 인식 리모트 컨트롤러 장치(100)는 리모트 컨트롤러(110) 및 제어부(120)로 구성된다. 이때, 제어부(120)는 영상 획득부(210), 위치 계산부(220), 궤적 계산부(230) 및 동작 인식부(240)를 포함할 수 있으며, 리모트 컨트롤러(110)는 위치 표시부(310) 및 명령 입력부(320)를 포함할 수 있다.
일반적으로 사용자들은 손에 리모트 컨트롤러(110)를 잡고 디스플레이 디바이스(130)를 향해 원하는 버튼을 누르면서 디스플레이 디바이스(130)를 원하는 바대로 제어한다. 따라서 본 발명에 따른 리모트 컨트롤러(110)는 디스플레이 디바이스(130)를 향하는 제1면(115)에 리모트 컨트롤러(110)의 위치 및 움직임 상태를 알려주는 위치 표시부(310)를 배치한다. 즉, 디스플레이 디바이스(130)를 향하는 리모트 컨트롤러(110)의 전면부에 리모트 컨트롤러(110)의 위치를 쉽게 알아볼 수 있도록 소정의 표시를 하는 것이다. 즉, 리모트 컨트롤러(110)의 제1면(115) 상에 LED부(312) 및/또는 색상부(314)를 적절히 조합하여 리모트 컨트롤러(110)를 다른 물체와 구분되도록 한다. 이때, 제1면(115) 상에 LED부(312) 및/또는 색상부(314)가 일직선으로 배치될 수 있으나, 이에 한정되지는 않는다.
구체적으로, 도 4에 도시된 바와 같이 위치 표시부(310)는 디스플레이 디바이스(130)를 향하는 제1면(115) 상에 일직선으로 둘 이상의 LED가 배치된 LED부(312)로 이루어질 수 있다. 즉, 다른 물체와의 구별을 용이하게 하기 위해 2개의 LED를 일정 거리 이격시켜 배치할 수 있다. 이때, 2개의 LED는 서로 다른 색상을 이용할 수 있다.
또는, 도 5에 도시된 바와 같이 위치 표시부(310)는 제1면(115) 상에 일직선으로 둘 이상의 색상을 입힌 색상부(314)로 이루어질 수 있다. 즉, 리모트 컨트롤러(110)의 제1면(115)에 일직선상으로 두 가지 색상을 입힐 수 있다. 이때, 두 가지 색상은 빨강과 파랑으로 하는 것이 바람직하다. 이는 카메라의 출력 중 빨강 성분(Cr)과 파랑 성분(Cb)을 이용하면 영상을 해석하기 용이하기 때문이다. 즉, 카메라로 영상을 취득하여 색이 다른 두 개의 직선이 연결되어 있는 특징을 이용하면 다른 물체들과의 구분이 용이하다.
나아가, 도 6에 도시된 바와 같이 제1면(115) 상에 일직선으로 하나 이상의 LED가 배치된 LED부(312)와 하나 이상의 색상을 입힌 색상부(314)가 함께 위치 표시부(310)를 구성할 수 있다. 즉, 발광하는 1개의 LED로 이루어진 LED부(312) 양 옆으로 서로 다른 색상을 입힌 색상부(314)를 구성할 수 있다.
또한, 위치 표시부(310)는 1개의 LED로 구성된 LED부(312)로도 다른 물체와 구별할 수 있는데, 도 11에 도시된 바와 같이 1개의 LED를 점멸시키고 카메라를 점멸 주파수의 2배 이상으로 촬상하면 LED가 화면상에 존재했다가 없어지게 된다. 따라서 상술한 특징을 이용하여 다른 물체와의 구별을 가능하게 할 수 있다.
명령 입력부(320)는 디스플레이 디바이스(130)에 대한 제어를 시작(start)하고, 사용자가 원하는 명령을 인식했을 때 해당 명령을 실행(OK 버튼의 역할)시킨다. 즉, 리모트 컨트롤러(110)의 명령 입력부(320)는 마우스의 왼쪽 버튼 역할을 한다. 명령 입력부(320)는 리모트 컨트롤러(110)의 다른 버튼과 마찬가지로 적외선으로 디스플레이 디바이스(130)에 전달할 수 있으나, 카메라를 이용하는 경우에는 일반 LED의 점멸 상태로 전달할 수 있다. 예를 들어, 도 7에 도시된 바와 같이 펜 형태의 리모트 컨트롤러(110)를 구성하고, 리모트 컨트롤러(110)의 제1면(115)에 색상부(314)를 입히고, 1개의 LED(312)를 점멸시켜 명령 입력부(320)의 역할을 할 수 있다. 카메라는 색상부(314)를 추적하고, 색상부(314) 내의 LED(312)가 켜져 있는지 꺼져 있는지 판별하면 명령 입력부(320)가 눌러졌는지 아닌지를 알 수 있고 이를 통해 디스플레이 디바이스(130)를 제어할 수 있게 된다. 이렇게 하면 평상시에는 LED(312)는 꺼져있고 명령 입력부(320)가 눌러질 때만 발광하므로 건전지 에너지를 적게 소비하게 된다. 따라서 이를 통해 리모트 컨트롤러(110)의 형태를 단순하면서도 소형으로 제작할 수 있게 된다.
제어부(120)는 상술한 리모트 컨트롤러(110)의 위치 및 움직임을 파악하여 사용자가 원하는 명령을 인식하여 디스플레이 디바이스(130)를 제어한다. 제어부(120)는 영상 획득부(210), 위치 계산부(220), 궤적 계산부(230) 및 동작 인식부(240)를 포함한다.
영상 획득부(210)는 위치 표시부(310)로부터 촬영된 리모트 컨트롤러의 위치 및 움직임 영상을 연속적으로 획득한다. 이때 영상 획득부(210)는 상술한 바와 같이 디스플레이 디바이스(130)에 이미 설치된 카메라를 통해 리모트 컨트롤러(110)의 영상을 획득할 수 있다. 만약, 디스플레이 디바이스(130)에 카메라가 설치되지 않은 경우라면 별도의 카메라(미도시)를 설치하여 리모트 컨트롤러(110)의 영상을 획득할 수도 있다.
위치 계산부(220)는 영상 획득부(210)로부터 획득된 연속 영상을 통해 위치 표시부(310)의 위치를 계산하고, 이렇게 계산된 위치로부터 궤적 계산부(230)는 위치 표시부(310)의 연속적인 움직임 궤적을 계산한다. 위치 계산부(220)는 획득된 리모트 컨트롤러(110)의 연속 영상으로부터 도 4에 도시된 바와 같이 일정 거리 이격된 복수의 LED를 인식하여 리모트 컨트롤러(110)의 위치를 계산할 수 있다. 또는, 위치 계산부(220)는 획득된 리모트 컨트롤러(110)의 연속 영상으로부터 도 5에 도시된 바와 같이 복수의 색상부를 인식하여 리모트 컨트롤러(110)의 위치를 계산할 수 있다. 그리고 나서, 궤적 계산부(230)는 위치 계산부(220)를 통해 획득한 복수 LED의 상대적인 위치 및 거리, 또는 복수 색상부의 상대적인 위치 및 거리를 토대로 리모트 컨트롤러(110)의 움직임을 파악할 수 있다. 동작 인식부(240)는 위치 표시부(310) 및 궤적 계산부(230)에서 파악한 리모트 컨트롤러(110)의 위치 및 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하게 된다.
도 8 내지 도 10은 카메라에서 본 복수 색상부(314)의 상대적인 위치를 이용하여 리모트 컨트롤러(110)의 움직임을 파악하는 모습을 도시한 도면이다. 도 8을 참조하면, 리모트 컨트롤러(110)가 앞, 뒤로 움직이는 경우를 2개 색상부(314)의 거리가 늘고 줄어듦을 이용하여 알 수 있다. 또한, 도 9 내지 도 10을 참조하면, 리모트 컨트롤러(110)가 시계 방향으로 회전하는지 반시계 방향으로 회전하는지 파악할 수 있다. 즉, 리모트 컨트롤러(110)의 회전 방향을 감지하면 회전 동작에 따른 명령 수행이 가능하다. 예를 들어, 리모트 컨트롤러(110)를 시계 방향으로 회전하면 줌인 기능을 수행하고, 반시계 방향으로 회전하면 줌아웃 기능을 수행할 수 있도록 설정할 수 있다.
리모트 컨트롤러(110)의 구체적인 사용 예를 살펴보면, 사용자가 본 발명에 따른 동작 인식 리모트 컨트롤러 장치(100)를 구동하기 위해서는 리모트 컨트롤러(110)를 들어 명령 입력부(320)를 1회 누른다. 명령 입력부(320)를 1회 누르면 리모트 컨트롤러(110)의 다른 버튼과 마찬가지로 적외선으로 신호를 전달하게 되고 화면에 커서가 출력된다. 리모트 컨트롤러(110)를 움직이게 되면 위치 표시부(310)의 영상을 영상 획득부(210)를 통해 연속적으로 취득하게 되고 색상부(314)의 상대적인 위치 및 거리 정보를 통해 위치 계산부(220)는 리모트 컨트롤러(110)의 위치 를 파악하게 된다. 그리고 나서 궤적 계산부(230)를 통해 리모트 컨트롤러(110)의 움직임 궤적을 계산하고, 이러한 과정을 통해 커서의 위치를 이동하고 선택하고자 하는 메뉴 위에서 명령 입력부(320)를 누르면 해당 메뉴를 실행할 수 있게 된다. 상술한 과정은 일반적으로 마우스를 구동하는 것과 동일한 방법으로, 직관적으로 리모트 컨트롤러(110)를 손쉽게 구동할 수 있게 된다.
나아가, 웹 서핑을 하기 위해서는 화면을 스크롤(scroll)할 수 있는 기능이 필요하다. 이 경우에는 명령 입력부(320)를 누른채 아래로 리모트 컨트롤러(110)를 내리면 아래 방향으로 스크롤하고, 명령 입력부(320)를 누른채 위로 리모트 컨트롤러(110)를 올리면 위 방향으로 스크롤될 수 있다. 메뉴를 선택할 때는 원하는 위치로 명령 입력부(320)를 누르지 않고 커서를 먼저 해당 메뉴 위치로 이동시켜 명령 입력부(320)를 누르도록 한다. 이 경우 터치 스크린의 입력 방법과 유사하므로 직관적인 명령 수행이 가능해진다.
지도를 볼 경우, 명령 입력부(320)를 누른 채로 리모트 컨트롤러(110)를 원하는 방향으로 움직이면 화면을 리모트 컨트롤러(110)의 방향으로 스크롤 할 수 있다. 또한, 명령 입력부(320)를 누른 채 시계 방향으로 리모트 컨트롤러(110)를 회전하면 줌인(zoom-in), 반시계 방향으로 리모트 컨트롤러(110)를 회전하면 줌아웃(zoom-out) 기능을 수행할 수 있다.
즉, 상술한 구체적인 예와 같은 방법으로 터치스크린에서 수행하는 동작들을 명령 입력부(320)와 리모트 컨트롤러(110)의 움직임을 이용하면 손쉽게 수행할 수 있다.
이상의 설명에서 '제1', '제2' 등의 용어는 다양한 구성요소들을 설명하기 위해 사용되었지만, 각각의 구성요소들은 이러한 용어들에 의해 한정되어서는 안 된다. 즉, '제1', '제2' 등의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로 사용되었다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, '및/또는'이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미로 사용되었다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 동작 인식 리모트 컨트롤러 장치
110 : 리모트 컨트롤러 120 : 제어부
130 : 디스플레이 디바이스 210 : 영상 획득부
220 : 위치 계산부 230 : 궤적 계산부
240 : 동작 인식부 310 : 위치 표시부
320 : 명령 입력부 312 : LED부
314 : 색상부

Claims (22)

  1. 디스플레이 디바이스(display device)를 제어하는 동작 인식 리모트 컨트롤러 장치에 있어서,
    리모트 컨트롤러; 및
    상기 리모트 컨트롤러의 위치 및 움직임을 파악하여 사용자가 원하는 명령을 인식하여 상기 디스플레이 디바이스를 제어하는 제어부;를 포함하고,
    상기 리모트 컨트롤러는 상기 디스플레이 디바이스를 향하는 제1면에 설치된 복수 개의 LED가 배치된 LED부 또는 복수 개의 색상을 입힌 색상부에 의해 상기 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부;를 포함하며,
    상기 제어부는,
    상기 위치 표시부로부터 촬영된 상기 리모트 컨트롤러의 위치 및 움직임 영상을 연속적으로 획득하는 영상 획득부;
    상기 영상 획득부로부터 획득된 연속 영상으로부터 일정 거리 이격된 상기 복수 개의 LED 또는 상기 복수 개의 색상을 인식하여 상기 리모트 컨트롤러 위치를 계산하는 위치 계산부;
    상기 계산된 위치로부터 상기 위치 표시부의 연속적인 움직임 궤적을 계산하는 궤적 계산부; 및
    상기 위치 표시부의 움직임 궤적을 분석하여 사용자가 원하는 명령을 인식하는 동작 인식부;를 포함하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 복수 개의 LED 및 상기 복수 개의 색상은 상기 제1면상에 일직선으로 배치되는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  5. 삭제
  6. 제 1항 또는 제 4항에 있어서,
    상기 리모트 컨트롤러는,
    상기 디스플레이 디바이스에 대한 제어를 시작하고, 사용자가 원하는 명령을 인식했을 때 상기 명령을 실행시키는 명령 입력부를 더 포함하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  7. 삭제
  8. 제 1항 또는 제 4항에 있어서,
    상기 궤적 계산부는 상기 위치 계산부를 통해 획득한 상기 복수 개의 LED의 상대적인 위치 및 거리를 토대로 상기 리모트 컨트롤러의 움직임을 파악하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  9. 제 1항 또는 제 4항에 있어서,
    상기 궤적 계산부는 상기 위치 계산부를 통해 획득한 상기 복수 개의 색상의 상대적인 위치 및 거리를 토대로 상기 리모트 컨트롤러의 움직임을 파악하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  10. 제 1항 또는 제 4항에 있어서,
    상기 위치 표시부는 상기 복수 개의 LED 중 임의의 제1LED는 점멸하고,
    상기 영상 획득부는 상기 점멸하는 제1LED의 주파수의 2배 이상으로 샘플링하여 연속 영상을 획득하고,
    상기 위치 계산부는 상기 연속 영상으로부터 점멸하는 상기 제1LED를 인식하여 상기 리모트 컨트롤러의 위치를 계산하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  11. 제 1항 또는 제 4항에 있어서,
    상기 동작 인식부는 상기 위치 계산부로부터 획득된 상기 리모트 컨트롤러의 움직임이 시계 방향으로 회전하는 것이면 줌인 동작으로 인식하고, 반시계 방향으로 회전하는 것이면 줌아웃 동작으로 인식하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  12. 제 1항 또는 제 4항에 있어서,
    상기 명령 입력부는 상기 복수 개의 LED 중 적어도 하나의 LED의 점멸 상태에 따라 온/오프(on/off) 상태를 표시하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치.
  13. 디스플레이 디바이스(display device)를 제어하는 동작 인식 리모트 컨트롤러 장치가 수행하는 상기 동작 인식 리모트 컨트롤러 장치의 구동 방법에 있어서,
    (a) 상기 디스플레이 디바이스를 향하는 제1면에 설치된 복수 개의 LED가 배치된 LED부 또는 복수 개의 색상을 입힌 색상부에 의해 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부를 포함하는 리모트 컨트롤러의 위치 및 움직임 영상을 연속적으로 획득하는 단계;
    (b) 상기 획득된 연속 영상으로부터 일정 거리 이격된 상기 복수 개의 LED 또는 상기 복수 개의 색상을 인식하여 상기 리모트 컨트롤러 위치 및 움직임 궤적을 계산하는 단계; 및
    (c) 상기 리모트 컨트롤러의 위치 및 움직임 궤적을 파악하여 사용자가 원하는 명령을 인식하여 상기 디스플레이 디바이스를 제어하는 단계;를 포함하며,
    상기 리모트 컨트롤러는 상기 디스플레이 디바이스를 향하는 제1면에 상기 리모트 컨트롤러의 위치 및 움직임 상태를 알려주는 위치 표시부를 포함하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  14. 삭제
  15. 삭제
  16. 제 13항에 있어서,
    상기 리모트 컨트롤러는,
    상기 디스플레이 디바이스에 대한 제어를 시작하고, 사용자가 원하는 명령을 인식했을 때 상기 명령을 실행시키는 명령 입력부를 더 포함하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  17. 삭제
  18. 제 13항 또는 16항에 있어서,
    상기 (b) 단계에서, 상기 복수 개의 LED의 상대적인 위치 및 거리를 토대로 상기 리모트 컨트롤러의 움직임을 파악하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  19. 제 13항 또는 16항에 있어서,
    상기 (b) 단계에서, 상기 복수 개의 색상의 상대적인 위치 및 거리를 토대로 상기 리모트 컨트롤러의 움직임을 파악하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  20. 제 13항 또는 16항에 있어서,
    상기 복수 개의 LED 중 임의의 제1LED는 점멸하고, 상기 점멸하는 제1LED의 주파수의 2배 이상으로 샘플링하여 연속 영상을 획득하고, 상기 연속 영상으로부터 점멸하는 상기 제1LED를 인식하여 상기 리모트 컨트롤러의 위치를 계산하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  21. 제 13항 또는 16항에 있어서,
    상기 획득된 리모트 컨트롤러의 움직임이 시계 방향으로 회전하는 것이면 줌인 동작으로 인식하고, 반시계 방향으로 회전하는 것이면 줌아웃 동작으로 인식하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.
  22. 제 13항 또는 16항에 있어서,
    상기 명령 입력부는 상기 복수 개의 LED 중 적어도 하나의 LED부의 점멸 상태에 따라 온/오프(on/off) 상태를 표시하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러 장치의 구동 방법.


KR1020120126723A 2012-11-09 2012-11-09 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법 KR101381366B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120126723A KR101381366B1 (ko) 2012-11-09 2012-11-09 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법
PCT/KR2013/010134 WO2014073903A1 (ko) 2012-11-09 2013-11-08 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126723A KR101381366B1 (ko) 2012-11-09 2012-11-09 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법

Publications (1)

Publication Number Publication Date
KR101381366B1 true KR101381366B1 (ko) 2014-04-04

Family

ID=50656526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126723A KR101381366B1 (ko) 2012-11-09 2012-11-09 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법

Country Status (2)

Country Link
KR (1) KR101381366B1 (ko)
WO (1) WO2014073903A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017120832A1 (zh) * 2016-01-14 2017-07-20 陈学良 一种根据光标移动换台的方法以及遥控器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246555B1 (ko) * 2014-09-01 2021-04-30 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120115898A (ko) * 2011-04-11 2012-10-19 경북대학교 산학협력단 촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239279A (ja) * 2010-05-12 2011-11-24 Hitachi Consumer Electronics Co Ltd 遠隔制御装置および遠隔制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120115898A (ko) * 2011-04-11 2012-10-19 경북대학교 산학협력단 촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017120832A1 (zh) * 2016-01-14 2017-07-20 陈学良 一种根据光标移动换台的方法以及遥控器

Also Published As

Publication number Publication date
WO2014073903A1 (ko) 2014-05-15

Similar Documents

Publication Publication Date Title
EP2733574B1 (en) Controlling a graphical user interface
KR101194883B1 (ko) 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
US20120200494A1 (en) Computer vision gesture based control of a device
WO2015024252A1 (zh) 一种遥控器、信息处理方法及系统
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
KR101533319B1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
JP5581817B2 (ja) 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
JP2009042796A (ja) ジェスチャー入力装置および方法
WO2007088939A1 (ja) 情報処理装置
JP2012521594A (ja) マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法
US20150109437A1 (en) Method for controlling surveillance camera and system thereof
KR20130142824A (ko) 원격 제어 장치 및 그 제어 방법
US20150193000A1 (en) Image-based interactive device and implementing method thereof
US20110095983A1 (en) Optical input device and image system
KR101512239B1 (ko) 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
US10884518B2 (en) Gesture detection device for detecting hovering and click
JP6364790B2 (ja) ポインティングデバイス
JPWO2017047180A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101381366B1 (ko) 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
KR20110130951A (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR101588021B1 (ko) 헤드 마우스
TW201421285A (zh) 具有指向功能的可攜式電腦及指向系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7