KR20130123180A - 동작 인식 리모트 컨트롤러 - Google Patents

동작 인식 리모트 컨트롤러 Download PDF

Info

Publication number
KR20130123180A
KR20130123180A KR20120046417A KR20120046417A KR20130123180A KR 20130123180 A KR20130123180 A KR 20130123180A KR 20120046417 A KR20120046417 A KR 20120046417A KR 20120046417 A KR20120046417 A KR 20120046417A KR 20130123180 A KR20130123180 A KR 20130123180A
Authority
KR
South Korea
Prior art keywords
hand
motion
trajectory
recognition
remote signal
Prior art date
Application number
KR20120046417A
Other languages
English (en)
Other versions
KR101370022B1 (ko
Inventor
이길재
조남현
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to KR1020120046417A priority Critical patent/KR101370022B1/ko
Priority to US14/397,762 priority patent/US9529443B2/en
Priority to PCT/KR2013/003778 priority patent/WO2013165177A1/ko
Publication of KR20130123180A publication Critical patent/KR20130123180A/ko
Application granted granted Critical
Publication of KR101370022B1 publication Critical patent/KR101370022B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명은 손을 인식하지 않고 동작을 인식할 수 있는 방법 및 효율적인 동작을 제안하고, 보다 안정적으로 저비용에 구현할 수 있는 동작 인식 리모트 컨트롤러에 관한 것이다. 본 발명에 따른 동작 인식 리모트 컨트롤러는 손의 연속 영상들을 취득하는 영상취득부와, 취득된 연속 영상들의 차 영상을 구하는 차영상 구성부와, 차영상들로부터 상기 손의 이동 궤적을 분석하는 손궤적 분석부와, 손궤적을 분석하여 손동작을 인식하는 동작 인식부와, 제어 대상 기기가 제어되도록 인식된 손동작에 대응되는 리모트 신호를 송출하는 리모트 신호 송출기를 포함한다.

Description

동작 인식 리모트 컨트롤러{Gesture recognition remote controller}
본 발명은 동작 인식 리모트 컨트롤러에 관한 것으로, 보다 구체적으로는 손을 움직이는 움직임을 해석하여 제어하고자 하는 제어 대상 기기를 원격으로 제어하는 동작 인식 리모트 컨트롤러에 관한 것이다.
최근 들어 전자 제품들을 제어하는 입력 방법이 다양해지고 있다. 음성 인식, 동작 인식 등의 방법들이 많은 전자 제품 제어 방법으로 개발되고 있다. 이들 방법은 원격으로 제품들을 제어할 수 있으며, 인간의 신체의 일부분을 이용하여 명령을 전달하기 때문에 스마트 시대에 맞는 스마트한 입력 방법으로 각광받고 있다.
동작인식을 이용하여 기존의 리모컨을 대체하는 경우 리모컨을 사용하지 않기 때문에 리모컨을 찾을 필요도 없고 많은 리모컨을 관리할 필요도 없게 된다. 즉, 제어할 대상에 맞는 미리 정해진 동작으로 리모컨의 기본동작을 대체함으로써 리모컨을 찾으러 다니지 않고 그 자리에서 손을 움직여 대상 기기를 제어할 수 있으며, 편리성 측면에서 큰 시장을 만들어낼 수 있는 기술이다.
한편, 인간의 동작을 인식하기 위해서는 인간의 동작을 인식하기 위한 영상 처리가 필요한데, 이러한 영상처리의 가장 큰 문제는 인간의 몸과 배경을 분리하는 것이다.
이를 쉽게 해결할 수 있는 방법이 3차원 깊이 카메라를 이용하는 방법이다. 즉, 3차원 깊이 카메라의 경우 거리에 따른 밝기가 영상으로 나타나므로, 앞에 있는 물체일수록 밝게 나타나며, 이 특징을 이용하면 상대적으로 밝은 부분들을 추출함으로써 인간의 신체를 배경과 분리할 수 있고, 각 관절로 모델링 해서 인간의 움직임을 찾아낼 수 있다. 하지만 3차원 깊이 카메라는 고가이기 때문에 저가의 리모컨을 대체하기에는 한계가 있다.
따라서, 2차원 카메라를 이용하여 손을 인식하여 리모컨 기능을 대체하려는 노력들이 있어 왔고, 공개특허 제10-2011-0033318호와 같은 많은 특허들이 출원된 바 있다. 그런데, 이들 방법의 대부분의 경우, 손 영역을 추출하여 손의 움직임을 인식하는 과정을 포함한다.
하지만, 영상에서 손을 인식하는 것은 실제적으로는 많은 문제가 따른다. 즉, 손과 배경을 분리하는 것이 쉬운 작업이 아니고, 복잡한 영상 처리를 필요로 하고 오류율도 높다. 또한, 손을 분리하기 위해서는 주로 피부의 색깔을 이용하는데, 이 경우 피부의 색깔이 틀린 사람의 경우는 인식하기 힘들고, 조명 상태 등이 바뀜에 따라 안정적으로 동작하기 힘들다. 그리고, 이와 같이 손을 추출하여 손인지 아닌지 인식하는데 실패하는 경우, 더 이상의 손동작 인식 과정이 진행되기 어렵다는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 손을 인식하지 않고 동작을 인식할 수 있는 방법 및 효율적인 동작을 제안하고, 보다 안정적으로 저비용에 구현할 수 있는 동작 인식 리모트 컨트롤러를 제공하는 것이다.
본 발명에 따른 동작 인식 리모트 컨트롤러는 손의 연속 영상들을 취득하는 영상취득부와, 상기 취득된 연속 영상들의 차 영상을 구하는 차영상 구성부와, 상기 차영상들로부터 상기 손의 이동 궤적을 분석하는 손궤적 분석부와, 상기 손궤적을 분석하여 손동작을 인식하는 동작 인식부와, 제어 대상 기기가 제어되도록 상기 인식된 손동작에 대응되는 리모트 신호를 송출하는 리모트 신호 송출기를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 상기 손궤적 분석부에서는 양손 각각의 이동 궤적을 분석하고, 상기 동작 인식부에서는 상기 양손 각각의 손동작을 인식하며, 상기 양손이 동기를 맞추어 같은 주기로 움직일 때 상기 제어 대상 기기를 온(on) 또는 오프(off)시키는 리모트 신호를 출력하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 양손의 손동작이 서로 동일하거나 또는 서로 대칭을 이룰 때 상기 리모트 신호를 출력하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작은 1차손동작과, 상기 1차손동작 이후 연속되는 2차손동작을 포함하며, 상기 동작 인식부가 상기 1차손동작을 인식하면, 상기 동작 인식부가 상기 1차손동작을 인식했음을 사용자가 알 수 있도록 인식완료신호를 출력하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 동작 인식부는 상기 1차손동작이 일어난 위치를 계산하는 단계와, 상기 2차손동작이 일어난 위치를 계산하는 단계와, 상기 1차손동작이 일어난 위치와, 상기 2차손동작이 일어난 위치를 상대비교하여 상기 2차손동작에서 상기 손이 상, 하, 좌, 우 방향 중 어느 방향으로 움직였는지를 판단하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작은 원을 그리는 동작인 것이 바람직하다.
또한, 본 발명에 따르면 상기 손궤적 분석부는 세로축 방향으로는 차영상의 가장 상부의 위치를 계산하고, 가로축 방향으로는 차영상의 중심위치를 구해 원의 궤적을 구하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 인식완료신호는 광 또는 소리로 출력되는 것이 바람직하다.
또한, 본 발명에 따르면 상기 1차손동작은 상기 손을 좌우 방향으로 흔드는 동작이고, 상기 2차손동작은 상기 손을 상하좌우 방향으로 흔드는 동작인 것이 바람직하다.
또한, 본 발명에 따르면 상기 영상취득부는 적외선을 이용하여 손의 연속 영상들을 취득하는 것이 바람직하다.
본 발명에 따르면 효율적이고 인식오류가 적도록 동작을 인식할 수 있으며, 저비용으로 동작 인식 리모트 컨트롤러를 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작 인식 리모트 컨트롤러의 개략적인 구성도이다.
도 2는 차영상 구성부에서 차영상을 구성하는 것에 관하여 설명하기 위한 도면이다.
도 3 내지 도 11은 손동작의 예를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 동작 인식 리모트 컨트롤러에 관하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 동작 인식 리모트 컨트롤러의 개략적인 구성도이며, 도 2는 차영상 구성부에서 차영상을 구성하는 것에 관하여 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 실시예에 따른 동작 인식 리모트 컨트롤러(100)는 텔레비젼, 조명, 냉난방 시스템 등과 같은 제어 대상 기기(200)를 제어하기 위한 것이다. 본 실시예에 따르면 동작 인식 리모트 컨트롤러(100)는 영상취득부(10)와, 차영상 구성부(20)와, 손궤적 분석부(30)와, 동작인식부(40)와, 리모트 신호 송출기(50)를 포함한다.
영상취득부(10)는 움직이는 손의 연속 영상을 취득하기 위한 것으로, 디지털 카메라 등이 영상취득부로 채용될 수 있다. 영상취득부(10)는 사용자의 손이 포함된 영상을 촬영하고 이를 차영상 구성부(20)로 전송한다. 한편, 어두운 상태에서도 손의 영상을 촬영할 수 있도록, 영상취득부로서 적외선 카메라를 채용할 수도 있으며, 적외선 조명을 사용하여 손의 영상을 적외선으로 촬영할 수 있다.
차영상 구성부(20)는 영상취득부(10)에서 취득된 연속 영상들의 차 영상을 구하는 것이다. 차 영상이란, 2차원 영상에서 오브젝트를 분리하기 위한 영상처리 방법 중 하나로, 두 개의 영상을 서로 비교하여 변화가 있는 부분 즉 움직이는 부분만 추출이 된다. 이때, 움직임이 없는 배경의 경우 차 영상에서는 값이 0에 가깝기 때문에 적절한 threshold 이상 값만 추출하면 없어지게 된다. 예를 들어, 도 2의 (a) 및 (b)의 영상을 비교하면 검지손가락의 위치에만 변화가 있으며, 따라서 도 2의 (a)와 (b)의 차 영상은 도 2의 (c)와 같이 표현된다. 한편, 도 2에서는 손가락의 위치 변화를 예를 들어서 차 영상을 설명하였으나, 사용자가 손을 흔들어서 손의 위치가 변화되는 경우에는 손의 위치 변화가 차 영상으로 구해지게 되며, 후술하는 바와 같이 본 실시예에서는 주로 손의 위치 변화를 차 영상으로 구하여 이를 이용한다.
한편, 본 발명에서는 차 영상을 이용하여 손의 궤적을 구하므로, 손 영역을 추출하지 않아도 된다. 종래의 경우에는 손동작을 인식하기 전에, 손의 피부색이나 손의 외곽선 등을 이용하여 손 영역을 추출하는 과정이 요구되었었다. 하지만, 이와 같이 손 영역을 추출하는 과정에서 피부색이 다르다거나 손의 외곽선의 차이에 의해 인식오류가 많이 발생하는 문제점이 있었다. 하지만, 본 발명에서는 손의 영역을 추출할 필요가 없으므로, 종래와 같은 이유로 인해 인식오류가 발생되는 것이 방지된다.
손궤적 분석부(30)는 차영상 구성부에서 구하여진 연속된 차 영상들로부터 손의 이동 궤적을 분석한다.
동작 인식부(40)는 손궤적 분석부(30)에서 구해진 손의 이동 궤적을 분석하여, 사용자가 어떠한 손동작을 하고 있는지를 인식한다.
리모트 신호 송출기(50)는 동작 인식부에서 인식된 손동작에 대응되는 리모트 신호를 제어 대상 기기(200)로 송출한다.
이하, 구체적인 동작을 예를 들어서 본 실시예에 따른 동작 인식 리모트 컨트롤러의 구현방식에 관하여 설명한다.
먼저 동기 동작(synchronous motion)을 정의한다. 동기 동작은 양손을 동시에 동기를 맞추어 동일한 주기로 정해진 동작을 하는 것을 의미하며, 예를 들어 몸을 중심으로 양손이 서로 대칭을 이루도록 움직이는 동작 또는 양손이 서로 동일하게 움직이는 동작 등이 동기 동작으로 이용될 수 있다. 대칭을 이루는 동작의 예로서, 도 3에 도시된 바와 같이 양손을 좌우로 흔드는 동작을 보면, 두 손을 안쪽으로 동시에 모았다가 모여진 다음 동시에 바깥쪽으로 벌린다. 그리고, 이를 궤적으로 나타내면 일반적인 상황에서는 거의 발생할 수 없는 궤적이 생기게 된다.
한편, 동기 동작을 인식하기 위해서는 연속되는 영상들 속에서 발생하는 양손의 궤적을 각각 분석하여 각각의 동작을 인식하는 과정이 필요하다. 미리 동기 동작의 기본동작으로 정의한 동작이 인식되면 일정 시간 내에 인식된 동기 동작의 짝에 해당되는 동작이 존재하는가를 판정해야 한다.
예를 들어, 앞서 설명한 도 3과 같이 양손을 동시에 모았다가 바깥쪽으로 벌리는 동작을 동기 동작으로 설정하였다면, 왼손의 움직임이 동기 동작의 움직임과 일치할 때, 오른손의 움직임이 왼손의 동작에 짝에 해당하는지를 판정하고, 두 동작 간의 동작 시작 시점과 동작의 주기가 일치하는가를 판정한다. 또한, 두 개의 동작 즉 왼손과 오른손의 움직임은 한 사람의 몸에서 일어나야 하므로 일정 영역 내에서 일어나야 한다. 이를 판정하기 위해 두 동작이 일어난 영역이 가로, 세로 일정영역내에 들어오는지를 판정한다. 그리고, 상기한 판정 과정을 모두 만족시켜야 동기 동작으로 판정할 수 있다.
한편, 이러한 동기 동작은 제어 대상 기기를 온(On) 또는 오프(Off) 하는 동작 등으로 쓸 수 있다. 온/오프 동작은 제어 대상 기기를 키거나 끄는 동작으로 인식오류가 최소한으로 되어야만 하는 동작이다. 하지만, 동작인식 시스템에서는 반드시 오류가 존재하게 되고, 이를 아주 작게 줄이는 것이 중요하다. 그런데, 앞서 정의한 동기 동작의 경우에는 일상에서 거의 발생하지 않고 사용자가 의도하였을 때에만 발생하는 동작이기 때문에, 인식오류를 아주 작게 줄이는 것이 가능하다.
이에 관해 구체적으로 설명하면, 어떤 동작이 발생하지 않았는데 발생했다고 잘못 인식하는 오류율을 E1이라 하고, 그 동작의 짝에 해당하는 동작을 잘못 인식하는 오류율을 E2라고 하면, 두 개의 오류가 동시에 일어나는 확률은 E1*E2로 줄어든다. 또한, 두 개의 동작이 일정 공간에서 일어나야 하므로 일정공간이 전체에서 차지하는 영역의 비를 P라고 하면 동기 동작을 잘못 인식할 확률은 E1*E2*P로 줄어들게 된다. 그리고, 이러한 이유 때문에 동기 동작을 잘못 인식하게 될 가능성은 매우 낮게 되는 것이다. 게다가, 인식오류를 더 줄이기 위하여 동기 동작을 연속으로 일정 회수이상 수행했을 경우를 동작으로 정의하면, 오류 없이 거의 완벽한 인식이 가능하다.
한편, 동기동작으로는 도 4와 같이 양손을 동시에 올렸다 내리는 동작(즉, 양손이 동일하게 움직임)이 가능하다. 또한, 도 5와 같이 양손을 이용하여 동시에 원을 그리는 동작을 동기 동작으로 이용 가능하다.
한편, 다수의 제어 대상 기기를 제어하는 경우, 각 제어 대상 기기 마다 동기 동작을 다르게 설정하여, 각 제어 대상 기기를 개별적으로 제어(온/오프)할 수 있다.
또한, 일상 생활에서 일반적으로 흔히 발생될 수 있는 일반 동작과 혼동되지 않도록 하기 위하여, 2개의 연속되는 동작 즉 1차손동작과 2차손동작으로 이루어진 복합연속동작을 정의한다. 복합연속동작은 두 개의 다른 손동작을 순차적으로 행하고 인식함으로써, 다른 동작들과 구분하여 인식오류를 줄일 수 있다.
이때, 동작인식부에서 1차손동작을 인식하면, 1차손동작을 인식했음을 사용자에게 알려줄 수 있다. 이때, LED와 같은 광원을 이용해 광 형태로 사용자에게 신호를 줄 수도 있고, 비프음과 같이 소리의 형태로 알려줄 수도 있다. 그리고, 1차손동작 인식 완료 신호를 받으면, 사용자는 2차손동작을 수행하여 리모컨 기능을 수행한다. 그리고, 1차동작을 인식한후 일정 시간내에 2차동작을 수행해야 복합 연속 동작으로 인식하므로 단일 동작에 비해 동작 오류를 줄일 수 있다.
한편, 1차손동작의 예로는 도 6과 같이 좌우로 한쪽 손을 흔드는 동작을 할 수 있다. 그리고, 손을 흔드는 동작을 인식하면 LED나 비프음으로 동작을 인식했다고 알려준다. 1차동작 인식 완료 신호를 받으면 사용자는 2차손동작을 행한다. 2차손동작의 예로는, 도 7, 도 8, 도 9, 도 10과 같이 상하좌우의 4방향 동작을 인식하여 리모컨의 4방향 키의 역할을 할 수 있다.
한편, 이들 동작중 좌 동작은 여러 번 수행할 경우 좌로 손을 움직였다가 원위치로 복귀하기 위해 우로 움직여야 하고, 다시 좌로 움직여야 한다. 이렇게 여러번 수행하는 경우 중간 동작 과정이 좌 동작과 우 동작이 동일하기 때문에 잘못 인식할 가능성이 있다. 그리고, 상 동작과 하동작도 마찬가지의 오인식 가능성이 있다.
이를 해결하기 위해 1차손동작이 일어난 위치와 2차손동작이 일어난 위치를 계산하여, 이 두 위치의 상대적인 위치를 비교함으로써 상기의 오인식을 줄일 수 있다. 예를 들어, 2차손동작이 좌 동작인 경우, 1차손동작이 끝나고 바로 동작이 일어나므로 1차손동작 위치의 좌측에서 일어난다. 마찬가지로 2차손동작이 우동작, 상동작, 하동작의 경우 1차손동작에 비해 오른쪽, 위쪽, 아래쪽에서 동작이 이루어 지게 된다. 그리고, 이와 같이 1차동작과 2차동작의 상대적인 위치를 고려하면 2차 동작 오인식율을 현저히 줄일 수 있다.
한편, 다른 2차손동작으로는 도 11과와 같이 원을 그리는 동작을 이용할 수 있다. 원을 시계방향으로 그리는 숫자를 세고, 방향을 반시계 방향으로 그리는 숫자를 세어 조합하면 TV의 원하는 채널번호로 만들 수 있다.
한편, 상기한 동작 이외에 단일 동작으로 일상적인 동작과 구분할 수 있는 동작도 있다. 원을 그리는 동작은 일상적으로 일어나기 힘든 동작이므로 단일 동작으로 동작할 수 있다. 원을 그리는 동작을 인식하기 위해서 차영상을 사용하는 경우 움직이는 부분이 손부분만이 아니라 팔도 따라 움직이게 되어 손의 궤적을 알아내기 힘들다. 이 경우 손의 궤적을 알아내기 위해 세로축 방향으로는 차 영상의 가장 상부의 위치를 이용하고 가로축 방향으로는 차 영상의 중심 위치를 이용할 수 있다. 이렇게 해서 궤적을 구하면 손부분의 원궤적을 정확히 구할 수 있다.
이와 같은, 단일 동작은 앞서 검토한 동기 동작들에 비해 명령 내리기가 간편하므로 빈번히 쓰이는 리모컨 명령으로 사용할 수 있는데, TV의 경우 오른쪽으로 그리면 채널을 증가시키고 왼쪽으로 그리면 채널을 감소 시킬 수 있다.
또 다른 손동작으로 복합연속동작의 1차손동작에 동기동작을 이용할 수 있다. 예를 들어 침대에 누워 조명을 제어하는 경우, 양손을 좌우로 흔드는 동기동작을 이용하여 조명을 켜고 한 손을 시계방향으로 그려 밝기를 밝게 하고 반대방향으로 그려 밝기를 어둡게 할 수 있다. 원을 그리는 방향과 횟수에 따라 전등의 밝기 조절을 할 수 있다.
한편, 카메라를 이용한 상기와 같은 동작인식 리모컨의 경우 빛이 없는 경우 동작하기 어려운 단점이 있다. 빛이 없는 경우에도 동작시키기 위해 적외선 조명을 사용할 수 있다. 또한 리모컨의 송신 기능을 구현하기 위해서도 적외선이 필요하기 때문에 두 가지 역할을 동시에 수행할 수 있다. 조명의 기능을 수행할 때와 적외선 송신의 기능을 수행할 때의 신호 주파수는 다르다. 따라서 두 가지 기능을 사용할 때 제각기 해당하는 주파수로 조명을 점멸시켜 동시에 사용할 수 있다. 두 가지 기능을 동시에 수행함으로써 부품수를 줄이고 비용을 절감할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100...동작 인식 리모트 컨트롤러 10...영상취득부
20...차영상 구성부 30...손궤적 분석부
40...동작 인식부 50...리모트 신호 송출기

Claims (10)

  1. 손의 연속 영상들을 취득하는 영상취득부;
    상기 취득된 연속 영상들의 차 영상을 구하는 차영상 구성부;
    상기 차영상들로부터 상기 손의 이동 궤적을 분석하는 손궤적 분석부;
    상기 손궤적을 분석하여 손동작을 인식하는 동작 인식부;
    제어 대상 기기가 제어되도록 상기 인식된 손동작에 대응되는 리모트 신호를 송출하는 리모트 신호 송출기를 포함하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  2. 제1항에 있어서,
    상기 손궤적 분석부에서는 양손 각각의 이동 궤적을 분석하고,
    상기 동작 인식부에서는 상기 양손 각각의 손동작을 인식하며,
    상기 양손이 동기를 맞추어 같은 주기로 움직일 때 상기 제어 대상 기기를 온(on) 또는 오프(off)시키는 리모트 신호를 출력하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  3. 제2항에 있어서,
    상기 양손의 손동작이 서로 동일하거나 또는 서로 대칭을 이룰 때 상기 리모트 신호를 출력하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  4. 제1항에 있어서,
    상기 손동작은 1차손동작과, 상기 1차손동작 이후 연속되는 2차손동작을 포함하며,
    상기 동작 인식부가 상기 1차손동작을 인식하면, 상기 동작 인식부가 상기 1차손동작을 인식했음을 사용자가 알 수 있도록 인식완료신호를 출력하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  5. 제4항에 있어서,
    상기 인식완료신호는 광 또는 소리로 출력되는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  6. 제4항에 있어서,
    상기 1차손동작은 상기 손을 좌우 방향으로 흔드는 동작이고,
    상기 2차손동작은 상기 손을 상하좌우 방향으로 흔드는 동작인 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  7. 제6항에 있어서,
    상기 동작 인식부는 상기 1차손동작이 일어난 위치와, 상기 2차손동작이 일어난 위치를 계산하고,
    상기 1차손동작이 일어난 위치와, 상기 2차손동작이 일어난 위치를 상대비교하여 상기 2차손동작에서 상기 손이 상, 하, 좌, 우 방향 중 어느 방향으로 움직였는지를 판단하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  8. 제1항에 있어서,
    상기 손동작은 원을 그리는 동작인 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  9. 제8항에 있어서,
    상기 손궤적 분석부는 세로축 방향으로는 차영상의 가장 상부의 위치를 계산하고, 가로축 방향으로는 차영상의 중심위치를 구해 원의 궤적을 구하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
  10. 제1항에 있어서,
    상기 영상취득부는 적외선을 이용하여 손의 연속 영상들을 취득하는 것을 특징으로 하는 동작 인식 리모트 컨트롤러.
KR1020120046417A 2012-05-02 2012-05-02 동작 인식 리모트 컨트롤러 KR101370022B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120046417A KR101370022B1 (ko) 2012-05-02 2012-05-02 동작 인식 리모트 컨트롤러
US14/397,762 US9529443B2 (en) 2012-05-02 2013-05-02 Remote controller for motion recognition
PCT/KR2013/003778 WO2013165177A1 (ko) 2012-05-02 2013-05-02 동작 인식 리모트 컨트롤러

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046417A KR101370022B1 (ko) 2012-05-02 2012-05-02 동작 인식 리모트 컨트롤러

Publications (2)

Publication Number Publication Date
KR20130123180A true KR20130123180A (ko) 2013-11-12
KR101370022B1 KR101370022B1 (ko) 2014-03-25

Family

ID=49514528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046417A KR101370022B1 (ko) 2012-05-02 2012-05-02 동작 인식 리모트 컨트롤러

Country Status (3)

Country Link
US (1) US9529443B2 (ko)
KR (1) KR101370022B1 (ko)
WO (1) WO2013165177A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462671B1 (ko) 2015-10-28 2022-11-04 삼성전자 주식회사 디스플레이 장치 및 디스플레이 장치의 화면 표시 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
EP1743277A4 (en) * 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
KR100692526B1 (ko) * 2005-12-08 2007-03-12 한국전자통신연구원 시스템 자동제어용 제스처 인식 장치 및 그 방법
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR101017936B1 (ko) 2008-09-18 2011-03-04 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR20110033318A (ko) 2009-09-25 2011-03-31 주식회사 제노프릭스 영상인식을 이용한 가상마우스 시스템
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치

Also Published As

Publication number Publication date
WO2013165177A1 (ko) 2013-11-07
US20150123893A1 (en) 2015-05-07
US9529443B2 (en) 2016-12-27
KR101370022B1 (ko) 2014-03-25

Similar Documents

Publication Publication Date Title
CN107660039B (zh) 一种识别动态手势的灯具控制系统
EP2093650B1 (en) User interface system based on pointing device
US7541965B2 (en) Appliance control apparatus
US9301372B2 (en) Light control method and lighting device using the same
CN106233229B (zh) 利用以摄像机为中心的虚拟触控的远程操作装置及方法
CN115016678A (zh) 显示装置
US20150177836A1 (en) Wearable information input device, information input system, and information input method
KR100918094B1 (ko) 이동식 영상 카메라를 구비한 제스처 인식 시스템
EP2590055A2 (en) Remote control apparatus and gesture recognition method for remote control apparatus
WO2014208168A1 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
CN104102183A (zh) 一种智能家居手势控制方法及装置
CN106152937A (zh) 空间定位装置、系统及其方法
CN102868925A (zh) 智能电视控制方法
KR101370022B1 (ko) 동작 인식 리모트 컨트롤러
WO2012060598A2 (ko) 가상마우스 구동방법
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
CN104486507A (zh) 一种利用隔空手势控制手机的方法、系统及手机
KR101695728B1 (ko) 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
US20170168592A1 (en) System and method for optical tracking
KR20120056698A (ko) Uwb 통신 기반의 모션 인식을 이용한 디스플레이 제어 장치 및 방법
KR20070081366A (ko) 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
CN105228286B (zh) 一种非接触式人体控制的灯具控制系统及方法
KR20150118377A (ko) 손가락 움직임을 이용한 정보 입력 시스템 및 그 입력 방법
US20200174620A1 (en) Manipulation detection device, manipulation detection method, and video display system
KR20120047746A (ko) 가상마우스 구동방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7