KR101471304B1 - 가상 리모트 컨트롤 장치 및 그 방법 - Google Patents

가상 리모트 컨트롤 장치 및 그 방법 Download PDF

Info

Publication number
KR101471304B1
KR101471304B1 KR1020130119878A KR20130119878A KR101471304B1 KR 101471304 B1 KR101471304 B1 KR 101471304B1 KR 1020130119878 A KR1020130119878 A KR 1020130119878A KR 20130119878 A KR20130119878 A KR 20130119878A KR 101471304 B1 KR101471304 B1 KR 101471304B1
Authority
KR
South Korea
Prior art keywords
hand
information
control
user
unit
Prior art date
Application number
KR1020130119878A
Other languages
English (en)
Inventor
손명규
이상헌
김동주
김현덕
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130119878A priority Critical patent/KR101471304B1/ko
Priority to PCT/KR2014/007510 priority patent/WO2015053471A1/ko
Priority to US14/917,949 priority patent/US20160224120A1/en
Application granted granted Critical
Publication of KR101471304B1 publication Critical patent/KR101471304B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 리모트 컨트롤 장치 및 그 방법에 관한 것이다.
본 발명의 가상 리모트 컨트롤 장치는, 촬상 장치로부터 촬영 정보를 수신하는 촬영 정보 수집부; 상기 촬영 정보를 분석하여 사용자의 움직임을 감지하는 사용자 감지부; 상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 손동작 인식부; 및 상기 사용자 감지부로부터 사용자가 감지되었음을 알리는 감지 정보를 수신하면, 상기 손동작 인식부를 동작시키며 상기 손동작 인식부로부터 수신한 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 제어부를 포함한다
이러한, 본 발명에 따르면, 손을 이용하여 공간 상에서 정확도 높게 전자 기기를 원격 제어할 수 있는 효과를 기대할 수 있다.

Description

가상 리모트 컨트롤 장치 및 그 방법{VIRTUAL REMOTE CONTROL APPARATUS AND METHOD THEREOF}
본 발명은 가상 리모트 컨트롤 장치 및 그 방법에 관한 것으로, 공간 상에서 양손을 이용하여 높은 정확도로 전자 기기들을 제어할 수 있는 가상 리모트 컨트롤 장치 및 그 방법을 제공하기 위한 것이다.
근래에 리모트 컨트롤(Remote Control) 장치는 사용자의 편의를 향상시키기 위해, 이동 단말에 까지 적용되어, 주변 전자 기기를 제어할 수 있게 한다.
최근에 스마트 폰(Smart Phone), PDA(Personal Digital Assistant) 등과 같은 단말에, 터치스크린(Touch Screen)을 사용하여 디스플레이에 표시되는 메뉴 항목이나 명령 아이콘을 디스플레이를 덮고 있는 센서를 간단히 클릭함으로써 제어할 수 있다.
하지만, 전자 기기를 제어하기 위해 반드시 이동 단말을 소지하여야 하는 불편함이 있다. 이러한, 불편함을 해결하기 위해 근래에는 손동작이나 특정 모션을 인식하고, 인식된 모션을 이용하는 전자 기기를 제어하기 위한 사용자 인터페이스가 연구되고 있다.
모션 인식은 촬영된 영상에서 사용자의 손을 인식하여 손가락 끝의 좌표 및 위치를 추적하고, 추적된 손의 궤적에 따라 화면상의 커서를 이동시킴으로써 주변 전자 기기를 제어할 수 있게 한다.
하지만, 이러한 종래의 모션 인식은 별도의 패널없이 공간상에서 손가락 끝을 인식하여 주변 전자 기기를 제어하기 때문에, 정확도가 상당히 낮은 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허 제10-2011-0097504호(2011. 08. 31 공개)에 개시되어 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 공간 상에서 양손을 이용하여 높은 정확도로 전자 기기들을 제어할 수 있는 가상 리모트 컨트롤 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 전자 기기를 제어하기 위한 가상 리모트 컨트롤 장치는, 촬상 장치로부터 촬영 정보를 수신하는 촬영 정보 수집부; 상기 촬영 정보를 분석하여 사용자의 움직임을 감지하는 사용자 감지부; 상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 손동작 인식부; 및 상기 사용자 감지부로부터 사용자가 감지되었음을 알리는 감지 정보를 수신하면, 상기 손동작 인식부를 동작시키며 상기 손동작 인식부로부터 수신한 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 제어부를 포함한다.
여기서, 상기 사용자 감지부는, 상기 촬영 정보로부터 시간별 색상값 또는 휘도값에 대한 영상 변화값을 계산하고, 계산된 영상 변화값이 임계치보다 크면 사용자를 인식하여 상기 감지 정보를 생성할 수 있다.
여기서, 상기 손동작 인식부는, 상기 제1 손과 제2 손간의 거리값을 추측하고, 추측된 거리값이 설정치 이하인 경우에, 상기 제1 손상의 제2 손의 움직임에 따른 상기 제어 정보를 생성할 수 있다.
여기서, 상기 손동작 인식부는, 상기 제1 손상의 제2 손의 움직임이 기 저장된 동작 설정값에 등록되어 있는지 여부를 판단하여, 등록된 경우에 제1 손상의 제2 손의 움직임에 매칭되는 설정값이 포함된 상기 제어 정보를 생성할 수 있다.
여기서, 상기 제어부는, 상기 제어 정보를 수신하면, 소리를 출력하는 음성 출력 수단 및 LED(Light Emitting Diode) 또는 LCD(Liquid Crystal Display)로 구성된 표시 수단을 이용하여 상기 제어 정보에 매칭되는 알림을 제공할 수 있다.
본 발명의 다른 실시예에 따른 전자 기기를 제어하기 위한 장치의 가상 리모트 컨트롤 방법은, 영상을 촬영하는 촬상 장치로부터 촬영 정보를 수신하는 단계; 상기 촬영 정보를 분석하여 사용자에 움직임에 감지하는 단계; 상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 단계; 및 상기 감지 정보를 수신하여 사용자를 인식한 후 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 단계를 포함한다.
이와 같이 본 발명에 의하면, 한 손을 가상 패널로 인식하고, 인식된 가상 패널 상에 다른 한 손으로 전자 기기를 제어하기 위한 동작을 취함으로써, 공간 상에서 정확도 높게 전자 기기를 원격 제어할 수 있는 효과를 기대할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 적용된 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치를 상세히 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치의 가상 리모트 컨트롤 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 인식하는 왼손의 기능을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 인식하는 손 동작을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 적용된 시스템을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치를 상세히 도시한 블록도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 적용된 시스템은 촬상 장치(100), 전자 기기(200) 및 가상 리모트 컨트롤 장치(300)를 포함한다.
촬상 장치(100)는 카메라와 같이 3차원 영상을 촬영할 수 있는 기기를 포함하며, 카메라를 통해 사용자의 움직임을 촬영한 촬영 정보를 생성하여 가상 리모트 컨트롤 장치(300)로 전송한다.
이때, 촬상 장치(100)는 미리 설정된 임의의 지점에 대한 영상을 촬영하고, 촬영한 영상에 대한 촬영 정보를 가상 리모트 컨트롤 장치(300)로 전송한다.
전자 기기(200)는 텔레비전(Television; 110) 및 에어컨(Air Conditioner; 120)과 같이 가전에서 사용하는 기기로, 가상 리모트 컨트롤 장치(300)와 연결되어 제어 명령을 수신할 수 있는 기기를 포함한다.
가상 리모트 컨트롤 장치(300)는 촬상 장치(100)로부터 수신되는 촬영 정보를 기초로 사용자를 인식하고, 인식된 사용자의 손 동작에 따라 전자 기기(200)를 제어한다.
도 2를 참조하면, 가상 리모트 컨트롤 장치(300)는 통신부(310), 촬영 정보 수집부(320), 사용자 감지부(330), 손동작 인식부(340), 기기 관리부(350) 및 제어부(360)를 포함한다.
통신부(310)는 촬상 장치(100) 및 전자 기기(200)들과 데이터를 송수신하며, 촬상 장치(100)로부터 촬영 정보를 수신하여 촬영 정보 수집부(320)로 전송하고, 기기 관리부(350)로부터 수신한 제어 명령을 전자 기기(200)들로 전송한다.
이때, 통신부(310)는 블루투스(Bluetooth), 와이파이(Wi-fi) 및 지그비(Zigbee)와 같은 근거리 무선 통신 또는 유선 통신을 이용하여 촬상 장치(100) 및 전자 기기(200)들과 데이터를 송수신한다.
촬영 정보 수집부(320)는 통신부(310)를 통해 촬상 장치(100)로부터 촬영 정보를 수신하고, 제어부(360)의 제어에 따라 수신된 촬영 정보를 사용자 감지부(330) 및 손동작 인식부(340)로 전송한다.
이때, 촬영 정보 수집부(320)는 수신한 촬영 정보를 시간 순으로 임시 저장하여 관리할 수 있다.
사용자 감지부(330)는 촬영 정보 수집부(320)로부터 수신한 촬영 정보를 실시간 분석하고, 촬영 정보를 이용하여 영상 변화값(예를 들어, 색상값, 휘도값 등)을 계산한 후, 계산된 영상 변화값이 설정된 임계치를 초과하는 여부를 판단하여 감지 정보를 생성한다. 이때, 사용자 감지부(330)는 영상 변화값이 설정된 임계치를 초과하면, 사용자가 감지된 것으로 판단하여 감지 정보를 생성한다.
그리고, 사용자 감지부(330)는 생성된 감지 정보를 제어부(360)로 전송한다.
손동작 인식부(340)는 촬영 정보 수집부(320)로부터 수신한 촬영 정보를 실시간 분석하고, 촬영 정보 내 사용자의 손 동작을 인식하여 전자 기기 제어를 위한 제어 정보를 생성한 후 가상 리모트 컨트롤 장치(300)로 전송한다.
구체적으로, 손동작 인식부(340)는 촬영 정보 내 사용자의 양 손동작을 감지하여 제어 정보를 생성한다. 즉, 손동작 인식부(340)는 왼손을 패널로 인식하고, 오른손을 제어 수단으로 인식하여, 사용자의 손 동작에 매칭되는 제어 정보를 생성한다. 이때, 손동작 인식부(340)는 왼손을 먼저 인식한 후 왼손과 오른손간의 거리값을 추측하고, 추측된 거리값이 설정치 이하인 경우에 왼손(패널) 상의 오른손에 대한 움직임에 따른 제어 정보를 생성한다.
여기서, 본 발명에 따른 손동작 인식부(340)는 왼손을 패널로, 오른손은 제어 수단으로 가정하여 설명하였지만, 오른손을 패널로, 왼손을 제어 수단으로 이용할 수도 있다.
기기 관리부(350)는 복수의 전자 기기(200)에 대한 상태 관리를 수행하며, 제어부(360)로부터 수신한 제어 명령을 전자 기기(200)로 전송하고, 그에 대한 응답을 수신하여 제어부(360)로 전달한다.
이때, 기기 관리부(350)는 통신부(310)를 통해 전자 기기(200)들로 제어 명령을 전송하고, 그 응답을 수신한다.
제어부(360)는 각 부(310, 320, 330, 340, 350)를 제어하며, 사용자 감지부(330)로부터 감지 정보를 수신하면, 절전 모드를 일반 모드로 변경하고, 손동작 인식부(340)를 동작시킨다.
그리고, 제어부(360)는 손동작 인식부(340)로부터 수신한 제어 정보에 매칭되는 제어 명령을 생성하여 기기 관리부(350)로 전송한다.
한편, 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치(100)는 음성 출력 수단과 표시 수단을 더 포함할 수 있다. 이때, 음성 출력 수단(생략)은 미리 저장된 음성을 제어부(360)에 제어에 따라 출력할 수 있는 스피커 등을 포함하며, 표시 수단(생략)은 LED(Light Emitting Diode) 또는 LCD(Liquid Crystal Display)와 같이 제어부(360)의 제어에 따라 특정 정보를 표시할 수 있는 수단을 포함한다.
여기서, 제어부(360)는 손동작 인식부(340)로부터 수신한 제어 정보를 음성 출력 수단(생략) 또는 표시 수단(생략)을 이용하여 사용자에게 알리고, 그에 대한 사용자의 승인을 얻은 후 제어 정보를 제어 명령으로 변환하여 기기 관리부(350)로 전송할 수도 있다.
이러한, 본 발명에 따른 가상 리모트 컨트롤 장치(300)는 한손은 패널로 인식하고, 다른 한손은 패널위의 제어 수단으로 인식하여, 보다 정확도 높게 원격으로 전자 기기(200)를 제어할 수 있는 장점이 있다.
도 3은 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치의 가상 리모트 컨트롤 방법을 나타낸 순서도이고, 도 4는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 인식하는 왼손의 기능을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치가 인식하는 손 동작을 설명하기 위한 도면이다.
도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상 리모트 컨트롤 장치(300)의 제어부(360)는 사용자가 감지되지 않으면, 절전 모드로 동작을 수행한다.
촬상 장치(100)는 임의의 지점에 대한 영상 촬영을 수행하고, 촬영된 촬영 정보를 가상 리모트 컨트롤 장치(300)로 전송한다.
사용자 감지부(330)는 통신부(310)를 통해 촬상 장치(100)로부터 수신된 촬영 정보를 분석하고(S300), 분석된 촬영 정보 내에 영상 변화가 감지되었는지 여부를 판단한다(S302).
구체적으로, 사용자 감지부(330)는 촬영 장치로부터 수신된 촬영 정보를 이용하여 시간에 따른 촬영 정보를 분석하고, 분석된 촬영 정보를 기초로 영상 변화값(예를 들어, 색상값, 휘도값 등)을 계산하고, 계산된 영상 변화값이 설정된 임계치를 초과하는지 여부를 판단한다.
여기서, 촬영 정보를 이용하여 사용자를 감지할 수 있는 기술은 다양한 공지 기술들에서 개시하고 있으므로, 본 발명의 실시예에서는 상세한 기술의 설명을 생략하기로 한다.
상기 S302 단계의 판단 결과, 계산된 영상 변화값이 설정된 임계치를 초과하지 않으면, 사용자 감지부(330)는 절전 모드를 유지하면서, 상기 S300 및 상기 S302 단계를 반복 수행한다(S304).
상기 S302 단계의 판단 결과, 계산된 영상 변화값이 설정된 임계치를 초과하면, 사용자 감지부(330)는 사용자가 인식되었음 알리는 감지 정보를 생성하여 제어부(360)로 전송한다.
제어부(360)는 사용자 감지부(330)로부터 감지 정보를 수신하면, 절전 모드를 해제하고(S306), 일반 모드 동작을 시작한다. 이때, 제어부(360)는 손동작 인식부(340)를 동작시킨다.
또한, 제어부(360)는 가상 리모트 컨트롤 장치(300) 내에 포함된 음성 출력 수단(생략) 또는 표시 수단(생략)을 이용하여 사용자에게 전자 기기(200)에 대한 제어 준비가 되었음을 알린다(S308).
손동작 인식부(340)는 촬영 정보 수집부(320)로부터 촬영 정보를 수신하고(S310), 수신된 촬영 정보를 분석하여 손 동작을 인식하고, 인식된 손 동작이 미리 등록된 설정값을 갖는 등록된 손 동작인지 여부를 판단한다(S312).
구체적으로, 손동작 인식부(340)는 촬영 정보 내 사용자의 양 손동작을 감지하여, 왼손을 패널로 인식하고, 오른손을 제어 수단으로 인식한다. 그리고 나서, 손동작 인식부(340)는 왼손과 오른손간의 거리값을 추측하고, 추측된 거리값이 설정치 이하인 경우에 왼손(패널) 상의 오른손에 대한 움직임을 파악하여 미리 등록된 설정값을 갖는 등록된 손동작인지 여부를 판단한다.
상기 S312의 판단 결과, 미리 등록된 설정값을 갖는 손동작이 아니면, 손동작 인식부(340)는 상기 S310 및 S312 단계를 반복하여 미리 등록된 설정값을 갖는 손동작을 입력받는다. 이때, 손동작 인식부(340)는 사용자의 손동작을 재 동작하도록 제어부(360)로 요청하고, 제어부(360)는 음성 출력 수단(생략) 또는 표시 수단(생략)을 통해 사용자에게 재 동작을 요청할 수 있다.
상기 S312의 판단 결과, 미리 등록된 설정값을 갖는 손동작이면, 손동작 인식부(340)는 인식된 손동작에 매칭되는 설정값이 포함된 제어 정보를 생성한다(S314).
도 4를 참조하면, 본 발명에 따른 손동작 인식부(340)는 왼손에 대하여 미리 설정된 값들을 갖고, 오른손의 동작에 따라 왼손의 값들에 대한 제어 정보를 생성하여 제어부(360)로 전송하게 된다. 예를 들어, 미리 설정된 값들은 엄지 손가락이 전원(POWER), 검지 손가락이 볼륨(Volume), 중지 손가락이 채널(Channel), 약지 손가락이 선호도(Favorite) 및 새끼 손가락이 기기 선택(Facilities)으로 각각 설정된다.
도 5를 참조하면, 손동작 인식부(340)는 왼손을 패널로 인식하고, 오른손은 제어 수단으로 인식하여, 왼손가락 위의 오른손가락의 움직임에 따라 매칭되는 설정된 값을 기초로 제어 정보를 생성한다. 예를 들면, 오른손의 손가락으로 왼손의 검지 손가락을 바깥 방향으로 이동하는 움직임을 하였을 경우에, 손동작 인식부(340)는 볼륨(Volume)을 낮추는 것으로 인식하고, 인식된 정보에 매칭되는 제어 정보를 생성한다.
제어부(360)는 손동작 인식부(340)로부터 제어 정보를 수신하고, 수신된 제어 정보에 따라 손동작 인식을 사용자에게 알린다(S314).
그리고, 제어부(360)는 제어 정보를 전자 기기(200)를 제어하기 위한 제어 명령으로 변환한 후 변환된 제어 명령을 전자 기기(200)로 전송한다(S316, S318).
이러한, 본 발명에 따른 가상 리모트 컨트롤 장치(300)는 한 손을 가상 패널로 인식하고, 인식된 가상 패널 상에 다른 한 손으로 전자 기기(200)를 제어하기 위한 동작을 취함으로써, 공간 상에서 원격으로 상당히 높은 정확도로 전자 기기(200)를 제어할 수 있는 큰 장점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 촬상 장치 200: 전자 기기
210: TV 220: 에어컨
300: 가상 리모트 컨트롤 장치 310: 통신부
320: 촬영 정보 수집부 330: 사용자 감지부
340: 손동작 인식부 350: 기기 관리부
360: 제어부

Claims (10)

  1. 전자 기기를 제어하기 위한 가상 리모트 컨트롤 장치에 있어서,
    촬상 장치로부터 촬영 정보를 수신하는 촬영 정보 수집부;
    상기 촬영 정보를 분석하여 사용자의 움직임을 감지하는 사용자 감지부;
    상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 손동작 인식부; 및
    상기 사용자 감지부로부터 사용자가 감지되었음을 알리는 감지 정보를 수신하면, 상기 손동작 인식부를 동작시키며 상기 손동작 인식부로부터 수신한 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 제어부를 포함하며,
    상기 손동작 인식부는,
    상기 제1 손과 제2 손간의 거리값을 추측하고, 추측된 거리값이 설정치 이하인 경우에, 상기 제1 손상의 제2 손의 움직임에 따른 상기 제어 정보를 생성하는 가상 리모트 컨트롤 장치.
  2. 제1항에 있어서,
    상기 사용자 감지부는,
    상기 촬영 정보로부터 시간별 색상값 또는 휘도값에 대한 영상 변화값을 계산하고, 계산된 영상 변화값이 임계치보다 크면 사용자를 인식하여 상기 감지 정보를 생성하는 가상 리모트 컨트롤 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 손동작 인식부는,
    상기 제1 손상의 제2 손의 움직임이 기 저장된 동작 설정값에 등록되어 있는지 여부를 판단하여, 등록된 경우에 제1 손상의 제2 손의 움직임에 매칭되는 설정값이 포함된 상기 제어 정보를 생성하는 가상 리모트 컨트롤 장치.
  5. 제1항, 제2항, 제4항 중 어느 한 항에 있어서,
    상기 제어부는,
    상기 제어 정보를 수신하면, 소리를 출력하는 음성 출력 수단 및 LED(Light Emitting Diode) 또는 LCD(Liquid Crystal Display)로 구성된 표시 수단을 이용하여 상기 제어 정보에 매칭되는 알림을 제공하는 가상 리모트 컨트롤 장치.
  6. 전자 기기를 제어하기 위한 장치의 가상 리모트 컨트롤 방법에 있어서,
    영상을 촬영하는 촬상 장치로부터 촬영 정보를 수신하는 단계;
    상기 촬영 정보를 분석하여 사용자에 움직임에 감지하는 단계;
    상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 단계; 및
    상기 감지 정보를 수신하여 사용자를 인식한 후 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 단계를 포함하며,
    상기 제어 정보를 생성하는 단계는,
    상기 제1 손과 제2 손간의 거리값을 추측하는 단계; 및
    상기 추측된 거리값이 설정치 이하인 경우에, 상기 제1 손상의 제2 손의 움직임에 따른 상기 제어 정보를 생성하는 단계를 포함하는 가상 리모트 컨트롤 방법.
  7. 제6항에 있어서,
    상기 감지하는 단계는,
    상기 촬영 정보로부터 시간별 색상값 또는 휘도값에 대한 영상 변화값을 계산하는 단계; 및
    상기 계산된 영상 변화값이 임계치보다 크면, 상기 감지 정보를 생성하는 단계
    를 포함하는 가상 리모트 컨트롤 방법.
  8. 삭제
  9. 제6항에 있어서,
    상기 제어 정보를 생성하는 단계는,
    상기 제1 손상의 제2 손의 움직임이 기 저장된 동작 설정값에 등록되어 있는지 여부를 판단하여, 등록된 경우에 제1 손상의 제2 손의 움직임에 매칭되는 설정값이 포함된 상기 제어 정보를 생성하는 가상 리모트 컨트롤 방법.
  10. 제6항, 제7항, 제9항 중 어느 한 항에 있어서,
    상기 제어 정보를 수신하면, 소리를 출력하는 음성 출력 수단 및 LED(Light Emitting Diode) 또는 LCD(Liquid Crystal Display)로 구성된 표시 수단을 이용하여 상기 제어 정보에 매칭되는 알림을 제공하는 단계를 더 포함하는 가상 리모트 컨트롤 방법.
KR1020130119878A 2013-10-08 2013-10-08 가상 리모트 컨트롤 장치 및 그 방법 KR101471304B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130119878A KR101471304B1 (ko) 2013-10-08 2013-10-08 가상 리모트 컨트롤 장치 및 그 방법
PCT/KR2014/007510 WO2015053471A1 (ko) 2013-10-08 2014-08-13 가상 리모트 컨트롤 장치 및 그 방법
US14/917,949 US20160224120A1 (en) 2013-10-08 2014-08-13 Virtual remote control apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130119878A KR101471304B1 (ko) 2013-10-08 2013-10-08 가상 리모트 컨트롤 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101471304B1 true KR101471304B1 (ko) 2014-12-10

Family

ID=52678404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130119878A KR101471304B1 (ko) 2013-10-08 2013-10-08 가상 리모트 컨트롤 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20160224120A1 (ko)
KR (1) KR101471304B1 (ko)
WO (1) WO2015053471A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312356A (ja) * 2000-04-28 2001-11-09 Tomohiro Kuroda 身体を利用する画像入力インタフェースを備えた一体型装着型計算機
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899108B2 (ja) * 2008-08-24 2012-03-21 照彦 矢上 腕時計型電子メモ装置
US20110010626A1 (en) * 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
WO2012145011A1 (en) * 2011-04-22 2012-10-26 Hewlett-Packard Development Company, L.P. Systems and methods for displaying data on large interactive devices
KR101233793B1 (ko) * 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
US9081418B1 (en) * 2013-03-11 2015-07-14 Rawles Llc Obtaining input from a virtual user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312356A (ja) * 2000-04-28 2001-11-09 Tomohiro Kuroda 身体を利用する画像入力インタフェースを備えた一体型装着型計算機
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置

Also Published As

Publication number Publication date
WO2015053471A1 (ko) 2015-04-16
US20160224120A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US8971629B2 (en) User interface system based on pointing device
CN107908334B (zh) 一种指纹图标的显示方法、装置及移动终端
CN111182205B (zh) 拍摄方法、电子设备及介质
JP2009134718A5 (ko)
US20150109437A1 (en) Method for controlling surveillance camera and system thereof
CN110944139B (zh) 一种显示控制方法及电子设备
EP2579142B1 (en) Mobile device and method of remotely controlling a controlled device
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
US11886643B2 (en) Information processing apparatus and information processing method
KR101134245B1 (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
CN115589529A (zh) 拍摄方法、设备、系统及计算机可读存储介质
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
CN109257543B (zh) 拍摄模式控制方法及移动终端
CN113495617A (zh) 设备控制的方法、装置、终端设备以及存储介质
KR100749481B1 (ko) 무접점 기능을 수행하는 장치 및 방법
KR20160067706A (ko) 사물 인식 리모콘 장치 및 이를 이용한 원격 제어 방법
KR20120131981A (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
EP2919096A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20140023528A (ko) 이동통신단말기를 이용한 컴퓨터 제어 시스템, 이동통신단말기, 컴퓨터 제어장치 및 그 제어방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 5