KR20100037254A - 제스쳐 기반의 가전기기 제어장치 및 방법 - Google Patents

제스쳐 기반의 가전기기 제어장치 및 방법 Download PDF

Info

Publication number
KR20100037254A
KR20100037254A KR1020080096484A KR20080096484A KR20100037254A KR 20100037254 A KR20100037254 A KR 20100037254A KR 1020080096484 A KR1020080096484 A KR 1020080096484A KR 20080096484 A KR20080096484 A KR 20080096484A KR 20100037254 A KR20100037254 A KR 20100037254A
Authority
KR
South Korea
Prior art keywords
control
control command
shape
control target
command
Prior art date
Application number
KR1020080096484A
Other languages
English (en)
Other versions
KR100977443B1 (ko
Inventor
정기철
김기락
김정환
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR20080096484A priority Critical patent/KR100977443B1/ko
Publication of KR20100037254A publication Critical patent/KR20100037254A/ko
Application granted granted Critical
Publication of KR100977443B1 publication Critical patent/KR100977443B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스쳐 기반의 가전기기 제어장치 및 방법이 개시된다. 영상 획득부는 제어동작을 포함하는 영상프레임을 획득한다. 저장부에는 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 기준형상이 저장된다. 형상 검출부는 영상프레임으로부터 저장된 기준형상과 일치하는 손의 형상을 검출한다. 제어대상 결정부는 검출된 형상에 대응하는 제어명령을 결정하고, 결정된 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정한다. 사용자 인터페이스부는 복수의 제어대상기기 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고, 제어명령이 적용되는 제어대상기기 및 제어명령의 내용을 영상 또는 음성에 의하여 제공한다. 본 발명에 따르면, 제어동작을 포함하는 입력 영상프레임으로부터 손의 형상을 추출함으로써, 명령을 입력하기 위한 별도의 장치 또는 명령어의 설정이 불필요하게 된다. 또한 제어명령을 공통 제어명령과 개별 제어명령으로 구분하여 저장함으로써, 제어대상기기의 수가 증가하여도 효율적으로 제어할 수 있다.
제어명령, 제어동작

Description

제스쳐 기반의 가전기기 제어장치 및 방법{Apparatus and method for controlling home appliances based on gesture}
본 발명은 제스쳐 기반의 가전기기 제어장치 및 방법에 관한 것으로, 보다 상세하게는, 사용자의 손동작을 인식하여 각종 가전기기를 제어할 수 있는 장치 및 방법에 관한 것이다.
가정에서 사용되는 대부분의 가전기기에는 사용자의 편의를 위해 원격 제어 기능이 있는 리모콘이 제공된다. 이러한 리모콘에 의해 동작이 제어되는 가전기기는 리모콘에서 보내는 적외선 신호를 수신하기 위한 적외선 신호 수신부를 포함하며, 가전기기의 오작동을 방지하기 위해 각각의 가전기기에 제공되는 리모콘은 서로 다른 주파수를 사용한다. 따라서 가전기기의 수만큼 그에 대응하는 리모콘을 구비하여야 하는 불편함이 있었다.
이를 개선하기 위해 복수의 가전기기를 통합하여 원격 제어할 수 있는 통합 리모콘이 개발되었고, 이동통신 산업의 발전에 따라 대부분의 사람이 무선 단말기를 소지하고 있는 점을 감안하여 이러한 무선 단말기에 리모콘의 기능을 장착하여 가전기기를 제어할 수 있는 기술도 개발되었다.
리모콘의 적외선 신호에 의한 것이 아닌 무선 통신을 이용하여 복수의 가전기기를 제어할 수 있는 기술로는 홈 네트워크를 이용한 전자 기기의 제어 기술이 있다. 홈 네트워크란 가정에 있는 2개 이상의 디지털 장치가 서로 통신하는 것을 의미한다. 초기의 홈 네트워크는 가정 내의 보안, 조명 또는 온도 등을 자동 통제하는 홈 오토메이션(home automation)이나 홈 컨트롤 시스템(home control system) 정도의 범위에 적용되었다. 이후 가정 내의 PC 수요가 증가하고, 인터넷 접속과 데이터 공유를 통한 다양한 멀티미디어 컨텐츠의 제공이 활발해지면서 가정용 멀티미디어 단말기들과 PC 간의 결합 등에 관한 홈 네트워크 관련 시장이 새롭게 떠오르고 있다.
현재 가정에서 사용되는 홈 네트워크에는 PC를 중심으로 여러 주변 장치들을 연결하고 인터넷 사용을 공유하는 PC 네트워크와 비디오, TV 등과 같은 AV 제품 간의 멀티미디어 전송을 위한 AV 네트워크, 그리고 세탁기, 냉장고, 에어컨 등의 백색 가전과 전력, 수도와 같은 에너지를 자동으로 제어하기 위한 리빙 네트워크가 있다.
이와 같이 무선으로 연결된 복수의 가전기기들을 제어하는 홈 네트워크 시스템에서는 블루투스(bluetooth), homeRF 및 무선1394 등의 프로토콜을 이용하여 가정 내 복수의 가전기기를 무선으로 연결하고, 이러한 프로토콜에 의해 각각의 가전기기들을 제어한다. 여기서 블루투스는 저전력, 저가의 무선 통신 기술로서, 복잡한 유선 케이블을 대체할 목적으로 사용되기 시작하여 무선 단말기 및 컴퓨터 간에 멀티미디어 데이터를 송수신할 목적으로 사용된다. 또한 homeRF는 SWAP(shared wireless access protocol)을 이용하여 가정 내에서의 무선 인터넷 액세스 파일 전송, 무선 전화기, FAX 및 무선 단말기에 저장된 음성 메일의 검색 등을 지원한다. 무선 1394는 홈 네트워크의 단말 장치인 컴퓨터, HDTV, 홈시어터 및 디지털 캠코더 등의 디지털 전자 기기들을 하나의 네트워크로 연결하여 유무선 복합 네트워크를 구성하는 데 이용된다.
사용자는 이러한 홈 네트워크를 이용하여 복수의 가전기기를 일일이 제어할 필요 없이 모든 가전기기에 네트워크로 연결되어 있는 통합 제어 장치를 이용하여 손쉽게 가전기기를 제어할 수 있다. 또한 복수의 가전기기에 대한 제어가 편리해짐에 따라 가정 내의 네트워크상에 존재하는 가전기기들을 가정 내에서뿐만 아니라 외부에서도 손쉽게 제어할 수 있는 기술의 필요성이 대두되었다.
홈 네트워크를 이용하여 가정 내부뿐만 아니라 외부에서도 손쉽게 가전기기를 제어할 수 있는 하나의 기술은 휴대전화와 같은 무선 단말기를 이용하는 것이다. 가정 내에 위치한 통합 제어 장치는 사용자로부터 미리 지정된 제어명령을 무선 단말기를 통해 입력받음으로써, 네트워크로 연결된 가전기기에 제어명령이 전달될 수 있도록 한다. 그러나 이러한 방법은 사용자가 미리 지정된 제어명령을 정확하게 숙지하고 있어야 하며, 사용 가능한 제어명령이 단순한 제어명령들로 제한된다는 문제가 있다.
홈 네트워크에 의해 가전기기를 제어하는 다른 방법은 음성 명령을 이용하는 것이다. 음성 명령 처리는 음성 인식 기술의 발전과 함께 발전된 형태의 인터페이스로 개발되고 있다. 음성 명령 및 브라우저를 기반으로 홈 네트워크상에서 가전기 기들을 제어하는 방법이 개발되었는데, 이는 사용자에 의해 반복되는 일련의 명령 단계들을 줄이기 위해 매크로 기능을 정의하여 이러한 매크로 실행이 일련의 명령 단계를 대신하도록 하는 방법이다. 이러한 기술은 매크로 정의에 의하여 사용자 편의를 제공한다는 장점이 있으나, 사용자가 매크로 생성을 위해 일일이 동작 지시를 하여야 하고, 매크로의 일부 수정을 위해 전체 매크로를 다시 생성해야 한다는 문제점이 있다. 또한 가정 외부에서 전화기를 통해 음성 신호를 입력하여 가전기기를 원격 제어할 수 있는 기술도 개발되었으나 사용자 명령이 여러 단계로 구성되어 지나치게 복잡하다는 문제가 있다.
가전기기를 제어하는 입력 신호의 또 다른 형태로서 영상 신호를 이용하는 것이 가능하다. 즉, 입력받은 영상에 포함된 사용자의 제어동작에 따라 가전기기를 제어하는 것이다. 영상 신호를 이용하여 다른 기기를 제어하는 종래의 기술로서 카메라에 의해 촬영된 영상에서 사용자의 동작을 파악하여 컴퓨터 디스플레이를 제어하는 기술이 있다. 그러나 홈 네트워크에 적용되어 하나의 통합 제어 장치에 네트워크로 연결된 복수의 가전기기를 제어하는 기술은 아직 제시되지 않았다. 따라서 영상 신호를 이용한 제어 방법을 홈 네트워크에 대하여 확대 적용할 수 있는 기술 개발이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 버튼을 누르거나 명령어를 입력하는 등의 조작에 의한 것이 아닌 카메라에 입력되는 사용자의 동작을 인식하여 각종 기기를 제어할 수 있는 제스쳐 기반의 가전기기 제어장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 버튼을 누르거나 명령어를 입력하는 등의 조작에 의한 것이 아닌 카메라에 입력되는 사용자의 동작을 인식하여 각종 기기를 제어할 수 있는 제스쳐 기반의 가전기기 제어방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 제스쳐 기반의 가전기기 제어장치는, 제어동작을 포함하는 영상프레임을 획득하는 영상 획득부; 복수의 제어대상기기, 상기 각각의 제어대상기기에 적용되는 제어명령 및 상기 각각의 제어명령에 대응하는 기준형상이 저장된 저장부; 상기 영상프레임으로부터 상기 저장된 기준형상과 일치하는 손의 형상을 검출하는 형상 검출부; 상기 검출된 형상에 대응하는 제어명령을 결정하고, 상기 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 상기 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정하는 기기제어부; 및 상기 복수의 제어대상 및 각각의 제어 대상기기에 대응하는 손의 형상을 화면에 출력하고, 상기 제어명령이 적용되는 제어대상기기 및 상기 제어명령의 내용을 영상 또는 음성에 의하여 제공하는 사용자 인터페이스부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 제스쳐 기반의 가전기기 제어방법은, 제어동작을 포함하는 영상프레임을 획득하는 단계; 상기 영상프레임으로부터 사전에 저장된 기준형상과 일치하는 손의 형상을 검출하는 단계; 상기 검출된 형상에 대응하는 제어명령을 결정하고, 상기 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 상기 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정하는 단계; 및 상기 복수의 제어대상기기 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고, 상기 제어명령이 적용되는 제어대상기기 및 상기 제어명령의 내용을 영상 또는 음성에 의하여 제공하는 단계;를 갖는다.
본 발명에 따른 제스쳐 기반의 가전기기 제어장치 및 방법에 의하면, 제어동작을 포함하는 입력 영상프레임으로부터 손의 형상을 추출함으로써, 명령을 입력하기 위한 별도의 장치 또는 명령어의 설정이 불필요하게 된다. 또한 입력 영상프레임에 포함된 사용자의 제어동작을 분석하여 어떤 동작인지 인식하는 것에서 나아가 제어동작에 대응하는 제어명령에 의해 각종 기기를 제어할 수 있도록 함으로써, 복수의 기기에 각각 제어명령을 입력할 필요 없이 한 곳에 위치한 카메라를 통한 사용자의 동작 입력에 의해 다른 곳에 위치한 기기를 제어할 수 있으므로 조작이 편 리하다. 나아가 제어명령을 공통 제어명령과 개별 제어명령으로 구분하여 저장함으로써, 제어대상기기의 수가 증가하여도 효율적으로 제어할 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 제스쳐 기반의 가전기기 제어장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 제스쳐 기반의 가전기기 제어장치(100)는, 영상 획득부(110), 저장부(120), 형상 검출부(130), 기기제어부(140) 및 사용자 인터페이스부(150)를 포함한다.
영상 획득부(110)는 제어동작을 포함하는 영상프레임을 획득한다. 사용자가 제어동작을 이용하여 가정 내의 TV나 에어컨 등의 가전기기를 제어하기 위해서는 사용자의 제어동작을 포함하는 영상이 입력되어야 한다. 입력되는 영상은 본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 직접 설치된 카메라에 의해 실시간으로 촬영된 영상일 수 있으며, 이때 영상 획득부(110)는 카메라의 형태로 구현된다.
도 2는 본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 카메라가 구비된 경우의 일 예를 도시한 도면이다. 제어장치는 액자의 형태로 구현되어 외부 프레임은 사용자가 임의로 교체할 수 있으며, 사용자 인터페이스부(150)는 제어모드로 동작하지 않을 때에는 화면에 그림이나 영상을 출력한다. 카메라의 촬영 영역에 피사체가 감지되면 제어장치는 제어모드로 전환하여 영상 획득부(110)에 영상프레임이 입력된다.
한편, 입력되는 영상프레임이 별개의 장소에서 미리 촬영되어 인터넷 등을 통해 전송된 영상일 수도 있다. 또한 외부에서 가전제품을 편리하게 제어하기 위해서 카메라가 구비된 핸드폰 등의 이동단말기를 이용하여 촬영된 영상을 전송받을 수도 있다. 이러한 경우 영상 획득부(110)는 인터넷 등의 전송망과 연결된 장치로 구현된다.
저장부(120)에는 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 기준형상이 저장되며, 형상 검출부(130)는 제어동작을 포함하는 입력 영상프레임으로부터 저장부(120)에 저장된 기준형상과 일치하는 손의 형상을 검출한다.
검출 과정은 일반적으로 사용되는 형상 인식 방법을 사용하여 에지 검출 등의 방법에 의해 수행될 수 있다. 고정된 위치에 설치된 카메라를 이용하여 영상이 촬영된 경우에는 배경영상이 항상 동일하게 나타난다. 따라서 피사체가 없을 때 촬영된 영상을 기준영상으로 저장하고, 제어동작을 포함하는 입력 영상프레임과 기준영상의 차영상으로부터 손의 형상을 검출하면 기존의 형상 인식 방법에 비하여 검출 속도가 빨라지게 된다.
또한 동일한 동작을 취하고 있는 손의 형상이라도 손가락이 위치하는 방향이 다르면 서로 다른 형상으로 취급할 수 있다. 따라서 이러한 경우에는 영상 획득부(110)에 입력된 영상프레임은 상하가 구분되어야 하며, 저장부(120)에 저장되는 기준형상들 역시 상하가 명확히 구분되어 저장되어야 한다. 그러나 손의 방향에 관 계없이 동일한 동작을 취하고 있으면 동일한 형상으로 취급하는 경우에는 영상프레임의 상하를 구분할 필요가 없으며, 영상프레임 또는 기준형상을 회전하였을 때 영상프레임에서 검출된 손의 형상과 기준형상이 일치하면 제어동작을 나타내는 손의 형상이 검출된 것으로 할 수 있다.
저장부(120)는 제어장치 내에 구비되거나 별도의 장치로 구현되어 위와 같은 데이터를 저장할 수 있으며, 사용자는 저장된 기준형상에 대응하는 제어명령을 수정하거나 새로운 기준형상 및 제어명령을 추가할 수 있다. 도 3은 제어대상기기의 제어에 사용될 수 있는 기준형상들의 몇 가지 예를 도시한 도면이다. 도 3에 도시된 기준형상들 이외에도 사용자의 편의에 따라 적절한 제어동작을 설정하여 기준형상으로 저장할 수 있다. 또한 저장부(120)에 저장되는 데이터 중에서 제어대상기기 및 제어명령은 기준형상에 대응하는 고유의 식별코드의 형태로 저장될 수 있다. 형상 검출부(130)에서 검출한 손의 형상과 일치하는 기준형상 및 그에 대응하는 식별코드가 출력되면, 기기제어부(140)에서는 식별코드를 참고하여 제어대상기기 및 제어명령을 결정한다. 이때 각각의 식별코드에 대한 제어대상기기와 제어명령은 기기제어부(140) 내에 저장될 수 있다.
본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 의해 제어할 수 있는 가전기기는 TV, 에어컨, 전열기구 및 조명 등으로 그 수가 한정되어 있지 않고, 필요에 따라 제어대상이 되는 가전기기의 수를 늘리거나 줄일 수 있다. 따라서 제어대상기기의 수가 늘어나면 그에 적용되는 제어명령의 수도 증가하게 되어 지나치게 복잡해진다는 문제가 있다. 이러한 문제를 해결하기 위해서는 제어명령들을 복수의 제어대상기기에 공통으로 적용될 수 있는 공통 제어명령과 개별적인 제어대상기기에만 적용되는 개별 제어명령으로 구분하여 저장하는 것이 바람직하다. 선택된 몇 개의 제어대상기기와 각각의 제어대상기기에 적용되는 공통 제어명령 및 개별 제어명령이 다음의 표 1에 나타나 있다.
제어대상 공통 제어명령 개별 제어명령
TV 전원 온,오프 제어 채널조절 음량조절
에어컨 온도조절 풍량조절 방향조절
조명 밝기조절 방향조절
표 1에 나타난 바와 같이 전원을 켜고 끄는 제어명령은 대부분의 제어대상기기에 공통적으로 적용될 수 있는 제어명령이다. 따라서 전원의 온, 오프를 제어하는 제어명령을 각각의 제어대상기기에 대해 개별적으로 설정할 필요가 없다. 그러나 TV의 음량조절이나 채널조정, 에어컨의 온도, 밝기 및 방향조절, 그리고 조명의 밝기 및 방향조절은 각각의 제어대상에 대하여만 적용될 수 있는 제어명령들이다. 그러므로 이러한 제어명령들에 대하여는 각각 그에 대응하는 제어동작을 설정하여야 한다. 그러나 사용자의 선택에 따라 TV의 음량조절, 에어컨의 온도조절 및 조명의 밝기조절 등 비슷한 기능을 하는 제어명령들을 공통 제어명령으로 분류하여 하나의 제어동작이 대응되도록 할 수도 있다.
이와 같이 공통 제어명령과 개별 제어명령으로 구분된 제어명령들에 각각 대응하는 제어동작들이 기준형상으로 저장된다. 예를 들면, 공통 제어명령에 해당하는 전원의 온, 오프제어에는 각각 도 3에 도시된 기준형상들 중에서 (a) 및 (b)를 대응시킬 수 있다. 또한 TV의 채널조절은 도 3의 (e)를 사용하여 손가락이 위를 향하도록 하면 채널 번호를 증가시키고, 손가락을 아래로 향하게 하면 채널 번호를 감소시키도록 하여 하나의 동작으로 두 가지의 제어를 수행할 수 있다.
기기제어부(140)는 형상 검출부(130)에 의해 검출된 형상에 대응하는 제어명령을 결정하고, 결정된 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 복수의 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정한다.
사용자의 제어동작이 포함된 영상프레임이 입력되어 형상 검출부(130)에 의해 저장된 기준형상과 일치하는 형상이 검출되면, 기기제어부(140)에서는 저장부(120)에 저장된 데이터 또는 기기제어부(140) 자체에 저장된 데이터를 참고하여 검출된 형상이 나타내는 제어동작에 대응하는 제어명령을 결정할 수 있다. 결정된 제어명령을 실행하기 위해서는 제어명령이 적용될 제어대상기기가 결정되어야 한다. 따라서 기기제어부(140)에서는 결정된 제어명령이 공통 제어명령인지 개별 제어명령인지 판단한다.
검출된 형상이 나타내는 제어명령이 공통 제어명령인 경우에는 제어명령이 복수의 제어대상기기에 적용될 수 있다는 의미이므로 어떠한 제어대상기기에 제어명령을 적용할 것인지를 결정하여야 한다. 제어대상기기의 결정은 사전에 사용자에 의해 설정된 우선순위에 따라 수행될 수도 있으나, 사용자 인터페이스부(150)를 구비하여 복수의 제어대상기기 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고, 상기 제어명령이 적용되는 제어대상기기 및 상기 제어명령의 내용을 영상 또는 음성에 의하여 제공할 수 있도록 하는 것이 바람직하다.
사용자 인터페이스부(150)는 먼저 검출된 형상을 화면에 표시하여 사용자가 의도한 제어동작이 맞는지 확인할 수 있도록 하고, 제어동작에 대응하는 제어대상기기 및 제어명령을 화면에 표시한다. 제어명령이 개별 제어명령에 해당하는 경우에는 제어대상기기를 선택할 필요가 없으므로 사용자에게 제어명령을 실행할 것인지 여부를 음성 또는 영상으로 확인하거나 확인 과정을 생략하고 바로 제어명령을 실행하도록 할 수 있다. 그러나 제어명령이 공통 제어명령에 해당하는 경우에는 기기제어부(140)에 의해 제어대상기기를 결정할 수 있도록 제어명령이 적용되는 복수의 제어대상기기를 표시하여 사용자가 확인할 수 있도록 한다. 제어명령을 적용할 제어대상기기로 복수의 제어대상기기 전체가 선택될 수도 있고 사용자의 선택에 의해 일부 또는 한 개의 제어대상기기만이 선택될 수도 있다. 특히 복수의 제어대상기기에 공통 제어명령을 적용하는 것은 여러 개의 가전기기를 동시에 켜고 끄는 등의 동작을 수행할 때 효율적이다.
위에서 설명한 방법 외에 형상 검출부(130)에서 검출된 형상과 일치하는 기준형상에 복수의 제어대상기기가 대응될 경우에는 기기제어부(140)에서는 제어대상기기를 먼저 결정하고, 결정된 제어대상기기에 적용되는 제어명령을 실행하도록 할 수도 있다.
또한 사용자 인터페이스부(150)는 영상 획득부(110)가 카메라의 형태로 구현되는 경우에 카메라의 촬영 영역에 피사체가 감지된 후 기준시간, 예를 들면 5초의 시간 동안 형상 검출부(130)에 의해 검출되는 손의 형상이 존재하지 않으면 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 손의 형상을 화면에 출력할 수 있다. 사용자는 출력된 제어대상기기 등을 참고하여 제어하고자 하는 제어대상기기 및 실행하고자 하는 제어명령과 일치하는 손의 형상을 확인하고 이를 카메라로 촬영할 수 있다.
본 발명에 따른 제스쳐 기반의 가전기기 제어장치는 위와 같이 검출된 형상에 대응하는 제어명령 및 제어명령이 적용될 제어대상기기가 확정되면 제어대상인 가전기기의 제어를 수행한다. 사용자 인터페이스부(150)는 제어명령의 실행 상태를 영상 또는 음성의 형태로 사용자에게 제공할 수 있다.
도 4는 본 발명에 따른 제스쳐 기반의 가전기기 제어방법의 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 4를 참조하면, 제어동작을 포함하는 영상프레임이 영상 획득부(110)에 의해 획득되면(S410), 형상 검출부(130)는 저장부(120)에 저장된 기준형상과 일치하는 손의 형상을 영상프레임으로부터 검출한다(S420). 이때 기준시간동안 기준형상과 일치하는 손의 형상이 검출되지 않으면, 사용자 인터페이스부(150)는 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 기준형상을 화면에 출력한다. 다음으로 제어대상 결정부(140)는 검출된 형상에 대응하는 제어명령을 결정하고(S430), 결정된 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인지 개별적인 제어대상기기에만 적용되는 개별 제어명령인지 여부를 판단한다(S440). 제어명령이 공통 제어명령인 경우에는 사용자 인터페이스부(150)에 의해 복수의 제어대상기기 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고(S450), 제어대상 결정부(140)는 사용자의 선택에 의해 복수의 제어대상기기 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정한다(S460). 제어명령이 개별 제어명령에 해당하는 경우 및 공통 제어명령이 적용될 제어대상기기가 결정된 경우에는 제어명령을 실행하여 제어대상인 가전제품을 제어한다. 이때 사용자 인터페이스부(150)는 제어명령의 실행 상태를 영상 또는 음성의 형태로 사용자에게 제공할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 제스쳐 기반의 가전기기 제어장치에 카메라가 구비된 경우의 일 예를 도시한 도면,
도 3은 제어대상의 제어에 사용될 수 있는 제어동작들의 몇 가지 예를 도시한 도면, 그리고,
도 4는 본 발명에 따른 제스쳐 기반의 제어방법의 바람직한 실시예의 수행과정을 도시한 흐름도이다.

Claims (5)

  1. 제어동작을 포함하는 영상프레임을 획득하는 영상 획득부;
    복수의 제어대상기기, 상기 각각의 제어대상기기에 적용되는 제어명령 및 상기 각각의 제어명령에 대응하는 기준형상이 저장된 저장부;
    상기 영상프레임으로부터 상기 저장된 기준형상과 일치하는 손의 형상을 검출하는 형상 검출부;
    상기 검출된 형상에 대응하는 제어명령을 결정하고, 상기 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 상기 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정하는 기기제어부; 및
    상기 복수의 제어대상 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고, 상기 제어명령이 적용되는 제어대상기기 및 상기 제어명령의 내용을 영상 또는 음성에 의하여 제공하는 사용자 인터페이스부;를 포함하는 것을 특징으로 하는 제스쳐 기반의 가전기기 제어장치.
  2. 제 1항에 있어서,
    상기 사용자 인터페이스부는 상기 영상프레임으로부터 사전에 설정된 기준시간동안 상기 기준형상과 일치하는 손의 형상이 검출되지 않는 경우에는 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 손의 형상을 화면에 출력하는 것을 특징으로 하는 제스쳐 기반의 가전기기 제 어장치.
  3. 제어동작을 포함하는 영상프레임을 획득하는 단계;
    상기 영상프레임으로부터 사전에 저장된 기준형상과 일치하는 손의 형상을 검출하는 단계;
    상기 검출된 형상에 대응하는 제어명령을 결정하고, 상기 제어명령이 복수의 제어대상기기에 적용되는 공통 제어명령인 경우에는 상기 제어대상기기들 중에서 제어명령을 적용하고자 하는 제어대상기기를 결정하는 단계; 및
    상기 복수의 제어대상기기 및 각각의 제어대상기기에 대응하는 손의 형상을 화면에 출력하고, 상기 제어명령이 적용되는 제어대상기기 및 상기 제어명령의 내용을 영상 또는 음성에 의하여 제공하는 단계;를 포함하는 것을 특징으로 하는 제스쳐 기반의 가전기기 제어방법.
  4. 제 3항에 있어서,
    상기 영상프레임으로부터 사전에 설정된 기준시간동안 상기 기준형상과 일치하는 손의 형상이 검출되지 않는 경우에는 복수의 제어대상기기, 각각의 제어대상기기에 적용되는 제어명령 및 각각의 제어명령에 대응하는 손의 형상을 화면에 출력하는 것을 특징으로 하는 제스쳐 기반의 가전기기 제어방법.
  5. 제 3항 또는 제 4항에 기재된 제스쳐 기반의 가전기기 제어방법을 컴퓨터에 서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20080096484A 2008-10-01 2008-10-01 제스쳐 기반의 가전기기 제어장치 및 방법 KR100977443B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20080096484A KR100977443B1 (ko) 2008-10-01 2008-10-01 제스쳐 기반의 가전기기 제어장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080096484A KR100977443B1 (ko) 2008-10-01 2008-10-01 제스쳐 기반의 가전기기 제어장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100037254A true KR20100037254A (ko) 2010-04-09
KR100977443B1 KR100977443B1 (ko) 2010-08-24

Family

ID=42214491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080096484A KR100977443B1 (ko) 2008-10-01 2008-10-01 제스쳐 기반의 가전기기 제어장치 및 방법

Country Status (1)

Country Link
KR (1) KR100977443B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101258640B1 (ko) * 2011-04-26 2013-04-26 서울과학기술대학교 산학협력단 동작 인식을 통한 ｌｅｄ 감성 조명 시스템
US20150088283A1 (en) * 2013-09-24 2015-03-26 Fibar Group sp. z o.o. Touch-less swipe control
RU2633367C2 (ru) * 2015-02-26 2017-10-12 Сяоми Инк. Способ и устройство для оперирования и управления интеллектуальным устройством
KR102513444B1 (ko) * 2021-11-25 2023-03-24 한국과학기술원 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP3863809B2 (ja) 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101258640B1 (ko) * 2011-04-26 2013-04-26 서울과학기술대학교 산학협력단 동작 인식을 통한 ｌｅｄ 감성 조명 시스템
US20150088283A1 (en) * 2013-09-24 2015-03-26 Fibar Group sp. z o.o. Touch-less swipe control
WO2015044784A3 (en) * 2013-09-24 2015-07-30 Fibar Group sp. z o. o. Touch-less swipe control
RU2633367C2 (ru) * 2015-02-26 2017-10-12 Сяоми Инк. Способ и устройство для оперирования и управления интеллектуальным устройством
US10007354B2 (en) 2015-02-26 2018-06-26 Xiaomi Inc. Method and apparatus for controlling smart device
KR102513444B1 (ko) * 2021-11-25 2023-03-24 한국과학기술원 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치
US11887330B2 (en) 2021-11-25 2024-01-30 Korea Advanced Institute Of Science And Technology Method and apparatus for assisting object registration in a smart home system

Also Published As

Publication number Publication date
KR100977443B1 (ko) 2010-08-24

Similar Documents

Publication Publication Date Title
US11700327B2 (en) System and method for provision of appliance control functionality to a smart device
US20230019304A1 (en) Graphical user interface and data transfer methods in a controlling device
CN102640080B (zh) 通过用户的姿势可控制的设备的功率控制方法
US9607505B2 (en) Closed loop universal remote control
KR101287497B1 (ko) 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
RU2684506C2 (ru) Способ и приспособление для управления устройством
WO2007126286A1 (en) Non-contact selection device
CN103957319A (zh) 一种使用用户设备遥控目标设备的方法及用户设备
KR20130123506A (ko) 모듈 식별 정보 운용 방법 및 시스템과 이를 지원하는 단말기
KR20130080278A (ko) 스마트폰을 이용한 디지털기기 제어 및 홈 오토메이션 시스템
KR100977443B1 (ko) 제스쳐 기반의 가전기기 제어장치 및 방법
CN102184013B (zh) 一种用于电子设备间的输入方法及相应的电子设备
CN108829481A (zh) 基于控制电子设备的遥控器界面的呈现方法
CN107615344A (zh) 显示设备以及集成遥控器设置方法及其系统
US20190052745A1 (en) Method For Presenting An Interface Of A Remote Controller In A Mobile Device
US20160212368A1 (en) Device for remotely controlling electric equipment
US11197156B2 (en) Electronic device, user terminal apparatus, and control method thereof
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
KR102343261B1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치, 및 이를 구비하는 영상표시장치
CN104427411A (zh) 遥控器及其控制方法
JP2021071894A (ja) 操作装置、操作方法及びプログラム
CN104602093A (zh) 控制多媒体装置产生画面数据的方法和控制模块
CN110636099A (zh) 电子设备的控制方法、装置、设备及系统
KR100749481B1 (ko) 무접점 기능을 수행하는 장치 및 방법
JP7308453B2 (ja) 設定用通信装置、通信システム、情報端末の制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130620

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140709

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150609

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190813

Year of fee payment: 10