KR101379191B1 - 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법 - Google Patents

모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법 Download PDF

Info

Publication number
KR101379191B1
KR101379191B1 KR1020120089117A KR20120089117A KR101379191B1 KR 101379191 B1 KR101379191 B1 KR 101379191B1 KR 1020120089117 A KR1020120089117 A KR 1020120089117A KR 20120089117 A KR20120089117 A KR 20120089117A KR 101379191 B1 KR101379191 B1 KR 101379191B1
Authority
KR
South Korea
Prior art keywords
control
gesture
target device
control target
selecting
Prior art date
Application number
KR1020120089117A
Other languages
English (en)
Other versions
KR20140022673A (ko
Inventor
한용희
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120089117A priority Critical patent/KR101379191B1/ko
Publication of KR20140022673A publication Critical patent/KR20140022673A/ko
Application granted granted Critical
Publication of KR101379191B1 publication Critical patent/KR101379191B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Abstract

본 발명에 따른 실시예는, 제어대상 기기의 목록 및 제어대상 기기를 선택 및 제어하기 위한 제어정보를 저장하는 데이터저장부; 특정 기기를 선택 및 제어하는 과정에서 발생하는 단말기의 움직임을 감지하고, 단말기의 센싱정보를 생성하는 모션인식부; 단말기의 무선통신모듈로부터 단말기가 위치하는 장소의 무선신호의 세기 정보를 수신하여 저장하는 무선신호 세기 감지부; 단말기의 센싱정보 및 무선신호의 세기 정보를 기반으로, 특정 기기를 선택 및 제어하기 위한 명령 및 명령에 대한 신호를 생성하는 제어부; 및 특정 기기를 선택 및 제어하는 과정에서 발생하는 특정 기기의 제어정보를 수신 및 학습하고, 학습된 제어정보를 데이터저장부에 송부하는 데이터학습부를 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 그 방법을 제공한다.

Description

모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법{Method and Apparatus for Providing Universal Remote Control Based on Motion Control Sensing}
본 실시예는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법에 관한 것이다. 더욱 상세하게는, 모션 인식방식의 통합 리모콘 애플리케이션 장치를 제작하고, 단말기의 센서값, 단말기가 위치한 장소의 무선신호 세기, 선택 및 제어 제스처 등과 같은 제어정보를 기 저장하여, 이를 기반으로 단말기의 화면이 잠김 상태에서도 모션 인식방식으로 설정된 제어명령 기능을 수행하는 한편, 제어대상 기기의 제어과정에서 발생하는 센서정보를 지속적으로 학습하여, 기기를 제어할수록 단말기의 특성, 단말기의 위치와 사용자 행동 패턴에 적응하여 모션 인식의 정확도를 높이는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
다양한 전자제품이 보급됨에 따라 이를 제어하기 위한 다수의 리모콘이 존재하며, 사용자들은 특정 전자제품을 제어하기 위해서 다수의 리모콘 중 특정 전자제품이 제공한 리모콘을 찾아 사용해야 하는 불편함이 발생하였다. 이에, 복수의 전자제품을 제어하기 위한 통합 리모콘이 개발되었으며, 스마트폰의 보급에 따라, 스마트폰의 통합 리모콘 애플리케이션을 통해, 복수의 전자제품을 손쉽게 제어할 수 있게 되었다. 하지만 스마트폰의 통합 리모콘 애플리케이션을 통해 전자제품을 제어하기 위해서는 스마트폰 화면의 잠금상태를 해제하는 단계, 애플리케이션을 실행하여 제어할 기기를 선택하는 단계, 기기를 제어하기 위한 제어버튼을 클릭하여 기기를 제어하는 단계와 같이 여러 단계로 통합 리모콘 애플리케이션을 조작해야하는 번거로움이 있다.
본 실시예는, 모션 인식방식의 통합 리모콘 애플리케이션 장치를 제작하고, 단말기의 센서값, 단말기가 위치한 장소의 무선신호 세기, 선택 및 제어 제스처 등과 같은 제어정보를 기 저장하여, 이를 기반으로 단말기의 화면이 잠김 상태에서도 모션 인식방식으로 설정된 제어명령 기능을 수행하는 한편, 제어대상 기기 제어과정에서 발생하는 센서정보를 지속적으로 학습하여, 기기를 제어할수록 단말기의 특성, 단말기의 위치와 사용자 행동 패턴에 적응하여 모션 인식의 정확도를 높이고자 하는 데 주된 목적이 있다.
본 실시예는, 제어대상 기기의 목록 및 상기 제어대상 기기를 선택 및 제어하기 위한 제어정보를 저장하는 데이터저장부; 특정 기기를 선택 및 제어하는 과정에서 발생하는 단말기의 움직임을 감지하고, 상기 단말기의 센싱정보를 생성하는 모션인식부; 상기 단말기의 무선통신모듈로부터 상기 단말기가 위치하는 장소의 무선신호의 세기 정보를 수신하여 저장하는 무선신호 세기 감지부; 상기 단말기의 센싱정보 및 상기 무선신호의 세기 정보를 기반으로, 상기 특정 기기를 선택 및 제어하기 위한 명령 및 상기 명령에 대한 신호를 생성하는 제어부; 및 상기 특정 기기를 선택 및 제어하는 과정에서 발생하는 상기 특정 기기의 제어정보를 수신 및 학습하고, 상기 학습된 제어정보를 상기 데이터저장부에 송부하는 데이터학습부를 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 단말기가 제어하고자 하는 기기를 인지하는 과정; 상기 제어하고자 하는 기기를 인지하는 과정에서 인식한 사용자의 제스처(Gesture) 및 센서값을 기반으로 기 저장되어 있는 선택 제스처와의 일치 여부를 판단하는 과정; 상기 사용자의 제스처 및 센서값을 기반으로, 제어대상 기기를 선택하고, 선택된 상기 제어대상 기기의 명칭을 시각, 촉각, 또는 청각적으로 제공하는 과정; 상기 제어대상 기기를 제어하기 위한 특정 제어 제스처를 인지한 경우, 상기 특정 제어 제스처에 관한 센서값을 수집하고, 기 저장되어 있는 불일치 제어 제스처와 일치 여부를 판단하는 과정; 및 상기 특정 제스처에 대한 제어명령을 선택하고, 상기 제어명령을 상기 제어대상 기기에 전달하는 과정을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 선택 제스처가 기 설정되어 있지 않은 경우, 제어 제스처를 이용하여 제어대상 기기를 선택 및 제어하는 방법에 있어서, 상기 제어대상 기기를 제어하기 위한 상기 제어 제스처를 인지하는 과정; 상기 제어 제스처의 센서값을 인식하고, 상기 제어 제스처와 기 저장되어 있는 다수의 제어 제스처와의 일치 여부를 판단하는 과정; 상기 제어 제스처에 대한 제어명령을 선택하고, 상기 제어 제스처의 센서값을 선택된 상기 제어명령에 관한 제스처로 학습하는 과정; 상기 제어 제스처의 센서값을 기반으로, 상기 제어대상 기기를 선택하는 과정; 선택된 상기 제어대상 기기의 명칭 및 선택된 상기 제어 제스처에 대한 제어명령을 음성으로 제공하는 과정; 및 상기 제어명령을 상기 제어대상 기기에 전달하는 과정을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 모션인식 방식의 통합리모콘 제공 애플리케이션 장치에 제어대상 기기를 등록하는 방법에 있어서, 상기 통합리모콘 제공 애플리케이션 장치가 실행되는 과정; 상기 애플리케이션 장치가 제어대상 기기의 정보를 수신하는 과정; 단말기가 상기 제어대상 기기를 인지하는 과정; 상기 단말기가 상기 제어대상 기기를 인지하는 과정에서 발생한 상기 단말기의 움직임에 따른 센서값을 인식하는 과정; 상기 제어대상 기기가 등록되고 있는 위치에서 상기 단말기가 수신하는 무선신호 세기를 인식하는 과정; 상기 제어대상 기기의 정보, 상기 센서값 및 상기 무선신호 세기를 학습하여 상기 제어대상 기기를 상기 애플리케이션 장치에 등록하는 과정; 및 리모콘 데이터 센터에 접속하여 등록된 상기 제어대상 기기를 제어하기 위한 제어 데이터를 수신하는 과정을 포함하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치에 제어대상 기기를 등록하는 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 모션 인식방식의 통합 리모콘 애플리케이션 장치를 제작하고, 단말기의 센서값, 단말기가 위치한 장소의 무선신호 세기, 선택 및 제어 제스처 등과 같은 제어정보를 기 저장하여, 이를 기반으로 단말기의 화면이 잠김 상태에서도 모션 인식방식으로 설정된 제어명령 기능을 수행하는 한편, 제어대상 기기의 제어과정에서 발생하는 센서정보를 지속적으로 학습하여, 기기를 제어할수록 단말기의 특성, 단말기의 위치와 사용자 행동 패턴에 적응하여 모션 인식의 정확도를 높일 수 있는 효과가 있다.
도 1은 본 실시예에 따른 모션인식 방식의 통합 리모콘 제공 애플리케이션 장치의 구조를 도시한 도면,
도 2는 본 실시예에 따른 모션인식 방식의 통합 리모콘 제공 애플리케이션 장치를 이용한 통합 리모콘 서비스 시스템을 도시한 도면,
도 3은 본 실시예에 따른 모션인식 방식의 통합리모콘 제공 애플리케이션 장치를 이용하여 기기를 선택 및 제어하는 방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 도 3의 방법에서 제어명령을 선택하여 제어대상 기기에 전달하는 과정을 설명하기 위한 순서도,
도 5는 본 실시예에 따른 선택 제스처가 기 설정되어 있지 않은 경우, 제어 제스처를 이용하여 제어대상 기기를 선택 및 제어하는 방법을 설명하기 위한 순서도,
도 6은 본 실시예에 따른 모션인식 방식의 통합리모콘 제공 애플리케이션 장치에 제어대상 기기를 등록하는 방법을 설명하기 위한 순서도,
도 7은 본 실시예에 따른 제어대상 기기를 단말기로 가리키는 과정을 예시한 예시도,
도 8은 본 실시예에 따른 실내에서 무선신호의 세기를 예시한 예시도,
도 9는 본 실시예에 따른 제어대상 기기를 선택하여 제어 단계로 진입하기 위한 선택 제스처 및 제어대상 기기의 제어명령을 선택하기 위한 불일치 제어 제스처를 예시한 예시도,
도 10은 본 실시예에 따른 지자기 센서의 3축값을 예시한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
애플리케이션(Application)은 애플리케이션 프로그램의 약자로 간단히 앱(App)이라고 부르기도 하는데, 목적에 따른 전용 프로그램으로서 운영 체제 위에서 실행되는 소프트웨어를 의미한다. 따라서 워드프로세서, 스프레드시트, 웹브라우저뿐만 아니라 컴파일러나 링커 등도 일종의 애플리케이션에 포함된다. 좁은 의미에서는 OS(Operating System) 위에서 사용자가 직접 사용하게 되는 소프트웨어들을 의미하며 스마트폰과 같은 모바일 기기에서는 특정 목적의 서비스를 수행할 수 있는 응용 프로그램을 뜻한다.
도 1은 본 실시예에 따른 모션인식 방식의 통합 리모콘 제공 애플리케이션 장치(100)의 구조를 도시한 도면이다.
본 실시예에 따른 통합 리모콘 제공 애플리케이션 장치(100)는 입력부(110), 모션인식부(120), 무선신호 세기 감지부(130), 데이터저장부(140), 제어부(150), 음성부(160), 데이터학습부(170), 송신부(180)를 포함한다.
입력부(110)는 통합 리모콘 제공 애플리케이션 장치(100)에 새로운 제어대상 기기를 추가하고자 하는 경우, 사용자로부터 제어대상 기기의 정보를 입력받고, 이를 데이터저장부(140)에 전달한다. 이때, 제어대상 기기의 정보는 제어대상 기기의 모델명 및 제어대상 기기의 이미지 정보 등의 제어대상 기기를 구분할 수 있는 정보를 의미한다.
모션인식부(120)는 특정 제어대상 기기를 선택 및 제어하는 과정에서 발생하는 단말기의 움직임을 감지하고, 이를 통해 단말기의 센싱정보를 생성한다. 이때, 단말기의 센싱정보는 단말기의 다수의 센서를 통해 측정된 사용자의 제스처(Gesture) 및 사용자의 제스처에 따른 단말기 센서값 등의 정보를 포함하고 있다.
즉, 모션인식부(120)는 단말기의 지자기 센서, 가속 센서 및 자이로 센서 등의 센서를 통해 사용자가 특정 제어대상 기기를 선택 및 제어하는 과정에서 발생하는 제스처 및 사용자의 제스처에 따른 단말기의 센서값 정보를 수신하여 단말기의 센싱정보를 생성하고, 이를 데이터저장부(140)에 전달한다.
한편, 본 발명에서는 단말기의 지자기 센서, 가속 센서 및 자이로 센서를 이용하여 사용자의 모션에 따른 단말기의 움직임을 감지하였지만, 반드시 이에 한정되지 않고 다수의 센서를 이용하여 사용자의 제스처 및 단말기의 센서값 정보를 수신할 수 있다.
무선신호 세기 감지부(130)는 단말기의 무선통신모듈로부터 현재 단말기가 접속하고 있는 AP의 정보와 AP로부터 발생하는 무선신호의 세기 정보를 수신하여, 특정 단말기가 위치하는 위치별 무선신호의 세기 정보를 저장한다. 이를 통해, 제어대상 기기를 확인하는 과정에 있어서, 특정 제어대상 기기를 구별하기 위한 수단으로 사용된다.
데이터저장부(140)는 제어대상 기기의 목록 및 제어대상 기기를 선택 및 제어하기 위한 제어정보가 기 저장되어 있다. 이때, 데이터저장부(140)에 기 저장되어 있는 제어정보는 제어대상 기기의 정보, 제어대상 기기를 등록하는 과정 및 제어대상 기기를 선택하는 과정에서 수행된 학습의 결과인 학습데이터, 제어대상 기기를 제어하기 위한 제스처 정보를 포함한다.
즉, 데이터저장부(140)는 패턴매칭 알고리즘을 통해 학습 및 데이터화된 과거 제어대상 기기를 등록 및 선택하는 과정에서 발생한 결과에 대한 학습데이터를 저장하여, 새로운 제어대상 기기의 선택 및 제어시 패턴 매칭을 위한 학습데이터를 제공한다.
한편, 선택 제스처는 특정 기기를 선택하고, 제어단계로 진입하기 위한 제스처로, 사용자가 의도하지 않은 제스처가 통합 리모콘의 제어를 위한 제스처로 인식되는 것을 방지하기 위해 사전에 정의된 제스처이다.
또한, 데이터저장부(140)는 새로운 제어대상 기기를 제어대상 기기의 목록에 추가하는 경우, 입력부(110), 모션인식부(120), 무선신호 세기 감지부(130)로부터 새로운 기기의 모델명, 새로운 기기를 가리키는 과정에서 측정된 단말기의 지자기 센서값 및 새로운 기기를 등록한 위치의 무선신호 세기의 정보를 사용하여 수행된 학습의 결과인 학습 데이터 등의 입력정보를 수신하고, 이를 통해 새로운 기기를 제어대상 기기의 목록을 갱신한다.
제어부(150)는 모션인식부(120), 무선신호 세기 감지부(130)로부터 수신한 특정 기기의 제어정보를 기반으로, 특정 기기를 선택 및 제어하기 위한 선택, 제어명령 및 선택, 제어명령에 대한 음성신호를 생성하여 음성부(160)를 통해 음성신호를 사용자에게 전달한다.
즉, 제어부(150)는 특정 기기를 선택 및 제어하는 과정에서 수집된 단말기의 센서값, 무선신호 세기, 선택 제스처 및 제어 제스처 등의 특정 기기의 제어정보와 데이터저장부(140)에 기 저장되어 있는 다수의 제어대상 기기의 제어정보의 일치 여부를 판단하고, 특정 기기의 제어정보와 일치하는 기기의 제어정보가 존재하는 경우, 이를 기반으로 특정 기기를 선택 또는 기 설정된 명령을 수행하기 위한 명령을 생성한다.
한편, 제어부(150)는 데이터저장부(140)에 저장된 제어대상 기기를 선택 및 제어하는 과정에서 수행된 학습의 결과인 학습데이터와 특정 기기의 선택 및 제어하는 과정에서 수집된 센싱값을 패턴 매칭하여 특정 기기를 선택 또는 기 설정된 명령을 수행하기 위한 명령을 생성한다.
음성부(160)는 특정 기기가 선택되거나 특정 기기에 대한 제어가 발생하는 경우, 제어부(150)를 통해 이에 대한 음성신호를 전달받고 사용자에게 음성안내 또는 효과음 등을 출력한다.
데이터학습부(170)는 특정 기기를 선택 및 제어하는 과정에서 발생한 제어정보를 수신 및 학습하고, 이를 데이터저장부(140)에 송부한다. 즉, 특정 기기를 선택 및 제어하는 과정에서 발생한 센서값, 무선신호 세기 및 제스처 등의 제어정보를 수신하고, 특정 기기의 제어정보가 기 저장되어 있는 기기의 제어정보와 일치 또는 불일치가 판별된 경우, 각각의 결과에 대한 특정 기기와 사용자의 사용 패턴을 지속적으로 적용 및 학습하여 모션 인식의 정확도를 높인다.
송신부(180)는 모션 인식을 통해 판별된 특정 기기의 선택 및 제어에 대한 명령을 단말기의 와이파이(WiFi) 모듈 및 블루투스(Bluetooth) 모듈을 통해 리피터(Repeater)로 전송한다. 리피터는 단말기가 제어대상 기기가 지원하는 리모콘용 통신 인터페이스(Interface)를 내장하고 있지 않을 경우, 단말로부터 받은 제어명령을 해당 제어대상 기기의 리모콘 신호로 변환 전송하는 역할을 수행한다. 한편, 단말기가 제어대상 기기의 리모콘용 통신 인터페이스를 지원하는 경우는 리피터를 거치지 않고 단말기가 직접 리모콘용 신호를 제어대상 기기로 전송하게 된다. 본 발명에서는 통상적으로 사용되고 있는 리모콘용 통신신호를 IR 신호로 가정하여 설명하고자 한다.
도 2는 본 실시예에 따른 모션인식 방식의 통합 리모콘 제공 애플리케이션 장치(100)를 이용한 통합 리모콘 서비스 시스템을 도시한 도면이다.
본 실시예에 따른 통합 리모콘 제공 애플리케이션 장치(100)를 이용한 통합 리모콘 서비스 시스템은 통합 리모콘 제공 애플리케이션 장치(100)를 포함하고 있는 단말기(200), AP(Access Point, 210), 리피터(220) 및 제1 기기 내지 제N 기기(230, 240)를 포함한다.
단말기(200)는 사용자의 키 조작에 따라 AP를 포함한 통신 중개장치를 이용하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 단말기(200)는 AP 및 통신망을 이용하여 음성 또는 데이터 통신을 수행하는 단말기이며, AP 및 통신망을 경유하여 외부 장치와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다.
한편, 본 실시예에 따른 단말기(200)는 통합 리모콘 제공 애플리케이션 장치(100)를 포함하고 있으며, 다수의 센서를 이용하여 특정 기기를 선택 및 제어하는 과정에서 발생한 단말기의 센서값 및 AP(210)로부터 수집한 무선신호 세기를 수집하여 통합 리모콘 제공 애플리케이션 장치(100)에 전달한다. 한편, 통합 리모콘 제공 애플리케이션 장치(100)는 이를 기반으로 특정 기기를 선택 및 제어를 위한 명령을 생성하고, 생성된 명령은 단말기(200)의 와이파이(WiFi) 모듈 및 블루투스(Bluetooth) 모듈을 통해 리피터(220)로 전송된다.
리피터(220)는 단말기(200)가 IR 통신 모듈을 내장하지 않은 경우, 단말기(200)로부터 제어명령을 수신하고, 이를 IR 신호로 변경하여 제1 기기 내지 제N 기기(230, 240)에 전달한다. 이때, 리피터(220)는 단말기(200)가 제어대상 기기를 등록하는 과정에서 리모콘 데이터 센터에서 다운로드한 제어대상 기기에 관한 리모콘 데이터를 함께 전달받으며, 이를 기반으로 제어명령의 IR 신호를 생성한다.
도 3은 본 실시예에 따른 모션인식 방식의 통합리모콘 제공 애플리케이션 장치(100)를 이용하여 기기를 선택 및 제어하는 방법을 설명하기 위한 순서도이다.
도 3에서 도시하듯이 모션인식 방식의 통합리모콘 제공 애플리케이션 장치(100)를 이용하여 기기를 선택 및 제어하는 방법으로서, 먼저 단말기가 제어하고자 하는 기기를 인지하는 과정으로 시작된다(S300). 한편 단말기가 제어하고자 하는 기기를 인지하는 것은 사용자가 제어하고자 하는 기기를 단말기로 가리키는 과정과 동일한 의미이다.
모션인식부(120)는 단말기의 지자기 센서, 가속 센서 및 자이로 센서 등의 센서를 통해 사용자의 제스처 및 사용자의 제스처에 따른 단말기의 센서값 정보를 수신하여 단말기의 센싱정보를 생성하고, 무선신호 세기 감지부(130)는 사용자의 제스처가 발생한 장소의 무선신호 세기를 확인하여 이를 데이터저장부(140)에 전송한다(S302). 한편, 사용자의 제스처 및 사용자의 제스처에 따른 단말기의 센서값 정보를 수신하는 방식은 배터리 소모와 편의성 차원에서 두 가지 방식으로 구현될 수 있다. 예를 들어 배터리 소모량을 줄이는데 주안점을 두면, 단말기(200)가 잠김 상태에서 버튼을 눌러 액티브한 상태로 변경되었을 경우에 단말기의 센서값 정보를 수신하는 방식을 사용할 수 있으며, 편의성에 주안점을 두어 단말기(200)가 잠김 상태일 때도 항상 센서값 정보를 수신하는 방식을 사용하여 사용자가 버튼을 누르는 단계를 생략하는 방식을 사용할 수 있다.
제어부(150)를 통해 사용자의 제스처와 기 저장되어 있는 기기 선택 제스처가 일치한다고 판단되는 경우, 데이터학습부(170)는 사용자의 제스처에 대한 가속 센서값, 자이로 센서값을 기기 선택 제스처에 대한 패턴으로 학습하고, 제어대상 기기를 선택하는 과정으로 진입한다(S306).
제어부(150)는 사용자의 제스처 시작점의 지자기 센서값 및 무선신호 세기값을 데이터저장부(140)에 기 저장되어 있는 다수의 제어대상 기기의 센싱정보 및 무선신호 세기값을 근거로 기 학습한 학습데이터를 이용하여 패턴 매칭하여 가장 확률이 높은 제어대상 기기를 선택하고, 음성부(160)를 통해 선택된 기기에 대한 음성안내를 출력한다(S308). 한편, 본 발명에서는 선택된 기기에 대한 음성안내를 출력하지만 반드시 이에 한정되지는 않고 시각, 촉각 또는 청각적으로 선택된 기기를 표현할 수 있다.
모션인식부(120)는 사용자로부터 기기를 제어하기 위한 특정 제어 제스처를 인식하고, 특정 제어 제스처에 관한 가속 센서값, 지자기 센서값 등의 센싱정보를 수집한다(S310).
제어부(150)는 특정 제어 제스처와 데이터저장부(140)에 기 저장되어 있는 불일치 제어 제스처와의 일치 여부를 패턴 매칭을 통해 확인한다(S312).
제어부(150)를 통해 특정 제스처가 기 저장되어 있는 불일치 제어 제스처와 일치한다고 판단되는 경우, 사용자가 의도했던 기기가 선택되지 않은 것으로 간주하고, 데이터학습부(170)를 통해 특정 제스처에 대한 센싱값을 불일치 제어 제스처로 학습한다(S314).
제어부(150)를 통해 특정 제스처가 기 저장되어 있는 불일치 제어 제스처와 일치하지 않다고 판단되는 경우, 사용자가 의도했던 기기가 선택되어진 것으로 간주하여, 사용자의 제스처 시작점에서의 지자기 센서값, 무선신호 세기값 및 선택 되어진 기기의 모델명을 데이터학습부(170)를 통해 학습하고(S316), 학습결과인 학습데이터를 데이터저장부(140)에 저장하여, 명령 인식 단계에 진입한다(S318).
제어부(150)는 특정 제스처와 데이터저장부(140)에 기 저장되어 있는 제어 제스처 및 제스처별 제어명령을 비교하여, 특정 제스처와 가장 유사한 제어 제스처를 추출하고, 이를 통해 특정 제어 제스처에 대한 제어명령을 선택한다. 이후, 선택된 제어명령은 단말기(200)가 IR 통신 모듈을 내장하지 않은 경우, 리피터(220)를 통해 제어대상 기기로 전달되며, 단말기(200)가 IR 통신 모듈을 내장한 경우, 제어대상 기기로 직접 전송된다(S320).
도 3에서는 단계 S300 내지 단계 S320을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S300 내지 단계 S320 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 도 3의 방법에서 제어명령을 선택하여 제어대상 기기에 전달하는 과정을 설명하기 위한 순서도이다.
도 4에서 도시하듯이, 도 3의 방법에서 제어명령을 선택하여 제어대상 기기에 전달하는 과정은 먼저 제어부(150)가 수집된 특정 제어 제스처에 관한 센서값을 기반으로 데이터저장부(140)에 기 설정되어 있는 다수의 제어 제스처 및 다수의 제어 제스처에 따른 제어명령과 비교하여 가장 유사한 제스처를 찾고, 이에 해당하는 특정 제어 제스처에 관한 제어명령으로 선택하는 과정으로 시작된다(S400).
음성부(160)는 선택된 특정 제어 제스처의 제어명령에 대한 음성신호를 제어부(150)를 통해 전달받고, 사용자에게 음성안내를 제공한다(S410).
선택된 제어명령은 단말기(200)가 IR 통신 모듈을 내장하지 않은 경우, 리피터(220)에 전달되고, 리피터(220)는 이를 IR 신호로 변경하여 제어대상 기기에 전달한다. 이때, 리피터(220)는 단말기(200)가 제어대상 기기를 등록하는 과정에서 리모콘 데이터 센터에서 다운로드한 제어대상 기기에 관한 리모콘 데이터를 함께 전달받으며, 이를 기반으로 제어명령의 IR 신호를 생성한다.
한편, 단말기(200)가 IR 통신 모듈을 내장하고 있는 경우, 선택된 제어명령은 리피터(220)를 거치지 않고 바로, 제어대상 기기에 전달된다.
데이터학습부(170)는 특정 제어 제스처의 가속 센서값, 자이로 센서값을 선택된 제어명령에 해당하는 제어 제스처로 학습하여, 모션 인식의 정확도를 높인다(S430).
도 4에서는 단계 S400 내지 단계 S430을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S400 내지 단계 S430 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 선택 제스처가 기 설정되어 있지 않은 경우, 제어 제스처를 이용하여 제어대상 기기를 선택 및 제어하는 방법을 설명하기 위한 순서도이다.
도 5에서 도시하듯이 선택 제스처가 기 설정되어 있지 않은 경우, 제어 제스처를 이용하여 제어대상 기기를 선택 및 제어하는 방법으로서, 먼저 단말기가 제어대상 기기를 제어하기 위한 특정 제어 제스처를 인지하는 과정으로 시작된다(S500). 한편 단말기가 제어대상 기기를 제어하기 위한 특정 제어 제스처를 인지하는 과정은 사용자가 제어하고자 하는 기기를 단말기로 가리키고, 제어대상 기기를 제어하기 위한 특정 제어 제스처를 실행하는 과정을 의미한ㄷ.
모션인식부(120)는 단말기의 지자기 센서, 가속 센서 및 자이로 센서 등의 센서를 통해 특정 제어 제스처에 따른 단말기의 센서값 정보를 수신하여 센싱정보를 생성하고, 무선신호 세기 감지부(130)는 특정 제어 제스처가 발생한 장소의 무선신호 세기를 확인하여 이를 데이터저장부(140)에 전송한다(S510).
제어부(150)는 특정 제어 제스처와 데이터저장부(140)에 기 저장되어 있는 다수의 제어 제스처의 일치 여부를 확인한다(S520).
제어부(150)는 특정 제어 제스처와 일치하는 제어 제스처가 존재한다고 판단되는 경우, 제어 제스처의 제어명령을 특정 제어 제스처에 대한 제어명령으로 선택하고, 데이터학습부(170)를 통해 특정 제어 제스처에 대한 센싱값을 선택된 제어명령에 관한 제스처로 학습한다(S530).
제어부(150)는 특정 제어 제스처의 시작점의 지자기 센서값 및 무선신호 세기값을 데이터저장부(140)에 기 저장된 제어대상 장비를 선택시 학습한 학습데이터들과 패턴매칭을 수행하여 가장 확률이 높은 제어대상 기기를 선택한다(S540). 한편, 선택에 사용된 특정제어 제스처의 시작점의 지자기 센서값 및 무선신호 세기값은 다시 학습되어 학습데이터를 갱신하며, 갱신된 학습데이터는 데이터저장부(140)에 저장된다.
음성부(160)는 선택된 제어대상 기기의 명칭 및 제어명령에 대한 음성신호를 제어부(150)를 통해 전달받고, 사용자에게 음성안내를 제공한다(S550).
선택된 제어명령은 단말기(200)가 IR 통신 모듈을 내장하지 않은 경우, 리피터(220)에 전달되고, 리피터(220)는 이를 IR 신호로 변경하여 제어대상 장치에 전달한다(S560).
도 5에서는 단계 S500 내지 단계 S560을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S500 내지 단계 S560 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 6은 본 실시예에 따른 모션인식 방식의 통합리모콘 제공 애플리케이션 장치(100)에 제어대상 기기를 등록하는 방법을 설명하기 위한 순서도이다.
도 6에서 도시하듯이 모션인식 방식의 통합리모콘 제공 애플리케이션 장치(100)에 제어대상 기기를 등록하는 방법으로서, 먼저 통합 리모콘 제공 애플리케이션 장치(100)가 실행되는 과정으로 시작된다(S600).
통합리모콘 제공 애플리케이션 장치(100)는 입력부(110)를 통해, 등록하고자 하는 제어대상 기기의 모델명 및 제어대상 기기의 이미지 정보 등의 제어대상 기기에 관한 정보를 수신한다(S610).
단말기(200)는 등록하고자 하는 제어대상 기기를 인지하고(S620), 모션인식부(120)는 단말기(200)가 제어대상 기기를 인지하는 과정에서 발생하는 지자기 센서의 X, Y, Z 축의 값을 수집한다(S630). 한편, 단말기(200)가 제어대상 기기를 인지하는 과정은 사용자가 제어대상 기기를 단말기로 가리키는 과정을 의미한다.
무선신호 세기 감지부(130)는 단말기(200)가 등록하고자 하는 제어대상 기기를 인지하는 과정에 무선신호 세기를 수집한다(S640).
데이터학습부(170)는 수집된 지자기 센서값 및 무선신호 세기를 기반으로 등록하고자 하는 기기를 제어대상 기기로 선택한 상황과 동일하게 취급하여, 제어대상 기기를 등록하는 과정을 학습하고, 학습의 결과인 학습데이터와 등록하고자 하는 제어대상 기기의 모델명 및 이미지 등의 정보를 데이터저장부(140)에 저장한다(S650).
제어부(150)는 리모콘 데이터 센터에 접속하여 등록된 기기 모델에 맞는 리모콘 데이터를 다운로드 하고, 이를 데이터저장부(140)에 저장한다(S660). 한편, 리모콘 데이터에는 기기를 제어하기 위한 리모콘 적외선 신호정보가 저장되어 있으며, 차후 제어생성된 명령신호와 함께 제어대상 기기에 전송된다.
도 6에서는 단계 S600 내지 단계 S660을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 단계 S600 내지 단계 S660 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
도 7은 본 실시예에 따른 제어대상 기기를 단말기(200)로 가리키는 과정을 예시한 예시도이다.
도 7의 (a)와 (b)에 도시하듯이, 통합 리모콘 제공 애플리케이션 장치(100)는 사용자가 제어대상 기기를 단말기(200)로 가리키는 동작을 시작으로 제어대상 기기를 선택 및 제어하기 위한 단계에 진입한다. 즉, 제어대상 기기를 가리키는 제스처로 통합 리모콘에서 버튼을 눌러 제어대상 기기를 선택하는 과정을 생략할 수 있으며, 이를 통해 사용자에게 직관적인 UX(User Experience)를 제공한다.
도 8은 본 실시예에 따른 실내에서 무선신호의 세기를 예시한 예시도이다.
도 8에서 도시하듯이, AP가 송신하는 와이파이의 신호세기는 거리에 반비례하며 특히 벽 등의 구조물이 있는 경우, 신호는 더욱 약해지게 된다. 한편, 동일한 방향 범위 내에서는 동일한 지자기 방위각이 측정될 수 있으며, 동일한 방향 범위 내 각기 다른 방에 제어대상 기기가 존재하는 경우, 지자기 센서값만으로는 제어대상이 되는 기기를 인식하는 과정에서 혼란이 발생할 수 있다. 이에, 와이파이의 신호세기를 제어대상 기기를 구별하는 하나의 수단으로 사용하게 되면 선택하고자 하는 제어대상 기기를 정확하게 인식할 수 있는 효과가 있다.
도 9는 본 실시예에 따른 제어대상 기기를 선택하여 제어 단계로 진입하기 위한 선택 제스처 및 제어대상 기기의 제어명령을 선택하기 위한 불일치 제어 제스처를 예시한 예시도이다.
도 9의 (a)는 제어대상 기기를 선택하여 제어 단계로 진입하기 위한 선택 제스처에 대한 예시이다. 한편, 선택 제스처는 특정 기기를 선택하고, 제어단계로 진입하기 위한 제스처로, 사용자가 의도하지 않은 제스처가 통합 리모콘의 제어를 위한 제스처로 인식되는 것을 방지하기 위해 사전에 정의된 제스처이며, 데이터저장부(140)에 기 설정되어 있다. 사용자는 제어대상 기기를 단말기(200)를 가리키는 과정에서 제어단계로 진입 및 특정 기기를 선택하기 위한 제스처를 실행하고, 실행된 제스처는 기 설정된 선택 제스처와 비교되어 두 제스처가 일치하다고 판단되는 경우, 제어대상 기기를 선택하는 과정으로 진입한다. 이후, 선택 제스처의 시작점에서의 센서값 및 무선신호 세기를 기반으로, 기 저장된 다수의 제어대상 기기의 센싱정보 및 무선신호 세기값을 근거로 기 학습한 학습데이터와 패턴 매칭하여 가장 확률이 높은 제어대상 기기를 선택한다. 즉, 선택 제스처를 통해 제어대상 기기를 선택하는 과정으로 진입하고, 제어대상 기기를 선택할 수 있다.
도 9의 (b)는 제어대상 기기의 제어명령을 선택하기 위한 불일치 제어 제스처에 대한 예시이다. 불일치 제어 제스처는 기기를 제어하는 과정에서 인식된 제스처가 기 설정된 제어 제스처가 아닌 경우, 데이터학습부(170)를 통해 학습 및 저장된 제스처이다. 제어부(150)는 기 저장된 불일치 제어 제스처를 기반으로 사용자가 실행하는 특정 제스처와 불일치 제어 제스처의 일치 여부를 패턴 매칭을 통해 판단하고, 두 제스처가 일치하지 않다고 판단되는 경우, 사용자가 의도했던 기기가 선택되어진 것으로 간주한다. 이후, 제어대상 기기의 제어명령을 선택하기 위한 과정에 진입한다. 즉, 불일치 제어 제스처를 통해 의도했던 기기의 선택 여부를 판단하고, 제어명령 과정으로 바로 진입할 수 있다.
한편, 본 실시예에 따른 도 8의 선택 제스처 및 불일치 제어 제스처는 특정 모양으로 한정되지 않고, 다양한 모양의 제스처로 설정 및 변경될 수 있다.
도 10은 본 실시예에 따른 지자기 센서의 3축값을 예시한 예시도이다.
도 10에서 도시하듯이, 단말기(200)는 단말기(200) 내 지자기 센서를 이용하여 X, Y, Z의 3축 값을 측정할 수 있다. 즉, 사용자가 기기를 선택 및 제어하는 과정에서 단말기(200)의 움직임에 따른 센서값을 추출하고, 이를 데이터저장부(140)에 기 저장되어 있는 다수의 제어대상 기기의 센싱정보 및 무선신호 세기값을 기반으로 기학습된 학습데이터와 패턴 매칭하여 가장 확률이 높은 제어대상 기기를 선택 또는 제어할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 통합 리모콘 제공 애플리케이션 장치
110: 입력부 120: 모션인식부
130: 무선신호 세기 감지부 140: 데이터저장부
150: 제어부 160: 음성부
170: 데이터학습부 200: 단말기
210: AP 220: 리피터
230: 제1 기기 240: 제N 기기

Claims (20)

  1. 제어대상 기기의 목록 및 상기 제어대상 기기를 선택 및 제어하기 위한 제어정보를 저장하는 데이터저장부;
    단말기의 움직임을 감지하여 상기 단말기의 센싱정보를 생성하는 모션인식부;
    상기 단말기의 무선통신모듈로부터 상기 단말기가 위치하는 장소의 무선신호의 세기 정보를 수신하여 저장하는 무선신호 세기 감지부;
    상기 단말기의 센싱정보 및 상기 무선신호의 세기 정보를 기 저장된 상기 제어정보와 패턴매칭하여 상기 제어대상 기기 중 어느 하나의 기기를 제어하고자 하는 특정 기기로 선택하고, 상기 단말기의 센싱정보에 근거하여 상기 특정 기기를 제어하는 제어부;
    상기 특정 기기를 선택 및 제어하는 과정에서 발생하는 상기 특정 기기의 제어정보를 수신 및 학습하고, 상기 학습된 제어정보를 상기 데이터저장부에 송부하는 데이터학습부
    를 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치.
  2. 제 1항에 있어서,
    상기 데이터저장부는 상기 제어대상 기기의 정보, 상기 제어대상 기기를 등록하는 과정 및 상기 제어대상 기기를 선택하는 과정에서 수행된 학습의 결과인 학습데이터, 상기 제어대상 기기를 제어하기 위한 제스처 정보 중 일부 또는 전부의 상기 제어정보를 저장하고 있는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치.
  3. 제 2항에 있어서,
    상기 데이터저장부는 새로운 기기의 등록에 대한 입력정보를 수신한 경우, 상기 새로운 기기를 상기 제어대상 기기의 목록에 추가하여 저장하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치.
  4. 제 3항에 있어서,
    상기 새로운 기기의 등록에 대한 입력정보는 상기 새로운 기기의 모델명 및 상기 새로운 기기를 인지하는 과정에서 측정된 상기 단말기의 지자기 센서값, 상기 단말기의 무선신호 세기 중 일부 또는 전부의 정보를 사용하여 수행된 학습의 결과인 상기 학습 데이터가 포함된 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치.
  5. 제 1항에 있어서,
    상기 모션인식부는 다수의 센서를 통해 측정된 상기 단말기의 움직임에 따른 제스처(Gesture) 및 센서값 중 일부 또는 전부의 정보를 수신하여, 상기 단말기의 센싱정보를 생성하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치.
  6. 제 5항에 있어서,
    상기 센서값은 상기 단말기의 지자기 센서, 가속 센서 및 자이로 센서 중 일부 또는 전부의 센서를 통해 측정되는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치.
  7. 삭제
  8. 제 1항에 있어서,
    상기 제어부는 상기 특정 기기가 선택 및 제어되는 경우, 선택 및 제어에 대한 음성신호를 생성하는 음성부를 추가로 포함하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치.
  9. 단말기가 제어하고자 하는 기기를 인지하는 과정;
    상기 인지하는 과정에서 인식한 사용자의 제스처(Gesture) 및 센서값을 기반으로 기 저장되어 있는 선택 제스처와의 일치 여부를 판단하는 과정;
    상기 사용자의 제스처와 상기 선택 제스처가 일치하는 경우, 상기 단말기가 위치하는 장소의 무선신호의 세기정보를 추가로 고려하여 제어대상 기기를 선택하고, 선택된 상기 제어대상 기기의 명칭을 시각, 촉각, 또는 청각적으로 제공하는 과정;
    상기 제어대상 기기를 제어하기 위한 특정 제어 제스처를 인지한 경우, 상기 특정 제어 제스처에 관한 센서값을 수집하고, 기 저장되어 있는 불일치 제어 제스처와 일치 여부를 판단하는 과정; 및
    상기 특정 제스처에 대한 제어명령을 선택하고, 상기 제어명령을 상기 제어대상 기기에 전달하는 과정
    을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  10. 제 9항에 있어서,
    상기 선택 제스처와의 일치 여부를 판단하는 과정은 기 저장되어 있는 상기 선택 제스처의 학습 데이터와 상기 사용자의 제스처 및 센서값을 패턴 매칭하여 상기 선택 제스처와의 일치 여부를 판단하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  11. 제 9항에 있어서,
    상기 선택 제스처와의 일치 여부를 판단하는 과정을 통해 상기 사용자의 제스처와 상기 기 저장되어 있는 선택 제스처가 일치하는 경우, 상기 사용자의 제스처의 센서값을 상기 선택 제스처에 대한 패턴으로 학습하고, 상기 제어대상 기기를 선택하는 과정으로 진입하는 과정을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  12. 제 9항에 있어서,
    상기 제어대상 기기를 선택하는 과정은 수집된 상기 사용자의 제스처의 시작점의 지자기 센서값 및 무선신호 세기정보를 기 저장되어 있는 상기 제어대상 기기를 선택하는 과정에서 학습한 학습데이터와 패턴 매칭을 수행하여 상기 제어대상 기기를 선택하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  13. 제 9항에 있어서,
    상기 불일치 제어 제스처와 일치 여부를 판단하는 과정을 통해 상기 특정 제스처와 상기 불일치 제어 제스처가 일치하지 않는 경우, 상기 특정 제어 제스처를 상기 제어대상 기기를 제어하는 과정으로 진입하기 위한 제스처로 인식하고, 상기 기 저장되어 있는 제스처별 제어명령을 기반으로 상기 특정 제어 제스처를 패턴 매칭하여 제어명령을 선택하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  14. 제 9항에 있어서,
    상기 특정 제어 제스처가 상기 기 저장되어 있는 불일치 제어 제스처와 일치하는 경우, 상기 특정 제어 제스처에 대한 센싱값을 상기 불일치 제어 제스처로 학습하는 과정을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  15. 제 9항에 있어서,
    상기 제어명령을 선택하고, 상기 제어명령을 상기 제어대상 기기에 전달하는 과정은
    상기 특정 제어 제스처에 관한 센서값을 수집하고, 기 설정된 다수의 제어 제스처 및 상기 다수의 제어 제스처에 따른 제어명령과 비교하여 상기 제어대상 기기를 제어하기 위한 명령 정보를 선택하는 과정;
    선택된 상기 명령 정보를 음성으로 제공하는 과정;
    상기 명령 정보를 리피터(Repeater) 및 상기 제어대상 기기로 전달하는 과정; 및
    상기 특정 제어 제스처의 센서값을 상기 제어명령에 관한 제어 제스처로 학습하는 과정을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  16. 선택 제스처가 기 설정되어 있지 않은 경우, 제어 제스처를 이용하여 제어대상 기기를 선택 및 제어하는 방법에 있어서,
    상기 제어대상 기기를 제어하기 위한 상기 제어 제스처를 인지하는 과정;
    상기 제어 제스처의 센서값을 인식하고, 상기 제어 제스처와 기 저장되어 있는 다수의 제어 제스처와의 일치 여부를 판단하는 과정;
    상기 제어 제스처에 대한 제어명령을 선택하고, 상기 제어 제스처의 센서값을 선택된 상기 제어명령에 관한 제스처로 학습하는 과정;
    상기 제어 제스처의 센서값과 상기 인지하는 과정에서 인지된 단말기가 위치하는 장소의 무선신호의 세기정보를 추가로 고려하여 상기 제어대상 기기를 선택하는 과정;
    선택된 상기 제어대상 기기의 명칭 및 상기 제어 제스처에 대한 제어명령을 음성으로 제공하는 과정; 및
    상기 제어명령을 상기 제어대상 기기에 전달하는 과정
    을 포함하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  17. 제 16항에 있어서,
    상기 제어대상 기기를 선택하는 과정은 수집된 상기 제어 제스처의 시작점의 지자기 센서값 및 상기 무선신호의 세기정보를 기반으로, 기 저장되어 있는 제어대상 기기를 선택하는 과정에서 학습한 학습 데이터들과의 패턴 매칭을 수행하여 상기 제어대상 기기를 선택하는 것을 특징으로 하는 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치를 이용하여 제어대상 기기를 선택 및 제어하는 방법.
  18. 모션인식 방식의 통합리모콘 제공 애플리케이션 장치에 제어대상 기기를 등록하는 방법에 있어서,
    상기 통합리모콘 제공 애플리케이션 장치가 실행되는 과정;
    상기 애플리케이션 장치가 제어대상 기기의 정보를 수신하는 과정;
    단말기가 상기 제어대상 기기를 인지하는 과정;
    상기 단말기가 상기 제어대상 기기를 인지하는 과정에서 발생한 상기 단말기의 움직임에 따른 센서값을 인식하는 과정;
    상기 제어대상 기기가 등록되고 있는 위치에서 상기 단말기가 수신하는 무선신호 세기를 인식하는 과정;
    상기 제어대상 기기의 정보, 상기 센서값 및 상기 무선신호 세기를 상기 제어대상 기기의 선택에 대한 패턴정보로써 저장하여 상기 제어대상 기기를 상기 애플리케이션 장치에 등록하는 과정; 및
    리모콘 데이터 센터에 접속하여 등록된 상기 제어대상 기기를 제어하기 위한 제어 데이터를 수신하는 과정
    을 포함하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션 장치에 제어대상 기기를 등록하는 방법.
  19. 제 18항에 있어서,
    상기 제어대상 기기의 정보를 수신하는 과정은 상기 제어대상 기기의 모델명 및 상기 제어대상 기기의 이미지 정보 중 일부 또는 전부의 정보를 수신하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션에 제어대상 기기를 등록하는 방법.
  20. 제 18항에 있어서,
    상기 애플리케이션 장치에 등록하는 과정은 상기 단말기가 상기 제어대상 기기를 인지하는 과정에서 측정된 지자기 센서의 X, Y, Z축의 값과 상기 무선신호 세기를 수집하고, 수집된 정보를 기반으로 등록하고자 하는 제어대상 기기를 상기 제어대상 기기로 선택한 상황과 동일한 과정으로 취급 및 학습하여 상기 제어대상 기기를 상기 애플리케이션 장치에 등록하는 것을 특징으로 하는 모션인식 방식의 통합리모콘 제공 애플리케이션에 제어대상 기기를 등록하는 방법.
KR1020120089117A 2012-08-14 2012-08-14 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법 KR101379191B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120089117A KR101379191B1 (ko) 2012-08-14 2012-08-14 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120089117A KR101379191B1 (ko) 2012-08-14 2012-08-14 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140022673A KR20140022673A (ko) 2014-02-25
KR101379191B1 true KR101379191B1 (ko) 2014-03-28

Family

ID=50268547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120089117A KR101379191B1 (ko) 2012-08-14 2012-08-14 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101379191B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171512A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
KR20160126452A (ko) 2015-04-23 2016-11-02 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
KR101667734B1 (ko) * 2015-05-21 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102384639B1 (ko) * 2015-08-24 2022-04-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20220081157A (ko) * 2020-12-08 2022-06-15 삼성전자주식회사 전자 장치 및 전자 장치의 센서볼 등록 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756554B1 (ko) * 2006-07-25 2007-09-07 중앙대학교 산학협력단 휴대단말기를 이용한 홈네트워크 서비스 시스템 및 그 방법
KR20090057863A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756554B1 (ko) * 2006-07-25 2007-09-07 중앙대학교 산학협력단 휴대단말기를 이용한 홈네트워크 서비스 시스템 및 그 방법
KR20090057863A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템

Also Published As

Publication number Publication date
KR20140022673A (ko) 2014-02-25

Similar Documents

Publication Publication Date Title
EP2830298B1 (en) Methods and apparatuses for gesture based remote control
EP1744290B1 (en) Integrated remote controller and method of selecting device controlled thereby
US9870057B1 (en) Gesture detection using an array of short-range communication devices
KR101379191B1 (ko) 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법
CN107943489B (zh) 数据分享方法及移动终端
CN109901698B (zh) 一种智能交互方法、可穿戴设备和终端以及系统
CN110582078A (zh) 一种蓝牙配对方法、装置、存储介质及电子设备
JP2017507413A (ja) デバイス上のローリングジェスチャーを特定するための技法
CN108334272B (zh) 一种控制方法及移动终端
CN103703495A (zh) 一种遥控器、信息处理方法及系统
US20110136544A1 (en) Portable electronic device with data transmission function and data transmission method thereof
WO2017142458A1 (en) Portable electronic device for remote control
TW201732530A (zh) 動作判識裝置及其控制方法
CN104137556A (zh) 使用控制装置的电子装置的控制方法和设备
CN107832067B (zh) 一种应用更新方法、移动终端和计算机可读存储介质
KR20070051271A (ko) 디바이스를 제어하기 위한 방법
WO2016095641A1 (zh) 数据交互方法及系统、移动终端
US20180218594A1 (en) Depth control for home appliances
CN109040457B (zh) 一种屏幕亮度调节方法及移动终端
CN107741826B (zh) 浏览历史信息调取方法、装置及移动终端
CN109542293B (zh) 一种菜单界面设置方法及移动终端
CN108988413B (zh) 一种移动终端充电的方法和移动终端
KR20090032208A (ko) 가상 메뉴 맵을 이용한 원격 제어 시스템 및 방법
CN105071940B (zh) 一种文件传输方法、智能手表、终端设备及系统
KR20150123022A (ko) 점자를 입출력하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7