KR101474873B1 - 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법 - Google Patents

비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법 Download PDF

Info

Publication number
KR101474873B1
KR101474873B1 KR1020120147157A KR20120147157A KR101474873B1 KR 101474873 B1 KR101474873 B1 KR 101474873B1 KR 1020120147157 A KR1020120147157 A KR 1020120147157A KR 20120147157 A KR20120147157 A KR 20120147157A KR 101474873 B1 KR101474873 B1 KR 101474873B1
Authority
KR
South Korea
Prior art keywords
signal
operation signal
specific
input
user
Prior art date
Application number
KR1020120147157A
Other languages
English (en)
Other versions
KR20140034666A (ko
Inventor
박경민
유은지
윤태은
최훈
이칠우
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Publication of KR20140034666A publication Critical patent/KR20140034666A/ko
Application granted granted Critical
Publication of KR101474873B1 publication Critical patent/KR101474873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

본 발명은 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법에 관한 것으로, 버튼 입력, 키 입력 또는 터치 입력을 기반으로 비동작 신호를 입력받아 등록하고, 사용자 동작을 기반으로 동작 신호를 입력받아 등록한 후, 특정 비동작 신호 및 특정 동작 신호를 선택받아 응용 프로그램을 제어하기 위한 제어 명령으로 설정하며, 이후, 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 사용자 동작을 감지하여 동작 감지 신호를 생성하고 특정 동작 신호를 비교하여 매칭되는지 확인하고, 제어 명령에 따라 응용 프로그램을 제어하는 과정을 포함하며, 이를 통해 사용자의 동작을 기반으로 단말의 응용 프로그램을 제어함으로써 발생하는 제어의 부정확성을 획기적으로 제거할 수 있다.

Description

비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법 {Control device based on non-motion signal and motion signal, and device control method thereof}
본 발명은 장치의 제어 기술과 관련한 것으로, 더욱 상세하게는 단말의 버튼, 키, 터치 스크린 등을 이용하여 입력되는 비동작 신호와 사용자의 동작을 감지하여 입력되는 동작 신호를 이용하여 단말 등의 장치를 제어할 수 있는 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법에 관한 것이다.
휴대폰, 컴퓨터 등의 단말은 데이터 처리 능력 및 통신 능력 등의 향상과 함께 다양한 기능을 하나의 단말에 통합하여 수행할 수 있는 통합 기기로 발전하고 있다. 이러한 통합 기기의 일 예로서 스마트폰이 널리 보급되고 있으며, 스마트폰은 휴대성, 이동성, PC에 필적하는 성능 등으로 인해, 언제 어디서나 사용자가 원하는 동작을 수행할 수 있는 필수 기기로 발전하고 있다.
이러한 단말은 그 종류에 따라, 키패드, 터치스크린, 마우스, 키보드 등으로 용용 프로그램을 제어하여 실행하는데, 특정 응용 프로그램을 실행하기 위해서는 실행파일을 직접 찾아 실행하거나 아이콘 등을 일일이 찾아 터치해주어야 한다.
그런데 단말을 이러한 방식으로 일일이 조작해 주는 것은 번거로워 좀 더 용이하게 단말의 각 응용 프로그램을 제어할 수 있는 방안이 요청된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 버튼 입력, 키 입력 또는 터치 입력을 기반으로 한 비동작 신호와, 사용자 동작을 기반으로 한 동작 신호를 이용하여, 단말의 응용 프로그램을 용이하게 제어할 수 있는 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법은, 버튼 입력, 키 입력 또는 터치 입력을 기반으로 비동작 신호를 입력받아 등록하고, 사용자 동작을 기반으로 동작 신호를 입력받아 등록하는 등록 단계, 상기 비동작 신호 중 특정 비동작 신호를 선택받고, 상기 동작 신호 중 특정 동작 신호를 선택받아, 응용 프로그램을 제어하기 위한 제어 명령으로 설정하는 설정 단계, 상기 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 사용자 동작을 감지하여 동작 감지 신호를 생성하고, 상기 동작 감지 신호와 상기 특정 동작 신호를 비교하여 매칭되는지 확인하는 확인 단계, 및 확인 결과 상기 동작 감지 신호와 상기 특정 동작 신호가 매칭되면, 상기 제어 명령에 따라 상기 응용 프로그램을 제어하는 제어 단계를 포함하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 비동작 신호 또는 상기 특정 비동작 신호에 대응하는 입력 신호는, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력되는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 동작 신호 또는 상기 동작 감지 신호는, 가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 중 적어도 하나를 이용하여 입력받거나 감지하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 등록 단계는, 상기 비동작 신호 또는 상기 동작 신호를 등록하기 전에, 기 등록된 신호와의 중복 여부를 판단하여, 판단 결과 중복되는 경우 중복 사실을 출력하고, 판단 결과 중복되지 않는 경우 등록하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 등록 단계는, 상기 비동작 신호 또는 상기 동작 신호에 명칭이나 설명을 부여하여 등록하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 제어 명령은, 상기 응용 프로그램을 실행하기 위한 것이거나, 상기 응용 프로그램 중 특정 기능을 실행하기 위한 것이거나, 복수의 상기 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것임을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 설정 단계는, 상기 제어 명령에 명칭이나 설명을 부여하여 설정하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 확인 단계는, 상기 특정 동작 신호와 상기 동작 감지 신호를 DTW(Dynamic Time Warping) 알고리즘을 이용해 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 확인 단계는, 상기 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 상기 동작 감지 신호에 포함된 순차적인 사용자 동작 변화 패턴과 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 확인 단계는, 사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 확인 단계는, 상기 특정 동작 신호와 상기 동작 감지 신호에서, 변화율이 일정치 이상의 신호를 추출하여 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 등록 단계는, 상기 특정 동작 신호의 종류 정보를 더 등록하고, 상기 확인 단계는, 상기 특정 동작 신호의 종류에 대응하는 신호를 상기 동작 감지 신호에서 추출하여 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 장치 제어 방법에 있어서, 상기 확인 단계는, 상기 특정 비동작 신호와 함께 제어 명령으로 설정된 복수의 특정 동작 신호를 조회하여, 상기 동작 감지 신호와 일정치 이상의 매칭률을 가지는 상기 특정 동작 신호를 확인하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치는, 정보 표현을 위한 표시부, 버튼 입력, 키 입력 또는 터치 입력을 위한 입력부, 사용자 동작을 감지하는 센서부, 상기 입력부를 통해 입력된 비동작 신호를 저장하고, 상기 센서부에서 감지한 동작에 따라 입력된 동작 신호를 저장하는 신호 저장부, 응용 프로그램의 저장을 위한 응용 프로그램 저장부, 상기 비동작 신호 중에서 선택된 특정 비동작 신호와, 상기 동작 신호 중에서 선택된 특정 동작 신호를 포함하여, 상기 응용 프로그램을 제어하기 위해 설정된 제어 명령을 저장하는 제어 명령 저장부, 상기 입력부를 이용하여 상기 비동작 신호를 입력 받아 상기 신호 저장부에 저장하고, 상기 센서부를 통하여 상기 동작 신호를 입력 받아 상기 신호 저장부에 저장하며, 상기 표시부에 상기 비동작 신호 및 상기 동작 신호의 정보를 표시하여 상기 특정 비동작 신호 및 상기 특정 동작 신호를 선택 받아, 상기 응용 프로그램을 제어하기 위한 상기 제어 명령으로 설정하여 상기 제어 명령 저장부에 저장하고, 상기 입력부를 통해 상기 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 상기 센서부를 이용해 사용자 동작을 감지하여 동작 감지 신호를 생성하고, 상기 동작 감지 신호와 상기 특정 동작 신호를 비교하여 매칭되는지 확인하며, 상기 확인한 결과 상기 동작 감지 신호와 상기 특정 동작 신호가 매칭되면, 상기 제어 명령에 따라 상기 응용 프로그램을 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 입력부는, 버튼, 키패드, 키보드, 마우스, 터치 패드, 터치 스크린 또는 정보 입력 패널 중 하나 이상을 포함하고, 상기 비동작 신호 또는 상기 특정 비동작 신호에 대응하는 입력 신호는, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력되는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 센서부는, 사용자 동작을 감지하는 가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 비동작 신호 또는 상기 동작 신호를 저장하기 전에, 상기 신호 저장부에 기 저장된 신호와의 중복 여부를 판단하여, 판단 결과 중복되는 경우 상기 표시부에 중복 사실을 출력하고, 판단 결과 중복되지 않는 경우 상기 신호 저장부에 저장하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 신호 저장부에 상기 비동작 신호 또는 상기 동작 신호에 대한 명칭이나 설명을 더 저장하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어 명령은, 상기 응용 프로그램을 실행하기 위한 것이거나, 상기 응용 프로그램 중 특정 기능을 실행하기 위한 것이거나, 복수의 상기 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것임을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 제어 명령 저장부에 상기 제어 명령에 대한 명칭이나 설명을 더 저장하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 특정 동작 신호와 상기 동작 감지 신호를 DTW(Dynamic Time Warping) 알고리즘을 이용해 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 상기 동작 감지 신호에 포함된 순차적인 사용자 동작 변화 패턴과 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 특정 동작 신호와 상기 동작 감지 신호에서, 변화율이 일정치 이상의 신호를 추출하여 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 신호 저장부에 상기 특정 동작 신호의 종류 정보를 더 저장하고, 상기 특정 동작 신호의 종류에 대응하는 신호를 상기 동작 감지 신호에서 추출하여 상기 특정 동작 신호와 비교하는 것을 특징으로 한다.
본 발명의 비동작 신호 및 동작 신호에 기반한 제어 장치에 있어서, 상기 제어부는, 상기 특정 비동작 신호와 함께 제어 명령으로 설정된 복수의 특정 동작 신호를 조회하여, 상기 동작 감지 신호와 일정치 이상의 매칭률을 가지는 상기 특정 동작 신호를 확인하는 것을 특징으로 한다.
본 발명은 비동작 신호 및 동작 신호에 기반한 장치 제어 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체를 제공한다.
본 발명에 따른 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법에 따르면 다음과 같은 효과를 기대할 수 있다.
첫째, 사용자가 편의에 따라 설정한 다양한 방법으로, 응용 프로그램이나 해당 응용 프로그램의 기능을 제어할 수 있어 제어의 편의성이 증진된다.
둘째, 정확한 입력 신호인 비동작 신호를 제어 명령에 포함시켜, 사용자의 동작을 기반으로 단말의 응용 프로그램을 제어함으로써 발생하는 제어의 부정확성을 획기적으로 제거할 수 있다.
셋째, 다양한 응용 프로그램이나 각 응용 프로그램의 기능을 선별하여, 하나의 제어 명령으로 제어할 수 있어 사용자 편의가 증진된다.
도 1은 본 발명의 일 실시예에 따른 제어 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 비동작 신호를 등록하여 제어 명령으로 설정하는 모습을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따라 동작 신호를 등록하여 제어 명령으로 설정하는 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 제어의 대상인 응용 프로그램의 기능을 선택하는 모습을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 제어 방법의 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 단말 등의 장치를 제어함에 있어, 버튼 입력, 키 입력 또는 터치 입력을 기반으로한 비동작 신호와, 사용자 동작을 기반으로한 동작 신호를 함께 이용함으로써, 제어의 정확성과 편의성을 제공하는 제어 장치 및 그 장치 제어 방법에 관한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 제어 장치(100)의 구성도이다. 본 실시예의 제어 장치(100)는 컴퓨터, 노트북, 휴대폰, 스마트폰, 가전기기 등에 위치하여, 사용자의 비동작 신호 및 동작 신호의 입력에 따라 응용 프로그램을 제어하는 역할을 한다.
도 1을 참조하면, 제어 장치(100)는 표시부(10), 입력부(20), 센서부(30), 신호 저장부(40), 응용 프로그램 저장부(50), 제어 명령 저장부(60) 및 제어부(70)를 포함한다.
표시부(10)는 각종 정보를 사용자가 시청각적으로 인식할 수 있도록 표현하는 역할을 하며, 이를 위한 디스플레이 장치를 포함한다.
표시부(10)는 LCD(Liquid Crystal Display) 등의 액정이나, 터치 스크린, 스피커 등의 출력 장비를 포함할 수 있다.
입력부(20)는 사용자가 버튼 입력, 키 입력 또는 터치 입력 등 비동작 신호를 입력하기 위한 입력 장치를 포함한다. 예를 들어 입력부(20)는 버튼, 키패드, 키보드, 마우스, 터치 패드, 터치 스크린 또는 정보 입력 패널 등의 입력 장비를 포함할 수 있으며, 터치 스크린은 입력 장비로서의 기능과 출력 장비로서의 기능을 동시에 수행할 수 있다.
센서부(30)는 사용자의 동작을 감지하여 동작 신호를 입력하기 위한 감지 장치를 포함한다. 센서부(30)는 예를 들어, 가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 등의 감지 장비를 포함한다.
이때, 센서부(30)는 가속도 센서, 중력 센서, 자이로 센서, 토크 센서 등을 이용하여 제어 장치(100)가 구비된 단말의 움직임이나 회전을 감지할 수 있다. 또한 압력 센서를 이용하여 사용자가 가하는 압력을 측정할 수 있고, 광 센서를 이용하여서는 적외선 등의 광을 조사하고 반사광이 측정되기까지의 시간에 따라 사용자의 움직임을 감지할 수 있으며, 카메라를 이용하여서는 연속되는 이미지의 화상 비교를 통해 사용자의 손동작, 머리 동작, 몸체 동작, 눈동자 움직임 등을 감지할 수 있다.
본 발명에서 동작 신호는 사용자의 제스처에 기반한 신호를 의미하고, 이는 제어 장치(100)의 센서부(30)가 사용자의 움직임을 감지하거나, 사용자의 동작에 따른 단말 자체의 움직임을 감지하여 생성한 신호를 의미한다. 그리고 비동작 신호는 제어 장치(100)의 입력부(20)에 구비된 버튼, 키, 터치 스크린 등을 이용하여 입력된 신호를 의미한다.
본 발명에서 동작 신호와 비동작 신호를 구분하는 이유는, 동작 신호의 경우 센서부(30)의 성능에 따라 그 정확성이 떨어질 수 있고, 사용자가 의도하지 않은 동작이 동작 신호로 입력될 수 있으므로, 동작 신호와 비동작 신호가 함께 입력된 경우에만 제어 장치(100)가 특정 응용 프로그램의 제어 동작을 수행하도록 하여 제어의 정확성을 향상하기 위함이다.
예를 들어, 스마트폰이 좌우로 흔들리는 경우 특정 동작을 수행하도록 설정된 경우를 가정하면, 사용자가 주머니에 스마트폰을 넣고 걷는 경우 발생하는 흔들림이, 해당 동작을 수행하기 위한 것으로 인식되어 오작동이 발생할 수 있다.
이러한 점을 개선하기 위해, 본 실시예의 제어 장치(100)는 비동작 신호와 동작 신호가 함께 입력된 경우에만 특정 동작을 수행하도록 설정된다. 예를 들어, 스마트폰의 베젤에 위치한 버튼을 누름에 따라 입력되는 비동작 신호 및 스마트폰을 좌우로 흔드는 경우 입력되는 동작 신호에 따라 스마트폰이 특정 동작을 수행하도록 설정할 수 있으며, 이에 따라 사용자의 동작에 기반한 제어 오류를 현저히 개선할 수 있다. 이 경우 설정에 따라 비동작 신호가 입력되는 도중에 동작 신호가 입력되도록 할 수 있고, 비동작 신호가 입력된 후 일정 시간 이내에 동작 신호가 입력되도록 할 수도 있다.
예를 들어, PC의 사용자가 마우스의 휠 버튼을 눌러 비동작 신호를 입력하고, 눈동자를 원형으로 돌려 동작 신호를 입력하면, 음원 재생 프로그램을 실행하거나, 음원 재생 프로그램의 볼륨을 조정하도록 할 수 있다. 이와 같은 본 발명의 특징은 예를 들어, 사용자가 이미지 편집 프로그램 등을 실행하여 작업을 수행하는 도중, PC의 화면에 표현되는 내용을 변경함이 없이, 별도의 음원 재생 프로그램을 제어할 수 있음을 의미하며, 본 발명의 이러한 기술적 특징은 사용자가 다양한 응용 프로그램을 손쉽게 제어할 수 있는 환경을 제공한다.
신호 저장부(40)는 입력부(20)를 통해 입력된 비동작 신호를 저장하고, 센서부(30)에서 감지한 동작에 따라 입력된 동작 신호를 저장하는 역할을 하는 저장소이다.
응용 프로그램 저장부(50)는 제어 장치(100)가 구비된 단말에서 실행되는 응용 프로그램의 저장소이다.
제어 명령 저장부(60)는 응용 프로그램 저장부(50)에 저장된 응용 프로그램을 제어하기 위해 설정된 제어 명령을 저장하는 저장소이다. 이때, 제어 명령은, 신호 저장부(40)에 저장된 비동작 신호 중에서 선택된 특정 비동작 신호와, 신호 저장부(40)에 저장된 동작 신호 중에서 선택된 특정 동작 신호를 포함하여 구성된다.
제어부(70)는 표시부(10), 입력부(20), 센서부(30), 신호 저장부(40), 응용 프로그램 저장부(50) 및 제어 명령 저장부(60)를 포함한 제어 장치(100)의 동작을 전반적으로 제어하는 역할을 하며, 이를 위한 연산 장치를 포함할 수 있다.
본 실시예에서 제어부(70)는 입력부(20)를 이용하여 버튼 입력, 키 입력 또는 터치 입력 등의 비동작 신호를 입력 받아 신호 저장부(40)에 저장하고, 센서부(30)를 통하여 사용자 동작에 따른 동작 신호를 입력 받아 신호 저장부(40)에 저장하는 과정을 통해, 하나 이상의 비동작 신호와 동작 신호를 등록한다.
이때, 제어부(70)가 입력부(20)를 통해 입력 받는 비동작 신호는, 예를 들어, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력될 수 있다.
그리고 제어부(70)가 센서부(30)를 통해 입력 받는 동작 신호는, 센서부(30)의 센싱 장비를 이용해 감지한 사용자의 동작이나, 제어 장치(100)가 위치한 단말의 움직임에 따라 입력된 것일 수 있다.
이때, 제어부(70)는 신호 저장부(40)에 비동작 신호 또는 동작 신호를 저장하기 전에, 신호 저장부(40)에 기 저장된 신호와의 중복 여부를 판단하여, 판단 결과 중복되지 않는 경우에만 저장 동작을 수행할 수 있다. 만일 중복되는 경우라면, 제어부(70)는 표시부(10)에 중복 사실을 출력하여 사용자가 인지하도록 할 수 있다.
그리고 제어부(70)는 비동작 신호 및 동작 신호를 신호 저장부(40)에 저장하는 경우, 사용자 입력에 따라 각각의 신호에 명칭이나 설명을 부가하여 저장할 수 있다. 이를 통해 사용자가 각각의 비동작 신호나 동작 신호를 용이하게 구분 인식 할 수 있다.
이후 제어부(70)는 표시부(10)에 저장된 비동작 신호 및 동작 신호의 정보를 표시하고, 이중 특정 비동작 신호와 동작 신호를 선택받아 특정 응용 프로그램을 제어하기 위한 제어 명령으로 설정하고, 해당 제어 명령의 정보를 제어 명령 저장부(60)에 저장한다. 즉, 제어 명령은 응용 프로그램 저장부(50)에 저장된 응용 프로그램을 제어하기 위한 명령 세트로서, 특정 비동작 신호와 특정 동작 신호를 포함하여 설정된다.
예를 들어, 제어 명령은, 특정 응용 프로그램을 실행하기 위한 것이거나, 응용 프로그램의 특정 기능을 실행하기 위한 것이거나, 복수의 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것일 수 있다.
예를 들어, 이러한 제어 명령은, 카메라 프로그램을 실행하거나 종료하는 것일 수 있고, 카메라 프로그램 실행하고 이어서 해당 카메라 프로그램에서 촬영 타이머 기능을 실행하는 것을 수 있으며, 카메라 프로그램을 실행하여 촬영하고 이어서 별도의 이메일 프로그램을 실행하여 특정 계정으로 촬영한 사진을 전송하는 것일 수도 있다. 이렇듯 본 발명의 제어 명령은 단일 프로그램 뿐만 아니라 복수의 프로그램을 연계하여 실행하거나 기능을 실행하기 위한 명령어로 설정될 수 있다.
이때, 제어부(70)는 사용자 입력 등에 따라, 제어 명령에 대한 명칭이나 설명과 함께, 해당 제어 명령을 제어 명령 저장부(60)에 저장할 수 있다.
이후 제어부(70)는 입력부(20)를 통해 제어 명령으로 설정된 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 센서부(30)를 이용해 사용자 동작을 감지하여 동작 감지 신호를 생성한다.
이때, 제어부(70)가 입력부(20)를 통해 입력 받는 입력 신호는, 예를 들어, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력될 수 있다.
또한 제어부(70)는 센서부(30)에 포함된 속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 등의 감지 장비를 이용하여 사용자의 동작을 감지하고, 동작 감지 신호를 생성할 수 있다.
그리고 제어부(70)는 이렇게 생성한 동작 감지 신호를, 해당 특정 비동작 신호와 함께 제어 명령으로 설정된 특정 동작 신호와 비교하여 서로 매칭되는지 확인한다. 그리고 제어부(70)가 확인한 결과 해당 특정 동작 신호와 동작 감지 신호가 매칭되면, 제어부(70)는 제어 명령에 따라 응용 프로그램을 제어한다.
예를 들어, 특정 응용 프로그램을 제어하기 위해, 터치 스크린을 한 번 터치하는 비동작 신호와, 사람이 고개를 가로젓는 동작 신호를 제어 명령으로 설정한 경우를 가정하자. 이 경우 사용자가 입력부(20)의 터치 스크린을 한 번 터치하면, 제어부(70)는 센서부(30)의 카메라를 가동하여 사용자의 동작을 촬영하고 픽셀 화소의 변화에 따라 동작을 감지한다. 그리고 사람이 고개를 가로젓는 동작과 유사한 동작 신호가 감지되면, 해당 제어 명령이 입력된 것으로 판단할 수 있다.
이때, 제어부(70)는 DTW(Dynamic Time Warping) 알고리즘을 이용하여, 동작 감지 신호와 특정 동작 신호를 비교할 수 있다.
DTW 알고리즘은 시간축 상에서의 비선형 신축을 허용하는 패턴 매칭 알고리즘으로서, 이를 이용하면 패턴의 시퀀스를 시간의 길이를 고려하지 않고 인식할 수 있다.
이 경우 제어부(70)는 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 동작 감지 신호에 포함된 수차적인 사용자 동작 변화 패턴과 비교하여 매칭 여부를 확인할 수 있다. 이때, 제어부(70)는 예를 들어, 사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하여 매칭 여부를 확인할 수 있다.
또한 제어부(70)는 특정 동작 신호와 동작 감지 신호에서 변화율이 일정치 이상의 신호를 추출하여 비교할 수 있다. 이를 통해, 사용자가 의도하지 않은 신호를 배제하고, 유효 신호만을 매칭 여부 확인에 이용할 수 있다.
본 실시예에서 제어부(70)는 신호 저장부(40)에 특정 동작 신호의 종류 정보를 더 저장하고, 해당 특정 동작 신호의 종류에 대응하는 신호를 동작 감지 신호에서 추출하여 상기 특정 동작 신호와 비교할 수 있다. 예를 들어, 신호 저장부(40)에 저장된 특정 동작 신호가 일정치 이상의 압력 신호인 경우, 제어부(70)는 동작 감지 신호에서 다른 제스처와 관련한 신호를 배제하고 압력과 관계된 신호만을 추출하여 비교 과정을 진행할 수 있다. 마찬가지로 신호 저장부(40)에 저장된 특정 동작 신호가 제어 장치(100)를 구비한 단말을 상하로 왕복 이동시키는 동작 신호인 경우, 제어부(70)는 단말의 상하 운동을 제외한 다른 방향으로의 동작 신호를 제외하고 비교 과정을 진행할 수 있다.
또한 본 실시예에서 제어부(70)는 신호 저장부(40)에 특정 비동작 신호와 함께 복수의 특정 동작 신호를 복수의 제어 명령으로 설정할 수 있다. 이 경우 제어부(70)는 동작 감지 신호와 일정치 이상의 매칭률을 가지는 특정 동작 신호를 확인하여, 확인된 특정 동작 신호가 포함된 제어 명령을 수행할 수 있다.
본 발명의 일 실시예에 따라 제어 장치(100)가 제어 명령을 설정하는 모습에 대해서는 도 2 내지 도 4를 참조하여 좀 더 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 제어 장치(100)가, 비동작 신호를 등록하여 제어 명령으로 설정하는 모습을 나타낸 예시도이고, 도 3은 본 발명의 일 실시예에 따른 제어 장치(100)가 동작 신호를 등록하여 제어 명령으로 설정하는 모습을 나타낸 예시도이며, 도 4는 본 발명의 일 실시예에 따른 제어 장치(100)가 제어의 대상인 응용 프로그램의 기능을 선택하는 모습을 나타낸 예시도이다.
도 2 내지 도 4는 제어 장치(100)가 구비된 단말의 디스플레이 화면을 나타내며, 비동작 신호 및 동작 신호를 등록하여 제어 명령으로 설정하기 위한 프로그램의 시각적 출력 형태를 도시하고 있다. 다만, 도 2 내지 도 4에 도시된 실시예는 본 발명의 설명을 위해 임의로 구성한 것에 불과하며, 본 발명에서는 실시예에 따라 화면에 표현되는 정보의 종류나 형태가 변경될 수 있다.
도 2를 참조하면, 도 2(a)는 기 등록된 비동작 신호를 선택하기 위한 화면을 나타낸다. 도 2(a)에서는 '화면 터치'로 명명된 비동작 신호와, '# 키'로 명명된 비동작 신호를 선택할 수 있으며, 하단에는 '비동작 신호 등록'이라는 메뉴가 존재하여 사용자가 새로운 비동작 신호를 등록하도록 지원한다. 이때, '화면 터치'로 명명된 비동작 신호와, '# 키'로 명명된 비동작 신호는 제어 장치(100)가 기본 제공하는 비동작 신호일 수 있고, 사용자가 기 등록한 비동작 신호일 수도 있다.
도 2(b)는 사용자가 도 2(a)의 '비동작 신호 등록' 메뉴를 선택하여, 새로운 비동작 신호를 입력해 줄 것을 요청하는 메시지가 출력된 상태를 나타낸다.
도 2(c)는 사용자가 새로운 비동작 신호인 '베젤 버튼 1'을 등록한 상태를 나타낸다. 즉, 도 2(b)와 같이 화면이 출력된 상태에서 사용자가 단말의 특정 베젤 버튼을 눌러 비동작 신호를 입력하고, 해당 비동작 신호의 명칭을 '베젤 버튼 1'으로 입력하면, 도 2(c)와 같이 '베젤 버튼 1'의 비동작 신호가 저장되어 등록된다.
도 2(d)는 사용자가 제어 명령에 사용할 비동작 신호로 '베젤 버튼 1'을 선택한 모습을 나타낸다.
도 3을 참조하면, 도 3(a)는 기 등록된 동작 신호를 선택하기 위한 화면을 나타낸다. 도 3(a)에서는 '단말 흔들기'로 명명된 비동작 신호와, '가로로 긋기'로 명명된 동작 신호를 선택할 수 있으며, 하단에는 '동작 신호 등록'이라는 메뉴가 존재하여 사용자가 새로운 동작 신호를 등록하도록 지원한다. 이때, '단말 흔들기'로 명명된 비동작 신호와, '가로로 긋기'로 명명된 동작 신호는 제어 장치(100)가 기본 제공하는 동작 신호일 수 있고, 사용자가 기 등록한 동작 신호일 수도 있다.
도 3(b)는 사용자가 도 3(a)의 '동작 신호 등록' 메뉴를 선택하여, 새로운 동작 신호를 입력해 줄 것을 요청하는 메시지가 출력된 상태를 나타낸다.
도 3(c)는 사용자가 새로운 동작 신호인 '세로로 긋기'를 등록한 상태를 나타낸다. 즉, 도 3(b)와 같이 화면이 출력된 상태에서 사용자가 단말을 상하로 왕복하여 움직이면, 제어 장치(100)는 대응하는 단말의 움직임을 감지해 동작 신호를 입력받고, 사용자로부터 해당 동작 신호의 명칭으로 '세로로 긋기'를 입력받으며, 그 결과 도 3(c)와 같이 '세로로 긋기'의 비동작 신호가 저장되어 등록된다.
도 3(d)는 사용자가 제어 명령에 사용할 동작 신호로 '세로로 긋기'를 선택한 모습을 나타내며, 이때 대응하는 비동작 신호로 '베젤 버튼 1'이 선택되어 있음을 확인할 수 있다.
도 4를 참조하면, 도 4(a)는 '베젤 버튼 1'의 비동작 신호와 '세로로 긋기'의 동작 신호로 이루어진 제어 명령에 따라 제어될 응용 프로그램을 선택하기 위한 화면을 나타낸다. 도 4(a)에서는 'APP 실행'의 응용 프로그램과, '기능 ON/OFF'의 응용 프로그램을 선택할 수 있다. 이때, 'APP 실행'의 응용 프로그램과, '기능 ON/OFF'의 응용 프로그램은 프로그램 제공자가 설정한 프로그램 명칭일 수 있고, 사용자가 임의로 지정한 명칭일 수 있다.
도 4(b)는 사용자가 도 3(a)의 'APP 실행' 응용 프로그램을 선택한 결과, 세부 프로그램으로 '메신저', '음원 재생', '카메라'의 응용 프로그램을 선택할 수 있는 상태를 나타낸다.
도 4(c)는 사용자가 도 4(b)에서 '음원 재생' 응용 프로그램을 선택하여, 해당 '음원 재생' 응용 프로그램의 세부 기능을 선택할 수 있는 상태를 나타낸다. 이때 선택할 수 있는 '음원 재생' 응용 프로그램의 기능은 '이전 곡 선택', '다음 곡 선택', '일시정지' 등이 있다.
도 4(d)는 도 4(c)에서 사용자가 '일시정지' 기능을 선택하여, 제어 명령이 '음원 재생' 응용 프로그램의 '일시정지' 기능을 제어하기 위한 명령어로 설정된 상태를 나타낸다.
도 2 내지 도 4에서는 단일 응용 프로그램의 특정 기능을 실행하기 위해 제어 명령을 설정하는 예를 도시하였지만, 본 발명의 기술적 범위는 이에 한정되는 것이 아니다. 즉 본 발명에서는 단일 응용 프로그램을 실행하는 경우, 복수의 응용 프로그램을 연계하여 실행하는 경우, 복수의 응용 프로그램의 기능들을 연계하여 실행하는 경우 등 각각의 제어 명령에 따라 응용 프로그램을 제어하기 위한 다양한 실시예가 존재할 수 있고, 이 모든 기술적 사상은 본 발명의 기술적 범위에 포함된다.
본 발명의 일 실시예에 따라 제어 명령을 설정하고 응용 프로그램을 제어하는 과정에 대해서는 도 5를 참조하여 좀 더 상세하게 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 제어 방법의 흐름도이다.
도 5를 참조하면, 본 실시예의 제어 장치는 버튼 입력, 키 입력 또는 터치 입력을 기반으로 비동작 신호를 입력받아 등록하고(S1), 사용자 동작을 기반으로 동작 신호를 입력받아 등록한다(S2).
단계(S1)에서 제어 장치가 입력 받는 비동작 신호는, 예를 들어, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력된 것을 수 있다. 이때 제어 장치는, 예를 들어 버튼, 키패드, 키보드, 마우스, 터치 패드, 터치 스크린 또는 정보 입력 패널 등의 입력 장치를 이용해 비동작 신호를 입력받을 수 있다.
또한 단계(S2)에서 제어 장치가 입력 받는 동작 신호는, 예를 들어, 가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 등의 감지 장비 이용해 감지한 사용자의 동작이나 단말의 움직임에 따라 입력된 것일 수 있다.
단계(S1)에서 제어 장치가 입력받은 비동작 신호 및 단계(S2)에서 제어 장치가 입력받은 동작 신호는 제어 장치 내부의 저장소에 저장되는데, 이때 제어 장치는 기 저장된 신호와의 중복 여부를 판단하여 중복되지 않는 경우에만 저장 동작을 수행할 수 있다. 이때, 중복되는 경우라면 제어 장치는 중복 사실을 시청각적으로 출력하여 사용자에게 알림으로서, 다른 비동작 신호나 동작 신호를 입력하도록 유도할 수 있다.
이후 제어 장치는 단계(S1)에서 저장한 비동작 신호의 정보 및 단계(S2)에서 저장한 동작 신호의 정보를 화면 등에 출력하고, 이를 확인한 사용자의 입력에 따라 특정 비동작 신호를 선택받고(S3), 특정 동작 신호를 선택 받는다(S4).
그리고 제어 장치는 단계(S3)에서 선택받은 특정 비동작 신호와, 단계(S4)에서 선택받은 특정 동작 신호를 응용 프로그램을 제어하기 위한 제어 명령으로 설정한다(S5).
단계(S5)에서 설정되는 제어 명령은 제어 장치가 속한 단말의 특정 응용 프로그램을 제어하기 위한 명령 세트이며, 예를 들어, 특정 응용 프로그램을 실행하기 위한 것이거나, 응용 프로그램의 특정 기능을 실행하기 위한 것이거나, 복수의 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것일 수 있다.
단계(S5)의 제어 장치는, 사용자 입력 등에 따라 제어 명령에 대한 명칭이나 설명을 부가하여, 해당 제어 명령의 정보와 함께 저장할 수 있다.
이후, 제어 장치는 사용자로부터 버튼 입력, 키 입력, 터치 입력 등을 이용해, 단계(S5)에서 설정된 제어 명령에 속한 특정 비동작 신호에 대응하는 입력 신호를 입력 받는다(S6).
단계(S6)에서 제어 장치가 입력 받는 입력 신호는, 예를 들어, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력될 수 있다.
단계(S6)에서 특정 비동작 신호에 대응하는 입력 신호를 입력받은 제어 장치는, 속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 등의 감지 장비를 이용하여 사용자의 동작이나 단말의 움직임을 감지하고, 감지 결과에 따라 동작 감지 신호를 생성한다(S7).
그리고 제어 장치는 단계(S5)에서 설정한 제어 명령에 포함된 특정 동작 신호와, 단계(S7)에서 생성한 동작 감지 신호를 비교하여 매칭 여부를 확인한다(S8).
단계(S8)의 제어 장치는, 예를 들어, 시간축 상에서의 비선형 신축을 허용하는 패턴 매칭 알고리즘인 DTW(Dynamic Time Warping) 알고리즘을 이용하여, 동작 감지 신호와 특정 동작 신호를 비교하고 매칭 여부를 확인할 수 있다.
또한 단계(S8)의 제어 장치는, 예를 들어, 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 동작 감지 신호에 포함된 수차적인 사용자 동작 변화 패턴과 비교하여 매칭 여부를 확인할 수 있다. 이때 제어 장치는 사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하여 매칭 여부를 확인할 수 있다.
더하여 단계(S8)의 제어 장치는, 특정 동작 신호와 동작 감지 신호에서 변화율이 일정치 이상의 신호를 추출하여 비교할 수 있고, 이에 따라 사용자가 의도하지 않은 신호를 배제하고, 유효 신호만을 매칭 여부 확인에 이용할 수 있다.
그리고 단계(S8)의 제어 장치는, 특정 동작 신호의 종류 정보를 더 저장하고, 해당 특정 동작 신호의 종류에 대응하는 신호를 동작 감지 신호에서 추출하여 상기 특정 동작 신호와 비교하는 방식으로 매칭 여부를 확인할 수도 있다.
단계(S8)에서 동작 감지 신호와 특정 동작 신호가 매칭됨을 확인한 제어 장치는, 제어 명령에 대응하는 응용 프로그램을 제어한다(S9).
만일 제어 장치가 특정 비동작 신호와 함께 복수의 특정 동작 신호를 복수의 제어 명령으로 설정한 경우라면, 단계(S9)의 제어 장치는 동작 감지 신호와 일정치 이상의 매칭률을 가지는 특정 동작 신호를 확인하여, 확인된 특정 동작 신호가 포함된 제어 명령을 수행할 수 있다.
본 발명의 실시예에 따른 제어 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
10: 표시부
20: 입력부
30: 센서부
40: 신호 저장부
50: 응용 프로그램 저장부
60: 제어 명령 저장부
70: 제어부
100: 제어 장치

Claims (27)

  1. 버튼 입력, 키 입력 또는 터치 입력을 기반으로 비동작 신호를 입력받아 등록하고, 사용자 동작을 기반으로 동작 신호를 입력받아 등록하는 등록 단계;
    상기 비동작 신호 중 특정 비동작 신호를 선택받고, 상기 동작 신호 중 특정 동작 신호를 선택받아, 응용 프로그램을 제어하기 위한 제어 명령으로 설정하는 설정 단계;
    상기 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 사용자 동작을 감지하여 동작 감지 신호를 생성하고, 상기 동작 감지 신호와 상기 특정 동작 신호를 비교하여 매칭되는지 확인하는 확인 단계; 및
    확인 결과 상기 동작 감지 신호와 상기 특정 동작 신호가 매칭되면, 상기 제어 명령에 따라 상기 응용 프로그램을 제어하는 제어 단계;
    를 포함하고,
    상기 등록 단계는,
    상기 비동작 신호 또는 상기 동작 신호를 등록하기 전에, 기 등록된 신호와의 중복 여부를 판단하여, 판단 결과 중복되는 경우 중복 사실을 출력하고, 판단 결과 중복되지 않는 경우 등록하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  2. 제1항에 있어서,
    상기 비동작 신호 또는 상기 특정 비동작 신호에 대응하는 입력 신호는,
    특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력되는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  3. 제1항에 있어서,
    상기 동작 신호 또는 상기 동작 감지 신호는,
    가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 중 적어도 하나를 이용하여 입력받거나 감지하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 등록 단계는,
    상기 비동작 신호 또는 상기 동작 신호에 명칭이나 설명을 부여하여 등록하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  6. 제1항에 있어서,
    상기 제어 명령은,
    상기 응용 프로그램을 실행하기 위한 것이거나, 상기 응용 프로그램 중 특정 기능을 실행하기 위한 것이거나, 복수의 상기 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것임을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  7. 제1항에 있어서,
    상기 설정 단계는,
    상기 제어 명령에 명칭이나 설명을 부여하여 설정하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  8. 제1항에 있어서,
    상기 확인 단계는,
    상기 특정 동작 신호와 상기 동작 감지 신호를 DTW(Dynamic Time Warping) 알고리즘을 이용해 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  9. 제1항에 있어서,
    상기 확인 단계는,
    상기 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 상기 동작 감지 신호에 포함된 순차적인 사용자 동작 변화 패턴과 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  10. 제9항에 있어서,
    상기 확인 단계는,
    사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  11. 제1항에 있어서,
    상기 확인 단계는,
    상기 특정 동작 신호와 상기 동작 감지 신호에서, 변화율이 일정치 이상의 신호를 추출하여 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  12. 제1항에 있어서,
    상기 등록 단계는, 상기 특정 동작 신호의 종류 정보를 더 등록하고,
    상기 확인 단계는, 상기 특정 동작 신호의 종류에 대응하는 신호를 상기 동작 감지 신호에서 추출하여 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  13. 제1항에 있어서,
    상기 확인 단계는,
    상기 특정 비동작 신호와 함께 제어 명령으로 설정된 복수의 특정 동작 신호를 조회하여, 상기 동작 감지 신호와 일정치 이상의 매칭률을 가지는 상기 특정 동작 신호를 확인하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 장치 제어 방법.
  14. 정보 표현을 위한 표시부;
    버튼 입력, 키 입력 또는 터치 입력을 위한 입력부;
    사용자 동작을 감지하는 센서부;
    상기 입력부를 통해 입력된 비동작 신호를 저장하고, 상기 센서부에서 감지한 동작에 따라 입력된 동작 신호를 저장하는 신호 저장부;
    응용 프로그램의 저장을 위한 응용 프로그램 저장부;
    상기 비동작 신호 중에서 선택된 특정 비동작 신호와, 상기 동작 신호 중에서 선택된 특정 동작 신호를 포함하여, 상기 응용 프로그램을 제어하기 위해 설정된 제어 명령을 저장하는 제어 명령 저장부;
    상기 입력부를 이용하여 상기 비동작 신호를 입력 받아 상기 신호 저장부에 저장하고, 상기 센서부를 통하여 상기 동작 신호를 입력 받아 상기 신호 저장부에 저장하며, 상기 표시부에 상기 비동작 신호 및 상기 동작 신호의 정보를 표시하여 상기 특정 비동작 신호 및 상기 특정 동작 신호를 선택 받아, 상기 응용 프로그램을 제어하기 위한 상기 제어 명령으로 설정하여 상기 제어 명령 저장부에 저장하고, 상기 입력부를 통해 상기 특정 비동작 신호에 대응하는 입력 신호를 입력받으면, 상기 센서부를 이용해 사용자 동작을 감지하여 동작 감지 신호를 생성하고, 상기 동작 감지 신호와 상기 특정 동작 신호를 비교하여 매칭되는지 확인하며, 상기 확인한 결과 상기 동작 감지 신호와 상기 특정 동작 신호가 매칭되면, 상기 제어 명령에 따라 상기 응용 프로그램을 제어하는 제어부;
    를 포함하고,
    상기 제어부는,
    상기 비동작 신호 또는 상기 동작 신호를 저장하기 전에, 상기 신호 저장부에 기 저장된 신호와의 중복 여부를 판단하여, 판단 결과 중복되는 경우 상기 표시부에 중복 사실을 출력하고, 판단 결과 중복되지 않는 경우 상기 신호 저장부에 저장하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  15. 제14항에 있어서,
    상기 입력부는, 버튼, 키패드, 키보드, 마우스, 터치 패드, 터치 스크린 또는 정보 입력 패널 중 하나 이상을 포함하고,
    상기 비동작 신호 또는 상기 특정 비동작 신호에 대응하는 입력 신호는, 특정 버튼의 입력 신호, 특정 키 입력 신호, 일정 횟수의 키 입력 신호, 일정 조합의 키 입력 신호, 일정 영역에 대한 터치 신호, 일정 횟수의 터치 신호, 일정 조합의 터치 신호, 일정 범위의 세기를 가진 터치 신호, 또는 일정 시간 범위 동안의 터치 신호에 따라 입력되는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  16. 제14항에 있어서,
    상기 센서부는,
    사용자 동작을 감지하는 가속도 센서, 중력 센서, 자이로 센서, 토크 센서, 압력 센서, 광 센서 또는 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  17. 삭제
  18. 제14항에 있어서,
    상기 제어부는,
    상기 신호 저장부에 상기 비동작 신호 또는 상기 동작 신호에 대한 명칭이나 설명을 더 저장하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  19. 제14항에 있어서,
    상기 제어 명령은,
    상기 응용 프로그램을 실행하기 위한 것이거나, 상기 응용 프로그램 중 특정 기능을 실행하기 위한 것이거나, 복수의 상기 응용 프로그램을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 중 특정 응용 프로그램과 다른 응용 프로그램의 기능을 순차적으로 실행하기 위한 것이거나, 복수의 상기 응용 프로그램 각각의 기능을 순차적으로 실행하기 위한 것임을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  20. 제14항에 있어서,
    상기 제어부는,
    상기 제어 명령 저장부에 상기 제어 명령에 대한 명칭이나 설명을 더 저장하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  21. 제14항에 있어서,
    상기 제어부는,
    상기 특정 동작 신호와 상기 동작 감지 신호를 DTW(Dynamic Time Warping) 알고리즘을 이용해 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  22. 제14항에 있어서,
    상기 제어부는,
    상기 특정 동작 신호에 포함된 순차적인 사용자 동작 변화 패턴을, 상기 동작 감지 신호에 포함된 순차적인 사용자 동작 변화 패턴과 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  23. 제22항에 있어서,
    상기 제어부는,
    사용자 동작의 변화 방향, 사용자 동작의 변화 강도 및 사용자 동작의 변화 비율 중 하나 이상의 사용자 동작 변화 패턴을 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  24. 제14항에 있어서,
    상기 제어부는,
    상기 특정 동작 신호와 상기 동작 감지 신호에서, 변화율이 일정치 이상의 신호를 추출하여 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  25. 제14항에 있어서,
    상기 제어부는,
    상기 신호 저장부에 상기 특정 동작 신호의 종류 정보를 더 저장하고, 상기 특정 동작 신호의 종류에 대응하는 신호를 상기 동작 감지 신호에서 추출하여 상기 특정 동작 신호와 비교하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  26. 제14항에 있어서,
    상기 제어부는,
    상기 특정 비동작 신호와 함께 제어 명령으로 설정된 복수의 특정 동작 신호를 조회하여, 상기 동작 감지 신호와 일정치 이상의 매칭률을 가지는 상기 특정 동작 신호를 확인하는 것을 특징으로 하는 비동작 신호 및 동작 신호에 기반한 제어 장치.
  27. 제1항 내지 제3항, 제5항 내지 제13항 중 어느 한 항에 따른 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020120147157A 2012-09-12 2012-12-17 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법 KR101474873B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120101090 2012-09-12
KR1020120101090 2012-09-12

Publications (2)

Publication Number Publication Date
KR20140034666A KR20140034666A (ko) 2014-03-20
KR101474873B1 true KR101474873B1 (ko) 2014-12-19

Family

ID=50645044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147157A KR101474873B1 (ko) 2012-09-12 2012-12-17 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법

Country Status (1)

Country Link
KR (1) KR101474873B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112582063A (zh) * 2019-09-30 2021-03-30 长沙昱旻信息科技有限公司 Bmi预测方法、装置、系统及计算机存储介质、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634530B1 (ko) 2004-10-05 2006-10-16 삼성전자주식회사 사용자의 키입력과 움직임을 결합한 문자 및 기능 입력방법 및 그를 이용한 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634530B1 (ko) 2004-10-05 2006-10-16 삼성전자주식회사 사용자의 키입력과 움직임을 결합한 문자 및 기능 입력방법 및 그를 이용한 단말기

Also Published As

Publication number Publication date
KR20140034666A (ko) 2014-03-20

Similar Documents

Publication Publication Date Title
EP3461291B1 (en) Implementation of a biometric enrollment user interface
KR102578253B1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
KR102127308B1 (ko) 지문 식별을 사용하는 조작 방법 및 장치, 및 모바일 단말
KR102255774B1 (ko) 제스처들을 이용한 디바이스와의 상호작용
US10416777B2 (en) Device manipulation using hover
KR102003255B1 (ko) 다중 입력 처리 방법 및 장치
US20130211843A1 (en) Engagement-dependent gesture recognition
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
US20150160731A1 (en) Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium
KR20150080842A (ko) 입력 처리 방법 및 그 전자 장치
US20170047065A1 (en) Voice-controllable image display device and voice control method for image display device
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
KR20180129478A (ko) 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
CN103809903B (zh) 用于控制虚拟屏幕的方法和装置
KR20180001985A (ko) 전자 장치 및 그의 동작 방법
CN103761041A (zh) 一种信息处理方法及电子设备
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
CN106200900A (zh) 基于识别区域在视频中触发虚拟现实交互的方法及系统
KR101474873B1 (ko) 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법
KR20140009687A (ko) 매크로 기능을 이용하는 복합 입력 처리 방법 및 장치
TW201621651A (zh) 滑鼠模擬系統及方法
KR20100011336A (ko) 정보 처리 장치 및 그 화면 이동 방법
US20140035876A1 (en) Command of a Computing Device
JP2009216729A (ja) 表示装置および表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant