KR20190027726A - 제스쳐를 이용하는 단말 제어 방법 - Google Patents

제스쳐를 이용하는 단말 제어 방법 Download PDF

Info

Publication number
KR20190027726A
KR20190027726A KR1020180105108A KR20180105108A KR20190027726A KR 20190027726 A KR20190027726 A KR 20190027726A KR 1020180105108 A KR1020180105108 A KR 1020180105108A KR 20180105108 A KR20180105108 A KR 20180105108A KR 20190027726 A KR20190027726 A KR 20190027726A
Authority
KR
South Korea
Prior art keywords
gesture
output signal
similarity
terminal
user
Prior art date
Application number
KR1020180105108A
Other languages
English (en)
Other versions
KR102216358B1 (ko
Inventor
윤상원
한호범
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20190027726A publication Critical patent/KR20190027726A/ko
Application granted granted Critical
Publication of KR102216358B1 publication Critical patent/KR102216358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

관성 센서를 이용하여 사용자의 제스쳐를 인식하고 단말을 제어하는 방법이 개시된다. 개시된 제스쳐를 이용하는 단말 제어 방법은 웨어러블 디바이스에 포함된 적어도 하나의 관성 센서의 출력 신호를 이용하여, 휴식 모드 및 제스쳐 인식 모드를 결정하는 단계; 상기 제스쳐 인식 모드에서, 제스쳐별 레퍼런스 신호와 상기 출력 신호 사이의 유사도를 계산하는 단계; 상기 유사도에 따라서, 상기 출력 신호에 대응되는 레퍼런스 신호를 결정하고, 사용자의 제스쳐를 인식하는 단계; 및 상기 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성하는 단계를 포함한다.

Description

제스쳐를 이용하는 단말 제어 방법{TERMINAL CONTROL METHOD USIGN GESTURE}
본 발명은 제스쳐를 이용하는 단말 제어 방법에 관한 것으로서, 더욱 상세하게는 관성 센서를 이용하여 사용자의 제스쳐를 인식하고 단말을 제어하는 방법에 관한 것이다.
최근 사용자의 제스쳐를 인식하고, 인식된 제스쳐에 따라서 단말을 제어하는 다양한 기술들이 연구되고 있다.
이러한 기술들은 컴퓨터, TV, 스마트폰 등 다양한 단말의 입력장치로 활용될 수 있으며, 또한 게임용 콘솔이나 로봇/자동차/드론 등 각종 이동물체의 컨트롤러에 활용될 수 있는 기술로 각광받고 있다. 또한 스포츠 훈련 코치 등 사용자를 위한 스마트 솔루션을 제공할 수 있기 때문에, HMI(Human-Machine Interface)를 실현시킬 유망 기술로 각광받고 있으며 스포츠 역학, 헬스케어, 재활의학, 3D 애니메이션 제작, 가상현실 구현 등에서도 필요성이 증가하고 있다.
관련 선행문헌으로 대한민국 공개특허 제2016-0009291호가 있다.
본 발명은 관성 센서를 이용하여 사용자의 제스쳐를 인식하고 단말을 제어하는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 웨어러블 디바이스에 포함된 적어도 하나의 관성 센서의 출력 신호를 이용하여, 휴식 모드 및 제스쳐 인식 모드를 결정하는 단계; 상기 제스쳐 인식 모드에서, 제스쳐별 레퍼런스 신호와 상기 출력 신호 사이의 유사도를 계산하는 단계; 상기 유사도에 따라서, 상기 출력 신호에 대응되는 레퍼런스 신호를 결정하고, 사용자의 제스쳐를 인식하는 단계; 및 상기 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성하는 단계를 포함하는 제스쳐를 이용하는 단말 제어 방법을 제공한다.
본 발명에 따르면, 관성 센서를 포함하는 하나의 웨어러블 디바이스를 통해 복수의 단말들을 통합적으로 제어할 수 있다.
또한 본 발명에 따르면, 사용자의 제스쳐 패턴을 이용하여 사용자의 제스쳐를 인식함으로써, 제스쳐 인식률이 향상될 수 있다.
도 1은 본 발명의 일실시예에 따른 제스쳐를 이용하는 단말 제어 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 제스쳐를 이용하는 단말 제어 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명에서 이용될 수 있는 제스쳐의 일예를 나타내는 도면이다.
도 4는 어플리케이션에 할당된 제스쳐별 제어 기능을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 제스쳐를 이용하는 단말 제어 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 단말 제어 시스템은 웨어러블 디바이스(110) 및 단말(120)을 포함한다.
사용자는 적어도 하나의 관성 센서(111)가 포함된 웨어러블 디바이스(110)를 착용한 상태에서 다양한 제스쳐를 취함으로써 단말(120)을 제어할 수 있으며, 웨어러블 디바이스(110)는 단말(120)에 대한 입력 장치의 기능을 수행한다. 여기서, 단말은 TV, 노트북, 태블릿 PC, 스마트폰, 컴퓨터, 음향 기기 등 사용자의 조작을 통해 동작하는 모든 단말을 포함한다.
실시예에 따라서, 웨어러블 디바이스(110)에서 사용자의 제스쳐를 인식하여 제어 명령을 단말(120)로 전송하거나 또는 웨어러블 디바이스(110)는 관성 센서(111)의 출력 신호를 단말(120)로 전달하고 단말(120)이 관성 센서(111)의 출력 신호를 이용하여 사용자의 제스쳐를 인식할 수도 있다.
사용자가 취하는 제스쳐에 따라서 웨어러블 디바이스(110)의 착용 위치는 달라질 수 있다. 예컨대, 사용자가 손을 이용한 다양한 제스쳐를 단말 제어에 이용한다면, 웨어러블 디바이스(110)는 사용자의 손에 착용될 수 있다. 또는 사용자가 팔을 이용한 다양한 제스쳐를 단말 제어에 이용한다면 웨어러블 디바이스(110)는 사용자의 팔에 착용될 수 있다.
본 발명에 따르면, 미리 정해진 신체 부위의 제스쳐에 따라 단말에 대한 제어 기능이 할당되어 있다. 예컨대, 동일한 제스쳐라고 하더라도 스마트 폰이 제어 대상일 경우와 TV가 제어 대상일 경우, 스마트 폰 및 TV 각각에서 수행되는 제스쳐에 대한 제어 기능은 다를 수 있다. 반대로 동일한 제어 기능이라고 하더라도 제스쳐는 서로 다를 수 있다.
또한 단말에서 수행되는 어플리케이션에 따라서 제스쳐별 제어 기능이 다르게 할당될 수 있다. 예컨대, 태블릿 PC에서 프리젠테이션 어플리케이션이 수행되고 있는 경우, 손을 오른쪽으로 회전하는 제스쳐는 슬라이드를 이동시키는 제어 기능에 대응될 수 있지만, 태블릿 PC에서 동영상 어플리케이션이 수행되고 있는 경우 손을 오른쪽으로 회전하는 제스쳐는 재생 속도를 증가시키는 제어 기능에 대응될 수 있다.
그리고, 단말 각각에 대한 제스쳐별 제어 기능, 어플리케이션 각각에 대한 제스쳐별 제어 기능은 사용자에 의해 자유롭게 설정될 수 있다.
결국, 본 발명에 따른 웨어러블 디바이스는 여러 개의 다른 종류의 단말을 모두 제어할 수 있는 통합 입력 장치로 기능할 수 있으며, 사용자는 하나의 웨어러블 디바이스를 이용하여 복수의 단말을 제어할 수 있다.
이하, 도면에서, 제스쳐를 이용하는 단말 제어 방법에 대해 보다 자세히 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 제스쳐를 이용하는 단말 제어 방법을 설명하기 위한 흐름도이며, 도 3은 본 발명에서 이용될 수 있는 제스쳐의 일예를 나타내는 도면이다. 그리고 도 4는 어플리케이션에 할당된 제스쳐별 제어 기능을 설명하기 위한 도면이다. 도 2 내지 도 4에서는, 웨어러블 디바이스에서 수행되는 단말 제어 방법이 일실시예로서 설명된다.
본 발명에 따른 웨어러블 디바이스는 웨어러블 디바이스에 포함된 적어도 하나의 관성 센서의 출력 신호를 이용하여, 휴식 모드 및 제스쳐 인식 모드를 결정(S210)한다. 휴식 모드는 사용자의 제스쳐를 인식하지 않는 모드이며, 제스쳐 인식 모드는 사용자의 제스쳐를 인식하는 모드이다.
단계 S210에서 휴식 모드에서 제스쳐 인식 모드로의 전환 또는 제스쳐 인식 모드에서 휴식 모드로의 전환은, 미리 설정된 제스쳐 또는 미리 설정된 관성 센서를 이용하여 이루어질 수 있다.
일실시예로서, 휴식 모드 및 제스쳐 인식 모드를 결정하기 위해 인식되는 제스쳐는, 후술되는 제스쳐 인식 모드에서 인식되는 제스쳐보다 사용자의 사용 빈도가 낮은 제스쳐일 수 있다. 예컨대 사용자가 몸을 기준을 손을 앞뒤로 흔드는 제스쳐가 인식될 경우, 휴식 모드로 결정될 수 있으며, 재차 손을 앞뒤로 흔드는 제스쳐가 인식될 경우, 제스쳐 인식 모드로 전환될 수 있다.
또는 사용 빈도와 무관하게 미리 설정된 제스쳐가 임계 시간 동안 유지될 경우, 모드 전환이 이루어질 수 있다. 사용자가 손을 오른쪽으로 회전시킨 후 임계 시간 동안 다른 제스쳐를 취하지 않는다면, 웨어러블 디바이스는 현재 모드를 제스쳐 인식 모드로 결정할 수 있으며, 제스쳐 인식 모드로 결정된 이후 사용자가 제스쳐를 취하지 않을 경우 휴식 모드로 전환할 수 있다.
또는 웨어러블 디바이스는, 웨어러블 디바이스에 포함된 관성 센서 중 가속도 센서의 출력 신호를 휴식 모드 및 제스쳐 인식 모드를 결정하는데 이용할 수 있으며, 제스쳐 인식 모드에서 제스쳐를 인식하기 위해 자이로 센서의 출력 신호를 이용할 수도 있다.
단계 S210에서 제스쳐 인식 모드로 결정되면, 웨어러블 디바이스는 제스쳐 인식 모드에서, 제스쳐별 레퍼런스 신호와 관성 센서의 출력 신호 사이의 유사도를 계산(S220)한다. 그리고 계산된 유사도에 따라서, 관성 센서의 출력 신호에 대응되는 레퍼런스 신호를 결정하고, 사용자의 제스쳐를 인식(S230)한다.
제스쳐별 레퍼런스 신호는 다양한 제스쳐에 대한 관성 센서의 레퍼런스 출력 신호로서, 웨어러블 디바이스에서 생성된 출력 신호의 비교 대상이다. 일실시예로서, 도 3과 같은 제스쳐 각각에 대한 레퍼런스 신호가 준비될 수 있으며, 레퍼런스 신호에 대한 데이터는 미리 생성되어 웨어러블 디바이스에 저장된다. 도 3(a)는 최초 위치에서 손이 아래로 이동했다가 원위치로 복귀하는 제스쳐이며, 도 3(b)는 최초 위치에서 손이 위로 이동했다가 원위치로 복귀하는 제스쳐이다. 도 3(c)는 손이 최초 위치에서 왼쪽으로 이동했다가 원위치로 복귀하는 제스쳐이며, 도 3(d)는 손이 최초 위치에서 오른쪽으로 이동했다가 원위치로 복귀하는 제스쳐이다. 도 3(e)는 손이 시계 방향으로 회전했다가 원위치로 복귀하는 제스쳐이며, 도 3(f)는 손이 반시계 방향으로 회전했다가 원위치로 복귀하는 제스쳐이다.
웨어러블 디바이스는, 탑재된 관성 센서의 출력 신호와 제스쳐별로 다양하게 생성된 레퍼런스 신호를 비교하여, 가장 유사도가 높은 레퍼런스 신호에 할당된 제스쳐를 사용자의 제스쳐로 인식한다.
이 때, 웨어러블 디바이스는 유사도를 계산하기 위해 복수의 신호 사이의 상관성을 나타내는 공분산(covariance)을 이용한다. 관성 센서의 출력 신호의 표준편차, 레퍼런스 신호의 표준편차 및 관성 센서의 출력 신호와 레퍼런스 신호의 공분산을 이용하여, 유사도를 계산할 수 있으며, 일실시예로서 [수학식 1]과 같이 유사도(
Figure pat00001
)를 계산할 수 있다. 공분산 값이 높을 경우, 두 신호 사이의 유사도가 높은 것으로 판단될 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 출력 신호와 레퍼런스 신호의 공분산,
Figure pat00004
는 출력 신호의 표준 편차,
Figure pat00005
는 레퍼런스 신호의 표준 편차를 나타낸다.
웨어러블 디바이스는 연속적인 관성 센서의 출력 신호와 레퍼런스 신호로부터 유사도를 계산하기 위해, 신호에 대해 샘플링을 수행할 수 있으며, 예컨대 1초에 20개의 데이터를 샘플링하여 유사도를 계산할 수 있다.
[표 1]은 도 3에 도시된 제스쳐에 대한 유사도를 나타내고 있는 표로서, [표 1]에 사용된 레퍼런스 신호는 웨어러블 디바이스 사용자로부터 얻어진 신호이다. [표 1]에서 R1은 레퍼런스 신호, R2는 관성 센서의 출력 신호를 나타낸다. 레퍼런스 신호와 관성 센서의 출력 신호가 동일한 제스쳐에 의한 신호일 때, 유사도가 1로 최대값을 나타냄을 알 수 있다.
Figure pat00006
다시 도 2로 돌아가, 단계 S220에서 웨어러블 디바이스는 유사도를 계산할 때, 관성 센서의 출력 신호들 중에서, 크기가 제1임계값 이상인 출력 신호를 이용하여 유사도를 계산할 수 있다. 출력 신호의 크기와 제1임계값을 비교함으로써, 사용자의 의도하지 않은 제스쳐 예컨대 손떨림이나 무의식 중의 제스쳐가, 사용자의 제스쳐로 인식되는 것이 방지될 수 있다.
그리고 단계 S230에서 웨어러블 디바이스는 유사도와 제2임계값을 비교하여 사용자의 제스쳐를 인식할 수 있다. 웨어러블 디바이스는 제2임계값 이상인 유사도를 나타내는 레퍼런스 신호 중 최대 유사도를 나타내는 레퍼런스 신호에 대응되는 제스쳐를 사용자의 제스쳐로 인식할 수 있다.
전술된, 제1 및 제2임계값의 크기는 사용자가 취하는 제스쳐 패턴에 따라서 조절될 수 있다. 예컨대 사용자가 무의식 중에 취하는 제스쳐가 큰 편이라면 제1임계값이 비교적 크게 설정되는 것이 바람직하다. 또한 사용자가 단말을 제어하기 위해 취한 제스쳐가 비교적 작은 편이라면, 단계 S220에서 계산되는 유사도가 전반적으로 작은 패턴을 나타낼 수 있으므로 제2임계값이 비교적 작게 설정되는 것이 바람직하다.
본 발명에 따른 웨어러블 디바이스는 사용자의 제스쳐 패턴에 따라서 제1 및 제2임계값 중 적어도 하나를 조절하고, 조절된 임계값을 이용하여 유사도를 계산하고 사용자의 제스쳐를 인식할 수 있다. 그리고 웨어러블 디바이스는 임계값을 조절하기 위해, 사용자의 제스쳐 패턴을 학습할 수 있다.
사용자의 제스쳐가 인식되면, 본 발명에 따른 웨어러블 디바이스는 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성(S240)한다. 이러한 제어 명령은 단말로 전송되고, 단말은 제어 명령에 따라 제어 동작을 수행할 수 있다.
이 때, 제어 기능은 연속적으로 인식된 복수개의 제스쳐에 대해서도 할당될 수 있다. 즉, 도 3의 각각의 제스쳐 별로 제어 기능이 할당될 수 있을 뿐만 아니라, 도 3(a)의 손을 아래로 내렸다가 원위치로 돌아오는 제스쳐가 취해지고 연속적으로 도 3(c)의 손을 왼쪽으로 이동시켰다가 원위치로 돌아오는 제스쳐가 취해진 경우에 대해서도 별도의 제어 기능이 할당될 수 있다.
이를 위해, 웨어러블 디바이스는 제1임계값 이상인 출력 신호가 미리 설정된 시간 간격 이내에 연속하여 발생한 경우, 연속된 출력 신호로부터 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성할 수 있다.
또한 이러한 제어 기능은 단말에서 수행되는 어플리케이션에 따라서 적응적으로 조절될 수 있을 뿐만 아니라, 제1 및 제2임계값 중 적어도 하나도 어플리케이션에 따라서 조절될 수 있다. 본 발명에 따른 웨어러블 디바이스는 미리 설정된 어플리케이션 각각에 대한 제스쳐별 제어 기능, 어플리케이션별 임계값에 따라서 제스쳐를 인식하고 제어 명령을 생성할 수 있다.
예컨대, 태블릿 PC에서 프리젠테이션 어플리케이션이 수행되고 있는 경우에는, 도 4(a)에 도시된 바와 같이, 손을 오른쪽으로 회전하는 제스쳐가 슬라이드를 이동시키는 제어 기능에 대응될 수 있지만, 태블릿 PC에서 웹 브라우저가 수행되고 있는 경우에는 도 4(b)에 도시된 바와 같이 손을 오른쪽으로 회전하는 제스쳐가 클릭 기능에 대응될 수 있다.
또한 제1 및 제2임계값 중 적어도 하나는 프리젠테이션 어플리케이션이 단말에서 수행되는 경우 감소하며, 웹 브라우저 어플리케이션이 단말에서 수행되는 경우 증가할 수 있다. 사용자가 웹 서핑을 하는 경우보다 프리젠테이션을 하는 경우의 사용자의 제스쳐가 상대적으로 크므로, 제1 및 제2임계값 중 적어도 하나는 비교적 크게 설정되는 것이 바람직하다.
현재 단말에서 실행되는 어플리케이션에 대한 정보는 단말에서 웨어러블 디바이스로 전송될 수 있으며, 웨어러블 디바이스는 단말로부터 전송되는 어플리케이션 실행 정보에 따라서 제어 기능, 임계값을 조절하여 제어 명령을 생성할 수 있다.
한편, 도 2에서는 웨어러블 디바이스에서 수행되는 단말 제어 방법이 일실시예로서 설명되었으나, 전술된 단말 제어 방법은 단말에서 수행될 수도 있다. 이 경우, 단말은 웨어러블 디바이스로부터 관성 센서의 출력 신호를 수신한 후, 사용자의 제스쳐를 인식하고, 제어 명령을 생성할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 웨어러블 디바이스에 포함된 적어도 하나의 관성 센서의 출력 신호를 이용하여, 휴식 모드 및 제스쳐 인식 모드를 결정하는 단계;
    상기 제스쳐 인식 모드에서, 제스쳐별 레퍼런스 신호와 상기 출력 신호 사이의 유사도를 계산하는 단계;
    상기 유사도에 따라서, 상기 출력 신호에 대응되는 레퍼런스 신호를 결정하고, 사용자의 제스쳐를 인식하는 단계; 및
    상기 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성하는 단계
    를 포함하는 제스쳐를 이용하는 단말 제어 방법.
  2. 제 1항에 있어서,
    상기 유사도를 계산하는 단계는
    상기 출력 신호의 표준편차, 상기 레퍼런스 신호의 표준편차 및 상기 출력 신호와 상기 레퍼런스 신호의 공분산을 이용하여, 상기 유사도를 계산하는
    제스쳐를 이용하는 단말기 제어 방법.
  3. 제 1항에 있어서,
    상기 유사도를 계산하는 단계는
    상기 출력 신호들 중에서, 크기가 제1임계값 이상인 출력 신호를 이용하여 상기 유사도를 계산하는
    제스쳐를 이용하는 단말기 제어 방법.
  4. 제 3항에 있어서,
    상기 제어 명령을 생성하는 단계는
    상기 제1임계값 이상인 출력 신호가 미리 설정된 시간 간격 이내에 연속하여 발생한 경우, 상기 연속된 출력 신호로부터 인식된 제스쳐에 할당된 제어 기능에 대한 제어 명령을 생성하는
    제스쳐를 이용하는 단말기 제어 방법.
  5. 제 1항에 있어서,
    상기 사용자의 제스쳐를 인식하는 단계는
    상기 사용자의 제스쳐 패턴에 따라서 제2임계값의 크기를 조절하는 단계; 및
    상기 제2임계값 이상인 유사도를 나타내는 레퍼런스 신호 중 최대 유사도를 나타내는 레퍼런스 신호에 대응되는 제스쳐를 상기 사용자의 제스쳐로 인식하는 단계
    를 포함하는 제스쳐를 이용하는 단말기 제어 방법.
  6. 제 3항 또는 제 5항에 있어서,
    상기 제어 기능은
    단말에서 수행되는 어플리케이션에 따라서 적응적으로 조절되며,
    상기 제1 및 제2임계값 중 적어도 하나는
    상기 어플리케이션에 따라서 조절되는
    제스쳐를 이용하는 단말기 제어 방법.
  7. 제 6항에 있어서,
    상기 제1 및 제2임계값 중 적어도 하나는
    프리젠테이션 어플리케이션이 상기 단말에서 수행되는 경우 감소하며,
    웹 브라우저 어플리케이션이 상기 단말에서 수행되는 경우 증가하는,
    제스쳐를 이용하는 단말기 제어 방법.
  8. 제 1항에 있어서,
    상기 휴식 모드 및 제스쳐 인식 모드를 결정하는 단계는
    상기 출력 신호로부터, 상기 사용자의 제스쳐를 인식하여, 상기 휴식 모드 및 제스쳐 인식 모드를 결정하며,
    상기 휴식 모드 및 제스쳐 인식 모드를 결정하기 위해 인식되는 제스쳐는, 상기 제스쳐 인식 모드에서 인식되는 제스쳐보다 상기 사용자의 사용 빈도가 낮은 제스쳐인
    제스쳐를 이용하는 단말기 제어 방법.
  9. 제 1항에 있어서,
    상기 휴식 모드 및 제스쳐 인식 모드를 결정하는 단계는
    가속도 센서의 출력 신호를 이용하여, 상기 휴식 모드 및 제스쳐 인식 모드를 결정하며,
    상기 유사도를 계산하는 단계는
    자이로 센서의 출력 신호를 이용하여, 상기 유사도를 계산하는
    제스쳐를 이용하는 단말기 제어 방법.
KR1020180105108A 2017-09-07 2018-09-04 제스쳐를 이용하는 단말 제어 방법 KR102216358B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170114360 2017-09-07
KR1020170114360 2017-09-07

Publications (2)

Publication Number Publication Date
KR20190027726A true KR20190027726A (ko) 2019-03-15
KR102216358B1 KR102216358B1 (ko) 2021-02-17

Family

ID=65762381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180105108A KR102216358B1 (ko) 2017-09-07 2018-09-04 제스쳐를 이용하는 단말 제어 방법

Country Status (1)

Country Link
KR (1) KR102216358B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109551A (zh) * 2019-05-17 2019-08-09 中国科学院电子学研究所 手势识别方法、装置、设备及存储介质
CN112518747A (zh) * 2020-11-26 2021-03-19 深圳市优必选科技股份有限公司 一种机器人控制方法、机器人控制装置及可穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080237A (ko) * 2013-12-31 2015-07-09 주식회사 케이티 사용자 행동 기반으로 멀티미디어 콘텐츠 재생을 제어하는 방법 및 장치
KR20150119720A (ko) * 2014-04-16 2015-10-26 삼성전자주식회사 웨어러블 디바이스, 웨어러블 디바이스와 연동되는 마스터 디바이스, 및 그에 따른 웨어러블 디바이스의 제어 방법
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080237A (ko) * 2013-12-31 2015-07-09 주식회사 케이티 사용자 행동 기반으로 멀티미디어 콘텐츠 재생을 제어하는 방법 및 장치
KR20150119720A (ko) * 2014-04-16 2015-10-26 삼성전자주식회사 웨어러블 디바이스, 웨어러블 디바이스와 연동되는 마스터 디바이스, 및 그에 따른 웨어러블 디바이스의 제어 방법
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109551A (zh) * 2019-05-17 2019-08-09 中国科学院电子学研究所 手势识别方法、装置、设备及存储介质
CN112518747A (zh) * 2020-11-26 2021-03-19 深圳市优必选科技股份有限公司 一种机器人控制方法、机器人控制装置及可穿戴设备

Also Published As

Publication number Publication date
KR102216358B1 (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
CN106249882B (zh) 一种应用于vr设备的手势操控方法与装置
US11587559B2 (en) Intelligent device identification
EP2365422B1 (en) Information processing apparatus controlled by hand gestures and corresponding method and program
US10437341B2 (en) Systems and methods for user generated content authoring
US20200218356A1 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
EP3845282A1 (en) Interaction method of application scenario, and mobile terminal and storage medium
US20090153468A1 (en) Virtual Interface System
KR20170053709A (ko) 터치 입력의 비의도된 것 또는 의도된 것으로서의 분류
US10360775B1 (en) Systems and methods for designing haptics using speech commands
US20170364152A1 (en) Input detection method, computer-readable recording medium, and device
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
KR102216358B1 (ko) 제스쳐를 이용하는 단말 제어 방법
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
US11029753B2 (en) Human computer interaction system and human computer interaction method
EP3654205A1 (en) Systems and methods for generating haptic effects based on visual characteristics
CN111160251A (zh) 一种活体识别方法及装置
CN111050266B (zh) 一种基于耳机检测动作进行功能控制的方法及系统
US11205066B2 (en) Pose recognition method and device
KR102319530B1 (ko) 사용자 입력 처리 방법 및 장치
US20200387246A1 (en) Systems and methods for particle jamming haptic feedback
JP6481360B2 (ja) 入力方法、入力プログラムおよび入力装置
KR20150137376A (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
KR20200046764A (ko) 제스처 인식 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant