KR20210037063A - 점과 각을 통한 동작인식 방법 및 시스템 - Google Patents

점과 각을 통한 동작인식 방법 및 시스템 Download PDF

Info

Publication number
KR20210037063A
KR20210037063A KR1020190119116A KR20190119116A KR20210037063A KR 20210037063 A KR20210037063 A KR 20210037063A KR 1020190119116 A KR1020190119116 A KR 1020190119116A KR 20190119116 A KR20190119116 A KR 20190119116A KR 20210037063 A KR20210037063 A KR 20210037063A
Authority
KR
South Korea
Prior art keywords
change amount
angle
preset
point
reference data
Prior art date
Application number
KR1020190119116A
Other languages
English (en)
Other versions
KR102270424B1 (ko
Inventor
김정모
김은근
정의도
Original Assignee
주식회사 팜캣
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팜캣 filed Critical 주식회사 팜캣
Priority to KR1020190119116A priority Critical patent/KR102270424B1/ko
Priority to PCT/KR2019/013584 priority patent/WO2021060601A1/ko
Publication of KR20210037063A publication Critical patent/KR20210037063A/ko
Application granted granted Critical
Publication of KR102270424B1 publication Critical patent/KR102270424B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 손에 착용되는 웨어러블 디바이스를 이용하여 동작을 인식하는 방법으로서, 터치센서를 통해 터치 입력이 감지되면, 상기 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계, 상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계, 미리 설정된 시간 내 상기 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하는 단계, 그리고 상기 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처에 대응하는 이벤트를 실행하는 단계를 포함하는 동작 인식 방법이 제공된다.

Description

점과 각을 통한 동작인식 방법 및 시스템{METHOD AND SYSTEM RECOGNIZING GESTURE USING POINTS AND ANGLES}
본 발명은 동작인식 방법 및 시스템에 관한 것으로, 특히 점과 각을 통한 동작인식 방법 및 시스템에 관한 것이다.
손동작을 통해 직관적으로 대상 객체를 제어할 수 있는 웨어러블 디바이스에 대한 필요성이 대두되고 있다.
손동작을 이용하여 대상 객체를 제어할 수 있는 웨어러블 디바이스는 드론, 게임 조이스틱, CCTV 펜틸트 카메라, 및 직관적인 입력으로 인해 몰입감을 높일 수 있는 VR & AR 장치를 제어하는데 활용될 수 있다.
종래의 동작 인식 방법은 카메라를 통해 영상을 획득하고, 획득된 영상을 통해 사용자의 제스처를 인식하기 때문에, 선명한 영상 획득이 어려운 야간이나 흐린 날 등에는 정확한 제스처 인식이 어려운 문제점이 있다. 또한, 종래의 동작 인식 방법은 카메라의 촬영 영역에 사용자의 손동작 일부만 포함되는 경우 정확한 제스처 인식이 어려운 문제점이 있다.
이에 따라, 날씨 및 환경에 영향을 받지 않고, 카메라의 촬영 영역과 관계없이 사용자의 손동작을 정확하게 인식할 수 있는 기술이 요구된다.
본 발명이 이루고자 하는 기술적 과제는 날씨 및 환경에 영향을 받지 않고, 카메라의 촬영 영역과 관계없이 사용자의 손동작을 정확하게 인식할 수 있는 동작인식 방법 및 시스템을 제공하는 것이다.
한 실시예에 따르면, 사용자의 손에 착용되는 웨어러블 디바이스를 이용하여 동작을 인식하는 방법이 제공된다. 상기 동작 인식 방법은 터치센서를 통해 터치 입력이 감지되면, 상기 웨어러블 디바이스의 롤(Roll) 각도 및 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계, 상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계, 미리 설정된 시간 내 상기 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하는 단계, 그리고 상기 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처에 대응하는 이벤트를 실행하는 단계를 포함한다.
상기 터치센서는 오지 입력 신호를 감지하는 센서이고, 상기 웨어러블 디바이스의 롤(Roll) 각도 및 피치(Pitch) 각도를 산출하는 단계는, 상기 터치센서를 통해 적어도 하나의 손가락의 압력이 감지되고, 상기 압력이 미리 설정된 기준값 보다 크면, 상기 롤 각도 및 피치 각도를 산출할 수 있다.
한 실시예에 따르면, 터치센서, 가속도 센서, 및 자이로 센서를 포함하고 사용자의 손에 착용되는 웨어러블 디바이스를 이용하여 동작을 인식하는 방법이 제공된다. 상기 동작 인식 방법은 상기 터치센서를 통해 터치 입력이 감지되면, 상기 가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 상기 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계, 상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계, 미리 설정된 제1 시점에 상기 시작 지점을 기준으로 제1 롤 각도 변화량, 제1 피치 각도 변화량, 및 제1 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처의 제1 지점으로 판단하는 단계, 상기 제1 시점 이후 시점인 제2 시점에 상기 제1 지점을 기준으로 제2 롤 각도 변화량, 제2 피치 각도 변화량, 및 제2 요 각도 변화량 각각이 미리 설정된 제3 기준 데이터 범위에 포함되면, 상기 제스처의 제2 지점으로 판단하는 단계, 그리고 상기 제2 시점 이후 시점인 제3 시점에 상기 제스처에 대응하는 이벤트를 실행하는 단계를 포함한다.
상기 터치센서는 오지 입력 신호를 감지하는 센서이고, 상기 웨어러블 디바이스의 롤(Roll) 각도 및 피치(Pitch) 각도를 산출하는 단계는, 상기 터치센서를 통해 적어도 하나의 손가락의 압력이 감지되고, 상기 압력이 미리 설정된 기준값 보다 크면, 상기 롤 각도 및 피치 각도를 산출할 수 있다.
한 실시예에 따르면, 사용자의 동작을 인식하는 시스템이 제공된다. 상기 동작 인식 시스템은 터치센서, 가속도 센서, 및 자이로 센서를 포함하고, 상기 터치센서를 통해 터치 입력이 감지되면, 상기 가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하고, 상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하며, 미리 설정된 시간 내 상기 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하고, 상기 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처에 대응하는 이벤트 요청 메시지를 송신하는 웨어러블 디바이스, 그리고 상기 웨어러블 디바이스로부터 상기 이벤트 요청 메시지를 수신하면, 상기 웨어러블 디바이스와 연동된 제어 대상 객체에게 상기 이벤트 요청 메시지에 대응하는 제어 명령을 송신하는 서버를 포함한다.
날씨 및 환경에 영향을 받지 않고, 카메라의 촬영 영역과 관계없이 사용자의 손동작을 정확하게 인식할 수 있다.
또한, 동작에서의 특정 순간들을 점으로 정의하고, 순차적인 다수의 점에서의 롤 각도 변화량, 피치 각도 변화량 및 요 각도 변화량 등에 기반하여 제스처를 판단함으로써, 동작 인식에 대한 신뢰도를 향상시킬 수 있다.
도 1은 한 실시예에 따른 동작 인식 시스템의 블록도이다.
도 2는 한 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 3 및 도 4는 한 실시예에 따른 동작 인식 방법을 설명하기 위한 도면이다.
도 5는 한 실시예에 따른 맵데이터를 나타내는 도면이다.
도 6 및 도 7은 한 실시예에 따른 동작 인식 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 한 실시예에 따른 동작 인식 시스템의 블록도이다. 도 2는 한 실시예에 따른 웨어러블 디바이스의 블록도이다. 도 3 및 도 4는 한 실시예에 따른 동작 인식 방법을 설명하기 위한 도면이다. 도 5는 한 실시예에 따른 맵데이터를 나타내는 도면이다.
도 1을 참조하면, 한 실시예에 따른 동작 인식 시스템은 웨어러블 디바이스(100), 제어 대상 객체(200), 및 서버(300)를 포함한다.
도 2 내지 도 4를 참조하면, 웨어러블 디바이스(100)는 근전도 센서(110), 가속도 센서(121), 자이로 센서(122), 터치센서(130), 통신부(140), 전원부(150), 산출부(160), 제어부(170), 및 맵데이터 저장부(180)를 포함한다.
근전도 센서(110)는 손동작에 의해 발생하는 전기 신호를 검출할 수 있다. 근전도 센서(110)는 한 실시예로서 복수 개일 수 있고, 손가락의 움직임(예를 들어, 손가락 구부림)을 용이하게 감지할 수 있도록, 착용시 사용자의 손등이 위치하는 부분에 배치될 수 있다. 복수의 근전도 센서(110)는 일대일 대응되는 복수의 채널이 있어 근전도 신호를 감지할 수 있다.
가속도 센서(121) 및 자이로 센서(122)는 사용자의 손동작에 따른 동작데이터를 수집한다. 가속도 센서(121)는 사용자의 손동작에 따른 가속도 데이터를 수집하고, 자이로 센서(122)는 사용자의 손동작에 따른 각속도 데이터를 수집한다.
가속도 센서(121) 및 자이로 센서(122)는 착용시 사용자의 손등과 손바닥이 위치하는 부분에 배치될 수 있다.
터치센서(130)는 손동작에 따른 오지(다섯손가락) 입력 신호를 감지할 수 있다. 터치센서(130)는 손가락의 터치로 인해 발생하는 정전기를 통해 터치 입력을 감지할 수 있다. 터치센서(130)는 한 실시예로서 압력감지형 터치센서일 수 있다. 터치센서(130)는 한 실시예로서 착용시 사용자의 손바닥이 위치하는 부분에 배치될 수 있다. 터치센서(130)는 한 실시예로서 복수 개일 수 있고, 다섯 손가락 각각에 대한 터치 입력을 감지할 수 있도록, 사용자가 손가락을 자연스럽게 접었을 때 각 손가락이 접촉하는 부분에 배치될 수 있다. 터치센서(130)는 한 실시예로서 엄지 손가락의 터치 입력을 감지할 수 있도록, 착용시 엄지와 검지 사이의 위치에 배치될 수 있다.
통신부(140)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 유형의 통신 방식을 이용하여 제어 대상 객체(200) 및 서버(300)와 데이터를 송수신한다. 통신부(140)는 제어부(170)의 요청에 따라, 사용자의 손동작에 따른 특정 제스처에 대응하는 이벤트를 실행하도록, 제어 대상 객체(200)에게 제어 명령을 송신하거나 또는 사용자의 손동작에 따른 특정 제스처에 대응하는 이벤트 요청 메시지를 서버(300)에게 송신할 수 있다.
전원부(150)는 웨어러블 디바이스(100)에 포함된 각종 장치에 전원을 공급한다.
산출부(160)는 터치센서(130)를 통해 터치 입력이 감지되면, 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출한다. 산출부(160)는 한 실시예로서 터치센서(130)를 통해 적어도 하나의 손가락의 압력이 감지되고, 압력이 미리 설정된 기준값 보다 크면, 롤 각도, 피치 각도, 및 요 각도를 산출할 수 있다. 산출부(160)는 가속도 센서(121) 및 자이로 센서(122)를 통해 수집된 데이터에 기반하여 웨어러블 디바이스(100)의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출한다. 산출부(160)는 사용자의 손동작의 어느 한 지점에서의 웨어러블 디바이스(100)의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도와 다른 한 지점에서의 웨어러블 디바이스(100)의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도에 기반하여, 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량을 산출한다.
제어부(170)는 터치센서(130)를 통해 터치 입력이 감지되면, 산출부(160)에 의해 계산된 웨어러블 디바이스의 롤 각도, 피치 각도, 및 요 각도가 맵데이터 저장부(180)에 저장된 기준 데이터 범위에 포함되는지 여부를 판단하고, 롤 각도, 피치 각도, 및 요 각도가 기준 데이터 범위에 포함되면, 복수의 제스처 중 해당 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단한다.
제어부(170)는 미리 설정된 시간 내 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 맵데이터 저장부(180)에 저장된 기준 데이터 범위에 포함되는지 여부를 판단한다. 미리 설정된 시간은 사용자의 설정에 따라 다양한 값을 가질 수 있다. 미리 설정된 시간은 한 실시예로서, 30ms일 수 있다.
제어부(170)는 한 실시예로서 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 맵데이터 저장부(180)에 저장된 기준 데이터 범위에 포함되면, 시작 지점이 판단된 제스처에 대응하는 이벤트를 실행하도록 제어 대상 객체(200)에게 직접 제어 명령을 송신할 수 있다. 제어부(170)는 한 실시예로서 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 맵데이터 저장부(180)에 저장된 기준 데이터 범위에 포함되면, 제어 대상 객체(200)에게 제어 명령을 송신하도록 서버(300)에게 이벤트 요청 메시지를 송신할 수 있다.
맵데이터 저장부(180)에는 웨어러블 디바이스(100)를 착용한 사용자에 의해 수행되는 제스처별 시작 지점 판단의 기준 범위, 특정 지점에서의 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 등의 데이터가 저장될 수 있다.
도 3 내지 도 5를 참조하면, 제어부(170)는 미리 설정된 개수 이상의 터치센서(130)에서 터치 입력이 감지되면, 산출부(160)에 의해 계산된 웨어러블 디바이스(100)의 롤 각도, 피치 각도 및 요 각도와 맵데이터 저장부(180)에 저장된 데이터를 비교한다. 한 실시예로서, 웨어러블 디바이스(100)의 롤 각도가 45도에서 70도 사이에 포함되고, 피치 각도가 －10도에서 10도 사이에 포함되며, 요 각도가 －80도에서 －100도 사이에 포함되면, 제어부(170)는 복수의 제스처(5a, 5b, 5c, 5d, 5e, 5f) 중 제1 제스처(5a)의 시작 지점으로 판단할 수 있다. 한 실시예로서, 제어부(170)는 엄지손가락이 접촉하는 위치에 배치된 터치센서(130)에서 엄지손가락의 압력이 감지되고, 압력이 미리 설정된 기준값인 100Pa 이상이며, 웨어러블 디바이스(100)의 롤 각도가 －80도에서 －100도 사이에 포함되고, 피치 각도가 70도에서 100도 사이에 포함되면, 복수의 제스처(5a, 5b, 5c, 5d, 5e, 5f) 중 제2 제스처(5e)의 시작 지점으로 판단할 수 있다.
제어부(170)는 한 실시예로서, 맵데이터 저장부(180)에 저장된 미리 설정된 시간인 30ms 내(또는 시작 지점을 판단한 시점을 기준으로 30ms 이후의 시점에) 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 맵데이터 저장부(180)에 저장된 기준 범위에 포함되는지 여부를 판단한다. 한 실시예로서, 미리 설정된 시간인 30ms 내 시작 지점을 기준으로 롤 각도 변화량이 －10도에서 10도 사이에 포함되고 피치 각도 변화량이 증가를 나타내며 요 각도 변화량이 80도에서 100도 사이의 증가를 나타내는 경우, 제어부(170)는 제1 제스처(5a)의 두번째 지점으로 판단할 수 있다.
제어부(170)는 한 실시예로서, 두번째 지점 판단 이후 미리 설정된 시간인 30ms 내(또는 두번째 지점을 판단한 시점을 기준으로 30ms 이후의 시점에) 두번째 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 맵데이터 저장부(180)에 저장된 기준 범위에 포함되는지 여부를 판단한다. 한 실시예로서, 미리 설정된 시간인 30ms 내 두번째 지점을 기준으로 롤 각도 변화량이 －45도에서 －70도 사이에 포함되고 피치 각도 변화량이 감소를 나타내며 요 각도 변화량이 80도에서 100도 사이의 증가를 나타내는 경우, 제어부(170)는 제1 제스처(5a)의 세번째 지점으로 판단할 수 있다.
제어부(170)는 한 실시예로서, 맵데이터 저장부(180)에 저장된 모든 지점에 대한 기준 데이터 범위에 포함되면, 해당 제스처에 대응하는 이벤트를 실행하도록 제어 대상 객체(200)에게 직접 제어 명령을 송신하거나 서버(300)를 통해 제어 대상 객체(200)에게 제어 명령이 송신되도록 할 수 있다. 한 실시예로서, 제어부(170)는 시작 지점이 판단된 제1 제스처(5a)의 세번째 지점까지 판단된 경우, 세번째 지점 판단 이후 미리 설정된 시간 내(또는 세번째 지점을 판단한 시점을 기준으로 미리 설정된 시간 이후의 시점에) 제1 제스처(5a)에 대응하는 이벤트를 실행하도록 제어 대상 객체(200)에게 직접 제어 명령을 송신하거나 서버(300)를 통해 제어 대상 객체(200)에게 제어 명령이 송신되도록 할 수 있다.
순차적인 다수의 점(또는 지점)에서의 롤 각도 변화량, 피치 각도 변화량 및 요 각도 변화량 등에 기반하여 제스처를 판단함으로써, 동작 인식에 대한 신뢰도를 향상시킬 수 있다.
제어 대상 객체(200)는 웨어러블 디바이스(100)와 연동되는 전자 장치이다. 제어 대상 객체(200)는 한 실시예로서 데스크탑 PC, 노트북 PC, 태블릿 PC, 드론(drone), VR 장치 등일 수 있다.
서버(300)는 웨어러블 디바이스(100)로부터 이벤트 요청 메시지를 수신하면, 웨어러블 디바이스(100)와 연동된 제어 대상 객체(200)에게 이벤트 요청 메시지에 대응하는 제어 명령을 송신할 수 있다.
도 6는 한 실시예에 따른 동작 인식 방법의 흐름도이다.
도 6을 참조하면, 한 실시예에 따른 동작 인식 방법은 터치센서(130)를 통해 터치 입력이 감지되면, 웨어러블 디바이스(100)의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계(S610), 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계(S620), 미리 설정된 시간 내 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하는 단계(S630), 그리고 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 제스처에 대응하는 이벤트를 실행하는 단계(S640)를 포함한다.
웨어러블 디바이스(100)의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계(S610), 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계(S620), 미리 설정된 시간 내 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하는 단계(S630), 그리고 제스처에 대응하는 이벤트를 실행하는 단계(S640)는 위에서 설명한 웨어러블 디바이스(100)의 동작 내용과 동일하므로, 상세한 설명은 생략한다.
도 7은 한 실시예에 따른 동작 인식 방법의 흐름도이다.
도 7을 참조하면, 한 실시예에 따른 동작 인식 방법은 터치센서를 통해 터치 입력이 감지되면, 가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계(S710), 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계(S720), 미리 설정된 제1 시점에 시작 지점을 기준으로 제1 롤 각도 변화량, 제1 피치 각도 변화량, 및 제1 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 제스처의 제1 지점으로 판단하는 단계(S730), 제1 시점 이후 시점인 제2 시점에 제1 지점을 기준으로 제2 롤 각도 변화량, 제2 피치 각도 변화량, 및 제2 요 각도 변화량 각각이 미리 설정된 제3 기준 데이터 범위에 포함되면, 제스처의 제2 지점으로 판단하는 단계(S740), 그리고 제2 시점 이후 시점인 제3 시점에 제스처에 대응하는 이벤트를 실행하는 단계(S750)를 포함한다.
가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계(S710), 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계(S720), 제스처의 제1 지점으로 판단하는 단계(S730), 제스처의 제2 지점으로 판단하는 단계(S740), 그리고 제2 시점 이후 시점인 제3 시점에 제스처에 대응하는 이벤트를 실행하는 단계(S750)는 위에서 설명한 웨어러블 디바이스(100)의 동작 내용과 동일하므로, 상세한 설명은 생략한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

  1. 사용자의 손에 착용되는 웨어러블 디바이스를 이용하여 동작을 인식하는 방법으로서,
    터치센서를 통해 터치 입력이 감지되면, 상기 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계,
    상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계,
    미리 설정된 시간 내 상기 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하는 단계, 그리고
    상기 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처에 대응하는 이벤트를 실행하는 단계
    를 포함하는 동작 인식 방법.
  2. 제1항에서,
    상기 터치센서는 오지 입력 신호를 감지하는 센서이고,
    상기 웨어러블 디바이스의 롤(Roll) 각도 및 피치(Pitch) 각도를 산출하는 단계는,
    상기 터치센서를 통해 적어도 하나의 손가락의 압력이 감지되고, 상기 압력이 미리 설정된 기준값 보다 크면, 상기 롤 각도 및 피치 각도를 산출하는, 동작 인식 방법.
  3. 터치센서, 가속도 센서, 및 자이로 센서를 포함하고 사용자의 손에 착용되는 웨어러블 디바이스를 이용하여 동작을 인식하는 방법으로서,
    상기 터치센서를 통해 터치 입력이 감지되면, 상기 가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 상기 웨어러블 디바이스의 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하는 단계,
    상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하는 단계,
    미리 설정된 제1 시점에 상기 시작 지점을 기준으로 제1 롤 각도 변화량, 제1 피치 각도 변화량, 및 제1 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처의 제1 지점으로 판단하는 단계,
    상기 제1 시점 이후 시점인 제2 시점에 상기 제1 지점을 기준으로 제2 롤 각도 변화량, 제2 피치 각도 변화량, 및 제2 요 각도 변화량 각각이 미리 설정된 제3 기준 데이터 범위에 포함되면, 상기 제스처의 제2 지점으로 판단하는 단계, 그리고
    상기 제2 시점 이후 시점인 제3 시점에 상기 제스처에 대응하는 이벤트를 실행하는 단계
    를 포함하는 동작 인식 방법.
  4. 제3항에서,
    상기 터치센서는 오지 입력 신호를 감지하는 센서이고,
    상기 웨어러블 디바이스의 롤(Roll) 각도 및 피치(Pitch) 각도를 산출하는 단계는,
    상기 터치센서를 통해 적어도 하나의 손가락의 압력이 감지되고, 상기 압력이 미리 설정된 기준값 보다 크면, 상기 롤 각도 및 피치 각도를 산출하는, 동작 인식 방법.
  5. 사용자의 동작을 인식하는 시스템으로서,
    터치센서, 가속도 센서, 및 자이로 센서를 포함하고, 상기 터치센서를 통해 터치 입력이 감지되면, 상기 가속도 센서 및 자이로 센서를 통해 수집된 데이터에 기반하여 롤(Roll) 각도, 피치(Pitch) 각도, 및 요(Yaw) 각도를 산출하고, 상기 롤 각도, 피치 각도, 및 요 각도가 미리 설정된 제1 기준 데이터 범위에 포함되면, 상기 제1 기준 데이터 범위에 대응하는 제스처의 시작 지점으로 판단하며, 미리 설정된 시간 내 상기 시작 지점을 기준으로 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되는지 여부를 판단하고, 상기 롤 각도 변화량, 피치 각도 변화량, 및 요 각도 변화량 각각이 미리 설정된 제2 기준 데이터 범위에 포함되면, 상기 제스처에 대응하는 이벤트 요청 메시지를 송신하는 웨어러블 디바이스, 그리고
    상기 웨어러블 디바이스로부터 상기 이벤트 요청 메시지를 수신하면, 상기 웨어러블 디바이스와 연동된 제어 대상 객체에게 상기 이벤트 요청 메시지에 대응하는 제어 명령을 송신하는 서버
    를 포함하는 동작 인식 시스템.
KR1020190119116A 2019-09-26 2019-09-26 점과 각을 통한 동작인식 방법 및 시스템 KR102270424B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190119116A KR102270424B1 (ko) 2019-09-26 2019-09-26 점과 각을 통한 동작인식 방법 및 시스템
PCT/KR2019/013584 WO2021060601A1 (ko) 2019-09-26 2019-10-16 점과 각을 통한 동작인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190119116A KR102270424B1 (ko) 2019-09-26 2019-09-26 점과 각을 통한 동작인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210037063A true KR20210037063A (ko) 2021-04-06
KR102270424B1 KR102270424B1 (ko) 2021-06-30

Family

ID=75166258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190119116A KR102270424B1 (ko) 2019-09-26 2019-09-26 점과 각을 통한 동작인식 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102270424B1 (ko)
WO (1) WO2021060601A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777107B1 (ko) * 2005-12-09 2007-11-19 한국전자통신연구원 가속도 센서를 이용한 문자인식 장치 및 방법
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
KR20130106833A (ko) * 2010-08-31 2013-09-30 구글 인코포레이티드 휴대용 전자 디바이스에 대한 입력을 증진시키기 위한 카메라 사용
KR20160009741A (ko) * 2014-07-16 2016-01-27 (주)이미지스테크놀로지 착용형 제어장치 및 이를 위한 인증 및 페어링 방법
JP2016062274A (ja) * 2014-09-17 2016-04-25 株式会社東芝 認識装置、認識方法及び認識プログラム
KR20160072637A (ko) * 2014-12-15 2016-06-23 엘지전자 주식회사 착용형 사용자 인터페이스 장치
KR20180112308A (ko) * 2017-04-03 2018-10-12 김정모 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777107B1 (ko) * 2005-12-09 2007-11-19 한국전자통신연구원 가속도 센서를 이용한 문자인식 장치 및 방법
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
KR20130106833A (ko) * 2010-08-31 2013-09-30 구글 인코포레이티드 휴대용 전자 디바이스에 대한 입력을 증진시키기 위한 카메라 사용
KR20160009741A (ko) * 2014-07-16 2016-01-27 (주)이미지스테크놀로지 착용형 제어장치 및 이를 위한 인증 및 페어링 방법
JP2016062274A (ja) * 2014-09-17 2016-04-25 株式会社東芝 認識装置、認識方法及び認識プログラム
KR20160072637A (ko) * 2014-12-15 2016-06-23 엘지전자 주식회사 착용형 사용자 인터페이스 장치
KR20180112308A (ko) * 2017-04-03 2018-10-12 김정모 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법

Also Published As

Publication number Publication date
KR102270424B1 (ko) 2021-06-30
WO2021060601A1 (ko) 2021-04-01

Similar Documents

Publication Publication Date Title
EP3538975B1 (en) Electronic device and methods for determining orientation of the device
CN109147679B (zh) 电子设备的背光调节方法、装置、电子设备及存储介质
KR101624215B1 (ko) 입력 장치, 입력 방법, 및 기억 매체
EP3511758A1 (en) Unmanned aerial vehicle control method, head-mounted display glasses, and system
WO2017041433A1 (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
KR20210010437A (ko) 광학 위치 추적 장치를 위한 전력 관리
US9081417B2 (en) Method and device for identifying contactless gestures
US11989355B2 (en) Interacting with a smart device using a pointing controller
US10296096B2 (en) Operation recognition device and operation recognition method
EP2752831B1 (en) Input device, display device and method of controlling thereof
CN103034343B (zh) 一种感知鼠标的控制方法和装置
CN107272892B (zh) 一种虚拟触控系统、方法及装置
KR20200101205A (ko) 전자 장치 및 전자 장치에서 디스플레이 동작 제어 방법
CN205050078U (zh) 一种可穿戴设备
CN112783318A (zh) 人机交互系统和人机交互方法
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
CN113867562A (zh) 触摸屏报点的校正方法、装置和电子设备
KR102270424B1 (ko) 점과 각을 통한 동작인식 방법 및 시스템
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
EP3726363B1 (en) Mobile device and control method thereof
US11501459B2 (en) Information processing apparatus, method of information processing, and information processing system
KR20170124593A (ko) 지능형 상호작용 방법, 장비 및 시스템
Prabhakar et al. Comparison of three hand movement tracking sensors as cursor controllers
CN115002440B (zh) 基于ar的图像采集方法、装置、电子设备及存储介质
EP2738647B1 (en) Method And Device For Identifying Contactless Gestures

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant