KR102214322B1 - 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법 - Google Patents

손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR102214322B1
KR102214322B1 KR1020190034357A KR20190034357A KR102214322B1 KR 102214322 B1 KR102214322 B1 KR 102214322B1 KR 1020190034357 A KR1020190034357 A KR 1020190034357A KR 20190034357 A KR20190034357 A KR 20190034357A KR 102214322 B1 KR102214322 B1 KR 102214322B1
Authority
KR
South Korea
Prior art keywords
sensing value
value
macro function
motion
user
Prior art date
Application number
KR1020190034357A
Other languages
English (en)
Other versions
KR20190131417A (ko
Inventor
김민경
정하형
박진하
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Publication of KR20190131417A publication Critical patent/KR20190131417A/ko
Application granted granted Critical
Publication of KR102214322B1 publication Critical patent/KR102214322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예에 의한 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법이 개시된다. 상기 매크로 기능을 제공하기 위한 장치는 모션 글러브를 착용한 사용자의 손동작에 따라 측정된 센싱값을 포함한 데이터 패킷을 수신하는 통신부; 상기 데이터 패킷에 포함된 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 상기 판단한 결과로 상기 매크로 기능이 실행되는 경우 상기 센싱값을 이용하여 상기 사용자의 손동작을 인식하여 상기 인식한 사용자의 손동작에 매칭되는 매크로 기능을 실행하는 제어부; 및 상기 매크로 기능이 실행되는 화면을 표시하는 표시부를 포함한다.

Description

손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법{APPARATUS FOR PROVIDING MACRO FUNCTION USING GESTURE RECOGNITION AND METHOD THEREOF}
실시예는 손동작 인식 기술에 관한 것으로, 보다 상세하게는 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법에 관한 것이다.
모션 캡쳐 기법은 사람이나 동물 등의 움직임을 추출하여 얻어낸 3차원 데이터를 컴퓨터에 의해 모델링된 캐릭터에 적용하여 자연스러운 모션 영상을 생성하는 영상 기법이다. 이를 위해 사람 등이 광학 센서나 자기 센서를 신체에 부착한 후 동작을 하면 각 센서는 위치와 각도를 기록하게 되는데, 이러한 센싱 데이터를 3D 캐릭터에 적용시켜 캐릭터의 동작을 구현하게 된다.
모션 캡쳐 기법은 최대한 신체의 움직임과 유사한 동작을 구현하는데 가장 큰 목적이 있다. 이러한 목적을 구현하기 위해서는 신체의 관절 움직임을 정확히 측정하는 것이 중요하다. 즉, 신체 관절 움직임을 얼마나 정확하고 자세하게 측정하는가가 자연스러운 동작을 구현하는데 관건이 된다.
하지만 사용자의 손동작의 움직임을 캡쳐하는 시스템의 구현뿐만 아니라, 현재 사용자가 어떤 손동작을 취하고 있으며, 이에 대응하는 특정 기능이 구현되는지 또한 중요하다.
특히, 가상현실(Virtual Reality, VR) 기기를 착용한 상태에서 주위를 볼 수 없으므로, 마우스과 같은 컨트롤러를 사용하기 힘들기 때문에 매크로 기능은 필수적이다. 하지만, 사용자가 특정 손동작을 하였을 때 이를 대응하는 정해진 매크로 기능을 실행하도록 하는 시스템 또는 방법에 관한 기술 개발이 요구되고 있다.
등록특허공보 제10-1385601호 등록특허공보 제10-1781999호
실시예는 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 매크로 기능을 제공하기 위한 장치는 모션 글러브를 착용한 사용자의 손동작에 따라 측정된 센싱값을 포함한 데이터 패킷을 수신하는 통신부; 상기 데이터 패킷에 포함된 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 상기 판단된 결과로 상기 매크로 기능이 실행되는 경우 상기 센싱값을 이용하여 상기 사용자의 손동작을 인식하여 상기 인식된 사용자의 손동작에 매칭되는 매크로 기능을 실행하는 제어부; 및 상기 매크로 기능이 실행되는 화면을 표시하는 표시부를 포함할 수 있다.
상기 센싱값은 상기 사용자의 손동작에 따른 가속도값을 나타내는 제1 센싱값, 상기 사용자의 손목 회전에 따른 값을 나타내는 제2 센싱값, 상기 사용자의 손가락 굽힘에 따른 값을 나타내는 제3 센싱값을 포함할 수 있다.
상기 제어부는 상기 제1 센싱값을 이용하여 상기 사용자의 손동작에 의한 매크로 기능 실행 여부를 판단하고, 상기 매크로 기능이 실행되는 것으로 판단되는 경우, 상기 제2 센싱값과 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식할 수 있다.
상기 제어부는 상기 제1 센싱값을 이용하여 상기 매크로 기능 실행 여부를 판단하기 위한 임계값을 산출하고, 상기 산출된 임계값이 미리 정해진 임계범위 이내이면, 타이머를 구동시켜 유지 시간을 측정하고, 상기 측정된 유지 시간이 미리 정해진 임계 시간 이상이면, 상기 사용자의 손동작에 의해 매크로 기능이 실행되는 것으로 판단할 수 있다.
상기 임계값은 수학식
Figure 112019030912571-pat00001
에 의해 산출되고, ax, ay, az는 각각 3축 가속도 센서의 의해 측정된 x축, y축, z축의 값을 의미할 수 있다.
상기 제어부는 상기 제2 센싱값을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출하고, 상기 산출된 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락 관절별 관절 각도를 산출하고, 상기 산출된 손가락의 관절별 관절 각도와 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식할 수 있다.
본 발명의 다른 실시예에 따른 매크로 기능을 제공하기 위한 방법은 모션 글러브를 착용한 사용자의 손동작에 따라 측정된 센싱값을 포함한 데이터 패킷을 수신하는 단계; 상기 데이터 패킷에 포함된 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 상기 판단된 결과로 상기 매크로 기능이 실행되는 경우 상기 센싱값을 이용하여 상기 사용자의 손동작을 인식하여 상기 인식된 사용자의 손동작에 매칭되는 매크로 기능을 실행하는 단계; 및 상기 매크로 기능이 실행되는 화면을 표시하는 단계를 포함할 수 있다.
상기 센싱값은 상기 사용자의 손동작에 따른 가속도값을 나타내는 제1 센싱값, 상기 사용자의 손목 회전에 따른 값을 나타내는 제2 센싱값, 상기 사용자의 손가락 굽힘에 따른 값을 나타내는 제3 센싱값을 포함할 수 있다.
상기 실행하는 단계에서는 상기 제1 센싱값을 이용하여 상기 사용자의 손동작에 의한 매크로 기능 실행 여부를 판단하고, 상기 매크로 기능이 실행되는 것으로 판단되는 경우, 상기 제2 센싱값과 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식할 수 있다.
상기 실행하는 단계에서는 상기 제1 센싱값을 이용하여 상기 매크로 기능 실행 여부를 판단하기 위한 임계값을 산출하고, 상기 산출된 임계값이 미리 정해진 임계범위 이내이면, 타이머를 구동시켜 유지 시간을 측정하고, 상기 측정된 유지 시간이 미리 정해진 임계 시간 이상이면, 상기 사용자의 손동작에 의해 매크로 기능이 실행되는 것으로 판단할 수 있다.
상기 임계값은 수학식
Figure 112019030912571-pat00002
에 의해 산출되고, ax, ay, az는 각각 3축 가속도 센서의 의해 측정된 x축, y축, z축의 값을 의미할 수 있다.
상기 실행하는 단계에서는 상기 제2 센싱값을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출하고, 상기 산출된 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락 관절별 관절 각도를 산출하고, 상기 산출된 손가락의 관절별 관절 각도와 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식할 수 있다.
실시예에 따르면, 모션 글러브로부터 측정된 제1 센싱값, 제2 센싱값, 제3 센싱값을 포함하는 데이터 패킷을 수신하면 수신된 제1 센싱값을 이용하여 매크로 기능이 실행될지의 여부를 판단하고, 매크로 기능이 실행될 것으로 판단되는 경우 제2 센싱값과 제3 센싱값을 이용하여 손동작을 인식하여 손동작에 매칭되는 매크로 기능을 결정하고 결정된 매크로 기능을 실행하도록 함으로써, 사용자가 콘텐츠의 특정 기능 즉, 매크로 기능을 용이하게 구현할 수 있다.
실시예에 따르면, 사용자가 특정 동작을 취했을 때와 일반적인 움직임 상태일 때를 구분하기 때문에 인식률이 높은 정확한 매크로 기능 구현이 가능할 수 있다.
실시예에 따르면, 사용자가 특정 손동작을 하였을 때 이를 대응하는 매크로 기능을 용이하게 구현하기 때문에, 콘텐츠를 이용하는 사용자의 편리성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타내는 도면이다.
도 2는 도 1에 도시된 모션 글러브의 상세한 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 데이터 패킷의 포맷을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 매크로 기능을 제공하기 위한 방법을 나타내는 도면이다.
도 6은 도 5에 도시된 매크로 기능 실행 여부 판단 과정을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 모션 유지 시간 표시 화면을 보여주는 도면이다.
도 8은 도 5에 도시된 손동작 인식 과정을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 손가락 관절각 산출 모델을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 손가락 관절각 산출 모델을 그래프 형태로 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 손가락의 각 관절의 각도 산출 원리를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
실시예에서는, 모션 글러브로부터 측정된 제1 센싱값, 제2 센싱값, 제3 센싱값을 포함하는 데이터 패킷을 수신하면 수신된 제1 센싱값을 이용하여 매크로 기능이 실행될지의 여부를 판단하고, 매크로 기능이 실행될 것으로 판단되는 경우 제2 센싱값과 제3 센싱값을 이용하여 손동작을 인식하여 손동작에 매칭되는 매크로 기능을 결정하고 결정된 매크로 기능을 실행하도록 한 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 손동작 인식 기술을 이용하여 매크로 기능을 제공하기 위한 시스템은 모션 글러브(motion glove)(100), 사용자 단말(200)을 포함할 수 있다.
모션 글러브(100)는 사용자의 움직임을 감지하여 그 감지할 결과에 따라 제1 센싱값, 제2 센싱값, 제3 센싱값을 출력할 수 있다. 모션 글러브(100)는 제1 센싱값, 제2 센싱값, 제3 센싱값을 포함하는 데이터 패킷을 생성하여 출력할 수 있다.
사용자 단말(200)은 모션 글러브(100)로부터 데이터 패킷을 수신하고 수신된 데이터 패킷을 이용하여 사용자의 손동작을 인식하여 매크로 기능을 실행할 수 있다.
사용자 단말(200)은 데이터 패킷에 포함된 제1 센싱값, 제2 센싱값, 제3 센싱값을 추출하고 추출된 제1 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 제2 센싱값과 제3 센싱값을 이용하여 손동작을 인식하여 매크로 기능을 실행할 수 있다.
이러한 사용자 단말(200)은 통신 모듈, 프로세서, 디스플레이, 메모리 등을 포함하는 전자 장치로서, 예컨대, 스마트폰, 태블릿, 노트북, 데스크탑을 포괄할 수 있다.
도 2는 도 1에 도시된 모션 글러브의 상세한 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 모션 글러브(100)는 글러브(glove)(110), 플렉서블 센서(flexible sensor)(120), 포켓(pocket)(130) 및 모션 센서(motion sensor)(140)를 포함하여 구성될 수 있다.
글러브(110)는 사용자가 손에 착용할 수 있는 형상으로 형성될 수 있다. 여기서는 좌측손에 착용하는 글러브(110)를 도시하고 있으나, 이는 일 실시예에 불과하며, 우측손에 착용하는 글러브일 수도 있다. 글러브(110)는 사용자가 착용 후 손을 쥐고 펼 수 있도록 신축성이 있는 소재를 이용할 수 있다.
플렉서블 센서(120)는 엄지(thumb), 검지(index), 중지(middle), 약지(ring), 소지(pinky) 각각에 배치될 수 있다. 따라서, 플렉서블 센서(120)는 글러브(110)의 손가락 길이에 대응하여 형성된다. 예컨대, 소지 부분에 형성되는 플렉서블 센서(125)의 길이는 중지에 형성되는 플렉서블 센서(123)의 길이보다 짧을 수 있다. 플렉서블 센서(120)는 사용자의 손가락 움직임에 따라 휘어지며, 구부러지는 정도에 따라 다른 출력값을 생성한 후 출력할 수 있다.
포켓(130)은 글러브(110)의 손가락 부위 안쪽에 부착될 수 있다. 포켓(130)은 플렉서블 센서(120)가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가질 수 있다. 따라서, 포켓(130)에 삽입된 플렉서블 센서(120)가 포켓(130) 안에서 앞뒤로 움직일 수 있으므로, 사용자가 주먹을 쥐거나 움직이는 동작을 계속 하더라도 플렉서블 센서(120)와 연결된 전선이 끊어지는 현상을 방지할 수 있다.
모션 센서(140)는 글러브(110)의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정할 수 있다. 모션 센서(140)는 플렉서블 센서(120)와 전선으로 연결되어 플렉서블 센서(120)의 출력값을 취합한 후 사용자 단말(200)에 전송할 수 있다.
모션 센서(140)는 사용자가 매크로 동작을 취하고 있는지 구분하는 수단으로 사용된다. 모션 센서(140)는 일반적으로 자이로, 가속도, 지자기 센서가 결합된 형태인데, 이 중 3축 가속도 센서 값을 사용하여 사용자가 매크로 동작을 취한 것인지를 구분한다. 따라서 본 발명에서는 일반적인 모션인지 매크로 동작을 취하고 있는 것인지에 대한 구분은 가속도 센서값을 사용하고, 각각의 매크로 동작은 모션 센서로 추정하는 손목 관절 각도와 각 손가락 관절들의 각도로 인식한다.
도 3은 본 발명의 일 실시예에 따른 데이터 패킷의 포맷을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 모션 센서(140)는 사용자의 손목의 회전을 측정한 모션값, 가속도값과 플렉서블 센서의 출력값을 포함하는 데이터 패킷을 생성할 수 있다.
이러한 데이터 패킷은 크게 헤더(header) 필드, 데이터(data) 필드, 테일러(tailer) 필드로 구분될 수 있는데, 데이터 필드는 모션 센서에 의해 측정된 모션값, 가속도값과 플렉서블 센서에 의해 측정된 출력값을 포함하도록 구성될 수 있다.
도 4는 도 1에 도시된 사용자 단말의 상세한 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 통신부(210), 입력부(220), 제어부(230), 표시부(240), 저장부(250)를 포함할 수 있다.
통신부(210)는 모션 글러브의 모션 센서와 연동하여, 모션 센서에 의해 측정된 제1 센싱값, 제2 센싱값과 플렉서블 센서에 의해 측정된 제3 센싱값을 포함한 데이터 패킷을 수신할 수 있다.
입력부(220)는 사용자의 키 또는 메뉴 조작에 따른 정보를 입력 받을 수 있다.
제어부(230)는 데이터 패킷에 포함된 모션 센서에 의해 측정된 제1 센싱값, 제2센싱값과 플렉서블 센서에 의해 측정된 제3 센싱값을 추출하고, 추출된 제1 센싱값을 이용하여 매크로 기능이 실행될지의 여부를 판단하고, 매크로 기능이 실행될 것으로 판단되면 제2 센싱값과 제3 센싱값을 이용하여 매크로 기능을 결정하여 실행할 수 있다.
제어부(230)는 제2 센싱값과 제3 센싱값을 이용하여 손동작을 인식하고, 인식된 손동작에 매칭되는 매크로 기능을 결정하여 그 결정된 매크로 기능을 실행할 수 있다.
표시부(240)는 콘텐츠를 표시하면서 인식된 사용자의 손동작을 표시할 수 있다.
저장부(250)는 콘텐츠, 매크로 기능을 실행하는데 필요한 각종 정보 예컨대, 사용자의 손동작과 손동작에 대응되는 미리 정해진 매크로 기능 등을 저장할 수 있다.
도 5는 본 발명의 일 실시예에 따른 매크로 기능을 제공하기 위한 방법을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 매크로 기능을 제공하기 위한 장치(이하, 제공 장치라고 한다)는 모션 글러브로부터 데이터 패킷을 수신할 수 있다(S510).
다음으로, 제공 장치는 수신된 데이터 패킷을 분석하여 그 분석한 결과로 모션 센서로부터 측정된 제1 센싱값, 제2 센싱값과 플렉서블 센서로부터 측정된 제3 센싱값을 추출할 수 있다(S520).
다음으로, 제공 장치는 추출된 제1 센싱값을 이용하여 매크로 기능을 실행할지 여부를 판단할 수 있다(S530). 여기서 제1 센싱값은 모션 센서에 포함된 가속도 센서에 의해 측정된 가속도 센서값일 수 있다. 이러한 제1 센싱값은 사용자가 일반적인 모션을 취하는지 매크로 동작을 취하는 것인지에 대한 구분에 사용될 수 있다.
다음으로, 제공 장치는 제2 센싱값과 제3 센싱값을 이용하여 손동작을 인식할 수 있다(S540). 여기서, 제2 센싱값은 모션 센서에 의해 측정된 모션값일 수 있다. 제2 센싱값은 모션 글러브를 착용한 사용자의 손목 회전 정도 또는 손목 관절 각도에 따라 다른 값을 가질 수 있다. 제3 센싱값은 플렉서블 센서에 의해 측정된 값일 수 있다. 제3 센싱값은 모션 글러브를 착용한 사용자의 손가락 구부러짐 정보에 따라 다른 값을 가질 수 있다.
다음으로, 제공 장치는 인식된 손동작에 매칭되는 매크로 기능을 결정하고 결정된 매크로 기능을 실행할 수 있다(S550). 이때, 제공 장치는 사용자에 의해 소정 손동작과 소정 손동작에 매칭되는 매크로 기능을 한 쌍씩 미리 설정 및 변경할 수 있다.
이때, 본 발명에서는 실감형 콘텐츠 제작 시 모션 센서의 가속도값을 이용하여 매크로 기능 실행 여부를 결정한다. 일반적으로 매크로 기능을 구현할 때 수초동안 손동작이 멈추는 것에서 착안하여 3축의 가속도값으로 동작이 멈추었는지 판단하고자 한다.
도 6은 도 5에 도시된 매크로 기능 실행 여부 판단 과정을 나타내는 도면이다.
도 6을 참조하면, 제공 장치는 제1 센싱값을 이용하여 임계값을 산출할 수 있는데(S531), 임계값은 매크로 기능이 실행될지의 여부를 판단하기 위한 값으로 다음의 [수학식 1]과 같다.
[수학식 1]
Figure 112019030912571-pat00003
여기서, ax, ay, az는 각각 3축 가속도 센서에 의해 측정된 x축, y축, z축의 값을 의미한다.
이때, 3축의 가속도 센서는 중력 방향에 수직일 때 0이고, 중력방향에 수평일 때 최대 1이 측정된다. 3축 가속도 센서는 선형 가속도가 감지 되지 않을 때 중력 가속도만이 감지됨으로 3축 가속도 센서의 값을 [수학식 1]로 계산했을 경우 임계값이 1이 나오고, 선형 가속도가 감지되면 임계값은 항상 1 보다 큰 값이 나온다.
다음으로, 제공 장치는 산출된 임계값이 미리 정해진 임계 범위 이내인지를 확인할 수 있다(S532). 여기서 미리 정해진 임계 범위는 1-α ~ 1+ α의 범위를 일컫는다.
다음으로, 제공장치는 상기 확인한 결과로 임계값이 임계범위 이내이면, 타이머를 구동시켜(S533) 타이머에 의해 측정된 유지 시간이 임계 시간 이상인지를 확인할 수 있다(S534).
도 7은 본 발명의 일 실시예에 따른 모션 유지 시간 표시 화면을 보여주는 도면이다.
도 7을 참조하면, 사용자가 매크로 기능이 실행될 수 있도록 미리 정해진 시간 동안 모션을 유지하도록 콘텐츠를 표시하는 화면의 한쪽 상단에 시간이 게이지 형태로 상시 표시되도록 한다.
이때, 시간은 게이지 형태뿐 아니라 필요에 따라 원 형태, 바 형태 등이 사용될 수 있다.
다음으로, 제공장치는 상기 확인한 결과로 유지 시간이 임계 시간 이상이면 타이머를 종료하고(S535) 사용자의 손동작에 의한 미리 정해진 매크로 기능이 실행될 것임을 판단할 수 있다(S536).
반면, 제공 장치는 상기 확인한 결과로 유지 시간이 임계 시간 미만이면, 사용자의 손동작에 의한 미리 정해진 매크로 기능이 실행되지 않을 것임을 판단할 수 있다(S537).
도 8은 도 5에 도시된 손동작 인식 과정을 나타내는 도면이다.
도 8을 참조하면, 제공 장치는 제2 센싱값을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출할 수 있다. 이때, 포인트값 Pfinger ∠은 다음의 [수학식 2]를 이용하여 구할 수 있다(S541).
[수학식 2]
Figure 112019030912571-pat00004
여기서, F는 제2 센싱값, Fmin은 플렉서블 센서의 최소출력값, Fmax는 플렉서블 센서의 최대출력값, Mmax는 최대 정합값을 의미한다. 이때, 최대 정합값은 기 설정된 값으로 손가락 끝단 각도가 가질 수 있는 최대값을 의미할 수 있다.
예컨대, 플렉서블 센서의 최소출력값이 800, 플렉서블 센서의 최대출력값이 8000, 최대 정합 값이 100으로 기 설정되었다고 가정한다. 이때, 제2 센싱값이 4400이면, 상기 [수학식 2]를 통해 손가락의 끝단 각도(Pfinger∠)로 50을 산출할 수 있다.
상기 [수학식 2]와 같이 본 발명은 제2 센싱값과 최소출력값의 차이값과 최대출력값과 최소출력값의 차이값의 비율을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출할 수 있다.
이때, 제공 장치는 플렉서블 센서의 최대출력값과 최소출력값을 미리 설정할 수 있다. 즉, 제공장치는 일정 시간 동안 모션 글러브를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값을 각각 최대출력값 및 최소출력값으로 설정할 수 있다.
예컨대, 모션 글러브를 착용한 사용자가 10초동안 손가락을 움직이면, 제공 장치는 10초 동안 수집한 제2 센서출력값 중 최대값과 최소값을 검출하고, 검출된 최대값을 플렉서블 센서의 최대출력값으로 설정하고, 최소값을 최소출력값 설정한다.
이때, 사용자의 손가락 움직임은 최대 범위에서의 움직임이 바람직하다. 예컨대, 사용자가 손가락을 모두 펴는 움직임과 주먹을 쥐는 움직임을 일정 시간동안 반복 수행하면, 제공 장치는 해당 움직임을 측정하여 출력값을 생성할 수 있다.
다음으로, 제공 장치는 손가락 끝단 각도에 대응하는 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락 관절별 관절 각도를 산출할 수 있다(S542). 즉, 손가락 끝단 각도는 손가락의 각 관절의 각도를 산출하는데 이용될 수 있다.
손가락 관절각 산출 모델은 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성될 수 있다. 그리고 각 관절별 관절 가동 범위는 서로 다르게 설정될 수 있다. 구체적으로, 관절별 관절 가동 범위는 모든 손가락 관절에 대해 다르게 설정될 수도 있고, 각 손가락에서 관절의 위치에 따라 다르게 설정될 수도 있다.
도 9는 본 발명의 일 실시예에 따른 손가락 관절각 산출 모델을 설명하기 위한 도면이고, 도 10은 본 발명의 일 실시예에 따른 손가락 관절각 산출 모델을 그래프 형태로 나타내는 도면이고, 도 11은 본 발명의 일 실시예에 따른 손가락의 각 관절의 각도 산출 원리를 설명하기 위한 도면이다.
도 9를 참조하면, 손가락은 엄지(thumb), 검지(index), 중지(middle), 약지(ring), 소지(pinky)의 5개로 구성된다. 그리고 각 손가락은 복수의 마디 및 복수의 관절로 구성된다.
구체적으로, 검지, 중지, 약지, 소지는 각각 근위마디(l_ⓕ_proximal), 중간마디(l_ⓕ_middle) 및 말단마디(l_ⓕ_distal)로 구성된다. 엄지는 근접마디(l_thumb_proximal) 및 원접마디(l_thumb_distal)로 구성된다.
그리고, 검지, 중지, 약지, 소지는 관절의 위치에 따라 원위지절간(DIP, distal interphalangeal) 관절, 근위지절간(PIP, proximal interphalangeal) 관절, 중수지절간(MCP, metacarpal phalangea) 관절로 구성된다. 엄지는 원위지절간(DIP, distal interphalangeal) 관절, 중수지절간(MCP, metacarpal phalangeal) 관절로 구성된다.
위에서 나타난 바와 같이, 원위지절간(DIP) 관절, 근위지절간(PIP) 관절, 중수지절간(MCP) 관절은 서로 다른 마디 사이에 존재하므로 동일한 사용자라고 하더라도 관절 가동 범위가 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 손가락 관절각 산출 모델은 각 관절별로 관절 가동 범위를 다르게 설정하여 모델링된다. 예를 들어, 손가락 관절각 산출 모델은 각 손가락의 원위지절간(DIP) 관절에 0도 내지 90도, 근위지절간(PIP) 관절에 0도 내지 100도, 중수지절간(MCP) 관절에 -10도 내지 90도의 관절 가동 범위가 설정되어 모델링될 수 있다.
한편, 엄지의 중수-수지간(CMC, carpometacarpal) 관절의 경우 손목과 연결된 관절로서 움직이는 범위가 적으므로, 모델링 시 해당 관절은 고려하지 않을 수 있다.
이렇게 각 손가락 관절별 관절각 범위를 설정하여 이상 꺽임이나 회전을 빙지할 수 있다. 또한 사람의 손 크기와 굽힘 정도에 따라 달라지는 플렉서블 센서의 출력값을 설정된 관절 각 범위에 정합하여 자연스러운 손동작을 구현할 수 있다.
도 10을 참조하면, 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하면, 손가락 관절각 산출 모델은 제1 내지 5 구간으로 모델링 될 수 있다.
제1 구간은 중수지절간(MCP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제1 구간에서 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다.
제2 구간은 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제2 구간에서 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다.
제3 구간은 근위지절간(PIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제3 구간에서 중수지절간(MCP) 관절은 최대각도값을 가지고 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다.
제4 구간은 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제4 구간에서 중수지절간(MCP) 관절은 최대각도값을 가질 수 있다.
제5 구간은 원위지절간(DIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제5 구간에서, 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절은 최대각도값을 가질 수 있다.
도 11을 참조하면, 사용자가 (a)와 같이 움직인 경우, 손가락의 끝단 각도에 대응하는 포인트값은 a가 될 수 있다. 그러면 포인트값 a를 손가락 관절각 산출 모델에 적용하는데, 포인트값 a는 제1 구간에 포함된다. 따라서, 중수지절간(MCP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절에 대해 최소각도값을 산출한다.
사용자가 (b)와 같이 움직인 경우, 손가락의 끝단 각도에 대응하는 포인트값은 b가 될 수 있다. 그러면 포인트값 b를 손가락관절각 산출 모델에 적용하는데, 포인트값 b는 제4 구간에 포함된다. 따라서, 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 중수지절간(MCP) 관절에 대해 최대각도값을 산출한다.
사용자가 (c)와 같이 움직인 경우, 손가락의 끝단 각도에 대응하는 포인트값은 c가 될 수 있다. 그러면 포인트값 c를 손가락 관절각 산출 모델에 적용하는데, 포인트값 c는 제1 구간에 포함된다. 따라서, 원위지절간(DIP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절에 대해 최대각도값을 산출한다.
또한 모션캡쳐에서 발생할 수 있는 위치 정합 오차를 콜리더를 사용하여 특정 거리만큼 가까워 졌을 때 미리 저장한 모션을 취할 수 있게 하고, 특정 거리만큼 떨어졌을 때 원래 모션으로 돌아가도록 할 수 있다. 이때 원래 모션으로 돌아가는 지연시간(delay time)을 콘텐츠 개발자가 설정할 수 있도록 할 수 있다. 예컨대, 실제 모션에서 엄지와 검지가 맞닿았을 때, 일 예로 손모양이 오케이 모양인 경우, 콘텐츠의 모션은 맞닿지 않을 수 있다. 따라서 실제 모션과 콘텐츠의 모션과 정합 오차를 줄이기 위해 엄지와 검지가 특정 거리만큼 가까워 졌을 때(엄지와 검지에 있는 콜리더가 맞닿았을 때) 두 손가락이 맞닿도록 구현할 수 있다.
다음으로, 제공 장치는 손가락의 관절별 관절 각도와 제3 센싱값을 이용하여 사용자의 손동작을 인식할 수 있다(S543). 예컨대, 제공 장치는 손가락의 관절별 관절 각도와 제3 센싱값을 캐릭터 모델에 적용하여 손동작을 구현할 수 있다. 다른 실시예로, 제공장치는 손가락의 관절별 관절 각도와 제3 센싱값을 프레젠테이션 제어 프로그램 같은 어플리케이션에 적용하여 손동작을 구현할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 모션 글러브
200: 사용자 단말
210: 통신부
220: 입력부
230: 제어부
240: 표시부
250: 저장부

Claims (12)

  1. 모션 글러브를 착용한 사용자의 손동작에 따른 가속도값을 나타내는 제1 센싱값, 상기 사용자의 손목 회전에 따른 값을 나타내는 제2 센싱값, 상기 사용자의 손가락 굽힘에 따른 값을 나타내는 제3 센싱값을 포함한 데이터 패킷을 수신하는 통신부;
    상기 제1 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 상기 판단된 결과로 상기 매크로 기능이 실행되는 경우 상기 제2 센싱값과 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식하여 상기 인식된 사용자의 손동작에 매칭되는 매크로 기능을 실행하는 제어부; 및
    상기 매크로 기능이 실행되는 화면을 표시하는 표시부를 포함하고,
    상기 제어부는,
    상기 제1 센싱값을 이용하여 상기 매크로 기능 실행 여부를 판단하기 위한 임계값을 산출하고,
    상기 산출된 임계값이 미리 정해진 임계범위 이내이면, 타이머를 구동시켜 유지 시간을 측정하고,
    상기 측정된 유지 시간이 미리 정해진 임계 시간 이상이면, 상기 사용자의 손동작에 의해 매크로 기능이 실행되는 것으로 판단하고,
    상기 측정된 유지 시간이 상기 임계 시간 미만이면, 상기 매크로 기능이 실행되지 않는 것으로 판단하고,
    상기 임계값은,
    수학식
    Figure 112020097195940-pat00018
    에 의해 산출되고, ax, ay, az는 각각 3축 가속도 센서의 의해 측정된 x축, y축, z축의 값을 의미하는, 매크로 기능을 제공하기 위한 장치.
  2. 제1항에 있어서,
    상기 제1 센싱값은 상기 모션 글러브의 손가락에 각각 배치되되 각 손가락 길이에 대응하여 형성된 플렉서블 센서를 통해 측정되고,
    상기 제2 센싱값과 상기 제3 센싱값은 상기 모션 글러브의 손등 부위에 형성된 모션 센서를 통해 측정되는, 매크로 기능을 제공하기 위한 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 제2 센싱값을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출하고,
    상기 산출된 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락 관절별 관절 각도를 산출하고,
    상기 산출된 손가락의 관절별 관절 각도와 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식하는, 매크로 기능을 제공하기 위한 장치.
  7. 통신부가 모션 글러브를 착용한 사용자의 손동작에 따른 가속도값을 나타내는 제1 센싱값, 상기 사용자의 손목 회전에 따른 값을 나타내는 제2 센싱값, 상기 사용자의 손가락 굽힘에 따른 값을 나타내는 제3 센싱값을 포함한 데이터 패킷을 수신하는 단계;
    제어부가 상기 제1 센싱값을 이용하여 매크로 기능 실행 여부를 판단하고, 상기 판단된 결과로 상기 매크로 기능이 실행되는 경우 상기 제2 센싱값과 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식하여 상기 인식된 사용자의 손동작에 매칭되는 매크로 기능을 실행하는 단계; 및
    표시부가 상기 매크로 기능이 실행되는 화면을 표시하는 단계를 포함하고,
    상기 실행하는 단계에서는,
    상기 제어부가 상기 제1 센싱값을 이용하여 상기 매크로 기능 실행 여부를 판단하기 위한 임계값을 산출하고,
    상기 산출된 임계값이 미리 정해진 임계범위 이내이면, 타이머를 구동시켜 유지 시간을 측정하고,
    상기 측정된 유지 시간이 미리 정해진 임계 시간 이상이면, 상기 사용자의 손동작에 의해 매크로 기능이 실행되는 것으로 판단하고,
    상기 측정된 유지 시간이 상기 임계 시간 미만이면, 상기 매크로 기능이 실행되지 않는 것으로 판단하고,
    상기 임계값은,
    수학식
    Figure 112020097195940-pat00019
    에 의해 산출되고, ax, ay, az는 각각 3축 가속도 센서의 의해 측정된 x축, y축, z축의 값을 의미하는, 매크로 기능을 제공하기 위한 방법.
  8. 제7항에 있어서,
    상기 제1 센싱값은 상기 모션 글러브의 손가락에 각각 배치되되 각 손가락 길이에 대응하여 형성된 플렉서블 센서를 통해 측정되고,
    상기 제2 센싱값과 상기 제3 센싱값은 상기 모션 글러브의 손등 부위에 형성된 모션 센서를 통해 측정되는, 매크로 기능을 제공하기 위한 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 실행하는 단계에서는,
    상기 제어부가 상기 제2 센싱값을 이용하여 손가락 끝단 각도에 대응하는 포인트값을 산출하고,
    상기 산출된 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락 관절별 관절 각도를 산출하고,
    상기 산출된 손가락의 관절별 관절 각도와 상기 제3 센싱값을 이용하여 상기 사용자의 손동작을 인식하는, 매크로 기능을 제공하기 위한 방법.
KR1020190034357A 2018-05-16 2019-03-26 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법 KR102214322B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180056213 2018-05-16
KR1020180056213 2018-05-16

Publications (2)

Publication Number Publication Date
KR20190131417A KR20190131417A (ko) 2019-11-26
KR102214322B1 true KR102214322B1 (ko) 2021-02-09

Family

ID=68731481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190034357A KR102214322B1 (ko) 2018-05-16 2019-03-26 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102214322B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102549168B1 (ko) * 2021-05-25 2023-06-30 주식회사 아이팝 휨 센서를 이용한 손동작 인식 장치 및 그 방법
KR102612512B1 (ko) * 2023-07-07 2023-12-11 주식회사 위시 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499391B1 (ko) * 2001-03-08 2005-07-07 은탁 손가락의 움직임에 의한 입력장치 및 그 방법
KR101341481B1 (ko) * 2008-12-05 2013-12-13 한국전자통신연구원 동작인식 기반의 로봇 제어 시스템 및 방법
KR101781999B1 (ko) 2011-07-27 2017-09-26 삼성전자주식회사 전도성 소재를 이용한 손가락 동작 인식 장갑 및 그 방법
KR101385601B1 (ko) 2012-09-17 2014-04-21 한국과학기술연구원 손동작 인식 및 인터렉션을 위한 장갑장치 및 방법
KR102081966B1 (ko) * 2014-10-31 2020-02-26 에스케이텔레콤 주식회사 상황 인지 기반의 동작 인식 장치 및 이를 위한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스

Also Published As

Publication number Publication date
KR20190131417A (ko) 2019-11-26

Similar Documents

Publication Publication Date Title
US10446059B2 (en) Hand motion interpretation and communication apparatus
US10905374B2 (en) Method and wearable device for performing actions using body sensor array
TWI457793B (zh) 即時動作辨識方法及其慣性感測與軌跡重建裝置
US7565295B1 (en) Method and apparatus for translating hand gestures
US20100023314A1 (en) ASL Glove with 3-Axis Accelerometers
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
CN105824431B (zh) 信息输入装置与方法
US20080036737A1 (en) Arm Skeleton for Capturing Arm Position and Movement
CN106572816B (zh) 步行解析系统和记录有步行解析程序的记录介质
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN1996205B (zh) 动态动作捕捉与周边装置互动的方法与系统
TWI567592B (zh) 手勢辨識方法及穿戴式裝置
KR101983584B1 (ko) 플렉서블 센서를 이용한 손동작 인식 장치 및 그 방법
US20210089116A1 (en) Orientation Determination based on Both Images and Inertial Measurement Units
KR102214322B1 (ko) 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
CN112791382A (zh) Vr场景的控制方法、装置、设备及存储介质
CN101655743B (zh) 即时动作辨识方法及其惯性感测与轨迹重建装置
JP6170973B2 (ja) 携帯情報端末、情報処理方法、及び、プログラム
WO2021207033A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
JP2016095795A (ja) 認識装置、方法、及びプログラム
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
KR101768629B1 (ko) 젓가락형 포인팅 장치 및 포인팅 시스템
Anavekar et al. The Techniques of Human-Machine Communication through Expressive Gestures.

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190326

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200910

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201117

PN2301 Change of applicant

Patent event date: 20201119

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240205

Start annual number: 4

End annual number: 4