KR101596600B1 - 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법 - Google Patents

사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101596600B1
KR101596600B1 KR1020140168494A KR20140168494A KR101596600B1 KR 101596600 B1 KR101596600 B1 KR 101596600B1 KR 1020140168494 A KR1020140168494 A KR 1020140168494A KR 20140168494 A KR20140168494 A KR 20140168494A KR 101596600 B1 KR101596600 B1 KR 101596600B1
Authority
KR
South Korea
Prior art keywords
hand
value
recognized
probability
sensor
Prior art date
Application number
KR1020140168494A
Other languages
English (en)
Inventor
성연식
김필영
김지원
손준혁
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020140168494A priority Critical patent/KR101596600B1/ko
Priority to PCT/KR2015/011022 priority patent/WO2016085122A1/ko
Application granted granted Critical
Publication of KR101596600B1 publication Critical patent/KR101596600B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법에 대한 것이다.
사용자 패턴 기반의 손동작 인식 보정 장치를 이용한 손동작 인식 보정 방법에 있어서, 다양한 손동작들의 수치 값과 이에 대한 확률 값들을 저장하는 단계, 상기 센서를 통해 센싱된 데이터를 이용하여 사용자의 적어도 하나의 손동작을 인식하는 단계, 상기 센서를 통해 인식된 손동작을 수치 값으로 변환하는 단계, 상기 수치 값에 대한 확률 값을 제1 기준 값과 비교하여, 상기 제1 기준 값보다 작으면 상기 센서를 통해 인식된 손동작을 오류로 판단하는 단계, 그리고 상기 판단 결과 오류로 판단되면, 상기 저장된 동작패턴들 중에서 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 단계를 포함한다.
본 발명에 따르면, 손동작 인식 보정 장치는 사용자의 동작 패턴을 기반으로 센서를 통해 인식되는 동작에 대해 오류 여부를 판단하고, 기존의 동작 패턴 중에 확률 값이 높은 동작으로 인식하여, 동작 오류율을 낮추고 사용자가 원하는 동작을 수행하도록 한다.

Description

사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법{Apparatus for motion recognition and correction based on user pattern and Method thereof}
본 발명은 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 센서를 통해 손동작을 인식할 때 생기는 오류를 판단하고 보정하여 손동작의 인식률을 높일 수 있는 동작 인식 보정 장치 및 그 방법에 관한 것이다.
종래에는 전자 기기에 구비된 키보드, 리모컨, 마우스 또는 키패드 등을 통해 인간-기계 인터페이스가 이루어지는 것이 일반적이었으나, 정보통신기기의 기능이 발달함에 따라 터치 센서를 이용해 터치 패널에 손가락이나 펜을 접촉시켜 사용하는 터치 기반 시스템이 활용되고 있다. 하지만 이는 손에 장갑이나 물 또는 먼지가 묻어 있을 경우 터치가 제대로 이루어 지지 않는 문제점을 가지고 있어, 최근에는 사용자의 편의성을 극대화하기 위해 사용자의 미세한 동작만으로도 기기를 조절할 수 있는 편의 기능들이 개발되고 있다.
특히 사용자의 손동작과 몸짓 등 사용자의 직관적인 움직임을 통해서 사용자가 컴퓨터와 자연스럽게 상호작용할 수 있도록 해주는 동작 기반 인터페이스가 주목받고 있다. 3차원 동작뿐 아니라 다양한 표현이 가능하고 사용하기 편리하여, 게임/엔터테인먼트 분야, 의료/특수치료 분야, 교육 분야 등 적용분야가 다양하다.
하지만 동작 기반 인터페이스는 고가이고 손동작 인식이 매끄럽지 않다는 문제점을 가지고 있다. 최근에는 손동작 인식 장치의 제품 가격을 낮추기 위해 센서 개수를 최소화하는 경향이 있으며 이로 인해 손동작의 인식률이 낮아지고 오류 발생률이 높아지고 있다. 특히 기기 내의 센서가 아래에만 위치하고 있어 다른 손이나 손가락에 의해서 가려지는 부분은 인식 오류 발생률이 높기 때문에 사용자가 원하는 동작을 하기 어렵고 사용하기 불편한 문제점들이 발생하고 있다.
본 발명의 배경이 되는 기술은 대한민국 국내공개특허 제 10-2014-0089858호(2014.07.16 공개)에 개시되어 있다.
본 발명이 이루고자 하는 과제는 센서를 통해 손동작을 인식할 때 생기는 오류를 판단하고 보정하여 손동작의 인식률을 높일 수 있는 동작 인식 보정 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 사용자 패턴 기반의 손동작 인식 보정 장치에 있어서, 다양한 손동작들의 수치 값과 이에 대한 확률 값들을 저장하는 동작패턴 저장부, 상기 센서를 통해 센싱된 데이터를 이용하여 사용자의 적어도 하나의 손동작을 인식하는 동작 인식부, 상기 센서를 통해 인식된 손동작을 수치 값으로 변환하는 수치 변환부, 상기 수치 값에 대한 확률 값을 제1 기준 값과 비교하여, 상기 제1 기준 값보다 작으면 상기 센서를 통해 인식된 손동작을 오류로 판단하는 오류 판단부, 그리고 상기 판단 결과 오류로 판단되면, 상기 저장된 동작패턴들 중에서 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 동작 보정부를 포함한다.
상기 동작 패턴 저장부는, 연속적으로 이어지는 상기 손동작들의 수치 값에 대하여 다음의 수학식과 같이 베이지안 알고리즘을 적용하여 연산된 확률 값을 저장할 수 있다.
Figure 112014115881991-pat00001
Figure 112014115881991-pat00002
은 인식된 한쪽 손의 베이지안 확률을 나타내며
Figure 112014115881991-pat00003
값은 t-1 시간에서 인식된 손의 수치 값이고,
Figure 112014115881991-pat00004
값은 t-2 시간에서 인식된 손의 수치 값을 나타낸다.
상기 수치 변환부는, 상기 인식된 손의 손바닥 방향, 손가락 모양, 왼손 또는 오른손 여부 및 꺾임 정도 중에서 적어도 하나를 수치화하여 저장할 수 있다.
상기 수치 변환부는, 상기 인식된 손동작의 수치 값을 손바닥의 방향 값(
Figure 112014115881991-pat00005
)에 대하여 다음 식과 같이 구할 수 있다.
Figure 112014115881991-pat00006
여기에서,
Figure 112014115881991-pat00007
은 시간 t에서 인식된 손의 수치 값을 나타내며,
Figure 112014115881991-pat00008
는 보다 작거나 같으면서 가장 큰 정수로 나타내는 바닥함수이며, y는 확률을 높이기 위해서 사용되는 변수이다.
상기 수치 값에 대한 확률 값이 상기 제1 기준 값보다 크거나 같으면 상기 센서를 통해 인식된 손동작을 상기 사용자의 손동작으로 결정할 수 있다.
상기 동작 보정부는, 상기 기 저장된 동작패턴들 중에서 가장 높은 확률 값이 제2 기준 값 보다 높으면 상기 센서에 의해 인식된 손동작을 상기 가장 높은 확률 값을 가지는 손동작으로 변환하여 인식하고, 상기 가장 높은 확률 값이 상기 제2 기준 값 이하이면, 상기 센서를 통하여 인식된 손동작으로 인식할 수 있다.
상기 동작 보정부는, 상기 인식된 손동작에 대응하는 제어신호를 생성하여 페어링된 전자 기기로 전달할 수 있다.
사용자 패턴 기반의 손동작 인식 보정 장치를 이용한 손동작 인식 보정 방법에 있어서, 다양한 손동작들의 수치 값과 이에 대한 확률 값들을 저장하는 단계, 상기 센서를 통해 센싱된 데이터를 이용하여 사용자의 적어도 하나의 손동작을 인식하는 단계, 상기 센서를 통해 인식된 손동작을 수치 값으로 변환하는 단계, 상기 수치 값에 대한 확률 값을 제1 기준 값과 비교하여, 상기 제1 기준 값보다 작으면 상기 센서를 통해 손동작을 오류로 판단하는 단계, 그리고 상기 판단 결과 오류로 판단되면, 상기 저장된 동작패턴들 중에서 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 단계를 포함한다.
본 발명에 따르면, 손동작 인식 보정 장치는 사용자의 동작패턴을 기반으로 센서를 통해 인식되는 동작에 대해 오류 여부를 판단하고, 기존의 동작패턴 중에 확률 값이 높은 동작으로 인식하여, 동작 오류율을 낮추고 사용자가 원하는 동작을 수행하도록 한다.
도 1은 본 발명의 실시예에 따른 동작 인식 보정 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 동작 인식 보정 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 동작 보정 방법을 나타내는 순서도이다.
도 4는 본 발명의 실시예에 따른 인식되는 연속되는 손동작을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1 은 본 발명의 실시예에 따른 동작 인식 보정 장치를 설명하기 위한 구성도이다.
도 1 에 나타낸 것처럼, 본 발명의 실시예에 따른 동작 인식 보정 장치(200)는 동작 인식 센서(100) 및 전자 기기(300)와 서로 연결되어 구현될 수 있다.
동작 인식 센서(100)는 측정 대상의 움직임과 위치를 인식하는 것으로 이를 인식 하기 위해서는 지자기, 가속도, 자이로 센서 등을 이용할 수 있다. 가속도 센서, 자이로 센서, 구부림 센서를 이용한 장갑을 착용하여 동작을 인식할 수도 있고, 카메라 시스템과 적외선 반사체, 손목 또는 신체에 센서를 착용, 센서가 장착된 밴드를 착용하여 동작을 인식할 수도 있다.
또한, 추가적인 하드웨어 없이 소프트웨어만으로 구동이 가능하도록 전자 기기에 탑재된 기존 카메라를 이용하여 동작을 인식하거나 2개 이상의 카메라를 설치하고 각각의 카메라에서 바라보는 영상의 차이를 이용하여 거리를 측정하고, 동작을 인식할 수 있다. 이 외에도 키넥트 구조를 이용하거나 ToF(Time of Flight)방식, Point Cloud, Body Gesture 등으로 동작을 인식할 수 있으나, 이에 한정되는 것은 아니다.
동작 인식 보정 장치(200)는 USB 메모리처럼 제작하여 동작 인식 센서와 전자 기기 사이에 장착하여 사용할 수 있으며, 전자 기기와 분리할 수 있어 소프트웨어와는 달리 따로 설치할 필요가 없고 다양하게 사용할 수 있다.
동작 인식 보정 장치(200)는 동작 인식 센서(100)로부터 센싱된 정보를 이용하여 사용자의 손동작을 인식하고, 베이지안 확률에 기반하여 인식된 손동작의 인식 오류를 판단한다. 인식 오류로 판단하면 인식된 손동작을 보정하고, 보정된 손동작 또는 정확히 인식된 손동작에 대응되는 제어 신호를 페어링된 전자 기기(300)로 전달하여, 전자 기기(300)의 동작을 제어한다.
전자 기기(300)는 동작 인식 센서(100)를 통해 감지된 동작에 따라 제어되는 기기로 디지털 TV, 셋탑박스, 핸드폰(cellular phone), 타블릿, PC 모니터등과 같이 인간-기계 인터페이스가 가능할 수 있는 기기라면 한정되지 않고 적용 가능하다. 또한 전자 기기(300)는 감지된 동작에 따라서 동작 인식 보정 장치(200)로부터 제어 신호를 수신하고, 해당 제어 신호에 따른 기능을 수행할 수 있다.
도 2는 본 발명의 실시예에 따른 동작 인식 보정 장치의 구성도이다.
본 발명의 실시예에 따른 동작 인식 보정 장치(200)는 동작패턴 저장부(210), 동작 인식부(220), 수치 변환부(230), 오류 판단부(240), 동작 보정부(250)를 포함한다.
먼저, 동작패턴 저장부(210)는 사용자의 다양한 동작패턴들에 대한 수치 값과 이에 따른 베이지안 확률 값을 저장한다. 사용자마다 사용하는 동작패턴의 빈도수와 종류 등 사용 환경에 따라 조건들이 다르기 때문에, 동작패턴 저장부(210)는 각각의 사용자에게 맞는 동작패턴에 대한 데이터(수치 값과 베이지안 확률 값)들을 학습하여 저장할 수 있다.
즉, 사용자의 다양한 손동작 패턴을 반복적으로 저장하고, 저장된 패턴들을 베이지안 알고리즘에 적용함으로써, 동작패턴 저장부(210)는 하나의 손동작뿐만 아니라 연속적인 손동작에 대해서도 학습을 통하여 확률 값을 저장할 수 있다.
즉, 동작패턴 저장부(210)에는 다음의 수학식 1과 같이 베이지안 알고리즘을 통해 연산된 확률이 저장된다.
Figure 112014115881991-pat00009
Figure 112014115881991-pat00010
은 인식된 한쪽 손의 베이지안 확률을 나타내며
Figure 112014115881991-pat00011
값은 t-1 시간에서 인식된 손의 수치 값이고,
Figure 112014115881991-pat00012
값은 t-2 시간에서 인식된 손의 수치 값을 나타낸다.
더욱 구체적으로 설명하자면, 후술할 도 4에서와 같이
Figure 112014115881991-pat00013
는 제1 동작,
Figure 112014115881991-pat00014
는 제2 동작에 해당한다.
동작 인식부(220)는 동작 인식 센서(100)로부터 센싱된 데이터를 입력받아 사용자의 손동작을 인식한다. 예를 들어, 손가락을 2개를 피거나, 주먹을 쥐거나 하는 다양한 손동작을 센싱된 데이터를 통하여 인식한다. 또한, 동작 인식부(220)는 연속적으로 변화하는 손동작에 대해서도 인식할 수 있다.
수치 변환부(230)는 동작 인식부(220)에 의해 인식된 적어도 하나 이상의 손동작을 수치 값으로 변환한다. 손동작의 수치 값에 대한 변환은 동작을 인식하는 센서와 이를 이용하는 전자기기에 맞춰 다양한 방식으로 설정될 수 있다. 예를 들어, 손의 방향, 손바닥의 방향, 위치, 손가락의 방향, 손가락 관절의 꺾임 정도, 손가락이 가리키는 위치 등등에 대하여, 실제 사용되는 동작 인식 센서가 받아들이는 정보에 맞춰서 수치 값을 변환한다.
오류 판단부(240)는 수치 변환부(230)에서 변환한 수치 값에 대한 확률 값을 동작패턴 저장부(210)로부터 획득하고, 수치 값에 대한 확률 값이 제1 기준 값보다 작은 경우, 동작 인식부(220)로부터 인식된 손동작이 오류인 것으로 판단한다.
동작 보정부(250)는 오류 판단부(240)에서 오류로 판단하면, 동작패턴 저장부(210)에 저장된 동작패턴들 중 가장 높은 확률 값을 검색하고, 가장 높은 확률 값이 제2 기준 값 보다 클 경우, 가장 높은 확률 값의 손동작으로 보정하여 인식한다. 그리고 동작 보정부(250)는 보정되거나, 최초의 손동작으로 인식된 손동작에 대응하는 제어 신호를 전자 기기(300)로 전달한다.
이하에서는 도 3 및 도 4를 통하여 본 발명의 실시예에 따른 사용자 패턴 기반의 손동작 인식 보정 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 동작 보정 방법을 나타내는 순서도이며, 도 4는 본 발명의 실시예에 따른 인식되는 연속되는 손동작을 설명하기 위한 예시도이다.
이하에서는 설명의 편의상, 도 4와 같이 제1 동작과 제2 동작이 이미 이루어진 상태에서 사용자에 의해 제3 동작이 수행된 경우, 인식된 제3 동작에 대하여 오류 여부를 판단하고, 오류로 판단된 경우 보정하여 인식하는 과정에 대하여 예시적으로 설명하도록 한다.
또한, 제1 동작과 제2 동작이 이루어진 후, 도 4와 같이 3개의 제3 동작이 이루어질 확률이 학습 및 베이지안 확률을 통하여 미리 결정되어 동작패턴 저장부(210)에 저장되어 있는 것으로 가정한다.
즉, 주먹을 쥔 제1 동작, 검지만을 펴서 가리키는 제2 동작 후에 연이은 제3 동작을 하였을 때, 제3 동작이 손바닥을 하늘을 향해 펴는 동작(3-1 동작)일 경우 확률이 50%, 검지와 중지만을 펴는 동작(3-2 동작)일 경우 확률이 30%, 주먹을 쥐는 동작(3-3 동작)일 경우의 확률이 20%인 것으로 가정한다.
먼저, 동작 인식 보정 장치(200)는 동작 인식 센서(100)를 통해 전달된 데이터를 통하여 제3 손동작을 인식한다(S310). 즉, 동작 인식부(220)는 동작 인식 센서에서 인식한 센싱 정보를 이용하여 제3 손동작이 어느 동작에 해당하는지 인식한다.
설명의 편의상, 동작 인식부(220)는 사용자가 제3 동작을 주먹을 쥐는 동작(3-3 동작)으로 인식한 것으로 가정한다.
그리고, 동작 인식 보정 장치(200)는 인식된 손동작에 대해서 수치 값으로 변환한다(S320).
이때, 수치 값은 손바닥의 방향, 손가락 모양, 왼손 또는 오른손 여부 및 꺾임 정도 중에서 적어도 하나를 수치화하게 된다. 예를 들어, 손바닥 방향과 관련하여 0은 바닥을 가리키고, 1은 상측 방향을 가리키며, '-'왼쪽 방향, 그리고 '+'오른쪽 방향을 가리킨다. 그리고 왼손 또는 오른손의 손가락은 1 내지 5로 나타낼 수 있다.
이와 같이 손바닥의 방향, 손가락 모양, 왼손 또는 오른손 여부 및 꺾임 정도등을 나타내는 숫자 또는 부호를 조합하여 손동작의 형태를 수치화하여 변환시킬 수 있다.
특히, 손바닥의 방향 값(
Figure 112014115881991-pat00015
)과 관련된 수치값에 대하여 다음 수학식 2와 같이 구할 수 있다.
Figure 112014115881991-pat00016
여기에서, 은 시간 t에서 인식된 손의 수치 값을 나타내며,
Figure 112014115881991-pat00017
는 보다 작거나 같으면서 가장 큰 정수로 나타내는 바닥함수이며, y는 확률을 높이기 위해서 이용하는 변수이다. 손의 방향은
Figure 112014115881991-pat00018
표현되기 때문에, 동일한 값을 가지는 다른 방향의 확률이 작은 값으로 표현된다. 그래서 확률을 높이기 위해서 사전에 정의한 변수 y씩 나누고 곱해준다.
예를 들면 ht가
Figure 112014115881991-pat00019
로 측정될 때, y가 3이라면,
Figure 112014115881991-pat00020
는 0,0,3,3,3,6,6,6,9,9으로 변환한다. 1과 2은 같은 그룹으로, 3,4,5도 같은 그룹으로 묶을 수 있기 때문에 같은 숫자가 나올 확률이 높아지게 될 수 있다. 즉, y는
Figure 112014115881991-pat00021
의 값을 일정한 단위로 묶어 주는 역할도 한다.
이와 같이, 베이지안 확률을 통하여 인식된 제3 동작의 수치 값을 연산하면, 동작 인식 보정 장치(200)는 수치 값의 확률 값이 제1 기준 값보다 작은 값인지 비교한다(S330).
여기서 제1 기준 값이란, 하한 임계치로 사용자가 요구하는 인식 정확성에 따라 설계 변경이 가능한 변수이다.
만일, 인식된 제3 동작의 확률 값이 제1 기준 값보다 크거나 같은 경우에는 동작 인식 보정 장치(200)는 동작 인식 센서(100)에 의해 인식된 제3 동작을 정확하게 인식된 손동작으로 판단하여, 별다른 보정없이 제3 동작으로 결정한다(S340).
예를 들어, 제1 기준 값이 10%일 경우에는 인식된 3-3 동작(주먹을 쥐는 동작)의 확률 값(20%로 예시함)이 제1 기준 값보다 크기 때문에 오류 판단부(240)는 동작 인식부(220)에 의해 인식된 손동작(3-3 동작)을 제3 동작으로 결정한다.
한편, 인식된 제3 동작의 확률 값이 제1 기준 값보다 작은 경우에는 동작 인식 보정 장치(200)는 인식된 제3 동작이 잘못 인식된 것으로 판단한다.
즉, 본 발명의 실시예에 따르면, 동작 인식 센서(100)에 의해 제3 동작을 인식하였다고 하더라도 베이지안 확률을 근거로 할 때 발생 확률이 제1 기준 값보다 낮을 정도로 작다고 판단되면, 손동작 인식 과정에서 오류가 발생한 것으로 판단한다.
예를 들어, 제1 기준 값이 25%일 경우에는 인식된 제3 동작(3-3 동작)은 베이지안 확률(20%)은 제1 기준 값보다 작기 때문에 동작 인식 보정 장치(200)는 인식된 제3 동작(3-3 동작)에 대하여 인식 오류로 판단한다.
S340 단계에서 인식 오류로 판단하면, 동작 인식 보정 장치(200)는 제1 동작, 제2 동작 후 연이어 제3 동작에 대한 기 저장된 동작 패턴들 중에서 가장 높은 확률 값을 가지는 손동작을 검색한 후, 가장 높은 확률 값이 제2 기준 값보다 큰 값인지를 비교한다(S350).
여기서, 제2 기준 값은 상한 임계치로 제1 기준 값과 마찬가지로 사용자가 요구하는 인식 정확성에 따라 설계 변경이 가능한 변수이다. 또한, 제2 기준 값은 제1 기준 값보다 높은 값임은 당연하다.
만일, 가장 높은 확률 값을 가지는 손동작의 확률 값이 제2 기준 값보다 작은 경우에는 동작 인식 보정 장치(200)는 S350 단계와 같이 동작 인식 센서(100)에 의해 최초로 인식된 손동작(3-3 동작)을 S310 단계에서 제3 동작으로 결정한다.
즉, 본 발명의 실시예에 따르면, 가장 높은 확률 값을 가지는 손동작의 확률 값이 제2 기준 값보다 같거나 작은 경우에는, 가장 높은 확률 값을 가지는 손동작으로 인식할 신뢰성이 낮다고 판단하고, 다시 최초로 동작 인식 센서(100)에 의해 인식된 동작을 제3 동작으로 결정한다.
앞선 예를 통해 더 구체적으로 설명하면, 만약 제2 기준 값이 60%일 경우, 가장 높은 확률 값을 가지는 3-1 동작의 확률이 50%로서 제2 기준 값보다 작기 때문에, 동작 인식 보정 장치(200)는 동작 인식 센서(100)에 의해 인지된 손동작(3-3 동작)을 S350과 같이 다시 제3 동작으로 결정한다.
한편, 가장 높은 확률 값을 가지는 손동작의 확률 값이 제2 기준 값보다 큰 경우에는 동작 인식 보정 장치(200)는 가장 높은 확률 값을 가지는 손동작을 제3 동작으로 인식한다(S360).
즉, 본 발명의 실시예에 따르면, 가장 높은 확률 값을 가지는 손동작의 확률 값이 제2 기준 값보다 큰 경우에는, 가장 높은 확률 값을 가지는 손동작을 제3 동작으로 인식할 신뢰성이 높다고 판단하고, 가장 높은 확률 값을 가지는 손동작을 제3 동작으로 결정한다.
예를 들어, 제2 기준 값이 45%일 경우, 가장 높은 확률 값을 가지는 3-1 동작의 확률이 50%로서 제2 기준 값보다 크기 때문에, 동작 인식 보정 장치(200)는 동작 인식 센서(100)에 의해 인지된 손동작(3-3 동작)으로 인식하지 않고 3-1 동작을 제3 동작으로 결정한다.
이와 같이, 본 발명의 실시예에 따르면 동작 인식 보정 장치(200)는 동작 인식 센서(100)에 의해 인식된 손동작에 대하여 제1 기준 값과 제2 기준 값을 통해 실질적으로 인식 결과를 보정할 지를 결정하게 된다.
즉, 손동작을 보다 간결하고 정확하게 하기 원한다면 제1 기준 값은 높게, 제2 기준 값은 낮게 지정할 것이고, 다양한 손동작으로 나타내고 싶다면 그 반대로 지정하게 될 것이므로 이는 사용자의 사용 환경이나, 편리에 따라 달리 조정할 수 있다.
다음으로, 동작 인식 보정 장치(200)는 최종적으로 인식된 동작에 대응하는 제어 신호를 생성하여 전자 기기(300)로 전달한다. 즉, 동작 인식 센서(100)에 의해 최초로 인식된 동작 또는 가장 높은 확률 값을 가지는 손동작으로 보정된 동작에 대응하는 제어 신호를 동작 인식 보정 장치(200)는 전자 기기(300)로 전달한다.
상기의 예에서, 제1 동작-제2 동작-최종적으로 인식된 제3 동작의 조합에 대응하는 제어 신호를 전자 기기(300)로 전달한다.
이와 같이 본 발명의 실시예에 따르면, 손동작 인식 보정 장치는 사용자의 동작 패턴을 기반으로 센서를 통해 인식되는 동작에 대해 오류 여부를 판단하고, 기존의 동작 패턴 중에 확률 값이 높은 동작으로 인식하여, 동작 오류율을 낮추고 사용자가 원하는 동작을 수행하도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 동작 인식 센서 200: 동작 인식 보정 장치
300: 전자 기기 210: 동작패턴 저장부
220: 동작 인식부 230: 수치 변환부
240: 오류 판단부 250: 동작 보정부

Claims (14)

  1. 사용자 패턴 기반의 손동작 인식 보정 장치에 있어서,
    다양한 손동작들의 수치 값과 이에 대한 확률 값들을 저장하는 동작패턴 저장부;
    센서를 통해 센싱된 데이터를 이용하여 사용자의 적어도 하나의 손동작을 인식하는 동작 인식부,
    상기 센서를 통해 인식된 손동작을 수치 값으로 변환하는 수치 변환부;
    상기 수치 값에 대한 확률 값을 제1 기준 값과 비교하여, 상기 제1 기준 값보다 작으면 상기 센서를 통해 인식된 손동작을 오류로 판단하는 오류 판단부; 및
    상기 판단 결과 오류로 판단되면, 상기 저장된 동작패턴들 중에서 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 동작 보정부를 포함하고,
    상기 수치 변환부는,
    상기 인식된 손동작의 수치 값을 손바닥의 방향 값(
    Figure 112016010065171-pat00044
    )에 대하여 다음 식과 같이 구하는 손동작 인식 보정 장치:
    Figure 112016010065171-pat00045

    여기에서,
    Figure 112016010065171-pat00046
    은 시간 t에서 인식된 손의 수치 값을 나타내며,
    Figure 112016010065171-pat00047
    는
    Figure 112016010065171-pat00048
    보다 작거나 같으면서 가장 큰 정수로 나타내는 바닥함수이며, y는 확률을 높이기 위해서 사용되는 변수이다.
  2. 제1항에 있어서,
    상기 동작 패턴 저장부는,
    연속적으로 이어지는 상기 손동작들의 수치 값에 대하여 다음의 수학식과 같이 베이지안 알고리즘을 적용하여 연산된 확률 값을 저장하는 손동작 인식 보정 장치:
    Figure 112014115881991-pat00022

    Figure 112014115881991-pat00023
    은 인식된 한쪽 손의 베이지안 확률을 나타내며
    Figure 112014115881991-pat00024
    값은 t-1 시간에서 인식된 손의 수치 값이고,
    Figure 112014115881991-pat00025
    값은 t-2 시간에서 인식된 손의 수치 값을 나타낸다.
  3. 제2항에 있어서,
    상기 수치 변환부는,
    상기 인식된 손동작의 손바닥 방향, 손가락 모양, 왼손 또는 오른손 여부 및 꺾임 정도 중에서 적어도 하나를 수치화하여 저장하는 손동작 인식 보정 장치.
  4. 삭제
  5. 제3항에 있어서,
    상기 오류 판단부는,
    상기 수치 값에 대한 확률 값이 상기 제1 기준 값보다 크거나 같으면 상기 센서를 통해 인식된 손동작을 상기 사용자의 손동작으로 결정하는 손동작 인식 보정 장치.
  6. 제5항에 있어서,
    상기 동작 보정부는,
    상기 기 저장된 동작패턴들 중에서 가장 높은 확률 값이 제2 기준 값 보다 높으면 상기 센서에 의해 인식된 손동작을 상기 가장 높은 확률 값을 가지는 손동작으로 변환하여 인식하고, 상기 가장 높은 확률 값이 상기 제2 기준 값 이하이면, 상기 센서를 통하여 인식된 손동작으로 인식하는 손동작 인식 보정 장치.
  7. 제6항에 있어서,
    상기 동작 보정부는,
    상기 인식된 손동작에 대응하는 제어신호를 생성하여 페어링된 전자 기기로 전달하는 손동작 인식 보정 장치.
  8. 사용자 패턴 기반의 손동작 인식 보정 장치를 이용한 손동작 인식 보정 방법에 있어서,
    다양한 손동작 패턴들의 수치 값과 이에 대한 확률 값들을 저장하는 단계;
    센서를 통해 센싱된 데이터를 이용하여 사용자의 적어도 하나의 손동작을 인식하는 단계,
    상기 센서를 통해 인식된 손동작을 수치 값으로 변환하는 단계;
    상기 수치 값에 대한 확률 값을 제1 기준 값과 비교하여, 상기 제1 기준 값보다 작으면 상기 센서를 통해 인식된 손동작을 오류로 판단하는 단계; 및
    상기 판단 결과 오류로 판단되면, 상기 저장된 손동작 패턴들 중에서 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 단계를 포함하고,
    상기 손동작을 수치 값으로 변환하는 단계 는,
    상기 인식된 손동작의 수치 값을 손바닥의 방향 값(
    Figure 112016010065171-pat00049
    )에 대하여 다음 식과 같이 구하는 손동작 인식 보정 방법:
    Figure 112016010065171-pat00050

    여기에서,
    Figure 112016010065171-pat00051
    은 시간 t에서 인식된 손의 수치 값을 나타내며,
    Figure 112016010065171-pat00052
    는
    Figure 112016010065171-pat00053
    보다 작거나 같으면서 가장 큰 정수로 나타내는 바닥함수이며, y는 확률을 높이기 위해서 사용되는 변수이다.
  9. 제8항에 있어서,
    상기 손동작들의 수치 값과 이에 대한 확률 값들을 저장하는 단계는,
    연속적으로 이어지는 상기 손동작들의 수치 값에 대하여 다음의 수학식과 같이 베이지안 알고리즘을 적용하여 연산된 확률 값을 저장하는 손동작 인식 보정 방법:
    Figure 112014115881991-pat00030

    Figure 112014115881991-pat00031
    은 인식된 한쪽 손의 베이지안 확률을 나타내며
    Figure 112014115881991-pat00032
    값은 t-1 시간에서 인식된 손의 수치 값이고,
    Figure 112014115881991-pat00033
    값은 t-2 시간에서 인식된 손의 수치 값을 나타낸다.
  10. 제9항에 있어서,
    상기 손동작을 수치 값으로 변환하는 단계는,
    상기 인식된 손동작의 손바닥 방향, 손가락 모양, 왼손 또는 오른손 여부 및 꺾임 정도 중에서 적어도 하나를 수치화하여 저장하는 손동작 인식 보정 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 인식된 손동작을 오류로 판단하는 단계는,
    상기 수치 값에 대한 확률 값이 상기 제1 기준 값보다 크거나 같으면 상기 센서를 통해 인식된 손동작을 상기 사용자의 손동작으로 결정하는 손동작 인식 보정 방법.
  13. 제12항에 있어서,
    상기 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 단계는,
    상기 저장된 손동작 패턴들 중에서 가장 높은 확률 값이 제2 기준 값 보다 높으면 상기 센서에 의해 인식된 손동작을 상기 가장 높은 확률 값을 가지는 손동작으로 변환하여 인식하고, 상기 가장 높은 확률 값이 상기 제2 기준 값 이하이면, 상기 센서를 통하여 인식된 손동작으로 인식하는 손동작 인식 보정 방법.
  14. 제13항에 있어서,
    상기 가장 높은 확률 값을 가지는 손동작으로 보정하여 인식하는 단계는,
    상기 인식된 손동작에 대응하는 제어신호를 생성하여 페어링된 전자 기기로 전달하는 손동작 인식 보정 방법.
KR1020140168494A 2014-11-28 2014-11-28 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법 KR101596600B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140168494A KR101596600B1 (ko) 2014-11-28 2014-11-28 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
PCT/KR2015/011022 WO2016085122A1 (ko) 2014-11-28 2015-10-19 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140168494A KR101596600B1 (ko) 2014-11-28 2014-11-28 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101596600B1 true KR101596600B1 (ko) 2016-02-23

Family

ID=55449332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140168494A KR101596600B1 (ko) 2014-11-28 2014-11-28 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101596600B1 (ko)
WO (1) WO2016085122A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069955A (ko) * 2018-12-07 2020-06-17 테크빌교육 주식회사 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법
KR102322968B1 (ko) * 2021-04-29 2021-11-09 주식회사 유토비즈 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018232557A1 (zh) * 2017-06-19 2018-12-27 深圳市酷浪云计算有限公司 运动动作的识别方法及装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041464A (ko) * 2008-10-14 2010-04-22 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
KR20130066812A (ko) * 2011-12-13 2013-06-21 (주) 미디어인터랙티브 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체
KR20130141657A (ko) * 2010-12-29 2013-12-26 톰슨 라이센싱 제스처 인식을 위한 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962569B1 (ko) * 2008-05-29 2010-06-11 고려대학교 산학협력단 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041464A (ko) * 2008-10-14 2010-04-22 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
KR20130141657A (ko) * 2010-12-29 2013-12-26 톰슨 라이센싱 제스처 인식을 위한 시스템 및 방법
KR20130066812A (ko) * 2011-12-13 2013-06-21 (주) 미디어인터랙티브 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069955A (ko) * 2018-12-07 2020-06-17 테크빌교육 주식회사 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법
KR102171459B1 (ko) * 2018-12-07 2020-10-29 테크빌교육 주식회사 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법
KR102322968B1 (ko) * 2021-04-29 2021-11-09 주식회사 유토비즈 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법

Also Published As

Publication number Publication date
WO2016085122A1 (ko) 2016-06-02

Similar Documents

Publication Publication Date Title
US11775076B2 (en) Motion detecting system having multiple sensors
US8965729B2 (en) Apparatus and method for recognizing motion
KR101576567B1 (ko) 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치
KR101234111B1 (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
CN105824431B (zh) 信息输入装置与方法
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
JP6524661B2 (ja) 入力支援方法、入力支援プログラムおよび入力支援装置
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
US10042438B2 (en) Systems and methods for text entry
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
US10120444B2 (en) Wearable device
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
US10067610B2 (en) Method and apparatus for recognizing touch gesture
JP6038893B2 (ja) マルチタッチポインティングデバイスにおける意図的及び偶発的接触の曖昧性除去
JP2004280834A (ja) 仮想筆記平面を用いたモーション認識システム及びその認識方法
JPWO2012011263A1 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US20190049558A1 (en) Hand Gesture Recognition System and Method
CN107272892B (zh) 一种虚拟触控系统、方法及装置
KR102159789B1 (ko) 전자 장치 및 이의 사용자 제스처 인식방법
KR101596600B1 (ko) 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
KR20140058006A (ko) 전자 펜 입력 시스템 및 그를 이용한 전자 펜 입력 방법
US20150035751A1 (en) Interface apparatus using motion recognition, and method for controlling same
CN106598422B (zh) 混合操控方法及操控系统和电子设备
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4