KR100718126B1 - 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치 - Google Patents

동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치 Download PDF

Info

Publication number
KR100718126B1
KR100718126B1 KR1020050030746A KR20050030746A KR100718126B1 KR 100718126 B1 KR100718126 B1 KR 100718126B1 KR 1020050030746 A KR1020050030746 A KR 1020050030746A KR 20050030746 A KR20050030746 A KR 20050030746A KR 100718126 B1 KR100718126 B1 KR 100718126B1
Authority
KR
South Korea
Prior art keywords
acceleration
input device
warning
signal
based input
Prior art date
Application number
KR1020050030746A
Other languages
English (en)
Other versions
KR20060089596A (ko
Inventor
양징
김동윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US11/342,968 priority Critical patent/US8250493B2/en
Priority to EP06250568.0A priority patent/EP1688826B1/en
Publication of KR20060089596A publication Critical patent/KR20060089596A/ko
Application granted granted Critical
Publication of KR100718126B1 publication Critical patent/KR100718126B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그 장치가 개시된다. 본 발명에 따른 동작 인식 기반 입력 장치의 사용자 인터페이스 방법은 동작 인식 기반 입력장치를 이용하여 허공에서 쓰기 동작이 수행되는 동안 동작 인식 기반 입력장치의 움직임에 대한 가속도를 측정하여 가속도 신호를 출력하는 단계; 및 쓰기 동작이 수행되는 시간구간 또는 가속도 신호로부터 동작 인식 기반 입력장치가 소정 동작 범위내에서 동작하는지를 판단하고, 그 동작 범위를 벗어났다면 경고하는 단계를 포함함을 특징으로한다.

Description

동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그 장치{User interface method and apparatus for gesture-recognition based input device}
도 1은 동작 인식 기반 입력 장치를 운용하는 모습을 개략적으로 도시한 것이다.
도 2(a) 내지 도 2(d)는 입력 장치를 통해 데이터를 수집하는 과정을 도시한 것이다.
도 3은 본 발명이 적용되는 동작 인식 기반 입력 장치에 대한 개략적인 내부 블록도를 도시한 것이다.
도 4는 본 발명에 따른 사용자 인터페이스 방법에 대한 흐름도이다.
도 5는 버튼이 손에서 일시적으로 떨어졌을 때를 설명하는 도면이다.
도 6은 실험결과에 따른 동작 시간 분포와 동작 수를 나타낸다.
도 7(a) 및 7(b)는 샘플링 구간에서 각각 신호의 분산 변화가 작아서 느리거나 작은 쓰기동작으로 판단된 경우와 유효한 동작으로 판단된 경우를 비교하여 도시한 것이다.
도 8(a) 및 8(b)는 샘플링 구간에서 각각 신호의 SNR이 작아서 느리거나 작은 쓰기동작으로 판단된 경우와 유효한 동작으로 판단된 경우를 비교하여 도시한 것이다.
도 9는 피치각에 대한 동작 수의 분포를 도시한 것이다.
도 10은 롤각에 대한 동작 수의 분포를 도시한 것이다.
도 11은 3차원 공간상에서 물체의 롤각과 피치각을 도시한 것이다.
본 발명은 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그 장치에 관한 것으로, 특히 동작 인식 기반 입력 장치가 올바른 동작범위내에서 동작하도록 사용자 인터페이스를 제공하는 방법 및 그 장치에 관한 것이다.
동작 인식 기반 입력 장치는 사용자의 쓰기 동작을 인식하여 사용자가 의도한 입력 내용, 예를 들어, 문자, 숫자 또는 제스쳐를 파악하는 것을 말한다. 기존의 스마트 기기들의 버튼, 키보드 등과 같은 입력 장치들은 사용자들로 하여금 이러한 입력 장치들의 기능 및 버튼 배열 등을 이해하고 있을 것을 요구하고, 사용자가 필요한 버튼을 찾기 위하여 시선을 고정해야하는 불편함이 존재한다. 반면, 동작 인식 기반의 입력 장치는 이러한 요구가 없으며, 버튼에 시선을 고정하지 않고 자유롭게 동작으로 입력할 수 있다는 점에서 편리하다.
그러나 동작 인식 기반의 입력 장치는 사용자의 쓰기 동작을 감지하는 센서의 감지범위의 제한 및 쓰기 동작중 장치의 자세 변화에 따른 중력 성분의 결합으로 인하여 그 동작범위가 제한될 수 밖에 없다. 또한 동작 인식을 위해 센서를 통해 감지되는 데이터의 질은 인식 결과에 많은 영향을 끼친다. 예를 들어, 센서가 감지하기 어려울 정도로 동작이 천천히 일어나는 경우 또는 감지된 신호에 손떨림 등에 의한 잡음이 강하게 포함되어있을 경우 인식률이 떨어질 수 있다.
따라서 동작 인식 기반 입력 장치를 운용하는 사용자의 쓰기동작이 소정 허용범위를 벗어난 경우 이를 사용자에게 알림으로써 사용자의 올바른 자세를 유도할 필요가 있다.
본 발명이 이루고자하는 기술적 과제는 동작 인식 기반 입력 장치에서 감지되는 신호를 분석하여 동작 인식 기반 입력 장치에 대한 동작이 허용범위를 벗어났는지의 여부를 파악하고, 만일 허용범위를 벗어났다면 올바른 동작 범위에서 동작하도록 경고하는 사용자 인터페이스 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 이루기위한, 본 발명의 사용자 인터페이스 방법은 동작 인식 기반 입력장치를 이용하여 허공에서 쓰기 동작이 수행되는 동안 상기 동작 인식 기반 입력장치의 움직임에 대한 가속도를 측정하여 가속도 신호를 출력하는 단계; 및 상기 쓰기 동작이 수행되는 시간구간 또는 상기 가속도 신호로부터 상기 동작 인식 기반 입력장치가 소정 동작 범위내에서 동작하는지를 판단하고, 상기 동작 범위를 벗어났다면 경고하는 단계를 포함함을 특징으로한다.
상기 기술적 과제를 이루기위한, 본 발명은 허공에서 수행된 쓰기 동작을 인식하여 데이터로 입력하는 동작 인식 기반 입력 장치의 사용자 인터페이스 장치에 있어서, 상기 쓰기 동작에 대한 가속도를 측정하고 가속도 신호를 출력하는 센서; 상기 쓰기 동작이 수행되는 시간구간 또는 상기 가속도 신호로부터 상기 동작 인식 기반 입력장치가 소정 동작 범위내에서 동작하는지를 판단하여 상기 동작 범위를 벗어났다면 경고신호를 출력하는 분석부; 및 상기 경고신호에 대응하는 경고 메시지를 출력하는 경고 출력부를 포함함을 특징으로한다.
이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로 한다.
도 1은 동작 인식 기반 입력 장치를 운용하는 모습을 개략적으로 도시한 것이다. 도시된 바에 따르면, 사용자는 동작 인식 기반 입력 장치(1)(이하 입력 장치라 약함)를 자신의 손(2)에 쥐고 버튼(1-1)을 누르면서 입력하고자하는 데이터(3)를 허공에서 쓴다. 입력 장치(1)는 내장된 센서(미도시)를 통해 사용자의 쓰기 동작을 감지한다. 본 실시예에서 센서는 3축 가속도 센서로서 입력장치(1)의 움직임에 대한 (x,y,z)방향의 가속도를 감지한다.
도 2(a) 내지 도 2(d)는 입력 장치를 통해 데이터를 수집하는 과정을 도시한 것이다. 도 2(a)는 버튼(1-1)이 눌려지는 구간을 나타낸다. 참조번호 20 및 21은 각각 버튼(1-1)을 누르기 시작한 시간과 버튼(1-1)에서 손을 뗀 시간을 나타낸다. 도 2(b)는 동작 감지를 위한 데이터 수집을 위한 샘플링 구간을 나타낸다. 샘플링 구간은 도 2(a)의 버튼이 눌려지는 구간과 동일하며, 실제 가속도 신호가 이 구간동안 측정된다.
도 2(c)는 측정된 가속도 신호중 실제 쓰기동작에 관련된 신호를 추출한 구간이다. 도시된 바에 따르면, 버튼(1-1)을 누른 후 동작을 시작하고 동작을 종료한 다음 버튼(1-1)에서 손을 떼기 때문에 샘플링 구간과 동작 구간 사이에 시간 차가 존재함을 알 수 있다. 도 2(d)는 3축 가속도 센서의 출력신호의 예를 도시한 것이다. 참조번호 22 및 23은 각각 쓰기 동작 시작 시각 및 동작 종료 시각이다.
도 3은 입력 장치에 대한 개략적인 내부 블록도를 도시한 것이다. 도시된 입력 장치는 센서(30), 분석부(31), 동작 인식부(32) 및 경고 출력부(33)를 포함한다. 사용자가 입력 장치의 버튼(1-1)을 누르면서 동작을 시작하면, 센서(30)는 가속도 신호를 검출한다. 분석부(31)는 가속도 신호를 분석하여 가속도 신호가 유효한지의 여부를 판단한다. 가속도 신호가 유효한 것으로 판단되면, 즉, 예를 들어 샘플링 구간안에 동작이 이루어지고 샘플링 구간동안 버튼(1-1)이 계속 눌려져 있는 것으로 판단되면, 동작 인식부(32)는 샘플링된 가속도 데이터를 이용하여 동작을 인식한다. 동작 인식의 과정을 간단하게 설명하면 다음과 같다. 먼저, 센서(30)를 통해 측정된 가속도 신호들로부터 특징벡터를 추출하고, 추출된 특징벡터와 다양한 동작에 대해 이미 저장되어있는 샘플 특징벡터들의 거리를 비교한다. 비교 결과, 거리가 가장 가까운 샘플 특징벡터에 해당하는 동작으로 현재의 동작을 인식한다. 또 다른 동작 인식 방법의 경우에는, 센서(30)를 통해 측정된 가속도 신호들로부터 특징벡터를 추출하고, 다양한 동작에 대하여 미리 학습된 동작 모델과 비교한다. 비교 결과, 가장 높은 확률값 또는 점수를 생성하는 동작 모델을 선택하고, 선택된 동작 모델에 해당하는 동작을 현재의 동작으로 인식한다. 동작 인식에 대한 자세한 설명은 본 발명의 범위를 벗어나므로 여기에서는 생략하기로 한다.
분석부(31)는 가속도 신호가 유효하지 않은 것으로 판단되면, 경고 출력부 (33)는 분석부(31)에서 출력되는 각 신호에 대응하는 경고 메시지를 출력한다. 경고 메시지는, 예를 들어, "입력장치를 수평으로하여 재입력 하십시오." 또는 "입력시간이 늦었습니다."와 같이 음성으로, 화면으로 또는 진동에 의한 촉각으로 제시될 수 있다.
도 4는 분석부(31)의 동작에 대한 흐름도이다. 먼저, 사용자는 버튼(1-1)을 누르면서 쓰기 동작을 수행하고, 센서(30)는 쓰기 동작에 따른 가속도를 측정한다(39단계). 쓰기 동작이 수행되는 동안 버튼(1-1)은 계속 눌러져야한다. 가속도는 쓰기 동작이 완료된 후, 즉 손에서 버튼이 떨어진 후 Δ시간동안 계속 측정된다. 따라서 동작 버튼(1-1)이 손에서 일시적으로 떨어진 후 Δ 시간 이내에 다시 눌러지면, 분석부(31)는 버튼(1-1)이 쓰기 동작중 손에서 일시적으로 떨어진 것으로 판단한다(40단계).
도 5는 버튼(1-1)이 손에서 일시적으로 떨어졌을 때를 설명하는 도면이다. 도 5(a)에 도시된 바와 같이 버튼(1-1)이 Δ'(단, Δ'≤Δ) 의 시간만큼 일시적으로 손에서 떨어진 경우 도 5(b)에 도시된 샘플링 구간 역시 Δ'구간에 대해 샘플링 데이터를 얻을 수 없게 된다. 도 5(c)는 사용자가 버튼(1-1)에서 손이 떨어진 것을 인식하지 못하고 쓰기 동작을 계속 수행하는 경우에 해당하는 동작 구간을 나타낸다. 본 실시예에서 Δ값은 실험자들에게 연속으로 두 번 버튼(1-1)을 누르게함으로써 두 번 눌렀을 때의 시간간격을 측정하고, 측정된 시간간격의 평균을 포함하는 값으로 채택되었다.
본 실시예에서는 버튼(1-1)에서 손이 일시적으로 떨어졌다면 분석부(31)를 통해 버튼(1-1)에서 손이 떨어졌음을 경고하는 신호를 경고 출력부(33)에 출력한다(41단계). 또한 경고 출력부(33)를 통해 사용자에게 경고 메시지를 출력함으로써 사용자로 하여금 다시 버튼(1-1)을 누르면서 동작을 시작하게 한다.
40단계에서 버튼(1-1)이 계속 눌러진 상태로 동작이 이루어지면, 샘플링 구간이 유효범위에 있는지를 검사한다. 즉, 샘플링 구간이 제1임계치인 T1보다 작으면(42단계), 쓰기 동작이 빨리 이루어지거나 쓰기 동작이 중간에 중단되었거나 혹은 버튼(1-1)이 손에서 빨리 떼어진 경우로, 이러한 경우는 인식에 필요한 데이터를 충분히 수집할 수 없는 짧은 입력 동작에 해당한다. 따라서 분석부(31)는 짧은 입력 동작임을 경고하는 신호를 경고 출력부(33)로 출력한다(43단계).
샘플링 구간이 제2임계치 T2(단, T2>T1)보다 크다면, 쓰기 동작이 느리게 이루어지거나 쓰기 동작의 크기가 작아서 손떨림에 의한 잡음 신호와 구분하기 어려운, 느리거나 작은 입력 동작에 해당하므로 분석부(31)는 느리거나 작은 입력 동작임을 경고하는 신호를 경고 출력부(33)로 출력한다(45단계).
샘플링 구간이 T1과 T2사이에 있다면, 분석부(31)는 동작 구간이 유효 범위에 있는지를 검사한다. 즉, 동작 구간이 제3임계치 T3보다 작다면(46단계), 분석부(31)는 짧은 입력 동작임을 경고하는 신호를 경고 출력부(33)로 출력한다(43단계). 이 때, T3는 T1과 동일한 값일 수 있다. 또한, 샘플링 구간은 동작 구간보다 커야하므로, T1≤T3이다.
동작 구간이 제4임계치 T4(단, T4>T3)보다 크다면, 분석부(31)는 느리거나 작은 입력 동작임을 경고하는 신호를 경고 출력부(33)로 출력한다(45단계), 이 때, T4는 T2와 동일한 값일 수 있다. 또한, 샘플링 구간은 동작 구간보다 커야하므로, T2≥T4이다.
본 실시예에서는 제1 내지 제4임계치를 결정하기위해 100명의 실험자가 0, 1, …, 9의 숫자들과 제스쳐를 포함한 19가지의 동작을 반복 수행하였고, 수행된 동작의 총 회수는 12495회이다. 동작 구간과 관련된 제3 및 제4임계치 T3,T4는 각각 실험자들의 동작 시간을 측정함으로써 결정되었다.
도 6은 실험결과에 따른 동작 시간 분포과 동작 수를 나타낸다. 도시된 바에 따르면, 동작시간의 최소시간은 0.7초이고 최대시간은 4.43초이다. 따라서 동작구간은 [T3=0.4초, T4=5초]인 것이 적절하다.
동작 구간이 결정되면, 이로부터 샘플링 구간을 결정할 수 있다. 상술한 바와 같이 샘플링 구간의 임계치 T1,T2는 각각 T1≤T3, T2≥T4의 조건을 만족해야하므로 샘플링 구간은 [T1=0.4초, T2=8초]인 것이 적절하다.
샘플링 구간과 동작 구간이 모두 유효한 범위내에 있다면, 분석부(31)는 동작 구간에서 가속도 신호의 분산(variance)을 분석한다(48단계). 가속도 신호에 대한 분석은 동작 구간에서 3축 가속도 신호들의 분산을 검출하여 이루어진다. 가속도 신호들의 분산에 대한 검출은 가속도 신호의 분산과 관련된 복수의 파라미터들 을 검출하는 것이다. 상기 파라미터들로는, 동작 구간 전체에서의 최대 분산인 AccVar, 동작 구간내에서 소정 크기의 무빙 윈도우(moving window)내의 최대 분산인 AccVarWin, AccVarWin들중 최대값을 나타내는 MAccVarWin, 측정된 가속도에 포함된 잡음비를 나타내는 AccVarSNR 등이 있다. AccVarSNR은 입력 동작에 의한 가속도 신호 크기에 대해 손떨림에 의한 가속도 잡음의 비를 나타낸 것이다. 상기 파라미터들을 보다 상세하게 설명하면 다음과 같다.
Figure 112005019224692-pat00001
여기서,
Figure 112005019224692-pat00002
은 각각 동작구간에서 x, y, z 축 가속도의 분산과 (x,y,z)의 놈(norm)에 대한 분산이다.
Figure 112005019224692-pat00003
Figure 112005019224692-pat00004
=
여기서,
Figure 112005019224692-pat00005
은 각각 무빙 윈도우마다 각 윈도우에 포함된 x,y,z축 신호 및 놈에 대한 분산이며, 다음 식과 같이 표현될 수 있다.
Figure 112005019224692-pat00006
EAccVarWin, MAccVarWin, 및 AccVarSNR은 각각 다음 식과 같이 표현된다.
Figure 112005019224692-pat00007
상기 분산 파라미터들을 이용하여 느리거나 작은 쓰기동작인지의 여부를 판단한다(49단계). 느리거나 작은 쓰기동작은 동작 구간 전체의 가속도 변화가 제5임계치 Taccvar보다 작거나, 동작 구간 전체의 가속도 변화는 제5임계치보다 크지만 동작 구간내 무빙 윈도우에서 검출된 가속도 분산의 최대값이 제6임계치 TMAccVar보다 작고 가속도 신호의 크기가 손떨림에 의한 가속도 잡음의 크기보다 작은 경우에 해당한다.
이를 논리적으로 표현하면 (AccVar < Taccvar) 또는 [(MAccVarWin<TMAccVar) AND (AccVar < TAccVar) AND (AccVarSNR <TAccSNR)]와 같이 표현할 수 있고, 가속도 신호가 이 조건을 만족하면 느리거나 작은 쓰기동작으로 판단된다. 여기서, Taccvar은 AccVar에 대한 임계치로서 동작을 검출하는데 사용되는 AccVar의 최소값이고, TAccVar은 AccVar에 대한 임계치로서 Taccvar보다 큰 값이다. AccVar가 TAccVar 보다 큰 경우에는 정상적인 동작으로 분류된다. TAccSNR은 AccVarSNR에 대한 임계치이고, TMAccVar은 MAccVarWin에 대한 임계치를 나타낸다. 이 임계치들은 실험적으로 결정될 수 있다.
도 7(a) 및 7(b)는 샘플링 구간에서 각각 신호의 분산 변화가 작아서 느리거나 작은 쓰기동작으로 판단된 경우와 유효한 동작으로 판단된 경우를 비교하여 도시한 것이다. 도면에서 fx,fy,fz 및 fn은 각각 가속도의 x,y,z축 및 놈(norm)을 나타낸다. 도시된 바에 따르면, 도 7(a)의 경우 전체 샘플링 구간과 동작 구간 사이의 신호 변화의 차가 크지 않음을 알 수 있다.
도 8(a) 및 8(b)는 샘플링 구간에서 각각 신호의 SNR이 작아서 느리거나 작은 쓰기동작으로 판단된 경우와 유효한 동작으로 판단된 경우를 비교하여 도시한 것이다. 도시된 바에 따르면, 도 8(a)의 경우 동작 구간에서 신호변화가 있으나 동작 이전의 손떨림 신호에 비해 그 변화폭이 크지않고, 신호의 크기가 도 8(b)의 경우에 비해 작음을 알 수 있다.
49단계에서 느리거나 작은 쓰기동작으로 판단되면, 분석부(31)는 느리거나 작은 쓰기 동작임을 경고하는 신호를 경고 출력부(33)로 출력한다(45단계).
49단계에서 쓰기동작이 유효한 범위 내에 있다면, 분석부(31)는 입력장치(1)의 자세를 분석한다(50단계). 입력 장치(1)의 자세는 사용자가 위치한 바닥면을 기준으로하여 3축 가속도 신호로부터 얻은 입력장치(1)의 피치각(pitch angle)과 롤각(roll angle)을 결정함으로써 측정된다. 롤각과 피치각에 대한 참조 평면은 수직 평면이다. 도 11은 x,y,z축의 3축 좌표계에서 각각 롤각 및 피치각을 도시한 것이다. 도시된 바에 따르면, 롤각은 몸체(110)의 Z축을 중심으로 한 회전각이며, 피치각은 몸체(110)의 X축을 중심으로 한 회전각을 말한다.
피치각 및 롤각은 3축 가속도로부터 다음 식과 같이 결정된다.
Figure 112005019224692-pat00008
단,
Figure 112005019224692-pat00009
으로, 동작 구간에서 샘플링된 데이터들의 평균이다.
상기 수학식 1은 기본적으로 입력장치(1)에서 x,y,z의 3축에 대해 측정된 중력 성분들의 비율을 토대로 입력장치(1)의 자세를 계산하는 것이다. 사용자가 쓰 기 동작을 수행하는 동안에는 중력 가속도 뿐만 아니라 사용자의 쓰기 동작에 의한 가속도가 함께 측정된다. 따라서 쓰기 동작에 의한 가속도를 제거하고 중력 가속도 성분을 추출하는 과정이 필요하다. 일반적으로 사용자의 쓰기 동작에 따른 가속도를 동작구간동안 적분하게 되면, 양의 방향으로 더해지는 값과 음의 방향으로 더해지는 값이 서로 상쇄되어 0에 가까운 값을 갖는다. 따라서 수학식 1에서는 각 축별로 계산한 가속도의 평균을 중력 가속도에 대한 근사치로 간주하여 입력장치(1)의 자세계산에 사용한다. 다시 설명하면, 입력장치(1)의 자세 계산시 쓰기 동작에 의한 가속도의 영향을 받게 되므로, 수학식 1과 같은 식을 채용한다면 각 축에 대해 쓰기 동작에 의한 가속도의 영향이 서로 상쇄되어 0에 가까운 값을 갖게 되므로, 쓰기 동작에 의한 영향이 없이 입력장치(1)의 자세를 계산할 수 있게 된다.
피치각 및 롤각의 허용범위는 사용자들이 입력 장치를 편하게 사용할 수 있는 범위로서, 실험적으로 결정될 수 있다.
도 9는 피치각에 대한 동작 수의 분포를 도시한 것이고, 도 10은 롤각에 대한 동작 수의 분포를 도시한 것이다. 도시된 바에 따르면, 피치각은 [-5°,5°]의 범위에서, 롤각은 [-10°,100°]의 범위에서 주로 동작이 수행됨을 알 수 있다. 따라서 본 실시예에서는 피치각 및 롤각의 허용범위를 각각 [-45°,70°], [-30°,120°] 로 적용하였다.
피치각 또는 롤각이 허용범위를 벗어나면(51단계), 분석부(31)는 자세 교정에 대한 경고 신호를 경고 출력부(33)로 출력한다(53단계).
경고 출력부(33)는 분석부(31)로부터 경고 신호가 출력되면, 경고 신호에 대 응하는 경고 메시지를 음성으로 또는 경고음과 함께 입력 장치(1)의 화면에 디스플레이 한다. 또 다른 방법으로 진동과 같이 촉각으로 감지할 수 있도록 경고 메시지를 전달할 수도 있다.
입력 장치가 동작 범위 내에 있다면, 분석부(31)는 동작 인식에 필요한 데이터를 추출하여 동작 인식부(32)로 출력한다(52단계). 동작 인식부(32)는 상술한 바와 같은 과정을 통해 사용자의 동작을 인식한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 바람직하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명에 따르면, 동작 인식에 적절하지않은 신호가 검출되었을 경우 동작을 인식하기 전에 해당 신호를 제거하고 사용자에게 경고함으로써 사용자가 곧바로 동작을 정정하도록 하고, 오류가 있는 신호를 분석하는 소요되는 자원의 낭비를 감소시킬 수 있다. 또한 오류가 있는 데이터를 입력함으로써 야기되는 입력 장치의 오동작을 방지할 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해해야할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 동작 인식 기반 입력장치를 이용하여 허공에서 쓰기 동작이 수행되는 동안 상기 동작 인식 기반 입력장치의 움직임에 대한 가속도를 측정하여 가속도 신호를 출력하는 단계; 및
    상기 쓰기 동작이 수행되는 시간구간 또는 상기 가속도 신호로부터 상기 동작 인식 기반 입력장치가 미리 정해진 동작 범위내에서 동작하는지를 판단하고, 상기 동작 범위를 벗어났다면 경고하는 단계를 포함함을 특징으로하는 사용자 인터페이스 방법.
  2. 제1항에 있어서, 상기 쓰기 동작은
    상기 동작 인식 기반 입력장치에 장착된 버튼이 눌러지는 동안 수행되는 것을 특징으로하는 사용자 인터페이스 방법.
  3. 제2항에 있어서, 상기 경고하는 단계는
    상기 쓰기 동작이 수행되는 동안 상기 버튼이 떨어졌다가 미리 정해진 시간 이내에 다시 눌러지면 상기 버튼이 일시적으로 눌러지지 않았음을 경고하는 단계를 더 포함하는 것을 특징으로하는 사용자 인터페이스 방법.
  4. 제2항에 있어서, 상기 동작 범위는
    상기 버튼이 눌러지는 동안의 시간 구간을 나타내는 샘플링 구간이 제1임계치 이상이고 제2임계치 이하임을 특징으로하는 사용자 인터페이스 방법.
  5. 제4항에 있어서, 상기 경고하는 단계는
    상기 샘플링 구간이 상기 제1임계치보다 작으면 짧은 입력 동작임을 경고하고, 상기 샘플링 구간이 제2임계치보다 크면 느리거나 작은 입력 쓰기 동작임을 경고하는 것을 특징으로하는 사용자 인터페이스 방법.
  6. 제1항에 있어서, 상기 동작 범위는
    상기 가속도가 측정되는 시간구간인 동작 구간이 제1임계치 이상이고 제2임계치 이하임을 특징으로하는 사용자 인터페이스 방법.
  7. 제6항에 있어서, 상기 경고하는단계는
    상기 동작 구간이 상기 제1임계치보다 작으면 짧은 입력 동작임을 경고하고, 상기 동작 구간이 상기 제2임계치보다 크면 상기 쓰기 동작이 느리거나 작은 입력 동작임을 경고하는 것을 특징으로하는 사용자 인터페이스 방법.
  8. 제6항에 있어서, 상기 동작 범위를 벗어난 경우는
    상기 동작 구간에서 상기 가속도 신호의 분산의 최대치가 제3임계치보다 작거나, 상기 동작 구간내 무빙 윈도우에서 검출된 가속도 분산의 최대값이 제4임계 치보다 작고 상기 가속도 신호의 크기가 손떨림에 의한 가속도 잡음의 크기보다 작은 경우임을 특징으로하는 사용자 인터페이스 방법.
  9. 제8항에 있어서, 상기 경고하는 단계는
    상기 쓰기 동작이 느리거나 작은 입력 동작임을 경고하는 것을 특징으로하는 사용자 인터페이스 방법.
  10. 제1항에 있어서, 상기 동작 범위는
    사용자가 위치한 바닥면에 대한 상기 동작 인식 기반 입력 장치의 자세를 나타내는 피치각 및 롤각이 각각 미리 정해진 각도 범위 이내인 것을 특징으로하는 사용자 인터페이스 방법.
  11. 제10항에 있어서, 상기 피치각 및 롤각은
    상기 가속도가 측정되는 시간구간에서 샘플링된 3축 가속도 데이터들의 평균으로부터 측정되는 것을 특징으로하는 사용자 인터페이스 방법.
  12. 제10항에 있어서, 상기 경고하는 단계는
    상기 피치각 또는 롤각이 상기 각도 범위를 벗어나면, 상기 동작 인식 기반 입력 장치의 자세를 수정할 것에 대한 경고를 출력하는 것을 특징으로하는 사용자 인터페이스 방법.
  13. 허공에서 수행된 쓰기 동작을 인식하여 데이터로 입력하는 동작 인식 기반 입력 장치의 사용자 인터페이스 장치에 있어서,
    상기 쓰기 동작에 대한 가속도를 측정하고 가속도 신호를 출력하는 센서;
    상기 쓰기 동작이 수행되는 시간구간 또는 상기 가속도 신호로부터 상기 동작 인식 기반 입력장치가 미리 정해진 동작 범위내에서 동작하는지를 판단하여 상기 동작 범위를 벗어났다면 경고신호를 출력하는 분석부; 및
    상기 경고신호에 대응하는 경고 메시지를 출력하는 경고 출력부를 포함함을 특징으로하는 사용자 인터페이스 장치.
  14. 제13항에 있어서,
    상기 쓰기 동작이 수행되는 동안 계속 눌러지는 버튼을 더 포함하는 것을 특징으로하는 사용자 인터페이스 장치.
  15. 제14항에 있어서, 상기 분석부는
    상기 쓰기 동작이 수행되는 동안 상기 버튼이 떨어졌다가 미리 정해진 시간 이내에 다시 눌러지면 상기 버튼이 일시적으로 눌러지지 않은 것에 대한 경고신호를 출력하는 것을 특징으로하는 사용자 인터페이스 장치.
  16. 제14항에 있어서, 상기 분석부는
    상기 버튼이 눌러지는 동안의 시간구간을 나타내는 샘플링 구간이 제1임계치보다 작으면 짧은 입력 동작인 것에 대한 경고신호를 출력하고, 상기 샘플링 구간이 제2임계치보다 크면 상기 쓰기 동작인 느리거나 작은 입력 동작인 것에 대한 경고신호를 출력하는 것을 특징으로하는 사용자 인터페이스 장치.
  17. 제13항에 있어서, 상기 분석부는
    상기 가속도가 측정되는 시간구간인 동작 구간이 제1임계치보다 작으면 짧은 입력 동작인 것에 대한 경고신호를 출력하고, 상기 동작 구간이 제2임계치보다 크면 상기 쓰기 동작이 느리거나 작은 입력 동작인 것에 대한 경고신호를 출력하는 것을 특징으로하는 사용자 인터페이스 장치.
  18. 제17항에 있어서, 상기 분석부는
    상기 동작 구간에서 상기 가속도 신호의 분산의 최대치가 제3임계치보다 작거나, 상기 동작 구간내 무빙 윈도우에서 검출된 가속도 분산의 최대값이 제4임계치보다 작고 상기 가속도 신호의 크기가 손떨림에 의한 가속도 잡음의 크기보다 작으면 상기 쓰기동작인 느리거나 작은 동작인 것에 대한 경고신호를 출력하는 것을 특징으로하는 사용자 인터페이스 장치.
  19. 제13항에 있어서, 상기 분석부는
    사용자가 위치한 바닥면에 대한 상기 동작 인식 기반 입력 장치의 자세를 나타내는 피치각 및 롤각을 상기 가속도가 측정되는 시간구간에서 샘플링된 가속도 데이터들로부터 구하고, 상기 피치각 또는 롤각이 미리 정해진 각도 범위를 벗어나면 상기 동작 인식 기반 입력 장치의 자세를 수정할 것에 대한 경고신호를 출력하는 것을 특징으로하는 사용자 인터페이스 장치.
  20. 동작 인식 기반 입력장치를 이용하여 허공에서 쓰기 동작이 수행되는 동안 상기 동작 인식 기반 입력장치의 움직임에 대한 가속도를 측정하여 가속도 신호를 출력하는 단계; 및
    상기 쓰기 동작이 수행되는 시간구간 또는 상기 가속도 신호로부터 상기 동작 인식 기반 입력장치가 미리 정해진 동작 범위내에서 동작하는지를 판단하고, 상기 동작 범위를 벗어났다면 경고하는 단계를 포함함을 특징으로하는 사용자 인터페이스 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050030746A 2005-02-05 2005-04-13 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치 KR100718126B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/342,968 US8250493B2 (en) 2005-02-05 2006-01-31 User interface method, medium, and apparatus with gesture-recognition
EP06250568.0A EP1688826B1 (en) 2005-02-05 2006-02-02 User interface with gesture-recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050010995 2005-02-05
KR1020050010995 2005-02-05

Publications (2)

Publication Number Publication Date
KR20060089596A KR20060089596A (ko) 2006-08-09
KR100718126B1 true KR100718126B1 (ko) 2007-05-15

Family

ID=37177634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050030746A KR100718126B1 (ko) 2005-02-05 2005-04-13 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치

Country Status (1)

Country Link
KR (1) KR100718126B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106895A1 (ko) * 2021-12-10 2023-06-15 삼성전자 주식회사 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184549B (zh) * 2011-04-29 2012-10-10 闫文闻 一种运动参数确定方法、装置和运动辅助设备
KR20220012073A (ko) * 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070619A (ko) * 1997-01-29 2000-11-25 게이 지오프리 노만 왈터 컴퓨터 내로 문자나 명령을 입력하기 위한 입력 수단
KR20010017203A (ko) * 1999-08-09 2001-03-05 윤종용 휴대폰의 동작인식장치 및 방법
JP2002207567A (ja) 2001-01-10 2002-07-26 Sony Corp 情報処理端末および方法
KR20030047095A (ko) * 2001-12-07 2003-06-18 엘지전자 주식회사 휴대용 단말기의 키입력장치 및 방법
KR20040051202A (ko) * 2002-12-12 2004-06-18 주식회사 팬택 단말기에 있어서 움직임에 의한 기능 설정 장치 및 방법
JP2004246920A (ja) 2004-04-14 2004-09-02 Sony Corp 情報処理装置および方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070619A (ko) * 1997-01-29 2000-11-25 게이 지오프리 노만 왈터 컴퓨터 내로 문자나 명령을 입력하기 위한 입력 수단
KR20010017203A (ko) * 1999-08-09 2001-03-05 윤종용 휴대폰의 동작인식장치 및 방법
JP2002207567A (ja) 2001-01-10 2002-07-26 Sony Corp 情報処理端末および方法
KR20030047095A (ko) * 2001-12-07 2003-06-18 엘지전자 주식회사 휴대용 단말기의 키입력장치 및 방법
KR20040051202A (ko) * 2002-12-12 2004-06-18 주식회사 팬택 단말기에 있어서 움직임에 의한 기능 설정 장치 및 방법
JP2004246920A (ja) 2004-04-14 2004-09-02 Sony Corp 情報処理装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106895A1 (ko) * 2021-12-10 2023-06-15 삼성전자 주식회사 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법

Also Published As

Publication number Publication date
KR20060089596A (ko) 2006-08-09

Similar Documents

Publication Publication Date Title
EP1688826B1 (en) User interface with gesture-recognition
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
US9442570B2 (en) Method and system for gesture recognition
US20140168057A1 (en) Gyro aided tap gesture detection
JP2012522324A (ja) 加速度計を使用するタップ方向検出アルゴリズム
KR101473957B1 (ko) 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법
WO2014093506A1 (en) Use of hand posture to improve text entry
CN102141837A (zh) 信息处理设备和信息处理方法
US20170017303A1 (en) Operation recognition device and operation recognition method
KR100718126B1 (ko) 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치
WO2016175579A1 (en) User interface control using impact gestures
JP2006143159A (ja) 車両用動き認識装置
JP5743580B2 (ja) ドライブレコーダ装置
US20150177845A1 (en) Method for continuous recognition of gestures of a user of a handheld mobile terminal fitted with a motion sensor assembly, and related device
KR101639351B1 (ko) 웨어러블 입력 시스템 및 모션 인식 방법
JP4201644B2 (ja) 端末装置及び端末装置の制御プログラム
KR20220014579A (ko) 개인별 감정 인식 기반 차량 서비스 제공 장치 및 그의 차량 서비스 제공 방법
TWI419085B (zh) 跌倒偵測方法及其裝置
JP3776206B2 (ja) ペン型入力装置
JP3841953B2 (ja) ペン型入力装置及び文字認識方法
CN112363622A (zh) 字符输入方法、装置、电子设备及存储介质
KR101987308B1 (ko) 노이즈를 고려한 동작 인식 방법 및 장치
KR101958334B1 (ko) 노이즈를 고려한 동작 인식 방법 및 장치
JP5246496B2 (ja) 計算機
WO2022099588A1 (zh) 字符输入方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee