KR101413539B1 - 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법 - Google Patents

자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법 Download PDF

Info

Publication number
KR101413539B1
KR101413539B1 KR1020100116125A KR20100116125A KR101413539B1 KR 101413539 B1 KR101413539 B1 KR 101413539B1 KR 1020100116125 A KR1020100116125 A KR 1020100116125A KR 20100116125 A KR20100116125 A KR 20100116125A KR 101413539 B1 KR101413539 B1 KR 101413539B1
Authority
KR
South Korea
Prior art keywords
user
control signal
arm
wrist
unit
Prior art date
Application number
KR1020100116125A
Other languages
English (en)
Other versions
KR20120054809A (ko
Inventor
유동완
박준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100116125A priority Critical patent/KR101413539B1/ko
Priority to US13/224,498 priority patent/US20120127070A1/en
Publication of KR20120054809A publication Critical patent/KR20120054809A/ko
Application granted granted Critical
Publication of KR101413539B1 publication Critical patent/KR101413539B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법이 개시된다. 보다 상세하게는 본 발명은, 사용자의 팔, 손목 및 손가락 중 어느 하나 이상의 조합에 의한 자세에 대응하는 미리 결정된 시스템 제어명령이 저장되는 데이터베이스부와, 사용자의 팔, 손목 및 손가락 중 하나 이상의 조합에 의한 자세를 센싱하는 센싱부 및 센싱부의 센싱결과에 대응하는 시스템 제어명령을 데이터베이스부에서 추출하여 시스템을 제어하기 위한 제어신호로 생성하는 제어신호 생성부를 포함하는 것을 특징으로 하는 제어신호 입력장치 및 이를 이용하는 제어신호 입력방법에 관한 것이다.

Description

자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법{Apparatus and Method of Inputting Control Signal by using Posture Recognition}
본 발명은 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법에 관한 것이다. 보다 상세하게는 본 발명은 컴퓨터와 같은 시스템을 구동 조작하기 위한 제어신호를 입력하기 위한 장치 및 방법에 관한 것으로, 대형 디스플레이나 특수 환경에서 컴퓨터와 같은 전자 시스템을 조작하는 경우 여러 가지 제약사항에 제한되지 않고 사용자의 입력을 전달할 수 있게 하는 장치 및 방법에 관한 것이다.
일반적으로, 인간과 컴퓨터와의 상호작용(interaction)을 위해 인간에 의한 컴퓨터 제어명령을 컴퓨터로 전송하는 인터페이스 장치가 필요하다. 종래에는 인터페이스 장치는 키보드와 마우스와 같이 별도로 마련된 장치가 사용되어 왔으나, 이러한 장치를 조작하기 위해서는 키보드와 마우스가 구비된 특정 위치에서 사용하여야 하는 불편이 있었다.
이러한 점에 착안하여 현재에는 장갑 또는 손목밴드 형태로 인간의 손에 착용되어 인간의 손의 움직임에 따른 제어신호를 컴퓨터에 전송하여 컴퓨터를 조작하는 수단들에 대한 연구들이 이루어지고 있다. 그러나, 장갑형태의 입력 장치는 사용자의 손에 장갑을 착용하여야 하는 부담을 주는 문제점이 있었고, 손목밴드 형태의 입력장치는 손가락의 움직임과 손목의 이동에 따른 제한적인 입력신호를 생성할 수 있었을 뿐 여러 종류의 다양한 입력신호를 생성할 수 없는 문제가 있었다.
상술한 문제점을 해결하기 위한 관점으로부터 본 발명이 이루고자 하는 제1 기술적 과제는 사용자의 팔/ 손목/ 손가락 자세를 복합적으로 인식하여 다양한 시스템 제어신호를 생성하는 장치 및 방법을 제공함에 있다.
또한, 본 발명의 제2 기술적 과제는 사용자의 손을 자유롭게 사용할 수 있도록 하여 수술실과 같은 특수한 환경에서도 자유롭게 시스템 제어를 할 수 있는 장치 및 방법을 제공함에 있다.
상술한 기술적 과제들과 관련하여 본 발명에서는 사용자의 손목에 착용 가능한 암 밴드(arm-band) 타입의 제어신호 입력장치를 제공하며, 이러한 제어신호 입력장치는 사용자의 팔의 자세 즉, 롤(roll)값을 기준으로 사용자의 손가락/손목의 자세를 함께 인식하여 시스템 제어를 위한 신호를 생성하므로 동일한 손목 및 손가락 자세임에도 팔의 자세에 따라 제어신호를 달리 생성할 수 있어 보다 다양한 제어신호를 생성하는 것이 가능하다.
그러나, 본 발명의 기술적 과제는 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 시스템 제어를 위한 제어신호 입력장치는, 사용자의 팔, 손목 및 손가락 중 어느 하나 이상의 조합에 의한 자세에 대응한 미리 결정된 시스템 제어명령이 저장되는 데이터베이스부와, 사용자의 팔, 손목 및 손가락 중 하나 이상의 조합에 의한 자세를 센싱하는 센싱부 및 상기 센싱부의 센싱결과에 대응하는 시스템 제어명령을 상기 데이터베이스부에서 추출하여 상기 시스템을 제어하기 위한 제어신호로 생성하는 제어신호 생성부를 포함한다.
한편, 상기한 기술적 과제를 달성하기 위해서 본 발명에 따른 시스템 제어를 위한 제어신호 입력방법은, (a) 사용자의 팔, 손목 및 손가락의 자세에 대응하는 시스템 제어명령이 저장된 데이터베이스를 구축하는 단계와, (b) 사용자의 팔, 손목 및 손가락의 자세를 센싱하는 단계 및 (c) 상기 센싱결과에 대응하는 시스템 제어명령을 추출하여 상기 시스템을 제어하기 위한 제어신호를 생성하는 단계를 포함한다.
여기서, 상기 제어신호 입력장치는 사용자의 손목에 착용되는 암 밴드 타입의 장치로 구비될 수 있으며, 사용자의 팔, 손목, 손가락의 움직임 및 위치(자세)를 센싱하기 위해서 다양한 종류의 센서들이 사용된다. 이러한 센서들은 크게, 팔의 움직임 및 위치를 센싱하기 위한 관성센서, 손목의 자세를 센싱하기 위한 근접센서 어레이 및 손가락의 움직임 및 위치를 센싱하기 위한 압전센서들이 사용될 수 있다. 본 발명에 사용되는 다양한 센서들 및 그 각각의 기능에 대하여는 후술하기로 한다.
본 명세서의 기재로부터 파악되는 본 발명에 따르면, 손목과 손가락의 위치 및 움직임에 팔의 자세를 반영하여 자세인식을 하게 되므로 동일한 손목과 손가락 자세에 의해서도 팔의 자세에 따라 다른 시스템 제어신호를 형성할 수 있다.
또한, 장갑 형태의 입력장치와 같이 사용자의 손을 제약하는 장치를 제공하지 않아 손의 움직임에 제약을 줄일 수 있다.
또한, 수술실과 같은 특수한 환경의 경우 의사가 수술 도중 컴퓨터를 조작하여 환자와 관련된 정보를 스캔하고자 하는 경우 수술용 장갑을 제거하지 않은 채로도 컴퓨터 제어신호를 생성시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 제어신호 입력장치를 개략적으로 도시한 블록도,
도 2 및 도 3은 도 1의 블록도를 보다 상세하게 설명하기 위해 도시한 블록도,
도 4는 도 발명의 일 실시예에 따른 제어신호 입력장치를 암 밴드 타입으로 형성한 것을 설명하기 위한 도,
도 5는 본 발명의 일 실시예 따른 제어신호 입력장치에서 자세 인식에 따라 다른 제어신호를 생성하는 과정을 설명하기 위해 도시한 도,
도 6은 본 발명의 일 실시예에 따른 제어신호 입력장치에서 발생되는 제어신호의 종류에 대해 예시적으로 설명하기 위해 도시한 도,
도 7 및 도 8은 본 발명의 일 실시예에 따른 제어신호 입력방법에 대해 설명하기 위해 도시한 도이다.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 여기의 설명에서 어떤 구성 요소가 다른 구성 요소에 연결된다고 기술될 때, 이는 다른 구성 요소에 바로 연결될 수도 그 사이에 제3의 구성 요소가 개재될 수도 있음을 의미한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에 대한 상세한 설명에 앞서 명세서에서 사용될 몇 가지 용어들에 대해 설명한다.
본 발명에서 시스템이란 사용자가 제어하고자 하는 제어 대상을 의미하며 일반적으로는 컴퓨터에 해당한다. 또한 사용자의 팔/손목/손가락의 위치 및 움직임에 따라 제어되는 것은 일반적으로는 컴퓨터 화면(모니터)상의 마우스 포인터 또는 커서를 지칭하나 사용자의 팔/손목/손가락의 위치 및 움직임에 따라서는 마우스 클릭, 화면상 객체의 회전, 스크롤, 드레그, 작동시작 및 작동정지, 윈도우창 축소, 확대, 최대화, 닫기 및 화면확대(enlargement), 화면축소(reduction)등을 모두 포함한다.
또한, 사용자의 팔/손목/손가락의 위치 및 움직임에서 위치 및 움직임은 자세라는 용어로 대체되어 사용되기도 함에 유의하여야 하며, 특히, 팔의 자세는 팔의 롤링(rolling)자세로 지칭됨에도 유의하여야 한다.
도 1은 본 발명의 일 실시예에 따른 제어신호 입력장치를 개략적으로 도시한 블록도, 도 2 및 도 3은 도 1의 블록도를 보다 상세하게 설명하기 위해 도시한 블록도이다.
도 1에 도시된 바와 같이, 일 실시예에 따른 제어신호 입력장치(10)는 센싱부(100), 데이터베이스부(200) 및 제어신호 생성부(300)를 포함한다.
데이터베이스부(200)는 사용자의 팔, 손목 및 손가락의 자세에 대응한 미리 결정된 시스템 제어명령이 저장된다. 즉, 사용자는 초기에 자신의 팔, 손목 및 손가락의 위치 및 움직임에 따라 시스템에 적용된 제어명령을 세팅한다.
센싱부(100)는 사용자의 팔, 손목 및 손가락의 자세를 센싱한다. 센싱부(100)는 도 2에 도시된 바와 같이, 3개의 센서부를 포함한다. 제1 센서부(110)는 사용자의 팔의 롤(roll)자세를 센싱하며, 제2 센서부(120)는 사용자의 손목의 자세를 센싱하고 제3 센서부(130)는 사용자의 손가락의 자세를 센싱한다. 보다 구체적으로 상술한 각각의 센서부(110,120,130)에 대해 설명한다.
도 3에 도시된 바와 같이, 제1 센서부(110)는 관성센서부(111)와 팔 제스추어 계산부(112)를 포함하며, 제2 센서부(120)는 근접센서 어레이부(121) 및 손목 제스추어 계산부(122)를 포함하고, 제3 센서부(130)는 접촉센서부(131) 및 손가락 제스추어 계산부(132)를 포함한다.
관성센서부(111)는 적어도 하나 이상의 자이로 센서 또는 가속도 센서를 구비하여 사용자 팔의 상하좌우 움직임(즉, 롤링(rolling))을 센싱한다. 여기서 관성센서부(111)는 구비된 가속도 센서의 가속도 값 또는 기울기값, 또는 자이로 센서의 각속도값을 이용하여 팔의 롤(roll)자세를 인식한다. 특히 가속도 센서에서는 가속도 값 외에 기울기(Tilt) 값을 제공하므로 기울기값으로 간편하게 손의 자세를 인식할 수 있고, 이를 이용해 후술할 임의의 손목과 손가락의 제스추어와 동일한 제스추어인 경우에도 팔의 자세에 따라 전혀 다른 제어신호를 생성할 수 있다. 또한 관성센서부(111)의 센싱은 제어신호 입력장치(10)의 동작 개시(start point) 신호로도 사용할 수 있다.
팔 제스추어 계산부(112)는 상기 관성센서부(111)에서 센싱된 사용자 팔의 자세를 시스템(컴퓨터) 제어를 위한 신호로 계산한다. 즉, 팔의 움직임에 따라 컴퓨터 마우스 포인터의 상하좌우 이동과 같은 사용자 공간상의 팔 움직임을 입력받아 x-y좌표를 계산한다.
근접센서 어레이부(121)는 적어도 하나 이상의 센서를 근접센서를 배열하여 형성한다. 근접센서 어레이부(121)는 손의 상하좌우, 회전등 움직임에 의한 손목 움직임을 센싱한다. 여기서 근접센서 어레이부(121)는 손목 움직임을 센싱하기 위해 정전용량형, 적외선, 초음파, 광학형 등 하나이상의 근접센서 어레이로 형성된다. 이러한 근접센서 어레이로부터 컴퓨터 마우스의 클릭, 회전, 스크롤 등에 해당되는 입력을 받는다.
손목 제스추어 계산부(122)는 상기 근접센선 어레이부(121)에 입력되는 신호를 시스템 제어를 위한 신호로 계산한다. 즉, 손목의 움직임에 따라 컴퓨터 마우스의 좌/우 클릭 또는 스크롤의 정도등을 계산한다.
접촉센서부(131)은 사용자의 손가락 자세에 따른 손목 근육의 움직임을 센싱하기 위해 압전 센서 또는 진동 센서로 형성된다. 접촉센서부(131)는 사용자의 손가락의 움직임을 센싱하기 위해 손목부위에 접촉되는 것으로 손가락의 움직임에 따른 손목근육의 움직임 신호를 센싱한다. 이러한 접촉센서부(131)로부터 컴퓨터 마우스의 좌/우 클릭, 더블클릭 등과 같은 입력을 받는다.
손가락 제스추어 계산부(132)는 상기 접촉센서부(131)에 입력되는 신호를 시스템 제어를 위한 신호로 계산한다. 즉, 손가락의 움직임에 따라 컴퓨터 마우스의 좌우 클릭의 횟수 등을 계산한다.
도 1 내지 도 3에 도시된 제어신호 생성부(300)는 센싱부(100)의 센싱결과에 대응하는 시스템 제어명령을 상기 데이터베이스부(200)에서 추출하여 상기 시스템을 제어하기 위한 제어신호로 생성한다. 또한 제어신호 생성부(300)는 유/무선 송신부(310) 및 피드백 신호 발생부(320)를 포함한다.
유/무선 송신부(310)는 상기 제어신호 생성부(300)에서 생성된 제어신호를 시스템으로 전송하기 위해 구비되는 것으로 시스템과의 연결은 유선 방식 또는 무선 방식 중 어느 것을 사용하여도 무방하다.
피드백 신호 발생부(320)는 제어신호 생성부(300)에서 발생한 제어신호에 해당하는 촉각신호를 생성하여 사용자에게 피드백한다. 즉 컴퓨터 마우스의 좌.우 클릭, 스크롤 등을 판단하여 이에 대응하는 햅틱(진동)신호를 사용자에게 피드백한다.
이하에서는 상술한 제어신호 입력장치를 사용자의 손목에 착용되는 형태로 구현한 예에 대하여 설명한다.
도 4는 도 발명의 일 실시예에 따른 제어신호 입력장치를 암 밴드 타입으로 형성한 것을 설명하기 위한 도이다.
도 4에 도시된 바와 같이, 제어신호 입력장치(10)는 암 밴드 타입으로 제작됨이 가능하며, 이 때, 상술한 관성센서부(111)는 자이로 센서 또는 가속도 센서로 구비되어 팔의 롤(roll)자세를 인식한다. 근접센서 어레이부(121)는 복수 개의 근접센서들로 구비되어 사용자의 손목의 움직임을 센싱한다. 접촉센서부(131)는 손가락 자세를 인식하기 위해 사용자의 손목근육 부위에 접촉될 수 있는 위치에 형성된다.
이하에서는 본 발명에서 자세 인식에 따른 다양한 제어신호를 입력하는 방법을 도 5 - 도 5는 본 발명의 일 실시예 따른 제어신호 입력장치에서 자세 인식에 따라 다른 제어신호를 생성하는 과정을 설명하기 위해 도시한 도 - 를 참조하여 설명한다.
(1_1) : 자세 1 - 손바닥이 지면을 향해 있는 상태
(1_2) : 자세변화 - 손바닥이 지면을 향해 있는 상태에서 손을 세로로 돌리는 것 같은 손의 자세의 변화, 자세의 변화 인식은 손목에 부착된 가속도 센서의 기울기(tilt)값, 가속도값, 각속도 센서의 각속도 값 중 어느 하나 이상의 신호로 손의 자세를 센싱할 수 있다.
(1_3) : 자세 2 - 손바닥이 왼쪽(west)을 향한 상태 즉 손이 세로로 세워진 상태
(1_4) : 제스추어 A - 손바닥이 지면을 향한 상태(자세1)에서 손목을 아래로 구부린 제스추어로서 제스추어 A 는 좌클릭, 우클릭, 좌스크롤, 우스크롤, 상/하 스크롤에 대응할 수 있다.
(1_5) : 제스추어 B - 손바닥이 지면을 향한 상태(자세1)에서 손목을 위로 구부린 제스추어로서 제스추어 B 는 좌클릭, 우클릭, 좌스크롤, 우스크롤, 상/하스크롤에 대응할 수 있다.
(1_6) : 제스추어 C - 손바닥이 왼쪽(west)을 향한 상태(자세2), 즉 손이 세로로 세워진 상태에서 손목을 왼쪽으로 구부린 제스추어로서 제스추어 C 는 손목에 착용한 센서 입장에서는 제스춰 A와 같은 제스추어이나 자세를 인식하므로써 다른 제스추어로 맵핑된다. 즉 같은 제스춰로 두가지 입력신호를 만들어 낼 수 있다.
(1_7) : 제스추어 D - 손바닥이 오른쪽(east)을 향한 상태(자세2), 즉 손이 세로로 세워진 상태에서 손목을 오른쪽으로 구부린 제스추어로서 제스추어 D 는 손목에 착용한 센서 입장에서는 제스추어 B와 같은 제스추어이나 자세를 인식 하므로써 다른 제스추어로 맵핑된다. 즉 같은 제스춰로 두가지 입력신호를 만들어 낼 수 있다.
이상 상술한 바와 같이, 팔의 자세(기울기)를 먼저 인식하므로써 팔/손목/손가락 움직임 제스추어를 다른 제스추어로 인식하여 입력할 수 있게 되어 기존의 제스추어 입력 가지 수를 2배로 증가시킬 수 있다.
이하에서는 본 발명에 따라 생성되는 제어신호의 종류에 대해 설명한다.
도 6은 본 발명의 일 실시예에 따른 제어신호 입력장치에서 발생되는 제어신호의 종류에 대해 예시적으로 설명하기 위해 도시한 도이다.
(201) : 상하좌우 이동 입력 신호 - 상술한 관성센서부의 센서를 이용하여 팔의 움직임을 이용하여 컴퓨터 마우스의 좌표이동에 해당 되는 상하좌우 움직임(201)을 정의하고 해당 제스추어를 취함에 의해 컴퓨터 마우스 포인터의 상하좌우 움직임 또는 좌표를 추출한다. 즉, 예를들면, 관성센서(자이로 또는 가속도 센서)를 이용하여 팔을 아래위로 움직이면 마우스 커서가 상/하로 움직이고 좌우로 움직이면 마우스 커서가 좌우로 움직인다.
(202) : 좌 또는 우클릭 입력 신호 - 상술한 바 있는 근접센서 어레이부의 센서들을 이용하여 손목의 움직임을 이용하여 컴퓨터 마우스의 좌 또는 우클릭에 해당되는 좌/우클릭 움직임을 정의하고 해당 제스추어에 의해 컴퓨터 마우스의 좌 또는 우클릭을 입력신호 추출한다. 예를 들면, 손목을 공간상에서 아래로 구부리면 손목에 장착된 센서에 의해 근접 신호를 인식해서 좌측 클릭으로 인식하고 컴퓨터 마우스의 좌버튼 클릭에 해당하는 신호를 발생시킬 수 있다. 마찬가지로 손목을 위로 구부리면 마우스의 우버튼 클릭에 해당하는 신호를 발생시킬 수 있다.
또는, 상술한 접촉센서부의 압전(진동)센서를 이용하여 손가락의 움직임을 이용하여 컴퓨터 마우스의 좌 또는 우클릭에 해당되는 좌/우클릭 움직임을 정의하고 해당 제스추어에 의해 좌 또는 우클릭을 시스템의 입력신호로 추출할 수도 있다. 예를 들어 검지 손가락을 접으면 손목에 장착된 압전(진동)센서에 의해 좌측 클릭으로 인식하고 마우스의 좌버튼 클릭에 해당하는 신호를 발생시킬 수 있다. 마찬가지로 중지 손가락을 구부리면 마우스의 우버튼 클릭에 해당하는 신호를 발생시킬 수 있다.
(203) : 드래그 입력 신호 - 사용자의 팔 또는 손목의 움직임을 이용하여 컴퓨터 마우스의 드래그에 해당 되는 드래그 움직임을 정의하고 해당 제스추어에 의해 드래그 입력신호 추출할 수 있다.
(204) : 시작(스타트 포인트) 신호 - 상기 팔 또는 손목의 움직임을 이용하여 공간입력장치의 작동을 시작(start point)하는 시작 움직임을 정의하고 해당 제스추어에 의해 스타트 신호 추출할 수 있다.
(205) : up/down 스크롤 신호 - 컴퓨터 마우스의 up/down 스크롤에 해당 되는 up/down 스크롤움직임을 정의하고 해당 제스추어에 의해 up/down 스크롤 신호를 추출하는 것이 가능하다.
(206) : left/right 스크롤 신호 - left/right 스크롤에 해당 되는 left/right 스크롤움직임을 정의하고 해당 제스추어에 의해 left/right 스크롤 신호를 추출할 수 있다. 예를 들면, 이러한 동작은 도 5의 제스추어 C, D에 해당된다.
(207) : 화면 확대 또는 축소 신호 - 컴퓨터 화면의 확대 또는 축소에 해당 되는 움직임을 정의하고 해당 제스추어에 의해 화면의 확대 또는 축소 신호를 추출할 수 있다.
(208) : 객체의 좌/우 회전 신호 - 컴퓨터 화면상 객체의 좌우 회전에 해당 되는 움직임을 정의하고 해당 제스추어에 의해 컴퓨터 화면상의 객체를 좌우 회전 되도록 하는 제어신호를 추출할 수 있다.
(209) : 윈도우창을 최소/최대/종료 신호 - 컴퓨터 화면 윈도우 창의 최소/최대/종료 아이콘 클릭에 해당 되는 움직임을 정의하고 해당 제스추어에 의해 윈도우 창의 최소/최대/종료 하기 위한 제어신호를 추출할 수 있다.
다음으로 이하에서는 본 발명의 일 실시예에 따른 제어신호 입력방법에 대해 설명을 개시한다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 제어신호 입력방법에 대해 설명하기 위해 도시한 도이다.
도 7에 도시된 바와 같이, 제어신호 입력방법은, 데이터베이스를 구축하는 단계(S10), 자세를 센싱하는 단계(S20) 및 시스템 제어신호를 생성하는 단계(S30)를 포함한다.
S10단계는 사용자의 팔, 손목 및 손가락의 자세에 대응하는 시스템 제어명령을 정의하여 데이터베이스에 저장시키는 단계이다. S10단계에서 사용자는 상술한 제어신호 입력장치를 이용하여 시스템(컴퓨터)을 제어하기 위해 필요한 제어명령을 정의하여 상기 제어명령이 데이터베이스에 세팅한다.
S20단계는 사용자의 팔/손목/손가락의 위치 및 움직임 즉 사용자의 자세(제스추어)를 센싱하는 단계이고, S30단계는 S20단계에서 센싱된 결과에 해당하는 시스템 제어명령을 상기 데이터베이스로부터 추출하여 이를 시스템(컴퓨터) 제어를 위한 제어신호로 생성하는 단계이다. 여기서, S20단계 및 S30단계에 대해 보다 상세히 설명하기 위해서 도 8을 참조한다. S20단계 및 S30단계는 도 8에 도시된 바와 같이, 사용자의 팔의 움직임 여부를 측정하는 단계(S21), 사용자의 손목 및 손가락의 움직임 여부를 측정하는 단계(S22), S21단계 및 S22단계에서의 측정결과를 조합하여 하나의 센싱결과를 생성하는 단계(S23), 상기 센싱결과에 대응하는 시스템 제어신호를 생성하고 이러한 제어신호에 해당하는 촉각신호(햅틱신호)로서 사용자에게 피드백하기 위해 피드백 신호를 생성하는 단계(S31) 및 S31단계의 제어신호 및 피그백 신호를 전송하는 단계(S32)를 포함한다. 제어신호 입력방법의 구체적인 사항들은 제어신호 입력장치에서의 상세한 설명을 참조하는 것에 의해 충분히 이해될 있으므로 여기서는 명세서의 간략한 기재를 위해 중복 설명을 생략하기로 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명의 사상적 범주에 속한다.
10:제어신호 입력장치 100:센싱부
200:데이터베이스부 300:제어신호 생성부
111:관성센서부 121:근접센서 어레이부
131:접촉센서부

Claims (15)

  1. 시스템 제어를 위한 제어신호 입력장치에 있어서,
    사용자의 팔, 손목 및 손가락 중 어느 하나 이상의 조합에 의한 자세에 대응하는 미리 결정된 시스템 제어명령이 저장되는 데이터베이스부;
    사용자의 팔, 손목 및 손가락 중 하나 이상의 조합에 의한 자세를 센싱하는 센싱부; 및
    상기 센싱부의 센싱결과에 대응하는 시스템 제어명령을 상기 데이터베이스부에서 추출하여 상기 시스템을 제어하기 위한 제어신호로 생성하는 제어신호 생성부;
    를 포함하되, 상기 제어신호 생성부는
    상기 제어신호를 생성함과 동시에 상기 제어신호에 해당하는 촉각신호를 생성하여 사용자에게 피드백 하는 피드백 신호 발생부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  2. 제1항에 있어서, 상기 센싱부는
    사용자의 팔의 롤(roll)자세를 센싱하는 제1 센서부;
    사용자의 손목의 자세를 센싱하는 제2 센서부; 및
    사용자의 손가락의 자세를 센싱하는 제3 센서부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  3. 제2항에 있어서, 상기 제1 센서부는
    적어도 하나 이상의 자이로 센서 또는 가속도 센서를 구비하는 관성센서부; 및
    상기 관성센서부에서 센싱된 사용자의 팔의 롤(roll)자세를 상기 시스템을 제어하는 신호로 계산하는 팔 제스추어 계산부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  4. 제3항에 있어서, 상기 관성센서부는
    상기 자이로 센서의 각속도 값, 상기 가속도 센서의 기울기(tilt)값 및 상기 가속도 센서의 가속도 값 중 어느 하나 이상의 값을 이용하여 사용자의 팔의 롤(roll)자세를 센싱하는 것임을 특징으로 하는 제어신호 입력장치.
  5. 제4 항에 있어서, 상기 센싱부의 센싱결과는
    상기 관성센서부에서 센싱된 사용자 팔의 롤(roll)값과 상기 제2 센서부에서 센싱된 사용자 손목의 자세값과 상기 제3 센서부에서 센싱된 사용자 손가락의 자세값을 조합하여 생성된 것임을 특징으로 하는 제어신호 입력장치.
  6. 제2항에 있어서, 상기 제2 센서부는
    적어도 하나 이상의 센서를 근접센서를 배열하여 형성되는 근접센서 어레이부; 및
    상기 근접센서 어레이부에서 센싱된 사용자의 손목의 자세에 따른 신호를 상기 시스템을 제어하는 신호로 계산하는 손목 제스추어 계산부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  7. 제2항에 있어서, 상기 제3 센서부는
    사용자의 손가락 자세에 따른 손목 근육의 움직임을 센싱하기 위한 압전 센서 또는 진동 센서로 형성되는 접촉센서부; 및
    상기 접촉센서부에서 센싱된 사용자의 손가락의 자세에 따른 신호를 상기 시스템을 제어하는 신호로 계산하는 손가락 제스추어 계산부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  8. 삭제
  9. 제1항에 있어서, 상기 제어신호 생성부는
    상기 제어신호를 유/무선 형태로 전송하기 위한 유/무선 송신부를 포함하는 것을 특징으로 하는 제어신호 입력장치.
  10. 제1항에 있어서,
    상기 제어신호 입력장치는 사용자의 손목에 착용 가능하도록 암 밴드(arm-band)형태로 형성되는 것임을 특징으로 하는 제어신호 입력장치.
  11. 시스템 제어를 위한 제어신호 입력방법에 있어서,
    (a) 사용자의 팔, 손목 및 손가락 중 어느 하나 이상의 조합에 의한 자세에 대응하는 시스템 제어명령이 저장된 데이터베이스를 구축하는 단계;
    (b) 사용자의 팔, 손목 및 손가락의 자세를 센싱하는 단계; 및
    (c) 상기 센싱결과에 대응하는 시스템 제어명령을 추출하여 상기 시스템을 제어하기 위한 제어신호를 생성하는 단계;
    를 포함하되, 상기 (c)단계는
    상기 제어신호를 생성함과 동시에 상기 제어신호에 해당하는 촉각신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 제어신호 입력방법.
  12. 제11항에 있어서, 상기 (b)단계는
    (b1）사용자의 팔의 롤(roll)자세를 측정하는 단계;
    (b2) 사용자의 손목 및 손가락의 움직임 여부를 측정하는 단계; 및
    (b3) 상기 (b1) 및 (b2)의 측정결과를 조합하여 하나의 센싱결과를 생성하는 단계를 포함하는 것을 특징으로 하는 제어신호 입력방법.
  13. 제12항에 있어서, 상기 (b1)단계는
    가속도 센서를 사용하여 팔의 롤링(rolling)에 따른 가속도 센서의 기울기 값 또는 가속도 값을 이용하여 측정하거나, 자이로 센서를 사용하여 팔의 롤링(rolling)에 따른 각속도 값을 이용하여 측정하는 것임을 특징으로 하는 제어신호 입력방법.
  14. 삭제
  15. 제11항에 있어서, 상기 (c)단계 이후에
    (d) 상기 제어신호를 상기 시스템에 유/무선 형태로 전송하고 상기 촉각신호를 사용자에게 전달하는 단계를 포함하는 것을 특징으로 하는 제어신호 입력방법.
KR1020100116125A 2010-11-22 2010-11-22 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법 KR101413539B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100116125A KR101413539B1 (ko) 2010-11-22 2010-11-22 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
US13/224,498 US20120127070A1 (en) 2010-11-22 2011-09-02 Control signal input device and method using posture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100116125A KR101413539B1 (ko) 2010-11-22 2010-11-22 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법

Publications (2)

Publication Number Publication Date
KR20120054809A KR20120054809A (ko) 2012-05-31
KR101413539B1 true KR101413539B1 (ko) 2014-07-02

Family

ID=46063887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100116125A KR101413539B1 (ko) 2010-11-22 2010-11-22 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법

Country Status (2)

Country Link
US (1) US20120127070A1 (ko)
KR (1) KR101413539B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014330A1 (ko) * 2015-07-17 2017-01-26 전자부품연구원 웨어러블 장치 및 이를 이용한 정보 입력 방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497884B2 (en) 2009-07-20 2013-07-30 Motorola Mobility Llc Electronic device and method for manipulating graphic user interface elements
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
WO2014068371A1 (en) 2012-11-01 2014-05-08 Katz Aryeh Haim Upper-arm computer pointing apparatus
CN103869942A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 一种输入控制方法及佩戴式电子装置
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9798388B1 (en) * 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10156937B2 (en) 2013-09-24 2018-12-18 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
EP3049899A4 (en) 2013-09-24 2017-07-05 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
KR101497829B1 (ko) * 2013-09-30 2015-03-04 현대엠엔소프트 주식회사 모션 입력을 이용하는 손목시계형 장치
KR101499348B1 (ko) * 2013-10-08 2015-03-04 재단법인대구경북과학기술원 손목 밴드형 기기 제어장치
CN105706024A (zh) * 2013-10-24 2016-06-22 苹果公司 使用手腕移动的腕带设备输入
FR3014216B1 (fr) * 2013-12-03 2016-02-05 Movea Procede de reconnaissance continue de gestes d'un utilisateur d'un terminal mobile prehensible muni d'un ensemble capteur de mouvement, et dispositif associe
WO2015081568A1 (en) * 2013-12-06 2015-06-11 Nokia Technologies Oy Apparatus and method for user input
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
JP2015158747A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器
KR102244856B1 (ko) * 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
CN106255946B (zh) * 2014-04-28 2019-06-28 积水保力马科技株式会社 触摸传感器及手环式装置
JP6447917B2 (ja) * 2014-08-06 2019-01-09 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US10345893B2 (en) * 2014-11-17 2019-07-09 Lg Electronics Inc. Wearable device and control method therefor
KR20160075079A (ko) * 2014-12-19 2016-06-29 삼성전자주식회사 다른 전자 장치를 제어하는 전자 장치 및 제어 방법
US10362944B2 (en) * 2015-01-19 2019-07-30 Samsung Electronics Company, Ltd. Optical detection and analysis of internal body tissues
CN104679246B (zh) * 2015-02-11 2017-10-20 华南理工大学 一种交互界面中人手漫游控制的穿戴式设备及控制方法
KR101927323B1 (ko) * 2015-04-03 2018-12-10 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105162979B (zh) * 2015-08-26 2019-02-05 Oppo广东移动通信有限公司 一种来电静音控制方法及智能手表
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
CN108209932A (zh) * 2018-02-11 2018-06-29 西南交通大学 医疗监护系统以及医疗监护方法
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
WO2023034631A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof
US20230076068A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006020A (ko) * 2001-07-11 2003-01-23 삼성전자 주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014330A1 (ko) * 2015-07-17 2017-01-26 전자부품연구원 웨어러블 장치 및 이를 이용한 정보 입력 방법
US10884504B2 (en) 2015-07-17 2021-01-05 Korea Electronics Technology Institute Wearable wrist device and method of detecting a physical change in the epidermis and wirelessly inputting sensor information using the same

Also Published As

Publication number Publication date
KR20120054809A (ko) 2012-05-31
US20120127070A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR101413539B1 (ko) 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
US8031172B2 (en) Method and apparatus for wearable remote interface device
Rahman et al. Tilt techniques: investigating the dexterity of wrist-based input
EP2347321B1 (en) Command by gesture interface
US9841827B2 (en) Command of a device by gesture emulation of touch gestures
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
US9857868B2 (en) Method and system for ergonomic touch-free interface
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
JP2019537084A (ja) タッチセンサ式キーボード
KR101318244B1 (ko) 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
WO2010032268A2 (en) System and method for controlling graphical objects
US20110310013A1 (en) Interface apparatus and method for contact-free space input/output
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
KR20200005243A (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
KR20100074461A (ko) 동작 감지를 이용하여 제어하는 3차원 마우스 장치 및 방법
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
TWI471792B (zh) 近接暨觸控面板之多物件偵測方法
TWI455002B (zh) 近接手勢偵測裝置及方法
KR101686585B1 (ko) 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템
WO2016081425A1 (en) Device for intuitive dexterous touch and feel interaction in virtual worlds
CN109634417A (zh) 一种处理方法及电子设备
KR101759829B1 (ko) 센서를 이용하는 인터페이싱 방법, 웨어러블 디바이스 및 사용자 단말
Millan et al. Gesture-based control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee