KR19980082239A - 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법 - Google Patents

가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법 Download PDF

Info

Publication number
KR19980082239A
KR19980082239A KR1019970017037A KR19970017037A KR19980082239A KR 19980082239 A KR19980082239 A KR 19980082239A KR 1019970017037 A KR1019970017037 A KR 1019970017037A KR 19970017037 A KR19970017037 A KR 19970017037A KR 19980082239 A KR19980082239 A KR 19980082239A
Authority
KR
South Korea
Prior art keywords
hand
information
shape
movement
input
Prior art date
Application number
KR1019970017037A
Other languages
English (en)
Other versions
KR100244523B1 (ko
Inventor
송경준
김종성
변증남
민병의
Original Assignee
양승택
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승택, 한국전자통신연구원 filed Critical 양승택
Priority to KR1019970017037A priority Critical patent/KR100244523B1/ko
Publication of KR19980082239A publication Critical patent/KR19980082239A/ko
Application granted granted Critical
Publication of KR100244523B1 publication Critical patent/KR100244523B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인간의 동적 손 제스처를 실시간으로 인식하는 가상 현실용 인터페이싱 기법에 관한 것이다. 동적 손 제스처는 마우스나 키보드처럼 컴퓨터와 사람과의 상호 연결 수단 중의 하나이다. 사람의 손과 손가락은 사람마다 같은 동작이라도 변화가 다양하고 같은 동작을 반복해서 할 때에도 다른 데이터를 얻게 되는 시간에 따른 변화도 존재한다. 또한 손가락의 외형 및 물리적 구조가 사람마다 다르기 때문에 다른 두 사람에 의해 만들어진 같은 손 모양도 일반적인 센싱 장비에 의해 측정될 때 다른 측정값을 나타내므로 시간에 따른 손의 동적인 움직임을 보고 의미 있는 제스처로 판단하기가 매우 어렵다. 따라서 본 발명에서는 가상 환경에서 컴퓨터와 사람의 상호작용 도구로 사용하는 동적 손 제스처를 상태 오토마타 이론과 퍼지 이론을 도입한 특징 해석에 의해 기본 요소인 손의 운동을 분류하고 퍼지 최대-최소 신경망을 적용하여 손의 모양을 분류함으로써 인식의 확장성을 고려한 전체 손 제스처를 인식하는 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법이 제시된다.

Description

가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법
본 발명은 가상현실용 실시간 인터페이싱 시스템 및 그 동작 방법에 관한 것으로, 특히 가상 환경(Virtual Environment)에 존재하는 가상 물체(Avatar)를 이동하기 위해 기존의 마우스나 키보드 대신 센서 장갑을 이용할 경우, 사람에 관계없이 설정된 손 제스처 명령을 실시간으로 인식하여 사용자의 의도를 컴퓨터에 전달할 수 있는 상태 오토마타(State Automata)와 기본 요소 분류기를 이용한 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법에 관한 것이다.
최근에는 컴퓨터의 급속한 발전과 정보화 사회로의 진입에 힘입어 가상현실에 대한 관심이 고조되고 있다. 여기에서 가장 중요한 요소는 인간과 컴퓨터가 실시간으로 대화할 수 있는 방법에 관한 것이며 대부분 센서 장갑을 이용하여 연구가 진행 중에 있다.
종래의 센서 장갑을 이용한 인터페이싱 기술은 센서 장갑에서 들어오는 손에 대한 모든 정보를 인공 신경망 이론을 이용하여 일괄적으로 처리하기 때문에 인식 가능한 명령의 갯수에 제한이 있었다. 또한 인간의 손은 사람마다 골격 구조가 약간씩 다르고, 공간상에서 손의 움직임도 다양하기 때문에 센서 장갑을 사용하는 사람이 누구이든지 상관없이 손의 움직임을 잘 인식할 수 있는 시스템의 구현이 어렵고 동적인 손의 움직임을 감지해야 하므로 각 제스처 명령 사이를 구분하기 어려운 문제점이 있다. 또한 종래 기술의 경우에는 새로운 손 제스처 명령을 추가할 경우, 전체 인식 시스템을 다시 구현해야 했다. 따라서 기존의 시스템으로는 응용 분야에 따라 변화가 심한 손 제스처 명령을 쉽게 확장 또는 변경이 불가능하고 실시간으로 인식하는 시스템의 구현이 어려운 문제점이 있었다.
따라서, 본 발명은 동적인 손 제스처 명령의 특성을 분석하여 손의 움직임에 대한 특징 추출과 상태 오토마타에 의한 동적인 움직임의 분리(segmentation)를 가능하게 하고, 손의 움직임 방향과 손의 모양에 대한 기본 요소 분류기를 이용함으로써 손 제스처 명령의 확장에 쉽게 적용할 수 있으며 사람에 관계없이 실시간으로 인식이 가능한 가상현실용 실시간 인터페이싱 시스템 및 그 동작 방법을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 구조는 연속적인 손의 움직임에 대한 표본 데이터를 메인 컴퓨터로 입력하는 센서 장갑과, 상기 메인 컴퓨터로 입력된 연속적인 손의 움직임에 대한 표본 데이터를 손의 모양과 방향으로 분배하는 분배기와, 상기 분배기를 통해 입력된 손의 방향에 대한 다차원 정보를 실시간으로 분석하여 데이터의 양을 줄이고 손의 다양한 움직임에서 특징으로 추출하는 특징 추출부와, 상기 특징 추출부에서 추출된 손의 움직임에 대한 정보를 이용하여 의미 있는 손 제스처 명령을 분리하는 동작 분리기와, 상기 손의 방향에 대한 정보와 손의 모양에 대한 정보를 이용하여 현재까지의 손의 움직임과 손가락의 굽힘 정도를 분류하는 기본 요소 분류기와, 상기 기본 요소 분류기를 통해 입력된 손의 방향과 모양에 대한 결과를 결합하여 온라인으로 연속적인 가상현실용 동적 손 제스처를 인식하게 해주는 동작 판단기로 구성된 것을 특징으로 한다.
또한 상술한 목적을 달성하기 위한 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 동작 방법은 사용자가 손 제스처 명령을 시작함에 따라 센서 장갑으로부터 많은 손의 움직임에 대한 연속적인 표본 데이터가 시스템으로 입력되는 단계와, 상기 입력된 손의 움직임에 대한 연속적인 표본 데이터를 방향 정보와 손의 굽힘에 대한 각을 포함하는 모양 정보의 두 정보로 분배하는 단계와, 상기 입력된 손의 움직임의 정보 중 방향 정보의 특징을 추출하는 단계와, 상기 추출된 데이터를 이용하여 연속적인 손의 움직임들 중에서 3차원 공간상에 이미 정의되어 있는 의미 있는 손 제스처 명령을 분리하기 위해 상태 오토마타 이론을 이용하여 동작을 분리하는 단계와, 상기 추출된 특징과 동작의 시작부터 끝까지의 손 움직임에 대한 정보를 사용하여 퍼지 규칙에 의해 추론을 실행하여 손의 방향을 분류하는 단계와, 상기 입력된 손의 움직임의 정보 중 모양 정보를 퍼지 최대-최소 신경망 분류기에 넣어서 이미 정의된 손의 모양 중에서 현재 손의 모양의 소속 정도를 판단하여 손의 모양을 분류하는 단계와, 상기 분류한 손의 방향과 손의 모양을 결합하여 이미 정의된 손 제스처 명령과 일치하는 동작으로 최종 분류하는 단계로 이루어진 것을 특징으로 한다.
도 1은 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 블럭도.
도 2는 가상현실용 인터페이스에 사용되는 기본 손 제스처 명령들을 나타내는 손의 상태도.
도 3(a) 및 3(b)는 손 방향에 대한 기본 요소 집단에 대한 상태도.
도 4(a) 내지 4(f)는 손 모양에 대한 기본 요소 집단에 대한 상태도.
도 5는 본 발명에 따른 상태 오토마타의 상태도.
도 6(a) 내지 6(c)는 손의 방향에 대한 분류를 수행하기 위한 퍼지규칙과 소속함수의 상태도.
도 7은 손의 모양에 대한 분류를 위한 퍼지 최대-최소 분류기의 구조도.
도 8은 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 동작 과정을 도시한 흐름도.
도면의 주요 부분에 대한 부호 설명
1 : 장갑 기본 센서 2 : 메인 컴퓨터
3 : 분배기 4 : 특징 추출부
5 : 동작 분리기 6 : 방향 분류기
7 : 퍼지 최대-최소 신경망(FMMN network) 분류기
8 : 동작 판단기
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 블럭도로서, 다차원의 정보를 가지고 있는 손의 정보를 실시간으로 처리하기 위한 특징 추출부(4)와 추출된 손의 움직임에 대한 정보를 이용하여 의미 있는 손 제스처 명령을 분리해 내는 동작 분리기(5) 그리고 이때까지의 손의 움직임과 손가락의 굽힘 정도를 분류하는 기본 요소 분류기(6 및 7) 및 모든 결과를 종합하여 수행한 손 제스처 명령의 결과를 알려주는 동작 판단기(8)로 구성되어 있다.
장갑 기본 센서(1)를 통해 메인 컴퓨터(2)로 입력되는 연속적인 표본 데이터(continuous sampled data)는 분배기(Distributor)(3)에서 손의 모양에 대한 정보와 손의 방향에 대한 정보로 나누어지며 손의 방향에 대한 정보는 특징 추출부(Feature Extractor)(4)로 입력된다. 특징 추출부(Feature Extractor)(4)에서는 손의 다양한 동적인 움직임을 실시간으로 분석하고 데이터의 양을 줄이기 위해 손의 방향에 대한 특징을 추출한다. 이후 추출되어 축약된 데이터를 이용하여, 3차원 공간상에서 움직이는 손의 움직임 중 미리 정의되어 있는 의미 있는 손 제스처 명령은 동작 분리기(Motion Extractor)(5)에서 상태 오토마타 이론을 이용하여 동작이 분리된다. 이때, 그 동안의 손의 움직임 즉, 의미 있는 손의 움직임이 시작되어서 끝났을 때까지의 손의 움직임에 대한 정보를 기본 요소 분류기 중 방향 분류기(Direction Decision Function)(6)에서 추출된 특징들을 사용하여 퍼지 규칙에 의한 추론을 실행하면 현재까지의 움직임이 미리 정의된 기본 방향과의 소속 정도로 표현되고 임계치를 초과하는 최대값을 나타내는 것이 해당 손의 방향이 된다. 또한 분배기(3)에서 입력된 현재의 손의 모양에 대한 정보는 기본 요소 분류기 중 퍼지 최대-최소 신경망(FMMN Network) 분류기(7)에 입력되어 미리 정의된 손의 모양 중에서 현재의 모양이 어디에 가장 소속 정도가 높은지를 나타내고 임계값을 넘는 최대값을 나타내는 부분이 인지된 손의 모양이 된다. 이상과 같은 기본 요소 분류의 결과인 손 방향, 손 모양에 대한 결과를 동작 판단기(Gesture Determining Function)(8)에서 결합하여 현재까지 움직인 손의 제스처가 미리 정의된 손 제스처 명령과 일치하는 동작으로 최종 분류하게 된다.
도 2는 가상현실용 인터페이스에 사용되는 기본 손 제스처 명령들을 나타내는 손의 상태도로서, 가상현실용 인터페이스에서 컴퓨터와 사용자 사이에 명령 전달을 위해 정의된 10가지의 기본 손 제스처 명령을 나타낸 것이다. 10가지의 기본 손 제스처 명령은 전위(forward), 후위(backward), 좌(left), 우(right), 정지(stop), 상승(up), 하강(down), 좌우운동(hello), 추적(tracking) 및 잡기(grab)로 이루어지며 이러한 손 제스처 명령들은 본 발명에 사용된 기법을 이용할 경우 전체 시스템의 수정 없이 쉽게 확장 가능하다.
도 3(a) 및 3(b)는 손의 방향에 대한 기본 요소 집단에 대한 상태도이고 도 4(a) 내지 4(f)는 손의 모양에 대한 기본 요소 집단에 대한 상태도이다. 이것은 도 2에서 보인 제스처에서 본 발명이 제안하는 기본 요소 중 손의 방향에 대한 집단을 분류한 것이며 도 2의 손 제스처 명령이 확대되는 경우에도 쉽게 확장이 가능하다.
센서 장갑에서 주기적으로 들어오는 신호중 x, y, z 좌표의 3차원 위치 정보를 받아서 특징 추출이 이루어지는 과정은 다음과 같다. 3차원 위치 정보로는 동작 끝 위치(relative Ending Position ;이하 EP라 함), 누적 운동 거리(Cumulative length ;이하 CL이라 함) 및 방향 변화(Change of Direction ;이하 CD라 함) 횟수가 이용된다.
먼저 EP는 동작 시작점을 기준으로한 동작 끝의 상대적 위치를 나타내며 EPx,y,z= Rx,y,z(k) - Rx,y,z(0) 의 관계식이 성립한다. 이때, Rx,y,z(0)은 동작 시작 위치를 나타내고 k는 1/15초의 시간 단계를 나타낸다.
CL은 손 제스처의 운동 시작 이후 매 순간의 각 축에 대한 각각의 이동 거리를 누적한 값을 나타내며 CLx,y,z(k) = CLx,y,z(k-1) + Lx,y,z(k)의 관계식이 성립한다. 이때 Lx,y,z(k)=｜Rx,y,z(k) - Rx,y,z(k-1)｜을 나타낸다.
CD 횟수는 왕복 운동의 경우를 고려하여 x축에 대한 방향 변화의 횟수를 표시하며 CDx = CDx + f(x)의 관계식이 성립한다. 이때 [Rx(k) - Rx(k-1)] × [Rx(k-1) - Rx(k-2)]가 0보다 작은 경우에는 f(x) = 1이고 그 외의 경우에는 f(x) = 0의 값을 갖는다.
특징 추출기(4)에서는 상기의 3가지 특징들을 실시간으로 얻어서 축약된 각각의 정보를 의미 있는 동작으로 분류하기 위한 상태 오토마타에 입력하게 된다.
도 5는 본 발명에 따른 상태 오토마타의 상태도이다. 손의 다양한 임의의 움직임 중에서 실제로 본 발명이 의도하는 가상현실용 손 제스처 명령을 분리하기 위해 다음의 [표 1]과 같은 동작 상태를 구분하였다. 각 동작 상태는 추출된 특징들을 이용하여 상태 오토마타의 상태도에 의해 연속적인 손의 움직임들 중에서 의미 있는 동작들에 대한 의미 있는 손 제스처 상태를 분리하게 된다.
[표 1]
동작상태 상태설명 현재위상
q0 손 운동이 없는 상태, 손 제스처 수행을 위한 준비 상태이거나 이동을 위한 저 속의 움직임 또는 의도하지 않은 작은 움직임 상태 정지위상(0)준비위상(1)동작끝 위상(4)
q1 제스처가 시작될 때 수행되는 초기에 강한 움직임 상태, 스트로크가 발생하지 않은 상태에서 수행되는 운동 상태, 스트로크가 발생한 후에 수행되는 운동 상태, 동작 진행 중 스트로크가 발생한 상태, 의미 있는 동작 끝 위상 후 발생하는 반복 동작 수행 상태 스트로크 위상(2)동작진행 위상(3)동작끝 위상(4)
q2 스트로크가 있었던 움직임 중에 발생한 동작끝 위상, 의미 있는 동작 끝 동작끝 위상(4)
q3 의도적인 제스처 수행이 끝난 상태 준비 위상(1)정지 위상(0)
q4 의도적인 제스처 수행 후 발생한 정지 상태 정지 위상(0)
도 6(a) 내지 6(c)는 손의 방향에 대한 분류를 수행하기 위한 퍼지 규칙과 소속함수의 상태도이다. 상태 오토마타에서 현재까지의 움직임이 의미 있는 손 제스처의 움직임으로 선정되면 본 발명에서 사용하려고 하는 기본 요소 분류기 중 먼저 방향 분류기(6)를 이용하여 손의 움직인 방향에 대한 정보를 판단하게 된다. 도 3(a) 및 3(b)에서 보인 각 방향에 대해 언어적인 방법으로 퍼지 규칙을 만들고 이들을 실시간으로 최대-최소 추론하기 위한 손의 방향에 대한 분류를 [표 2]에 나타내었다. 이것은 상기한 3차원 위치 정보 즉, EP, CL, CD와 퍼지규칙에 사용되는 라벨(label)을 이용하여 논리식으로 표현된다. 여기에서 쓰인 퍼지규칙에 사용되는 라벨은 영점(ZO)을 중심으로 음의 방향과 양의 방향으로 대, 중, 소를 나눈 것이며, 음의 대(Negative Large ;NL), 음의 중(Negative Medium ;NM), 음의 소(Negative Small ;NS), 영점(ZerO ;ZO), 양(POsitive ;PO), 양의 소(Positive Small ;PS), 양의 중(Positive Medium ;PM) 및 양의 대(Positive Large ;PL)로 표현된다.
수평 우향 운동의 경우를 예로 설명해 보면, 언어적으로는 수평 방향의 오른쪽 방향으로의 운동이 있으며 수직 방향이나 전후 방향의 운동이 거의 발생하지 않고 시작점을 기준으로 수평 우측 방향에서 동작이 끝난다. 그리고 동작 중에 방향 변화는 일어나지 않는다. 이에 대한 퍼지 명제 논리식에 의한 표현은 다음과 같다.
(CLx= PM or CLx= PS) and (CLy= ZO) and
(EPx= PM or EPx= PL) and CDx= ZO and CLx= ZO
도 6의 x축은 상기의 EP, CL, CD 와 같은 3차원 위치 정보에 대한 실제 입력되는 값을 나타내고 y축은 소속함수 값을 나타낸다.
[표 2]
운동방향 규 칙
D1(수평우향) (CLx=PM or CLx=PS) and (CLy=ZO) and(EPx=PM or EPx=PL) and CDx=ZO and CLZ=ZO
D2(수평좌향) (CLx=PM or CLx=PS) and (CLy=ZO) and(EPx=NM or EPx=NL) and CDx=ZO and CLZ=ZO
D3(수평좌우) (CLx=PM or CLx=PL) and (CLy=ZO or CLy=PS)and (EPx=ZO or EPx=PL or EPx=NL) and CDx=PO
D4(수직상승) CLx=ZO and (CLy=PS or CLy=PM)and (EPy=PM or EPy=PL) and CLz=ZO
D5(수직하강) CLx=ZO and (CLy=PS or CLy=PM)and (EPy=NM or EPy=NL) and CLz=ZO
D6(전방) (CLz=PM or CLz=PS) and (CLy=ZO or CLy=PS)and (EPz=PM or EPz=PL) and CLx=ZO
D7(후방) (CLz=PM or CLz=PS) and (CLy=ZO or CLy=PS)and (EPz=NM or EPz=NL) and CLx=ZO
도 7은 손의 모양에 대한 분류를 위한 퍼지 최대-최소 분류기의 구조도이다. 손의 방향에 대한 분류가 정해지면 다음에는 기본 요소 중 손의 모양에 대한 분류를 도 7에 나타낸 P.K. Simpson이 제안한 퍼지 최대-최소 신경망(FMMN Network) 분류기에 넣는다. 퍼지 최대-최소 분류기에서는 미리 정의된 손의 모양 중에서 현재의 모양이 어디에 가장 소속 정도가 높은지를 나타내고 임계값을 넘는 최대값을 나타내는 부분이 인지된 손의 모양이 되며 그 결과가 소속정도로 표현된다. 제일 아래쪽 Fa단은 입력노드(input node) 부분으로 각 손가락 마다 2개씩 10개의 손의 굽힘에 대한 각도 정보를 0과 1사이의 값으로 정규화(normalization)하여 입력한다. Fa와 Fb단 사이의 초월상자 노드(hyperbox node)는 구성하는 초월상자(hyperbox)의 최소(v), 최대(w)값을 나타내고 있다. Fb단은 각각에 대한 소속함수 값을 표현하고 있으며 Fc사이에 있는 U는 출력집단노드(class node)와의 소속여부를 결정하는 0 또는 1의 값을 갖는 노드이다. 최종 출력단인 Fc는 이러한 결과를 요약하여 최대의 소속함수 값을 나타내는 집단(class)으로 입력에 대한 분류 결과를 나타낸다.
지금까지의 결과를 결합하여 실시간으로 움직이는 연속적인 다양한 손 제스처 중에서 가상현실용 손 제스처를 분류하여 결과를 인식하게 된다.
도 8은 본 발명에 따른 가상현실용 실시간 인터페이싱 시스템의 동작 과정을 도시한 흐름도이다. 사용자(signer)가 손 제스처 명령을 시작함에 따라 시스템이 초기화되고 센서 장갑으로부터 많은 데이터가 시스템으로 입력된다(10). 특징 해석법은 이러한 입력 데이터를 특징을 포함하는 작은 데이터 집단으로 만들고 연속적인 다양한 손의 움직임 제스처 중에서 의미 있는 동작을 분리하는 상태 오토마타와 기본적인 7가지 방향을 인식하기 위해 전처리 과정으로 사용되어진다(20). 모든 동작의 시작은 3차원 공간상의 임의의 위치에서 이루어 질 수 있으며 특징 추출 과정에서 1인치 이하의 미소한 움직임은 무시되기 때문에 가상현실 공간에서 작업할 때 생기는 사용자의 약간의 손 떨림 또는 작은 손의 움직임 등은 무시할 수 있게 된다. 일단 미소 범위 이상의 동작이 시작되면 특징 추출부(4)에서 특징 추출 과정이 진행된다(30). 특징 추출 후 상태 오토마타를 이용하여 추출된 움직임이 가상현실용 손 제스처인지를 판단(40)한다. 판단결과 가상현실용 제스처가 아닌 경우는 단계(20)부터 다시 수행한다. 판단 결과 가상현실용 제스처인 경우는 퍼지 추론을 진행하고 현재의 손의 움직임에 대한 소속함수 값을 얻기 위해 동작 분리기(5)에서 상태 오토마타에 의한 동작 분리 과정이 수행된다. 이때 도 2의 '정지', '추적', '잡기' 명령의 경우는 손의 방향에 상관없이 움직임만을 확인할 필요가 있는 명령이므로 7가지의 방향에 대한 정보는 의미가 없다. 일단 현재의 동작에서 방향 분류기(6)에 의해 방향이 분류되면(50) 이때 손의 모양에 대한 정보가 상술한 퍼지 최대-최소 신경망 분류기(7)로 입력되어 6가지 손 모양 중의 하나로 분류(60) 된다. 이후 동작 판단기(8)에서 두 결과를 결합함으로써 온라인으로 연속적인 가상현실용 동적 손 제스처를 인식(70)하게 된다. 이후 다른 손 제스처 명령이 입력되는지 판단(80)하여 입력이 있는 경우는 단계(20)부터 다시 수행하고 입력이 없는 경우는 종료한다.
상술한 바와 같이 본 발명에 따르면 컴퓨터와 인간의 상호작용이 더욱 긴밀하게 진행될 정보화 사회에서 동적인 손 제스처 명령을 확장해 나갈 때 전체 인식 방법의 변경 없이 쉽게 높은 인식률의 인터페이싱 시스템을 유지하여 다양한 명령을 인간이 컴퓨터에 손 제스처로 줄 수 있으며, 향후 수화(sign language) 등 다양한 손 제스처를 인식함으로써 청각 장애자와 정상인의 대화 시스템에도 유용하게 활용 할 수 있는 탁월한 효과가 있다.

Claims (3)

  1. 연속적인 손의 움직임에 대한 표본 데이터를 메인 컴퓨터로 입력하는 센서장갑과,
    상기 메인 컴퓨터로 입력된 연속적인 손의 움직임에 대한 표본 데이터를 손의 모양과 방향으로 분배하는 분배기와,
    상기 분배기를 통해 입력된 손의 방향에 대한 다차원 정보를 실시간으로 분석하여 데이터의 양을 줄이고 손의 다양한 움직임에서 특징으로 추출하는 특징 추출부와,
    상기 특징 추출부에서 추출된 손의 움직임에 대한 정보를 이용하여 의미 있는 손 제스처 명령을 분리하는 동작 분리기와,
    상기 손의 방향에 대한 정보와 손의 모양에 대한 정보를 이용하여 현재까지의 손의 움직임과 손가락의 굽힘 정도를 분류하는 기본 요소 분류기와,
    상기 기본 요소 분류기를 통해 입력된 손의 방향과 모양에 대한 결과를 결합하여 온라인으로 연속적인 가상현실용 동적 손 제스처를 인식하게 해주는 동작 판단기로 구성된 것을 특징으로 하는 가상현실용 실시간 인터페이싱 시스템의 구조.
  2. 제 1 항에 있어서 상기 기본 요소 분류기는 상기 특징 추출기에서 추출된 특징들과 손의 동작 분리기에서 얻은 움직임에 대한 정보를 이용하여 퍼지 규칙에 의해 추론을 수행하는 방향 분류기와,
    상기 분배기를 통해 입력된 손의 모양에 대한 정보를 이미 정의된 손의 모양 중에서 현재의 손의 모양이 어디에 가장 소속 정도가 높은지 나타내는 퍼지 최대-최소 신경망 분류기로 구성된 것을 특징으로 하는 가상현실용 실시간 인터페이싱 시스템의 구조.
  3. 사용자가 손 제스처 명령을 시작함에 따라 센서 장갑으로부터 많은 손의 움직임에 대한 연속적인 표본 데이터가 시스템으로 입력되는 단계와,
    상기 입력된 손의 움직임에 대한 연속적인 표본 데이터를 방향 정보와 손의 굽힘에 대한 각을 포함하는 모양 정보의 두 정보로 분배하는 단계와,
    상기 입력된 손의 움직임의 정보 중 방향 정보의 특징을 추출하는 단계와,
    상기 추출된 데이터를 이용하여 연속적인 손의 움직임들 중에서 3차원 공간상에 이미 정의되어 있는 의미있는 손 제스처 명령을 분리하기 위해 상태 오토마타 이론을 이용하여 동작을 분리하는 단계와,
    상기 추출된 특징과 동작의 시작부터 끝까지의 손 움직임에 대한 정보를 사용하여 퍼지 규칙에 의해 추론을 실행하여 손의 방향을 분류하는 단계와,
    상기 입력된 손의 움직임의 정보 중 모양 정보를 퍼지 최대-최소 신경망 분류기에 넣어서 이미 정의된 손의 모양 중에서 현재 손의 모양의 소속 정도를 판단하여 손의 모양을 분류하는 단계와,
    상기 분류한 손의 방향과 손의 모양을 결합하여 이미 정의된 손 제스처 명령과 일치하는 동작으로 최종 분류하는 단계로 이루어진 것을 특징으로 하는 가상현실용 실시간 인터페이싱 시스템의 동작 방법.
KR1019970017037A 1997-05-02 1997-05-02 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment) KR100244523B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970017037A KR100244523B1 (ko) 1997-05-02 1997-05-02 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970017037A KR100244523B1 (ko) 1997-05-02 1997-05-02 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)

Publications (2)

Publication Number Publication Date
KR19980082239A true KR19980082239A (ko) 1998-12-05
KR100244523B1 KR100244523B1 (ko) 2000-02-01

Family

ID=19504787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970017037A KR100244523B1 (ko) 1997-05-02 1997-05-02 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)

Country Status (1)

Country Link
KR (1) KR100244523B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003010652A1 (en) * 2001-07-24 2003-02-06 Samsung Electronics Co., Ltd. Method and apparatus for selecting information in multi-dimensional space
KR100478953B1 (ko) * 2001-08-09 2005-03-28 고나미스포츠라이프가부시키가이샤 평가프로그램을 기록한 기록매체, 타이밍 평가 장치 및 타이밍 평가 시스템
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
KR20200085358A (ko) * 2014-12-08 2020-07-14 로힛 세스 착용가능 무선 hmi 디바이스

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803200B1 (ko) * 2001-07-11 2008-02-14 삼성전자주식회사 신체의 관절 각도를 이용한 정보 입력 장치 및 방법
KR101121746B1 (ko) 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612163A (ja) * 1992-06-26 1994-01-21 Canon Inc 手話データ入力装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003010652A1 (en) * 2001-07-24 2003-02-06 Samsung Electronics Co., Ltd. Method and apparatus for selecting information in multi-dimensional space
KR100478953B1 (ko) * 2001-08-09 2005-03-28 고나미스포츠라이프가부시키가이샤 평가프로그램을 기록한 기록매체, 타이밍 평가 장치 및 타이밍 평가 시스템
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US7849421B2 (en) 2005-03-19 2010-12-07 Electronics And Telecommunications Research Institute Virtual mouse driving apparatus and method using two-handed gestures
KR20200085358A (ko) * 2014-12-08 2020-07-14 로힛 세스 착용가능 무선 hmi 디바이스
KR20210153163A (ko) * 2014-12-08 2021-12-16 로힛 세스 착용가능 무선 hmi 디바이스

Also Published As

Publication number Publication date
KR100244523B1 (ko) 2000-02-01

Similar Documents

Publication Publication Date Title
Mariappan et al. Real-time recognition of Indian sign language
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Yang et al. A cognitive system for understanding human manipulation actions
Lee et al. Real-time recognition system of Korean sign language based on elementary components
Verma et al. Vision based hand gesture recognition using finite state machines and fuzzy logic
CN110472506B (zh) 一种基于支持向量机和神经网络优化的手势识别方法
Ariesta et al. A Survey of Hand Gesture Recognition Methods in Sign Language Recognition.
Mahmood et al. Dynamic hand gesture recognition system for kurdish sign language using two lines of features
Lamari et al. Hand alphabet recognition using morphological PCA and neural networks
Gaus et al. Hidden Markov Model-Based gesture recognition with overlapping hand-head/hand-hand estimated using Kalman Filter
Kumar et al. A hybrid gesture recognition method for American sign language
KR100244523B1 (ko) 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)
Nandwana et al. A survey paper on hand gesture recognition
Devi et al. Dance gesture recognition: a survey
Singh et al. A Review For Different Sign Language Recognition Systems
Lahiani et al. Real Time Static Hand Gesture Recognition System for Mobile Devices.
Fahad et al. Deep learning-based deaf & mute gesture translation system
Kaur et al. Deep learning for dynamic hand gesture recognition: Applications, challenges and future scope
Trigueiros et al. Vision-based gesture recognition system for human-computer interaction
Bhuyan et al. Continuous hand gesture segmentation and co-articulation detection
Bouchrika et al. A new hand posture recognizer based on hybrid wavelet network including a fuzzy decision support system
Min et al. Visual recognition of static/dynamic gesture: Gesture-driven editing system
Panduranga et al. Dynamic hand gesture recognition system: a short survey
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Bakheet A fuzzy framework for real-time gesture spotting and recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071024

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee