KR20060053348A - 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체 - Google Patents

손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체 Download PDF

Info

Publication number
KR20060053348A
KR20060053348A KR1020040093023A KR20040093023A KR20060053348A KR 20060053348 A KR20060053348 A KR 20060053348A KR 1020040093023 A KR1020040093023 A KR 1020040093023A KR 20040093023 A KR20040093023 A KR 20040093023A KR 20060053348 A KR20060053348 A KR 20060053348A
Authority
KR
South Korea
Prior art keywords
hand
vector
joint angle
region boundary
finger joint
Prior art date
Application number
KR1020040093023A
Other languages
English (en)
Other versions
KR100617976B1 (ko
Inventor
장효영
도준형
정진우
박광현
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020040093023A priority Critical patent/KR100617976B1/ko
Publication of KR20060053348A publication Critical patent/KR20060053348A/ko
Application granted granted Critical
Publication of KR100617976B1 publication Critical patent/KR100617976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다수의 카메라로부터 촬영한 2차원 영상정보와 손가락 관절 각도정보를 이용하여 손모양 데이터베이스를 구축하는 장치 및 방법과, 상기 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법에 관한 것이다. 또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이기도 하다.
본 발명에 따른 손모양 데이터베이스 구축방법은, 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 구축장치가 상기 2차원 손영상으로부터 손영상기반특징벡터를 생성하고, 상기 손영상기반특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 관절각도기반특징벡터를 생성하고, 상기 관절각도기반특징벡터 상호간 연결강도를 추출하는 3차원특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와, 상기 손영상기반특징벡터 상호간 연결강도와, 상기 관절각도기반특징벡터와, 상기 관절각도기반특징벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데 이터베이스에 저장하는 단계를 구비한다.
손영상, 관절각도, 유사도, 연결벡터, 연결강도

Description

손모양 데이터베이스 구축장치 및 방법과, 손모양 인식장치 및 방법과, 기록매체{Hand-posture database construction, hand-posture recognition, and recording medium}
도 1은 손모양 데이터베이스 구성을 위한 데이터 획득 환경을 도시한 도면,
도 2에 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축장치의 기능 블록도,
도 3에 손모양데이터베이스의 2차원특징층의 구조도,
도 4는 손모양데이터베이스의 3차원특징층의 구조도,
도 5는 손모양데이터베이스의 층간연결특징의 구조도,
도 6은 본 발명에 따른 손모양데이터베이스의 구조도,
도 7a와 도 7b는 본 발명의 한 실시예에 따른 손모양데이터베이스 구축방법을 도시한 동작 흐름도,
도 8은 도 8의 손영역경계특징벡터 추출 서브루틴의 상세 동작 흐름도,
도 9는 본 발명의 한 실시예에 따른 보상학습과정을 도시한 동작 흐름도,
도 10은 본 발명의 한 실시예에 따른 손모양 인식장치의 기능 블록도,
도 11은 본 발명의 한 실시예에 따른 손모양 인식방법을 도시한 동작 흐름도 이다.
< 도면의 주요 부분에 대한 부호의 간단한 설명 >
21; 손영상획득부 22; 손영역추출부
23; 2차원특징추출부 24; 손관절각도정보획득부
25; 3차원특징추출부 26; 층간연결특징추출부
27; 손모양데이터베이스
본 발명은 손모양 인식 기술에 관한 것으로서, 보다 상세하게는 다수의 카메라로부터 촬영한 2차원 영상정보와 손가락 관절 각도정보를 이용하여 손모양 데이터베이스를 구축하는 장치 및 방법과, 상기 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법에 관한 것이다. 또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이기도 하다.
일상 생활에서 컴퓨터의 활용도가 높아지고 가상현실에 대한 관심이 높아지면서 이에 따른 새로운 사용자 인터페이스 장치에 대한 연구가 진행되고 있다. 과거 텍스트 기반 컴퓨터 환경에서 그래픽사용자인터페이스(Graphic User Interface) 환경으로 발전하는 과정에서 기존의 키보드에 더하여 마우스가 주요한 인터페이스 장치로 부각되었듯이 앞으로 3차원 공간상에서 현실세계를 모사하는 가상현실 기술이 개발되면 이에 적합한 새로운 인터페이스 장치가 요구될 것이다.
이러한 새로운 인터페이스 장치에 대한 개발의 필요성에 의해 손의 모양이나 움직임 궤적을 인식하고 이를 이용하여 시스템을 제어하기 위한 다양한 연구들이 진행되고 있다. 현재까지는 접촉식 센서 및 일부 카메라 시스템을 이용한 수신호 인식시스템이 발표되고 있다. 손의 모양이나 움직임 궤적을 인식하는 종래기술로는 대한민국공개특허 제1999-61763호, 제1999-46908호, 제2000-45611호, 및 제2004-42002호 등이 있다. 이 종래기술들은 사용자의 몸에 별도의 장치를 부착하지 않고 카메라로 촬영한 2차원 영상만을 이용하여 손 자세를 인식하거나, 인식한 손 자세를 컴퓨터와 사람간의 상호 정보 전달에 사용한다. 그러나, 손은 높은 자유도와 부드러운 윤곽선을 가진 물체이기 때문에 기존의 2차원 평면 영상만을 이용하면 손 자세를 정확하게 인식하는 데에 한계가 있는 문제점이 있다.
또한, 별도의 부착장치없이 카메라만을 이용하여 손모양데이터베이스를 구축하고 그 손모양데이터베이스를 이용하여 손모양을 인식할 경우에는, 사용자가 카메라 정면에서 손모양을 취해야 손모양의 정확한 인식이 가능해지는 문제점이 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 다수의 카메라로부터 촬영한 2차원 평면 영상정보와 손가락 관절 각도정보를 이용하여 2차원특징층과, 3차원특징층과, 각 특징층내 연결강도 및 특징층간 연결벡터 를 저장하는 손모양 데이터베이스 구축장치 및 방법을 제공하기 위한 것이다.
또한, 본 발명은 상술한 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법을 제공하기 위한 것이다.
또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 손모양 데이터베이스 구축장치는, 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와; 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출부와; 상기 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득부와; 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출부와; 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 추출하는 층간연결특징추출부와; 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 저장하는 손모양데이터베이스를 구비한 것을 특징으로 한다.
또한, 본 발명에 따른 손모양 데이터베이스 구축장치에서의 손모양 데이터 구축방법은, 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와; 상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 한다.
또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 손모양 데이터베이스 구축방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
또한, 본 발명에 따른 손모양 인식장치는, 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와; 상기 2차원 손영상으로부터 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특 징벡터를 생성하는 2차원특징추출부와; 손영역경계특징벡터, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스와; 상기 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부를 구비한 것을 특징으로 한다.
또한, 본 발명에 따른 손모양 인식방법은, 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에서의 손모양 인식방법에 있어서, 상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와; 상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와; 상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 손모양 인식방법을 실행 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축장치 및 방법과, 손모양 인식장치 및 방법과, 손모양 데이터베이스 구축방법 및 손모양 인식방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 보다 상세하게 설명하면 다음과 같다.
도 1은 손모양 데이터베이스 구성을 위한 데이터 획득 환경을 도시한 도면이다. 이 데이터 획득 환경은 다수의 카메라(10)와 손가락 관절각도 측정장치(11)로 이루어진다. 다수의 카메라(10)는 동일 직선상에 위치하지 않으며 각기 다른 각도에서 2차원 손영상을 획득하여 도시되지 않은 컴퓨터에 제공하고, 손가락 관절각도 측정장치(11)는 손가락의 14개의 관절(엄지손가락은 2개, 나머지 손가락들은 각각 3개씩)의 각도를 측정하여 도시되지 않은 컴퓨터에 제공한다.
도시되지 않은 컴퓨터에는 도 2에 도시된 바와 같은 손모양 데이터베이스 구축장치가 구비된다. 이 손모양 데이터베이스 구축장치는 손영상획득부(21)와, 손영역추출부(22)와, 2차원특징추출부(23)와, 손관절각도정보획득부(24)와, 3차원특징추출부(25)와, 층간연결특징추출부(26)와, 손모양데이터베이스(27)를 포함한다.
사용자가 손가락 관절각도 측정장치(11)를 착용하고 임의의 손모양식별자에 해당하는 손모양을 취하면, 다수의 카메라(10)는 다양한 각도에서 사용자의 손을 촬영하여 손영상획득부(21)에게 제공하고, 손가락 관절각도 측정장치(11)는 해당 손모양에서의 각 손가락 관절의 접힌 각도를 측정하여 손관절각도정보획득부(24)에게 제공한다.
손영상획득부(21)는 다수의 카메라가 촬영한 2차원 손영상을 획득하여 손영역추출부(22)에게 제공한다.
손영역추출부(22)는 2차원 손영상에서 손영역을 추출하여, 손모양의 실루엣을 얻는다.
2차원특징추출부(23)는 손모양의 실루엣으로부터 손영역경계특징벡터(xf)를 추출하고, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)를 추출한다. 또한, 손영역경계특징벡터(xf)와, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)를 결합하여 해당 손모양에 대한 손영상기반특징벡터(x)를 얻는다. 여기서, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)는 2차원 손영상과 함께 입력된 손모양식별자와 해당 2차원 손영상으로부터 얻어진 손영역경계특징벡터간 연결벡터는 1, 나머지는 0의 값을 갖는다. 그리고, 2차원특징추출부(23)는 손영역경계특징벡터 상호간 연결(u)을 추출한다. 이 손영역경계특징벡터(xf)와, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)와, 손영역경계특징벡터 상호간 연결(u)은 도 3에 도시된 바와 같은 구조로 손모양데이터베이스(27)에 저장된다. 손영상기반특징벡터(x)들의 집합(X)과 손영역경계특징벡터 상호간 연결을 나타내는 행렬(U)이 저장된 계층을 2차원특징층(L1)으로 명명한다.
손관절각도정보획득부(24)는 손가락 관절각도 측정장치(11)로부터 획득된 각 손가락 관절의 각도정보를 획득하여 3차원특징추출부(25)에게 제공한다.
3차원특징추출부(25)는 각 손가락 관절의 각도정보로부터 손가락관절각도벡터(yf)를 추출하고, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)를 추출한 다. 또한, 손가락관절각도벡터와, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)를 결합하여 해당 손모양에 대한 관절각도기반특징벡터(y)를 얻는다. 여기서, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)는 손가락 관절정보와 함께 입력된 손모양식별자와 해당 손가락 관절정보로부터 얻어진 손가락관절각도벡터간 연결벡터는 1, 나머지는 0의 값을 갖는다. 그리고, 3차원특징추출부(25)는 관절각도기반특징벡터(y) 상호간 연결(v)을 추출한다. 손가락관절각도벡터(yf)와, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)와, 관절각도기반특징벡터(y) 상호간 연결(v)은 도 4에 도시된 바와 같은 구조로 손모양데이터베이스(27)에 저장된다. 관절각도기반특징벡터(y)들의 집합(Y)과 관절각도기반특징벡터(y) 상호간 연결을 나타내는 행렬(V)이 저장된 계층을 3차원특징층(L2)으로 명명한다.
층간연결특징추출부(26)는 손영상기반특징벡터(x)와 관절각도기반특징벡터(y)간 층간연결특징(c)을 추출한다. 이 층간연결특징(c)은 손영상기반특징벡터(x)와 관절각도기반특징벡터(y)가 관련이 있으면 1, 관련이 없으면 0의 값을 갖는다. 즉, 임의의 한 손모양에 대해 다수의 손영상기반특징벡터(x)와 하나의 관절각도기반특징벡터(y)가 얻어지는데, 동시에 입력되는 다수의 손영상기반특징벡터(x)와 하나의 관절각도기반특징벡터(y)는 관련이 있기 때문에 이들 사이의 층간연결특징(c)은 1이다. 이 층간연결특징(c)은 도 5에 도시된 바와 같은 구조로, 각각의 손영상기반특징벡터(x)와 각각의 관절각도기반특징벡터(y)간 조합에 대한 층간연결특징(c)으로 구성되는 행렬(C)의 형태로 손모양데이터베이스(27)에 저장된다.
도 6은 손모양데이터베이스의 구조도이다. 이 손모양데이터베이스는 손모양 식별자(610)와, 2차원특징층(L1)(630)과, 3차원특징층(L2)(650)과, 2차원특징층의 손영역경계특징벡터와 손모양식별자간 연결벡터(630)와, 3차원특징층의 관절각도기반특징벡터와 손모양식별자간 연결벡터(660)와, 손영상기반특징벡터와 관절각도기반특징벡터와의 연결벡터(640)로 이루어진다.
손모양데이터베이스에 저장되는 데이터들을 수식으로 표현하면 다음과 같다.
2차원특징층(L1)은 (X, U)의 집합으로서, X는 손영상기반특징벡터의 집합이고 U는 손영상기반특징벡터 상호간 연결강도를 나타내는 행렬이다.
손영상기반특징벡터의 집합(X)은 다수의 손영상기반특징벡터(x i)(i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)로 이루어진다.
이 손영상기반특징벡터(x i)는 손영역경계특징벡터(xf i)와, 손영역경계특징벡터와 손모양식별자간 연결벡터(xh i)로 이루어지며, 손영역경계특징벡터와 손모양식별자간 연결벡터(xh i)(i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)는 수학식 1과 같이 표현된다.
Figure 112004052875858-PAT00001
여기서, i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수이고, p는 손모양식별자의 개수 즉, 인식 대상 손모양의 개수이다.
손영역경계특징벡터 상호간 연결을 나타내는 행렬(U)은 다수의 손영상기반특 징벡터 상호간 연결(uij)(i,j = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)로 이루어진다. 임의의 손영상기반특징벡터 상호간 연결(uij)은 수학식 2와 같이 표현된다.
Figure 112004052875858-PAT00002
여기서, pu(i,j)는 손영상기반특징벡터 x i 와 x j 간의 연결강도이고, i,j = 1, 2, ..., m, m은 손영상기반특징벡터의 개수이다.
아울러, 3차원특징층(L2)은 (Y, V)의 집합으로서, Y는 관절각도기반특징벡터의 집합이고 V는 관절각도기반특징벡터 상호간 연결을 나타내는 행렬이다.
관절각도기반특징벡터의 집합(Y)은 다수의 관절각도기반특징벡터(y i)(i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)로 이루어진다.
이 관절각도기반특징벡터(y i)는 손가락관절각도벡터(yf i)와, 손가락관절각도벡터와 손모양식별자간 연결벡터(yh i)로 이루어지며, 손가락관절각도벡터와 손모양식별자간 연결벡터(yh i)(i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)는 수학식 3과 같이 표현된다.
Figure 112004052875858-PAT00003
여기서, i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수이고, p는 손모양식별자의 개수 즉, 인식 대상 손모양의 개수이다.
관절각도기반특징벡터 상호간 연결벡터를 나타내는 행렬(V)은 다수의 관절각도기반특징벡터 상호간 연결(vij)(i,j = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)로 이루어진다. 임의의 관절각도기반특징벡터 상호간 연결벡터(vij)는 수학식 4와 같이 표현된다.
Figure 112004052875858-PAT00004
여기서, pv(i,j)는 관절각도기반특징벡터 y i 와 y j 간의 연결강도이고, i,j = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수이다.
아울러, 임의의 손영상기반특징벡터(x j)와 관절각도기반특징벡터(y i)간 연결(cij)(i = 1, ..., n, j = 1, ..., m, n은 관절각도기반특징벡터의 개수, m은 손영상기반특징벡터의 개수)은 손영상기반특징벡터(x j)와 관절각도기반특징벡터(y i)가 관련이 있으면 1, 아니면 0의 값을 갖는다.
본 발명에 따른 손모양 데이터베이스 구축장치의 손모양 데이터베이스 구축방법은 다음과 같다.
도 7은 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축방법을 도시한 동작 흐름도이다. 먼저, 도 7a를 참조하면서 손모양 데이터베이스의 2차원특징층을 구축하는 방법을 설명한다.
사용자로부터 입력된 손모양식별자를 저장한다(S701). 다수의 각도에서 촬영한 다수의 손영상이 입력되면(S702), 손영상을 획득하고(S703), 획득한 손영상으로부터 손영역을 추출한다(S704). 그리고, 추출된 손영역에 대해 손영역경계특징벡터 추출 서브루틴을 수행한다(S705). 손영역경계특징벡터 추출 서브루틴의 상세한 과정은 도 8을 참조하며 후술하기로 한다. 손영역경계특징벡터 추출 서브루틴에서 추출된 손영역경계특징벡터와, 손영역경계특징벡터와 손모양식별자간 연결벡터를 결합하여 손영상기반특징벡터(x i)를 생성한다(S706).
새로운 손영상기반특징벡터(x i)에 대해, 그것을 구성하는 손영역경계특징벡터(xf i)와 손모양 데이터베이스의 2차원특징층(L1) 내에 저장된 다른 손영상기반특징벡터들을 구성하는 손영역경계특징벡터(xf)와의 유클리드거리를 계산하고(S707), 단계 S707의 계산 결과 최소 유클리드거리(dxs)를 갖는 손영역경계특징벡터(xf s)를 선택한다(S708). dxs가 유클리드거리 임계값(dxMAX)보다 크면(S709), x i 를 2차원특징층(L1층)에 추가하고(S710), dxs가 유클리드거리 임계값(dxMAX)보다 크지 않으면(S709), x s를 갱신한다(S711). x i를 추가하거나 x s를 갱신한 후에는 각 연결벡터를 조정한다(S712).
도 8은 단계 S705의 손영역경계특징벡터 추출 서브루틴을 수행하는 과정을 도시한 도면이다. 먼저 추출된 손영역을 크기와 방향에 대해 정규화한다(810). 이때, 추출된 손영역의 방향에 대한 정규화과정은 추축 방향각도(α)를 수학식 5와 같이 구하고, 손영역에 대해 -α만큼 회전시킨다.
Figure 112004052875858-PAT00005
여기서,
Figure 112004052875858-PAT00006
,
Figure 112004052875858-PAT00007
,
Figure 112004052875858-PAT00008
이며, M00, M11, M10, M01, M20 은 각각 손영역의 모멘트로서,
Figure 112004052875858-PAT00009
,
Figure 112004052875858-PAT00010
,
Figure 112004052875858-PAT00011
,
Figure 112004052875858-PAT00012
,
Figure 112004052875858-PAT00013
,
Figure 112004052875858-PAT00014
이다. 여기서, I(x,y)는 화소의 명도값이다.
다음, 정규화한 손영역에 대해 손 경계를 추출하고(820), 사이각이 θ인 동각마스크(830)의 중심을 손 경계 추출영상의 중심에 맞춘다(S840). 동각마스크는 손영역경계특징벡터를 구성하는 k개의 요소를 추출하기 위한 것으로서, 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크이다.
그리고, 손 경계 추출영상과 동각마스크영상을 논리합(AND) 연산하여(850), 손 경계 추출영상이 θ의 간격으로 분할되도록 한다(860). 다음, 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하고(870), 이 측징된 거리벡터를 0과 1 사이로 정규화한다(890). 이 정규화된 거리벡터가 손영역경계특징벡터이다.
x s를 갱신하는 단계(S711)는 입력 손영상기반특징벡터(x i)와, x s와, 2차원특징층 내에서 x s의 손영역경계특징벡터(xf s)와 가장 작은 유클리드거리를 갖는 손영역경계특징벡터를 갖는 손영상기반특징벡터(x s-1)를 구하여 각각의 손영역경계특징벡터를 평균한 결과벡터로 새로운 x s'를 갱신한다. 이를 수식으로 표현하면 수학식 6과 같다.
Figure 112004052875858-PAT00015
단계 S712에서 새로운 x i가 추가된 경우에는 3차원 특징층의 동일한 식별자를 가진 모든 벡터와의 연결벡터를 생성하고, x s'가 갱신된 경우에는 갱신된 특징벡터가 기존의 특징벡터 x s와의 연결을 계승한다. 또한, 2차원 특징층 내의 특징벡터간 연결벡터를 갱신한다.
다음, 도 7b를 참조하면서 손모양 데이터베이스의 3차원특징층(L2)을 구축하는 방법을 설명한다.
손가락각도정보가 입력되면(S721), 손가락 관절각도 정보를 획득한다(S722). 앞서 설명하였듯이 손가락 관절각도 측정장치는 임의의 손모양에 대해 14개 관절의 각도를 측정한다. 각 손가락의 관절각도를 정규화하여 손가락관절각도벡터를 추출한다(S723). 손가락의 관절각도 정규화는 사용자가 취할 수 있는 가장 큰 각도(손을 폈을 때의 각도)를 기준으로 입력된 관절각도를 0과 1 사이의 값으로 정규화한 후 손가락관절각도벡터로 생성한다. 이를 수식으로 표현하면 수학식 7과 같다.
Figure 112004052875858-PAT00016
여기서, i = 1, ..., n(n은 각도 측정된 손가락 관절 개수), vali는 i번째 손가락 관절의 각도측정값, maxi는 i번째 손가락 관절의 최대 각도값, mini는 i번째 손가락 관절의 최소 각도값이다.
다음, 이 손가락관절각도벡터와, 손가락관절각도벡터와 손모양식별자간 연결벡터를 결합하여 관절각도기반특징벡터(y i)를 생성한다(S724). 입력 관절각도기반특징벡터(y i)를 구성하는 손가락관절각도벡터(yf i)와 손모양 데이터베이스의 3차원특징층(L2) 내에 저장된 다른 관절각도기반특징벡터(y)들의 손가락관절각도벡터(yf)들과의 유클리드거리를 계산하고(S725), 최소 유클리드거리(dys)를 갖는 손가락관절각도벡터(yf s)를 선택한다(S726). dys가 유클리드거리 임계값(dyMAX )보다 크면(S727), y i를 3차원특징층(L2층)에 추가하고(S728), dys가 유클리드거리 임계값 (dyMAX)보다 크지 않으면(S727), y s를 갱신한다(S729). y i를 추가하거나 y s를 갱신한 후에는 각 연결벡터를 조정한다(S730).
y s를 갱신하는 단계(S729)는 입력 관절각도기반특징벡터(y i)의 손가락관절각도벡터(yf i)와, y s를 구성하는 손가락관절각도벡터(yf s ), 3차원특징층 내에서 yf s와 유클리드거리가 가장 작은 손가락관절각도벡터(yf s-1)를 평균하여 새로운 yf s '를 구하여 y s'를 구성한다. 이를 수식으로 표현하면 수학식 7과 같다.
Figure 112004052875858-PAT00017
단계 S729에서 새로운 y i가 추가된 경우에는 2차원 특징층의 동일한 식별자를 가진 모든 벡터와의 연결벡터를 생성하고, y s'가 갱신된 경우에는 갱신된 특징벡터가 기존의 특징벡터 y s와의 연결을 계승한다. 또한, 3차원 특징층 내의 특징벡터간 연결벡터를 갱신한다.
다음, 모든 손모양식별자에 대해 상술한 바와 같은 손모양 데이터베이스 구축방법을 실행한 후 동일 층내 특징벡터간 연결벡터(즉, 손영상기반특징벡터 상호간 연결벡터와, 관절각도기반특징벡터 상호간 연결벡터)를 결정하기 위한 보상학습과정을 수행한다. 이 층내 특징벡터간 연결벡터는 초기에는 유클리드거리값으로 설 정된다. 이 보상학습과정에서는 손관절 측정장치를 사용하지 않고, 복수의 카메라로부터 촬영한 손영상을 이용한 보상학습과정을 통해 층내 특징벡터간 연결벡터를 조정한다.
도 9는 본 발명의 한 실시예에 따른 보상학습과정을 도시한 동작 흐름도이다. 먼저, 사용자로부터 손모양식별자가 입력되고(S901), 손영상이 입력되면(S902), 해당 손영상을 획득하고(S903), 손영상으로부터 손영역을 추출한다(S904). 그리고, 추출된 손영역 데이터를 도 8에 적용하여 손영역경계특징벡터(xf i)를 추출한다(S905).
2차원특징층(L1층)에서 입력 손영역경계특징벡터(xf i)와의 유클리드거리가 최소인 손영역경계특징벡터(xf s)를 추출한다(S906).
다음, 3차원특징층(L2층)에서 이 손영역경계특징벡터(xf s)와 관련된 손가락관절각도벡터(yf)들을 추출한다(S907). 손영역경계특징벡터(xf s)와 관련된 손가락관절각도벡터(yf)를 추출할 때, 층간연결특징(c)값을 사용하여, 손영역경계특징벡터(xf s)와 층간연결특징값이 1인 손가락관절각도벡터(yf)를 추출한다.
다음, 단계 S907에서 추출된 yf들과 연결강도가 큰 yf'들을 추출한다(S908). 단계 S908에서 관절각도기반특징벡터 상호간 연결벡터가 사용된다. 이 연결벡터에 의해 추정된 연결강도가 가장 큰 yf'들을 추출한다.
그리고, 이렇게 추출된 L2층의 yf'들과 관련된 L1층의 xf'들을 추출한다 (S909). 단계 S909에서도 단계 S907과 같이 층간연결특징(c)값을 사용한다.
다음, xf'들과 관련된 손모양식별자들을 추출한다(S910). 단계 S910에서는 손영역경계특징벡터와 손모양식별자 상호간 연결벡터를 사용한다.
상술한 바와 같이 추적된 손모양식별자 중 단계 S901에서 입력된 손모양식별자가 동일한 것이 있으면(S911), 관련된 모든 동일 층내 특징벡터간 연결벡터에 (+) 보상을 한다(S912). 즉, 옳은 손모양식별자를 선택한 경우에는 해당 연결벡터에 두 특징벡터간 유클리드거리 역수를 0과 1 사이로 정규화한 후 10을 곱한 값을 더해주는 (+) 보상을 한다. 추적된 손모양식별자와 입력된 손모양식별자가 동일하지 않으면(S911) 관련된 모든 동일 층내 특징벡터간 연결벡터에 (-) 보상을 한다(S913). 즉, 잘못된 손모양식별자를 선택한 경우에는, 해당 연결벡터에서 임의의 설정치(예컨대, 5)를 빼주어 (-) 보상을 한다.
충분한 유사도의 손모양이 추출되었거나 또는 최대 반복횟수가 초과된 경우(S914)가 아니면 xf'들과 연결강도가 큰 xf들을 추출한다(S915). 단계 S915에서 손영상기반특징벡터 상호간 연결벡터가 사용된다. 즉, 이 연결벡터에 의해 추정된 연결강도가 가장 큰 xf들을 추출한다. 단계 S915에서 추출된 xf들에 대해 단계 S907부터 반복 수행한다.
단계 S914에서 충분한 유사도의 손모양이 추출되었거나 최대 반복횟수가 초과된 경우에는 해당 손모양식별자에 대한 보상학습과정을 종료한다.
본 발명에서는 층내 특징벡터간 연결벡터를 결정하기 위해 비모델강화학습의 하나인 Q-학습과정을 적용하였다. Q학습의 기본개념은, 먼저 주어진 상태 s와 행 동 a의 함수를 요소로 갖는 Q테이블을 설정하고, 각 요소를 초기화한다. 다음, 현재의 상태 s를 인식하고, 그에 따른 행동 a를 선택하여 실행한다. 그후, 결과에 따라 보상 r을 취하고, 새로운 상태 s'를 인식하여 상태를 갱신하고 Q테이블을 갱신한다. 상기한 Q학습을 본 발명에 적용함에 있어서, 상태 s는 층내 특징벡터간 연결벡터에 의해 추정된 연결강도를 적용하고, 행동 a는 층내 특징벡터간 이동을 적용하였다.
이렇게 본 발명에 따른 보상학습과정에 따르면 2차원특징층과 3차원특징층으로의 층간 전환이 이루어지면서, 층내 특징벡터간 연결강도에 대한 학습이 이루어지기 때문에, 임의의 손모양에 대한 2차원적인 형상기반 특징과 3차원적인 관절각도기반 특징을 모두 고려할 수 있게 된다.
본 발명은 상술한 바와 같이 구축된 손모양데이터베이스를 이용하여 손모양을 인식하는 장치 및 방법을 제안한다.
도 10은 본 발명의 한 실시예에 따른 손모양 인식장치의 기능 블록도이다. 이 손모양 인식장치는 손영상획득부(1001)와, 손영역추출부(1002)와, 2차원특징추출부(1003)와, 손모양인식부(1004)와, 결과출력부(1005와, 손모양데이터베이스(1006)를 포함한다.
손영상획득부(1001)는 다수의 카메라가 촬영한 다수의 2차원 손영상을 획득하여 손영역추출부(1002)에게 제공한다. 손영역추출부(1002)는 다수의 2차원 손영상 각각에 대해 손영역을 추출하여 손모양의 실루엣을 얻는다. 2차원특징추출부 (1003)는 손모양의 실루엣으로부터 다수의 손영역경계특징벡터(xf i)(i = 1, ..., k, k는 카메라의 개수)를 추출한다. 손모양인식부(1004)는 다수의 손영역경계특징벡터(xf i)를 손모양데이터베이스(1006)에 적용하여, 유사도가 가장 높은 손모양을 인식하여 결과출력부(1005)로 제공한다. 결과출력부(1005)는 인식된 손모양을 출력한다.
도 11은 본 발명의 한 실시예에 따른 손모양 인식방법의 동작 흐름도이다.
먼저, 다수의 카메라들로부터 다수의 손영상을 획득한다(S1101). 다수의 손영상 각각에 대해 손영역을 추출하고(S1102), 추출된 각 손영역 데이터에 대해 도 8의 손영역경계특징벡터 추출과정을 적용하여 입력 손영역경계특징벡터(xf i)(i = 1, ..., k, k는 카메라의 개수)들을 추출한다(S1103).
다음, 2차원특징층(L1층)에서 입력 손영역경계특징벡터(xf i)와의 유클리드거리가 최소인 손영역경계특징벡터(xf)들을 추출한다(S1104).
다음, 3차원특징층(L2층)에서 이 손영역경계특징벡터(xf)들과 관련된 손가락관절각도벡터(yf)들을 추출한다(S1105). 손영역경계특징벡터(xf)와 관련된 손가락관절각도벡터(yf)를 추출할 때, 층간연결특징(c)값을 사용하여 손영역경계특징벡터(xf)와 층간연결특징값이 1인 손가락관절각도벡터(yf)를 추출한다.
다음, 단계 S1105에서 추출된 yf들과 연결강도가 큰 yf'들을 추출한다(S1106). 단계 S1106에서 관절각도기반특징벡터 상호간 연결벡터가 사용된다.
다음, 단계 S1106에서 추출된 L2층의 yf'들과 관련된 L1층의 xf'들을 추출한 다(S1107). 단계 S1107에서도 단계 S1105와 같이 층간연결특징(c)값을 사용한다.
다음, xf'들과 관련된 손모양식별자들을 추출하여(S1108), 추출된 손모양식별자들에 점수를 누적한다(S1109). 단계 S1109에서는 손영역경계특징벡터와 손모양식별자 상호간 연결벡터를 사용한다.
임의의 손모양식별자의 누적점수가 임계값보다 커지면 충분한 유사도의 손모양이 추출된 것으로 인지한다. 충분한 유사도의 손모양이 추출되거나 또는 최대 반복횟수를 초과하지 않았으면(S1110), xf'들과 연결강도가 큰 xf들을 추출하고(S1111) 단계 S1105부터 반복 수행한다.
충분한 유사도의 손모양이 추출되거나 또는 최대 반복횟수를 초과하면(S1110), 그때까지 인식된 결과 가장 높은 유사도를 갖는 손모양을 출력한다(S1112).
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명은 손모양데이터베이스를 구축하고 이 손모양데이터베이스로부터 손모양을 인식하는 과정에서 손가락 관절각도 정보를 이용하기 때문에, 실제 인식 환경에서 손에 대한 카메라의 상대적인 촬영위치와 방향이 달라지더라도 손모양에 대한 정확한 인식이 가능한 효과가 있다.

Claims (28)

  1. 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와;
    상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출부와;
    상기 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득부와;
    상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출부와;
    상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 추출하는 층간연결특징추출부와;
    상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 저장하는 손모양데이터베이스를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축장치.
  2. 제 1 항에 있어서, 상기 2차원 손영상으로부터 추출된 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부와;
    상기 손모양의 추적 결과에 따라 상기 손영역경계특징벡터 상호간 연결강도 와 상기 손가락관절각도벡터 상호간 연결강도를 조정하는 보상학습부를 더 구비한 것을 특징으로 하는 손모양 데이터베이스 구축장치.
  3. 제 1 항에 있어서, 상기 손영상기반특징벡터는,
    상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터와 손모양식별자간 연결벡터로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축장치.
  4. 제 1 항에 있어서, 상기 관절각도기반특징벡터는,
    상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터와 손모양식별자간 연결벡터로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축장치.
  5. 손모양 데이터베이스 구축장치에서의 손모양 데이터 구축방법에 있어서,
    상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;
    상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와;
    상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와;
    상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와;
    상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와;
    상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  6. 제 5 항에 있어서, 상기 2차원특징추출단계의 손영상기반특징벡터 생성단계는,
    상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터를 생성하는 단계와;
    상기 손영역경계특징벡터와 손모양식별자간 연결벡터를 생성하는 단계와;
    상기 손영역경계특징벡터와, 상기 손영역경계특징벡터와 손모양식별자간 연결벡터를 결합하는 단계로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  7. 제 6 항에 있어서, 상기 손영역경계특징벡터를 생성하는 단계는,
    상기 2차원 손영상을 크기와 방향에 대해 정규화하는 단계와, 상기 정규화된 2차원 손영상으로부터 손 경계를 추출하는 단계와, 사이각이 θ인 동각마스크의 중심을 상기 손 경계 추출영상의 중심에 맞추는 단계와, 상기 손 경계 추출영상과 상기 동각마스크 영상을 논리합 연산하여 상기 손 경계 추출영상을 θ 간격으로 분할하는 단계와, 상기 손 경계 추출영상에 대해 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하는 단계와, 상기 측정된 거리벡터를 0과 1 사이로 정규화하는 단계를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  8. 제 7 항에 있어서, 상기 동각마스크는 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크인 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  9. 제 5 항에 있어서, 상기 2차원특징추출단계의 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 단계는, 두 개의 손영역경계특징벡터간 유클리드거리의 역수를 계산하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  10. 제 5 항에 있어서, 상기 3차원특징추출단계의 상기 관절각도기반특징벡터 생성단계는,
    상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터를 생성하는 단계와;
    상기 손가락관절각도벡터와 손모양식별자간 연결벡터를 생성하는 단계와;
    상기 손가락관절각도벡터와, 상기 손가락관절각도벡터와 손모양식별자간 연결벡터를 결합하는 단계로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  11. 제 10 항에 있어서, 상기 손가락관절각도벡터를 생성하는 단계는,
    각 손가락 관절각도측정값(vali, i = 1, ..., n, n은 각도 측정대상이 되는 손가락 관절의 개수)에 대해 최대 각도값(maxi)과 최소 각도값(mini)을 아래의 수식에 적용하여 정규화하여 손가락관절각도벡터를 생성하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
    [수식]
    Figure 112004052875858-PAT00018
  12. 제 5 항에 있어서, 상기 3차원특징추출단계의 상기 손가락관절각도벡터 상호간 연결강도를 추출하는 단계는, 두 개의 손가락관절각도벡터간 유클리드거리의 역수를 계산하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  13. 제 5 항에 있어서, 상기 저장단계는,
    상기 입력 손영역경계특징벡터와 상기 손모양데이터베이스에 기저장된 손영역경계특징벡터와의 유클리드거리를 계산하는 단계와;
    상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 기저장된 손영역경계특징벡터를 추출하는 단계와;
    상기 최소 유클리드거리가 임계값보다 크면 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 추가하고, 상기 최소 유클리드거리가 임계값보다 크지 않으면 상기 기저장 손영역경계특징벡터를 갱신하는 단계와;
    상기 추가 또는 갱신된 손영역경계특징벡터와 관련된 연결벡터 및 연결강도를 추가 또는 갱신하는 단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  14. 제 13 항에 있어서, 상기 기저장 손영역경계특징벡터를 갱신하는 단계는,
    상기 입력 손영역경계특징벡터와, 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터와, 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터를 제외하고 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터의 평균값으로 갱신하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  15. 제 5 항에 있어서, 상기 저장단계는,
    상기 입력 손가락관절각도벡터와 상기 손모양데이터베이스에 기저장된 손가 락관절각도벡터와의 유클리드거리를 계산하는 단계와;
    상기 입력 손가락관절각도벡터와 유클리드거리가 최소인 기저장 손가락관절각도벡터를 추출하는 단계와;
    상기 최소 유클리드거리가 임계값보다 크면 상기 입력 손가락관절각도벡터를 상기 손모양데이터베이스에 추가하고, 상기 최소 유클리드거리가 임계값보다 크지 않으면 상기 기저장 손가락관절각도벡터를 갱신하는 단계와;
    상기 추가 또는 갱신된 손가락관절각도벡터와 관련된 연결벡터 및 연결강도를 추가 또는 갱신하는 단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  16. 제 15 항에 있어서, 상기 기저장 손가락관절각도벡터를 갱신하는 단계는,
    상기 입력 손가락관절각도벡터와, 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 손가락관절각도벡터와, 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 손가락관절각도벡터를 제외하고 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 기저장 손가락관절각도벡터의 평균값으로 갱신하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  17. 제 5 항에 있어서, 상기 2차원 손영상으로부터 생성된 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;
    상기 손모양의 추적 결과에 따라 상기 손영역경계특징벡터 상호간 연결강도 와 상기 손가락관절각도벡터 상호간 연결강도를 조정하는 보상학습단계를 더 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  18. 제 17 항에 있어서, 상기 손모양데이터베이스 구축방법은,
    상기 손모양식별자 정보와 함께 입력되는 2차원 손영상으로부터 상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 입력 손영역경계특징벡터를 생성하는 제1단계와,
    상기 손모양데이터베이스로부터 상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 제1손영역경계특징벡터(xf)를 추출하는 제2단계와,
    상기 손모양데이터베이스로부터 상기 제1손영역경계특징벡터와 관련된 제1손가락관절각도벡터들을 추출하는 제3단계와,
    상기 손모양데이터베이스로부터 상기 각각의 제1손가락관절각도벡터들과 연결강도가 큰 제2손가락관절각도벡터들을 추출하는 제4단계와,
    상기 손모양데이터베이스로부터 상기 각각의 제2손가락관절각도벡터들과 관련된 제2손영역경계특징벡터들을 추출하는 제5단계와,
    상기 손모양데이터베이스로부터 상기 제2손영역경계특징벡터들과 관련된 추적 손모양식별자들을 추출하는 제6단계와,
    상기 추적 손모양식별자가 상기 입력 손모양식별자와 동일하면 상기 추적 손모양식별자를 추출한 모든 연결강도를 (+) 보상하고, 상기 추적 손모양식별자가 상기 입력 손모양식별자와 동일하지 않으면 상기 추적 손모양식별자를 추출한 모든 연결강도를 (-) 보상하는 제7단계와,
    상기 손모양데이터베이스로부터 상기 각각의 제2손영역경계특징벡터들과 연결강도가 큰 제1손영역경계특징벡터들을 추출하고, 상기 제3단계부터 반복 수행하는 제8단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  19. 제 18 항에 있어서, 상기 제 7 단계의 (+) 보상은 상기 연결강도에 두 손영역경계특징벡터간 유클리드거리의 역수를 0과 1 사이로 정규화한 후 10을 곱한 값을 더하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  20. 제 18 항에 있어서, 상기 제 7 단계의 (-) 보상은 상기 연결강도에서 임의의 설정치를 빼주는 것을 특징으로 하는 손모양 데이터베이스 구축방법.
  21. 손모양 데이터베이스 구축장치에 손모양 데이터 구축방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 손모양 데이터 구축방법은,
    상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;
    상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와;
    상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와;
    상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와;
    상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와;
    상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
  22. 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와;
    상기 2차원 손영상으로부터 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터를 생성하는 2차원특징추출부와;
    손영역경계특징벡터, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스와;
    상기 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부를 구비한 것을 특징으로 하는 손모양 인식장치.
  23. 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에서의 손모양 인식방법에 있어서,
    상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;
    상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와;
    상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;
    상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 하는 손모양 인식방법.
  24. 제 23 항에 있어서, 상기 2차원특징추출단계는,
    상기 2차원 손영상으로부터 손영역영상을 추출하는 단계와, 상기 손영역영상을 크기와 방향에 대해 정규화하는 단계와, 상기 정규화된 2차원 손영역영상으로부터 손 경계를 추출하는 단계와, 사이각이 θ인 동각마스크의 중심을 상기 손 경계 추출영상의 중심에 맞추는 단계와, 상기 손 경계 추출영상과 상기 동각마스크 영상을 논리합 연산하여 상기 손 경계 추출영상을 θ의 간격으로 분할하는 단계와, 상기 손 경계 추출영상에 대해 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하는 단계와, 상기 측정된 거리벡터를 0과 1 사이로 정규화하는 단계를 구비한 것을 특징으로 하는 손모양 인식방법.
  25. 제 24 항에 있어서, 상기 동각마스크는 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크인 것을 특징으로 하는 손모양 인식방법.
  26. 제 23 항에 있어서, 상기 손모양인식단계는,
    상기 손모양데이터베이스로부터 상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 제1손영역경계특징벡터를 추출하는 제1단계와,
    상기 손모양데이터베이스로부터 제1손영역경계특징벡터와 관련된 제1손가락관절각도벡터들을 추출하는 제2단계와,
    상기 손모양데이터베이스로부터 각각의 제1손가락관절각도벡터들과 연결강도가 큰 제2손가락관절각도벡터들을 추출하는 제3단계와,
    상기 손모양데이터베이스로부터 각각의 제2손가락관절각도벡터들과 관련된 제2손영역경계특징벡터들을 추출하는 제4단계와,
    상기 손모양데이터베이스로부터 제2손영역경계특징벡터들과 관련된 추적 손모양식별자들을 추출하고, 추출된 손모양식별자들에 점수를 누적하는 제5단계와,
    상기 손모양데이터베이스로부터 각각의 제2손영역경계특징벡터들과 연결강도가 큰 제1손영역경계특징벡터들을 추출하고, 상기 제2단계부터 반복 수행하는 제6단계와,
    임의의 손모양식별자의 누적점수가 임계값보다 커지거나 반복횟수가 최대값보다 커지면 누적점수가 가장 큰 손모양식별자를 추출하는 제7단계를 포함한 것을 특징으로 하는 손모양 인식방법.
  27. 제 25 항에 있어서, 상기 사용자의 손을 서로 다른 각도에서 촬영한 다수의 2차원 손영상으로부터 상기 손영상획득단계 내지 손모양인식단계를 수행하고,
    상기 다수의 2차원 손영상에 대한 손모양인식단계에서 얻어진 손모양식별자의 누적점수를 모두 누적하여 점수가 가장 큰 손모양식별자를 출력하는 것을 특징으로 하는 손모양 인식방법.
  28. 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각 도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에 손모양 인식방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 손모양 인식방법은,
    상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;
    상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와;
    상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;
    상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
KR1020040093023A 2004-11-15 2004-11-15 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체 KR100617976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040093023A KR100617976B1 (ko) 2004-11-15 2004-11-15 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040093023A KR100617976B1 (ko) 2004-11-15 2004-11-15 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체

Publications (2)

Publication Number Publication Date
KR20060053348A true KR20060053348A (ko) 2006-05-22
KR100617976B1 KR100617976B1 (ko) 2006-08-31

Family

ID=37150325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040093023A KR100617976B1 (ko) 2004-11-15 2004-11-15 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체

Country Status (1)

Country Link
KR (1) KR100617976B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917755B1 (ko) * 2007-12-10 2009-09-15 한국전자통신연구원 가상 객체의 물리적 특성 변경 장치 및 방법
KR100921821B1 (ko) * 2007-12-07 2009-10-16 영남대학교 산학협력단 특성 공간 궤적 데이터베이스 구축 방법 및 이를 이용한다중 각도 표적 식별 방법
KR20110068579A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 손가락 동작 인식 방법
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
US8638987B2 (en) 2010-10-06 2014-01-28 Electonics And Telecommunications Research Institute Image-based hand detection apparatus and method
KR101482850B1 (ko) * 2013-04-23 2015-01-22 연세대학교 산학협력단 손 모양 인식 방법 및 그 장치
KR20160051478A (ko) * 2014-11-03 2016-05-11 광운대학교 산학협력단 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
KR20240080579A (ko) 2022-11-30 2024-06-07 숭실대학교산학협력단 증강 현실 환경에서 상호 작용을 위한 손 자세 추정 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558200B1 (ko) 2010-12-06 2015-10-08 한국전자통신연구원 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
KR101745406B1 (ko) 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
KR20170068049A (ko) * 2015-12-09 2017-06-19 원광대학교산학협력단 어플리케이션 자동구동장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222014A (ja) * 1990-12-25 1992-08-12 Nippon Telegr & Teleph Corp <Ntt> ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法
JPH0612163A (ja) * 1992-06-26 1994-01-21 Canon Inc 手話データ入力装置
JPH117237A (ja) 1997-06-16 1999-01-12 Jirou Urii 人間の動作を音に変換する方法と装置
KR19990046909A (ko) * 1997-12-01 1999-07-05 정선종 손동작을 이용한 컴퓨터 윈도우 제어 장치 및 그 방법
KR100348823B1 (ko) * 1999-11-12 2002-08-17 황병익 수화 번역 장치
KR20030049256A (ko) * 2001-12-14 2003-06-25 주식회사 지아이텍 수화번역장치 및 이를 이용한 데이터통신시스템
KR20020011451A (ko) * 2002-01-19 2002-02-08 이종철 광센서 및 휨센서를 이용한 수화 번역기
KR20050060606A (ko) * 2003-12-17 2005-06-22 엘지전자 주식회사 휴먼 컴퓨터 인터렉션 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921821B1 (ko) * 2007-12-07 2009-10-16 영남대학교 산학협력단 특성 공간 궤적 데이터베이스 구축 방법 및 이를 이용한다중 각도 표적 식별 방법
KR100917755B1 (ko) * 2007-12-10 2009-09-15 한국전자통신연구원 가상 객체의 물리적 특성 변경 장치 및 방법
KR20110068579A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 손가락 동작 인식 방법
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
US8638987B2 (en) 2010-10-06 2014-01-28 Electonics And Telecommunications Research Institute Image-based hand detection apparatus and method
KR101482850B1 (ko) * 2013-04-23 2015-01-22 연세대학교 산학협력단 손 모양 인식 방법 및 그 장치
KR20160051478A (ko) * 2014-11-03 2016-05-11 광운대학교 산학협력단 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
KR20240080579A (ko) 2022-11-30 2024-06-07 숭실대학교산학협력단 증강 현실 환경에서 상호 작용을 위한 손 자세 추정 장치 및 방법

Also Published As

Publication number Publication date
KR100617976B1 (ko) 2006-08-31

Similar Documents

Publication Publication Date Title
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
Kakadiaris et al. Model-based estimation of 3D human motion with occlusion based on active multi-viewpoint selection
JP4148281B2 (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
JP5931215B2 (ja) 姿勢を推定する方法及び装置
CN110020611B (zh) 一种基于三维假设空间聚类的多人动作捕捉方法
Agudo et al. Sequential non-rigid structure from motion using physical priors
Chua et al. Model-based 3D hand posture estimation from a single 2D image
CN111414797B (zh) 用于估计对象的姿势和姿态信息的系统和方法
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
KR20210011425A (ko) 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
CN109960962B (zh) 图像识别方法、装置、电子设备以及可读存储介质
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
KR102734045B1 (ko) 생성형 비선형 인간 형상 모형
KR100617976B1 (ko) 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
WO2007102537A1 (ja) 姿勢推定装置および方法
Aristidou Hand tracking with physiological constraints
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN113052030A (zh) 一种基于单张rgb图像的双流多尺度手部姿态估计方法
Ong et al. Tracking hybrid 2D-3D human models from multiple views
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
CN118430011A (zh) 强鲁棒性的2d人体姿态估计方法
CN115620016B (zh) 一种骨架检测模型的构建方法、图像数据识别方法
CN114627490B (zh) 一种基于惯性传感器与多功能相机的多人姿态估计方法
Chamola et al. Advancements in Yoga Pose Estimation Using Artificial Intelligence: A Survey

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20041115

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060523

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060823

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060824

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090728

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20100802

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20100802

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee