KR20120071230A - 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치 - Google Patents

증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20120071230A
KR20120071230A KR1020100132889A KR20100132889A KR20120071230A KR 20120071230 A KR20120071230 A KR 20120071230A KR 1020100132889 A KR1020100132889 A KR 1020100132889A KR 20100132889 A KR20100132889 A KR 20100132889A KR 20120071230 A KR20120071230 A KR 20120071230A
Authority
KR
South Korea
Prior art keywords
list
hand
extracted
information
fingertip
Prior art date
Application number
KR1020100132889A
Other languages
English (en)
Inventor
윤진영
이석재
명세화
임석현
이준석
이길행
이영직
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100132889A priority Critical patent/KR20120071230A/ko
Publication of KR20120071230A publication Critical patent/KR20120071230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치가 개시된다. 정규화된 가시광 영상에서 움직임 영역을 인식하여 모션 블랍 정보를 추출하는 단계, 정규화된 가시광 영상의 살색 영역에 대해서 추출된 살색 영역 정보를 블랍으로 분리하여 스킨 컬러 블랍 리스트를 생성하는 단계, 모션 블랍 정보 및 스킨 컬러 블랍 리스트를 이용하여 움직이는 스킨 컬러 블랍 리스트에서 가장 넓은 영역을 포함하는 블랍을 손 영역으로 추출하고, 추출된 손 영역의 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하는 단계, 추출된 손 윤곽 포인트 리스트를 이용하여 컨벡스 헐(Convex Hull)을 생성하고, 컨벡스 헐에 해당하는 포인트를 손 윤곽 포인트 리스트에서 추출하여 손가락 후보 리스트를 생성하는 단계, 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 추출된 복수개의 중앙값을 이용하여 손바닥 중심 예측 및 손 윤곽 포인트 리스트에서 손 갈퀴를 추출하고, 추출된 손 갈퀴 및 복수개의 중앙값을 이용하여 손가락 끝 리스트를 생성하는 단계 및 생성된 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식하는 단계를 포함하여 구성될 수 있다. 따라서, 다양한 손모양 인식이 가능하므로 혼합된 3D오브젝트와의 유연한 상호작용이 가능하다는 장점이 있다.

Description

증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치{METHOD OF TRACKING FINGERTIPS IN AUGMENTED REALITY ENVIRONMENT}
본 발명은 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 것으로, 더욱 상세하게는 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 것이다.
증강 현실(AR: Argumented Reality)이란 현실 환경에 대한 정보에 가상 환경의 정보를 결합시켜 사용자에게 제공하는 것을 말한다. 통상적으로 증강 현실은 현실 환경에 대한 영상에 가상 객체를 증강시켜 사용자에게 제공함으로써 사용자에게 부가적인 정보를 제공하거나 보다 사실감 있는 정보를 제공하게 된다. 또한, 증강 현실에서 사용자의 제스처를 인식하여 증강 현실에 존재하는 3D 객체와 사용자가 상호작용할 수도 있다.
이를 위해, 기존의 증강 현실에서 마커기반 사용자 인터랙션을 이용하여 사용자의 제스처를 인식하여 증강 현실에 존재하는 3D 객체와 사용자가 상호작용할 수 있도록 하였다. 마커기반 사용자 인터랙션은 이동 마커를 이용하여 증강 현실에 존재하는 3D 객체의 자세를 추정하고 해당 지점에서 이동 마커가 머무른 시간을 이용하여 클릭 이벤트를 발생하였다. 하지만, 이러한 마커기반 사용자 인터랙션을 이용하여 사용자의 제스처를 인식하는 방법은 사용자가 인터랙션을 위해 프린트된 이동 마커를 사용해야 하며 클릭 이벤트를 발생하기 위한 지점에 이동 마커를 이동하기 때문에 사용자의 몰입감과 실제감이 떨어진다는 문제점이 있다.
다른 방법으로는 사용자에게 특정 하드웨어 또는 장비를 사용하여 멀티터치 상호작용을 지원하는 방법이 있다. 테이블 탑 디스플레이에서는 그물 형태의 안테나와 정전 용량 방식을 사용하여 손과 표면 사이의 거리를 계산하며 손의 위치와 형상을 인식한다. 또 특수 카메라를 이용한 방법에서는 열 감지 적외선 카메라를 사용하여 손 영역을 추출하고, 추출한 손 영역에 템플릿 매칭을 이용하여 손가락 위치를 인식한다. 그러나 이러한 방식은 고가의 특수 장비 혹은 특수 카메라를 활용해야 한다는 단점을 가진다.
기존의 마커기반 인터페이스와 특수 장비기반 인터페이스의 문제점을 벗어나기 위해. 사용자가 손쉽게 접할 수 있는 웹카메라와 추가적 장비 없이 사용자의 손동작을 통해 상호작용을 지원해야 한다. 하지만 저가의 카메라 입력만으로는 인식이 힘들뿐만 아니라 연산 처리량 많아져 영상처리 속도에 한계가 생기기도 한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 1목적은, 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 방법을 제공하는데 있다.
상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 손가락 끝 트래킹 장치는 제 1 추출부, 제 2 추출부 및 인식부를 포함하고, 상기 제 1 추출부는, 정규화된 가시광 영상에서 움직임 영역을 인식하여 모션 블랍 정보를 추출하는 모션 블랍 정보 추출부, 상기 정규화된 가시광 영상의 살색 영역에 대해서 추출된 살색 영역 정보를 블랍으로 분리하여 스킨 컬러 블랍 리스트를 생성하는 스킨 컬러 블랍 리스트 생성부, 및 상기 모션 블랍 정보 및 스킨 컬러 블랍 리스트를 이용하여 움직이는 스킨 컬러 블랍 리스트에서 가장 넓은 영역을 포함하는 블랍을 손 영역으로 추출하고, 추출된 손 영역의 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하는 손 영역 추출부를 포함하고, 상기 제 2 추출부는, 상기 추출된 손 윤곽 포인트 리스트를 이용하여 컨벡스 헐(Convex Hull)을 생성하고, 상기 컨벡스 헐에 해당하는 포인트를 상기 손 윤곽 포인트 리스트에서 추출하여 손가락 후보 리스트를 생성하는 손가락 후보 리스트 생성부, 상기 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 추출된 복수개의 중앙값을 이용하여 손바닥 중심 예측 및 상기 손 윤곽 포인트 리스트에서 손 갈퀴를 추출하고, 상기 추출된 손 갈퀴 및 복수개의 중앙값을 이용하여 손가락 끝 리스트를 생성하는 손가락 끝 리스트 생성부를 포함하고, 상기 인식부는, 상기 생성된 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식한다.
본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 손가락 끝 트래킹 방법은, 정규화된 가시광 영상에서 움직임 영역을 인식하여 모션 블랍 정보를 추출하는 단계, 상기 정규화된 가시광 영상의 살색 영역에 대해서 추출된 살색 영역 정보를 블랍으로 분리하여 스킨 컬러 블랍 리스트를 생성하는 단계, 상기 모션 블랍 정보 및 스킨 컬러 블랍 리스트를 이용하여 움직이는 스킨 컬러 블랍 리스트에서 가장 넓은 영역을 포함하는 블랍을 손 영역으로 추출하고, 추출된 손 영역의 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하는 단계, 상기 추출된 손 윤곽 포인트 리스트를 이용하여 컨벡스 헐(Convex Hull)을 생성하고, 상기 컨벡스 헐에 해당하는 포인트를 상기 손 윤곽 포인트 리스트에서 추출하여 손가락 후보 리스트를 생성하는 단계, 상기 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 추출된 추출된 복수개의 중앙값을 이용하여 손바닥 중심 예측 및 상기 손 윤곽 포인트 리스트에서 손 갈퀴를 추출하고, 상기 추출된 손 갈퀴 및 복수개의 중앙값을 이용하여 손가락 끝 리스트를 생성하는 단계 및 상기 생성된 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식하는 단계를 포함하여 구성될 수 있다.
상기와 같은 본 발명에 따른 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 방법 및 이를 위한 장치를 이용할 경우에는 단일 카메라의 영상 입력으로 사용자의 손 영역을 추출하고 해당 사용자의 손 영역으로부터 손 중심 정보와 손가락 끝 정보를 얻어 이벤트를 발생시킬 수 있다. 또한, 본 발명은 사용자의 손 영역으로부터 손 중심 정보와 손가락 끝 정보를 추출하는 과정에서 어떠한 부가 장치 없이 사용자의 의도를 파악 할 수 있기 때문에 증강현실 공간에서의 흥미 요소를 배가시키고, 다양한 손 모양 인식이 가능하므로 혼합된 3D오브젝트와의 유연한 상호작용이 가능하다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치의 내부 구조를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치를 이용하여 사용자의 손 영역을 인식한 후 인식된 손 영역에 대한 손 윤곽선 정보를 이용하여 손 중심 점과 손가락 끝을 인식한 경우의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 과정을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치의 내부 구조를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치는 제 1 추출부(101), 제 2 추출부(102) 및 인식부(103)를 포함하여 구성될 수 있으며, 제 1 추출부(101)는 정규화부(111), 모션 블랍 정보 생성부(121), 스킨 컬러 블랍 리스트 생성부(131) 및 손 영역 추출부(141)를 포함하여 구성될 수 있고, 제 2 추출부(102)는 손가락 후보 리스트 생성부(112) 및 손가락 끝 리스트 생성부(122)를 포함하여 구성될 수 있다.
정규화부(111)는 가시광 영상을 수신하고, 수신된 가시광 영상의 정규화를 실행한다. 본 발명의 일 실시예에 따르면, 정규화부(111)는 가시광 영상을 수신하고, 수신된 가시광 영상이 가지는 서로 다른 화이트 밸러스, 명암도, 밝기, 컬러분포 등을 균일화하여 정규화를 실행한다.
모션 블랍 정보 생성부(121)는 정규화부(111)로부터 정규화가 실행된 가시광 영상을 수신하고, 수신된 가시광 영상에서 움직임 영역을 인식하여 해당 영역에 대한 픽셀 정보 및 컨투어 정보 등을 포함하는 모션 블랍 정보를 생성한다.
스킨 컬러 블랍 리스트 생성부(131)는 정규화부(111)로부터 정규화가 실행된 가시광 영상을 수신하고, 수신된 가시광 영상에 다양한 방법을 적용하여 살색 영역에 대한 살색 영역 정보를 추출하고, 추출된 살색 영역 정보를 블랍으로 각각 분리하고 컨투어 정보와 결합되어 스킨 컬러 블랍 리스트를 생성한다. 본 발명의 일 실시예에 따르면, 스킨 컬러 블랍 리스트 생성부(131)는 현재 손 영역에 해당하는 스캐닝 정보를 수신하고, 수신된 스캐닝 정보를 이용하여 움직임을 가지는 실제 사용자의 손 영역으로 판단되는 부분을 블랍으로 각각 분리하여 컨투어 정보와 결합되어 스킨 컬러 블랍 리스트를 생성한다. 일반 사용자의 환경에서는 살색과 유사한 색상이 많지만, 배경색은 카메라가 움직이지 않는 한 움직임 정보를 가지지 않기 때문에 스킨 컬러 블랍 리스트 생성부(131)는 수신된 스캐닝 정보를 이용하여 움직임을 가지는 실제 사용자의 손 영역으로 판단되는 부분을 블랍으로 각각 분리하여 컨투어 정보와 결합되어 스킨 컬러 블랍 리스트를 생성할 수 있다.
손 영역 추출부(141)는 모션 블랍 정보 생성부(121)로부터 생성된 모션 블랍 정보 및 스킨 컬러 블랍 리스트 생성부(131)로부터 생성된 스킨 컬러 블랍 리스트를 수신하여 움직이는 스킨 컬러 블랍 리스트에서 가장 큰 영역을 사용자의 손 영역으로 추출하고 추출된 손 영역의 손 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하여 제 2 추출부(102)의 손가락 후보 리스트 생성부(112)로 출력한다.
손가락 후보 리스트 생성부(112)는 손 영역 추출부(141)로부터 손 윤곽선 가 손 윤곽 포인트 리스트로 추출된 리스트를 수신하고, 수신된 손 윤곽 포인트 리스트를 이용하여 윤곽선을 가지는 최소 다각형인 컨벡스 헐(Convex Hull)을 생성하고, 생성된 컨벡스 헐과 손 윤곽선 정보가 손 윤곽 포인트 리스트로 추출된 리스트 중 만나는 지점을 손가락 끝이 될 수 있다고 판단하여 손가락 후보 리스트에 업데이트하여 손가락 후보 리스트를 생성한다.
손가락 끝 리스트 생성부(122)는 손가락 후보 리스트 생성부(112)로부터 생성된 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 복수개의 군집으로부터 복수개의 중앙값을 추출하고, 추출된 복수개의 중앙값 복수개의 중앙값을 이용하여 손바닥 중심을 예측하고, 복수개의 중앙값을 이용하여 손 윤곽 포인트 리스트로 추출된 리스트에서 손 갈퀴를 추출한다. 그 후, 손가락 끝 리스트 생성부(122)는 추출된 손가락 끝 리스트를 포함한 클러스트에서 클러스트의 시작과 끝점의 거리를 구해 그 중 최소를 구하고 최소 값의 두배 이상인 클러스트를 손가락 끝 점 판단에서 제외 시켜 손가락 끝 리스트를 생성한다.
손가락 끝 리스트 생성부(122)가 손 갈퀴를 추출하는 과정을 설명하기로 한다. 이하에서는, 손가락 끝 리스트 생성부(122)가 손가락 후보 리스트 생성부(112)로부터 생성된 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 7개의 군을 생성하여 손 갈퀴를 추출하는 과정을 설명할 것이며, 손가락 후보 리스트 생성부(112)로부터 생성된 군집의 개수는 손가락 후보 리스트에 존재하는 손가락 후보끼리의 유사도에 따라 달라질 수 있음을 유의해야 한다. 손가락 끝 리스트 생성부(122)는 손가락 후보 리스트 생성부(112)로부터 생성된 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 7개의 군을 생성하고, 생성된 7개의 군에서 중앙값인 0, 1, 2, 3, 4, 5, 6을 추출하고, 두 개씩 묶어 0과 1, 1과 2, 2와 3, 3과 4, 4 와 5, 5와 6, 6과 0의 조합을 이용하여 손바닥 중심을 예측하고, 각 조합을 이용하여 손 윤곽 포인트 리스트에서 손 갈퀴를 검색한다. 예를 들어, 6과 0사이의 조합에서 손 갈퀴를 추출하기 위해서 6과 0사이의 조합에 존재하는 손 윤곽 포인트 리스트 중 세 점이 이루는 길이가 가장 길고 가장 깊은 골짜기를 골라 이를 6과 0 사이의 조합의 손 갈퀴로 추출한다.
인식부(103)는 손가락 끝 리스트 생성부(122)로부터 추출된 손가락 끝 리스트를 수신하고, 수신된 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식한다. 본 발명의 일 실시예에 따르면, 인식부(103)는 손가락 끝 리스트 생성부(122)로부터 추출된 손가락 끝 리스트를 이용하여 현재 프레임에서의 손가락 끝 정보와 이전 프레임에서의 손가락 끝 정보를 연관 지어 업데이트 가능한 손가락 끝 정보가 있는지 확인하고, 이를 기반으로 현재 사람의 손가락 끝 정보를 업데이트 하게 된다.
보다 구체적으로, 인식부(103)는 현재의 손가락 끝 좌표와 이전 프레임의 손가락 끝 좌표와의 거리를 리스트에 저장하여 트래킹되고 있던 손가락 끝이 업데이트 되었는지 혹은 현 손가락 끝 후보가 이전 프레임의 손가락 끝 정보에 의해 업데이트 되었는지를 체크하고 모두 업데이트 되지 않았다면 거리를 비교하여 업데이트 한다. 또한 새로운 손가락 끝 좌표는 추가하고 업데이트 되지 못한 이전 프레임에서의 손가락 끝 좌표는 삭제하여 트래킹을 수행함으로써 사용자의 제스처를 인식한다. 그러면 이하에서는, 도 2 를 참조하여 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치를 이용하여 사용자의 손 영역을 인식한 후 인식된 손 영역에 대한 손 윤곽선 정보를 이용하여 손 중심 점과 손가락 끝을 인식한 경우를 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 장치를 이용하여 사용자의 손 영역을 인식한 후 인식된 손 영역에 대한 손 윤곽선 정보를 이용하여 손 중심 점과 손가락 끝을 인식한 경우의 예시도이다.
도 2를 참조하면, 손 영역 추출부(141)는 모션 블랍 정보 생성부(121)로부터 생성된 모션 블랍 정보 및 스킨 컬러 블랍 리스트 생성부(131)로부터 생성된 스킨 컬러 블랍 리스트를 수신하여 움직이는 스킨 컬러 블랍 리스트에서 가장 큰 영역을 사용자의 손 영역(200a)으로 추출하고 추출된 영역(200a)의 손 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하여 제 2 추출부(102)의 손가락 후보 리스트 생성부(112)로 출력한다.
손가락 후보 리스트 생성부(112)는 손 영역 추출부(141)로부터 손 윤곽선 정보가 손 윤곽 포인트 리스트로 추출된 리스트를 이용하여 윤곽선을 가지는 최소 다각형인 컨벡스 헐(200b)을 생성하고, 컨벡스 헐(200b)에 해당하는 포인트를 손 윤곽 포인트 리스트로부터 추출하여 손가락 끝이 될 수 있다고 판단하고 이를 손가락 후보 리스트에 업데이트하여 손가락 후보 리스트(204a, …, 204o)를 생성한다.
손가락 끝 리스트 생성부(122)는 손가락 후보 리스트 생성부(112)로부터 생성된 손가락 후보 리스트(204a, …, 204o)를 수신하고, 수신된 손가락 후보 리스트(204a, …, 204o)에서 유사한 손가락 후보끼리 군집한 후, 복수개의 군집으로부터 복수개의 중앙값(203a, 230b, 203c, 203d)을 추출하고, 추출된 복수개의 중앙값(203a, 230b, 203c, 203d)을 이용하여 손바닥 중심(206)을 예측하고, 복수개의 중앙값(203a, 230b, 203c, 203d)을 이용하여 손 윤곽선 정보가 손 윤곽 포인트 리스트로 추출된 리스트에서 손 갈퀴(205a, 205b)를 추출한다.
그 후, 손가락 끝 리스트 생성부(122)는 추출된 손가락 끝 리스트를 포함한 클러스트에서 클러스트의 시작(201)과 끝점(202)의 거리를 구해 그 중 최소를 구하고 최소 값의 두배 이상인 클러스트를 손가락 끝 점 판단에서 제외 시켜 손가락 끝 후보 리스트(204e, 204f, 204g)를 생성한다.
인식부(103)는 손가락 끝 리스트 생성부(122)로부터 추출된 손가락 끝 후보 리스트(204e, 204f, 204g)를 수신하고, 수신된 손가락 끝 후보 리스트(204e, 204f, 204g)를 이용하여 현재 프레임에서의 손가락 끝 정보와 이전 프레임에서의 손가락 끝 정보를 연관 지어 업데이트 가능한 손가락 끝 정보가 있는지 확인하고, 이를 기반으로 현재 사람의 손가락 끝 정보를 업데이트 하게 된다.
보다 구체적으로, 인식부(103)는 현재의 손가락 끝 좌표(203)와 이전 프레임의 손가락 끝 좌표와의 거리를 리스트에 저장하여 트래킹되고 있던 손가락 끝이 업데이트 되었는지 혹은 손가락 끝 후보 리스트(204e, 204f, 204g)가 이전 프레임의 손가락 끝 정보에 의해 업데이트 되었는지를 체크하고 모두 업데이트 되지 않았다면 거리를 비교하여 업데이트 한다. 또한 새로운 손가락 끝 좌표는 추가하고 업데이트 되지 못한 이전 프레임에서의 손가락 끝 좌표는 삭제하여 트래킹을 수행함으로써 손가락 끝 후보 리스트(204e, 204f, 204g) 중 최종 손가락 끝(204g)을 선택하여 사용자의 제스처를 인식한다. 그러면 이하에서는, 도 3을 참조하여 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 과정을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 환경에서 손가락 끝 트래킹 방법을 설명하기 위한 흐름도이다.
손가락 끝 트래킹 장치는 정규화된 가시광 영상에서 움직임 영역을 인식하여 해당 영역에 대한 픽셀 정보 및 컨투어 정보 등을 포함하는 모션 블랍 정보를 추출한다(S401). 손가락 끝 트래킹 장치는 정규화된 가시광 영상에 다양한 방법을 적용하여 살색 영역에 대한 살색 영역 정보를 추출하고, 추출된 살색 영역 정보를 블랍으로 각각 분리하고 컨투어 정보와 결합하여 스킨 컬러 블랍 리스트를 생성한다(S402). 본 발명의 일 실시예에 따르면, 스킨 컬러 블랍 리스트 생성부(131)는 현재 손 영역에 해당하는 스캐닝 정보를 수신하고, 수신된 스캐닝 정보를 이용하여 움직임을 가지는 실제 사용자의 손 영역으로 판단되는 부분을 블랍으로 각각 분리하여 컨투어 정보와 결합하여 스킨 컬러 블랍 리스트를 생성한다. 일반 사용자의 환경에서는 살색과 유사한 색상이 많지만, 배경색은 카메라가 움직이지 않는 한 움직임 정보를 가지지 않기 때문에 스킨 컬러 블랍 리스트 생성부(131)는 수신된 스캐닝 정보를 이용하여 움직임을 가지는 실제 사용자의 손 영역으로 판단되는 부분을 블랍으로 각각 분리하여 컨투어 정보와 결합되어 스킨 컬러 블랍 리스트를 생성할 수 있다.
손가락 끝 트래킹 장치는 모션 블랍 정보 및 스킨 컬러 블랍 리스트를 이용하여 움직이는 스킨 컬러 블랍 리스트에서 가장 넓은 영역을 포함하는 블랍을 손 영역으로 추출하고, 추출된 손 영역의 손 윤곽선 정보를 손 윤곽 포인트 리스트로 추출 한다(S403). 손가락 끝 트래킹 장치는 추출된 리스트를 수신하고, 수신된 손 윤곽 포인트 리스트를 이용하여 윤곽선을 가지는 최소 다각형인 컨벡스 헐을 생성하고, 컨벡스 헐에 해당하는 포인트를 손 윤곽 포인트 리스트로부터 추출하여 손가락 끝이 될 수 있다고 판단하고 이를 손가락 후보 리스트에 업데이트하여 손가락 후보 리스트를 생성한다(S404).
손가락 끝 트래킹 장치는 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 복수개의 군집으로부터 복수개의 중앙값을 추출하고, 추출된 복수개의 중앙값 복수개의 중앙값을 이용하여 손바닥 중심을 예측하고, 복수개의 중앙값을 이용하여 손 윤곽 포인트 리스트로 추출된 리스트에서 손 갈퀴를 추출한 후, 추출된 손가락 끝 리스트를 포함한 클러스트에서 클러스트의 시작과 끝점의 거리를 구해 그 중 최소를 구하고 최소 값의 두배 이상인 클러스트를 손가락 끝 점 판단에서 제외 시켜 손가락 끝 리스트를 생성한다(S405).
손가락 끝 트래킹 장치가 손 갈퀴를 추출하는 과정을 설명하기로 한다. 이하에서는, 손가락 끝 트래킹 장치가 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 7개의 군을 생성하여 손 갈퀴를 추출하는 과정을 설명할 것이며, 손가락 끝 트래킹 장치에서 생성된 군집의 개수는 손가락 후보 리스트에 존재하는 손가락 후보끼리의 유사도에 따라 달라질 수 있음을 유의해야 한다. 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 7개의 군을 생성하고, 생성된 7개의 군에서 중앙값인 0, 1, 2, 3, 4, 5, 6을 추출하고, 두 개씩 묶어 0과 1, 1과 2, 2와 3, 3과 4, 4 와 5, 5와 6, 6과 0의 조합을 이용하여 손바닥 중심을 예측하고, 각 조합을 이용하여 손 윤곽 포인트 리스트에서 손 갈퀴를 검색한다. 예를 들어, 6과 0사이의 조합에서 손 갈퀴를 추출하기 위해서 6과 0사이의 조합에 존재하는 손 윤곽 포인트 리스트 중 세 점이 이루는 길이가 가장 길고 가장 깊은 골짜기를 골라 이를 6과 0 사이의 조합의 손 갈퀴로 추출한다.
손가락 끝 트래킹 장치는 생성된 손가락 끝 리스트를 이용하여 현재 프레임에서의 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식한다(S406). 본 발명의 일 실시예에 따르면, 손가락 끝 트래킹 장치는 추출된 손가락 끝 리스트를 이용하여 현재 프레임에서의 손가락 끝 정보와 이전 프레임에서의 손가락 끝 정보를 연관 지어 업데이트 가능한 손가락 끝 정보가 있는지 확인하고, 이를 기반으로 현재 사람의 손가락 끝 정보를 업데이트 하게 된다. 보다 구체적으로, 손가락 끝 트래킹 장치는 현재의 손가락 끝 좌표와 이전 프레임의 손가락 끝 좌표와의 거리를 List에 저장하여 트래킹되고 있던 손가락 끝이 업데이트 되었는지 혹은 현 손가락 끝 후보가 이전 프레임의 손가락 끝 정보에 의해 업데이트 되었는지를 체크하고 모두 업데이트 되지 않았다면 거리를 비교하여 업데이트 한다. 또한 새로운 손가락 끝 좌표는 추가하고 업데이트 되지 못한 이전 프레임에서의 손가락 끝 좌표는 삭제하여 트래킹을 수행함으로써 사용자의 제스처를 인식한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
101: 제 1 추출부 111: 정규화부
121: 모션 블랍 정보 추출부
131: 스킨 컬러 블랍 리스트 생성부 141: 손 영역 추출부
102: 제 2 추출부
112: 손가락 후보 리스트 생성부 122: 손가락 끝 리스트 생성부
103: 인식부

Claims (1)

  1. 제 1 추출부, 제 2 추출부 및 인식부를 포함하고,
    상기 제 1 추출부는,
    정규화된 가시광 영상에서 움직임 영역을 인식하여 모션 블랍 정보를 추출하는 모션 블랍 정보 추출부;
    상기 정규화된 가시광 영상의 살색 영역에 대해서 추출된 살색 영역 정보를 블랍으로 분리하여 스킨 컬러 블랍 리스트를 생성하는 스킨 컬러 블랍 리스트 생성부; 및
    상기 모션 블랍 정보 및 스킨 컬러 블랍 리스트를 이용하여 움직이는 스킨 컬러 블랍 리스트에서 가장 넓은 영역을 포함하는 블랍을 손 영역으로 추출하고, 추출된 손 영역의 윤곽선 정보를 손 윤곽 포인트 리스트로 추출하는 손 영역 추출부를 포함하고,
    상기 제 2 추출부는,
    상기 손 윤곽 포인트 리스트를 이용하여 컨벡스 헐(Convex Hull)을 생성하고, 상기 컨벡스 헐에 해당하는 포인트를 상기 손 윤곽 포인트 리스트에서 추출하여 손가락 후보 리스트를 생성하는 손가락 후보 리스트 생성부;
    상기 손가락 후보 리스트에서 유사한 손가락 후보끼리 군집하여 추출된 추출된 복수개의 중앙값을 이용하여 손바닥 중심 예측 및 상기 손 윤곽 포인트 리스트에서 손 갈퀴를 추출하고, 상기 추출된 손 갈퀴 및 복수개의 중앙값을 이용하여 손가락 끝 리스트를 생성하는 손가락 끝 리스트 생성부를 포함하고,
    상기 인식부는, 상기 생성된 손가락 끝 리스트와 이전 프레임에서 추출된 손가락 끝 리스트를 비교하여 손가락 끝을 트래킹하여 사용자의 제스처를 인식하는 것을 특징으로 하는 손가락 끝 트래킹 장치.
KR1020100132889A 2010-12-22 2010-12-22 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치 KR20120071230A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132889A KR20120071230A (ko) 2010-12-22 2010-12-22 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132889A KR20120071230A (ko) 2010-12-22 2010-12-22 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20120071230A true KR20120071230A (ko) 2012-07-02

Family

ID=46706319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132889A KR20120071230A (ko) 2010-12-22 2010-12-22 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR20120071230A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652086B2 (en) 2013-07-25 2017-05-16 Hyundai Motor Company Touch point recognition method of touch screen and system performing the same
US10636156B2 (en) 2016-09-12 2020-04-28 Deepixel Inc. Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652086B2 (en) 2013-07-25 2017-05-16 Hyundai Motor Company Touch point recognition method of touch screen and system performing the same
US10636156B2 (en) 2016-09-12 2020-04-28 Deepixel Inc. Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image

Similar Documents

Publication Publication Date Title
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
Kaur et al. A review: Study of various techniques of Hand gesture recognition
Raheja et al. Robust gesture recognition using Kinect: A comparison between DTW and HMM
Zaki et al. Sign language recognition using a combination of new vision based features
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
US9207771B2 (en) Gesture based user interface
Wen et al. A robust method of detecting hand gestures using depth sensors
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
EP3090382B1 (en) Real-time 3d gesture recognition and tracking system for mobile devices
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
Wu et al. Robust fingertip detection in a complex environment
Li Multi-scenario gesture recognition using Kinect
CN112528850A (zh) 人体识别方法、装置、设备和存储介质
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
US20120212413A1 (en) Method and System for Touch-Free Control of Devices
Anwar et al. Hand gesture recognition: a survey
CN109543644B (zh) 一种多模态手势的识别方法
WO2013051681A1 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
Hongyong et al. Finger tracking and gesture recognition with kinect
Vivek Veeriah et al. Robust hand gesture recognition algorithm for simple mouse control
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
Nandwana et al. A survey paper on hand gesture recognition
Jiang et al. independent hand gesture recognition with Kinect
Nayakwadi et al. Natural hand gestures recognition system for intelligent hci: A survey
KR20120071230A (ko) 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid