KR101683194B1

KR101683194B1 - 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법

Info

Publication number: KR101683194B1
Application number: KR1020150019259A
Authority: KR
Inventors: 김진성
Original assignee: 선문대학교산학협력단
Priority date: 2015-02-09
Filing date: 2015-02-09
Publication date: 2016-12-06
Also published as: KR20160097513A

Abstract

본 발명은 가장자리 쌍 기반의 손 추적 방법으로서, 깊이 영상에서 형체의 가장자리 쌍 그룹의 정보를 이용하여 손가락 후보를 검출하고, 이들 연결 관계를 파악하여 초기 손을 검출하는 초기 손 검출 단계 및 상기 깊이 영상의 다음 프레임에서 저장된 좌표들 중 깊이 변화가 작은 좌표를 일정 비율 이상 포함한 형체를 추적하여 손으로 판단하는 손 추적 단계를 포함하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법에 관한 것이다.
본 발명에 따른 손 추적 방법은, 초기 손 검출과 손 추적의 주요 연산이 관심영역 내에서 가장자리 쌍 그룹들을 검출하는 동작으로 같아서 빠른 속도를 유지하면서 초기 손 검출과 손 추적을 동시에 수행하는 장점이 있다. 또한, 저장된 좌표들에 대해서 현재 프레임과 이전 프레임의 깊이 값을 비교하는 단순한 방법을 사용하여 추적하므로 연산량이 적은 장점이 있다.

Description

깊이 영상에서 가장자리 쌍 기반의 손 추적 방법{Paired-edge based hand tracking method using depth image}

본 발명은 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법에 관한 것으로서, 초기 손(initial hand)을 검출하고 다음 프레임에서 깊이 변화가 작은 형체를 추적하는 손 추적 방법에 관한 것이다.

모바일 단말기, 노트북 및 태블릿 등 카메라를 장착한 디바이스와 차량용 영상 녹화 장치와 CCTV 등 카메라의 급격한 보급으로 많은 영상이 만들어지고 있다. 한편으로는 스마트TV, 지능형 자동차, 가상 현실(AR: augmented reality), 착용형 장치(wearable device) 및 사물인터넷(IOT: internet of things) 등의 분야에서는 기존의 인간-컴퓨터 인터페이스(HCI: human-computer interface) 방식을 대신하여 좀 더 자연스러운 인터페이스 방식을 요구하고 있으며, NUI(natural user interface)/NUX(natural user experience)에 대한 연구가 활발히 진행되고 있다.

이러한 흐름에 따라 영상 인식을 기반으로 한 HCI에 대한 연구는 얼굴, 눈, 팔, 다리 및 손 등에 대한 영상 인식이 필요하며, 이에 대한 많은 연구 결과가 발표되었다. 이러한 연구 결과는 게임 산업에 적용이 되어 상용화에 성공하였는데, 얼굴, 팔, 다리 및 손의 움직임을 인식하여 사용자의 조정이 가능한 게임이 개발되어 널리 보급되었다.

정밀한 제어를 위한 HCI를 위해서는 손에 대한 형상 및 움직임을 정확히 인식할 수 있는 기술이 필요하며 이에 대한 연구가 진행되고 있다. 일반적인 손 인식 연구는 초기 손 검출(initial hand detection), 형상 인식(shape recognition) 및 손 추적(hand tracking)으로 나눌 수 있다.

색 영상을 기반으로 초기 손을 찾는 방법은 조명의 영향을 크게 받으며, 불필요한 배경(cluttered background)인 경우 손을 정확히 세분화(segmentation)하기 어렵다. 조명의 영향을 줄이기 위해 세분화에 HSV 색 변환을 사용한 연구가 진행되었다. 그러나 여전히 조명에 의한 영향을 받고, 수립된 모델과 다른 색의 손인 경우 손을 인식하지 못하는 문제가 있다.

세분화를 위해 배경을 찾은 후 전경과 배경을 분리하는 접근이 있다. 이전 프레임들에서 배경을 저장한 후, 현재 프레임과의 차이 계산으로 전경과 배경을 분리하는 방법이 제시되었으나, 카메라가 이동하여 배경이 계속 변화하거나, 전경의 물체가 장시간 고정된 경우에는 전경과 배경 분리가 어려워지는 문제가 있다.

또는 움직임이 있는 부분만을 검출하고, 검출된 영역 중에서 피부 색 범위에 해당하는 부분을 손으로 인식하는 연구 결과가 있으나, 이 경우 역시 손이 아닌 객체의 색이 피부색의 범위에 포함된다면 손으로 분류되는 문제가 있다.

Haar-like feature와 Adaboost를 이용하는 방법도 제안되었는데, 이러한 방법은 초기 손을 찾거나 또는 손 형상을 인식한다. 이 방법은 얼굴 검출에 매우 성공적으로 적용되었으나, 손의 경우 객체 사이에 존재하는 배경이 결과에 영향을 주며, 손 모양이 매우 다양하기 때문에 높은 인식률을 얻기 어렵다. 또한 회전을 고려하는 경우 연산량이 증가할 수 있다.

깊이 영상(depth image)에서는 반사된 배경과 객체의 분리가 쉽고 조명이나 색상 변화의 영향을 받지 않기 때문에 색 영상에서보다 세분화가 비교적 쉽게 수행될 수 있다. 깊이 영상은 스테레오 카메라와 TOF(time-of-flight) 방식이 있었으며, MS Kinect가 보급되면서 깊이 영상이 널리 활용되고 있다. 그러나 깊이를 이용하여 세분화가 쉽게 수행되더라도 초기 손을 찾는 방법은 쉽지 않다.

깊이 영상에서도 배경과 전경을 분리하기 위해, 배경을 저장하거나 움직임이 있는 부분만을 검출하는 방법이 이용되었다. HCI로 활용이 될 때 손이 다른 객체들 보다 카메라로부터 가장 가까운 물체라는 가정을 가지고, 깊이 영상에서 가장 가까운 객체를 찾아 초기 손으로 판단하는 방법이 많이 활용되었다.

이러한 방법들에서 정확성을 향상시키기 위해 피부색을 이용하거나, 몸을 찾고 몸과 손의 공간적 상관관계를 활용하는 방법이 제안되었다. 깊이의 범위를 지정하고 이 범위에 있는 객체를 손으로 가정한다. 손보다 비교적 검출이 쉬운 얼굴 혹은 몸을 먼저 찾은 후 이 정보를 이용하여 손을 찾는 방법도 제안되었다. 손은 모양이 복잡하고 변화가 크기 때문에 검출이 어렵다. 또한, 회전, 스케일 및 전환을 고려할 때 손 검출은 많은 연산을 요구한다. 현재까지 연구된 손 검출 방법들은 대체로 제약 조건이 있거나 많은 연산량을 요구한다.

손 형상 인식을 하기 위해 형상 기반의 방법(shape-based method)들이 제안되었다. Convex hull을 이용하여 펼쳐진 손가락과 손가락의 방향을 인식하거나, 손가락을 인식한 결과가 발표되었다. 포인트와 손의 외곽선에 위치한 픽셀들과의 거리를 측정한 후 손의 형상을 분석하거나, 이 거리를 이용하여 손가락 끝을 정의하는 방법이 시도되었다. 이러한 방법에서는 거리뿐만 아니라 외곽선의 곡률, 검출된 요소들 사이의 거리, 각도 등의 관계가 활용된 연구도 있다. 그 외에 원과 바(bar)의 형태를 찾고 이들의 연결 관계를 분석하여 손과 손가락을 인식하는 방법도 제안되었다.

학습 기반의 방법(learning-based method)에서는 Viola and Jones 방법을 사용하는 방법이 가장 널리 사용되었다. 그 외에 새로운 특징을 제시하고 Adaboost를 사용한 방법도 제시되었다. 피부색을 이용하여 후보 영역을 찾고 Viola and Jones 방법을 이용하여 찾은 얼굴을 제거하였다. 또한, 탬플릿 매칭으로 손이 아닌 영역을 제거한 후 SIFT를 사용한 SVM으로 형상을 인식하였다. 손 추적을 위해 이전 프레임에서 찾은 손과 현재 프레임에서 찾은 손 사이의 거리를 이용하여 추적하였다. 손 추적에 Kalman filter, CAMSHIFT 및 optical flow와 같은 다양한 방법들이 사용될 수 있다.

기존에 제안된 초기 손을 찾는 방법에서는 깊이 거리에 대한 가정을 제거할 필요가 있다. 또한, 얼굴이나 몸과 같은 다른 객체를 찾은 후에 손을 찾는 방법은 손 이외의 다른 객체를 찾는 연산이 추가되어야 하며, 영상에서 손만 존재하는 경우에 대해서는 적용할 수 없다. 손과 배경을 분리하는 방법이 제안되었으나, 배경과 카메라가 고정되어 있어야 하고, 일정 시간 이내에 손의 움직임이 있어야 한다는 제약 조건이 있다.

손 형상 인식 방법에서, 형상 기반의 방법의 경우 초기 손을 찾는 방법과 형상 인식을 위한 방법이 상이한 경우가 많다. 따라서, 초기 손 검출과 검출된 손 형상 분석 모듈이 별도로 구성이 되며, 지속적으로 새로운 손이 발생할 가능성이 있는 경우 이 두 가지 방법이 동시에 계속 수행되어야 하는 부담이 있다.

또한, 손가락 및 손에 대한 기하학적 정보 분석이 제시된 발명들이 있으나, 비교적 복잡한 연산을 수행한다. 따라서 초기 손을 찾는 방법과 형상 분석 방법이 유사하도록 하여 시스템의 효율을 높일 필요가 있다. 학습 기반의 방법의 경우 초기 손 검출에 대한 문제는 비교적 적으나, 손 모양의 다양성과 손가락 사이의 배경에 의한 영향으로 그 성능이 제한되는 문제가 있다.

특허문헌 1은 손가락 패턴을 이용한 손 모양 인식 장치 및 방법에 관한 것으로서, 손가락 패턴을 미리 설정하고, 손가락 특징데이터를 검출하여 후보패턴을 검출한 후 후보패턴과 일치하는 손가락 패턴을 손 모양으로 인식하기 때문에, 다양한 손 모양과 변화하는 손 모양을 추적하는 데는 한계가 있다.

따라서 잡음의 영향을 적게 받고 안정적이며 적은 연산량으로 초기 손을 검출하고, 검출된 손을 추적하는 기술이 필요하다.

1. 한국 공개특허 제10-2013-0109817호

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 초기 손(initial hand)을 검출하고 다음 프레임에서 깊이 변화가 작은 형체를 추적하는 손 추적 방법을 제공하고자 한다.

상기의 해결하고자 하는 과제를 위한 본 발명에 따른 객체 검출 방법은, 깊이 영상(depth image)에서 객체의 가장자리 쌍 그룹(PEG: paired-edge group)의 정보를 이용하여 손가락 후보(FC: finger candidate)를 검출하고 이들 사이의 연결 관계를 파악하여 초기 손(initial hand)을 검출하는 초기 손 검출 단계 및 상기 깊이 영상의 다음 프레임에서 저장된 좌표들 중 이전 프레임보다 깊이 변화가 작은 좌표를 일정 비율 이상 포함한 형체를 추적하여 손으로 판단하는 손 추적 단계를 포함하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 초기 손 검출 단계는, 검출된 상기 FC 중에서 깊이의 차이가 일정 범위 이내에 있는 FC들을 그룹으로 설정하는 손가락 후보 그룹화(FC grouping) 단계, 상기 FC 그룹 내에서 PEG를 재생성하여 FC와 겹치는 PEG을 확인하여 연결된 가장자리 쌍 그룹(connected-PEGs)을 생성하는 연결된 가장자리 쌍 그룹(connected-PEGs) 생성 단계, 생성된 상기 연결된 가장자리 쌍 그룹에 연결된 FC의 수가 5개인 경우 손으로 판단하는 손 판단 단계 및 손가락 및 손바닥의 연결 위치 정보를 이용하여 손바닥 영역을 검출하는 손바닥 영역 검출 단계를 포함하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 연결된 가장자리 쌍 그룹 생성 단계는, 입력된 상기 깊이 영상에 대하여 단일 방향으로 라인 스캔하여 각 가장자리 쌍의 시작과 끝점을 잇는 라인과 상기 손가락 후보가 겹치는 경우, 상기 손가락 후보와 각 가장자리 쌍 그룹이 연결되어 있는 것으로 판단하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 손바닥 영역 검출 단계는, 검출된 상기 초기 손의 손바닥 영역의 크기를 계산하고 저장하는 단계, 저장된 상기 손바닥 영역의 크기를 이용하여 깊이에 따른 손바닥 영역의 크기를 환산하여 저장하는 단계 및손에 포함된 FC가 저장하고 있는 PEG 생성이 종료되는 끝 가장자리 쌍 좌표의 시작-끝을 연결한 J-line을 이용하여 손바닥 영역의 위치를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 손 추적 단계는, 검출된 손을 구성하는 connected-PEGs의 최대 및 최소 좌표값을 이용하여 사각형의 관심영역(ROI)의 범위를 저장하는 단계 및 상기 관심영역 내에서 각 connected-PEGs에 포함된 손 추적 점(HTP: hand tracking point)의 (x, y, z) 좌표를 저장하는 단계를 더 포함한다.

본 발명의 바람직한 실시예로서, 상기 손 추적 단계는, 상기 깊이 영상의 다음 프레임에서 FC를 검출하는 FC 검출 단계, 검출된 상기 FC 중에서 깊이의 차이가 일정 범위 이내에 있는 상기 FC들을 그룹으로 설정하는 손가락 후보 그룹화 단계, 상기 관심영역 내에서 PEG을 재생성하여 FC와 겹치는 PEG을 확인하여 connected-PEGs를 생성하는 연결된 가장자리 쌍 그룹 생성 단계, 상기 connected-PEGs에 포함된 상기 HTP를 이용하여 connected-PEGs를 추적된 손으로 판단하는 손 판단 단계, 상기 손 판단 단계에서 손으로 판단이 되면 다음 프레임을 위한 관심영역 설정, HTP 생성 및 손바닥 영역을 검출하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 손 판단 단계는, 시작과 끝 PE를 잇는 라인에 상기 HTP가 위치하고, 저장된 HTP의 깊이 값이 시작 가장자리 쌍과 끝 가장자리 쌍의 z 좌표의 일정 범위 내에 있는 경우 HTP가 가장자리 쌍(PE)에 포함된 것으로 판단하는 것을 특징으로 한다.

본 발명의 바람직한 실시예로서, 상기 손 판단 단계는, 상기 연결된 PEG에 포함된 상기 HTP의 개수를 세어 각 연결된 PEG 중에서 전체 HTP의 25% 이상을 포함하는 동시에 상기 관심영역 내에서 HTP를 가장 많이 포함한 connected-PEGs를 추적된 손으로 판단하고, 상기 connected-PEGs 중에서 전체 HTP의 25% 이상을 포함하는 connected-PEGs가 없는 경우 손이 사라진 것으로 판단한다.

본 발명은 깊이 영상의 객체 세분화가 비교적 쉽고, 초기 객체 검출은 배경에 의한 영향을 적게 받는다. 따라서 배경이 복잡하거나, 배경이 변하더라도 초기 객체 검출에 큰 영향을 받지 않는다. 또한, 깊이 범위에 대한 제약 조건이 없어 깊이 영상의 해상도가 충분하여 어떤 깊이 위치에서도 초기 객체를 찾을 수 있다.

또한, 본 발명은 외곽선의 잡음 영향을 적게 받기 때문에 잡음을 제거하기 위한 median이나 dilation 등의 전처리가 필요하지 않으며, 가장자리 픽셀들의 연결이 아닌 객체를 구성하는 라인의 연결 관계를 분석하기 때문에 기존의 가장자리 점들의 정렬을 이용하는 방법보다 연산량이 적으면서 잡음에 의한 영향이 적다.

본 발명의 손 추적은 손의 모양을 분석하지 않기 때문에 다양한 모양의 손을 추적할 수 있다

또한, 본 발명의 손 추적은 저장된 좌표들에 대해서 현재 프레임과 이전 프레임의 깊이값을 비교하는 단순한 방법을 사용하기 때문에 연산량이 많지 않다.

또한, 본 발명의 손 추적은 손 추적 점(HTP)를 이용하여 이전 손과 현재의 손의 connected-PEGs 사이에 공통으로 존재하는 HTP의 수를 계산하는 간단한 방법이므로, 손 모양이 복잡하더라도 지속적으로 추적할 수 있다.

도 1은 본 발명에 따른 가장자리 쌍(PE) 및 가장자리 쌍 그룹(PEG)를 나타낸 도면.
도 2는 본 발명에 따른 PEG 생성을 나타낸 영상.
도 3은 본 발명에 따른 PEG의 각도 계산을 나타낸 도면.
도 4는 본 발명에 따른 PEG의 두께 및 길이 계산을 나타낸 도면.
도 5는 본 발명에 따른 손가락 PEG를 나타낸 영상.
도 6은 본 발명에 따른 손가락 후보 생성에서 스캔 라인과 손가락 방향의 각도에 대한 영향을 나타낸 영상.
도 7은 본 발명에 따른 4가지 회전 방향으로부터 얻어진 손가락 후보를 통합한 손가락 후보를 나타낸 영상.
도 8은 본 발명에 따른 손가락 후보로 검출된 손가락의 외곽선을 나타낸 영상.
도 9는 본 발명에 따른 손가락 후보 및 손가락 후보 그룹을 나타낸 영상.
도 10은 본 발명에 따른 손가락 후보 그룹의 관심영역(ROI)과 손으로 판단된 연결된 가장자리 쌍 그룹(connected-PEGs)에 포함된 가장자리 쌍 그룹을 나타낸 영상.
도 11은 본 발명에 따른 J-line을 나타낸 영상.
도 12는 본 발명에 따른 검출한 손바닥 영역을 나타낸 영상.
도 13은 본 발명에 따른 손바닥 영역의 확장을 나타낸 영상.
도 14는 본 발명에 따른 손 추적을 위한 손 추적 점(HTP) 생성을 나타낸 영상.
도 15는 본 발명에 따른 손 검출 및 손 추적 방법의 동작 순서를 나타낸 순서도.
도 16은 본 발명에 따른 손 검출 및 손 추적 방법의 흐름을 나타낸 순서도.
도 17은 본 발명에 따른 가림(occlusion)에 따른 손 추적을 나타낸 영상.
도 18은 본 발명에 따른 초기 손 검출 테스트 영상.
도 19는 왜곡이 발생한 초기 손 검출의 나타낸 영상.
도 20은 본 발명에 따른 검출된 손가락 및 손바닥의 추적 결과를 나타낸 영상.
도 21은 본 발명에 따른 4가지 깊이의 경우에 대해 추적된 손가락 팁 좌표 및 실측 정보를 나타낸 도면.
도 22는 본 발명에 따른 손 검출 결과를 나타낸 영상.

이하 본 발명의 실시를 위한 구체적인 실시예를 도면을 참고하여 설명한다. 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것은 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.

본 발명에 따른 가장자리 쌍 기반의 손 추적 방법은 초기 손 검출 단계 및 손 추적 단계를 포함한다.

상기 초기 손 검출 단계는 깊이 영상(depth image)에서 형체의 가장자리 쌍 그룹(PEG: paired-edge group)의 기하학적 정보를 이용하여 손가락 후보(FC: finger candidate)를 검출하고, 검출된 상기 손가락 후보들 사이의 연결 관계를 파악하여 초기 손(initial hand)을 검출하는 단계이다.

깊이 영상에서 객체의 왼쪽과 오른쪽의 가장자리인 가장자리 쌍(PE: paired-edge)을 이용하여 손가락이 될 수 있는 PEG를 검출하고, 이를 이용하여 손을 검출하는 방법을 제시한다. 수직방향으로 연결된 가장자리 쌍들의 집합인 PEG으로 객체를 표현하며, 이 PEG들 중 손가락이 될 수 있는 형상을 가진 손가락 후보를 검출한다.

PEG들 중 서로 연결된 가장자리 쌍 그룹(PEG)들의 집합으로 하나의 형체를 표현할 수 있는데, 이렇게 연결된 가장자리 쌍 그룹(PEG)들 중에서 손을 검출한다.

상기 손 추적 단계는 깊이 영상의 다음 프레임에서 저장된 좌표들 중 깊이 변화가 작은 좌표를 일정 비율 이상 포함한 형체를 추적하여 손으로 판단하는 단계이다. 현재 프레임에서 검출된 손의 다음 프레임에서의 위치와 형상 정보를 계산한다. 연산량이 적은 간단한 방법을 적용하여 추적과 형상 분석을 할 수 있다. 초기 손 검출에서는 5개의 손가락을 모두 편 경우의 손을 검출한다. 그러나 손 추적에서는 임의의 형상을 가진 손에 대하여 추적하고, 손가락 검출 및 형상 분석을 수행한다.

손가락 후보 검출 단계는 가장자리 쌍 검출 단계, PEG 생성 단계, PEG 기하학적 정보 계산 단계, 손가락 후보 판단 및 정보 저장 단계를 포함한다.

상기 가장자리 쌍 생성 단계는 깊이 영상을 라스터 스캔 순서(raster scan order)로 객체의 가장자리를 판독하여 왼쪽과 오른쪽에 위치한 가장자리 쌍을 검출하는 단계이다.

객체의 외곽선을 표시하는 일반적인 방법에서는 객체의 가장자리를 검출한 후 공간적인 연결 순서로 정렬한 후 정렬된 가장자리 좌표나 혹은 체인 코드(chain code)를 저장한다. 본 발명에 따른 객체 검출 방법에서는 객체의 외곽선을 분석하기 위해 입력 영상에 대하여 수평 방향의 가장자리를 검출하고, 객체의 좌측과 우측의 가장자리를 쌍으로 묶는 가장자리 쌍 방법을 사용한다.

도 1은 본 발명에 따른 PE 및 PEG를 나타낸 도면으로서, 수평의 실선을 따라서 객체의 가장자리를 검출한다. ST 점은 객체의 좌측 가장자리를 나타내며, 가장자리 쌍의 시작 가장자리라 한다. ED 점은 우측 가장자리를 나타내며 가장자리 쌍의 끝 가장자리라 한다.

가장자리를 검출하는 스캔 라인 방향으로 인접한 픽셀 사이의 깊이 차이가 임계값(threshold) 이상인 경우 가장자리로 판단한다. 깊이의 차이가 8 이상인 경우 가장자리로 판단할 수 있다.

한 스캔 라인에 대하여 가장자리 쌍 검출이 끝나면 그 다음 라인에 대하여 가장자리 쌍들을 검출한다. 이러한 가장자리 쌍 검출 방법은 라스터 스캔 순서(raster scan order)로 진행된다.

상기 PEG 생성 단계는 가장자리 쌍 중 수직방향으로 연결된 가장자리 쌍을 모아서 PEG를 생성하는 단계이다.

가장자리 쌍을 이용하여 객체를 표현하기 위해서, 가장자리 쌍들의 수직방향 연결 관계를 분석하여, 수직 방향으로 연결된 가장자리 쌍들을 하나의 그룹에 포함시켜 이러한 그룹을 PEG라고 한다.

수직 방향의 연결은 가장자리 점들의 연결이 아닌 객체의 연결을 이용하여 판단한다. i번째 라인의 n번째로 검출된 가장자리 쌍을 PE(i, n)으로 나타내고, PE(i, n)의 시작과 끝 가장자리의 x좌표를 ST(i, n)과 ED(i, n)으로 나타내고, i와 i+1번째 라인의 두 가장자리 쌍의 수직방향 연결 관계는 아래의 condition I로 판단한다.

Condition I: Connectivity check between PE(i, n) and PE(i+1, m)

If (ST(i, n) <= ED(i+1, m) & ED(i, n) >= ST(i+1, m)),

PE(i, n) and PE(i+1, m) are connected.

Condition I에 의해 수직방향으로 연결된 것으로 판단된 PE(i, n)과 PE(i+1, m)은 하나의 PEG에 속하게 된다. 만약 i+2 번째 라인에서 검출된 PE(i+2, p)가 PE(i+1, m)과 수직으로 연결되어 있다면, PE(i+1, m)이 속한 PEG에 PE(i+2, p)가 추가된다. 깊이 영상에 대하여 모든 라인에 대하여 가장자리 쌍들을 찾고, 가장자리 쌍들의 수직방향 연결 관계를 분석하여 서로 연결된 가장자리 쌍들을 하나의 PEG에 포함되도록 한다.

도 1에서 n 번째 라인의 객체의 가장자리 쌍을 PEn으로 나타내고, PEn의 시작 가장자리와 끝 가장자리를 각각 STn과 EDn으로 나타낸다. Condition I을 이용하여 PEG를 생성하면, 이 객체의 외곽선을 구성하는 ST1 ~ ST7과ED1 ~ ED7은 하나의 PEG에 속하게 된다. 이렇게 구성된 PEG는 하나의 객체의 외곽선을 포함한다. 가장자리 픽셀들의 연결이 아닌 객체를 구성하는 라인의 연결 관계를 분석하기 때문에, ST3과 ST4와 같이 가장자리 픽셀이 서로 인접하지 않더라도 하나의 객체를 구성하는 것으로 판단한다. PEG의 생성 방법은 외곽선의 잡음의 영향을 적게 받고, 라스터 스캔 순서 과정이 가능하여 라인 단위로 객체의 구성을 판단할 수 있으며, 기존의 가장자리 점들의 정렬을 이용하는 방법보다 간단하다.

상기 PEG 생성 단계는 상기 객체의 현재 스캔 라인의 가장자리 쌍과 이전 스캔 라인의 가장자리 쌍의 관계를 확인하여 PEG를 생성할 수 있다.

일반적인 입력 영상의 경우는 도 1과 같이 단순한 객체 이외의 복잡한 형태를 가진 객체들이 존재한다. 복잡한 객체들에 대한 PEG 생성과정을 다섯 가지의 경우로 정의하였다. 아래에는 이 다섯 가지 경우를 판단하는 조건과 각 경우에서 수행되어야 할 것을 제시한다. 현재 스캔 라인과 이전 스캔 라인에 존재하는 가장자리 쌍을 각각 Cur_PE와 Prev_PE로 나타낸다.

Case I (Start): Cur_PE와 연결된 Prev_PE가 없다. 이것은 Cur_PE가 객체의 시작점인 것을 의미한다. 새로운 객체의 시작이므로 새로운 PEG를 생성하고 Cur_PE를 객체의 팁으로 설정한다.

Case II (End): Prev_PE와 연결된 Cur_PE가 없다. 이것은 Prev_PE가 객체의 끝점인 것을 의미한다. 객체의 끝을 의미하므로 PEG에는 더 이상 가장자리 쌍이 추가되지 않으며, Prev_PE는 객체의 팁이 될 수 있다.

Case III (Continue): Cur_PE와 Prev_PE가 서로 연결되어 있고 다른 가장자리 쌍과는 연결되어 있지 않다. 이것은 객체가 수직 방향으로 이어져 있는 것을 의미한다. 따라서 Cur_PE를 Prev_PE가 속한 PEG에 추가한다.

Case IV (Merge): 한 Cur_PE에 다수의 Prev_PE들이 연결되어 있다. 이것은 여러 개의 객체가 Cur_PE에서 모이는 것을 의미한다. Prev_PE들이 속한 PEG들에 가장자리 쌍을 더 이상 추가하지 않고, Cur_PE를 시작점으로 하는 PEG를 생성한다. 또한, 새로 생성된 PEG와 Prev_PE가 속한 PEG들의 연결 관계를 저장한다.

Case V (Branch): 한 Prev_PE에 다수의 Cur_PE들이 연결되어 있다. 이것은 Prev_PE로부터 다수의 객체로 갈라지는 것을 의미한다. Prev_PE가 속한 PEG에 가장자리 쌍을 더 이상 추가하지 않고, Cur_PE들로 시작되는 PEG들을 생성한다. 또한 새로 생성된 PEG들과 Prev_PE가 속한 PEG의 연결 관계를 저장한다.

도 2는 본 발명에 따른 PEG 생성을 나타낸 영상으로서, 가장자리 쌍들은 위에서 아래 방향으로 스캔 라인이 진행되면서 검출하였고, 수평 직선은 PEG의 경계를 의미한다. 좌측 그림에서 손가락의 시작점은 Case I에 해당하기 때문에 팁(tip)으로 설정되며, 팁을 포함하는 새로운 PEG가 생성된다. 각 손가락은 스캔 라인이 아래로 내려가면서 Case III에 해당하여 PEG에 가장자리 쌍들을 추가한다. 두 개의 손가락이 만나는 위치에서는 Case IV에 해당하는 merge case인데, 이때에는 손가락의 PEG의 확장을 중단하고 새로운 PEG를 생성한다.

우측 그림은 손가락이 아래쪽으로 향한 경우인데, 손가락의 끝 부분은 Case II에 해당하며, 이 경우에는 더 이상 PEG에 가장자리 쌍이 추가되지 않는다. 손가락이 갈라지는 위치는 Case V의 branch case에 해당하며, 갈라진 PEG의 수만큼 새로운 PEG를 생성한다.

상기 PEG 기하학적 정보 계산 단계는 상기 객체는 연결된 PEG의 집합으로 표현하고, PEG의 생성 과정에서 PEG의 길이, 두께, 면적 및 각도 정보를 라인 단위로 계산하는 단계이다.

또한, 상기 PEG 기하학적 정보 계산 단계는 상기 생성된 PEG 중에 팁의 중점을 각도 측정의 시작점으로 저장하는 단계, 상기 손가락 끝의 중점과 일정거리 이상 떨어진 가장자리 쌍의 중점 사이의 각도를 계산하는 단계, 상기 각도를 계산한 구간의 PEG에 대하여 길이와 두께를 계산하는 단계, 상기 PEG에 가장자리 쌍이 추가되는 경우, PEG의 각도, 길이, 두께를 갱신하는 단계 및 상기 추가된 가장자리 쌍의 시작과 끝점 사이의 픽셀 수를 누적하여 PEG의 면적을 계산하는 단계를 포함할 수 있다.

PEG에 가장자리 쌍이 추가될 때마다 PEG의 각도, 길이, 두께 및 면적에 대한 정보를 갱신한다. PEG의 각도를 얻기 위해 이 PEG에 속한 가장자리 쌍들의 중선의 각도를 측정하는데, 작은 범위에서 각도를 측정하는 경우에는 PEG의 외곽선의 왜곡에 의한 영향을 크게 받으며, 작은 영역에서의 각도 변화를 다수 계산하기 때문에 PEG 전체의 각도로 변환하는 계산이 필요하다.

도 3은 본 발명에 따른 PEG의 각도 계산을 나타낸 도면으로서, 도 3(a)는 이러한 예를 보인다. 굵은 선은 PEG의 외곽선을 나타내며, 원은 가로 방향으로 스캔을 하여 얻은 가장자리 쌍의 중점을 의미한다. 모든 라인에 대하여 각도를 측정하는 경우에는 도 3(a)에서 수직 방향으로 인접한 모든 원들 사이의 각도를 계산하고 PEG의 각도로 다시 환산해야 한다.

본 발명에서는 하나의 가장자리 쌍 중점과 8픽셀 거리에 떨어진 가장자리 쌍의 중점 사이의 각도를 측정하는데, 이 방법을 적용하면 외곽선의 왜곡의 영향을 줄일 수 있다. 도 3(b)는 본 발명에 따른 예를 나타낸 도면이다.

팁이 발견되면 팁의 중점을 각도 측정의 시작점으로 저장한다. 도 3(b)의 원은 이 시작점을 의미한다. 이 원을 중심으로 도 3(b)와 같이 사각형의 모양으로 64개의 박스를 생성한다. 이어지는 스캔 라인 분석에서 얻어지는 가장자리 쌍의 중점이 이 박스들 중 하나와 만나면 이 위치와 각도 측정의 시작점 사이의 각도를 측정한다.

도 3(b)에서는 라인 9의 짙은 색의 박스와 중점이 만났으며, 이때의 각도는 박스 내의 숫자와 같다. 가장자리 쌍 중점과 박스의 교점으로 각도를 계산하면, 이 교점을 새로운 각도 측정의 시작점으로 설정하고 동일한 방법으로 각도를 측정한다. 도 3(c)은 이 방법의 예를 나타낸 도면이다.

PEG의 길이와 두께는 스캔 라인과 PEG가 이루는 각도의 영향을 받는다. 도 4는 본 발명에 따른 PEG의 두께 및 길이 계산을 나타낸 도면으로서, 도 3(b)와 3(c)에서 PEG에 대한 2개의 각도를 얻은 결과를 보인다. 도 4에서 짙은 색의 박스는 각도 측정의 시작점을 나타낸다. 스캔 라인과 PEG가 이루는 각도를 θ_{SC_PEG}라고 하고, 각도 측정의 시작점과 측정 위치 사이의 y좌표의 거리를 PEG_height라 하고, 각도 측정 위치 즉 가장자리 쌍의 중점과 도 3의 박스가 만난 위치에서의 가장자리 쌍 사이의 거리를 PEG_width라 한다. 그러나 이 값들은 라인 1에서 라인 9에 해당하는 객체의 길이와 두께를 나타내지 못한다. 왜냐하면 객체가 θ_{SC-PEG_1}만큼 기울어져 있기 때문이다. 각도를 계산한 구간의 PEG에 대하여 길이와 두께를 계산한다. 각도를 고려한 길이와 두께는 다음의 수학식 1 및 수학식 2와 같이 계산된다.

이러한 길이와 두께는 도 4에서 보인 것과 같이 각도를 측정하는 단위마다 계산한다. PEG의 면적은 가장자리 쌍이 추가될 때마다 추가된 가장자리 쌍의 시작과 끝 가장자리 사이의 픽셀 수를 누적하여 계산한다. 스캔 라인 단위로 PEG를 생성하면서 이 PEG의 형상에 대한 정보를 계산하여 갱신하기 때문에 PEG에 대한 분석과 판단을 빠르게 할 수 있다.

상기 손가락 후보 판단 및 정보 저장 단계는 상기 정보를 이용하여 손가락이 될 수 있는 PEG를 찾고 정보를 저장하는 단계이다. 상기 깊이 영상에 대하여 상기 생성된 PEG 중에 팁을 포함하고 있으며, 두께, 길이 및 면적이 손가락으로 판단할 수 있는 범위 내에 있는 PEG를 손가락 후보로 판단하는 단계, 상기 PEG가 손가락 후보로 판단되면 PEG의 각도, 길이, 두께, 면적, 손가락 끝의 가장자리 쌍 좌표 및 손바닥과 연결되는 가장자리 쌍의 좌표를 저장하는 단계 및 상기 PEG가 손가락 후보가 불가능한 것으로 판단되면 형상 분석을 종료하는 단계를 포함할 수 있다.

PEG의 길이, 두께 및 면적과 같은 형상 정보를 이용하여 손가락이 될 수 있는 PEG를 검출하는데 이러한 PEG를 손가락 후보로 표시한다. 하나의 PEG의 형상을 분석하여 손가락 후보가 될 수 있는지를 판단하기 때문에, 하나의 손가락은 하나의 PEG으로 생성되어야 한다.

도 2의 좌측 영상에서 보는 것과 같이 하나의 손가락은 팁에서 시작하여 인접한 다른 손가락과 만나는 부분에서 Case IV에 해당하여 PEG의 영역 확장을 끝낸다. 혹은 도 2의 우측 영상과 같이 Case V에 의해 PEG가 생성되고 Case II의 end에 의해 PEG 확장을 멈춘다. 이와 같이 손가락이 손바닥과 만나는 위치에서 PEG의 경계가 발생하기 때문에 손가락은 하나의 PEG으로 표현될 가능성이 매우 높다. 1개의 손가락만이 open된 경우에는 Case IV와 Case V에 의해 손가락 PEG가 손바닥과 분리되지 않는다. 이러한 문제를 해결하기 위해, PEG의 두께가 급격하게 변하는 경우 이전 PEG의 확장을 종료하고, 새로운 PEG를 생성하며 두 PEG 사이의 연결 관계를 저장한다.

도 5는 본 발명에 따른 손가락 PEG를 나타낸 영상으로서, 손가락이 하나의 PEG으로 분리되는 것을 보인다. 도 5에서 원은 PEG의 팁을 의미하고, 수평 라인은 PEG의 마지막 가장자리 쌍의 시작 가장자리와 끝 가장자리를 연결한 선이다. 도 5(a)는 Case IV에 의해 분리된 손가락 PEG를 보이며, 도 5(c)는 두께 변화에 의한 손가락 PEG 분리 예를 보인다. 두 경우 모두 PEG가 손가락의 영역과 유사한 것을 알 수 있다.

손가락 후보가 되기 위해서는 PEG는 Case I이나 Case II에 의해 생성된 팁을 가져야 하고, 두께, 길이 및 면적이 손가락으로 판단할 수 있는 범위 내에 있어야 한다. 각 PEG의 기하학적 정보는 스캔 라인 단위로 계속 갱신된다.

PEG가 Cases II, IV and V에 의해 생성 과정이 종료되면 손가락 후보가 될 수 있는지를 판단한다. 또한, 라인 단위로 형상을 분석하며 손가락 후보가 될 수 없다고 판단되면 더 이상 형상 분석을 하지 않는다. 손가락 후보로 판단이 되면 각도, 길이, 두께, 면적, 팁 가장자리 쌍의 좌표 및 손바닥과 연결되는 PE의 좌표를 저장한다. 만약 손가락 후보가 될 수 없다고 판단되면 이 PEG에 대해서는 형상 분석을 멈추고 그 다음 스캔 라인부터는 연결 관계만 판단한다. PEG의 형상은 라인 단위로 갱신되기 때문에 PEG에 속한 모든 가장자리 쌍을 저장할 필요는 없다. 이와 같은 방법으로 영상 전체에 대하여 손가락 후보들을 검출한다.

또한, 상기 손가락 후보 검출 단계는 상기 깊이 영상에 대하여 손가락 후보의 검출 완료 후 상기 깊이 영상을 90°, 180°및 270°회전한 영상에 대하여 손가락 후보를 검출하여 추가하는 단계, 회전한 영상을 0°로 회전하여 거리가 가까운 손가락 후보는 통합하는 단계 및 중복된 손가락 후보 중에서 기하학적 정보가 정확한 것을 선택하는 단계를 더 포함할 수 있다.

스캔 입력방향과 손가락의 방향이 일치하는 경우에는 손가락 영역이 하나의 PEG으로 분류되지 않기 때문에, 이러한 손가락은 손가락 후보로 검출되지 않는다. 도 6은 본 발명에 따른 손가락 후보 생성에서 스캔 라인과 손가락 방향의 각도에 대한 영향을 나타낸 영상으로서, 3개의 손가락 후보만 검출되고 나머지 손가락은 검출되지 않았다. PEG는 팁을 가지고 있지만 길이가 매우 짧고 두께가 두껍기 때문에 손가락이 될 수 없다고 판단하여 제외된다. 엄지 손가락의 경우도 이러한 이유로 손가락 후보로 검출되지 못한다.

이를 해결하기 위해 입력 영상과 함께 90°, 180°, 270°로 회전된 영상들에 대해서 손가락 후보를 검출한다. 이 방법을 적용하면 도 6의 경우 90°회전을 하게 되고, 인덱스와 엄지 손가락 손가락의 방향이 스캔 라인과 수직에 가깝기 때문에 손가락 후보를 비교적 정확하게 검출할 수 있다. 도 6의 문제를 해결하기 위해서는 90°로 회전한 영상에 대한 검출만 추가하면 된다. 구현의 단순화를 위하여 4개 방향에 대하여 손가락 후보를 검출한다. PEG가 손가락 후보가 되기 위해서는 팁을 포함해야 하는데, 팁은 Case I과 Case II에 의해서 생성이 된다.

Case II에 의해 생성된 팁은 라인 스캔의 순서를 고려할 때 PEG의 가장 마지막에서 검출이 되기 때문에, 모든 PEG는 마지막에 팁을 포함할 수 있으므로, 손가락 후보의 판단 여부는 PEG 생성이 완료된 시점에 가능하다. 따라서 생성되는 모든 PEG에 대하여 형상 정보를 계산하고 저장해야 하는 문제가 있다. 만약 Case I에 의해서 생성된 팁만을 포함시키도록 한다면, Case I으로 생성되지 않은 PEG들에 대해서는 형상 정보를 분석할 필요가 없으므로 불필요한 연산과 메모리가 필요하지 않게 된다. 한 영상과 180° 회전시킨 영상 각각에 대하여 Case I에 의해 생성된 PEG에서만 손가락 후보를 검색하면, 한 영상에서 Case I과 II를 모두 고려하여 손가락 후보를 검색한 것과 동일한 결과를 얻을 수 있다. 원본 영상과 90°회전시킨 두 개의 영상에 대하여 y좌표가 증가하는 방향으로 스캔을 수행한다. 이 두 영상에 대하여 y좌표가 감소하는 방향으로 스캔을 수행하면 180°와 270° 회전시킨 영상에 대하여 손가락 후보를 검출한 결과를 얻을 수 있다.

4개의 스캔 방향으로 얻어진 손가락 후보들은 중복되는 경우가 있다. 예를 들어 도 6의 B로 표시된 손가락은 원본 영상에서 손가락 후보로 검출되었고, 90°로 회전한 영상에서도 손가락 후보로 검출된다. 이러한 중복을 없애기 위해 각 방향에서 얻어진 손가락 후보들을 0°로 회전한 후 거리가 가까운 손가락 후보들은 하나로 통합한다. 이때 중복된 손가락 후보들 중에서 기하학적 정보가 정확한 것을 선택해야 한다. 도 6에서 A와 표시된 손가락 후보는 PEG가 손가락 영역을 잘 나타내지면, B로 표시된 손가락 후보는 손가락 영역의 많은 부분이 PEG에 포함되어 있지 않다. 즉, 스캔 라인과 손가락 사이의 각도 θ가 90°에 가까울수록 PEG와 손가락 영역이 잘 부합되는 것을 의미한다. 동일한 손가락에 대해서 θ가 90°에 가까울수록 가장자리 쌍의 시작과 끝 가장자리 사이의 거리가 짧아지는 경향이 있다. 손가락 후보를 구성하는 가장자리 쌍들의 시작과 끝의 가장자리 사이 거리의 최대값을 저장하고, 중복된 손가락 후보를 통합할 때 이 거리가 짧은 손가락 후보의 기하학적 정보를 저장하여 데이터의 정확성을 향상시켰다.

도 7은 본 발명에 따른 4가지 스캔 입력방향으로부터 얻어진 손가락 후보를 통합한 손가락 후보를 나타낸 영상으로서, 원은 손가락 후보의 팁을 나타내며, 직선은 손가락 후보 PEG의 마지막 가장자리 쌍의 라인을 보인다.

엄지 손가락의 손가락 후보는 270°회전한 영상에서 검출되었고, 새끼 손가락 후보는 원본 영상에서 검출되었으며, 나머지 손가락들은 90°회전한 영상에서 검출되었다. 이 결과는 손가락의 방향과 무관하게 손가락 후보 PEG를 생성할 수 있음을 보인다. 이러한 4 방향 스캔을 통한 손가락 후보 검출은 동작 속도에서 가장 큰 비중을 차지하는데, 회전된 손을 검출하는 데에 매우 중요한 역할을 한다.

본 발명에 따른 손 검출 방법은 깊이 영상의 외곽선 잡음에 의한 영향을 덜 받기 때문에 잡음을 제거하기 위한 전처리 과정이 필요하지 않다. 가장자리 라인의 연결 관계가 아닌, 가장자리 쌍의 시작과 끝 가장자리를 이은 직선들의 수직방향 연결 관계를 판단하기 때문에, 연산량이 적으면서 잡음에 의한 영향이 적다. 또한, 수직 잡음에 의한 영향을 줄이기 위해 가장자리 쌍의 시작과 끝 가장자리를 이은 직선의 길이가 5 픽셀 이하인 경우에는 가장자리 쌍으로 판단하지 않는다.

도 8은 본 발명에 따른 손가락 후보로 검출된 손가락의 외곽선을 나타낸 영상으로서, 도 8(a)에서‘A’로 표시된 부분은 수평 방향으로 잡음이 매우 심한 것을 볼 수 있다. 이러한 수평 방향 잡음은 가장자리 쌍의 시작과 끝 가장자리를 이은 직선들의 수직방향 연결에 영향을 주지 않는다. 도 8(b)에서‘B’로 표시된 부분은 수직 방향으로 발생한 잡음을 보인다. 만약 수직 방향의 잡음 영역이 새로운 팁으로 인식되어 새로운 PEG를 생성한다면, 손가락 팁을 포함한 PEG와 잡음에 의한 팁을 포함한 PEG가 만나는 스캔 라인에서 Case IV에 해당하게 되어 PEG 생성이 종료된다. 따라서 진짜 팁을 포함한 PEG는 팁은 길이가 짧아 제외되고, 그 이후에 Case IV에 의해 새로 생성된 PEG는 팁을 가지고 있지 않기 때문에 제외된다.

가장자리 쌍의 시작과 끝 가장자리를 이은 직선의 길이가 5 픽셀 이하인 경우에는 가장자리 쌍으로 판단하지 않기 때문에 잡음에 의해 팁을 포함한 PEG가 생성되지 않는다. 따라서, 깊이 영상에 대하여 median이나 dilation 등의 전처리 과정을 수행하지 않아도 깊이 영상의 외곽선 잡음의 영향을 적게 받고 안정적인 PEG생성이 가능하다.

상기 손 검출 단계는 손가락 후보 그룹화(FC grouping) 단계, 연결된 PEG(connected-PEGs) 생성 단계, 손 판단 단계 및 손바닥 영역을 검출하는 단계를 포함한다.

손 검출 단계는 찾아진 손가락 후보들의 연결 관계를 분석하여 5개의 손가락이 모두 펼쳐진 손의 모양을 검출하여 손으로 판단할 수 있다. 영상 인식을 기반으로 한 HCI 시스템에서 5개의 손가락을 펼친 손 모양을 사용자 입력의 시작으로 인식하는 경우를 가정한다.

상기 손가락 후보 그룹화 단계는 검출된 상기 손가락 후보 중에서 깊이의 차이가 일정 범위 이내에 있는 상기 손가락 후보들을 그룹으로 설정하는 단계이다.

거짓인식(false positive)을 줄이기 위해 깊이에 따른 손의 크기의 범위를 활용하였다. 깊이에 따른 손의 크기는 정사각형으로 나타내었는데, 실험을 통하여 정사각형의 너비를 다음의 수학식 3과 같은 piecewise-linear equation을 얻었다.

한 손가락 후보에 대해서 손가락 후보의 깊이를 수학식 3에 대입하여 손의 크기를 결정하고, 이 손가락 후보를 중심으로 손 크기의 범위 내에 존재하는 손가락 후보들 중에서 현재 손가락 후보와 깊이의 차이가 일정 범위 이내에 있는 손가락 후보들을 하나의 그룹으로 설정한다. 한 그룹에 포함된 손가락 후보들은 하나의 손을 구성하는 손가락이 될 수 있다.

도 9는 본 발명에 따른 손가락 후보 및 손가락 후보 그룹을 나타낸 영상으로서, 도 9(a)는 깊이 영상에서 검출된 손가락 후보를 보인다. 손가락과 유사한 형태를 가진 PEG들이 손가락 후보로 검출되었다. 도 9(b)에서는 입력 영상에서 얻은 손가락 후보 그룹들 중에서 손가락 후보를 5개 가진 그룹에 속한 손가락 후보를 표시하였다. 다섯 개의 손가락이 하나의 그룹에 포함되었고, 다른 손가락 후보들은 포함되지 않은 것을 보인다.

상기 연결된 가장자리 쌍 그룹(connected-PEGs) 생성 단계는 상기 손가락 후보 그룹 내에서 PEG를 재생성하여 손가락 후보와 겹치는 PEG를 확인하여 연결된 PEG를 생성하는 단계이다. 입력된 상기 깊이 영상에 대하여 단일 방향으로 라인 스캔하여 각 가장자리 쌍의 시작과 끝점을 잇는 라인과 상기 손가락 후보가 겹치는 경우, 상기 손가락 후보와 각 PEG가 연결되어 있는 것으로 판단할 수 있다.

손가락 후보 사이의 거리만으로 판단한 것이기 때문에 손가락 후보 그룹에 5개의 손가락 후보가 존재하더라도 서로 연결되어 있지 않을 수 있다. 따라서 이 손가락 후보 그룹 내의 손가락 후보들이 서로 연결되어 있는지를 확인한다. 수학식 3을 이용하여 손가락 후보 그룹의 평균 깊이에 대한 손 크기를 예측하여 관심영역(ROI)을 설정하고, 이 관심영역 내에서 손가락 후보들의 연결 관계를 파악한다. 이를 위해 관심영역 내에서 입력 영상에 대해 라인 스캔을 하여 PEG를 다시 생성한다. 이 경우에는 손가락 후보를 검출하는 것이 아니고 손가락 후보들의 연결 관계 파악이 주된 목적이므로 한 방향으로만 스캔을 수행한다.

PEG를 검출하는 과정에서 해당 PEG를 구성하는 각 가장자리 쌍의 시작과 끝 가장자리를 잇는 라인과 손가락 후보가 겹치는 경우 이 손가락 후보와 이 PEG가 연결되어 있는 것으로 판단하고, 각 PEG에 연결된 손가락 후보를 저장한다. 또한, PEG를 생성하면서 PEG들 사이의 연결 관계 역시 저장한다.

관심영역에 대한 PEG 생성이 완료되면 각 PEG에 속한 손가락 후보와 PEG들 사이의 연결 관계에 대한 정보를 얻을 수 있다. 서로 연결된 PEG들을 연결된 PEG라고 한다. 연결된 PEG는 영상 내에서 하나의 객체를 의미한다.

상기 손 판단 단계는 생성된 상기 연결된 PEG에 연결된 손가락 후보의 수가 5개인 경우 손으로 판단하는 손 판단 단계이다. 관심영역(ROI) 내에 두 개 이상의 연결된 PEG가 존재할 수 있는데, 각 연결된 PEG에 대해서 연결된 손가락 후보의 수를 검사한다. 연결된 손가락 후보의 수가 5개인 연결된 PEG를 손으로 판단한다.

도 10은 본 발명에 따른 손가락 후보 그룹의 관심영역과 손으로 판단된 연결된 PEG에 포함된 PEG를 나타낸 영상으로서, 검출된 손 내부의 수평 라인은 PEG들의 경계를 나타내며, 검출된 손가락의 팁의 위치는 원으로 표시되었다. 손으로 검출된 영역의 외곽선도 표시하였다.

상기 손바닥 영역을 검출하는 단계는 손가락 및 손바닥의 연결 위치 정보를 이용하여 손바닥 영역을 검출하는 단계로서, 검출된 상기 손의 손바닥 영역의 크기를 계산하고 저장하는 단계, 저장된 상기 손바닥 영역의 크기를 이용하여 깊이에 따른 손바닥 영역의 크기를 환산하여 저장하는 단계 및 손에 포함된 손가락 후보가 저장하고 있는 PEG 생성이 종료되는 끝 가장자리 쌍의 좌표의 시작-끝 가장자리를 연결한 J-line을 이용하여 손바닥 영역의 위치를 결정하는 단계를 포함할 수 있다.

손이 검출되면 정사각형인 손바닥 영역의 크기와 위치를 정한다. 검출된 손의 손바닥 크기를 계산하고 저장한 후, 추적 단계에서는 저장된 손바닥 영역의 크기를 이용하여 깊이에 따른 손바닥 영역의 크기를 계산한다.

손바닥 영역의 크기는 손의 손가락 후보에 저장된 손가락들의 평균 두께의 5배를 손바닥 영역의 너비로 정한다. 입력 영상에서 손바닥 영역의 크기는 깊이에 따라 변하기 때문에, 측정된 손바닥 영역의 크기를 기준 깊이에서의 크기로 환산하여 저장한다. 이를 위해 실험적으로 얻은 깊이에 따른 너비의 변화 비율을 측정하고, 이를 수학식 4와 같이 나타내었다. 깊이가 30일 때 1이고, 깊이가 90보다 큰 경우에는 깊이가 90일 때의 너비를 사용한다.

계산된 평균 손바닥 크기를 깊이 30인 경우로 환산하여 저장하는데 이를 Palm_size_INIT라고 하고, 검출된 손의 평균 깊이를 d_INIT로 나타내고, 손가락의 평균 두께를 Thick_AVG로 나타낸다. Palm_size_INIT는 수학식 5으로 주어진다.

다음 프레임에서의 손의 깊이에 의해 변경된 손바닥 영역 크기를 다음 식을 이용하여 계산한다. 다음 프레임의 손 추적에서 손이 검출되는 경우에서는, 이 손의 깊이를 d_HAND라고 하면 손바닥 영역의 너비는 수학식 6으로 주어진다.

손바닥 영역의 크기가 결정된 후 손바닥 영역의 위치를 결정한다. 손바닥 영역는 손가락과 손목을 최대한 제외하고 손바닥을 포함하도록 위치를 결정한다. 손에 포함된 손가락 후보는 PEG가 시작되는 팁 가장자리 쌍과 PEG 생성이 종료되는 끝 가장자리 쌍의 좌표를 저장하고 있다. 이 중 끝 가장자리 쌍의 시작과 끝 가장자리를 연결한 직선을 J-line(junction line)이라고 나타낸다.

J-line은 손가락과 손바닥이 만나는 라인을 의미하기 때문에, J-line을 손바닥의 경계로 가정한다. 이러한 가정은 손바닥의 경계를 찾는 것에 있어서 비교적 정확한 정보를 제공한다. J-line을 이용한 손바닥 위치 설정을 위해 다음과 같이 4개로 분류할 수 있다.

Horizontal up line(HU-line): J-line이 수평이고 팁이 J-line보다 위에 있는 경우

Horizontal down line(HD-line): J-line이 수평이고 팁이 J-line보다 아래에 있는 경우

Vertical left line(VL-line): J-line이 수직이고, 팁이 J-line의 좌측에 있는 경우

Vertical right line(VR-line): J-line이 수직이고, 팁이 J-line의 우측에 있는 경우

도 11은 본 발명에 따른 J-line을 나타낸 영상으로서, HU, HD, VL 및 VR-line들의 예를 보인다.

이러한 J-line은 손가락과 손바닥이 만나는 위치를 의미하므로, 손바닥의 위치를 정하는 데에 중요한 역할을 한다. 초기 손인 경우에는 5개의 J-line이 존재하며, 추적으로 검출된 손에는 0 ~ 5개의 J-line이 존재할 수 있다. 영상 입력에 따라 J-line은 한 종류만 존재할 수도 있고, 혹은 4가지 종류가 모두 존재할 수도 있기 때문에, J-line의 개수와 종류에 대한 경우의 수는 매우 많다. 이를 단순화하기 위해 손바닥 영역의 x좌표와 y좌표 위치를 분리하여 판단한다.

1. 손바닥 영역의 Y 위치:

(1) HU-line 혹은 HD-line이 존재하는 경우: HU-line이 1개 존재하는 경우에는 HU-line의 y좌표를 HU_ymin으로 나타낸다. HU-line이 여러 개 존재하는 경우에는 HU-line들의 y좌표 중 최소값을 HU_ymin으로 나타낸다. HU_ymin은 HU-line들 중에서 가장 위쪽에 위치한 J-line이다. HD_line이 1개인 경우에는 HD_line의 y좌표를 HD_ymax로 나타낸다. HD_line이 여러 개인 경우에는 이들의 최대 y좌표를 HD_ymax로 나타낸다.

HU_ymin과 HD_ymax가 모두 존재하는 경우에는 HU_ymin과 HD_ymax의 중점을 손바닥 영역의 중점의 y좌표로 설정한다. HU_ymin만 존재하는 경우에는 손바닥 영역의 상측 라인의 y좌표를 HU_ymin으로 한다. HD_ymax만 존재하는 경우에는 손바닥 영역의 하측 라인의 y좌표를 HD_ymax로 한다.

(2) HU-line과 HD-line이 없고 Connected-PEGs의 y좌표의 최대, 최소가 있는 경우: 손을 나타내는 객체를 구성하는 가장자리 쌍들의 y좌표 중에서 최소값을 HU_ymin으로 설정하고, 최대값을 HD_ymax로 설정한다. 이러한 최대, 최소값의 픽셀 좌표 중에서 관심영역의 경계에 위치하는 경우는 실제 객체의 끝이 아니고 관심영역에 의한 객체가 잘려진 위치이기 때문에, 이에 해당하는 최대 혹은 최소값이 없다고 판단한다. 이렇게 얻은 HU_ymin and HD_ymax가 2개 존재하는 경우에는, 각 최대, 최소 좌표가 이전 프레임의 손바닥 영역과 가까운 것을 선택한다. 하나씩만 존재하는 경우에는 앞에서 제시한 방법과 동일하게 손바닥 영역의 y좌표를 설정한다.

(3) (1)과 (2)에 해당되지 않는 경우: 만약 VL-line 혹은 VR-line이 존재하는 경우에는 이 라인들의 y좌표의 최대, 최소를 이용하여 손바닥 영역의 y좌표 범위를 설정한다. 그렇지 않으면 손바닥 영역을 검출하지 못한 것으로 판단한다.

2. 손바닥 영역의 x 위치:

손바닥 영역의 x좌표를 구하기 위해, VL-line의 최소값을 VL_xmin으로 설정하고 VR-line의 최대값을 VR_xmax로 설정한다. VL_xmin과 VR_xmax가 모두 존재하는 경우는 이 값의 평균을 손바닥 영역의 중심의 x좌표로 한다. VL_xmin만 존재하는 경우에는 손바닥 영역의 좌측 라인의 x좌표를 VL_xmin으로 하고, VR_xmax만 존재하는 경우는 손바닥 영역의 우측 라인의 x좌표를 VR_xmax로 한다. VL_xmin과 VR_xmax가 모두 존재하지 않는 경우에는 y좌표를 정하는 경우와 같은 방법으로 객체의 x방향의 최대, 최소값을 이용하거나, HU-line과 HD-line의 x좌표를 이용하여 손바닥 영역의 x좌표를 설정한다.

도 12는 본 발명에 따른 검출한 손바닥 영역을 나타낸 영상으로서, 굵은 라인은 J-line을 나타내며 사각형은 검출된 손바닥 영역을 나타낸다. 도 12(a)는 HU-line들 중 최소 y좌표를 선택하고, VL-line에서 x좌표를 선택하여 손바닥 영역의 위치를 정한다. 도 12(b)는 HU-line과 VR-line을 이용하여 손바닥 영역의 위치를 정한다. 도 12(c)는 HU-line으로 y좌표를 정하고, x좌표를 정할 J-line이 없으므로 x좌표의 최대, 최소 좌표를 이용하여 손바닥 영역의 위치를 정한다. 도 12(d)는 J-line이 없는 경우이며, x와 y좌표의 최대값과 최소값을 이용하여 손바닥 영역의 위치를 정한다.

깊이 영상의 초기 손 검출이 완료되면 다음 프레임에서 저장된 좌표들 중 깊이 변화가 작은 좌표를 일정 비율 이상 포함한 객체를 추적하여 손으로 판단하는 손 추적 단계를 더 포함할 수 있다.

손 추적 단계는 검출된 손을 구성하는 연결된 PEG의 최대 및 최소 좌표값을 이용하여 사각형의 관심영역의 범위를 저장하는 단계 및 상기 관심영역 내에서 각 연결된 PEG에 포함된 손 추적 점(HTP: hand tracking point)의 (x, y, z) 좌표를 저장하는 단계를 포함할 수 있다.

현재 프레임에서 검출된 손의 다음 프레임에서의 위치와 형상 정보를 계산한다. 본 발명에서는 연산량이 적은 간단한 방법을 적용하여 추적과 형상 분석을 할 수 있는 방법을 제안한다. 초기 손 검출에서는 5개의 손가락을 모두 편 경우의 손을 검출한다. 그러나 추적에서는 임의의 형상을 가진 손에 대하여 추적하고, 손가락 검출 및 형상 분석을 수행한다.

다음 프레임에서 손을 검출할 때 사각형의 형상으로 정의된 관심영역의 범위에서 손을 검출 할 수 있다. 관심영역을 정의하기 위해서 PEG 생성 단계에서 저장한 각 PEG의 x와 y좌표의 최대값과 최소값을 이용한다. 검출된 손을 구성하는 연결된 PEG에 대하여 x와 y좌표의 최소값을 X_{MIN_HAND}과 Y_{MIN_HAND}로 나타내고, x와 y좌표의 최대값을 X_{MAX_HAND}와 Y_{MAX_HAND}로 나타낸다. 상측 왼쪽 꼭짓점과 하측 오른쪽 꼭짓점이 각각 (X_{MIN_HAND}, Y_{MIN_HAND})와 (X_{MAX_HAND}, Y_{MAX_HAND})인 사각형은 검출된 손의 범위이다. 이 관심영역은 현재 프레임에서 검출된 손을 포함하는 최소 크기의 사각형이기 때문에, 손 움직임이 있는 경우 다음 프레임의 손은 이 관심영역을 벗어나게 된다. 따라서 관심영역의 영역을 확장하는데, 상측 왼쪽 꼭짓점과 하측 오른쪽 꼭짓점은 각각 (X_{MIN_HAND ―}α, Y_{MIN_HAND} _―α)와 (X_{MAX_HAND} + α, Y_{MAX_HAND} + α)로 정한다. α를 40 픽셀로 정할 수 있다. 이 경우 관심영역의 너비가 모든 프레임마다 계속 증가하는 문제가 있다.

도 13은 본 발명에 따른 손바닥 영역의 확장을 나타낸 영상으로서, 사각형은 관심영역을 나타내며, xmin, xmax, ymin, ymax는 관심영역 내에서 손으로 검출된 연결된 PEG의 x와 y좌표의 최대값과 최소값을 나타낸다. 도 13(a)에서 입력된 관심영역 내에서 xmin, xmax, ymin, ymax를 검출하였고, 도 13(b)에서는 관심영역의 너비를 4개의 방향으로 α만큼 확장한다. 도 13(c)는 이렇게 생성된 관심영역을 다음 프레임에 적용하는 경우를 보인다. 검출된 객체가 ymax 방향으로 관심영역 범위 밖에도 존재하는 경우, 입력 영상의 변화가 없더라도 ymax가 α만큼 증가한다. 도 13(d)는 관심영역이 y 방향으로 증가한 것을 보인다. 이와 같은 동작이 반복되면 손과 연결된 객체 전체로 관심영역이 확장될 수 있다. 이러한 확장을 막기 위해 관심영역 사각형의 상측 왼쪽 꼭짓점과 하측 오른쪽 꼭짓점의 위치가 손바닥 영역 사각형의 상측 왼쪽 꼭짓점과 하측 오른쪽 꼭짓점의 위치에서 얻은 너비의 1.5배 이내에 위치하도록 관심영역의 범위를 제한한다.

손은 유연한 객체이고 이동 및 회전이 많기 때문에 깊이 영상에서 그 형태가 매우 다양하다. 따라서 이전 프레임의 손 형상을 기준으로 현재 프레임에서 대응되는 손을 찾는 것은 어렵다. 검출된 손 객체의 내부에 몇 개의 점을 정하고, 이 점들의 (x, y, z) 좌표를 저장한다. 이 점을 손 추적 점이라고 나타낸다. 다음 프레임의 추적을 위한 관심영역 내에서 생성된 각 연결된 PEG에 포함된 손 추적 점의 수를 이용하여 손을 추적한다. 손 추적 점을 생성할 때 손 추적 점의 수는 검출된 손의 크기에 비례하여 생성한다. 검출된 손을 구성하는 PEG들의 픽셀 수를 저장하고 있는데, 손의 전체 픽셀 수를 512로 나눈 값을 손 추적 점의 개수로 정한다. 이렇게 얻은 손 추적 점은 다시 손을 구성하는 각 PEG의 면적에 비례하여 PEG에 할당된다. 이전 프레임에서 설정된 손 추적 점을 가장 많이 포함한 연결된 PEG를 이전 프레임의 손과 같은 것으로 판단한다. 손의 움직임이 있어도 다음 프레임에서 동일한 손에 손 추적 점이 존재하기 위해서는 손 추적 점이 손의 중앙에 위치하는 것이 유리하다. 따라서 각 PEG에 할당된 손 추적 점은 PEG의 중앙 부분에 고르게 분포하도록 하였다.

도 14는 본 발명에 따른 손 추적을 위한 손 추적 점 생성을 나타낸 영상으로서, 사각형은 관심영역을 나타내며, 손 내부의 점들은 손 추적 점이다. 도 14(a)는 19개의 손 추적 점이 생성되었으며, 검출된 연결된 PEG의 중앙에 손 추적 점이 고르게 분포한 것을 볼 수 있다. 도 14(b)는 도 14(a)보다 큰 손이며 38개의 손 추적 점이 생성되었다.

상기 손 추적 단계는 손가락 후보 검출 단계, 손가락 후보 그룹화 단계, 연결된 PEG 생성 단계, 손 판단 단계, 관심영역 설정, 손 추적 점 생성 및 손바닥 영역을 검출하는 단계를 포함한다.

상기 손가락 후보 검출 단계는 상기 깊이 영상의 다음 프레임에서 손가락 후보를 검출하고, 상기 손가락 후보 그룹화 단계는 검출된 상기 손가락 후보 중에서 깊이의 차이가 일정 범위 이내에 있는 상기 손가락 후보들을 그룹으로 설정하는 단계이다.

상기 연결된 PEG 생성 단계는 상기 관심영역 내에서 PEG를 재생성하여 손가락 후보와 겹치는 PEG를 확인하여 연결된 PEG를 생성하는 단계이다.

한 프레임에서 검출된 손에 대하여 관심영역과 손 추적 점을 정하면 한 프레임에서의 과정을 종료한다. 다음 프레임에 대한 연산이 시작되면 손가락 후보를 검출하고 손가락 후보 그룹을 생성한 후 이전 프레임에서 검출한 손을 추적한다. 이전 프레임에서 검출된 손마다 저장되어 있는 관심영역에 대해서 0°방향 스캔을 수행하여 연결된 PEG를 찾는다.

상기 손 판단 단계는 상기 연결된 PEG에 포함된 상기 손 추적 점을 이용하여 연결된 PEG를 추적된 손으로 판단하는 단계이다. 스캔 과정에서 각 연결된 PEG에 포함된 손가락 후보와 손 추적 점을 찾는다.

상기 손 판단 단계는 시작과 끝 가장자리 쌍을 잇는 라인에 상기 손 추적 점이 위치하고, 저장된 손 추적 점의 깊이 값이 시작 가장자리 쌍과 끝 가장자리 쌍의 z 좌표의 일정 범위 내에 있는 경우 손 추적 점이 가장자리 쌍에 포함된 것으로 판단할 수 있다.

연결된 PEG를 이용하여 손을 표현하고, 이와 연결된 손가락 후보들과 손바닥 영역을 판단하는 것은 초기 손을 찾는 방법과 동일하다. 스캔 라인별로 가장자리 쌍을 검출하는 과정에서 시작과 끝 PE를 이은 라인에 손 추적 점이 위치하고, 저장된 손 추적 점의 z좌표 즉, 깊이 값이 시작 가장자리 쌍과 끝 가장자리 쌍의 z 좌표의 일정 범위 내에 있는 경우 손 추적 점이 이 가장자리 쌍에 포함된 것으로 판단한다.

z좌표의 차이가 8보다 작은 경우, 손 추적 점이 가장자리 쌍에 포함된 것으로 판단한다. 이 가장자리 쌍이 포함된 연결된 PEG는 손 추적 점을 1개 포함한 것으로 판단한다.

상기 손 판단 단계는 상기 연결된 PEG에 포함된 상기 손 추적 점의 개수를 세어 각 연결된 PEG 중에서 전체 손 추적 점의 25% 이상을 포함하는 동시에 상기 관심영역 내에서 손 추적 점을 가장 많이 포함한 연결된 PEG를 추적된 손으로 판단하고, 상기 연결된 PEG 중에서 전체 손 추적 점의 25% 이상을 포함하는 연결된 PEG가 없는 경우 손이 사라진 것으로 판단할 수 있다.

이와 같이 연결된 PEG를 생성하면서 이에 포함된 손 추적 점의 개수를 센다. 관심영역에 대한 스캔이 모두 끝나면, 각 연결된 PEG 중에서 전체 손 추적 점의 25% 이상을 포함하고, 관심영역 내의 연결된 PEG 중에서 손 추적 점을 가장 많이 포함한 것을 추적된 손으로 판단한다.

만약 이 조건에 해당하는 연결된 PEG가 없는 경우에는 손이 사라진 것으로 판단한다.

상기 손 판단 단계에서 손으로 판단이 되면 다음 프레임을 위한 관심영역 설정, 손 추적 점 생성 및 손바닥 영역을 검출할 수 있다. 영상 전체에 대해서 초기 손을 검출하며, 이전 프레임에서 검출된 손의 수만큼 관심영역을 생성하여 손 추적을 수행한다. 이 과정에서 한 번 손에 포함된 손가락 후보가 다른 손에 중복으로 검출되지 않도록 하기 위해서, 검출된 손에 한 번 포함된 손가락 후보는 손가락 후보 리스트에서 제외시킨다. 본 발명의 손 추적에서 손을 검출하는 방법은 손의 모양을 분석하지 않기 때문에 다양한 모양의 손을 추적할 수 있다. 또한 연결된 PEG에 포함된 손 추적 점의 수를 카운트하는 방식이기 때문에 연산량이 매우 적다.

본 발명에 따른 가장자리 쌍 기반의 손 검출 시스템은 손가락 후보 검출 모듈 및 손 검출 모듈을 포함한다.

상기 손가락 후보 검출 모듈은 깊이 영상(depth image)에서 객체의 PEG의 정보를 이용하여 손가락 후보를 검출할 수 있다. 깊이 영상을 라스터 스캔 순서로 판독하여 객체의 왼쪽과 오른쪽에 위치한 가장자리 쌍을 검출하고, 이러한 가장자리 쌍들 중 수직방향으로 연결된 가장자리 쌍들을 모아서 PEG를 형성한다. PEG들 역시 서로 연결되어 있는데, 한 객체는 연결된 PEG의 집합으로 표현할 수 있다. PEG의 생성 과정에서 PEG의 길이, 두께, 면적 및 각도를 라인 단위로 계산할 수 있으며, 이 기하학적 정보들을 이용하여 손가락이 될 수 있는 PEG를 찾는다.

라인 단위로 처리되는 간단한 연산으로 손가락이 될 수 있는 손가락 후보를 검출하고 형상 정보를 분석하기 때문에 연산량이 비교적 적고 빠른 동작 속도를 얻을 수 있다.

상기 손 검출 모듈은 검출된 상기 손가락 후보들 사이의 연결 관계를 파악하여 손을 검출할 수 있다. 검출된 손가락 후보들 사이의 연결 관계를 파악하여 초기 손을 찾고, 손가락과 손바닥의 연결 위치를 이용하여 손바닥 영역을 검출한다. 초기 손은 연결된 PEG들의 형상 분석을 기반으로 하기 때문에, 깊이 영역에 대한 조건이나 얼굴이나 몸을 먼저 찾아야 하는 제한 조건이 없다. 제한하는 추적에서는 저장된 좌표들에 대해서 현재 프레임과 이전 프레임의 깊이 값을 비교하는 단순한 방법을 사용하기 때문에 연산이 많지 않다.

도 15는 본 발명에 따른 손 검출 및 손 추적 방법의 동작 순서를 나타낸 순서도이다. 깊이 영상이 입력되면 손가락 후보를 검출하고 형상 정보를 저장한다. 이전 프레임에서 검출된 손이 있는 경우 이 손에 대한 추적 동작을 수행한다. 손 추적이 완료된 후 입력 영상 전체에 대하여 초기 손을 검출한다.

도 16은 본 발명에 따른 손 검출 및 손 추적 방법의 흐름을 나타낸 순서도이다. 손가락 후보 검출 단계에서는 입력 영상에 대하여 PEG를 생성하고 PEG의 형상을 분석하여 손가락이 될 수 있는 손가락 후보를 생성한다. 입력 영상과 이 영상을 90°, 180° 및 270°회전한 영상에 대하여 손가락 후보를 검출한 후, 각 회전 영상에서 얻은 손가락 후보들을 다시 원래의 좌표로 회전시키고 통합한다.

손 추적 단계에서는 이전에 검출된 손의 관심영역 내에서 연결된 PEG를 생성한다. 이 과정에서 연결된 PEG에 포함된 손가락 후보와 손 추적 점을 검색하며, 연결된 PEG에 포함된 손 추적 점의 수를 이용하여 손을 추적한다.

손으로 판단이 되면 손바닥 영역과 손 추적 점을 생성하고, 다음 프레임의 추적을 위하여 관심영역을 갱신한다. 관심영역 내에서 손을 찾지 못하면 손이 사라진 것으로 판단한다. 이러한 동작은 이전 프레임에서 검출된 손의 수만큼 반복된다. 초기 손 검출 과정에서는 5개의 손가락 후보를 포함한 연결된 PEG를 손으로 판단한다. 우선 검출된 손가락 후보들 사이의 거리를 고려하여 손가락 후보 그룹과 각 손가락 후보 그룹의 관심영역을 생성한다.

관심영역 내에서 연결된 PEG를 생성하면서 연결된 PEG에 포함된 손가락 후보의 수를 계산한다. 손가락 후보의 수가 5이면 손으로 판단하고 새로운 손을 저장한다. 이 손에 대한 손바닥 영역과 손 추적 점을 생성하고 관심영역을 갱신한다. 모든 손가락 후보 그룹에 대한 연산이 끝나면 다음 프레임에 대한 과정을 시작한다.

영상 분석은 라인 단위로 처리된다. 가장자리 쌍 검출과 수직방향 연결 관계 분석, PEG 생성과 형상 분석, 손가락 후보 검색, PEG에 포함된 손가락 후보와 손 추적 점 검색 및 손 영역 정의를 위한 연결된 PEG 생성 등의 대부분의 동작을 라인 단위의 연산을 한다. 필요한 정보를 라인 단위로 계산하고 판단을 하기 때문에, 객체의 외곽선을 모두 저장할 필요가 없고 계산된 정보만을 저장해도 된다. 또한, 동작 중에 판단을 내릴 수 있어 불필요한 연산을 줄일 수 있고, 메모리에서 데이터를 읽어 오는 동작의 효율을 높일 수 있다. 또한, 사용되는 연산이 복잡하지 않아 동작 속도 측면에서 유리하다.

입력된 깊이 영상에서 손 객체의 외곽선에 작은 잡음들이 많은데, 이러한 잡음에 영향을 적게 받기 때문에 median이나 dilation과 같은 전처리 과정이 필요하지 않다. 따라서 전처리 과정을 생략함에 따라 동작 속도를 향상시킬 수 있다.

깊이 영상에서는 객체 세분화가 비교적 쉽고, 손가락이 될 수 있는 5개의 PEG의 연결된 형상을 분석하기 때문에 초기 손 검출은 배경에 의한 영향을 적게 받는다. 따라서 배경이 복잡하거나, 배경이 변하더라도 초기 손 검출에 큰 영향을 받지 않는다. 또한, 깊이 범위에 대한 제약 조건이 없어 깊이 영상의 해상도가 충분하여 손가락이 구분이 되는 경우라면 어떤 깊이 위치에서도 초기 손을 찾을 수 있다.

초기 손 검출과 검출된 손 추적의 순서가 매우 유사하다. 두 과정 사이의 다른 점은 초기 손 검출은 5개의 손가락 후보를 포함한 관심영역 내에서 생성된 연결된 PEG으로 검출하고, 손 추적의 경우에는 관심영역 내에 생성된 연결된 PEG에 포함된 손 추적 점의 비율을 이용하여 손을 추적한다. 그 외에는 이전 단계에서 계산된 손가락 후보를 이용하고 관심영역 내에서 연결된 PEG를 생성하여 분석하는 방법 등이 동일하다. 따라서 초기 손 검출과 손 추적의 과정이 서로 다른 방법에 비하여, 계산된 손가락 후보를 두 경우에 모두 사용하기 때문에 연산 효율성이 높다.

비교적 간단한 연산으로 손가락 검출 및 형상을 계산하고, 손바닥 영역을 검출한다. 손가락의 각도는 손가락의 PEG에 포함된 가장자리 쌍들의 중점의 방향으로 정의하는데, 간단한 연산으로 8 픽셀 거리에 대한 각도를 계산한다. 계산된 각도를 이용하여 손가락의 두께와 길이를 라인 단위로 갱신하고, 일정 간격으로 길이와 두께의 변화를 저장할 수 있다. 연결된 PEG 생성 과정에서 손바닥과 손가락의 연결을 파악할 수 있으며, 손가락과 손바닥의 연결 위치와 연결된 PEG의 x와 y좌표의 최대값과 최소값을 이용하여 손바닥 영역을 정의한다.

손은 유연한 객체이고 변형과 회전이 비교적 심하기 때문에 손의 형상을 이용하여 추적하는 것은 매우 어렵다. 손 추적 점을 이용하여 이전 손과 현재의 연결된 PEG 사이에 공통으로 존재하는 손 추적 점의 수를 이용하여 추적하는 매우 간단한 방법을 적용하였다. 이러한 방법에서는 손의 모양이 매우 복잡하여 형상 분석이 어렵더라도 추적은 지속적으로 유지할 수 있다. 또한, 현재 프레임에서 손의 일부가 가려지게 되더라도 현재 연결된 가장자리 쌍 그룹(connected-PEGs)에 포함된 손 추적 점의 수가 충분하면 추적이 가능하다.

도 17은 본 발명에 따른 가림(occlusion)에 따른 손 추적을 나타낸 영상으로서, 도 17(a)는 가림이 없는 경우의 검출된 손을 나타낸다. 손 외곽의 선은 검출된 손의 외곽선을 나타내고, 사각형은 손바닥 영역을 나타내며, 포인트들은 손 추적 점을 나타낸다. 도 17(b)는 엄지 손가락과 손바닥의 일부가 가려진 경우를 보인다. 이 경우에도 가려지지 않은 손가락 팁을 모두 검출하고, 손바닥 영역을 잘 나타내고 있다. 도 17(c)는 4개의 손가락들이 가려진 경우를 보이며, 이 경우에도 가려지지 않은 1개 손가락의 팁을 검출하였고, 손바닥 영역을 잘 나타내고 있다.

검출된 손의 일부가 가려지는 경우, 손 추적 점이 가려지지 않은 연결된 PEG의 중앙에 분포하는 것을 볼 수 있다.

보다 구체적으로 실시예 및 실험예들을 통해 본 발명에 따른 가장자리 쌍 기반의 손 추적 시스템 및 방법을 설명하면 다음과 같다.

실험예 1: 손 검출 성능과 동작 속도 평가

실험 영상은 Kinect로부터 얻은 640x480 해상도의 깊이 영상을 사용하였고, Intel i7-4770 @3.4GHz의 CPU를 사용하는 컴퓨터에서 실행되었다. 속도 향상을 위하여 손가락 후보를 검출하는 단계에서는 수평 방향 스캔 라인을 기수 라인에 대해서만 수행하였다. 따라서 손가락 후보를 검출하는 단계에서의 해상도는 320x480과 같다. 초기 손 검출과 손 추적을 위한 관심영역 내에서 연결된 PEG를 생성할 때에는 모두 라인에 대하여 스캔을 수행하였다. 즉, 손가락 후보와 손 추적 점을 정밀하게 검색하기 위해, 최종 검출된 손은 640x480 영상에서 분석하였다.

초기 손 검출(initial hand detection) 성능을 측정하기 위해, 다섯 개의 손가락이 모두 펼쳐진 상태에서 이동과 회전의 연속적인 변화가 있도록 한 비디오 시퀀스를 이용하였다. 이 시퀀스는 비교적 복잡한 2가지 배경을 갖도록 하였고 모두 770개의 프레임으로 구성되었다.

도 18은 본 발명에 따른 초기 손 검출 테스트 영상으로서, 원은 손가락 팁의 위치를 나타내며, 박스는 손바닥 영역을 의미한다. 손가락과 손바닥이 만나는 영역의 직선은 J-line을 나타내며, 손가락 팁과 J-line의 중점을 이은 직선을 표시하였다. 초기 손 검출 성능만을 측정하기 위해 추적 기능을 제외하고 동작시켰다. 다음의 표 1과 같은 초기 손 검출 성능을 보인다.

5개의 손가락 팁을 찾고, 검출된 손바닥 영역의 50% 이상이 손바닥을 포함하는 결과를 얻은 프레임인 경우를 초기 손이 정확히 검출된 것으로 판단하였다. 전체 770개 프레임들 중에서 759개 프레임에서 초기 손을 검출하여 98.57%의 검출률을 보였다. 인식 실패의 경우 손가락이 아닌 것을 손가락으로 인식한 거짓인식(false positive)의 경우가 7개 프레임이 있었고, 손 검출이 되지 않은 경우가 2개 프레임이 있었다. 손바닥 영역의 50% 이상이 손바닥이 아닌 경우는 2개 프레임에서 발생하였다.

도 19는 왜곡이 발생한 초기 손 검출의 나타낸 영상으로서, 도 19(a)는 손목 부분에서 깊이 영상의 왜곡으로 손가락과 유사한 형상이 발생하여 손가락이 아닌 객체를 손가락으로 판단한 것을 보인다. 도 19(b)는 초기 손을 인식하지 못한 경우를 보이는데, 넷째 손가락의 팁 부분의 형상 왜곡에 의해 손가락으로 인식되지 않았기 때문이다. 도 19(c)는 손바닥 영역의 정확성이 떨어진 프레임을 보인다. 초기 손만을 검색한 경우 770 프레임들에 대하여 측정한 한 프레임의 평균 처리 속도는 9.49msec이다.

실험예 2: 손 추적 성능 평가

추적 성능을 평가하기 위해, 손의 수가 0, 1 및 2개인 경우에 대한 test sequence를 생성하였다. 각 경우에 있어서 손은 지속적으로 회전 및 이동을 수행한다. 손이 0개인 sequence에서는 펼쳐진 손가락의 수는 0부터 4개까지 변하며, 손의 수가 1개와 2개인 경우에는 펼쳐진 손가락의 수가 0부터 5까지 변한다. 손의 수가 0개인 sequence는 339개의 프레임으로 구성되었고, 손이 1과 2개인 경우의 sequence는 각각 1310과 766 프레임으로 구성되었다.

도 20은 본 발명에 따른 검출된 손가락 및 손바닥의 추적 결과를 나타낸 영상으로서, 도 20(a)와 (b)는 손가 1개와 2개인 경우의 예를 보인다. 이 경우에도 도 18의 실험에서와 같이 검출된 손가락 팁의 수와 손바닥 영역의 정확성을 기준으로 프레임 단위로 검출율을 측정한다.

도 20(a)는 추적되는 손의 수가 1개인 경우의 결과를 보인다. 각 도의 좌상단에 표시된 숫자는 각 도의 프레임 번호를 나타낸다. 프레임 10을 제외한 나머지 프레임들은 손 부분을 확대하여 나타내었다. 펼쳐진 손가락의 수가 변하거나, 손의 이동 및 회전이 있어도 손가락 팁과 손바닥 영역을 잘 검출하는 것을 볼 수 있다. 프레임 308, 343 및 382는 펼쳐진 손가락이 없는 경우에도 x, y 및 z축 방향으로 추적이 잘 되고 있음을 보인다.

도 20(b)는 추적되는 손의 수가 2개인 경우를 보인다. 이 도에서는 좌측 하단의 숫자가 각 영상의 프레임 번호를 나타낸다. 프레임 80, 86 과 150을 제외한 영상들은 손 부분을 확대한 영상이다. 80 프레임을 보면 멀리 위치한 손가 먼저 인식되고, 가까이 있는 손은 펼쳐진 손가락의 수가 5가 아니므로 초기 손으로 인식되지 않은 것을 보인다. 86 프레임에서는 가까이 있는 손의 모든 손가락이 펼쳐져 초기 손으로 인식되고, 이후 프레임부터 추적 된다. 다섯 개의 손가락이 모두 펼쳐진 경우를 초기 손로 인식하기 때문에 초기 손 인식에 대하여 깊이의 범위에 대한 제약 조건이 없으며, 따라서 손가 깊이의 어느 범위에 있어도 검출이 가능하다. 150 프레임에서는 검출된 손가 z축 방향으로 이동하여도 잘 추적되고 있음을 보인다. 프레임 from 330 to 450은 손가락의 수가 변해도 잘 찾는 것을 보이며, 프레임 525는 펼쳐진 손가락이 없는 경우에도 2개의 손가 잘 추적되는 것을 보인다. 프레임 from 660 to 760은 회전이 있는 경우에도 손 추적이 잘 동작하는 것을 보인다.

손의 수가 0, 1 및 2개인 경우에 대하여 다음의 표2와 같은 인식률과 동작 속도를 보인다.

손이 0인 경우는 초기 손이 없는 경우이므로 손을 인식하지 않아야 하며, 모든 프레임에서 손을 인식하지 않았다. 이 때 한 프레임을 처리하는 평균 속도는 7.88msec이다. 검출된 손의 수가 1개인 경우에는 인식률이 98.24%로 측정되었고, 동작 속도는 9.93msec이다. 손의 수가 2개인 경우에는 인식률이 99.48%이며, 동작 속도는 12.11msec로 측정되었다. 추적하는 손의 수가 증가함에 따라 각 손의 관심영역 내에서 연결된 PEG를 생성해야 하므로 동작 속도가 느려진다.

추적 성능을 분석하기 위해 검지 손가락의 끝을 추적하여 (x, y, z) 좌표를 추적하고, 이 좌표를 ground truth와 비교하였다. 추적된 손가락 팁의 좌표를 (xT, yT, zT)라 하고, ground truth의 좌표를 (xG, yG, zG)라 할 때 추적 오차는 두 점 사이의 Euclidean distance로 정의하였다. 이 오차 거리는 아래 식으로 주어진다.

여기서 z좌표 위치는 Kinect에서 입력된 정수 타입의 깊이를 사용하였는데, 깊이의 범위는 0부터 255까지의 값을 갖는다.

도 21은 본 발명에 따른 4가지 깊이의 경우에 대해 추적된 손가락 팁 좌표 및 실측 정보를 나타낸 도면으로서, 평면의 2개 축은 x와 y축을 나타내고, 수직의 축은 깊이를 나타내는 z축을 의미한다. 실선은 추적된 손가락 팁의 좌표들을 나타내고, 점선은 ground truth를 보인다. 각 깊이의 경우에 대해서 두 경우가 대체로 일치하는 것을 볼 수 있다. 다음의 표 3은 평균과 최대 오차 거리를 나타낸다.

표 3의 첫 번째 column은 각 깊이의 경우에 대하여 실험에 사용된 sequence의 프레임 수를 나타내며, 두 번째 column은 각 깊이의 경우의 깊이 범위를 보인다. 세 번째와 네 번째 column은 추적 오차 거리의 평균과 최대값을 보인다. 평균 오차 거리는 가장 가까운 경우 1.957이고 가장 먼 경우 3.291이다. 평균 오차 거리는 거리에 따라 증가하는데, 거리가 멀어지는 경우 깊이 영상의 왜곡이 증가하여 손가락 팁 검출의 위치 정확도가 감소한다. 평균 추적 오차 거리는 2.458이다.

도 22는 본 발명에 따른 손 검출 결과를 나타낸 영상으로서, 입력 영상에서 손의 수가 0부터 5개인 경우에서의 검출 결과를 보인다. 각 경우에 대하여 손을 검출하고 손바닥 영역과 손가락 팁을 모두 검출한 것을 볼 수 있다. 각 손의 수에 따른 평균 수행 시간은 100 프레임 이상에 대하여 측정한다. 다음의 표 4는 각 경우에서 1 프레임을 처리하는 데에 소요되는 시간을 측정한 결과를 보인다.

손이 1개 있을 때 1 프레임을 처리하는 속도는 12.58msec이고 5개를 처리하는 속도는 22.10msec로 측정되었다. 많은 수의 손을 동시에 처리할 수 있음을 보인다.

이상에서는 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

깊이 영상(depth image)에서 객체의 가장자리 쌍 그룹(PEG: paired-edge group)의 정보를 이용하여 손가락 후보(FC: finger candidate)를 검출하고, 이들 사이의 연결 관계를 파악하여 초기 손(initial hand)을 검출하는 초기 손 검출 단계 및
상기 깊이 영상의 저장된 좌표들 중 전후 프레임을 비교하여 깊이 변화가 작은 좌표를 일정 비율 이상 포함한 형체를 추적하여 손으로 판단하는 손 추적 단계를 포함하고,
상기 FC를 검출하는 초기 손 검출 단계는,
가장자리 쌍 중 수직방향으로 연결된 가장자리 쌍을 모아서 PEG를 생성하는 단계;
상기 PEG의 길이, 두께, 면적 및 각도 정보를 라인 단위로 계산하는 PEG 기하학적 정보를 계산하는 단계 및
상기 PEG 기하학적 정보를 이용하여 손가락 모양이 되는 FC를 찾아 저장하는 단계를 포함하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법.
제1항에 있어서, 상기 초기 손 검출 단계는,
검출된 상기 FC 중에서 깊이의 차이가 일정 범위 이내에 있는 FC들을 그룹으로 설정하는 손가락 후보 그룹화(FC grouping) 단계;
상기 FC 그룹 내에서 PEG를 재생성하여 FC와 겹치는 PEG을 확인하여 연결된 가장자리 쌍 그룹(connected-PEGs)을 생성하는 연결된 가장자리 쌍 그룹(connected-PEGs) 생성 단계;
생성된 상기 연결된 가장자리 쌍 그룹에 연결된 FC의 수가 5개인 경우 손으로 판단하는 손 판단 단계 및
손가락 및 손바닥의 연결 위치 정보를 이용하여 손바닥 영역을 검출하는 손바닥 영역 검출 단계를 포함하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법.
제1항에 있어서, 상기 손 추적 단계는,
검출된 손을 구성하는 connected-PEGs의 최대 및 최소 좌표값을 이용하여 사각형의 관심영역(ROI)의 범위를 저장하는 단계 및
상기 관심영역 내에서 각 connected-PEGs에 포함된 손 추적 점(HTP: hand tracking point)의 (x, y, z) 좌표를 저장하는 단계를 더 포함하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법.
제3항에 있어서, 상기 손 추적 단계는,
상기 깊이 영상의 다음 프레임에서 FC를 검출하는 FC 검출 단계;
검출된 상기 FC 중에서 깊이의 차이가 일정 범위 이내에 있는 상기 FC들을 그룹으로 설정하는 손가락 후보 그룹화 단계;
상기 관심영역 내에서 PEG을 재생성하여 FC와 겹치는 PEG을 확인하여 connected-PEGs를 생성하는 연결된 가장자리 쌍 그룹 생성 단계;
상기 connected-PEGs에 포함된 상기 HTP를 이용하여 connected-PEGs를 추적된 손으로 판단하는 손 판단 단계;
상기 손 판단 단계에서 손으로 판단이 되면 다음 프레임을 위한 관심영역 설정, HTP 생성 및 손바닥 영역을 검출하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법.
제4항에 있어서, 상기 손 판단 단계는,
시작과 끝 PE를 잇는 라인에 상기 HTP가 위치하고, 저장된 HTP의 깊이 값이 시작 가장자리 쌍과 끝 가장자리 쌍의 z 좌표의 일정 범위 내에 있는 경우 HTP가 가장자리 쌍(PE)에 포함된 것으로 판단하는 것을 특징으로 하는 가장자리 쌍 기반의 손 추적 방법.