KR20070061231A

KR20070061231A - 양손 검출 및 추적 방법

Info

Publication number: KR20070061231A
Application number: KR1020060070230A
Authority: KR
Inventors: 김혜진; 김도형; 김계경; 이재연; 지수영
Original assignee: 한국전자통신연구원
Priority date: 2005-12-08
Filing date: 2006-07-26
Publication date: 2007-06-13
Also published as: KR100817298B1

Abstract

본 발명은 양손 검출 및 추적 방법에 관한 것으로서, 영상으로부터 사람의 신체구조를 통해 어깨, 팔꿈치 및 손을 포함하는 양측 팔을 모델링하는 과정과, 모델링으로부터 양측 손을 검출하는 과정과, 그리고 영상과 이전 영상을 비교하여 팔꿈치와 손을 잇는 양측 직선의 기울기 변화를 통해 양측 손의 위치를 추적하는 과정을 수행함으로써, 다량의 특징 정보 추출로 인한 계산 복잡도 증가 없이 겹침이 있는 물체의 움직임을 실시간 추출하여 추적할 수 있으므로 이동 물체 추출 및 추적 기술을 실세계에 적용할 수 있다. 이는 KLT(Kanade-Lucas-Tomasi) 특징 정보를 회귀 분석하여 기울기 값으로 압축하여 표현함으로써 계산 복잡도를 줄였기 때문이다.

양손 추출, 양손 추적, 겹침이 있는 양손 추적, 제스쳐 인식

Description

양손 검출 및 추적 방법{METHOD FOR DETECTING AND TRACKING BOTH HANDS}

도 1은 본 발명의 일실시예로서, 카메라로 획득한 영상에서 양손의 움직임을 검출하고 추적하는 과정을 나타낸 흐름도,

도 2는 본 발명의 일실시예로서, 양손 추출과 추적을 위한 신체와 팔의 모델링 개념도,

도 3은 도 2의 팔에 대해 모델링한 도면,

도 4는 본 발명에서 사용한 영상 특징과 이 특징의 대표 값인 직선을 도시한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

HEAD : 머리 LSP : 좌측 어깨점

LFA : 좌측 팔뚝 LEP : 좌측 팔꿈치점

LA : 좌측 팔 LH : 좌측 손

RSP : 우측 어깨점 RFA : 우측 팔뚝

REP : 우측 팔꿈치점 RA : 우측 팔

RH : 우측 손

본 발명은 이동 물체 추출 및 추적 기술에 관한 것으로, 더욱 상세하게는 유사한 특징 정보를 갖고 있으며 겹침 있는 상황에도 불구하고 카메라 영상에서 움직이는 사람의 양손을 안정적으로 추출하여 추적하는 양손 검출 및 추적 방법에 관한 것이다.

손의 움직임 검출 및 추적은 컴퓨터 비젼의 응용 분야 및 로봇틱스, 영상감시 기술, 지능형 교통 시스템 등 모션 분석을 이용하는 다양한 산업분야에서 활용되어 왔다. 최근 컴퓨터 시각 분야 및 인간과 컴퓨터, 인간과 로봇간의 상호작용에서 이동 물체의 검출 및 추적에 대한 필요성이 증가됨에 따라 이의 응용 기술에 대한 연구가 더욱 활발히 진행되고 있다.

이와 같이, 손 추적과 검출 알고리즘들은 제스쳐 인식과 모션 분석 등 다양한 분야에서 연구되어져 왔다. 현재까지 연구되어 온 손 검출과 추적 기술은 대부분 한 쪽 손에만 국한되어 왔다. 이는 양손을 동시에 추적할 경우, 양손을 구별할 만한 뚜렷한 특징 정보가 부재하기 때문이다. 양손 검출을 위해 고안된 기술들이 최근에 보고되고 있는데, 이들은 양손을 구별하기 위해, 양손이 겹쳐졌을 때의 유형을 분류하거나, 손과 팔꿈치까지의 음영정보를 이용하여 거리 변환 함수(Distance Transform)를 사용한다. 또한, 양손이 겹쳐졌을 때의 유형을 분류하기 위해 겹쳐진 물체의 고유 특징 정보 즉, 색깔, 형태 등을 이용해 물체를 검출하는 방법을 이용하기도 한다.

그러나, 손과 같이 색깔과 형태 등 고유 정보들이 매우 유사한 물체들과 겹칠 경우에 이를 분리하여 추적하기 어려울 뿐만 아니라, 양손의 겹쳐짐 형태가 분류한 유형에 속해야만 겹쳐진 양손의 위치를 알 수 있는 단점이 있었다. 한편, 거리 변환 함수를 이용할 경우, 영상에서 손과 팔꿈치까지 양손이 보여야만 한다는 한계가 있었다. 또한, 일반적인 이동 물체의 겹침 문제를 해결하는 경우에도 구별되는 특징 정보가 있으나, 이 특징 정보가 많아 역시 계산상 시간이 오래 걸리는 한계점이 있었다. 즉, 특징 정보가 많아짐에 따라 계산의 복잡도가 증가하여 물체의 실시간 추적이 실제적으로 어려운 단점이 있었다.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 사람의 몸과 팔의 구조를 반영하여 양손을 추적함과 아울러, KLT(Kanade-Lucas-Tomasi) 특징 정보를 회귀 분석하여 기울기 값으로 압축하여 계산 복잡도를 줄임으로써 계산 복잡도의 증가없이 양손의 움직임을 실시간으로 검출하여 추적하는 양손 검출 및 추적 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 양손 검출 및 추적 방법은, (a) 영상으로부터 사람의 신체구조를 통해 어깨, 팔꿈치 및 손을 포함하는 양측 팔을 모델링하는 단계; (b) 상기 모델링으로부터 양측 손을 검출하는 단계; 및 (c) 상기 영상과 이전 영상을 비교하여 팔꿈치와 손을 잇는 양측 직선의 기울기 변화를 통해 양측 손의 위치를 추적하는 단계를 포함하여 이루어진 것을 특징으로 한다.

이 때, 상기 (a) 단계에서 팔의 모델링은, 얼굴의 위치를 이용하여 어깨점의 위치를 검출하고, KLT(Kanade-Lucas-Tomasi) 특징점의 1차 회귀 분석을 통해 손을 검출하며, 상기 어깨점 위치와 손 위치로부터 팔꿈치를 추정한다. 한편, 상기 (a) 단계 이전에, 피부색 정보를 이용하여 손과 얼굴의 위치를 추출한다.

또한, 상기 (b) 단계에서 양측 손은, 움직임 정보와 피부색 정보를 정합하여 블랍 분석(Blob Analysis)를 이용하여 검출한다.

그리고, 상기 (c) 단계는, 상기 영상의 이전 영상에 대해 회귀 분석을 수행하여 양측 손의 가상 영역을 지정하는 단계; 상기 양측 손의 가상 영역이 겹치는가를 판별하는 단계; 및 상기 가상 영역이 겹치지 않을 경우에는 양측 손의 현재 위치를 확인하여 KLT(Kanade-Lucas-Tomasi) 특징점을 추출하고 회귀 분석하여 팔꿈치와 손을 잇는 양측 직선의 기울기를 산출하고, 상기 가상 영역이 겹칠 경우에는 상기 이전 영상에서 얻은 기울기를 회귀 분석하여 움직일 방향을 예측한 후 양측 손이 겹치는지를 다시 판별하고, 상기 양측 손의 겹칩여부 판별결과, 양측 손이 겹치지 않을 경우에는 상기 가상 영역이 겹치지 않을 경우를 따르고, 양측 손이 겹칠 경우에는 KLT(Kanade-Lucas-Tomasi) 특징점을 추출하여 양측 손의 위치를 확인하는 단계로 이루어진다. 이 때, 상기 가상 영역이 겹치지 않을 경우에 산출된 기울기는 다음 영상의 움직일 방향을 예측하는데 이용되며, 상기 양손이 겹칠 경우에 추출된 KLT 특징점은 상기 가상 영역이 겹치지 않을 경우에 산출하는 기울기의 직선을 이용할 수 있도록 회귀 분석을 수행한다.

이하, 본 발명의 양손 검출 및 추적 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예로서, 카메라로 획득한 영상에서 양손의 움직임을 검출하고 추적하는 과정을 나타낸 흐름도이다.

도 1에 도시된 바와 같이, 먼저 카메라로부터 영상을 획득한다(S1).

획득된 영상은 이전 영상과 비교하여 움직임 정보만을 추출한다. 또한 획득된 영상에서 이동물체의 특징정보를 얻는다. 본 실시예에서는 손의 특징 정보를 추출하므로 피부색 정보를 이용하여 손과 얼굴의 위치를 추출한다(S2).

이제 움직임 정보와 피부색 정보를 정합하여 블랍 분석(Blob Analysis)를 이용하여 양손을 추출한다(S3).

양손이 추출된 이후에는 2차 자기 회귀 분석 모델을 이용하여 양손의 움직일 수 있는 가상 영역을 정하게 되는데, 본 발명에서는 양손 추적 모듈을 통해 양손이 겹쳐지는 경우와 그렇지 않을 경우로 분리한다. 그리고, 양손의 겹침 여부는 양손에 대한 각각의 예측된 가상 영역이 서로 겹침 여부로 알 수 있으므로, 먼저 가상 영역이 겹치는지를 판단하게 된다(S4).

가상 영역에 겹침이 없을 경우에는 예측된 가상 영역과 블랍이 일치하는 위치가 손이 새로 움직인 위치가 된다. 이 때, 팔꿈치의 위치는 머리의 위치를 이용하여 어깨 점의 위치를 예측하고 다시 이를 이용하여 알아낼 수 있다. 팔꿈치와 손을 잇는 직선의 기울기는 겹침이 있을 경우에 사용될 이동 방향 정보를 위해(점선→S9) 저장된다(S5∼S8).

여기서, 자기 회귀 분석이란 어떤 변수의 시계열에서 그 현재값이 과거의 값에 의존하여 결정되는 상태를 의미한다. 일반적으로

에 관한 시계열이 기본적으로 한 시점 전의 변수값에 의존해서 결정되는 자기 회귀 과정이 있을 때, 그 관계를 수식으로 표현하면

--- 수학식 1

이라고 쓸 수 있다. 여기서

와

은 변수

의 한 시점 사이의 상호 관련을 구체적으로 나타내는 계수이며

는 한 시점 전의 값만에 의해서는 계통적으로 설명할 수 없는 불규칙적인 변동부분을 나타내는 확률변수이다. 이는 자기 회귀 과정 중에서 가장 간단한 것으로 1단계 자기 회귀 과정이라고 한다. 본 발명에서 사용한 자기 회귀는 2단계 방법으로 아래의 식으로 표현된다.

--- 수학식 2

한편, 가상 영역에 겹침이 있을 경우에는 이전 영상에서 얻은 기울기 값을 2차 자기 회귀 모델에 적용시켜 왼손과 오른손이 움직일 방향을 예측하게 된다(S9). 이에 예측된 양손의 겹침여부를 판별하여(S10), 만일 예측된 방향을 통해 양손이 겹치지 않을 경우에는 양손이 가까이 있지만 겹쳐지지 않은 경우이므로 상기한 단계 S5 내지 단계 S8 과정을 수행하게 되고, 예측된 방향을 통해 양손이 겹치는 경우에는 현재 움직임과 피부색을 정합시킨 영상에서 Kanade-Lucas-Tomasi(KLT) 특징 정보를 추출한다(S11). 이 추출된 특징 정보들은 기울기로 얻은 직선을 이용할 수 있도록 필요한 중요 정보만이 남게 된다(점선→S7). 즉, 직선과의 거리를 측정하여 직선과의 거리가 충분히 가까운 특징 정보들만을 이용한다. 이 특징 정보들로 겹쳐진 양손의 위치를 나타낸다(S12). 이에 현재 영상이 생성됨과 아울러, 이전 영상으로부터 2차 회귀 분석 모델을 이용하여 양손의 가상 영역을 지정하게 된다(S13∼S15). KLT 특징 정보를

로 나타내고 왼손과 오른손 각각에서 구한 직선을

라고 하면 거리 식은 수학식 3과 같이 표현된다.

--- 수학식 3

각각 왼손과 오른손에 해당하는 KLT 값들은 수학식 4에서 얻을 수 있다.

--- 수학식 4

이 때,

값은 각 영상의 실험 조건에 따라 조절할 수 있다.

여기서, KLT 특징값은 이미지상에서 추적을 목적으로 이미지의 명암의 변화정보를 이용하여 이미지에 나타난 질감 패턴에 따른 특징값으로 정의된다. 질감의 x와 y 양쪽 방향에서 명암 변화가 높은 곳을 찾게 된다. 즉, 명암을

라 하 면, 국소 명암 변화 행렬은

---- 수학식 5

로 표현 될 수 있다. 이 때,

의 고유값(eigen values)이 미리 정의된 임계치

를 넘게 되는 곳은 이미지 상에서 KLT 특징값으로 선택된다.

도 2는 본 발명의 일실시예로서, 양손 추출과 추적을 위한 신체와 팔의 모델링 개념도이다.

도 2를 참조하면, 머리(HEAD), 좌우측 어깨점(LSP, RSP), 좌우측 팔뚝(LFA, RFA), 좌우측 팔꿈치점(LEP, REP), 좌우측 팔(LA, RA), 좌우측 손(LH, RH)에 대해 모델링한다. 이와 같이, 양손의 각각에 대하여 어깨점과 팔꿈치점, 손의 위치를 이용한 양손 추출과 추적을 위한 신체와 팔을 모델링한다.

한편, 촬영된 영상에서 신체의 각 영역을 구분하기 위해 영상 특징값에 서로 다른 색을 부여하거나, 특정 기호(+)를 이용하여 표시한다. 손에 + 표시로 영상 특징값을 표시하고 있음을 알 수 있다. 또한, 이러한 영상 특징값을 대표하는 특징값을 또 다른 색을 부여하여 라인으로 표시한다.

도 3은 도 2의 팔에 대해 모델링한 도면이다.

도 3을 참조하면, 신체와 팔을 모델링한 것을 구체화한 것이다.

도 4에서 새로운 영상에서 획득한 x 형태의 KLT 특징값은 팔이 움직이게 될 영역에 산재해 있게 된다. 이 때, 2차 자기 회귀 방법으로 예측한

와

값을 이용하여 얻게 되는 실선으로 표시된 직선을 갖게 된다. 이에 새로이 획득한 KLT 특징값

과의 거리 D를 구하게 된다. 도 4로부터 수학식 1에서의 직선

가 자기 회귀 분석을 이용한 예측된 값과 KLT 특징값의 회귀선으로 검증된 직선은 팔꿈치와 손과의 직선을 나타냄을 확인할 수 있다.

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

상술한 바와 같이, 본 발명에 의한 양손 검출 및 추적 방법은, 로봇과 같이 실 환경에서 사용이 필요한 시스템에 적용 가능하도록 실시간으로 추출 및 추적할 수 있고, 또한 유사한 성질을 지닌 이동 물체를 겹침이 있는 상황에서 각각 추적이 가능한 장점을 가지고 있다.

Claims

(a) 영상으로부터 사람의 신체구조를 통해 어깨, 팔꿈치 및 손을 포함하는 양측 팔을 모델링하는 단계;

(b) 상기 모델링으로부터 양측 손을 검출하는 단계; 및

(c) 상기 영상과 이전 영상을 비교하여 팔꿈치와 손을 잇는 양측 직선의 기울기 변화를 통해 양측 손의 위치를 추적하는 단계

를 포함하는 것을 특징으로 하는 양손 검출 및 추적 방법.
제1항에 있어서, 상기 (a) 단계에서 팔의 모델링은,

얼굴의 위치를 이용하여 어깨점의 위치를 검출하고, 영상의 명암이 미리 설정된 임계값 이상일 경우에 특징점으로 선택되는 KLT(Kanade-Lucas-Tomasi) 특징점에 대해 시계열에서 임의 변수의 현재값이 과거값에 의존하여 결정되어 지는 회귀 분석을 통해 손을 검출하며, 상기 어깨점 위치와 손 위치로부터 팔꿈치를 추정하는 것을 특징으로 하는 양손 검출 및 추적 방법.
제1항에 있어서, 상기 (a) 단계 이전에,

피부색 정보를 이용하여 손과 얼굴의 위치를 추출하는 것을 특징으로 하는 양손 검출 및 추적 방법.
제1항에 있어서, 상기 (b) 단계에서 양측 손은,

움직임 정보와 피부색 정보를 정합하여 블랍 분석(Blob Analysis)를 이용하여 검출하는 것을 특징으로 하는 양손 검출 및 추적 방법.
제1항에 있어서, 상기 (c) 단계는,

상기 영상의 이전 영상에 대해 시계열에서 임의 변수의 현재값이 과거값에 의존하여 결정되어 지는 회귀 분석을 수행하여 양측 손의 가상 영역을 지정하는 단계;

상기 양측 손의 가상 영역이 겹치는가를 판별하는 단계; 및

상기 가상 영역이 겹치지 않을 경우에는 양측 손의 현재 위치를 확인하여 영상의 명암이 미리 설정된 임계값 이상일 경우에 특징점으로 선택되는 KLT(Kanade-Lucas-Tomasi) 특징점을 추출하고 회귀 분석하여 팔꿈치와 손을 잇는 양측 직선의 기울기를 산출하고, 상기 가상 영역이 겹칠 경우에는 상기 이전 영상에서 얻은 기울기를 회귀 분석하여 움직일 방향을 예측한 후 양측 손이 겹치는지를 다시 판별하고, 상기 양측 손의 겹칩여부 판별결과, 양측 손이 겹치지 않을 경우에는 상기 가상 영역이 겹치지 않을 경우를 따르고, 양측 손이 겹칠 경우에는 KLT(Kanade-Lucas-Tomasi) 특징점을 추출하여 양측 손의 위치를 확인하는 단계

로 이루어진 것을 특징으로 하는 양손 검출 및 추적 방법.
제5항에 있어서, 상기 가상 영역이 겹치지 않을 경우에 산출된 기울기는 다음 영상의 움직일 방향을 예측하는데 이용되는 것을 특징으로 하는 양손 검출 및 추적 방법.
제5항 또는 제6항에 있어서, 상기 양손이 겹칠 경우에 추출된 KLT 특징점은 상기 가상 영역이 겹치지 않을 경우에 산출하는 기울기의 직선을 이용할 수 있도록 회귀 분석을 수행하는 것을 특징으로 하는 양손 검출 및 추적 방법.