KR101035291B1 - 관절모델ｄｂ을 이용한 포즈인식 시스템 - Google Patents

Abstract

본 발명은 포즈인식 시스템에 관한 것으로, 보다 구체적으로는 사람의 상반신 관절의 회전정보 및 위치정보를 갖는 복수 개의 관절모델을 생성하여 관절모델DB로 저장하고, 현재 영상 중의 사람 포즈를 상기 관절모델과 비교하여 가장 유사한 관절모델을 도출함으로써 상기 사람 포즈를 인식할 수 있는 관절모델DB를 이용한 포즈인식 시스템에 관한 것이다.

포즈인식, 관절모델, 포즈라이브러리, 포즈추적

Description

관절모델ＤＢ을 이용한 포즈인식 시스템{Recognition system of body pose using human joint model DB}

본 발명은 포즈인식 시스템에 관한 것으로, 보다 구체적으로는 사람의 상반신 관절의 회전정보 및 위치정보를 갖는 복수 개의 관절모델을 생성하여 관절모델DB로 저장하고, 현재 영상 중의 사람 포즈를 상기 관절모델과 비교하여 가장 유사한 관절모델을 도출함으로써 상기 사람 포즈를 인식할 수 있는 관절모델DB를 이용한 포즈인식 시스템에 관한 것이다.

동적인 영상에서 사람의 포즈를 인식하고 연속적으로 인식하여 추적하는 시시템은 보안, 사람의 행동분석, 로봇비전 및 사람과 컴퓨터 간의 상호작용해석 분야에서 가장 중요한 기술 중 하나이다.

그러나 사람의 움직임은 매우 복잡하고 빠르며, 취할 수 있는 포즈도 무한하므로, 컴퓨터를 이용하여 실시간으로 사람의 포즈를 연속적으로 인식하여 추적하는 것은 매우 어려운 일이다.

종래에 사람의 포즈인식 시스템은 사람의 포즈를 인식하기 위해 다양한 사람의 포즈영상의 색상정보, 에지 형상정보, 특징점 정보 등을 이용하여 DB를 구축한 후, 통계적으로 분석하는 방법을 사용하였다.

그러나, 이러한 종래의 포즈인식 시스템은 데이터가 방대하여 DB구축비용이 증가하고 인식 시간이 오래 걸리며, 사람의 포즈영상을 촬영하는 카메라의 주시방향이나 조명의 밝기 변화 등에 매우 민감하여 안정적인 결과를 얻기 어려운 문제점이 있다.

본 발명자들은 사람의 포즈인식에 기준이 되는 데이터의 양을 줄이고 인식 속도 및 인식률이 매우 향상된 포즈인식 시스템을 개발하고자 연구 노력한 결과, 사람의 상반신의 관절모델을 생성하여 DB화하고 입력되는 영상과 관절모델을 서로 비교함으로써 포즈인식에 기준이 되는 데이터의 양을 줄여 인식속도 및 인식률이 매우 향상된 포즈인식 시스템의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.

따라서, 본 발명의 목적은 포즈인식의 속도 및 인식률이 매우 향상된 포즈인식 시스템을 제공하는 것이다.

또한, 본 발명의 다른 목적은 포즈인식에 기준이 되는 데이터를 관절모델로 생성하여 저장함으로써 데이터의 양을 줄여 인식속도를 향상시킬 수 있는 포즈인식 시스템을 제공하는 것이다.

또한, 본 발명의 또 다른 목적은 연속적인 사람의 포즈인식에 있어서, 인식률을 향상시킬 수 있는 포즈인식 시스템을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위하여 본 발명은 표준이 되는 사람포즈인 키포즈 영상들에 대응하여 생성되고, 관절회전정보 및 위치정보를 갖는 관절모델 및 상기 각 관절모델에 대응하여 생성되고, 상기 각 키포즈 영상의 거리변환 영상과 상기 관절모델들을 각각 겹쳐 상기 관절모델들의 테두리에 해당하는 픽셀들의 평균 픽셀 값들의 집합인 키포즈 특징벡터들이 저장되는 포즈 라이브러리, 입력되는 현재영상의 전경을 추출하여 전경영상을 획득하며, 상기 전경영상이 사람으로 판단될 경우 상기 전경 영상을 거리변환 영상으로 생성하는 전처리부, 상기 관절모델들과 상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리에 저장하고, 상기 현재영상의 거리변환 영상을 상기 각 관절모델들과 겹쳐 상기 각 관절모델들의 테두리에 해당하는 픽셀들의 평균 픽셀 값의 집합인 상기 현재영상의 특징벡터를 생성하고, 상기 키포즈 특징벡터들 중 상기 현재영상의 특징벡터와 크기가 가장 유사한 키포즈 특징벡터를 도출하는 키포즈 인식부 및 상기 키포즈 인식부에서 도출된 가장 유사한 키포즈 특징벡터와 대응하는 관절모델에 임의의 노이즈 값을 부여하여 복수 개의 관절모델 샘플을 생성하고, 상기 각 관절모델 샘플과 상기 현재영상의 거리변환 영상과 겹쳐, 상기 각 관절모델샘플의 테두리에 해당하는 픽셀들의 평균 픽셀 값이 가장 낮은 관절모델 샘플을 도출하여 도출된 관절모델 샘플을 상기 현재영상의 사람포즈로 인식하는 현재포즈 인식부를 포함하는 포즈인식 시스템을 제공한다.

바람직한 실시예에 있어서, 상기 관절모델들은 사람의 상반신 중, 몸통, 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 여섯 개의 관 절박스로 구성되고, 아래의 수학식 1에 의해 생성된다.

[수학식1]

여기서, X는 관절모델이고, x₀는 몸통의 관절박스, x₁, x₂, x₃, x₄, x₅는 각각 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 관절박스이며, x,y는 영상 내에서 몸통의 위치좌표이고, 각 θ는 관절박스의 회전각도이다.

바람직한 실시예에 있어서, 상기 전처리부는 상기 현재영상의 전경을 추출하여 전경영상을 획득하는 전경추출수단, 상기 전경영상에 얼굴영상이 있는지 인식하는 얼굴인식수단 및 상기 얼굴인식수단에서 상기 전경영상에 얼굴영상이 있는 것으로 인식되면 상기 전경영상의 실루엣 영상을 거리변환 영상으로 생성하는 거리변환 영상 생성수단을 포함한다.

바람직한 실시예에 있어서, 상기 얼굴인식수단은 비올라(viola)의 방법을 이용하여 상기 전경영상에 얼굴영상이 있는지 인식한다.

바람직한 실시예에 있어서, 상기 키포즈 인식부는 상기 관절모델을 생성하여 상기 포즈 라이브러리에 저장하는 관절모델 생성수단, 상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리에 저장하는 특징벡터 생성수단 및 상기 키포즈 특 징벡터들 중 상기 현재영상의 특징벡터와 가장 유사한 키포즈 특징벡터를 도출하는 특징벡터 비교수단을 포함한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

본 발명은 다음과 같은 우수한 효과를 가진다.

먼저, 본 발명의 포즈인식 시스템에 의하면, 데이터의 량이 적은 관절모델을 이용하여 현재영상의 사람포즈를 인식하므로 적은 량의 데이터를 이용하여 빠르게 영상 내에서 사람포즈를 인식할 수 있는 효과가 있다.

또한, 본 발명의 포즈인식 시스템에 의하면, 키포즈 인식부 및 현재포즈 인 식부를 이용하여 두 단계로 사람포즈를 인식하므로 포즈인식률을 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 포즈인식 시스템에 의하면, 과거의 포즈정보를 갖는 관절모델 샘플들을 이용하여 과거로부터 현재의 포즈를 추적하여 인식할 수 있으므로 포즈인식률의 정확도를 대폭 향상시킬 수 있는 효과가 있다.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.

이하, 첨부한 첨부한 도면 및 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.

그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 포즈인식 시스템의 구성도, 도 2는 본 발명의 일 실시예에 따른 포즈인식 시스템의 포즈 라이브러리의 구성도, 도 3은 본 발명의 일 실시예에 따른 포즈인식 시스템의 관절모델을 보여주는 도면, 도 4는 본 발명의 일 실시예에 따른 포즈인식 시스템의 관절모델DB를 설명하기 위한 도면, 도 5는 본 발명의 일 실시예에 따른 포즈인식 시스템의 키포즈 특징벡터가 생성되는 과정을 설명하기 위한 도면, 도 6은 본 발명의 일 실시예에 따른 포즈인식 시스템의 전처리부의 구성도, 도 7은 본 발명의 일 실시예에 따른 포즈인식 시스템의 키포즈 인식부의 구성도이다.

도 1을 참조하면 본 발명의 일 실시예에 따른 포즈인식 시스템(100)은 포즈 라이브러리(110), 전처리부(120), 키포즈 인식부(130) 및 현재포즈 인식부(140)를 포함하여 이루어진다.

또한, 본 발명의 일 실시예에 따른 포즈인식 시스템(100)은 실질적으로 프로그래밍되어 컴퓨팅 장치의 저장매체에 저장된다.

도 2를 참조하면, 상기 포즈 라이브러리(110)는 관절모델DB(111) 및 키포즈 특징벡터DB(112)를 포함하여 이루어지고, 상기 관절모델DB(111)에는 복수 개의 관절모델(111a,111b,...,111n)이 저장되고, 상기 키포즈 특징벡터DB(112)에는 상기 관절모델에 대응하는 복수 개의 키포즈 특징벡터들이 저장된다.

또한, 상기 관절모델(111a)은 표준이 되는 사람포즈인 키포즈 영상(10)의 형상과 대응하여 생성되며, 도 3에 도시된 바와 같이 사람의 상반신 중, 몸통, 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 여섯 개의 관절 박스(x₀, x₁, x₂, x₃, x₄, x₅)로 이루어진다.

그러나 상기 관절 박스들(x₀, x₁, x₂, x₃, x₄, x₅)의 개수는 선택적으로 변경할 수 있고, 사람의 하반신을 포함하는 전신에 대응하는 관절 박스들로 생성할 수도 있다.

또한, 상기 관절모델(111a) 및 상기 관절 박스들(x₀, x₁, x₂, x₃, x₄, x₅)은 아래의 수학식1에 의해 생성된다.

[수학식1]

여기서, X는 상기 관절모델(111a)이고, x₀는 몸통의 관절박스, x₁, x₂, x₃, x₄, x₅는 각각 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 관절박스이며, x,y는 영상 내에서 몸통의 위치좌표이고, 각 θ는 관절박스의 회전각도이다.

즉, 상기 관절모델(111a)은 사람의 관절회전정보 및 영상 내에서 사람의 위치정보를 포함하여 이루어진다.

본 발명에서는 상기 몸통의 관절박스(x₀)에만 위치좌표를 부여하였으나, 다른 관절박스(x₁, x₂, x₃, x₄, x₅)에도 위치좌표를 부여할 수 있음은 물론이다.

또한, 상기 관절모델(111a)은 도 4에 도시한 바와 같이 복수 개의 관절모델들(111a,111b,...,111n)로 생성되어 상기 관절모델DB(111)로 저장된다.

또한, 상기 키포즈 특징벡터DB(112)에 저장되는 키포즈 특징벡터들은 상기 관절모델들(111a,111b,...,111n) 각각에 대응하여 생성되며, 도 5를 참조하여 더욱 자세하게 설명하면, 먼저, 상기 키포즈 영상(10)을 거리변환 영상(10a)으로 변환하고, 상기 거리변환 영상(10a)에 상기 각 관절모델들(111a,111b,...,111n)을 겹쳐 상기 각 관절모델(111a,111b,...,111n)의 테두리(e)에 해당하는 상기 거리변환 영상(10a)의 픽셀 값들의 평균값(112a)을 도출한 후, 도출된 평균값들의 집합을 상기 키포즈 영상(10)의 키포즈 특징벡터로 생성한다.

또한 상기 거리변환 영상(10a)은 아래에서 설명할 전처리부(120)에 의해 생성되며, 상기 관절모델(111a,111b,...,111n)과 상기 키포즈 특징벡터는 아래에서 설명할 키포즈 인식부(130)에 의해 생성되어 저장된다.

즉, 본 발명의 일 실시예에 따른 포즈인식 시스템은 종래에 포즈인식 시스템과 비교하여 영상의 색상정보나 엣지정보가 직접적으로 저장되는 것이 아니라 상기 관절모델(111a,111b,...,111n)이 저장되므로 데이터의 양이 적고 포즈인식속도도 빠른 장점이 있다.

상기 전처리부(120)는 전경추출수단(121), 얼굴인식수단(123) 및 거리변환 영상 생성수단(124)을 포함하여 이루어지며, 입력되는 현재영상(20)을 거리변환 영상(124a)으로 생성한다.

또한, 상기 전경추출수단(121)은 상기 현재영상(10)의 전경영상(121a) 즉 상기 현재영상(20)에서 사람의 영상을 추출한다.

또한, 상기 얼굴인식수단(123)은 상기 전경영상(121a) 내의 전경에 사람얼굴이 있는지 없는지 판단하여 전경이 사람인지 아닌지 인식하며, 다양한 공지된 방법을 이용하여 사람얼굴을 인식한다. 본 발명의 실시예에서는 비올라(viola)의 방법을 이용하여 상기 현재영상(20) 내의 전경이 사람인지 아닌지 판단하였다.

삭제

삭제

또한, 상기 거리변환 영상 생성수단(124)은 상기 얼굴인식수단(123)에서 상기 전경영상(121a)이 사람으로 판단될 경우, 상기 전경영상(121a)의 실루엣 영상(122a)을 거리변환하여 거리변환 영상(124a)를 생성한다.

여기서 거리변환 영상이란 상기 실루엣 영상(122a)과 같은 이진 영상의 각 화소를 대해 인접한 화소들과의 차이값을 대입하여 계산되며, 상기 실루엣 영상(122a)의 테두리에서 가까운 픽셀일수록 검은색으로 표현된 영상을 말한다.

도 7을 참조하면, 상기 키포즈 인식부(130)는 크게 두 가지의 기능을 하는데 하나는 상기 관절모델들(111a,111b,...,111n) 및 상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리(110)로 저장하는 기능이고, 다른 하나는 새롭게 입력되는 현재영상(20)의 특징벡터를 생성하고, 상기 키포즈 특징벡터들 중에서 생성된 특징벡터와 가장 유사한 특징벡터를 도출하는 기능이다.

또한, 상기 키포즈 인식부(130)는 상기 관절모델들(111a,111b,...,111n)을 생성하여 상기 포즈 라이브러리(110)로 저장하는 관절모델 생성수단(131), 상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리(110)로 저장하는 한편, 상기 현재영상(20)의 특징벡터를 도출하는 특징벡터 생성수단(132) 및 상기 키포즈 특징벡터DB(112)에 저장된 특징벡터들 중 상기 현재영상(20)의 특징벡터와 가장 유사한 키포즈 특징벡터를 도출하는 특징벡터 비교수단(133)을 포함하여 이루어진다.

또한, 본 발명의 일 실시예에서는 상기 키포즈 특징벡터와 상기 현재 영상(20)의 특징벡터의 비교는 유클리드 거리값(Euclidean distance)을 이용하였다.

또한, 상기 현재영상(20)의 특징벡터는 상기 키포즈 특징벡터의 생성과정과 실질적으로 동일하므로 설명을 생략하기로 한다.

상기 현재포즈 인식부(140)는 상기 현재영상(20)의 특징벡터와 가장 유사한 키포즈 특징벡터와 대응하는 관절모델에 임의의 노이즈 값을 부가하여 복수 개의 관절모델 샘플을 생성하고 상기 각 관절모델샘플과 상기 현재영상(20)의 거리변환영상(124a)을 겹쳐, 상기 각 관절모델샘플의 테두리에 해당하는 픽셀들의 평균 픽셀 값이 가장 낮은 관절모델 샘플을 도출하여 도출된 관절모델 샘플을 상기 현재영상(20)의 사람포즈로 인식한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

즉, 본 발명의 일 실시예에 따른 포즈 인식 시스템은 상기 관절모델 DB(111)에 저장되는 관절모델들뿐만 아니라 관절모델 샘플들에서 사람포즈를 인식할 수 있으므로 포즈인식률을 매우 향상시킬 수 있는 효과가 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

삭제

삭제

삭제

삭제

삭제

도 1은 본 발명의 일 실시예에 따른 포즈인식 시스템의 구성도,

도 2는 본 발명의 일 실시예에 따른 포즈인식 시스템의 포즈 라이브러리의 구성도,

도 3은 본 발명의 일 실시예에 따른 포즈인식 시스템의 관절모델을 보여주는 도면,

도 4는 본 발명의 일 실시예에 따른 포즈인식 시스템의 관절모델DB를 설명하기 위한 도면,

도 5는 본 발명의 일 실시예에 따른 포즈인식 시스템의 키포즈 특징벡터가 생성되는 과정을 설명하기 위한 도면,

도 6은 본 발명의 일 실시예에 따른 포즈인식 시스템의 전처리부의 구성도,

도 7은 본 발명의 일 실시예에 따른 포즈인식 시스템의 키포즈 인식부의 구성도이다.

삭제

본 발명에 따른 도면들에서 실질적으로 동일한 구성과 기능을 가진 구성요소들에 대하여는 동일한 참조부호를 사용한다.

<도면의 주요부분에 대한 부호의 설명>

100:포즈인식 시스템 110:포즈 라이브러리

111:관절모델DB 111a,111b,111n:관절모델

112:키포즈 특징벡터DB 120:전처리부

121:전경추출수단

123:얼굴인식수단 124:거리변환 영상 생성수단

130:키포즈 인식부 131:관절모델 생성수단

132:특징벡터 생성수단 133:특징벡터 비교수단

140:현재포즈 인식부

삭제

삭제

Claims (10)

1. 표준이 되는 사람포즈인 키포즈 영상들에 대응하여 생성되고, 관절회전정보 및 위치정보를 갖는 관절모델 및 상기 각 관절모델에 대응하여 생성되고, 상기 각 키포즈 영상의 거리변환 영상과 상기 관절모델들을 각각 겹쳐 상기 관절모델들의 테두리에 해당하는 픽셀들의 평균 픽셀 값들의 집합인 키포즈 특징벡터들이 저장되는 포즈 라이브러리;

   입력되는 현재영상의 전경을 추출하여 전경영상을 획득하며, 상기 전경영상이 사람으로 판단될 경우 상기 전경 영상을 거리변환 영상으로 생성하는 전처리부;

   상기 관절모델들과 상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리에 저장하고, 상기 현재영상의 거리변환 영상을 상기 각 관절모델들과 겹쳐 상기 각 관절모델들의 테두리에 해당하는 픽셀들의 평균 픽셀 값의 집합인 상기 현재영상의 특징벡터를 생성하고, 상기 키포즈 특징벡터들 중 상기 현재영상의 특징벡터와 크기가 가장 유사한 키포즈 특징벡터를 도출하는 키포즈 인식부; 및

   상기 키포즈 인식부에서 도출된 가장 유사한 키포즈 특징벡터와 대응하는 관절모델에 임의의 노이즈 값을 부여하여 복수 개의 관절모델 샘플을 생성하고, 상기 각 관절모델 샘플과 상기 현재영상의 거리변환 영상과 겹쳐, 상기 각 관절모델샘플의 테두리에 해당하는 픽셀들의 평균 픽셀 값이 가장 낮은 관절모델 샘플을 도출하여 도출된 관절모델 샘플을 상기 현재영상의 사람포즈로 인식하는 현재포즈 인식부;를 포함하는 것을 특징으로 하는 포즈인식 시스템.
2. 제 1 항에 있어서,

   상기 관절모델들은 사람의 상반신 중, 몸통, 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 여섯 개의 관절박스로 구성되고, 아래의 수학식 1에 의해 생성되는 것을 특징으로 하는 포즈인식 시스템.

   [수학식1]

   

   

   여기서, X는 관절모델이고, x₀는 몸통의 관절박스, x₁, x₂, x₃, x₄, x₅는 각각 머리, 오른팔 상부, 오른팔 하부, 왼팔 상부 및 왼팔 하부에 대응하는 관절박스이며, x,y는 영상 내에서 몸통의 위치좌표이고, 각 θ는 관절박스의 회전각도이다.
3. 제 1 항에 있어서,

   상기 전처리부:는

   상기 현재영상의 전경을 추출하여 전경영상을 획득하는 전경추출수단;

   상기 전경영상에 얼굴영상이 있는지 인식하는 얼굴인식수단; 및

   상기 얼굴인식수단에서 상기 전경영상에 얼굴영상이 있는 것으로 인식되면 상기 전경영상의 실루엣 영상을 거리변환 영상으로 생성하는 거리변환 영상 생성수단;을 포함하는 것을 특징으로 하는 포즈인식 시스템.
4. 제 3 항에 있어서,

   상기 얼굴인식수단은 비올라(viola)의 방법을 이용하여 상기 전경영상에 얼굴영상이 있는지 인식하는 것을 특징으로 하는 포즈인식 시스템.
5. 제 1 항에 있어서,

   상기 키포즈 인식부:는

   상기 관절모델을 생성하여 상기 포즈 라이브러리에 저장하는 관절모델 생성수단;

   상기 키포즈 특징벡터들을 생성하여 상기 포즈 라이브러리에 저장하는 특징벡터 생성수단; 및

   상기 키포즈 특징벡터들 중 상기 현재영상의 특징벡터와 가장 유사한 키포즈 특징벡터를 도출하는 특징벡터 비교수단;을 포함하는 것을 특징으로 하는 포즈인식 시스템.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images