WO2015167081A1

WO2015167081A1 - 신체 부분 검출 방법 및 장치

Info

Publication number: WO2015167081A1
Application number: PCT/KR2014/007530
Authority: WO
Inventors: 백재성
Original assignee: (주)디지엔터테인먼트
Priority date: 2014-04-29
Filing date: 2014-08-13
Publication date: 2015-11-05
Also published as: KR101447958B1

Abstract

본 발명은 신체 부분 검출 방법 및 장치에 관한 것으로, 획득된 이미지에서 사람을 찾은 후, 찾아진 사람 이미지에 거리변환행렬을 적용하여 연산 중심값을 찾는 과정, 상기 연산 중심값에 실제 사람의 신체 비율을 적용하여 새로운 실제 중심점을 찾는 과정을 포함하는 신체 부분 검출 방법을 제공하여, 행동을 정확하고 신속하게 인식할 수 있도록 하는 것이다.

Description

신체 부분 검출 방법 및 장치

본 발명은 신체 부분 검출 방법 및 장치에 관한 것으로, 보다 상세하게는 카메라로부터 획득된 영상으로부터 사람을 찾고 사람의 신체비율을 적용하여 찾아진 사람의 중심점을 정확히 찾고, 이를 이용하여 관절 등 신체의 각 포인트를 찾음으로서, 분류기와 종래 신체 정보 데이터가 없이도 신체 부분을 정확하게 검출하여, 행동을 정확하고 신속하게 인식할 수 있도록 하는 신체 부분 검출 방법 및 장치에 관한 것이다.

최근 기술발달로 인하여 컴퓨터 등의 정보처리장치가 인간의 동작을 단순히 기록하는 것을 넘어 그 행동을 인식할 수 있게 되었으며, 이러한 행동 인식 기술은 최근 게임기에서 캐릭터의 움직임을 키보드, 조이스틱 등을 대신하여 사람의 움직임을 감지하여 그 움직임에 동기시켜 움직이도록 제어하거나, 휴대단말기의 동작을 사람의 손동작 등을 인식하여 그에 해당하는 동작이 실행되도록 제어하거나 및 사람의 움직임에 로봇의 움직임을 동기화시켜 로봇의 동작을 제어하는 등 각종 전자제품의 제어에 적용되고 있고, 그 응용분야가 다양해지고 있다.

이러한 행동 인식을 위한 방법으로 공개특허 10-2006-0122536, 공개특허 10-2005-0073313등에서, GPS, 가속도센서, 자이로스코프(Gyroscope), 지자기 센서 등의 센서를 사람의 신체에 부착 혹은 위치시켜 상기 센서로부터 출력되는 신호를 판단하여 사람의 행동을 인식하는 기술이 이용되고 있으나, 이는 별도의 센서를 사람의 몸에 부착하여야 하므로 센서와 사람이 분리되지 않도록 고정하기 위한 별도 구성 혹은 사용자의 주의가 요구되어 사용이 불편하고, 이와 같이 센서로부터 신호를 수신받아야 하므로 센서와 센서로부터 수신된 신호를 처리하는 연산부사이의 거리에 제한을 받게 되어 사람의 행동과 장소에 제약을 주는 문제점이 있다.

이에 따라 최근에는 이러한 센서를 사용하지 않는 행동 인식 기술들이 사용되고 있는데, 그 예로는 통상 카메라와 같은 영상획득부을 이용하여 획득된 영상에서 사람을 찾아서 행동을 인식하는 것으로, 공개특허 10-2012-0108728, 등록특허 10-1203121, 공개특허 10-2012-0089948, 등록특허 10-1281461, 등록특허 10-1307642 등에 기술이 공개되어 있다.

이 중, 공개특허 10-2012-0108728호는 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 단계; 상기 스테레오 영상에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 단계; 상기 스테레오 영상에서 상기 움직이는 객체를 추출하는 단계; 상기 영상에 대한 영상처리를 통해, 상기 영상의 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 단계; 상기 생성하는 단계에서 연속적으로 생성되는 영상 프레임 각각에 대해, 상기 심도 맵 데이터를 계산하는 단계 내지 포인터를 인식하는 단계를 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 단계; 및 상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식방법 및 이를 실시하기 위한 장치가 공개되어 있다.

그리고, 등록특허 10-1203121호는 스테레오 카메라 전방의 일정한 거리에 기본위치를 설정하는 단계; 움직이는 객체를 상기 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 단계; 상기 스테레오 영상에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 단계; 상기 스테레오 영상에서 상기 움직이는 객체의 영역을 추출하는 단계; 상기 추출한 객체 영역이 상기 설정된 기본위치의 픽셀 영역에 속하고, 상기 객체까지의 심도가 상기 기본위치의 심도 범위에 속하는지 판단하여 상기 객체가 상기 기본 위치에 있는지 판단하는 단계; 상기 객체가 기본위치에 있는 경우에, 상기 영상에 대한 영상처리를 통해 상기 영상의 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 단계; 상기 생성하는 단계에서 연속적으로 생성되는 영상 프레임 각각에 대해, 상기 심도 맵 데이터를 계산하는 단계 내지 포인터를 인식하는 단계를 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 단계; 및 상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 단계를 포함하고, 상기 기본위치를 설정하는 단계는, 사용자로부터 기본위치설정명령을 입력받고, 기본 위치 설정용 객체를 상기 스테레오 카메라로 촬영하여 스테레오 영상을 생성하고 심도 맵 데이터를 계산하는 단계; 상기 스테레오 영상에서 상기 설정용 객체를 추출하는 단계; 및 상기 추출한 설정용 객체의 영역을 포함하는 픽셀 영역을 상기 기본위치의 픽셀 영역으로 설정하고, 상기 추출한 설정용 객체 영역의 심도 값을 기준으로 상기 기본위치의 심도 범위를 설정함으로써 상기 기본위치를 설정하는 단계를 포함하여 수행되는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식방법 및 이를 위한 장치가 공개되어 있다.

그러나, 상기 공개특허 10-2012-0108728호 및 등록특허 10-1203121호는 일반카메라 두 대를 사용하는 스테레오 카메라 이용하여 사용자의 3차원 몸짓을 인식하여 정보화하는 기술로서, 카메라 두 대를 사용하므로 비용이 많이 들고, 두 대의 카메라를 각각 제어하여야 하므로 제어에 어려움이 있었다.

그리고, 공개특허 10-2012-0089948호는 MHI추출부가 실시간으로 입력되는 영상으로부터, 공간상과 시간상에서의 동작 변화 정도를 표현한 명암도 영상인(gray image)인 MHI(Motion History Image)를 획득하는 제1 단계; 기울기영상추출부가 상기 획득된 MHI로부터 x, y 각각의 좌표에 대한 기울기(gradient)영상을 추출하는 제2 단계; 형태정보추출부가 상기 추출된 각각의 기울기 영상에 형태 문맥 기법(shape context method)을 적용하여 형태정보를 추출하는 제3 단계; 및 분류인식부가 상기 추출된 형태 정보를 SVM(Support Vector Machine) 분류기로 학습 및 분류하는 제4 단계를 포함하는 MHI의 형태 정보를 이용한 실시간 동작 인식시스템의 동작 인식방법 및 시스템이 공개되어 있는 것으로, 이는 사람의 전체적인 윤곽을 기준으로 사람이 어떻게 움직이는지 그 윤곽으로 움직임을 찾아내는 것으로 인체의 각종 관절 등 특징 부분을 찾는 것이 아니기 때문에, 로봇이나 게임 등 신체 각종 부위의 정밀한 움직임을 인식하여 이를 제어에 사용하는 정밀 제어 분야에는 적용하기는 어려운 문제점이 있었다.

또한, 등록특허 10-1281461호는 영상획득부가 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득단계; 피부영역검출부가 상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출단계; 손영역검출부가 상기 피부영역 내 각 화소에 대하여 라벨링(labeling)을 수행하여 손영역을 검출하는 손영역검출단계; 노이즈필터링부가 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링단계; 무게중심검출부가 상기 손영역 내 무게중심점을 검출하는 무게중심검출단계; 특징점검출부가 상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 손영역 내 손가락마디와 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출단계; 및 터치여부판단부가 상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단단계; 를 포함하는 영상분석을 이용한 멀티 터치 입력 방법 및 이를 달성하기 위한 시스템에 관한 발명으로, 획득된 영상에서 피부영역을 검출한 후 손을 검출하는 것으로, 피부를 이용한 검출이므로 의복을 착용한 사람의 신체 전체영역을 검출하는데는 어려움이 있었고, 검색대상이 되는 사람의 관절부위 등을 검출하는 데는 한계가 있어 인체전체를 기준으로 하는 제어는 불가능한 문제점이 있었다.

그리고, 상기 등록특허 10-1307642호는 본원의 출원인에 의한 선출원 등록건으로 사용자를 촬영하는 촬영부; 상기 촬영부를 통해서 촬영되는 인체의 3D 데이터로부터, x, y 및 z값을 독출하여 인체 부위를 추출하는 신체 부분 정보 검출부; 상기 신체 부분 정보 검출부를 통해서 추출되는 인체 부위로부터 사용자의 영상과, 사용자의 손 영역을 검출하는 사용자 검출부; 상기 사용자 검출부를 통해서 검출된 사용자 영상과 함께 사용되는 컨텐츠를 제공하는 컨텐츠 제공부; 및 상기의 검출된 사용자 영상과, 상기 컨텐츠 제공부를 통해서 제공되는 컨텐츠를 합성시키는 제어부;를 포함하고, 상기 제어부는, 상기 컨텐츠 제공부를 통해서 제공되는 컨텐츠를 사용자가 선택할 수 있도록 하고, 상기 컨텐츠는 네트워크 연결된 컨텐츠 DB에 저장되어 있는 유료 또는 무료의 컨텐츠인 것을 특징으로 하는 3차원 디지털사진 촬영 장치로서, 촬영부를 통해서 획득된 인체의 3D 데이터로부터, x, y 및 z값을 독출하여 인체 부위를 추출하고, 추출되는 인체 부위로부터 사용자의 영상을 검출하여, 검출된 사용자 영상과 컨텐츠를 합성시키는 기술로서, 인체 전체를 검출하는 기술은 제시되었으나 인체의 각종 부위를 검출하는 구체적인 방법은 제시하지 않고 있다.

이와 같이 종래 카메라를 이용한 신체 부분 검출 방법은 인체의 각종 부위를 검출함에 있어, 연산량이 많아 검출시간이 오래걸리는 문제점이 있었고, 인체의 각종 부위를 정확하게 검출하기 어려운 문제점이 있었다.

한편, 최근 행동인식이 각종 전자제품의 제어에 사용되므로, 행동인식을 위한 기술들이 다수 개발되고 있으며, 그 예로는 찾아진 대상의 중심점을 찾는 거리변환행렬, 사람을 찾는 오메가 셰이프 비교 기술 등이 있다.

이 중 거리 변환 행렬은 현재의 픽셀로부터 값이 '0'인 픽셀까지의 가장 가까운 거리를 갖고 있는 행렬로서, 가장 큰 좌표가 중심이 된다.

이러한 거리변환행렬을 이용하여 중심점을 찾는 예로서 사람의 손 중심을 찾는 과정을 살펴보면, 우선 피부색 등을 이용하여 사람의 손부분만을 검출한 후, 거리변환행렬을 적용하여 중심점을 찾음으로서 손의 중심점(초록색점)과 손바닥영역(파란색원)을 찾을 수 있게 된다.

그러나, 이러한 종래 거리변환행렬은 찾아진 대상물의 중심을 구하는 과정에서 실제 인체의 비율을 적용하는 것이 아니므로, 손이 아닌 사람의 전체 형상 등에서 정확하게 중심점을 찾고, 이를 기준으로 사람의 각종 관절 등 인체부분을 찾는 것이 어려운 문제점이 있었다.

그리고, 상기 오메가 셰이프는 사람의 머리와 어깨를 잇는 윤곽선 모양이 문자 Ω[오메가] 형상을 닮았다고 해서 명명된 것으로, 획득된 영상에서 오메가형상의 객체를 인식하는 기술로서, 카메라의 전방에 위치한 사람이 뒤돌아 서 있는 상황 즉, 얼굴이 보이지 않는 상황에서도 사람의 검출이 가능한 장점이 있으나, 이는 단지 사람을 찾는데 사용되는 기술로 찾아진 사람의 각종 인체부위를 검출할 수는 없었다.

그리고, 종래 사람을 찾는 알고리즘관련 특허로서, 공개특허 10-2013-0052393호는 3차원영상을 이용한 객체 검출 장치 및 방법으로, 분류기를 사용하되 깊이카메라를 이용하여 객체분리가 용이하게 한 것이고, 공개특허 10-2014-0040527 영상으로부터 신체 골격 및 신체부위 정보 검출 방법 및 장치로서 신체 검출방식은 기존 로컬맥시마(골격정보)를 이용하여 검출 하는 것으로 기존 정보가 있어야만 신체데이터를 추출할 수 있었다.

본 발명은 상기한 종래의 카메라를 통해서 획득된 영상으로부터 사람을 찾아 행동을 인식하는 방법들이 갖는 문제점인 다수의 하드웨어(카메라)가 필요하고 이로 인하여 제어가 어렵고 복잡하며, 연산량이 많고, 인체의 각종 관절등을 정확하게 찾지 못하는 문제점을 해결하기 위하여 발명된 것으로 , 공지의 사람을 찾거나 찾아진 사람의 행동을 인식하기 위하여 사용되는 기술들 즉, 거리변환행렬, 오메가 셰이프 비교 등의 기술들을 효율적으로 사용하여 연산량을 줄이고 인식속도와 정확도를 개선하는 신체 부분 검출 방법 및 장치를 제공하는 데 목적이 있다.

또한, 공지된 행동 인식을 위한 기술들을 적용하되, 사람의 실제 체형정보를 연산과정에 적용함으로써 인체 각 부분에 대한 정확한 인식 및 그로 인한 정확한 행동 인식이 가능하도록 하여 이러한 인식 데이터를 의학, 로봇, 게임 등 각종 산업 전반에 적용할 수 있도록 하는 데 다른 목적이 있다.

아울러, 최근 깊이카메라가 확산됨에 따라 사람인식에 대한 깊이정보가 추가됨으로써 기존에 일반 카메라에서 인식하기 어려웠던 사람의 형상을 인식하기 위한 분류기 없이 얼굴과 신체 전부를 인식하는 방법을 제공하고, 신체 인식 과정에서 기존 신체 데이터 없이도 신체 부분을 추출할 수 있도록 하는 데 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 특징은, 획득된 이미지에서 사람을 찾은 후, 찾아진 사람 이미지에 거리변환행렬을 적용하여 연산 중심값을 찾는 과정, 상기 연산 중심값에 실제 사람의 신체 비율을 적용하여 새로운 실제 중심점을 찾는 과정을 포함하는 신체 부분 검출 방법에 있다.

그리고, 상기한 신체 부분 검출 방법은 실제 중심점에서 거리맵을 형성하고 라벨링해서 거리영역의 중심을 추출하여 신체파트별 포인트를 찾는 과정을 더 포함한다.

한편, 영상 획득은 3차원 카메라를 사용하고, 사람을 찾는 과정은 3차원 카메라로부터 획득된 영상에서 순수 깊이값을 기준으로 샘플링하면서 포인트를 추출하고, 추출된 포인트에 벡터를 만들어 오메가 셰이프(omega shape)와 비교하여, 오메가 셰이프와 동일한 데이터가 발견되면 사람이 있는 것으로 판단하게 된다.

그리고, 상기한 바와 같이 사람을 찾는 중, 이전 프레임에서 사람을 찾으면 그 영역 기준으로 현재 프레임과 깊이값을 비교해서 사람영역을 트랙킹하고, 사람 이외에 배경은 제거한다.

또한, 본 발명의 다른 특징은 영상을 획득하기 위한 영상 획득부(10)와, 상기 영상 획득부(10)로부터 획득된 영상에서 사람을 검색하고 사람의 실제 신체비율을 적용하여 사람의 신체 부위별 포인트를 검색하는 신체 부분 정보 검출부(20)를 포함하는 신체 부분 검출 장치에 있다.

상기에서 신체 부분 정보 검출부(20)는 영상 획득부(10)로부터 획득된 영상 데이터에서 사람을 찾는 사람 검출부(22), 상기 사람 검출부(22)에 의하여 찾아진 사람 이미지만을 추적하는 사람 추적부(24)와, 상기 사람 추적부(24)에 의하여 추적된 사람을 제외한 배경을 분리하는 배경분리부(26), 상기 배경을 분리하고 찾아진 사람 이미지에서 거리변환행렬을 적용하여 연산 중심값을 찾고 이로부터 신체정보를 적용하여 실제 중심점을 찾는 거리맵 생성부(28), 상기 거리맵 생성부로부터 찾아진 실제 중심점에서 거리맵을 형성하고 라벨링해서 신체 각 부분(팔, 다리, 머리)을 검출하고, 그에 따른 데이터를 출력하는 신체 분리부(29)를 포함하여 구성된다.

상기한 바와 같이 구성된 본 발명에 의하면 오메가 셰이프와 비교를 통하여 사람을 인식하고, 배경은 제거하며, 찾아진 사람에서 거리변환 행렬을 이용하여 중심예상점을 찾고, 여기에 실제 신체 비율을 합산해서 새로운 실제 중심점을 찾고, 찾아진 실제 중심점을 기준으로 신체의 각 포인트 즉, 손, 발, 팔꿈치, 무릎 등을 찾게 되므로, 사람의 신체부위를 정확하고 신속하게 찾을수 있게 된다.

그리고, 찾아진 신체 부분의 위치가 정확하므로, 이로부터 정확한 행동 인식이 가능해지고, 이러한 행동 인식 기술은 다른 전자기기의 제어 즉, 로봇의 움직임을 제어하거나 게임 등에서 아바타, 캐릭터 등의 동작을 정확하게 제어하거나, 컴퓨터그래픽에 사용하는 다양한 산업분야에 적용할 수 있게 된다.

더욱이, 상기한 바와 같이 정확한 제어가 가능하게 되므로, 정밀제어가 요구되는 의료, 전자산업분야 등에서 상기한 행동 인식 기술이 적용될 수 있게되어, 접근이 용이하지 않거나 위험한 분야에서 상기 행동 인식 기술을 이용하여 안전하고 정확한 작업이 이루어지도록 하는 효과가 있다.

도 1은 본 발명에 따른 신체 부분 검출 장치를 나타내는 블록도

도 2는 도 2는 도 1의 신체 부분 정보 검출부 구성을 나타내는 블록도

도 3은 본 발명에 따른 깊이 영상 획득 예를 나타내는 도면

도 4는 본 발명에 따른 객체 분리 예를 나타내는 도면

도 5는 본 발명에 따른 포인팅추출 및 벡터화 예를 나타내는 도면

도 6은 본 발명에 따른 오메가 형상을 나타내는 도면

도 7은 본 발명에 따른

도 8은 본 발명에 따른 사람 추적 예를 나타내는 도면

도 9는 실제 중심값 검출 예를 나타내는 도면

도 10은 실제 중심점에 따른 새로운 거리맵을 나타내는 도면

도 11은 본 발명에 따른 실제 중심점으로부터 신체 부위를 출력하는 과정을 나타내는 도면

도 12는 본 발명에 따른 신체 부분 검출 예를 나타내는 도면

도 13은 본 발명에 따른 신체 부분 검출 방법을 나타내는 순서도

도 14는 실제 중심점에서 라벨링을 통한 라인 검출예를 나타내는 도면

도 15는 본 발명에 따른 신체 부분 검출을 통한 제어 장치를 나타내는 블록도.

*도면의 주요부분에 대한 부호의 설명*

10 : 영상 획득부 20 : 신체 부분 정보 검출부

22 : 사람 검출부 24 : 사람 추적부

26 : 배경 분리부 28 : 거리맵 생성부

29 : 신체 분리부 30 : 행동 인식부

40 : 제어부 50 : 구동부

이하 본 발명의 실시 예를 첨부한 도면을 참조하여 살펴본다.

본 발명에 따른 신체 부분 검출 장치를 도 1을 참조하여 설명한다.

도 1은 본 발명에 따른 신체 부분 검출 장치를 나타내는 블록도이다.

본 발명에 따른 신체 부분 검출 장치는 도 1에 나타내는 바와 같이 영상을 획득하기 위한 영상 획득부(10)와, 상기 영상 획득부(10)로부터 획득된 영상에서 사람을 검색하고 행동을 인식하기 위하여 영상을 분석하는 신체 부분 정보 검출부(20)를 포함한다.

상기에서 영상 획득부(10)로는 3차원 카메라, 스테레오 카메라, RGB-D 등의 깊이를 감지할 수 있는 공지된 카메라를 사용하고, 상기 신체 부분 정보 검출부(20)는 상기 영상 획득부(10)와 별개로 통상의 컴퓨터와 같이 연산부, 입력부(키보드, 터치패드 등), 표시부(모니터 등의 디스플레이), 연산프로그램이 기록된 메모리부 등을 구비한 별도의 연산장치를 사용하거나, 상기 영상획득부(10)인 카메라에 구비된 연산부 및 연산프로그램이 기록된 메모리부 등을 사용할 수도 있다.

그리고 신체 부분 정보 검출부(20)는 영상 획득부(10)로부터 획득된 영상 데이터에서 사람을 찾는 사람 검출부(22), 상기 사람 검출부(22)에 의하여 찾아진 사람 이미지를 추적하는 사람 추적부(24)와, 상기 사람 추적부(24)에 의하여 추적된 사람을 제외한 배경을 분리하는 배경분리부(26), 상기 배경을 분리하고 찾아진 사람 이미지에서 거리변환행렬을 적용하여 중심값(이하 연산 중심값)을 찾고 이로부터 신체정보를 적용하여 실제 중심점을 찾는 거리맵 생성부(28), 상기 거리맵 생성부로부터 찾아진 실제 중심점에서 거리맵을 형성하고 라벨링해서 신체 각 부분(팔, 다리, 머리)을 검출하고, 그에 따른 데이터를 출력하는 신체 분리부(29)를 포함하여 구성된다.

이때, 상기 사람 검출부(22)는 도 2에 나타내는 바와 같이 영상획득부(10)로부터 도 3의 깊이 영상을 획득(S110)하고, 상기 깊이영상으로부터 객체분리과정(S120)을 통하여 도 4에 나타내는 바와 같이 입체적인 물체들을 모두 분리해낸 다음, 분리된 각 객체를 샘플링(S130)을 통해 각각의 객체들로 분리하고 도 5에 나타내는 바와 같이 포인팅을 추출해 벡터화(S140)한 뒤에 도 6에 나타내는 바와 같이 오메가형상과 유사한 형상을 찾아내고(S150), 사람이 맞는지를 확인한다.

이 과정에서 사람을 찾지 못한 경우는 지속적으로 사람의 형상을 찾을 때 까지 상위공정을 반복한다(S110~S150)

그리고, 상기 거리맵 생성부(28)는 도 7에 나타내는 바와 같이 배경에서 분리된 사람의 영상(도 8)을 이용하여(S310), 거리변환행렬을 이용하여 연산 중심값을 검색(S320)하고, 사람의 머리위치를 검색한 후(S330)그 연산 중심값으로부터 x값을 고정시키고 신장*임의의 상수를 이용하여 도 9에 나타내는 바와 같이 중심값(실제 중심값)을 재조정(S340)하고 그 중심값을 이용해 도 10에 나타내는 바와 같이 새로운 거리맵을 생성(S350)한다.

이와 같이 생성된 새로운 거리맵을 이용하여, 상기 신체 분리부(29)는, 도 11에 나타내는 바와 같이 실제 중심점으로부터 임의의 거리에 있는 점들을 라벨링하고(S410), 상기 스텝 S330에서 검출한 머리값을 데이터를 불러온다(S420).

이후, 라벨링 데이터와 머리값 데이터를 이용하여 팔을 검출하고(S430), 다리를 검출하여(S440), 다리가 검출되면 도 12에 나타내는 바와 같이 모든 신체부위(팔꿈치, 무릎, 발, 손 등)을 검출하고, 다리가 검출되지 않으면 상반신 부위(손, 팔꿈치 등)만 검출(S450)하여 출력한다.

이러한 장치를 이용한 본 발명의 신체 부분 검출 방법의 실시 예를 하기에서 살펴본다.

본 발명에 따른 신체 부분 검출 방법은 신체 부분 정보 검출부가 카메라로부터 획득된 영상 데이터에서 사람을 찾은 후, 찾아진 사람 이미지에 거리변환행렬을 적용하여 연산 중심값을 찾는 과정, 상기 연산 중심값에서 실제 사람의 신체 비율을 적용하여 새로운 실제 중심점을 찾는 과정, 상기 실제 중심점에서 거리맵을 형성하고 라벨링해서 거리영역의 중심을 추출하여 신체 부분별 라인을 검출하고, 검출된 신체 부분별 라인에서 찾고자 하는 신체의 각부분인 포인트를 찾는 과정을 포함한다.

이를 도 13을 참조하여 하기에서 보다 상세하게 설명한다.

도 13은 본 발명에 따른 신체 부분 검출 방법을 수행하기 위한 순서도이다.

본 발명에 따른 신체 부분 검출 방법은 우선 신체 부분 정보 검출부가 카메라로부터 획득된 영상으로부터 순수 깊이값 즉, 카메라에서 특정물체(사람)까지의 거리값을 읽어들인다.(S401)

이때, 3차원 카메라는, 예를 들어, 물체, 인체, 동물몸체 등과 같은 움직이는 객체(즉, 동적 객체)를 촬영하여 해당 촬영된 동적 객체의 영상에 대한 깊이 값 데이터(Depth Value Data)를 생성시키고, 해당 생성된 깊이 값 데이터를 신체 부분 정보 검출부로 전달해 준다.

여기서, 3차원이란, 깊이, 넓이, 높이를 대표하는 X축, Y축, Z축 값을 포함하는 기하학적 입체나 공간을 기술(디스플레이)할 때에 사용되는데, 특히 입체 영상(Stereo Images)을 기술(표현)할 때에 사용되며, 3차원 형태로서 입체감을 의미하거나 입체 효과를 나타내는 일련의 모든 것들을 포함할 수 있다.

일 실시 예에서, 3차원 카메라는, 3차원 카메라를 통해 촬영된 동적 객체의 영상에 대한 색깔의 강도에 따라 3차원 카메라로부터 동적 객체까지의 거리를 예측하여 깊이 값 데이터로 생성할 수 있다. 이때, 3차원 카메라는, 3차원 카메라를 통해 촬영된 동적 객체의 영상에 대한 색깔 강도에 대응하는 거리를 깊이 값 데이터로 미리 설정하여 저장해 둘 수도 있다.

다른 실시 예에서, 3차원 카메라는, 동일하거나 다른 색상(또는, 명도)라 하더라도 3차원 카메라에서 동적 객체까지의 거리가 멀수록 색깔의 강도(즉, 채도(색의 선명도))가 떨어지는 원리를 이용하여, 3차원 카메라를 통해 촬영된 동적 객체의 영상에 대한 색상(또는, 명도)을 제외시키고, 단지 3차원 카메라를 통해 촬영된 동적 객체의 영상에 대한 채도에 따라 깊이 값 데이터로 생성할 수 있다. 이때, 3차원 카메라는, 3차원 카메라를 통해 촬영된 동적 객체의 영상에 대한 채도에 대응하는 깊이 값 데이터를 미리 설정하여 저장해 둘 수도 있다.

*그리고, 상기 신체 부분 정보 검출부를 구성하는 사람 검출부(22)는 획득된 영상을 위에서 밑으로 샘플링하여(S402), 고정객체(책상 등)와 동적 객체 즉 사람의 포인트를 추출하고 추출된 포인트를 벡터화한다(S403).

상기 스텝 S402에서 획득된 영상을 위에서 밑으로 샘플링하는 것은 x축 처음부터 끝까지 픽셀을 조회하면서 y축으로 픽셀단위로 하나씩 내려가면서 고정객체와 동적객체가 있는 위치 즉 포인트를 하나씩 추출하는 과정이다.

그리고, 상기 스텝 S403에서 깊이값을 이용하여 추출된 포인트를 벡터화하고, 사람의 머리와 어깨를 잇는 윤곽선 모양의 오메가 셰이프(omega shape)가 검출되는지를 판단하여, 사람이 존재하는 지를 인식한다.(S404)

이때 스텝 S404에서 오메가 셰이프와 대응되는 포인트가 검출되지 않을 경우 사람이 없는 것으로 판단하고, 스텝 S402로 귀환하여 스텝 S403 내지 스텝 S404를 반복 수행하여 새로운 영상프레임을 위에서 밑으로 샘플링하면서 깊이값을 이용하여 포인트를 추출, 백터화하고 오메가 셰이프와 비교하게된다.

그리고, 스텝 S404에서 오메가 셰이프와 대응되는 포인트가 검출되면 사람 트랙킹(tracking)을 실시하여(S405), 사람 데이터와 그 외의 배경에 해당하는 영상 데이터를 세그먼테이션(Segmentation)을 통해 분리시켜 배경 데이터는 삭제하고, 해당 중심예상점 검출부(23)로 전달하여 분리된 사람 데이터만을 이후 거리변환행렬에서 연산되도록 함으로서, 연산량이 대폭 감소되도록 한다.(S406)

이때, 이전 프레임에서 사람을 찾으면 그 영역 기준으로 현재 프레임과 깊이값을 비교해서 사람영역을 트랙킹한다.

이 후, 거리맵 생성부(28)에서는 거리변환행렬(Distance Transform)로 거리맵을 생성한 후(S407), 중심점(이하 연산 중심값이라 함)을 검색한다.(S408)

이러한 거리변환행렬을 이용하여 사람을 찾는 경우, 행동인식을 위해서는 인체 각 부분(예를 들면, 손, 발, 팔꿈치, 무릎 등)을 찾아야 하고 이와 같이 인체 각 부분을 찾기 위한 중심점은 사람의 가슴부위(명치 위)가 되는 것으로, 상기 가슴부위를 찾기 위하여 거리변환행렬을 이용한다.

그러나, 상기한 거리변환행렬을 이용하여 찾아진 연산 중심값은 인체의 실제 비율을 중심으로 검출된 것이 아니므로 실제 인체의 중심점 즉 가슴부분과 찾아진 중심예상점이 정확하게 일치하지 않을 수 있기 때문에, 찾아진 연산 중심값에 실제 사람의 신체비율을 적용하여 새로운 중심점(이하 실제 중심점이라 함)을 검색한다.(S409)

즉, 상기한 거리변환행렬을 통해서 찾아진 연산 중심값이 정확하게 사람의 가슴부위에 위치하지 않기 때문에, 도 9에 나타내는 바와 같이 찾아진 연산 중심값위치로부터 x축값은 고정하고, y축방향으로 신체 사이즈를 확인(키)한 후, 확인된 키를 기준으로 임의의 상수를 이용하여 실제 중심점(본 발명의 실시예에서는 가슴부위)을 연산하여 찾게 되는데, 통상 가슴은 사람의 머리로부터 하부로 3/10 위치가 되므로, 찾아진 키에 임의의 상수인 0.3을 곱한 위치를 중심점으로하여 찾아진 사람이미지에서 머리로부터 하부로 상기 키에 0.3을 곱한 값만큼 이동하여 실제 중심점으로 한다.

즉, 이전에 검색된 중심예상점에서 x축값을 그대로두고 y축값만을 신체 사이즈를 반영한 위치로 옮겨 중심점을 변경한다.

이때, 실제 신체 사이즈를 고려한 상수인 '0.3'은 행동인식을 위한 프로그램에 고정 상수로서 기록되어 행동 인식시마다 항상 0.3이 사용되도록 할 수도 있으나, 사람의 체형조건 예를 들면 아이와 어른, 남자와 여자 등 사람들은 그 비율이 다르므로 상기 상수를 '0.3'이 아닌 다른 임의의 상수 예를 들면 '0.4' 등을 사용할수도 있다.

또한, 상기 상수가 항상 동일한 고정상수로 적용되는 것이 아니라, 행동 인식 프로그램의 수행 중 찾아진 사람의 실제 중심점을 찾기 위한 상수를 사용자가 입력하도록 신체 부분 정보 검출부는 사용자가 확인할 수 있는 모니터 등의 표시부로 상수 입력메뉴를 표시해주어 사용자가 입력부를 통해서 상수를 입력하도록 하는 방법을 사용하여 그때 그때 다른 상수를 사용할 수도 있다.

그 예로는 행동인식대상이 되는 사람이 어른인지 아이인지를 선택하도록 메뉴를 출력하되, 어른과 아이에 따른 상수는 미리 고정하여, 입력된 데이터 즉, 어른 혹은 아이에 해당하는 데이터를 판단하여 그에 따라 해당 고정상수(예를 들면, 어른 데이터 입력시 어른에 해당하는 고정상수, 아이 데이터 입력시 아이에 해당하는 고정상수 등)를 적용하여 실제 중심점을 찾을 수 있다.

또한, 다른 예로서 사람의 신체비율은 머리와 키를 중심으로 8등신, 7등신 등으로 구분되므로 사용자가 사람의 신체비율(8등신, 7등신 등)을 미리 선택하여 입력하고, 신체 부분 정보 검출부는 상기 입력된 신체 비율을 바탕으로 찾아진 사람의 머리부분의 길이 즉 머리의 상부와 하부 길이를 측정하여, 신체비율에 대응시켜 찾아진 사람의 키를 연산하고, 기 설정된 고정상수를 상기 연산된 키에 적용하여 실제 중심점을 찾을 수도 있다.

이와 같이 머리길이를 기준으로 사람의 키를 연산하고 그에 따른 실제 중심점을 찾는 기술은, 입력된 영상에서 사람이 머리끝부터 발끝까지 모두 확인된 경우가 아니가 사람의 허리 혹은 다리부분과 같이 일정부분에서 영상이 끊길경우 나머지 부분을 연산하여 키를 추정하고자 하는경우 유용하게 사용할 수 있다. 이때, 신체비율(8등신, 7등신 등)은 사용자가 직접 입력할 수도 있지만 평균체형을 고려하여 프로그램 제작시 미리 고정시켜둘수도 있다.

그리고, 상기 상수를 고정상수로 사용하지 않는 또 다른 예로서 상수를 사용자가 선택 입력할 수 있는 메뉴를 출력하여 신체 부분 정보 검출부에서 사용자에 의하여 입력부를 통하여 입력된 상수를 찾아진 사람의 키에 적용하여 실제 중심점을 찾을 수도 있다.

이러한 상수와 연산 중심값을 이용하여 실제 중심점을 찾으면, 중심점을 연산 중심값에서 실제 중심점으로 이동한 후, 이동한 위치에서 플러딩(flooding) 방식으로 새로운 거리맵을 형성하고(S410), 해당 거리맵을 일정한 범위(예를 들면 5cm 혹은 10cm 등)로 라벨링(Labeling)해서, 거리영역의 중심을 추출하면 도 14의 흰색 점으로 표시한 사람 형상에 따른 라인을 형성하게 된다.(S411)

즉, 실제 중심점을 기준으로 사람의 몸통에 해당하는 반지름(몸통의 상하길이, 또는 몸통의 좌우길이)을 갖는 원을 그려서 찾아진 인체 형상과 만나는 부분에서 양 경계를 연결하는 선의 중심을 찾고, 이후에는 이전에 찾은 몸통에 해당하는 반지름보다 일정간격씩 더 크게 라벨링하여, 예를 들면 몸통에 해당하는 반지름보다 5cm 혹은 10cm 씩 커지도록 라벨링하여 각 범위별 인체영역의 중심을 찾는다.

이러한 라인 형성을 위한 라벨링은 몸통의 예상 반지름을 미리 알고 있는 경우에는 상기한 바와 같이 몸통부터 찾고 이후에 소정 반경씩 라벨링 할수도 있지만, 몸통의 반지름을 미리 알지 못하는 경우에는 실제 중심점으로부터 일정한 간격 5cm 혹은 10cm씩 라벨링해서 몸통을 포함하여 위와 같이 라인을 검출하게 된다.

이러한 라벨링을 통하여 찾아진 포인트들은 도 14에 나타내는 바와 같이 사람형상에 따른 5개의 라인 즉, 중심점을 기준으로 머리와 몸통을 연결하는 1개의 라인, 양팔의 2개 라인, 양다리의 2개 라인을 형성하게 된다.

이와 같이 검출된 라인을 이용하여 찾고자 하는 인체의 각종 포인트 즉, 손, 팔꿈치, 무릎, 발, 머리 등을 찾게 된다.

그 예로서, 검출된 직선 라인에 기 설정된 비율의 상수를 적용하여 인체의 각종 관절 등 찾고자 하는 포인트를 찾게 되는데, 그 예로서 사람의 팔의 경우에는 팔의 시작점 즉, 어깨에서 종료점(예를 들면 손끝, 혹은 손목 등)까지 절반위치가 팔꿈치라고 설정될 경우 찾아진 팔부분 라인의 1/2점을 찾아 즉 팔부분 라인에 상수 0.5를 곱하여 중심 즉 팔꿈치를 찾을 수 있다.

다른 예로는 찾아진 실제 중심점과 라인을 이용하여 사람을 팔과 다리를 벌리고 서있는 다빈치모형과 같이 가상으로 배치한 후 중심점으로부터 기 설정된 위치 즉 팔꿈치의 경우 중심점으로부터 6/10위치일 경우 상수 '0.6'을 적용하여 팔꿈치를 찾게 되고, 이러한 방법으로 인체부위별 포인트를 찾게 된다.(S412)

한편, 상기한 바와 같이 검출된 라인의 실제 중심점을 기준으로 한 위치 즉, 해당 라인의 시작점이 실제 중심점 위에서 시작하는 경우 팔로서 인식하고, 그 시작점이 실제 중심점의 오른쪽과 왼쪽인지에 따라서 오른팔, 왼쪽팔로 인식하며, 해당 라인의 시작점이 실제 중심점 아래에서 시작하는 경우 다리 혹은 몸통으로 인식하고, 그 시작점이 실제 중심점의 오른쪽과 왼쪽 또는 동일 또는 오차범위내인지에 따라서 오른 다리, 왼쪽 다리, 몸통으로 인식한다.

한편, 상기한 바와 같이 신체 포인트를 검출하는 과정에서 검출된 라인이 중간에 꺾여진 경우, 꺾임을 검출하여 실제 중심점으로부터 해당 라인의 위치에 따라 팔꿈치 혹은 무릎으로 판단하게 되는데, 그 예로서 해당 라인의 시작점이 중심점 위에서 시작하는 경우 팔로서 인식하고, 오른쪽과 왼쪽인지에 따라서 오른팔, 왼쪽팔로 인식하며, 이에 따라 꺾여진 부분을 팔꿈치로 인식하게 된다.

이러한 방법으로 찾아진 신체의 각 포인트 즉 어깨, 팔꿈치, 손, 머리 등은 도 12의 푸른색 점으로 나타내는 바와 같다.

상기한 바와 같이 신체의 각 부위를 검출하면 이를 이용하여 행동을 인식하고, 그에 따른 제어가 이루어지게 되는데, 이러한 제어장치를 도 15를 참조하여 한다.

상기 제어장치는 상기 영상 획득부(10)와, 신체 부분 정보 검출부(20) 및, 상기 신체 부분 정보 검출부(20)로부터 검출된 신체 포인트의 움직인 궤적을 인식하여 행동을 인식하는 행동 분석부(30), 상기 행동 인식부(30)에 의하여 검출된 사람의 행동 인식 데이터를 전송받아 행동을 인식하여 그에 따른 제어신호를 전송하는 제어부(40)와, 상기 제어부(40)로부터 전송된 동작 제어 신호에 다라 로봇 동작 제어, 게임 제어, 신규 영상 출력 등 각종 전자기기를 구동하는 구동부(50)로 구성되며, 이때 상기 제어부(40)는 신체 부분 정보 검출부(20)와 별도의 컴퓨터를 사용하거나, 상기 신체 부분 정보 검출부를 구성하는 별도의 컴퓨터 또는 카메라의 연산부를 사용할 수도 있다. 또한 구동부(50)는 컴퓨터 그래픽 처리, 게임제어 또는 로봇의 제어 등을 수행한다.

이러한 행동 인식부(30)에서 신체의 각 부위의 행동궤적을 정확하게 파악하게 되고, 이와 같이 파악된 인체의 행동궤적 즉, 행동 인식 데이터는 카메라, 게임기, 로봇 등의 전자기기의 하드웨어동작 또는 소프트웨어동작을 제어하기 위항 전자기기의 제어부(40)로 전송되어 해당 전자기기의 하드웨어와 소프트웨어를 구동시키기 위한 구동부(50)로 전달되어 카메라, 게임기, 로봇등의 제어에 사용할 수 있게 되는데 그 예를 하기에서 살펴본다.

우선, 카메라의 동작 및 이로부터 획득된 영상의 편집에 사용되는 예를 하기에서 살펴본다.

영상 획득부인 3차원 카메라를 고정설치하고, 사용자가 3차원 카메라에 구비된 디스플레이부를 보면서 원하는 배경 또는 컨텐츠를 선택하여 3차원 카메라를 셋팅한다. 이 과정에서 3차원 카메라의 동작 제어를 행동 인식을 통한 제어(이하 행동 인식 모드)를 사용할 수 있도록 셋팅한다.

이에 따라 3차원 카메라는 렌즈를 통해서 영상을 촬영하게 되고, 입력된 영상은 행동 분석부로 전송되어 사람을 검색하고, 중심예상점을 찾아 실제 신체비율에 해당하는 상수를 적용하여 실제 중심점으로 중심점을 변경한 후 라벨링 등을 통하여 신체 파트별 포인트를 찾게 되고, 이렇게 찾아진 포인트를 이용하여 사용자의 행동을 인식한다.

이러한 행동 인식 과정에서 확인된 사용자의 행동은 제어부인 3차원 카메라의 제어수단으로 전송되어 메모리에 기 설정되어 저장된 3차원 카메라 동작 제어용 제스쳐와 비교하여, 실제 사용자의 행동 인식된 제스쳐와 메모리에 기록된 제스쳐가 동일할 경우 구동부로 해당 제스쳐별로 기 설정된 동작을 수행하도록 동작제어신호를 출력하게 된다.

그 예로서, 카메라에 동영상을 촬영하기 위한 제스쳐로 팔을 앞으로 뻗어 원으로 회전하는 것을 메모리에 기록한 경우, 상기 카메라의 제어수단은 행동 분석부로부터 전송된 피사체인 사용자의 제스쳐가 팔을 앞으로 뻗어 원으로 회전할 경우 동영상을 촬영하게 되고, 동영상 촬영 정지에 해당하는 제스쳐가 행동분석부로부터 전송되는 경우 동영상 촬영을 정지하게 된다.

그리고, 이렇게 촬영 후, 촬영된 동영상 중 사용자를 다른 배경영상에 결합하고자 하는 경우에도, 사용자는 제스쳐를 이용하여 배경 또는 콘텐츠를 선택할 수 있게 되고, 상기 행동 분석과정에서 사람과 배경을 분리하여 배경을 제거하였으므로, 제어수단은 이를 전달받아 피사체인 사용자와 선택한 다른 배경 또는 콘텐츠를 결합하여 새로운 영상으로 출력하며, 이러한 편집 과정 역시 제스쳐로서 실시할 수 있게 된다.

그리고, 상기 3차원 카메라에는 제스쳐를 이용한 구동 제어외에 3차원 카메라에 구비된 입력수단(터치패널, 캐패드 등)을 사용하는 통상적인 방법도 함께 사용할 수도 있다.

그리고, 상기한 본 발명의 행동인식은 게임제어에 사용될 수도 있으며, 이 경우 영상 획득부인 카메라가 사용자를 촬영하여 신체 부분 정보 검출부에서 행동을 위와 같은 방법으로 인식하게 되면, 제어부인 게임기의 제어수단은 게임을 수행하는 사용자의 행동인식된 움직임을 구동부인 영상편집부로 전송하여 출력되는 게임 캐릭터와 결합시켜, 게임 캐릭터가 사용자의 행동을 실시간으로 그대로 따라서 수행하도록 하고 이를 디스플레이에 출력해주게 된다.

아울러, 상기한 게임기의 동작 즉, 게임시작, 종료 등의 동작제어 역시 행동 인식을 통해서 수행할 수 있다.

그리고, 다른 예로서 촬영배경을 블루스크린으로 하여 영상획득부인 3차원 카메라로 촬영한 후, 신체 부분 정보 검출부에서 획득된 영상으로부터 사람을 찾아 그 행동을 인식하여 이를 컴퓨터그래픽 수행용 컴퓨터의 제어부로 전송하면, 상기 제어부는 구동부인 영상편집부로 전달된 행동 인식 데이터를 전송하여 별도의 배경화면과 결합하여 새로운 영상물로 출력하게 된다.

아울러, 상기한 바와 같이 인식된 사람의 행동 인식 데이터는 로봇의 제어부로 전송되고, 로봇의 제어부는 입력되는 행동 인식 데이터와 로봇의 움직임을 동기시키도록 로봇을 구성하는 각종 모터 등의 구동부로 동작 제어 신호를 전송하여, 로봇이 사람의 행동과 동일하게 움직이도록 한다. 또 다른 예로서 행동 인식 데이터를 로봇의 움직임외에 각종 동작 제어명령으로 사용할 수도 있다.

Claims

신체 부분 정보 검출부가 획득된 영상에서 사람을 찾은 후, 찾아진 사람 이미지에 거리변환행렬을 적용하여 인체 각 부분을 찾기 위한 중심점인 사람의 가슴부위에 해당하는 중심값(이하 연산 중심값이라 함)을 찾는 과정,

상기 신체 부분 정보 검출부가 사람의 머리위치를 검색한 후, 해당 찾아진 사람의 신장에 임의의 상수를 곱한 위치로, 상기 찾아진 연산 중심값의 x값을 그대로 두고, y값만 변경시켜 새로운 실제 중심점을 찾되,

상기 임의의 상수는 실제 사람의 신장을 기준으로 머리부터 가슴부위까지의 y값의 거리 비율인 것을 특징으로 하는 신체 부분 검출 방법.
제 1항에 있어서, 상기 신체 부분 검출 방법은 신체 부분 정보 검출부가 실제 중심점에서 다시 거리맵을 형성하고 라벨링해서 신체파트별 포인트를 찾는 과정을 더 포함하는 것을 특징으로 하는 신체 부분 검출 방법.
제 1항에 있어서, 영상 획득된 이미지는 3차원 카메라를 통해서 획득된 이미지이며, 사람을 찾는 것은 신체 부분 정보 검출부가 3차원 카메라로부터 획득된 영상에서 순수 깊이값을 기준으로 샘플링하면서 포인트를 추출하고, 추출된 포인트에 벡터를 만들어 오메가 셰이프(omega shape)와 비교하여 사람을 찾는 것을 특징으로 하는 신체 부분 검출 방법.
제 3항에 있어서, 신체 부분 정보 검출부는 이전 프레임에서 사람을 찾으면 그 영역 기준으로 현재 프레임과 깊이값을 비교해서 사람영역을 트랙킹하고, 사람 이외에 배경은 제거하는 것을 특징으로 하는 신체 부분 검출 방법.
제 1항에 있어서, 상기 임의의 상수는 기 설정된 고정 상수이거나, 사람의 실제 중심점을 찾는 과정에서 입력수단을 통해서 입력되는 상수 중에서 택일되는 것을 특징으로 하는 신체 부분 검출 방법.
영상을 획득하기 위한 영상 획득부(10)와, 상기 영상 획득부(10)로부터 획득된 영상에서 사람을 검색하고 행동을 인식하기 위하여 영상을 분석하는 신체 부분 정보 검출부(20)로 구성되며,

상기 신체 부분 정보 검출부(20)는 영상 획득부(10)로부터 획득된 영상 데이터에서 사람을 찾고 해당 사람의 머리위치를 검색하는 사람 검출부(22), 상기 사람 검출부(22)에 의하여 찾아진 사람 이미지에 거리변환행렬을 적용하여 인체 각 부분을 찾기 위한 중심점인 사람의 가슴부위에 해당하는 중심값(이하 연산 중심값이라 함)을 찾는 연산 중심값 검출부(23), 상기 사람 검출부(22)에 의하여 찾아진 사람의 신장에 임의의 상수를 곱한 위치로 상기 연산 중심값의 x값은 그대로 두고, y값만 변경시켜 새로운 실제 중심점을 찾는 실제 중심점 검출부(24), 상기 실제 중심점 검출부(24)에서 찾아진 실제 중심점에서 거리맵을 형성하고 라벨링해서 거리영역의 중심을 추출하여 팔라인, 다리라인, 머리라인, 몸통라인 중에서 택일된 하나 이상을 포함하는 신체 부분별 라인을 검출하는 라인 검출부(26), 상기 라인 검출부(26)를 통하여 검출된 신체 부분별 라인에서 찾고자 하는 신체 포인트를 찾는 신체포인트 검출부(28)를 포함하여 구성되고,

상기 임의의 상수는 실제 사람의 신장을 기준으로 머리부터 가슴부위까지의 y값의 거리 비율인 것을 특징으로 하는 행동 인식 장치.