KR20160044316A

KR20160044316A - 깊이 정보 기반 사람 추적 장치 및 그 방법

Info

Publication number: KR20160044316A
Application number: KR1020140139183A
Authority: KR
Inventors: 박성기; 김동환; 김찬수; 최종호; 송동희
Original assignee: 한국과학기술연구원
Priority date: 2014-10-15
Filing date: 2014-10-15
Publication date: 2016-04-25
Also published as: KR101635896B1

Abstract

본 발명에 따른 깊이 정보 기반 사람 추적 방법은 깊이 정보 기반 사람 추적 장치에 의한 사람 추적 방법에 있어서, (a) 깊이 정보 기반 사람 추적 장치의 영상 획득부가 연속된 프레임의 깊이 영상과 RGB 영상을 획득하는 단계; (b) 정보 기반 사람 추적 장치의 주제어부가 깊이 영상과 RGB 영상을 각각 사람 검출부와 사람 추적부로 전달하는 단계; (c) 사람 검출부가 깊이 영상을 이용해 깊이 영상 속 움직임을 감지하여 사람을 검출하는 단계; 및 (d) 사람 추적부가 (c)단계 에서 검출한 사람 정보를 RGB영상을 이용해 추적하는 단계;를 포함하여 사람의 움직임과 고유 특징을 반영하여 소수의 접근 방식 기반의 강인한 예측을 가능하게 하고 추적의 처리시간이 단축할 수 있는 효과가 있다.

Description

깊이 정보 기반 사람 추적 장치 및 그 방법{DEVICE AND METHOD FOR TRACKING PEOPLE BASED DEPTH INFORMATION}

본 발명은 깊이 정보 기반 사람 추적 장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 입력 영상으로부터 정보를 이용하여 사람을 추적하고자 하는 경우에 사람 검출 기반의 강인한 예측과 갱신을 반영하여 실시간으로 정확하게 다수의 사람 추적이 가능한 깊이 정보 기반 사람 추적 장치 및 그 방법에 관한 것이다.

종래의 사람 검출 및 추적 기술은 움직임을 기반한 전경과 배경의 차영상 기법, 사람 고유 특징 모델 기반의 유사한 인간 영역을 찾는 방법 그리고 국부적인 시공간 경사와 속도 관계를 고려한 광유(Optical flow)를 특징으로 움직임을 추적하는 방식이여서 이러한 종래의 방식들은 차원적인 영상 공간상에서 객체의 차폐가 발생할 경우 검출과 추적의 정확도가 급격히 떨어지는 경우가 발생하였다하지만 카메라로부터의 깊이 거리정보를 이용하면 영상 객체의 분리전경과 배경의 구분영상 객체들의 겹침 등과 같이 차원 정보만으로는 판단이 힘든 부분 까지 효율적인 처리가 가능하다하지만 이러한 종래의 깊이 정보를 이용하는 방법은 차원 정보만을 이용하는 방법보다 주변 환경에 덜 민감하고 정확도 높은 장점이 있지만 연산량이매우 방대해져 실시간으로 움직이는 영상 객체를 검출하고 추적하는 데는 한계가 있다.

또한 깊이 정보가 유사한 객체들에 대해서는 사람과 같은 움직임 객체 뿐만 아니라 사람과 닿아 있는 사물까지 함께 움직임 객체로 검출되는 문제점 있다.

따라서, 깊이의 유사성에 의한 검출 오류가 없고 실시간으로 움직임 객체를 검출하여 추적 할 수 있는 움직임 객체 검출 및 추적 방법의 요구가 있다.

대한민국 등록특허공보 제10-0911121호(2009.07.31)

따라서, 본 발명은 상술한 문제점을 해결하기 위하여 입력 영상으로부터 정보를 이용하여 사람을 추적하고자 하는 경우에 사람 검출 기반의 강인한 예측과 갱신을 반영하여 실시간으로 정확하게 다수의 사람 추적이 가능한 깊이 정보 기반 사람 추적 장치 및 그 방법을 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한, 본 발명에 따른 깊이 정보 기반 사람 추적 방법은 깊이 정보 기반 사람 추적 장치에 의한 사람 추적 방법에 있어서, (a) 깊이 정보 기반 사람 추적 장치의 영상 획득부가 연속된 프레임의 깊이 영상과 RGB 영상을 획득하는 단계; (b) 정보 기반 사람 추적 장치의 주제어부가 깊이 영상과 RGB 영상을 각각 사람 검출부와 사람 추적부로 전달하는 단계; (c) 사람 검출부가 깊이 영상을 이용해 깊이 영상 속 움직임을 감지하여 사람을 검출하는 단계; 및 (d) 사람 추적부가 (c)단계 에서 검출한 사람 정보를 RGB영상을 이용해 추적하는 단계;를 포함하는 것을 특징으로 한다.

바람직하게, 상술한 목적을 달성하기 위한, 본 발명에 따른 깊이 정보 기반 사람 추적 방법의 (c)단계는 (c-1) 사람 검출부의 배경 제거부가 주 제어부로부터 수신한 깊이 정보를 가진 연속적이 영상의 배경을 제거하고, 움직임 객체를 감지하는 단계; (c-2) 사람 검출부의 블랍 생성부가 배경이 제거된 전경에서 움직임이 감지된 객체를 적어도 1개 이상의 픽셀 단위로 구성된 가로길이와 세로길이를 갖는 직사각형태의 복수의 블랍을 생성하여 번호를 부여하는 단계; (c-3) 사람 검출부의 블랍 선택부가 (c-2)단계에서 생성된 모든 후보 블랍들 중, 픽셀의 움직임이 작은 블랍을 제거하고 픽셀의 움직임이 큰 블랍을 선별하여 선택하는 단계; (c-4) 사람 검출부의 헤드챔퍼 모델 생성부가 블랍 선택부에 의해 선택된 블랍들을 대상으로 깊이 단계별 헤드-템플릿(Template)과 깊이 기반 엣지 영상간의 차이 값을 이용하여 헤드 값을 추출하여 헤드 챔퍼 모델 생성하는 단계; 및 (c-5) 사람 검출부의 헤드 감지부가 블랍 내에서 추출된 헤드 값을 가지고 사람의 헤드를 감지하여 사람을 검출하는 단계;를 포함하는 것을 특징으로 한다.

바람직하게, 상술한 목적을 달성하기 위한, 본 발명에 따른 깊이 정보 기반 사람 추적 방법의 (d)단계는 (d-1) 사람 추적부의 파티클 필터가 연속된 프레임의 깊이 영상과 RGB 영상에 대한 평균을 기준으로 객체 움직임(motion)의 궤적을 기반으로 중심점 이동, 움직임 정도에 따라 탐색영역 크기를 설정하여 사람 검출부에 제공하는 단계; (d-2) 사람 추적부의 컨피던스 맵 생성부가 (c-1)단계에서 배경이 제거된후 추출된 이진의 전경과 (c-4)단계에서 추출된 헤드 챔퍼 모델을 통합하여 컨피던스 맵을 생성하는 단계; (d-3) 파티클 필터가 컨피던스 맵과 RGB 영상을 입력받아 색상, 밝기, 및 LBP(Local Binary Pattern) 기반의 히스토그램을 이용하여 사람을 추적하는 단계; (d-4) 사람 추적부의 에러 추적 제거부가 (d-3)단계에서 추적에 따른 객체의 움직임이 적어 사람이 아닌 경우를 검지하고 부적합한 추적으로 판단하여 추적 객체를 제거하는 단계; 및 (d-5) 사람 추적부의 추적 업데이트부가 (d-4)단계에서 추적 객체가 제거된 경우, 사람 검출부로부터 사람 머리 검출정보를 제공받아 새로운 추적 객체을 생성하거나 보정함으로써 추적 객체를 업데이트(갱신) 하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 따른 깊이 정보 기반 사람 추적 장치 및 그 방법은 사람의 움직임과 고유 특징을 반영하여 소수의 접근 방식 기반의 강인한 예측을 가능하게 하고 추적의 처리시간이 단축할 수 있는 효과가 있다.

또한, 본 발명에 따른 깊이 정보 기반 사람 추적 장치 및 그 방법은 사람의 검출 정보를 반영하여 균일한 밝기색을 갖는 객체의 고유 특징을 얻기 어려운 환경에서도 추적이 강인한 효과가 있다.

또한, 본 발명에 따른 깊이 정보 기반 사람 추적 장치 및 그 방법은 움직임이 적고 사람이 아닌 경우를 부적합한 추적으로 판단하여 오추적(False positive)제거성능 향상효과가 있고, 사람의 검출 정보가 없을 시 특징 정보 기반의 추적 갱신을 통한 미추적 현상 보완할 수 있는 효과가 있다.

도 1은 본 발명에 따른 깊이 정보 기반 사람 추적 장치의 블록도,
도 2는 움직인 객체를 설명하기 위한 도면,
도 3은 깊이 단계별 헤드 템플릿을 통해 헤드 값 추출을 설명하기 위한 도면,
도 4는 탐색 영역을 재설정한 과정을 도시한 도면,
도 5는 헤드 매칭 값과 전경의 연산으로 생성된 임피던스 맵을 도시한 도면,
도 6은 컨피던스 맵의 표준화가 이루어지는 과정을 설명하기 위한 도면,
도 7은 깊이 정보 기반 사람 추적 방법의 흐름도,
도 8는 사람 검출 방법의 흐름도,
도 9는 사람 추적 방법의 흐름도, 및
도 10은 추적객체 갱신 방법의 흐름도 이다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 깊이 정보 기반 사람 추적 장치의 블록도 이다.

도 1에 도시된 바와 같이, 깊이 정보 기반 사람 추적 장치는 영상 획득부(100), 주제어부(200), 사람 검출부(300), 사람 추적부(400) 및 저장부(500)를 포함한다.

상기 영상 획득부(100)는 CCTV와 같은 영상 카메라 등을 포함하는 장치로서, 2D 영상과 깊이 정보를 갖는 3D 영상 즉 깊이영상을 획득한다.

상기 깊이 정보는 상기 영상 획득부(200)의 깊이 카메라에 의해 획득된 정보로써, 영상의 각 픽셀이 상기 깊이 카메라와 거리에 따라 일정한 깊이 값을 갖는다.

상기 주제어부(200)는 상기 영상 획득부(100)에서 획득한 영상정보를 수신하여 상기 저장부(500)에 저장하고, 상기 사람 검출부(300)와 상기 사람 추적부(400)에 전달한다.

상기 사람 검출부(300)는 배경 제거부(310), 블랍(BLOB)생성부(320), 블랍 선택부(330), 헤드 챔퍼 모델 생성부(340) 및 헤드 감지부(350)을 포함한다.

상기 배경 제거부(310)는 움직인 객체를 설명하기 위한 도 2에 도시된 바와 같이, 상기 주제어부(200)로부터 수신한 깊이 정보를 가진 연속적인 깊이 영상의 배경을 제거하고, 전경만을 추출하여 1초 이상의 이전에 수신한 영상과의 비교를 통해 움직임 객체를 감지한다.

이후, 상기 블랍 생성부(320)는 상기 배경 제거부(210)에서 배경이 제거된 전경에서 움직임이 감지된 객체를 적어도 1개 이상의 픽셀 단위로 구성된 복수의 블랍을 생성하되, 해당 복수의 블락에 번호를 부여한다.

상기 블랍 선택부(330)는 상기 블랍 생성부(320)에서 번호가 부여되어 생성된 모든 후보 블랍들 중, 픽셀의 움직임이 작은 불량 블랍을 제거하고, 픽셀의 움직임이 큰 블락만을 선택한다.

상기 헤드 챔퍼 모델 생성부(340)는 상기 블랍 선택부(330)가 선택한 블랍들 중에서 사람 머리 형태와 흡사한 부분에 대하여 색깔을 달리하거나 점수를 매겨 헤드 챔퍼 모델 생성한다.

즉, 상기 헤드 챔퍼 모델 생성부(340)는 도 3(a)에 도시된 깊이 단계별 헤드(Head)-템플릿과 도 3(b)에 도시된 깊이 기반의 엣지(Edge)영상 간의 차이 값을 이용하여 헤드 값(Head cost)을 추출함으로써 헤드 챔퍼 모델을 생성한다.

상기 헤드 감지부(350)는 상기 헤드 챔퍼 모델 생성부(340)가 전경 블랍 내에서 추출한 헤드 값을 가지고 사람의 헤드를 감지한다.

상기 사람 추적부(400)는 상기 사람 검출부(300)에서 사람의 헤드를 감지하여 검출된 사람을 추적한다.

보다 구체적으로, 상기 사람 추적부(400)는 파티클 필터(410), 컨피던스 맵 생성부(420), 에러 추적 제거부(430), 및 추적 업데이트부(440)를 포함한다.

상기 파티클 필터(410)는 도 4(a)에 도시된 바와 같이 상기 영상 획득부(100)에서 입력되는 연속된 프레임 영상의 기준 이동량을 고려하여 점선으로 탐색 영역을 설정하고 그 크기를 조정하여, 상기 헤드 챔퍼 모델 생성부(340)로 전달한다.

보다 구체적으로 상기 파티클 필터(410)는 상기 연속된 프레임에 대한 평균을 기준으로 객체 움직임(motion)의 궤적을 기반으로 중심점 이동, 움직임 정도에 따라 탐색영역 크기를 설정한다.

즉, 상기 탐색영역 크기는 객체 박스 크기에 단계별 적응적 가중치를 곱해 설정한다.

참고로, 상기 적응적 가중치는 아래의 표에 기재된 바와 같이, 움직임량이 5픽셀 이하인 경우 적응적 가중치는 1.0으로 상기 탐색영역 크기에 변화를 주지 못하고, 움직임량이 9픽셀 이하인 경우 적응적 가중치는 1.2으로 상기 탐색영역 크기가 20%확대되며, 움직임량이 15픽셀 이하인 경우 적응적 가중치는 1.4로 상기 탐색영역 크기가 40%로 확대된다.

단계	움직임량	적응적 가중치
1	≤5pixel	1.0
2	≤9pixel	1.2
3	≤15pixel	1.4

한편, 상기 중심점 이동은 연속된 프레임을 기준으로 좌표 변화의 평균만큼의 이동을 의미한다.

상기 컨피던스 맵 생성부(420)는 도 4(b)에 도시된 바와 같이 탐색 영역내의 상기 헤드 값과 배경이 제거된 이진의 전경을 통합하여 컨피던스 맵을 생성한다.

즉, 상기 컨피던스 맵 생성부(420)는 깊이 기반의 형상 모델과 움직임 모델의 통합을 통해 컨피던스 맵을 생성한다.

보다 구체적으로, 상기 컨피던스 맵 생성부(420)은 도 5에 도시된 바와 같이 헤드 매칭 값(Head Matching Cost)과 배경이 제거된 전경 범위의 값과의 통합으로 생성되는데, 상기 헤드 매칭 값은 0.0 내지 1.0 범위의 값이고, 상기 이진 전경 값은 0.0과 1.0의 값을 가지는 마방진 형태의 맵이다.

이때, 상기 주제어부(200)는 상기 컨피던스 맵 생성부(420)로부터 컨피던스 맵을 전달받고, 도 4(c)에 도시된 바와 같이 탐색 영역의 중심점을 기준으로 상기 컨피던스 맵을 표준화하여 픽셀이 아닌 마스크 기준으로 가장 높은 컨피던스 값을 갖는 중심점을 탐색하되, 상기 컨피던스 값이 임계치 보다 작은 경우 상기 탐색영역을 확대하고, 반대로 상기 컨피던스 값이 임계치 보다 큰 경우 상기 탐색영역을 축소하여 상기 탐색 영역을 재설정한다.

한편, 상기 주제어부(200)에 의한 컨피던스 맵의 표준화는 도 6에 도시된 바와 같이, 탐색영역의 중심(움직임 궤적을 기반으로 평가된 위치)을 기준으로 컨피던스 맵의 표준화가 이루어지는데, 상기 표준화는 컨피던스 맵에 중심에서 현재위치까지의 거리를 곱함으로써 이루어진다.

상기 에러 추적 제거부(430)는 움직임이 적어 사람이 아닌 경우를 검지하고 부적합한 추적으로 판단하여 추적 객체를 제거한다.

상기 추적 업데이트부(440)는 상기 에러 추적 제거부(430)에서 추적 객체가 제거됨에 따라 상기 사람 검출부(300)로부터 사람 머리 검출정보를 이용하여 새로운 추적 객체를 생성하거나 보정함으로써 추적 객체를 업데이트 한다.

이하에서, 상술한 본 발명에 따른 깊이 정보 기반 사람 추적 장치의 구성에 의한 깊이 정보 기반 사람 추적 방법에 대하여 도 7을 참조하여 상세히 설명한다.

도 7에 도시된 바와 같이, 본 발명에 따른 깊이 정보 기반 사람 추적 장치의 영상 획득부(100)가 깊이 영상과 RGB 영상을 획득하는 단계를 수행한다(S100).

이후, 본 발명에 따른 깊이 정보 기반 사람 추적 장치의 주제어부(200)가 상기 깊이 영상과 RGB 영상을 각각 사람 검출부(300)와 사람 추적부(400)로 전달하는 단계를 수행한다(S200).

상기 사람 검출부(300)는 상기 깊이 영상을 이용해 상기 깊이 영상 속 움직임을 감지하여 사람을 검출하는 단계를 수행한다(S300).

그리고, 상기 사람 추적부(400)는 상기 `S300`에서 검출한 사람을 상기 RGB영상을 이용해 추적하는 단계를 수행한다(S400).

한편, 깊이 영상을 통해 움직임을 감지하여 사람을 검출하여 방법에 대하여 도 8를 참조하여 상세히 설명한다.

도 8에 도시된 바와 같이, 상기 배경 제거부(310)는 상기 주제어부(200)로부터 수신한 깊이 정보를 가진 연속적인 영상의 배경을 제거한 후, 전경만을 추출하고 이전에 수신한 영상과의 비교하여 픽셀 변화를 통해 움직임 객체를 감지하는 단계를 수행한다(S310).

상기 블랍 생성부(320)는 상기 배경 제거부(210)에서 배경이 제거된 전경에서 움직임이 감지된 객체를 적어도 1개 이상의 픽셀 단위로 구성된 가로길이와 세로길이를 갖는 직사각형태의 복수의 블랍을 생성하되, 해당 복수의 블락에 번호를 부여하는 단계를 수행한다(S320).

이후, 상기 블랍 선택부(330)는 상기 블랍 생성부(320)에서 번호가 부여되어 생성된 모든 후보 블랍들 중, 픽셀의 움직임이 작은 불량의 블랍을 제거하고, 픽셀의 움직임이 큰 양호한 블락만을 선별하여 선택하는 단계를 수행한다(S330).

한편, 상기 헤드챔퍼 모델 생성부(340)는 상기 블랍 선택부(330)에 의해 선택된 블랍들 중에서 사람 머리 형태와 흡사한 부분에 대하여 색깔을 달리하거나 점수를 매긴 헤드 챔퍼 모델 생성하는 단계를 수행한다(S340).

보다 구체적으로, 상기 헤드챔퍼 모델 생성부(340)는 깊이 단계별 헤드-템플릿과 깊이 기반 엣지 영상간의 차이 값을 이용하여 헤드 값을 추출함으로써 헤드 챔퍼 모델을 생성하는데, 상기 헤드 챔퍼 모델은 도 5에 도시된 바와 같이 각 영역의 블랍영상과 헤드와의 매칭 정도를 수치로 나탄낸 마방진 형태의 모델이다.

이때, 상기 헤드챔퍼 모델 생성부(340)는 상기 사람 추적부(400)에서 설정하여 제공하는 탐색영역 내에서 헤드 챔퍼 모델을 생성한다.

상기 헤드 감지부(350)는 상기 헤드 챔퍼 모델 생성부(340)가 전경 블랍 내에서 추출한 헤드 값을 가지고 사람의 헤드를 감지하여 사람을 검출하는 단계를 수행한다(S350).

한편, 깊이 영상과 RGB 영상을 사람을 추적하는 방법에 대하여 도 9을 참조하여 상세히 설명한다.

상기 파티클 필터(410)는 상기 연속된 프레임에 대한 평균을 기준으로 객체 움직임(motion)의 궤적을 기반으로 중심점 이동, 움직임 정도에 따라 탐색영역 크기를 설정하여 상기 사람 검출부에 제공하는 단계를 수행한다(S410).

상기 컨피던스 맵 생성부(420)는 도 5에 도시된 바와 같이 상기 `S310`단계 이후 추출된 이진의 전경과 상기 `S340`단계에서 생성된 헤드 챔퍼 모델을 통합하여 마방진 형태의 컨피던스 맵을 생성하는 단계를 수행한다(S420)

이후, 상기 파티클 필터(410)는 상기 컨피던스 맵과 상기 영상 획득부(100)에서 입력되는 RGB 영상을 입력받아 색상, 밝기, 및 LBP(Local Binary Pattern) 기반의 히스토그램을 이용하여 사람을 추적하는 단계를 수행한다(S430).

상기 에러 추적 제거부(430)는 움직임이 적어 사람이 아닌 경우를 검지하고 부적합한 추적으로 판단하여 추적 객체를 제거하는 단계를 수행한다(S440).

상기 추적 업데이트부(440)는 상기 에러 추적 제거부(430)에서 추적 객체가 제거되면, 상기 사람 검출부(300)로부터 사람 머리 검출정보를 제공받아 새로운 추적 객체을 생성하거나 보정함으로써 추적 객체를 업데이트(갱신) 하는 단계를 수행한다(S450).

상기 `S450`단계에 대하여 도10을 참조하여 보다 상세히 설명하면, 상기 추적 업데이트부(440)는 상기 사람 검출부(300)로부터 하나 이상의 블랍을 전달받는 단계(S451)를 수행한 후, 해당 블랍내 헤드 기반 새로운 블랍을 생성하는 단계를 수행한다(S452).

이후, 상기 추적 업데이트부(440)는 새로운 블랍 내에 객체가 있는지 판단하여(S453), 객체가 없는 경우 마지막 새로운 블랍인지 판단하는 단계로 이동하고, 객체가 있는 경우 새로운 블랍과 상기 객체간의 중첩도를 계산하는 단계를 수행한다(S454).

상기 추적 업데이트부(440)는 중첩이 있는 경우 추정후보로 판단하고, 해당 추정후보 정보로 추정후보 등록을 수행한다(S455).

동시에 상기 추적 업데이트부(440)는 마지막 객체인지 판단하고, 마지막 객체가 아닌 경우 새로운 블랍과 중첩도를 계산하는 상기 `S454`단계 이후의 단계를 반복 수행하고, 마지막 객체인 경우 다음으로 마지막 새로운 블랍인지 판단하고, 마지막 새로운 블랍이 아닌 경우 객체 존재여부를 판단하는 상기 `S453`단계 이후의 단계를 반복 수행하고, 마지막 새로운 블랍인 경우 마지막 블랍 인지 판단하고, 마지막 블랍이 아닌 경우 블랍을 전달받는 상기 `S451` 단계 이후의 단계를 반복 수행하며, 마지막 블랍인 경우 추적 객체를 업데이트(갱신)를 종료하는 단계를 수행한다(S456).

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 하기에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

100 : 영상 획득부
200 : 주제어부
300 : 사람 검출부
310 : 배경 제거부
320 : 블랍(BLOB)생성부
330 : 블랍 선택부
340 : 헤드 챔퍼 모델 생성부
350 : 헤드 감지부
400 : 사람 추적부
410 : 파티클 필터
420 :컨피던스 맵 생성부
430 : 에러 추적 제거부
440 : 추적 업데이트부
500 : 저장부

Claims

깊이 정보 기반 사람 추적 장치에 의한 사람 추적 방법에 있어서,
(a)상기 깊이 정보 기반 사람 추적 장치의 영상 획득부(100)가 연속된 프레임의 깊이 영상과 RGB 영상을 획득하는 단계;
(b) 상기 정보 기반 사람 추적 장치의 주제어부(200)가 상기 깊이 영상과 RGB 영상을 각각 사람 검출부(300)와 사람 추적부(400)로 전달하는 단계;
(c) 상기 사람 검출부(300)가 상기 깊이 영상을 이용해 상기 깊이 영상 속 움직임을 감지하여 사람을 검출하는 단계; 및
(d) 상기 사람 추적부(400)가 상기 (c)단계 에서 검출한 사람 정보를 상기 RGB영상을 이용해 추적하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.
제 1항에 있어서,
상기 (c)단계는
(c-1) 상기 사람 검출부(300)의 배경 제거부(310)가 상기 주 제어부(200)로부터 수신한 깊이 정보를 가진 연속적이 영상의 배경을 제거하고, 움직임 객체를 감지하는 단계;
(c-2) 상기 사람 검출부(300)의 블랍 생성부(320)가 배경이 제거된 전경에서 움직임이 감지된 객체를 적어도 1개 이상의 픽셀 단위로 구성된 가로길이와 세로길이를 갖는 직사각형태의 복수의 블랍을 생성하여 번호를 부여하는 단계;
(c-3) 상기 사람 검출부(300)의 블랍 선택부(330)가 상기 (c-2)단계에서 생성된 모든 후보 블랍들 중, 픽셀의 움직임이 작은 블랍을 제거하고 픽셀의 움직임이 큰 블랍을 선별하여 선택하는 단계;
(c-4) 상기 사람 검출부(300)의 헤드챔퍼 모델 생성부(340)가 상기 블랍 선택부(330)에 의해 선택된 블랍들을 대상으로 깊이 단계별 헤드-템플릿(Template)과 깊이 기반 엣지 영상간의 차이 값을 이용하여 헤드 값을 추출하여 헤드 챔퍼 모델 생성하는 단계; 및
(c-5) 상기 사람 검출부(300)의 헤드 감지부(350)가 상기 블랍 내에서 추출된 상기 헤드 값을 가지고 사람의 헤드를 감지하여 사람을 검출하는 단계;를 포함하는 깊이 정보 기반 사람 추적 방법.
제 2항에 있어서,
상기 (c-1)단계에서
상기 배경 제거부(310)는 배경이 제거된 전경과 이전에 수신한 영상의 전경을 비교하여 픽셀 변화를 통해 움직임 객체를 감지하는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.
제 2항에 있어서,
상기 (d)단계는
(d-1) 상기 사람 추적부(400)의 파티클 필터(410)가 상기 연속된 프레임의 깊이 영상과 RGB 영상에 대한 평균을 기준으로 객체 움직임(motion)의 궤적을 기반으로 중심점 이동, 움직임 정도에 따라 탐색영역 크기를 설정하여 상기 사람 검출부(300)에 제공하는 단계;
(d-2) 상기 사람 추적부(400)의 컨피던스 맵 생성부(420)가 상기 (c-1)단계에서 배경이 제거된후 추출된 이진의 전경과 상기 (c-4)단계에서 추출된 상기 헤드 챔퍼 모델을 통합하여 컨피던스 맵을 생성하는 단계;
(d-3) 상기 파티클 필터(410)가 상기 컨피던스 맵과 상기 RGB 영상을 입력받아 색상, 밝기, 및 LBP(Local Binary Pattern) 기반의 히스토그램을 이용하여 사람을 추적하는 단계;
(d-4) 상기 사람 추적부(400)의 에러 추적 제거부(430)가 상기 (d-3)단계에서 추적에 따른 객체의 움직임이 적어 사람이 아닌 경우를 검지하고 부적합한 추적으로 판단하여 추적 객체를 제거하는 단계; 및
(d-5) 상기 사람 추적부(400)의 추적 업데이트부(430)가 상기 (d-4)단계에서 추적 객체가 제거된 경우, 상기 사람 검출부(300)로부터 사람 머리 검출정보를 제공받아 새로운 추적 객체을 생성하거나 보정함으로써 추적 객체를 업데이트(갱신) 하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.
제 2항에 있어서,
상기 (c-4)단계에서
상기 헤드 챔퍼 모델 생성시, 상기 사람 검출부(300)는 상기 사람 추적부(400)로부터 탐색영역을 상기 사람 추적부(400)로부터 전달 받는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.
제 4항에 있어서,
상기 (d-5)단계는
(d-5-1) 상기 추적 업데이트부(440)가 상기 사람 검출부(300)로부터 하나 이상의 블랍을 전달받는 단계;
(d-5-2) 상기 추적 업데이트부(440)가 상기 블랍내 헤드 기반 복수의 새로운 블랍을 생성하는 단계;
(d-5-3) 상기 추적 업데이트부(440)가 상기 새로운 블랍 내에 객체가 있는지 판단하는 단계;
(d-5-4) 상기 추적 업데이트부(440)가 상기 (d-5-2)단계에서의 판단에 따라 객체가 있는 경우 새로운 블랍과 상기 객체간의 중첩도를 계산하는 단계;
(d-5-5) 상기 추적 업데이트부(440)가 상기 (d-5-4)단계에서 계산된 중첩도에 따라 중첩이 있는 경우 추정후보로 판단하고, 해당 추정후보 정보로 추정후보 등록하는 단계;
(d-5-6) 상기 추적 업데이트부(440)가 상기 (d-5-3)에서 판단한 객체존재 여부에 따른 마지막 객체인지 판단하고, 마지막 객체가 아닌 경우 새로운 블랍과 중첩도를 계산하는 상기 (d-5-4)단계 이후의 단계를 반복 수행하는 단계;
(d-5-7) 상기 추적 업데이트부(440)가 상기 (d-5-6)단계에서의 판단에 따라 마지막 객체인 경우, 마지막 새로운 블랍인지 판단하고, 마지막 새로운 블랍이 아닌 경우 객체 존재여부를 판단하는 상기 (d-5-3)단계 이후의 단계를 반복 수행하는 단계;
(d-5-8) 상기 추적 업데이트부(440)가 상기 (d-5-7)단계에서의 판단에 따라 마지막 새로운 블랍인 경우 마지막 블랍 인지 판단하고, 마지막 블랍이 아닌 경우 블랍을 전달받는 상기 (d-5-1) 단계 이후의 단계를 반복 수행하는 단계; 및
(d-5-9) 상기 추적 업데이트부(440)가 상기 (d-5-8)단계에서의 판단에 따라 마지막 블랍인 경우 추적 객체를 업데이트(갱신)를 종료하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.
제 6항에 있어서,
상기 (d-5-2)단계에서
객체가 없는 경우 복수의 새로운 블랍 중, 마지막 새로운 블랍인지 판단하는 단계;를 수행하는 것을 특징으로 하는 깊이 정보 기반 사람 추적 방법.