KR101448391B1

KR101448391B1 - 피플 카운팅 시스템

Info

Publication number: KR101448391B1
Application number: KR1020130071724A
Authority: KR
Inventors: 이용섭; 문남미; 고기남; 김경록
Original assignee: 호서대학교 산학협력단
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2014-10-13

Abstract

본 발명은 복수개의 깊이(Depth)영상 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 사람들의 수를 나이대별로 각각 분류하여 출입자의 수를 카운팅할 수 있도록 한 피플 카운팅 시스템에 관한 것으로, 피플 카운팅 시스템은 출입구의 상단 및 전단에 각각 설치되어 출입자의 영상을 촬영한 후, 촬영된 상단 영상 및 정면영상을 각각 입력하는 제1,2 영상 입력부; 상기 복수의 영상 입력부로부터 각각 입력되는 상단 영상과 정면 영상으로부터 각각 머리 객체와 얼굴 객체를 추출하는 제1,2 객체 추출부; 상기 제2 객체 추출부에서 추출된 객체중 얼굴 객체를 설정된 나이 분류 데이터를 이용하여 얼굴 나이를 추출하는 얼굴 나이 추출부; 및 상기 제1 객체 추출부에서 추출된 상단 영상에 대한 머리 객체 정보와 상기 얼굴 나이 추출부로부터 추출된 얼굴 나이 추출 정보를 이용하여 출입자의 수를 나이별로 분류하여 카운팅하는 카운팅 처리부를 포할 수 있다.

Description

피플 카운팅 시스템 {People counting system}

본 발명은 피플(People) 카운팅 시스템에 관한 것으로서, 특히 복수개의 깊이(Depth) 영상 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 사람들의 수를 나이대별로 각각 분류하여 카운팅할 수 있도록 한 피플 카운팅 시스템에 관한 것이다.

최근 디지털 카메라, 웹캠 등과 같은 영상 센서의 보급으로 인해 영상 센서에서 획득한 영상에서 인간의 신체 및 특징, 행동, 다양한 사물을 인식하는 연구의 필요성이 빠르게 증가하고 있다. 또한, 인간의 얼굴이 포함된 영상에서 다양한 영상 처리 기법들을 활용하여 얼굴 정보를 자동으로 인식하기 위한 연구도 활발히 진행되고 있다.

기존의 피플 카운팅 시스템은 적외선 센서, 온도 센서 등을 사용하는 비영상 시스템과 영상 센서(카메라)를 사용하는 영상 시스템으로 분류할 수 있다. 비영상 시스템의 경우 영상 시스템에 비해 계수의 정확도는 높으나 단순 계수만이 가능하고, 사람 이외에 움직이는 물체를 구분하기 어려운 단점을 가지고 있다. 또한 기존의 영상 시스템은 단일 영상 센서를 활용하는 시스템이 대부분이며, 이로 인해 필수적으로 발생하는 사람의 겹침 및 가림 현상으로 계수의 정확성이 저하되는 문제점을 가지고 있다.

한편, 기존에는 단순히 출입자의 수만 카운팅할 뿐 출입자의 연령별 분류가 이루어지지 않아 출입자의 계수 카운팅 정보의 활용도가 한정될 수 밖에 없는 문제점을 가지고 있다.

이에, 복수의 깊이 카메라를 설치하여 움직이는 출입자, 겹침 및 가림 상태의 출입자도 정확하게 카운팅할 수 있는 연구와, 출입자의 수를 카운팅하는데 있어 추후 카운팅 정보의 활용도를 높일 수 있도록 출입자의 카운팅을 연령별로 각각 분류하여 카운팅할 수 있도록 하는 연구가 필요한 실정이다.

따라서, 본 발명의 목적은 복수개의 깊이(Depth)영상 카메라를 출입구의 정면과 상단에 각각 설치하여 각각의 깊이 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 출입자의 수를 어떠한 환경에서도 정확하게 카운팅할 수 있도록 한 피플 카운팅 시스템을 제공하는데 있다.

본 발명의 다른 목적은 상기한 출입자 카운팅을 수행하는데 있어서 출입자를 연령대 별로 각각 분류하여 출입자의 수를 카운팅할 수 있도록 한 피플 카운팅 시스템을 제공하는데 있다.

본 발명의 일 실시예에 따른 따른 피플 카운팅 시스템은 입구의 상단 및 전단에 각각 설치되어 출입자의 영상을 촬영한 후, 촬영된 상단 영상 및 정면영상을 각각 입력하는 제1,2 영상 입력부; 상기 제1,2 영상 입력부로부터 각각 입력되는 상단 영상과 정면 영상으로부터 각각 머리 객체와 얼굴 객체를 각각 추출하는 제1,2 객체 추출부; 상기 제2 객체 추출부에서 추출된 얼굴 객체에 대하여 기 설정된 나이 분류 데이터를 이용하여 얼굴 나이를 분류하는 얼굴 나이 분류부; 및 상기 제1 객체 추출부에서 추출된 상단 영상에 대한 머리 객체 정보와 상기 얼굴 나이 분류부로부터 분류된 얼굴 나이 분류 정보를 이용하여 출입자의 수를 나이별로 분류하여 카운팅하는 카운팅 처리부를 포함할 수 있다.

상기 얼굴 나이 추출을 위한 나이분류 데이터를 저장하고, 카운팅 처리부에서 나이별로 분류되어 카운팅되는 출입자의 카운팅 정보를 저장하는 데이터베이스를 더 포함하고, 상기 제1,2 영상 입력부는 RGBD 영상을 활영하는 깊이 카메라일 수 있다.

상기 제1 객체 추출부는, 상기 제1 영상 입력부를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 배경 제거부; 상기 배경 제거부를 통해 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부; 상기 전경 객체 추출부에서 추출된 전경 객체에 대하여 객체 블랍을 지정하는 객체 블랍 지정부; 및 상기 객체 블랍 지정부를 통해 지정된 블랍을 이용하여 머리 객체를 검출한 후, 검출된 머리 객체 정보를 카운팅 처리부로 제공하는 객체 검출부를 포함한다.

상기 배경 제거부에서 배경 영상 제거는 차 연산 및 가우시안 혼합 모델링 방법을 통해 수행한다. 하는

상기 객체 블랍 지정부에서 전경객체에 대한 블랍 지정은 히스토그램 분석 및 레이블링 기법을 이용하고, 객체 검출부에서 머리 객체의 검출은 레이블링 필터링을 통해 검출한다.

상기 제2 객체 추출부는, 상기 제2 영상 입력부를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 배경 제거부; 상기 배경 제거부를 통해 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부; 및 상기 전경 객체 추출부에서 추출된 전경 영상으로부터 사람 객체를 검출하는 객체 검출부를 포함한다.

상기 객체 검출부는 상기 추출된 전경 영상에서 깊이 정보를 이용한 관절 추적 방법을 이용하여 사람 객체를 검출한다.

상기 얼굴 나이 추출부는, 상기 제2 객체 추출부에서 추출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하는 얼굴 인식부; 상기 얼굴 인식부에서 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 얼굴 특징점 추출부; 상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 나이 특징점 추출부; 상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 주름 영역 보조점 추출부; 상기 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 얼굴 특징 비율 측정부; 상기 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점들과 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 주름 영역 검출부; 상기 주름 영역 검출부로부터 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 주름 밀도 측정부; 및 상기 얼굴 특징 비율 측정부에서 측정된 7개의 얼굴 특징 비율값과 주름 밀도 측정부에서 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 나이 그룹 분류부를 포함한다.

상기 나이 그룹 분류부는, 신경망 방법을 이용하여 객체의 나이를 분류한다.

상기 카운팅 처리부는, 상기 제1 객체 추출부와 제2 객체 추출부에서 추출된 각각의 객체가 상호 동일한 사람의 객체인지를 판별하는 동일 객체 판별부; 상기 동일 객체 판별부에서 각각의 객체가 동일한 사람의 객체로 판별되면, 각각 객체에 대하여 객체별 고유 태그를 부여하는 객체별 고유 태그 부여부; 상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 객체 추적부; 상기 객체 추적부에서 추적된 객체 정보와 얼굴 나이 추출부에서 추출된 얼굴 객체에 대한 얼굴 나이 정보를 이용하여 입장객의 수를 나이별로 카운팅하고, 상기 추적된 객체 정보를 이용하여 퇴장객의 수를 카운팅하는 카운팅부를 포함한다.

상기 동일 객체 판별분부는 머리 객체 블랍의 중심점과 얼굴 객체 블랍의 중심점에 대한 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별한다.

상기 객체 추적부에서의 객체 추적은 확장 칼만 필터(EKF) 알고리즘을 이용하고, 상기 입장객과 퇴장객의 카운팅은 라인 드로잉기법을 이용하여 카운팅한다.

본 발명의 다른 실시예에 따른 피플 카운팅 장치는, 출입구의 상단 및 정면에 각각 설치되어 출입자의 영상을 촬영한 후, 촬영된 RGBD 상단 영상 및 RGBD 정면 영상을 각각 입력하는 제1,2 영상 입력부; 상기 제1,2 영상 입력부를 통해 각각 입력되는 RGBD 영상으로부터 배경 영상을 각각 제거하고, 배경이 제거된 제1,2 전경 영상으로부터 제1,2 전경 객체를 추출하는 전경 객체 추출부; 상기 추출된 제1 전경 객체에 대하여 객체 블랍을 지정하고, 지정된 블랍을 이용하여 머리 객체를 검출하고, 상기 추출된 제2 전경 객체로부터 사람 객체를 검출하는 객체 검출부; 상기 각각의 객체가 상호 동일한 사람에 대한 객체인지를 판별하고, 동일한 사람의 객체로 판별되면, 각각 객체에 대하여 객체별 고유 태그를 부여하는 객체별 고유 태그 부여부; 상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 객체 추적부; 및 상기 객체 추적부에서 추적된 객체를 이용하여 입장객의 수를 카운팅하는 카운팅부를 포함할 수 있다.

한편, 본 발명의 또 다른 실시예에 따른 얼굴 나이 판별장치는, 출입구의 정면에 설치되어 출입자의 영상을 촬영한 후, 촬영된 정면영상에 대한 RGBD 영상데이터를 입력하는 영상 입력부; 상기 영상 입력부를 통해 입력되는 RGBD 영상데이터로부터 배경 영상을 각각 제거하고, 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부; 상기 추출된 전경 객체로부터 얼굴 객체를 검출하는 객체 검출부; 상기 검출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하여 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 얼굴 특징점 추출부; 상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 나이 특징점 추출부; 상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 주름 영역 보조점 추출부; 상기 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 얼굴 특징 비율 측정부; 상기 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점들과 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 주름 영역 검출부; 상기 주름 영역 검출부로부터 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 주름 밀도 측정부; 및 상기 얼굴 특징 비율 측정부에서 측정된 7개의 얼굴 특징 비율값과 주름 밀도 측정부에서 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 나이 그룹 분류부를 포함할 수 있다.

본 발명에 따른 피플 카운팅 시스템은, 복수개의 깊이(Depth)영상 카메라를 출입구의 정면과 상단에 각각 설치하여 각각의 깊이 영상 카메라를 통해 촬영된 영상 데이터를 이용하여 어떠한 환경(예를 들면, 조명의 변화, 출입자의 겹침, 가림현상)에서도 정확하게 출입자의 수를 카운팅하고, 카운팅되는 출입자를 연령대별로 각각 분류하여 카운팅할 수 있도록 한다. 따라서, 쇼핑몰, 공항 등과 같은 공공건물이 점차적으로 대형화되고 복합화되고 있는 추세에 따라 이러한 대형 건물에서 방문객의 수를 연령대별로 각각 분류하여 카운팅한 카운팅 정보를 마케팅, 안내, 건물 보안 등에 유용하게 활용할 수 있는 효과를 가지게 된다.

도 1은 본 발명의 일 실시예에 따른 피플 카운팅 시스템의 개략적 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 제1 객체 추출부에 대한 상세 블록 구성을 나타낸 도면.
도 3은 도 2에 도시된 배경 제거부에서 가우시안 혼합 모델을 이용하여 입력 영상으로부터 배경 영상을 제거한 후, 전격 객체를 추출하는 방법에 대한 영상화면의 일 예를 나타낸 도면.
도 4는 도 2에 도시된 객체 블랍 지정부에서 레이블링 기법을 이용하여 전경 객체에 대하여 블랍을 지정하는 방법의 일 예를 나타낸 도면.
도 5는 도 4의 레이블링 기법으로 객체 블랍을 지정한 블랍 적용 영상의 일 예를 나타낸 도면.
도 6은 도 5의 블랍 적용 영상으로부터 특정개체(머리개체)만을 검출한 영상의 일 예를 나타낸 도면.
도 7은 도 1에 도시된 제2 객체 추출부에 대한 상세 블록 구성을 나타낸 도면.
도 8은 도 1에 도시된 피플 카운팅부(500)에 대한 상세 블록 구성을 나타낸 도면.
도 9a와 도 9b는 도 1에 도시된 제1 객체 추출부(300)와 제2 객체 추출부(400)에서 추출된 각 객체에 대해 태그 정보를 부여한 영상의 일 예를 나타낸 도면.
도 10은 도 8에 도시된 객체 추적부에서 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과를 나타낸 도면.
도 11은 도 10에서의 객체 좌표 추적 결과에 따른 객체 추적 영상의 일 예를 나타낸 도면이다.
도 12는 도 1에 도시된 얼굴 나이 분류부에 대한 상세 블록 구성을 나타낸 도면.
도 13은 도 12에 도시된 얼굴 특징점 추출부에서의 얼굴 특징점 추출 영상의 일 예를 나타낸 도면.
도 14는 도 12에 도시된 나이 특징점 추출부에서의 추출되는 8개의 나이 특징점 위치 영상의 일 예를 나타낸 도면.
도 15는 도 12에 도시된 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점 위치 영상의 일 예를 나타낸 도면.
도 16은 도 12의 나이 특징점 추출부에서의 나이 특징점 교정 과정을 나타낸 도면.
도 17은 도 12에 도시된 주름 영역 검출부에서 검출된 4개의 주름 영역을 표시한 영상의 일 예를 나타낸 도면.
도 18은 도 17에 도시된 4개의 주름 영역의 원본 영상과 주름(엣지) 추출 영상의 일 예를 나타낸 도면.
도 19는 도 12에 도시된 나이 그룹 분류부에서 나이 분류를 위해 신경망 방법을 통해 나이 분류가 이루어지는 과정을 나타낸 도면.
도 20은 도 1에 도시된 데이터베이스의 상세 블록 구성을 나타낸 도면.
도 21은 도 8에 도시된 카운팅부에서 피플 카운팅을 위한 가상의 기준선과 출입 카운트를 수행하는 영상의 일 예를 나타낸 도면.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 피플 카운팅 시스템의 개략적 블록 구성을 나타낸 도면이다.

도 1에 도시된 바와 같이 본 발명에 따른 피플 카운팅 시스템은 제1,2 영상 입력부(100, 200), 제1,2 객체 추출부(300, 400), 피플 카운팅부(500), 얼굴 나이 분류부(600) 및 데이터베이스(700)를 포함한다.

제1,2 영상 입력부(100, 200)은 각각 깊이 영상 카메라일 수 있으며, 제1 영상 입력부(100)는 출입구의 상단에 설치되어 출입자를 촬영하여 촬영된 영상 신호를 제1 객체 추출부(300)로 제공하고, 제2 영상 입력부(200)는 출입구의 정면에 설치되어 출입자를 촬영하여 촬영된 영상신호를 제2 객체 추출부(400)로 제공한다.

제1 객체 추출부(300)는 제1 영상 입력부(100)로부터 제공되는 영상신호로부터 출입자의 머리 부분에 대한 객체를 추출하여 추출된 머리부분 객체 영상신호를 피플 카운팅부(500)로 제공한다.

제2 객체 추출부(300)는 제2 영상 입력부(200)로부터 제공되는 영상신호로부터 출입자의 얼굴 부분에 대한 객체를 추출하여 추출된 객체 얼굴부분 영상신호를 피플 카운팅부(500) 및 얼굴 나이 분류부(600)로 각각 제공한다.

얼굴 나이 분류부(600)는 제2 객체 추출부(400)에서 추출된 객체 즉, 출입자의 얼굴 영상으로부터 나이 분류를 위한 특징점들을 각각 추출하고, 추출된 각각의 특징점들과 데이터베이스(700)에 저장된 나이 그룹 분류 데이터들을 비교하여 출입자의 얼굴 나이를 분류한 후, 분류된 나이 정보를 피플 카운팅부(500)로 제공한다.

피플 카운팅부(500)는 제1 객체 추출부(300)에서 제공되는 객체 정보와 제2 객체 추출부(400)에서 제공되는 객체 정보가 상호 동일한 객체인지를 판별한 후, 객체 정보가 동일한 출입자의 객체라고 판단되는 경우 얼굴 나이 분류부(600)에서 제공되는 해당 객체의 나이 정보와 데이터베이스(700)에 기 저장된 나이별 입장객 카운팅 정보를 비교하여 입장객을 나이별로 각각 카운팅하여 데이터베이스(700)에 카운팅 정보로서 저장한다.

한편, 피플 카운팅부(500)는 상기 객체 정보의 동일성 여부 판별결과, 상호 동일한 객체가 아니라고 판단되는 경우 해당 객체는 퇴장하는 퇴장객이라 판단하여 이를 카운팅한 후, 카운팅 정보를 데이터베이스에 퇴장객 정보로서 저장한다.

이와 같은 피플 카운팅 시스템의 각각의 구성요소 및 그 구성요소에 대한 동작에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 하자.

먼저, 도 1에 도시된 제1 객체 추출부(300)의 상세 구성 및 동작에 대하여 도 2를 참조하여 설명한다.

도 2를 참조하면, 제1 객체 추출부(300)는 배경 제거부(310), 전경 객체 추출부(320), 객체 블랍 지정부(330) 및 객체 검출부(340)를 포함할 수 있다.

상기 배경 제거부(10)는 출입구 상단에 설치된 제1 영상 입력부(100)를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거한다. 배경 제거를 위해 두 가지 방법을 이용하게 되는데 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용한다.

먼저, 차 연산을 통한 배경 제거는 상기 입력 영상의 초기 프레임(k)과 현재 프레임 간의 차 연산을 통해 수행되며, 이는 아래의 수학식 1과 같이 표현될 수 있다.

여기서, depth(i,j)는 깊이 영상의 픽셀(Pixel)의 좌표값이고, k는 입력 영상의 초기 프레임의 개수이다.
즉, 수학식 1을 통해 k개의 배경 영상 프레임을 이용하여 순순한 배경 영상을 구하게 된다. 그리고, 현재 입력 영상과 수학식 1을 통해 구해진 순수한 배경 영상의 차 연산을 통해 배경이 제거된 영상을 얻게 된다.

한편, 상기한 입력 RGBD 영상으로부터 배경 제거 방식 중 가우시안 혼합 모델을 이용한 방식은 다음과 같은 방식으로 수행된다.

먼저, 입력되는 영상은 시간에 따라 영상의 잡음, 조명이나 날씨의 변화, 물체들의 이동에 따라 변화 한다. 이러한 다양한 변화 속에서 배경만을 모델링하기 위해 자주 사용하는 방법이 확률적인 모델을 이용한 학습이다. 가우시안 혼합 모델은 이러한 확률적 모델을 이용한 학습에 가장 많이 사용되는 방법으로 영상의 각 픽셀들을 가우시안 혼합 확률분포를 이용해 모델링한다.

각 가우시안 혼합 분포를 이루는 가우시안들은 입력되는 색 정보를 학습해 나감으로 배경의 변화에 적응한다.

가우시안 혼합 모델은 잡음에 강하며 나무 가지의 흔들림이나 파도 물결 등의 움직임을 나타내는 배경도 모델링할 수 있는 장점을 지닌다.

확률적 모델을 이용한 학습의 기본적인 가정은 배경의 색 정보를 모델링한 가우시안이 물체의 색 정보의 확률을 가진다는 것이다. 따라서 물체의 색 정보의 확률이 높아질수록 물체의 색 정보를 학습한 가우시안과 배경의 색 정보를 학습한 가우시안 사이에 구분이 모호하게 되고 결과적으로 배경 모델링의 정확도가 저하된다. 예를 들면 이동하는 물체가 정지하는 경우, 일정 시간이 지나면 기존 배경을 나타내는 확률보다 물체를 나타내는 확률이 높아진다. 물체의 색 정보를 배경의 색 정보로 학습하게 된다. 또한 물체가 자주 이동하는 경우에도 비록 물체가 멈춘 것은 아니지만 물체의 색 정보의 확률이 높아짐으로 물체 검출의 정확도가 저하된다.

따라서, 도 2의 배경 제거부(310)는 입력되는 영상에서 깊이 데이터를 이용해 추출된 배경을 상기한 바와 같은 차 연산과 가우시안 혼합 모델 기법으로 배경 제거 및 객체를 인식한다. 여기서, 가우시안 혼합 모델 기법은 아래의 수학식 2와 같이 정리될 수 있다.

여기서 W는 입력영상, μ는 평균, t는 프레임(frame), ∑는 공분산, P()는 백분위(Percent), W_i,t는 i번째 입력영상의 프레임, η()는 교란, K는 입력영상의 개수를 나타낸다.

즉, N개의 순수한 배경 영상을 이용하여 각 픽셀 별로 가우시안 혼합(MOG: Mixture of Gaussian) 방법에 의해 참조 배경을 모델링 하게 되고 각각의 픽셀은 K개의 가우시안 분포를 갖게 된다. 여기서 W는 입력영상, μ는 평균, t는 프레임(frame), 그리고 ∑는 공분산을 나타낸다. .

상기한 바와 같은 도 2의 배경 제거부(310)에서 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되는 과정이 도 3에 나타나 있으며, 도 3에서 좌측 영상은 제1 영상 입력부(100)로부터 입력되는 원본 영상이고, 우측 영상은 가우시안 혼합 모델 방법을 적용하여 배경이 제거된 전경영상을 나타낸 것이다.

도 2의 전경 객체 추출부(320)는 배경 제거부(310)를 통해 배경 영상을 제거한 후, 전경 영상으로부터 전경 객체를 추출하게 되고, 추출된 전경 객체에 대하여 객체 블랍 지정부(330)에서 블랍을 지정한다.

이러한 동작을 좀 더 구체적으로서 설명하면, 먼저, 도 3에 도시된 바와 같이 배경 영상 제거된 영상에서 히스토그램 분석 및 레이블링 기법을 통해 각각의 객체를 블랍으로 지정한다.

다시 말해, 배경 제거 후에 남게 되는 객체들을 레이블링을 통해 블랍으로 지정되어 각각의 객체를 분리한다. 컬러영상을 그레이 스케일 영상 및 이진 영상으로 변환하고 레이블링 과정을 수행한다.

레이블링은 연결된 픽셀를 하나의 개체, 즉 레이블로 정의함으로써 가로폭, 세로높이, 면적, 면적 대비 픽셀의 개수를 나타내는 밀도 등의 정보를 설정할 수 있다. 이러한 정보는 문자와 영상을 분류할 수 있는 기준이 되며, 밝기 값 변화를 이용한 객체 후보군 추출 단계에서 객체의 잘못된 인식 문제를 최소화 한다.

레이블 필터링 단계는 사람 후보군을 추출하기 위해 전 미리 다른 영역을 분류하기 위한 과정으로 먼저 레이블의 크기정보를 이용한다. 일반적으로 사람과 이외의 것(물체)이 같이 혼합되어 있는 영상에서 레이블의 크기는 사람의 레이블보다 가로 또는 세로 길이가 비교적 크다. 이러한 특성을 고려하여 아래의 수학식 3과 같이 사람 이외의 레이블을 필터링 할 수 있는 가로, 세로의 각 길이에 대한 임계값을 설정한다.

여기서, T_i는 레이블의 가로 또는 세로의 길이 임계값이며, minl, maxl, avrl은 각각 최소, 최대, 평균 길이를 나타낸다.

상기 수학식 3의 상위 항과 레이블의 평균 길이 avrl이 최소 및 최대 길이 minl , maxl의 평균값보다 작을 경우 임계값 T_i을 평균값에 좀 더 근접하게 설정하기 위하여 평균 길이 avrl에 2를 곱하여 가중치를 두었으며, 그 외의 경우는 하위 항과 같이 T_i을 평균길이 avrl과 최대 길이 maxl의 평균값으로 설정한 것이다. 두 경우 모두 임계값을 평균길이보다 높게 설정 하였는데, 이는 평균 길이에 가까운 레이블일수록 사람일 확률이 높고 최대 길이에 가까운 레이블일수록 사람이 아닐 확률이 높은 이유 때문이다.

이 후 레이블링을 이용해 인접 픽셀에 모두 같은 번호(Label)을 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙여 추출된 객체를 분리시킨다. 분리시킨 픽셀은 도 4와 같이 블랍으로 지정된다. 도 4는 레이블링 기법으로 블랍을 지정하는 과정을 나타낸 도면이다. 그리고, 도 5는 상기한 레이블링 기법을 영상에 적용한 예를 나타낸 도면이다.

이어, 도 2에 도시된 객체 검출부(340)는 객체 블랍 지정부(330)에서 상기한 방법을 통해 분리된 객체 영상의 깊이 정보를 거리 정보로 변환하여 제1 영상 입력부(100) 즉, 출입구의 상단에 설치된 카메라로부터 대략 50-100Cm 떨어진 머리 형태의 객체를 검출하고, 검출된 객체정보를 도 1에 도시된 피플 카운팅부(500)로 제공한다. 여기서, 머리 형태의 객체를 검출한 영상의 일 예에 대해서는 도 6과 같다.

한편, 도 1에 도시된 제2 객체 추출부(400)의 상세 구성 및 동작에 대하여 도 7을 참조하여 상세하게 설명한다.

도 7은 도 1에 도시된 제2 객체 추출부(400)의 상세 블록 구성을 나타낸 도면이다.

도 7을 참조하면, 제2 객체 추출부(400)는 배경 제거부(410), 전경 객체 추출부(420) 및 객체 검출부(430)을 포함할 수 있다.

여기서, 배경 제거부(410)와 전경 객체 추출부(420)의 동작은 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310) 및 전경 객체 추출부(320)의 동작과 동일한 것으로, 입력 영상만 그 차이가 존재한다. 즉, 제2 객체 추출부(400)의 배경 제거부(410)와 전경 객체 추출부(320)는 그 입력 영상이 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 정면 영상을 이용하는 것이고, 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310)와 전경 객체 추출부(320)에서의 배경 제거와 전경 객체 추출동작은 출입구의 상단에 설치된 제1 영상 입력부(100)로부터 입력되는 영상을 이용하는 차이만 존재할 뿐 배경 제거 및 전경 객체 추출 동작은 실질적으로 동일하기 때문에 그 상세 설명은 생략하기로 한다.

상기 전경 객체 추출부(420)에서 추출된 전경 영상은 객체 검출부(340)로 입력되는데, 객체 검출부(430)는 입력되는 전경 영상에서 깊이 정보를 활용한 관절 추적 방법을 적용하여 각각의 출입자의 신체 전체에 대한 객체를 검출한다.

여기서, 상기한 객체 검출부(340)에서의 객체 검출 방법은 이미 발표된 공지의 논문 “마이크로소프트 키넥트 SDK 활용 : Real-Time Human Pose Recognition in Parts from Single Depth Image” 에 기재된 관절 추적 방법을 이용한 것으로 상세 설명은 생략하기로 한다.

이와 같이 검출된 출입자의 전신에 대한 객체 정보는 피플 카운팅부(500)로 제공된다.

이하, 도 1에 도시된 제1 객체 추출부(300) 및 제2 객체 추출부(400)으로부터 각각 추출된 객체 정보를 이용하여 출입자의 수를 계수하는 피플 카운팅부(500)의 구체적인 구성 및 동작에 대하여 첨부 도면을 참조하여 상세하게 설명한다.

도 8은 도 1에 도시된 피플 카운팅부(500)에 대한 상세 블록 구성을 나타낸 도면이다.

도 8을 참조하면, 피플 카운팅부(500)는 동일 객체 판별부(510), 객체별 고유태그 부여부(520), 객체 추적부(530) 및 카운팅부(540)를 포함할 수 있다.

동일 객체 판별부(510)는 먼저, 제1 객체 추출부(300)와 제2 객체 추출부(4000에서 추출된 각각의 객체에 대한 깊이 데이터의 해당 픽셀 기준으로 다음 픽셀을 왼쪽으로 8 비트를 시프트 한 후 OR 연산을 진행했고, 이를 이용해 해당 픽셀의 거리를 0∼255로 받아온다.

그리고, 깊이 데이터 연산을 통해 상단 카메라 및 정면 카메라에 위치에 따른 ROI를 설정한다. 그리고, 상단 시점 객체 블랍의 중심점과 정면카메라 블랍 상단 중심점의 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별한다.

이렇게 동일한 객체로 판별되면, 피플 카운팅부(500)의 객체별 고유 태그 부여부(520)에서 판별된 각각의 객체에 대하여 태그를 부여하게 되는데 태그부여방법에 대하여 좀 더 구체적으로 살펴보기로 하자.

먼저, 본 발명에서는 물체 각각을 분리하여 관리하는 것이 아니라, 움직이는 물체의 특징을 분석하여 결합되거나 분리된 물체에 대하여 태그 정보를 주어 지속적으로 갱신하는 방법을 이용하였고, 각 물체는 ROI로 들어와서 나갈 때까지 그 정보를 유지하고 최종적 판단 부분에서는 저장하고 있는 크기 정보와 함께 태그 정보를 이용하여 카운트 함으로써 추가적인 영상 처리 및 물체들 사이의 관계 분석 없이 빠르고 간단한 처리를 가능하게 하였다.

그리고, 레이블링을 통합 블랍 지정에서 블랍이 생성된 순서대로 태그 정보를 부여해, ROI을 벗어날 때, 해제가 된다. 도 9a와 도 9b는 제1 객체 추출부(300)와 제2 객체 추출부(400)에서 추출된 각 객체에 대해 태그 정보를 부여한 것으로, 블랍 영역의 좌상단에 위치한 숫자가 부여된 태그의 번호이며, 지정되는 블랍의 사각형 영역의 외곽선의 색깔을 다르게 지정한다.

이와 같이 각 객체에 대하여 태그가 부여된 상태에서 도 8의 객체 추적부(530)를 통해 객체를 추적한다.

좀 더 구체적으로 살펴보면, 객체 추적부(530)는 태그 정보가 부여된 객체 블랍을 지속적으로 추적하게 되는데 여기서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘를 통해 이루어지는데, EKF는 선형적인 모델 뿐 아니라 비선형적인 모델도 적용시킬수 있는 특징을 가지고 있으며, 다양한 모델이 적용 가능하고, 적절한 모델 사용 시에 최고 성능, 높은 객체 추적 능력을 보인다는 장점이 있다. 여기서, 확장 칼만 필터 알고리즘은 아래의 수학식 4와 같이 표현될 수 있다.

그리고, 상기한 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과는 도 10에 도시되어 있으며, 객체 추적 영상의 일예는 도 11에 도시되어 있다.

이렇게 추적된 객체에 대하여 출입자의 입장객 수와 퇴장객 수를 Line Drawing 기법을 이용하여 카운팅하게 된다. 즉, 상단 카메라 영상의 해상도를 640 x 480 픽셀(Pixel)을 기준으로, 영상의 상단 및 하단으로부터 30픽셀 위치에 2개의 가상 기준선 A(내부), B(외부)를 생성하고, 추적한 객체가 B를 먼저 통과하고 A를 통과한 경우 입장(IN) 수를 계수하며, A를 먼저 통과하고 B를 통과한 경구 퇴장(OUT) 수를 각각 도 8에 도시된 카운팅부(540)에서 각각 카운팅한다. 여기서, 입장 카운팅의 경우 카운팅되는 입장객을 도 1에 도시된 얼굴 나이 분류부(600)에서 분류된 나이별로 각각 구분하여 카운팅한다. 즉, 입장객을 카운팅할 때 입장객의 나이대별로 각각 분류하여 입장객의 수를 카운팅한다.

따라서, 제1 영상 입력부(100)를 통해 입력되는 영상 즉, 출입자의 얼굴 인식을 통해 해당 출입자의 나이를 판별하는 구성 및 동작에 대하여 첨부한 도면을 참조하여 설명하기로 한다.

도 12는 도 1에 도시된 얼굴 나이 분류부(600)에 대한 상세 블록 구성을 나타낸 도면이다.

도 12를 참조하면, 얼굴 나이 분류부(600)는 얼굴 인식부(610), 얼굴 특징점 추출부(620), 나이 특징점 추출부(630), 얼굴 특징 비율 측정부(640), 주름 영역 보조점 추출부(650), 주름 영역 검출부(660), 주름 밀도 측정부(670) 및 나이 그룹 분류부(680)를 포함할 수 있다.

얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상으로부터 얼굴을 인식한다.

얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상 즉, 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 영상의 사람 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models)방법을 사용하여 얼굴영상을 인식한다. 여기서, 인식되는 얼굴 영상은 정면 얼굴 영상으로서, 상기 인식된 얼굴 영상은 얼굴 특징점 추출부(620)로 제공된다.

한편, 입력되는 얼굴 영상이 상하좌우로 약 20° 각도 이상 수직 회전(Pitch) 또는 수평 회전(Yaw)되어 있는 경우에 연령대 분류를 위한 충분한 특징점을 추출할 수 없다. 따라서 머리 위치가 추적되는 대상이 영상 영역에서 벗어날 때까지, 충분한 특징점을 추출하지 못한 경우에 얼굴 특징점을 선별하고 교정하는 과정을 지속적으로 수행한다.

한편, 얼굴 특징점 추출부(620)는 상기 인식된 얼굴 영역으로부터 121개의 얼굴 특징점을 추출하고, 추출된 121개의 얼굴 특징점을 갖는 영상은 각각 나이 특징점 추출부(630)와 주름 영역 보조점 추출부(650)으로 제공된다. 여기서, 121개의 얼굴 특징점을 추출한 영상의 예는 도 13에 도시되어 있다.

상기 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점중 8개의 나이 특징점을 도 14와 같이 선별하고, 교정된다. 여기서, 도 14는 도 12에 도시된 얼굴 나이 분류부의 나이 특징점 추출부에서 추출된 8개의 나이 특징점 위치 영상을 나타낸 도면이다.

또한, 주름 영역 보조점 추출부(650)는 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점으로부터 도 15와 같이 9개의 주름 영역 보조점을 추출하게 된다. 여기서, 도 15는 도 12의 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점 위치 영상을 나타낸 도면이다.

상기한 나이 특징점 추출부(6300에서 8개의 나이 특징점 추출 동작과, 주름 영역 보조점 추출부(650)에서 9개의 주름 영역 보조점 추출 동작에 대하여 좀 더 구체적으로 살펴보기로 하자.

먼저, 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 14에 도시된 바와 같이 TH(Top of Head, 머리의 제일 상단 부분), E_L(Left Eye, 좌측 눈의 중심점), E_R(Right Eye, 우측 눈의 중심점), N(Nose, 코의 중심점), L(Lip, 입술의 중심점), SF_L(Left Side of Face, 얼굴의 좌측), SF_R(Right Side of Face, 얼굴의 우측), C(Chin, 머리의 최하단 중앙점)로 이루어진 총 8개의 나이 특징점을 추출한다.

그리고, 주름 영역 보조점 추출부(650)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 15에 도시된 바와 같이 9개의 주름 영역 보조점(p1-p9)을 추출한다.

상기 추출된 8개의 나이 특징점들은 도 12에 도시된 얼굴 특징 비율 특징부(640)에서 얼굴 특징 비율을 구하는데 활용되며, 상기 주름 영역 보조점 추출부(650)에서 추출한 9개의 주름 영역 보조점은 도 12에 도시된 주름 영역 검출부(660)에서의 4 개의 주름 영역의 빠르고 정확한 추출을 위해 보조하는 역할을 한다.

한편, 상기 나이 특징점 추출부(630)이 정면 얼굴의 특징점 구조와 차이를 보이는 영상이 획득되는 경우 영상의 교정 작업을 수행하게 된다. 즉, 본 발명에서는 얼굴 영상이 좌측 또는 우측으로 기울어짐(Roll)이 존재할 경우에 좌우측 눈의 중심점인 E_L과 E_R의 좌표를 활용하여 측정한다. E_L의 y좌표가 E_R의 y좌표보다 상단에 위치한 경우, 아래의 수학식 5와 같이 기울어진 각도 θ를 측정한다. 반대의 경우에는 아래의 수학식 6과 같이 θ′를 측정한다. 이렇게 측정된 각도를 기준으로 이미지를 회전하여 정면 얼굴영상을 획득하도록 교정한다.

인체측정학에 따르면 얼굴의 특징은 좌우가 대칭적으로 존재한다. 따라서 얼굴이 수평회전(Yaw)된 경우에는, 얼굴의 중심에 위치한 코의 중심점 N의 x축 좌표에서 SF_L과 SF_R은 서로 동일한 거리에 위치해 있도록 나이 특징점의 교정을 수행하고, E_L과 E_R의 거리 또한 N의 x축 좌표를 중심으로 서로 동일한 거리에 위치하도록 교정을 수행한다.

하지만, 얼굴이 수직 회전(Pitch)되어 있는 경우, 얼굴 검출 및 특징점 추출이 이루어졌다면, 각 특징점의 좌표는 정면 얼굴에서의 좌표와 교정이 필요할만한 차이를 나타내지 않았지만, 일정 각도(사람의 목을 기준으로 약 15°) 이상 수직 회전한 경우에는 얼굴 검출이 불가능하다. 이러한 경우에는 얼굴 검출 및 특징점 추출에 적합한 상태가 아니기 때문에, 본 연구에서는 얼굴 검출 및 특징점의 추출이 가능한 시점까지 머리 위치 추적을 계속 수행한다.

이러한 나이 특징점 교정 과정은 도 16과 같이 수행되고, 최종적으로 교정 완료된 얼굴 영상 및 특징점을 기반으로 나이 특징점을 추출한다. 여기서, 도 16은 나이 특징점 교정 과정을 나타낸 도면이다.

그리고 도 12에 도시된 얼굴 특징 비율 측정부(640)는 상기한 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점을 이용하여 7개의 얼굴 특징 비율을 측정한다.

즉, 상기한 바와 같이 나이 특징점 추출부(630)에서 선별 및 교정된 8개의 나이 특징점은 도 14와 같이 배치되어 있으며, 연령대 분류 알고리즘을 적용하여 일곱 개의 얼굴 특징 비율을 아래의 수학식 7 - 수학식 13을 이용하여 측정한다. ?

? 여기서, D(A,B)는 점 A와 B의 거리를 나타내고, ME(Middle of Eyes)는 양 쪽 눈 사이 거리의 중심점을 나타낸다.

한편, 도 12에 도시된 주름 영역 검출부(660)은 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점과, 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점을 이용하여 4개의 주름 영역을 추출한다.

주름 영역 검출부(660)는 도 14에 도시된 8개의 나이 특징점과 도 15에 도시된 9개의 주름 영역 보조점, 미리 설정된 주름영역 위치를 활용하여 도 17에 도시된 바와 같이 SE_L(Side of Left Eye), SE_R(Side of Right Eye), SN_L(Left Side of Nose), SN_R(Right Side of Nose)의 총 4 개의 주름 영역을 추출한다.

좀 더 구체적으로 살펴보면, 도 18은 4개의 주름 영역의 원본 영상과 주름(엣지) 추출 영상을 나타낸 도면으로서, 도 18의 (a)는 SE_L 의 원본영상, (b)는 SE_R 의 원본 영상, (c)는 SN_L 의 원본영상, (d)는 SN_R 의 원본영상이고, (e)는 SE_L 의 주름 추출영상, (f)는 SE_R의 주름 추출 영상, (g)는 SN_L의 주름 추출 영상, (h)는 SN_R의 주름 추출영상이다.

본 발명에서는 비교적 작은 크기의 얼굴 영상이 연령대 분류의 대상이 되기 때문에, 원본 얼굴 영상과 같이 작은 크기의 영상에서는 충분한 주름 영역 영상을 획득할 수 없다. 따라서 원본영상의 크기를 5배 확대한 얼굴 영상을 활용한다. 원본 얼굴 영상을 5배 이상 확대한 경우 확대 과정에서 불가피하게 발생하는 화질 저하 및 잡음 픽셀에 의해서 주름 영역의 신뢰성 저하 및 연령대 분류의 성능이 저하되는 현상 때문에 5배 확대한 크기의 얼굴 영상을 활용하였다. 5배 확대한 영상의 경우에도 확대 과정에서 불가피하게 발생하는 화질 저하로 인해 주름 추출을 위한 몇 가지 전 처리(Pre-processing) 과정이 필요하다. 첫 번째로 영상을 회색조(Grayscale) 영상으로 변환하고, 캐니 엣지 검출기(Canny Edge Detector)(미도시)를 사용하여 영상의 엣지(Edge)를 검출한다. 상기 캐니 엣지 검출기는 낮은 오류율을 보이며, 두개의 임계값(Threshold value)을 갖기 때문에 다른 엣지 검출기보다 높은 주름 검출률을 보이게 된다.

두 번째로 가우시안 필터(Gaussian Filter)를 적용하고, 히스토그램 평준화(Histogram Equalize)를 사용하여 얼굴의 굵은 주름 및 잔 주름을 더욱 강화시키고, 불필요하게 검출되는 주름이 아닌 노이즈(Noise) 픽셀을 제거한다.

상기와 같이 추출한 4개의 주름 추출 영상에서 주름 밀도(Wrinkle Densities)를 도 12의 주름 밀도 측정부(670)에서 측정하게 되는데, 주름 밀도 측정 과정에 대하여 상세하게 살펴보자.

먼저, 주름 밀도 측정은 아래의 수학식 14와 같이 측정하며, 아래의 수학식 14에서 WD는 Wrinkle Densities, T_P는 전체 픽셀 수, W_P는 주름 픽셀의 수를 나타낸다.

주름 밀도는 나이 특징점과 마찬가지로, 실시간 시스템의 특성으로 인해, 좌우측의 주름 영역 크기에 큰 차이가 발생할 수 있다. 주름의 경우 좌우측이 대칭적으로 존재하지 않을 수도 있으며, 사람의 생활환경, 습관 등으로 인해 실제 연령대와 판이하게 다른 주름 밀도를 보일수도 있기 때문에, 얼굴 특징 비율과 같이 교정을 수행하는 것은 불가능하다. 본 제안 시스템은 검출한 얼굴을 화면에서 사라질 때 까지 지속적으로 추적하고 있기 때문에, 좌우측 각 주름 영역의 가로 길이가 2배 이상 차이가 나는 경우, 올바른 비율의 주름 영역을 추출할 수 있는 시점까지 얼굴 검출을 다시 수행한다.

상기한 바와 같이 주름 밀도가 측정된 후, 측정된 주름 밀도를 이용하여 도 12에 도시된 나이 그룹 분류부(680)에서 입력 영상에 대한 얼굴의 나이대를 분류한다.

나이 그룹 분류부(680)는 도 12의 얼굴 특징 비율 측정부(640)에서 측정된 7개의 얼굴 특징 비율값과, 주름 밀도 측정부(670)에서 측정된 4개의 주름 밀도값을 입력 벡터로 하는 신경망 방법을 통하여 4개의 나이 그룹으로 분류한다. 여기서, 신경망 방법을 이용하기 위한 나이 그룹 분류 데이터는 도 20에 도시된 데이터베이스(700)의 나이그룹 데이터 저장 영역으로부터 제공받게 된다. 본원발명에서의 나이 분류를 위한 그룹은 AG1(0-19세), AG2(20-30세), AG3(31-50세), AG4(51세 이상)로 분류되며, 이러한 분류 데이터 역시 데이터베이스(700)에 저장되어 제공받게 된다. 여기서, 도 20은 도 1에 도시된 데이터베이스(700)에 대한 상세 블록 구성을 나타낸 도면으로서, 도 20을 참조하면, 데이터베이스(700)는 나이 분류를 위한 신경망 방법에 이용되는 나이 그룹 분류 데이터가 저장된 나이 그룹 분류 데이터 저장영역(710)과, 도 8에 도시된 카운팅부(540)에서 카운팅되는 입장객 카운팅 수를 나이대별로 각각 저장하는 나이 그룹별 입장 카운팅 데이터 저장영역(720) 및 퇴장객 카운팅 수를 각각 저장하는 퇴장 카운팅 데이터 저장 영역(730)으로 구성된다.

상기한 신경망 방법을 이용하여 나이 그룹을 분리하는 방법은 도 19에 도시된 바와 같이 4개의 레이어를 가지고 있으며, 2개의 히든 레이어를 가지고 있다. 또한, 4개의 나이 그룹을 출력 벡터로 이루어진다.

일반적으로, 연령대를 분류하는 방법 중 기계 학습(Machine Learning)을 이용한 방법은 결정 트리(Decision Tree), Knn, 신경망, Naive-Bayes 등 여러 가지 방법이 있으며, 각각 서로 장단점이 존재한다. 그러나, 본 발명에서는 다른 방법들에 비해 비교적 높은 정확도로 빠르게 분류가 가능하고, 지속적으로 기계 학습이 가능한 신경망 방법을 이용한다.

가장 널리 사용되는 신경망 방법은 도 19에 도시된 바와 같이 4개의 층(Layers)을 사용한다. 본 발명에서도 이러한 신경망 방법을 사용하였으며, 입력 벡터(Input Vector)로 7개의 얼굴 특징 비율값과 4개의 주름 밀도값을 사용하며, 출력 층(OutputLayer)에는 AG1, AG2, AG3, AG4의 총 4개의 출력 벡터(Output Vector)를 가지고 있다. 여기서, 신경망 방법에 대해서는 이미 공지된 기술로서 구체적인 설명은 생략하기로 한다.

이와 같이 도 12의 나이 그룹 분류부(680)에서 분류된 나이 분류 데이터는 도 8에 도시된 카운팅부(540)으로 제공된다.

도 8에 도시된 카운팅부(540)는 도 8의 객체 추적부(530)로부터 제공되는 추적된 객체 정보와 도 12의 나이 그룹 분류부(680)에서 제공되는 분류된 입장객의 나이 그룹 별로 입장객의 수를 카운팅하여 도 20에 도시된 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장하고, 퇴장객의 수는 퇴장 카운팅 데이터 저장영역(730)에 저장한다.

여기서, 입장 카운팅 동작에 대하여 좀 더 구체적으로 살펴보면, 먼저 상단 카메라(제1 영상 입력부(100))의 해상도를 640 *480 픽셀을 기준으로 영상의 상단 및 하단으로부터 30 픽셀 위치에 도 21에 도신 바와 같이 2개의 가상 기준선 A(내부), B(외부)을 생성하고, 객체 추적부(530)에서 추적된 객체가 기준선 B를 먼저 통과하고 A를 통과한 경우 해당 객체를 입장객으로 카운팅하는데, 입장객의 카운팅시 상기 입장객에 대한 객체의 나이를 나이 그룹 분류부(680)에서 분류한 나이별 그룹으로 구분하여 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장한다.

그러나, 상기 추적한 객체가 만약, 도 21에 도시된 가상 기준선 A를 먼저 통과하여 기준선 B를 통과한 경우 해당 객체를 퇴장객에 대한 객체로 판단하여 계수한 후, 계수 데이터를 데이터베이스(700)의 퇴장 카운팅 데이터 저장영역(730)에 저장하게 되는 것입니다.

좀 더 구체적으로 살펴보면, 사람의 머리에 대한 객체를 추적하여 추적된 객체가 도 20에 도시된 가상 기준선을 지날 때, 출입 카운트 여부가 결정 된다. 본 발명은 640 x 480의 이미지 해상도 기준으로 In: 30픽셀(pixel), Out: 450픽셀 높이에서 가상의 기준선을 설정하였으며, 이를 적용한 모습은 도 20과 같다.

그리고, 도 21에 도시된 좌상단과 우상하단의 문자는 가상의 기준선을 통과했을 때, 출입의 카운팅 수를 표시한다.

객체로 지정된 블랍은 중심점과 사각형 좌표를 가지고 있으며, 이를 이용해 가상의 기준선 통과 여부를 확인한다. 블랍이 생성 되었을 때(프레임에 입장 시) 시작 점을 부여하고, 중심점이 가상의 기준선 영역(In: 30픽셀, Out: 450픽셀)과 만난다면, 출입을 카운트 하는 방식이다.

위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.

100, 200 : 제1,2 영상 입력부 300, 400 : 제1,2 객체 추출부
310, 410 : 배경 제거부 320, 420 : 전경객체 추출부
330 : 객체 블랍 지정부 340, 430 : 객체 검출부
500 : 피플 카운팅부 510 : 동일 객체 판단부
520 : 객체별 고유태그 부여부 530 : 객체 추적부
540 : 카운팅부 600 : 얼굴 나이 분류부
610 : 얼굴 인식부 620 : 얼굴 특징점 추출부
630 : 나이 특징점 추출부 640 : 얼굴 특징 비율 측정부
650 : 주름 영역 보조점 추출부 660 : 주름 영역 검출부
670 : 주름 밀도 측정부 680 : 나이 그룹 분류부

Claims

피플 카운팅 시스템에 있어서,
출입구의 상단 및 정면에 각각 설치되어 출입자의 영상을 촬영한 후, 촬영된 상단 영상 및 정면영상을 각각 입력하는 제1,2 영상 입력부;
상기 제1,2 영상 입력부로부터 각각 입력되는 상단 영상과 정면 영상으로부터 각각 머리 객체와 얼굴 객체를 각각 추출하는 제1,2 객체 추출부;
상기 제2 객체 추출부에서 추출된 얼굴 객체에 대하여 기 설정된 나이 분류 데이터를 이용하여 얼굴 나이를 분류하는 얼굴 나이 분류부;
상기 제1 객체 추출부에서 추출된 상단 영상에 대한 머리 객체 정보와 상기 얼굴 나이 분류부로부터 분류된 얼굴 나이 정보를 이용하여 출입자의 수를 나이별로 분류하여 카운팅하는 카운팅 처리부; 및
상기 얼굴 나이 추출을 위한 나이분류 데이터를 저장하고, 상기 카운팅 처리부에서 나이별로 분류되어 카운팅되는 출입자의 카운팅 정보를 저장하는 데이터베이스를 포함하고,
상기 제1,2 영상 입력부는 깊이 카메라인 피플 카운팅 시스템.
삭제
삭제
제1항에 있어서,
상기 제1 객체 추출부는,
상기 제1 영상 입력부를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 배경 제거부;
상기 배경 제거부를 통해 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부;
상기 전경 객체 추출부에서 추출된 전경 객체에 대하여 객체 블랍을 지정하는 객체 블랍 지정부; 및
상기 객체 블랍 지정부를 통해 지정된 블랍을 이용하여 머리 객체를 검출한 후, 검출된 머리 객체 정보를 카운팅 처리부로 제공하는 객체 검출부를 포함하는 피플 카운팅 시스템.
제4항에 있어서,
상기 배경 제거부에서 배경 영상 제거는 차 연산 및 가우시안 혼합 모델링 방법을 통해 수행하는 피플 카운팅 시스템.
제5항에 있어서,
상기 가우시안 혼합 모델링은 아래의 수학식을 이용하는 피플 카운팅 시스템.

여기서, 상기 W는 입력영상, μ는 평균, t는 프레임(frame), ∑는 공분산, P()는 백분위, W_i,t는 i번째 입력영상의 프레임, η()는 교란, K는 입력영상의 개수를 나타낸다.
제5항에 있어서,
상기 객체 블랍 지정부에서 전경객체에 대한 블랍 지정은 히스토그램 분석 및 레이블링 기법을 이용하고, 객체 검출부에서 머리 객체의 검출은 레이블링 필터링을 통해 검출하는 피플 카운팅 시스템.
제1항에 있어서,
상기 제2 객체 추출부는,
상기 제2 영상 입력부를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 배경 제거부;
상기 배경 제거부를 통해 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부; 및
상기 전경 객체 추출부에서 추출된 전경 영상으로부터 사람 객체를 검출하는 객체 검출부를 포함하는 피플 카운팅 시스템.
제8항에 있어서,
상기 객체 검출부는 상기 추출된 전경 영상에서 깊이 정보를 이용한 관절 추적 방법을 이용하여 사람 객체를 검출하는 피플 카운팅 시스템.
제1항에 있어서,
상기 얼굴 나이 분류부는,
상기 제2 객체 추출부에서 추출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하는 얼굴 인식부;
상기 얼굴 인식부에서 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 얼굴 특징점 추출부;
상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 나이 특징점 추출부;
상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 주름 영역 보조점 추출부;
상기 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 얼굴 특징 비율 측정부;
상기 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점들과 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 주름 영역 검출부;
상기 주름 영역 검출부로부터 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 주름 밀도 측정부; 및
상기 얼굴 특징 비율 측정부에서 측정된 7개의 얼굴 특징 비율값과 주름 밀도 측정부에서 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 나이 그룹 분류부를 포함하는 피플 카운팅 시스템.
제10항에 있어서,
상기 얼굴 특징 비율 측정부에서 측정되는 7개의 얼굴 특징 비율은 아래의 수학식을 이용하여 측정하는 피플 카운팅 시스템.

여기서, D(A,B)는 점 A와 B의 거리를 나타내고, ME(Middle of Eyes)는 양쪽 눈 사이 거리의 중심점, TH는 머리의 제일 상단 부분, E_L은 좌측 눈의 중심점, E_R은 우측 눈의 중심점, N은 코의 중심점, L은 입술의 중심점, C는 머리의 최하단 중앙점, SF_L은 얼굴의 좌측(Left Side of Face), SF_R은 얼굴의 우측(Right Side of Face)을 나타낸다.
제10항에 있어서,
상기 주름 밀도 측정부는 아래의 수학식을 이용하여 측정하는 피플 카운팅 시스템.

WD는 Wrinkle Densities, T_P는 전체 픽셀 수, W_P는 주름 픽셀의 수를 나타낸다.
제10항에 있어서,
상기 나이 그룹 분류부는, 신경망 방법을 이용하여 객체의 나이를 분류하는 피플 카운팅 시스템.
제1항에 있어서,
상기 카운팅 처리부는,
상기 제1 객체 추출부와 제2 객체 추출부에서 추출된 각각의 객체가 상호 동일한 사람에 대한 객체인지를 판별하는 동일 객체 판별부;
상기 동일 객체 판별부에서 각각의 객체가 동일한 사람의 객체로 판별되면, 각각 객체에 대하여 객체별 고유 태그를 부여하는 객체별 고유 태그 부여부;
상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 객체 추적부;
상기 객체 추적부에서 추적된 객체 정보와 얼굴 나이 추출부에서 추출된 얼굴 객체에 대한 얼굴 나이 정보를 이용하여 입장객의 수를 나이별로 카운팅하고, 상기 추적된 객체 정보를 이용하여 퇴장객의 수를 카운팅하는 카운팅부를 포함하는 피플 카운팅 시스템.
제14항에 있어서,
상기 동일 객체 판별분부는 머리 객체 블랍의 중심점과 얼굴 객체 블랍의 중심점에 대한 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별하는 피플 카운팅 시스템.
제14항에 있어서,
상기 객체 추적부에서의 객체 추적은 확장 칼만 필터(EKF) 알고리즘을 이용하는 피플 카운팅 시스템.
제14항에 있어서,
상기 입장객과 퇴장객의 카운팅은 라인 드로잉기법을 이용하여 카운팅하는 피플 카운팅 시스템.
피플 카운팅 장치에 있어서,
출입구의 상단 및 정면에 각각 설치되어 출입자의 영상을 촬영한 후, 촬영된 RGBD 상단 영상 및 RGBD 정면영상을 각각 입력하는 제1,2 영상 입력부;
상기 제1,2 영상 입력부를 통해 각각 입력되는 RGBD 영상으로부터 배경 영상을 각각 제거하고, 배경이 제거된 제1,2 전경 영상으로부터 제1,2 전경 객체를 추출하는 전경 객체 추출부;
상기 추출된 제1 전경 객체에 대하여 객체 블랍을 지정하고, 지정된 블랍을 이용하여 머리 객체를 검출하고, 상기 추출된 제2 전경 객체로부터 사람 객체를 검출하는 객체 검출부;
상기 각각의 객체가 상호 동일한 사람에 대한 객체인지를 판별하고, 동일한 사람의 객체로 판별되면, 각각 객체에 대하여 객체별 고유 태그를 부여하는 객체별 고유 태그 부여부;
상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 객체 추적부;
상기 객체 추적부에서 추적된 객체를 이용하여 입장객의 수를 카운팅하는 카운팅부를 포함하는 피플 카운팅 장치.
얼굴 나이 판별장치에 있어서,
출입구의 정면에 설치되어 출입자의 영상을 촬영한 후, 촬영된 정면영상에 대한 RGBD 영상데이터를 입력하는 영상 입력부;
상기 영상 입력부를 통해 입력되는 RGBD 영상데이터로부터 배경 영상을 각각 제거하고, 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 전경 객체 추출부;
상기 추출된 전경 객체로부터 얼굴 객체를 검출하는 객체 검출부;
상기 검출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하여 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 얼굴 특징점 추출부;
상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 나이 특징점 추출부;
상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 주름 영역 보조점 추출부;
상기 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 얼굴 특징 비율 측정부;
상기 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점들과 나이 특징점 추출부에서 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 주름 영역 검출부;
상기 주름 영역 검출부로부터 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 주름 밀도 측정부; 및
상기 얼굴 특징 비율 측정부에서 측정된 7개의 얼굴 특징 비율값과 주름 밀도 측정부에서 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 나이 그룹 분류부를 포함하는 얼굴 나이 판별장치.