KR101064927B1

KR101064927B1 - 영상 분석을 이용한 방문자 계수 시스템 및 그 방법

Info

Publication number: KR101064927B1
Application number: KR1020100076880A
Authority: KR
Inventors: 신요식; 김금용; 백영현
Original assignee: 주식회사 유니온커뮤니티
Priority date: 2010-08-10
Filing date: 2010-08-10
Publication date: 2011-09-16

Abstract

영상 분석을 이용한 방문자 계수 시스템 및 그 방법이 개시된다. 본 발명의 방문자 계수 시스템은, 카메라로 촬영한 영상에 대한 영상처리를 통해 방문자를 계수한다. 이를 위해, 계수 시스템은 영상에서 객체의 영역을 추출하고, 상기 객체영역의 가로방향의 중심 픽셀의 밝기 값과 대비하여 유사 범위의 밝기 값을 가지는 픽셀을 남기고 유사범위를 벗어나는 픽셀을 제거하는 1차 필터링을 수행하여 객체 영상의 비선형성에 대응하면서 계수할 객체를 추적한다. 이에 따라, 정형적인 형태의 방문자 뿐만 아니라, 다양한 색 또는 다양한 형태의 모자를 쓴 방문자처럼 비정형적인 형태의 방문자와, 한꺼번에 들어오는 다수의 방문자를 구별하여 계수할 수 있다.

Description

영상 분석을 이용한 방문자 계수 시스템 및 그 방법{People Count System Using Image Analysis and Method thereof}

본 발명은, 카메라를 통해 촬영한 영상에 대한 분석을 통해 일정 지역을 통과하는 방문자의 외형에서 비롯되는 영상 객체의 비선형성을 극복하여 방문자의 수를 보다 정확히 계수할 수 있는, 영상 분석을 이용한 방문자 계수 시스템 및 그 방법에 관한 것이다.

출입자 또는 방문자의 수를 계산하는 방문자 계수 시스템(People Count system)은 기계적인 게이트(Gate)를 이용하여 방문자가 게이트를 수동으로 제어 시 계수하는 방식과, 적외선 센서를 이용하여 출입자를 감지하여 계수하는 방식과, 열 화상 센서를 이용하여 사람의 체온 분포를 분석하여 계수 하는 방식과, 영상처리기술을 이용하여 영상 정보를 분석하여 특정한 형태 또는 특징이 검출되면 이벤트로 간주하여 계수하는 방식 등이 있다.

그 중에서도 영상처리 기술을 이용하여 계수하는 방법은 매장의 천정 등에 설치하여 공간을 거의 수직으로 내려볼 수 있는 카메라(오버헤드 카메라)로부터 들어오는 영상을 분석하여 방문자에 대응되는 객체를 분리하여 계수하는 것으로서, 최근 많이 개발 되고 있다. 그러나, 아직까지 이러한 영상처리에 기반한 계수 시스템은 인간의 판단과정에 비할 바가 아니어서 발생 가능한 모든 경우의 수를 모두 고려할 수 없는 상태이며, 현 수준의 처리 알고리즘에 따라 극복할 수 없는 다양한 문제를 가지고 있기 때문에 실용화에 다소 부담과 시간이 필요하다.

예를 들어, '오버헤드 카메라 영상에서 사람을 감지하고 추적하는 시스템 및 방법(대한민국 특허출원 제10-2008-0074461호)'은 모션(Motion) 영역의 에지(Edge)를 추출하여 타원형의 형태를 찾아 계수하는 방식이다. 이 방식은 주변환경이나 방문자의 외형 형태로부터 비롯되는 객체의 비선형성에 대응할 수 없는 단점이 있다. 즉, 둥근 모양의 구조물이 포함되어 있거나 타원형의 물체가 놓여 있을 경우에 오 인식률이 높아질 수 밖에 없고, 방문자가 특이한 형태의 모자를 착용한 경우에도 인식 불가능한 상태가 될 수 있다. 또한, 객체 형태 검출방법(에지 추출법)은 측정 높이가 일정한 수준 이상이 될 경우에 형태 정보의 모호함에 따라 정확한 검출이 어렵다.

다른 방법으로 "비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동 물체 추적 방법 및 장치(대한민국 등록특허 제10-0312427호)"나, "비디오 카메라영상에서 의한 입실/퇴실자 계수 장치 및 그 제어 방법(대한민국 등록특허 제10-0625676호)"은 사람 몸의 형태 특성을 이용하는 방법으로 정확도가 높아지는 듯하나, 사람끼리 붙어 있을 때 분리하기 힘든 단점을 가지고 있다. 또한 이 방식은 일정정도의 출입문의 크기 및 높이에서만 사용 가능한 영상처리 방식이 사용되기 때문에 환경적인 영향을 많이 받는다.

본 발명의 목적은 카메라를 통해 촬영한 영상에 대한 분석을 통해 일정 지역을 통과하는 방문자의 외형에서 비롯되는 영상 객체의 비선형성을 극복하여 방문자의 수를 보다 정확히 계수할 수 있는, 영상 분석을 이용한 방문자 계수 시스템 및 그 방법을 제공함에 있다.

상기 목적을 달성하기 위해 본 발명에 따른 방문자 계수 시스템은, 일정공간을 출입하는 출입자를 촬영하는 카메라와, 상기 카메라로부터 입력되는 영상 프레임으로부터 상기 출입자에 해당하는 객체의 영역을 추출하고 배경을 제거하는 배경제거부와, 상기 추출된 객체영역에서, 상기 객체영역의 가로방향의 중심 픽셀의 밝기 값과 대비하여 유사 범위의 밝기 값을 가지는 픽셀을 남기고 유사범위를 벗어나는 픽셀을 제거하여 필터링하는 1차필터부와, 상기 카메라로부터 연속적으로 입력되는 복수 개의 영상 프레임에 대한 상기 1차필터부의 처리결과를 기초로 상기 1차필터부에 의해 1차 필터링된 객체의 움직임을 추적하는 객체추적부와, 상기 객체추적부에서 추적한 객체의 움직임을 기초로 상기 출입자를 계수하는 카운터부를 포함한다.

상기 카메라가 생성한 영상이 컬러영상인 경우, 상기 1차필터부는, 상기 배경제거부에서 추출한 객체영역의 RGB 색상값을 색차계 또는 보색계 신호로 변환하여 상기 밝기 값을 추출할 수 있다.

또한, 상기 카메라가 생성한 영상이 컬러영상인 경우, 방문자 계수 시스템은, 상기 배경제거부에서 추출한 객체영역에서 유사한 색상값을 가지는 픽셀들끼리 묶어 하나의 색상값을 부여하여 객체의 색상정보를 줄이는 슈퍼픽셀처리부를 더 포함할 수 있다.

실시 예에 따라, 방문자 계수 시스템은, 상기 1차필터부에서 1차 필터링된 객체 중에서 일정 기준 크기 이하의 객체를 잡음으로 제거하여 2차 필터링하는 2차필터부를 더 포함할 수 있으며, 상기 객체추적부는 상기 2차 필터링된 객체의 움직임을 추적하게 된다.

다른 실시 예에 따라, 상기 객체추적부는, 상기 1차필터부 또는 2차필터부에서 출력된 영상에 대하여, 상호 연접한 픽셀끼리 동일한 번호를 붙이는 방법으로 상기 필터링된 객체마다 레이블링하여 복수 개의 객체를 구분할 수 있다.

상기 카운터부는, 상기 영상 프레임 내에 설정된 감지선을 통과하는 것으로 판단된 객체를 계수할 수 있다. 바람직하게는, 상기 카운터부는 상기 영상 프레임 내에 2개의 감지선을 설정하고, 상기 추적한 객체가 상기 2개의 감지선 중 하나를 통과한 후 다른 감지선을 통과하는 경우에 상기 객체를 계수할 수 있다.

본 발명의 다른 실시 예에 따라, 일정한 공간을 촬영하는 카메라를 구비하여 상기 공간을 출입하는 출입자를 계수하는 방문자 계수방법은, 상기 카메라에 의해 촬영된 영상 프레임으로부터 배경을 제거하고 상기 출입자에 해당하는 객체의 영역을 추출하는 단계와, 상기 추출된 객체영역에서 상기 객체영역의 가로방향의 중심 픽셀의 밝기 값과 대비하여 유사 범위의 밝기 값을 가지는 픽셀을 남기고 유사범위를 벗어나는 픽셀을 제거하여 1차 필터링하는 단계와, 상기 촬영하는 단계에서 연속적으로 촬영한 복수 개의 영상 프레임에 대한 상기 객체 영역을 추출하는 단계와 1차 필터링 단계를 반복한 결과를 기초로 상기 1차 필터링된 객체의 움직임을 추적하는 단계와, 상기 추적한 객체의 움직임을 기초로 상기 출입자를 계수하는 단계를 포함한다.

본 발명에 따른 방문자 계수 시스템은 정형적인 형태의 방문자 뿐만 아니라, 밝은 색의 모자를 쓴 방문자나 방문자가 입은 옷의 색상 등에 의해 영상에 나타나는 비선형적 형태의 객체를 구별하여 계수할 수 있다.

이를 위해, 계수 시스템은 색상을 중심으로 유사범위를 필터링하여 객체를 단순화함으로써, 사람의 머리에 대비되는 타원과 같은 특정 형태를 직접적으로 검색하는 정형적인 형태의 객체 추적방식에 비해 다양한 형태의 객체를 계수할 수 있다.

컬러 이미지에 적용될 경우, 본 발명의 계수방식은 컬러 정보를 이용하여 하나의 슈퍼 픽셀로 재구성함으로써 연산 속도를 향상시킴과 동시에 객체 판단의 오류를 현저하게 줄일 수 있다. 방식에 비하여 오차가 현저하게 줄어든다.

도 1은 본 발명의 일 실시 예에 따른 방문자 계수 시스템의 블록도,
도 2는 본 발명의 방문자 계수 시스템의 동작설명에 제공되는 흐름도,
도 3은 본 발명의 설명에 제공되는 RGB 컬러모델,
도 4는 카메라로부터 입력받은 컬러 영상 이미지의 예,
도 5는 도 4에서 배경이 제거되고 슈퍼픽셀 처리가 된 결과를 시각적으로 나타낸 이미지,
도 6은 도 5의 이미지에 대하여 그레이 값을 적용한 결과를 시각적으로 나타낸 이미지,
도 7은 도 6의 이미지에 대하여 1차 필터링과 2차 필터링이 수행된 결과를 시각적으로 나타낸 이미지,
도 8은 본 발명에 따른 감지선의 예를 도시한 도면, 그리고
도 9는 본 발명에 따른 객체의 추적과정의 예를 시각적으로 나타낸 이미지이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1을 참조하면, 본 발명의 영상 분석을 이용한 방문자 계수 시스템(100)은 카메라(110)와, 영상제어기(130)를 포함한다.

본 발명에서 사용되는 카메라(110)는 각 픽셀이 계조값만을 포함하는 흑백 영상을 생성하는 카메라이어도 무방하나, 컬러 영상을 생성하는 카메라가 바람직하다. 컬러 카메라의 경우, 아래에서 설명하게 될 슈퍼 픽셀의 개념을 적용하여 객체의 정보를 단순화할 수 있어서 영상처리과정이 간단해 질 수 있고, 따라서 전체 영상처리의 실행도(Performance)가 향상될 수 있다. 이하에서는 컬러 카메라를 중심으로 설명한다.

영상제어기(130)가 영상처리에 사용하는 컬러 영상신호는 디지털 신호이기 때문에, 영상제어기(130)가 카메라(110)가 제공한 아날로그 영상을 디지털 영상으로 변환하거나, 카메라(110)가 처음부터 디지털 영상신호를 제공하여야 한다.

통상 알려진 바와 같이, 카메라 장치는 아날로그 카메라 뿐만 아니라, 최근엔 촬영한 영상을 디지털 신호로 직접 변환하여 출력하는 디지털 카메라와, IP(Internet Protocol)망에 바로 접속하여 촬영한 디지털 영상을 어디라도 제공할 수 있는 IP 카메라까지 등장하고 있다.

본 발명의 카메라(110)는 영상제어기(130)와 더불어, 디지털 컬러 영상을 생성할 수 있는 카메라이면 어떠한 카메라이더라도 무방하며, 아날로그 카메라, 디지털 카메라 뿐만 아니라 IP 카메라도 가능하다.

예컨대, 카메라(110)가 아날로그 컬러 영상을 생성할 수 있는 아날로그 컬러 카메라인 경우, 영상제어기(130)가 아날로그 영상신호를 디지털 신호로 변환하기 위한 변환기를 포함하거나, 카메라(110)와 영상제어기(130)사이에 아날로그-디지털 변환기(미도시)가 포함될 수 있다. 또한, 카메라(110)가 IP 카메라인 경우, 영상제어기(130)가 IP 망에 접속할 수 있는 네트워크 인터페이스 수단을 포함하거나, 영상제어기(130)를 IP 망에 접속시킬 수 있는 네트워크 인터페이스 수단이 카메라(110)와 영상제어기(130)사이에 포함될 수 있다.

또한, 실시 예에 따라, 방문자 계수 시스템(100)은 하나의 영상제어기(130)에 복수 개의 카메라(110, IP 카메라가 아닌)를 포함할 수 있다. 이러한 경우, 영상제어기(130)가 별도의 스위칭(Switching) 내지 라우팅(Routing) 수단을 포함하거나, 복수 개의 카메라(110) 신호를 영상제어기(130)로 스위칭 내지 라우팅하는 장비가 카메라(110)와 영상제어기(130) 사이에 더 포함될 수 있다.

카메라(110)는 감시 공간을 수직으로 내려보는 형태로 설치되는 것이 바람직하다.

영상제어기(130)는 카메라(110)로부터 입력되는 컬러 영상을 처리하여 특정 감시지역을 통과하는 방문자의 수를 카운팅한다. 이를 위해, 영상제어기(130)는 배경제거부(131), 슈퍼픽셀처리부(133), 1차필터부(135), 2차필터부(137), 객체추적부(139) 및 카운터부(141)를 포함한다. 영상제어기(130)의 영상처리는 프레임마다 동일하게 이루어진다. 경우에 따라, 초당 입력되는 프레임의 수가 필요 이상으로 많을 경우, 예컨대 연속적으로 입력되는 2개 영상 프레임 중 하나는 처리하지 아니할 수 있을 것이다.

<동적 배경제거 단계: S201>

배경제거부(131)는 카메라(110)가 촬영한 컬러 영상 프레임을 분석하여 배경과 객체를 분리함으로써 배경을 제거한다. 이 때, 배경제거부(131)는 일정한 크기 이상을 가진 것만을 객체로 인식할 수 있다.

여기서, 배경제거부(131)는 배경을 깨끗하게 제거하기 위해 배경변화와 객체변화의 갱신 시간의 차를 두는 타이밍 기반 방법(Timing-Based Method)을 적용할 수 있다. 즉, 처음에 객체로 분류된 것이라도 오랜 시간 동안 움직이지 않으면 배경으로 분류한다.

이를 위해, 움직임이 있는 객체와 움직임이 없는 객체의 화면 갱신 시간을 설정하여 움직이는 객체만을 추출하여, 단순 차 영상(Difference Image)을 통한 배경 제거 보다 동적으로(Dynamic) 배경을 제거하고 객체만 분리할 수 있다. 도 5는 도 4의 카메라 영상으로부터 동적 배경 제거 기법을 적용한 결과영상이다.

<컬러 슈퍼 픽셀 처리단계: S203>

컬러 슈퍼 픽셀(Super Pixel) 처리단계는 입력되는 영상이 컬러 영상인 경우에 적용된다. 따라서 계조 값만을 가지는 흑백 영상인 경우에 슈퍼 픽셀 처리단계는 적용되지 않는다.

슈퍼픽셀처리부(133)는 배경제거부(131)에 의해 배경이 제거된 영상 프레임의 객체영역에서 유사한 색상값을 가지는 픽셀들끼리 묶어 하나의 색상값을 부여함으로써 객체의 색상정보를 줄인다. 이렇게 생성된 한 묶음의 픽셀군은 동일한 색상 값을 가지기 때문에 마치 하나의 픽셀(이하, '슈퍼 픽셀'이라 함)과 같다. 이를 통해, 슈퍼픽셀처리부(133)는 이후의 영상처리 속도를 개선한다.

구체적으로, 슈퍼 픽셀(Super Pixel)이란, 서로 다른 컬러를 가지는 여러 개의 분산된 픽셀을 컬러의 유사정도를 기준으로 하나의 컬러로 통합하여, 단일 컬러 성분을 갖는 하나의 픽셀군을 생성하게 된다. 슈퍼픽셀처리부(133)는 배경제거부(131)에서 추출한 객체영역을 유사한 색상값을 가지는 픽셀들끼리 나누어 적어도 하나의 픽셀군으로 분류하고, 각 픽셀군은 동일한 하나의 색상값을 할당하여 하나의 슈퍼픽셀로 만드는 것이다. 슈퍼 픽셀 처리는 배경이 제거되었으므로, 당연히 객체 영역에 대하여만 이루어진다.

이러한 작업은 객체 영역의 색상정보를 단순화하기 때문에, 이후의 영상처리를 가볍게 되고 실시간 컬러영상 처리속도가 비약적으로 개선된다. 또한, 슈퍼 픽셀에 의해 방문자의 머리가 하나의 컬러정보로 단일화되고, 방문자의 상의가 하나의 컬러정보로 단일화되는 것처럼 슈퍼 픽셀 자체가 실제 방문자의 외형적 형태에 유사하기 때문에, 객체의 형태를 검출할 경우 색상 정보의 차이에서 비롯되는 불필요하고 부정확한 형태로 객체 또는 그 외곽선이 인식되어 처리되는 문제를 차단하여, 객체를 용이하게 인식하고 처리하게 한다.

슈퍼 픽셀의 방법적 기본 원리는 피라미드 분할 법을 기초로 한다. 피라미드 분할은 각 단계에서 색상 병합을 수행하면서 결과적으로 영상을 분할한다. 이 방법은 영상의 전체 에너지를 최소화하는 형태로 진행하며 에너지는 결합강도(Link Strength)에 의해 정의한다. 그리고 피라미드 분할에서는 색상 유사도(Color Similarity)를 이용한다. 즉, 다차원(x, y, R,G,B)공간에 존재하는 데이터 점들의 집합이 주어지면 평균-이동 알고리즘을 이용하여 색상 및 공간적 분포에서 색상 분포가 최대를 이루는 군집을 찾는다.

도 3을 참조하면, RGB 벡터 공간에서 입력 영상의 RGB 영상의 평균 컬러를 구하고 평균 컬러를 표현하기 위한 RGB 벡터를 a로 선언하고, RGB 컬러 공간의 임의 점을 z로 설정한다. 데이터 점들의 집합을 분할하기 위한 임계값 D₀를 설정하고 해당 임계값의 범위안에서 a와 z간의 유클리안(Euclidean)거리를 측정하여 색상 유사도가 높은 영역끼리 분류(Classify)하고 그 평균 색상값으로 변환한다.

의 조건일 때, 다음의 수학식 1을 이용하여 z와 a의 유클리안 거리 구하여 컬러 분할을 수행한다.

여기서, z_R, z_G, z_B는 점 z의 R, G, B 색상의 크기이고, a_R, a_G, a_B는 벡터 a의 R, G, B 색상의 크기이다.

다시 말해, 다차원 공간에 존재하는 데이터 점들의 집합이 주어지면 사용자 설정 원도우를 스캔하면서 최대 밀도를 갖는 블롭스(Blobs)을 찾아내는 방식이다. 여기서 영상의 2차원 공간좌표에서의 원도우 크기를 표현하는 반지름(Spatial Radius)과 색상 공간에서의 원도우 크기를 표현하는 반지름(Color Radius)을 설정한다. 설정된 임계값에 의해 가장 밀집도가 높은 곳에서 방사형으로 퍼져나가는 포함관계가 형성되고, 이를 이용하여 컬러 분할이 이루어진다.

컬러 분할에 의해 하나의 픽셀 군이 유사한 색상값의 집합으로 분할되면, 해당 픽셀 군의 각 픽셀의 색상값을 해당 픽셀 군의 색상 값의 평균값으로 일괄 변환시킴으로써, 해당 픽셀 군을 하나의 픽셀, 즉 슈퍼픽셀로 변환시킨다.

도 4는 카메라(110)로부터 입력받은 원래의 컬러 영상 이미지로서, 도 4의 (a)는 줄무늬 옷을 입고 있는 사람, 도 4의 (b)는 분홍색 단색 옷을 입고 있는 사람, 도 4의 (c)는 줄무늬 옷과 파란 야구모자를 포함하고 있는 영상이다.

도 5는 도 4의 이미지에 대하여 배경제거부(131)가 배경을 제거한 다음, 슈퍼픽셀처리부(133)가 슈퍼 픽셀처리한 이미지이다.

도 5의 (a)와 (c)의 경우, 도 4의 (a)와 (c)에 있던 줄무늬가 없어지고 하나의 색으로 통합되었음을 알 수 있다. 다시 말해, 도 4의 (a)와 (c)의 출입자의 옷에 해당하는 영역이 하나의 유사 색상값으로 컬러 분할되었고, 해당 옷 부분의 전체 색상이 하나의 평균 색상값으로 대체됨에 따라 줄무늬가 사라지게 된 것이다.

<1차 필터링(Filtering) 단계: S205>

1차필터부(135)는 슈퍼픽셀처리부(133)가 처리한 영상(예컨대, 도 5의 결과영상)에서 객체영역의 중심을 검출하고, 그 검출된 객체 중심의 밝기(계조)와 비교하여 유사한 밝기 범위(계조 범위)에 속하는 픽셀은 남기고 비유사 영역은 제거하는 1차 필터링을 수행한다.

이를 위해, 1차필터부(135)는 각 픽셀의 밝기 값(계조 값)이 필요하며, 슈퍼픽셀처리부(133)가 처리한 영상(예컨대, 도 5의 결과영상)의 RGB 값을 색차계(Y, Cb, Cr)나 보색계(Y, M, C, K)로 변환하여 계조값에 해당하는 Y값을 계산한다. 여기서, 밝기 등급은 그레이 스케일(Gray Scale)정보에 따라 복수 개의 레벨, 예컨대, 0 ~ 255 레벨로 등급화될 수 있다.

객체 영역의 중심은 아래에서 설명되는 감지선과 평행한 방향을 기준으로, 객체상의 중심점으로 구해진다. 예컨대, 감지선이 도 8의 제1 감지선(L1)과 같은 경우, 영상 프레임의 가로축 방향을 기준으로 검출된 객체의 중심을 구한다. 반대로, 감지선이 영상 프레임의 세로축 방향으로 형성된 경우, 객체 영역의 중심도 검출된 객체의 세로방향의 길이의 중심이 될 것이다. 이하의 설명은 감지선이 영상 프레임의 가로방향으로 형성된 예를 기준으로 설명하고, 도 4 내지 도 9도 감지선이 영상 프레임의 가로방향으로 형성된 예에 해당한다.

1차필터부(135)의 1차 필터링은 객체의 중심의 밝기를 계산하여, 중심과 유사한 밝기를 가지는 픽셀만을 유지하고, 그 유사범위에 속하지 않는 밝기의 픽셀을 제거함으로써 이루어진다. 여기서, 유사영역의 밝기는 실험적으로 설정될 수 있으며, 예컨대 중심의 밝기를 C라고 할 경우, 유사영역의 밝기는 (C-10)에서 (C+10)까지의 범위로 할 수 있다.

예컨대 감지선과 평행한 방향을 기준으로 할 때 방문자가 감지선과 수평인 몸의 형태를 유지하면서 감지선과 수직인 방향으로 진행하게 되므로, 객체의 중심은 대개 머리부분이 된다. 따라서 1차 필터링은 머리부분의 밝기와 동일한 밝기를 가지는 영역만을 남기게 된다.

방문자가 밝은 색 모자를 쓴 경우에는 그 밝은 색과 유사한 범위만을 남기고 나머지는 모두 필터링된다. 따라서 일반적인 머리색과 다른 색의 모자를 쓴 객체도 인식할 수 있게 되어, 종래에 단순히 검은색을 찾아 처리함에 따라 밝은 색 모자를 쓴 객체를 인식하지 못한 문제를 해결한다.

실시 예에 따라, 1차필터부(135)는 객체 영역의 중심을 선정함에 있어 한 개 객체의 표준 가로크기를 적용할 수 있다. 예컨대, 어깨동무한 2명의 객체의 경우 표준 가로크기를 벗어나게 될 것이므로, 1차필터부(135)는 2명으로 판단하고 2개의 중심을 추출할 수 있다.

도 6은 그레이 레벨이 적용된 그레이 값이 재할당된 영상을 보이고, 도 7은 도 6의 이미지에 대하여 1차 필터링이 수행된 결과를 보인다. 도 6의 (b)의 경우, 객체의 중심은 모자쯤이 될 것이다. 따라서 도 6의 (b)에 대해 1차 필터링이 수행되면, 도 7의 (b)와 같이 중심과 유사한 밝기를 가지는 모자, 바지 및 구두가 삭제되지 않고 객체를 대표하게 된다. 만약, 단순히 색상정보에 기초하여 사람의 머리형상에 해당하는 둥근 타원형 객체영역을 검출하는 방식이라면, 도 6의 (b)와 같은 경우의 영상에서는 해당 객체를 인식하지 못하게 될 것이지만, 본 발명에서는 그러한 문제가 발생하지 아니한다.

도 7의 (a)를 참조하면, 도 6의 (a)에서 객체의 중심인 머리와 유사한 밝기를 가지는 구두 부분과 오른손 부분이 필터링되지 않고 남게 됨을 알 수 있다. 여기서, 구두와 오른손 부분은 머리부분과 떨어져 움직이기 때문에 계수과정에서 별도로 계수되는 오류를 일으킬 수 있다. 이를 위해, 다음의 2차 필터링이 수행된다.

<2차 필터링(Filtering) 단계: S207>

2차필터부(137)는 밝기 등급에 따라 1차 필터링된 영상에서 제거되지 않고 남은 객체부분을 검출하고, 검출된 부분 중에서 그 크기(면적)가 일정한 기준 이하인 부분을 잡음으로 처리하여 제거하는 2차 필터링을 수행한다.

이에 따라, 도 6의 (a)와 같은 경우에 객체의 중심은 역시 머리 부분이 될 것이다. 따라서 1차 필터링을 거치면, 머리 부분과 유사한 밝기 등급을 가지는 구두부분이 제거되지 아니하고 존재하여 다음 단계에서 처리될 것이며, 계수의 혼란을 야기하게 될 것이다. 그러나 도 6의 (a)의 구두부분은 2차 필터링과정에서 기준크기에 미치지 못하여 제거될 것이며 이후의 영상처리에 관여하지 않게 된다.

도 7은 도 6의 이미지에 대하여 1차 필터링과 2차 필터링이 수행된 결과를 시각적으로 표시하고 있다. 도 7의 (a)를 참조하면, 도 6의 (a)에서 객체의 중심(머리)과 유사한 밝기를 가지는 구두 부분 및 오른손 부분이 2차 필터링에 의해 제거됨을 시각적으로 도시하고 있다.

만약에 어깨동무를 한 2명의 출입자가 있는 경우, 2차 필터링에 의하더라도, 2명의 머리 부분만이 별개의 객체로 살아남게 된다. 따라서 계수 단계에서 2명이 진입한 것으로 판단할 수 있다.

<객체 추적 및 계수단계: S209 내지 S213>

본 발명의 계수 시스템(100)은 공간 내에 출입하는 출입자를 계수하기 위해, 다음의 조건을 적용한다. 그 조건은, 영상 프레임 내에 존재하는 적어도 하나의 선인 '감지선'을 기준으로 해당 감지선을 통과하는 객체, 즉 사람을 계수하게 되는 것이다. 따라서 객체로 인식될 수 있는 것이라도 해당 감지선을 통과하지 아니하는 객체는 영상처리, 혹은 적어도 계수의 대상이 되지 아니한다.

실시 예에 따라, 카운터부(141)는 그 감지선을 통과하는 방식에 관한 보다 복잡한 조건을 부여할 수 있다. 예컨대, 카운터부(141)는 도 8의 실시 예와 같이, 제1 감지선(L1)과 제2 감지선(L2)의 2개의 감지선을 적용하고, 제1 감지선(L1)을 A1 방향으로 통과한 다음 제2 감지선(L2)을 A2 방향으로 통과한 사람만을 계수하도록 설정할 수 있다. 따라서, 제1 감지선(L1)을 A1 방향으로 통과하였다가 다시 A3방향으로 퇴장한 사람은 계수되지 않을 수 있다. 또한, 카운터부(141)는 제2 감지선(L2)을 A4 방향으로 통과한 다음 제1 감지선(L1)을 A3 방향으로 통과한 사람을 별도로 계수할 수도 있다.

이러한 계수 처리를 위해서는 하나의 영상 프레임에 대한 영상처리만으로 불가능하며, 연속하여 입력되는 복수 개의 영상 프레임에 대한 영상처리에 기초하여 검출된 객체를 추적하는 것이 필요하다. 객체추적부(139)는 도 9와 같이 연속하여 입력되는 각 영상 프레임에 대하여 2차 필터링된 결과 영상들에서 객체의 이동 경로 및 방향을 추출하여 추적하고, 카운터부(141)는 그 추적결과를 기초로 조건에 해당하는 출입자를 계수한다. 도 9에서, 각 점들은 각각의 영상 프레임에서 추출된 객체의 중심이다.

복수의 객체를 추적하기 위해, 객체추적부(139)는 2차 필터링되고 남은 객체에 대해 레이블링(labeling)을 수행할 수도 있다. 여기서, 레이블링이란 인접된 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않는 다른 성분에는 다른 번호를 붙이는 작업을 뜻한다. 따라서 하나의 영상 프레임 내에 포함된 복수 개의 객체의 움직임을 개별적으로 파악하여 계수할 수 있다.

구체적으로, 객체추적부(139)는 2차 필터링된 객체의 최외각 정보를 이용하여, 검출된 객체를 수용하는 크기의 사각형을 상정하고, 해당 사각형에 포함되는 픽셀에 대해 동일한 번호를 부여하는 방법으로 레이블링을 수행한다.

이상의 방법으로, 영상제어기(130)는 카메라(110)로부터 입력되는 컬러 영상을 처리하여 특정 감시지역을 통과하는 방문자의 수를 계수한다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

일정공간을 출입하는 출입자를 촬영하는 카메라;
상기 카메라로부터 입력되는 영상 프레임으로부터 상기 출입자에 해당하는 객체의 영역을 추출하고 배경을 제거하는 배경제거부;
상기 추출된 객체영역에서, 상기 객체영역의 가로방향의 중심 픽셀의 밝기 값과 대비하여 유사 범위의 밝기 값을 가지는 픽셀을 남기고 유사범위를 벗어나는 픽셀을 제거하여 필터링하는 1차필터부;
상기 카메라로부터 연속적으로 입력되는 복수 개의 영상 프레임에 대한 상기 1차필터부의 처리결과를 기초로, 상기 1차필터부에 의해 1차 필터링된 객체의 움직임을 추적하는 객체추적부; 및
상기 객체추적부에서 추적한 객체의 움직임을 기초로 상기 출입자를 계수하는 카운터부를 포함하는 것을 특징으로 하는 방문자 계수 시스템.
제1항에 있어서,
상기 카메라가 생성한 영상이 컬러영상인 경우,
상기 1차필터부는, 상기 배경제거부에서 추출한 객체영역의 RGB 색상값을 색차계 또는 보색계 신호로 변환하여 상기 밝기 값을 추출하는 것을 특징으로 하는 방문자 계수 시스템.
제1항에 있어서,
상기 카메라가 생성한 영상이 컬러영상인 경우, 상기 배경제거부에서 추출한 객체영역에서 유사한 색상값을 가지는 픽셀들끼리 묶어 하나의 색상값을 부여하여 객체의 색상정보를 줄이는 슈퍼픽셀처리부를 더 포함하는 것을 특징으로 하는 방문자 계수 시스템.
제1항에 있어서,
상기 1차필터부에서 1차 필터링된 객체 중에서 일정 기준 크기 이하의 객체를 잡음으로 제거하여 2차 필터링하는 2차필터부를 더 포함하고,
상기 객체추적부는 상기 2차 필터링된 객체의 움직임을 추적하는 것을 특징으로 하는 방문자 계수 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 객체추적부는, 상기 1차필터부 또는 2차필터부에서 출력된 영상에 대하여, 상호 연접한 픽셀끼리 동일한 번호를 붙이는 방법으로 상기 필터링된 객체마다 레이블링하여 복수 개의 객체를 구분하는 것을 특징으로 하는 방문자 계수 시스템.
제1항에 있어서,
상기 카운터부는,
상기 영상 프레임 내에 설정된 감지선을 통과하는 것으로 판단된 객체를 계수하는 것을 특징으로 하는 방문자 계수 시스템.
제6항에 있어서,
상기 카운터부는,
상기 영상 프레임 내에 2개의 감지선을 설정하고, 상기 추적한 객체가 상기 2개의 감지선 중 하나를 통과한 후 다른 감지선을 통과하는 경우에, 상기 객체를 계수하는 것을 특징으로 하는 방문자 계수 시스템.
일정한 공간을 촬영하는 카메라를 구비하여 상기 공간을 출입하는 출입자를 계수하는 방문자 계수방법에 있어서,
상기 카메라에 의해 촬영된 영상 프레임으로부터 배경을 제거하고 상기 출입자에 해당하는 객체의 영역을 추출하는 단계;
상기 추출된 객체영역에서, 상기 객체영역의 가로방향의 중심 픽셀의 밝기 값과 대비하여 유사 범위의 밝기 값을 가지는 픽셀을 남기고 유사범위를 벗어나는 픽셀을 제거하여 1차 필터링하는 단계;
상기 촬영하는 단계에서 연속적으로 촬영한 복수 개의 영상 프레임에 대한 상기 객체 영역을 추출하는 단계와 1차 필터링 단계를 반복한 결과를 기초로, 상기 1차 필터링된 객체의 움직임을 추적하는 단계; 및
상기 추적한 객체의 움직임을 기초로 상기 출입자를 계수하는 단계를 포함하는 것을 특징으로 하는 방문자 계수방법.
제8항에 있어서,
상기 카메라가 생성한 영상이 컬러영상인 경우,
상기 1차 필터링하는 단계는, 상기 객체영역의 RGB 색상값을 색차계 또는 보색계 신호로 변환하여 상기 밝기 값을 추출하는 것을 특징으로 하는 방문자 계수방법.
제8항에 있어서,
상기 카메라가 생성한 영상이 컬러영상인 경우, 상기 객체의 영역을 추출하는 단계 후에, 상기 추출한 객체영역에서 유사한 색상값을 가지는 픽셀들끼리 묶어 하나의 색상값을 부여하여 객체의 색상정보를 줄이는 단계를 더 포함하는 것을 특징으로 하는 방문자 계수방법.
제8항에 있어서,
상기 1차 필터링된 객체 중에서 일정 기준 크기 이하의 객체를 잡음으로 제거하여 2차 필터링하는 단계를 더 포함하고,
상기 객체의 움직임을 추적하는 단계는 상기 2차 필터링된 객체의 움직임을 추적하는 것을 특징으로 하는 방문자 계수방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 객체의 움직임을 추적하는 단계는, 상기 1차 필터링 또는 2차 필터링된 영상에 대하여, 상호 연접한 픽셀끼리 동일한 번호를 붙이는 방법으로 상기 필터링된 객체마다 레이블링하여 복수 개의 객체를 구분하는 것을 특징으로 하는 방문자 계수방법.
제8항에 있어서,
상기 출입자를 계수하는 단계는, 상기 영상 프레임 내에 설정된 감지선을 통과하는 것으로 판단된 객체를 계수하는 것을 특징으로 하는 방문자 계수방법.
제13항에 있어서,
상기 출입자를 계수하는 단계는,
상기 영상 프레임 내에 2개의 감지선을 설정하고, 상기 추적한 객체가 상기 2개의 감지선 중 하나를 통과한 후 다른 감지선을 통과하는 경우에, 상기 객체를 계수하는 것을 특징으로 하는 방문자 계수방법.