KR20160078154A - 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

고객 정보 제공 방법은 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 단계, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 단계, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 단계, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 단계, 특징값에 기초하여 얼굴 영역을 추적하는 단계 및 얼굴 영역이 상기 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 단계를 포함한다.

Description

고객 정보 제공 방법, 장치 및 컴퓨터 프로그램{CUSTOMER INFORMATION PROVISION METHOD, DEVICE AND COMPUTER PROGRAM}

본 발명은 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

피플 카운터란, 일정 영역에 대해 지나가는 사람을 카운트하는 장치를 의미한다. 과거에는 사람이 일일이 수작업으로 카운트를 하고 통계를 내었으나 인력과 비용, 시간이 많이 드는 문제가 있어서, 적외선 센서나 카메라 등을 이용하여 출입 카운트를 자동화하고 있는 추세이다.

적외선 센서를 이용하는 방법은 출입구 양쪽에 적외선 송신부와 수신부를 설치하여 물체에 의해 적외선이 끊어지면 카운트하는 방법인데, 두 사람 이상 나란히 출입하는 경우나 카트를 끌고 가는 경우 카운트 에러가 발생하기 때문에 정확한 카운트를 할 수 없는 문제가 있었다.

이러한 문제를 해결하기 위해 기존의 피플 카운터에 얼굴 검출(face detection) 기술을 접목시키게 되었다. 얼굴 검출이란, 컴퓨터 비전의 한 분야로 영상(Image)에서 얼굴이 존재하는 위치를 알려주는 기술로서, 다양한 크기의 얼굴을 검출하기 위해 한 픽셀씩 이동하며 특정 크기(예, 20x20 픽셀)의 해당 영역이 얼굴인지 아닌지를 분류한다.

이와 관련하여, 한국등록특허 제 1446143호는 카메라를 통해 입력되는 영상으로부터 인물 이미지를 추출하고, 인물 이미지로부터 얼굴 영역을 검출하고, 얼굴 영역의 특징 데이터를 추출하고, 특징 데이터가 추출되면 그 추출된 특징 데이터를 관제 서버로 전송하고, 관제 서버로부터 추출된 특징 데이터와 기등록된 특징 데이터 간의 유사도 평가에 따른 인식 결과를 수신하는 방법에 대해 개시하고 있다.

한국등록특허 제 1446143호

영상 입력 장치로부터 수신한 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 움직임에 기초하여 객체를 카운팅함으로써, 검출된 얼굴 영역으로부터 고객에 대한 정보를 분석할 수 있고, 검출된 얼굴 영역에 고유 식별자를 부여하여 중복 카운트를 방지할 수 있는 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 단계, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 단계, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 단계, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 단계, 특징값에 기초하여 얼굴 영역을 추적하는 단계 및 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 단계를 포함하는 고객 정보 제공 방법을 제공할 수 있다.

또한, 본 발명의 다른 실시예는, 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 움직임 검출부, 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 얼굴 검출부, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 오검출 판단부, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 얼굴 분석부, 특징값에 기초하여 상기 얼굴 영역을 추적하는 얼굴 추적부 및 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 카운트부를 포함하는 고객 정보 제공 장치를 제공할 수 있다.

또한, 본 발명의 또 다른 실시예는, 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하고, 움직임이 있는 구역으로부터 얼굴 영역을 검출하고, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하고, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하고, 특징값에 기초하여 얼굴 영역을 추적하고, 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하도록 하는 명령어들의 시퀀스를 포함하는 컴퓨터 프로그램을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

영상 입력 장치로부터 수신한 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 움직임에 기초하여 객체를 카운팅함으로써, 검출된 얼굴 영역으로부터 고객에 대한 정보를 분석할 수 있고, 검출된 얼굴 영역에 고유 식별자를 부여하여 중복 카운트를 방지할 수 있는 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 고객에 대한 정보를 제공하는 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 고객 정보를 제공하는 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 얼굴 영역을 추적하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 고객 분석 장치의 블록도이다.
도 5는 종래 기술에 따른 객체 검출에 대한 예시적인 도면이다.
도 6은 종래 기술에 따른 객체 검출에 대한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 얼굴 영역을 추적하는 방법을 설명하기 위한 예시적인 도면이다.
도 8는 본 발명의 일 실시예에 따른 영상 입력 장치의 위치를 예시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 고객에 대한 정보를 제공하는 시스템의 구성도이다.

도 1을 참조하면, 고객 정보 제공 시스템(1)은 고객 분석 장치(100) 및 영상 입력 장치(110)를 포함하며, 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 검출된 얼굴 영역에 기초하여 고객 분석 및 출입을 관리할 수 있다. 도 1에 도시된 고객 분석 장치(100) 및 영상 입력 장치(110)는 고객 정보 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.

도 1의 고객 정보 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 고객 분석 장치(100)는 네트워크를 통하여 영상 입력 장치(110)와 연결될 수 있다.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE 등이 포함되나 이에 한정되지는 않는다.

고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 검출된 얼굴 영역에 기초하여 고객 분석 및 출입을 관리하도록 구성될 수 있다.

구체적으로, 고객 분석 장치(100)는 영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하고, 움직임이 있는 구역으로부터 얼굴 영역을 검출하고, 얼굴 데이터베이스에 기초하여 검출된 얼굴 영역이 오검출된 얼굴인지 판단하고, 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하고, 특징값에 기초하여 얼굴 영역을 추적하고, 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다.

영상 입력 장치(110)는 고객이 출입하는 입구에 설치되어 고객이 출입하는 영상을 촬영할 수 있고, 촬영된 영상을 고객 분석 장치(100)로 전송하도록 구성될 수 있다. 영상 입력 장치(110)는 웹캠, CCTV, 디지털 카메라, 스마트 폰 카메라 등 일 수 있다.

도 2는 본 발명의 일 실시예에 따른 고객 정보를 제공하는 방법의 순서도이다. 도 2를 참조하면, 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상을 분석하도록 구성될 수 있다.

단계 S200에서 고객 분석 장치(100)는 영상 입력 장치(110)로부터 수신한 영상으로부터 움직임이 있는 구역을 검출할 수 있다. 이는 고객 분석 장치(100)가 영상 프레임 전체에서 얼굴을 찾는 경우, 많은 연산량이 요구되므로 움직임이 있는 영역에 대해서만 얼굴 영역을 검출하여 연산량을 감축시키기 위함이다.

예를 들어, 고객 분석 장치(100)는 연속된 영상 프레임 간에 차이 정보에 기초하여, 변화된 픽셀을 검출하고 변화된 픽셀과 변화되지 않은 픽셀로 이진화할 수 있다. 고객 분석 장치(100)는, 이진화된 부분은 1*1 픽셀 단위로 구성되어 있기 때문에, 기설정된 격차 패치(예를 들어, 2*2 ~ N*N)를 이용하여 이진화된 부분을 그룹화할 수 있다. 프레임 전체적으로 그룹화가 끝난다면, 본래의 프레임에 대한 1/N 만큼 축소된 영상 프레임을 얻을 수 있어 이 후 기술될 프로세싱에 대한 처리 속도를 향상시킬 수 있다.

고객 분석 장치(100)는 그룹화된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링(Labeling)할 수 있다. 고객 분석 장치(100)는, 레이블링 단계가 끝나면, 예를 들어, 움직인 사람 및 움직인 동물 등 오브젝트 단위로 그룹화함으로써 분류할 수 있다.

고객 분석 장치(100)는 레이블링된 객체 중 사람의 상반부를 검출할 수 있다. 본원 발명은 종래 기술과 달리 움직임이 있는 구역에서도 상반부만을 검출하여 얼굴을 추출하는데, 이는 얼굴 영역은 확률적으로 움직임이 있는 구역의 상단 부분에만 존재하고, 이후 기술될 프로세싱에 대한 처리 속도를 향상시키기 위함이다.

단계 S210에서 고객 분석 장치(100)는 검출된 움직임이 있는 구역으로부터 얼굴 영역을 검출할 수 있다. 예를 들어, 고객 분석 장치(100)는 신경망(Neural Network), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 추출된 상반부로부터 얼굴 영역을 검출할 수 있다.

단계 S220에서 고객 분석 장치(100)는 얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단할 수 있다. 이 때, 얼굴 데이터베이스는 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등을 포함할 수 있다.

예를 들어, 고객 분석 장치(100)는 얼굴 데이터베이스에 포함된 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등에 기초하여 검출된 영굴 영역을 오검출된 얼굴인지 판단할 수 있는데, 검출된 얼굴의 크기가 얼굴의 평균 크기의 두배이거나 피부색이 파란색일 경우 오검출된 얼굴일 확률이 크다.

고객 분석 장치(100)는 오검출된 얼굴 영역로 판단될 경우 검출된 얼굴 영역에서 제외시킬 수 있다. 이로써, 고객 분석 장치(100)는 오검출된 얼굴 영역에 대한 추적을 방지할 수 있다.

단계 S230에서 고객 분석 장치(100)는 오검출된 얼굴 영역이 아니라고 판단된 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여할 수 있다. 예를 들어, 고객 분석 장치(100)는 얼굴 영역에 대한 특징값으로서, 브이엘피비(VLBP(Volume Local Binary Pattern)), 에이치에스브이 컬러 히스토그램(HSV color histogram), 하르 유사 특징(Haar-like feature), 국부 이진 패턴(Local Binary Pattern) 및 모디파이드 센서스 트랜프폼(Modified Census Transform) 등을 추출할 수 있고, 검출된 얼굴 영역 각각 마다 아이디를 부여할 수 있다. 이 때, 부여되는 아이디는 해당 얼굴 영역에 대응하는 고유 아이디일 수 있다.

단계 S240에서 고객 분석 장치(100)는 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출할 수 있다. 예를 들어, 고객 분석 장치(100)는 성별을 판단할 경우 모디파이드 센서스 트랜스폼(Modified Census Transform) 및 신경망(Neural network) 등을 사용하고, 연령을 판단할 경우 가버 필터(Gabor filter) 및 서포트 벡터 머신(Support Vector Machine) 등을 이용할 수 있다. 이로써, 고객 분석 장치(100)는 얼굴 검출 기반으로 피플 카운팅을 하는 동시에 성별 및 연령 등의 고객에 대한 성향 또한 분석할 수 있다.

단계 S250에서 고객 분석 장치(100)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다. 예를 들어, 고객 분석 장치(100)는 얼굴 영역이 검출될 때마다 얼굴 영역에 대한 특징값을 업데이트하고, 이전 영상 프레임에서 추출된 특징값과 업데이트된 특징값을 비교하여 얼굴 영역을 추적할 수 있다. 이하 얼굴 영역을 추적하는 방법은 도3에서 상세하게 설명하기로 한다.

단계 S260에서 고객 분석 장치(100)는 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다. 예를 들어, 고객 분석 장치(100)는 추적 중인 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우, 해당 얼굴 영역에 대한 이동 벡터를 도출하여 이동 방향을 판단하고 출입수를 카운트할 수 있다.

고객 분석 장치(100)는 출입수를 카운트하기 전 검출된 얼굴 영역에 대해 각각의 고유한 아이디를 부여함으로써, 카운트된 얼굴 영역이 다시 화면에 나타나더라도 미리 부여된 아이디를 이용하여 카운트 여부를 판단할 수 있으므로, 이미 카운트된 얼굴 영역에 대해서는 카운트하지 않을 수 있다. 이로써, 고객 분석 장치(100)는 객체에 대한 중복 카운트를 예방할 수 있다.

상술한 설명에서, 단계 S200 내지 S260은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 3은 본 발명의 일 실시예에 얼굴 영역을 추적하는 방법의 순서도이다. 도 3을 참조하면, 고객 분석 장치(100)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다.

단계 S300에서 고객 분석 장치(100)는 얼굴 영역에 대한 검출 여부를 판단할 수 있다. 단계 S310에서 고객 분석 장치(100)는, 얼굴 영역이 검출된 경우, 얼굴 영역이 검출될 때마다 얼굴 영역에 대한 특징값을 업데이트할 수 있다. 단계 S320에서 고객 분석 장치(100)는 이전 영상 프레임에서 추출된 특징값과 업데이트된 특징값을 비교하여 얼굴 영역을 추적할 수 있다. 이 때, 고객 분석 장치(100)는 추적 방법으로서 캠 시프트(Cam Shift) 추적 방법 등을 사용하여 이전 영상 프레임에서 검출된 얼굴 영역과 근사한 얼굴 영역을 현재 영상 프레임으로부터 찾아 추적할 수 있다.

종래 기술에 의하면 최초에 검출된 얼굴 영역으로부터 추출한 특징값을 이용하여 얼굴 영역을 추적하므로 시간이 경과함에 따라 이후의 영상 프레임과 차이로 인한 오차가 누적되어 잘못된 객체를 추적할 수 있었다. 반면에 본원 발명은 이전 영상 프레임에서 검출되었던 얼굴 영역이라도 이후 영상 프레임에서 다시 검출될 때마다 최신 정보로 특징값을 업데이트함으로써, 시간이 경과하더라도 업데이트된 특징값을 이용하여 얼굴 영역에 대한 추적이 이루어지므로 오추적될 확률을 최소화할 수 있다.

단계 S330에서 고객 분석 장치(100)는, 얼굴 영역을 추적하지 못한 경우, 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다. 예를 들어, 고객 분석 장치(100)는 칼만 필터(Kalman Filter) 등을 이용하여 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다.

단계 S340에서 고객 분석 장치(100), 예측된 좌표값에서 얼굴 영역을 발견한 경우, 새로 발견된 얼굴 영역을 기존 얼굴 영역으로서 인정하고, 사라진 얼굴 영역에 대한 특징값과 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 사라진 얼굴 영역을 계속 추적할 수 있다.

상술한 설명에서, 단계 S300 내지 S340은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 4는 본 발명의 일 실시예에 따른 고객 분석 장치의 블록도이다.

도 4를 참조하면, 고객 분석 장치(100)는 움직임 검출부(400), 얼굴 검출부(410), 오검출 판단부(420), 얼굴 분석부(430), 얼굴 추적부(440), 카운트부(450)를 포함할 수 있다.

움직임 검출부(400)는 영상 입력 장치(110)로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하도록 구성될 수 있다. 예를 들어, 움직임 검출부(400)는 연속된 영상 프레임 간에 차이 정보에 기초하여, 변화된 픽셀을 검출하고 변화된 픽셀과 변화되지 않은 픽셀로 이진화하고, 기설정된 격차 패치를 이용하여 그룹화하고, 그룹화된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링하고, 레이블링된 객체 중 사람의 상반부를 검출할 수 있다. 이로써, 움직임 검출부(400)는 프로세싱에 대한 처리 속도를 향상시키기 위하여 움직임이 있는 영역으로서 상반부만을 검출할 수 있다.

얼굴 검출부(410)는 검출된 움직임이 있는 구역으로부터 얼굴 영역을 검출하도록 구성될 수 있다. 예를 들어, 얼굴 검출부(410)는 신경망, 아다부스트, 서포트 벡터 머신 등의 분류기를 이용하여 얼굴 영역을 검출할 수 있다.

오검출 판단부(420)는 얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단할 수 있다. 이 때, 얼굴 데이터베이스는 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 등을 포함할 수 있다.

얼굴 분석부(430)는 오검출된 얼굴 영역이 아니라고 판단된 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여할 수 있다. 또한, 얼굴 분석부(430)는 고객의 성향을 분석하기 위해 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출할 수 있다.

얼굴 추적부(440)는 특징값에 기초하여 얼굴 영역을 추적할 수 있다. 본원 발명은, 얼굴 영역을 추적함에 있어서 얼굴 영역에 대한 검출과 추적을 같이 수행함으로써 추적에 대한 오류를 감소시킬 수 있다.

또한, 얼굴 추적부(440)는, 얼굴 영역을 추적하지 못한 경우, 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측하고, 예측된 좌표값에서 얼굴 영역을 발견한 경우 새로 발견된 얼굴 영역을 기존의 얼굴 영역으로서 인정하고, 사라진 얼굴 영역에 대한 특징값과 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 사라진 얼굴 영역을 계속 추적할 수 있다.

카운트부(450)는 얼굴 영역이 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트할 수 있다. 예를 들어, 카운트부(450)는 추적 중인 해당 얼굴 영역에 대한 이동 벡터를 도출하여 이동 방향을 판단하고 출입수를 카운트할 수 있다.

종래 기술에 따른 피플 카운터에 의하면, 도 5가 도시하는 바와 같이, 예를 들면, 1) 사람 둘이 겹쳐서 들어올 경우 둘의 몸을 구분하기가 쉽지 않고, 2) 얼굴 분석으로 고객에 대한 추가 정보를 얻기 위해서는 별도의 카메라가 필요하고, 3) 움직임 검출 기반이기 때문에 조명, 그림자, 바람, 곤충 등 이물질의 움직임 및 외부환경에 민감하였다.

또한, 도 6이 도시하는 바와 같이, 예를 들면, 1) 카메라의 방향이 사선이므로 객체 겹침에 의한 에러 가능성이 높으며, 2) 상반신이 카메라의 영상에서 차지하는 비율이 커, 상반신끼리 겹칠 확률이 높기 때문에, 카운트 수가 부정확하고, 3) 얼굴 분석을 위해서는 얼굴 검출기를 독립적으로 실행시켜야 하기 때문에, 높은 사양의 컴퓨팅 리소스가 필요하였다.

반면에, 본원 발명에 다른 고객 분석 방법에 의하면, 1) 한대의 카메라로 피플카운트와 얼굴 분석을 동시에 할 수 있고, 2) 움직임 검출 및 상반신 검출에 대비하여 얼굴 검출 기반으로서 겹침에 강하고 얼굴만 검출되면 카운트할 수 있어 카운트에 대한 정확도가 높고, 3) 얼굴 검출과 얼굴 추적을 상호보완적으로 사용하여 카운트에 대한 정확도가 높고, 4) 기존의 검출 데이터를 이용하여 얼굴 검출에 대해 피드백을 할 수 있어 오검출을 감축시킬 수 있고, 5) 검출된 얼굴 영역 마다 고유 식별자(아이디 및 특징값 등)을 부여하므로 고유 식별자가 부여된 얼굴 영역이 카운트 후 다시 화면에 등장하더라도 고유 식별자에 대한 부여 여부를 판단하여 중복 카운트를 예방할 수 있는 점에서 종래 기술과 구별되는 우수한 효과를 가지고 있다.

도 7은 본 발명의 일 실시예에 따른 얼굴 영역을 추적하는 방법을 나타낸 예시적인 도면이다. 도 7을 참고하면, 고객 분석 장치(100)는 영상으로부터 두 종류의 얼굴 영역을 검출할 수 있다.

단계 (a)에서 고객 분석 장치(100)는 검출된 두 종류의 얼굴 영역 각각에 대한 특징값을 추출하고, 각각의 얼굴 영역에 아이디 1(700) 및 아이디 2 (710)를 부여할 수 있다. 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역을 영상 프레임마다 검출하고, 검출된 후의 특징값으로 업데이트시키고, 업데이트 된 특징값을 이전 영상과의 특징값을 비교함으로써 추적할 수 있다.

단계 (b)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역의 일부가 다른 객체에 의해 가려져 검출이 안된 경우, 아이디 1(700)에 해당하는 얼굴 영역의 최후 검출 위치에서 검색 영역을 점진적으로 증가시켜 가면서 검색 영역에서의 특징값과 일부가 가려지기 전의 아이디 1(700)에 해당하는 얼굴 영역에 대한 특징값을 비교하며 아이디 1(700)에 해당하는 얼굴 영역을 추적할 수 있다.

단계 (c)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 완전히 다른 객체에 의해 가려져 검출이 안된 경우, 칼만 필터 등을 이용하여 사라진 아이디 1(700)에 해당하는 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측할 수 있다.

단계 (d)에서 고객 분석 장치(100)는 사라진 아이디 1(700)에 해당하는 얼굴 영역을 다시 검출한 경우, 사라지기 전 특징값을 검출된 후의 특징값으로 업데이트시키고, 사라지기 전 특징값과 검출된 후의 특징값을 비교하여 아이디 1(700)에 해당하는 얼굴 영역을 추적할 수 있다.

단계 (e)에서 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 화면에서 완전히 사라진 경우, 출입수를 카운트할 수 있다. 고객 분석 장치(100)는 아이디 1(700)에 해당하는 얼굴 영역이 다시 화면에 나타나더라도 아이디를 구분하여 중복 카운트를 방지할 수 있다.

도 8는 본 발명의 일 실시예에 따른 영상 입력 장치의 위치를 예시한 도면이다. 도 8을 참조하면, 영상 입력 장치(110)는 천장이나 출입구 위에 사선 방향으로 내려다보는 형태로 설치될 수 있다.

영상 입력 장치(110)는 출입구를 향하여 오는 객체들에 대한 영상을 촬영할 수 있고, 촬영된 영상을 고객 분석 장치(100)로 전송할 수 있다.

고객 분석 장치(100)는 수신한 영상을 분석하여 얼굴 영역(800)을 검출할 수 있다. 또한 고객 분석 장치(100)는 검출된 얼굴 영역(800)을 기초하여 고객의 성향(성별 및 나이 등)을 분석할 수 있다.

고객 분석 장치(100)는 검출된 얼굴 영역(800)의 특징값에 기초하여 얼굴 영역(800)의 움직임을 추적하고, 얼굴 영역(800)이 정해진 영역 밖으로 움직이거나 영상 밖으로 나갈 경우, 객체를 카운트할 수 있다.

도 1 내지 도4, 도 7 및 도 8을 통해 고객 정보 제공 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도4, 도 7 및 도 8을 통해 고객 정보 제공 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 고객 분석 장치
110: 영상 입력 장치

Claims (20)

1. 고객 분석 장치에서 고객 정보를 제공하는 방법에 있어서,
   영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 단계;
   상기 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 단계;
   얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 단계;
   상기 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 단계;
   상기 특징값에 기초하여 상기 얼굴 영역을 추적하는 단계; 및
   상기 얼굴 영역이 상기 영상 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 단계
   를 포함하는 것인, 고객 정보 제공 방법.
   
2. 제 1 항에 있어서,
   상기 얼굴 영역을 추적하는 단계는,
   상기 얼굴 영역이 검출될 때마다 상기 얼굴 영역에 대한 상기 특징값을 업데이트하는 단계; 및
   이전 영상 프레임에서 추출된 특징값과 상기 업데이트된 특징값을 비교하여 상기 얼굴 영역을 추적하는 단계
   를 포함하는 것인, 고객 정보 제공 방법.
   
3. 제 1 항에 있어서,
   상기 얼굴 영역을 추적하지 못한 경우,
   사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측하는 단계; 및
   상기 예측된 좌표값에서 얼굴 영역을 발견한 경우, 상기 사라진 얼굴 영역에 대한 특징값과 상기 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 상기 사라진 얼굴 영역을 추적하는 단계
   를 더 포함하는 것인, 고객 정보 제공 방법.
   
4. 제 1 항에 있어서,
   상기 움직임이 있는 구역을 검출하는 단계는,
   상기 영상에 포함된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링(Labeling)하는 단계; 및
   상기 레이블링된 객체 중 사람의 상반부를 검출하는 단계
   를 포함하는 것인, 고객 정보 제공 방법.
   
5. 제 1 항에 있어서,
   상기 오검출된 얼굴인지 판단하는 단계는,
   상기 영상으로부터 검출된 영굴 영역을 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 중 하나 이상에 기초하여 오검출된 얼굴인지 판단하는 것인, 고객 정보 제공 방법.
   
6. 제 1 항에 있어서,
   상기 얼굴 영역에 대한 특징값을 추출하고 아이디를 부여하는 단계는,
   상기 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출하는 단계
   를 더 포함하는 것인, 고객 정보 제공 방법.
   
7. 제 1 항에 있어서,
   상기 특징값은 브이엘피비(VLBP(Volume Local Binary Pattern)), 에이치에스브이 컬러 히스토그램(HSV color histogram), 하르 유사 특징(Haar-like feature), 국부 이진 패턴(Local Binary Pattern) 및 모디파이드 센서스 트랜프폼(Modified Census Transform) 중 하나 이상을 포함하는 것인, 고객 정보 제공 방법.
   
8. 고객 정보를 제공하는 장치에 있어서,
   영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하는 움직임 검출부;
   상기 움직임이 있는 구역으로부터 얼굴 영역을 검출하는 얼굴 검출부;
   얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단하는 오검출 판단부;
   상기 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하는 얼굴 분석부;
   상기 특징값에 기초하여 상기 얼굴 영역을 추적하는 얼굴 추적부; 및
   상기 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하는 카운트부
   를 포함하는 것인, 고객 정보 제공 장치.
   
9. 제 8 항에 있어서,
   상기 얼굴 추적부는,
   상기 얼굴 영역이 검출될 때마다 상기 얼굴 영역에 대한 상기 특징값을 업데이트하고,
   이전 영상 프레임에서 추출된 특징값과 상기 업데이트된 특징값을 비교하여 상기 얼굴 영역을 추적하도록 구성되는 것인, 고객 정보 제공 장치.
   
10. 제 8 항에 있어서,
    상기 얼굴 추적부는,
    상기 얼굴 영역을 추적하지 못한 경우,
    상기 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측하고,
    상기 예측된 좌표값에서 얼굴 영역을 발견한 경우, 상기 사라진 얼굴 영역에 대한 특징값과 상기 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 상기 사라진 얼굴 영역을 추적하도록 구성되는 것인, 고객 정보 제공 장치.
    
11. 제 8 항에 있어서,
    상기 움직임 검출부는,
    상기 영상에 포함된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링(Labeling)하고,
    상기 레이블링된 객체 중 사람의 상반부를 검출하도록 구성되는 것인, 고객 정보 제공 장치.
    
12. 제 8 항에 있어서,
    상기 오검출 판단부는,
    상기 영상으로부터 검출된 영굴 영역을 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 중 하나 이상에 기초하여 오검출된 얼굴인지 판단하도록 구성되는 것인, 고객 정보 제공 장치.
    
13. 제 8 항에 있어서,
    상기 얼굴 분석부는,
    상기 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출하도록 구성되는 것인, 고객 정보 제공 장치.
    
14. 제 8 항에 있어서,
    상기 특징값은 브이엘비피(VLBP(Volume Local Binary Pattern)), 에이치에스브이 컬러 히스토그램(HSV color histogram), 하르 유사 특징(Haar-like feature), 국부 이진 패턴(Local Binary Pattern) 및 모디파이드 센서스 트랜스폼(Modified Census Transform) 중 하나 이상을 포함하는 것인, 고객 정보 제공 장치.
    
15. 고객 분석 장치와 결합되어 고객 정보를 제공하기 위하여 매체에 저장된 컴퓨터 프로그램으로서
    컴퓨터에 의해 실행될 경우 상기 고객 분석 장치는,
    영상 입력 장치로부터 수신한 영상으로부터 움직임이 있는 구역을 검출하고,
    상기 움직임이 있는 구역으로부터 얼굴 영역을 검출하고,
    얼굴 데이터베이스에 기초하여 상기 검출된 얼굴 영역이 오검출된 얼굴인지 판단하고,
    상기 얼굴 영역에 대한 특징값을 추출하고 아이디(ID)를 부여하고,
    상기 특징값에 기초하여 상기 얼굴 영역을 추적하고,
    상기 얼굴 영역이 상기 영상 프레임 밖으로 나가거나 기설정된 영역을 벗어난 경우 출입을 카운트하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 프로그램.
    
16. 제 15 항에 있어서,
    상기 얼굴 영역을 추적하는 경우,
    상기 얼굴 영역이 검출될 때마다 상기 얼굴 영역에 대한 상기 특징값을 업데이트하고,
    이전 영상 프레임에서 추출된 특징값과 상기 업데이트된 특징값을 비교하여 상기 얼굴 영역을 추적하도록 하는 명령어들의 시퀀스를 더 포함하는, 컴퓨터 프로그램.
    
17. 제 15 항에 있어서,
    상기 얼굴 영역을 추적하지 못한 경우,
    상기 사라진 얼굴 영역의 예상 이동 경로에 대한 좌표값을 예측하고,
    상기 예측된 좌표값에서 얼굴 영역을 발견한 경우, 상기 사라진 얼굴 영역에 대한 특징값과 상기 새로 발견된 얼굴 영역에 대한 특징값을 비교하여 상기 사라진 얼굴 영역을 추적하도록 하는 명령어들의 시퀀스를 더 포함하는, 컴퓨터 프로그램.
    
18. 제 15 항에 있어서,
    상기 움직임이 있는 구역을 검출하는 경우,
    상기 영상에 포함된 픽셀로부터 외곽선을 검출함으로써 객체 별로 레이블링(Labeling)하고,
    상기 레이블링된 객체 중 사람의 상반부를 검출하도록 하는 명령어들의 시퀀스를 더 포함하는, 컴퓨터 프로그램.
    
19. 제 15 항에 있어서,
    상기 오검출된 얼굴인지 판단하는 경우,
    상기 영상으로부터 검출된 영굴 영역을 얼굴의 평균 크기, 피부 색 히스토그램 및 눈 검출 중 하나 이상에 기초하여 오검출된 얼굴인지 판단하도록 하는 명령어들의 시퀀스를 더 포함하는, 컴퓨터 프로그램.
    
20. 제 15 항에 있어서,
    상기 얼굴 영역에 대한 성별 및 연령을 판단하고 성별값 및 연령값을 추출 하도록 하는 명령어들의 시퀀스를 더 포함하는, 컴퓨터 프로그램.

Images