KR20140141034A - 사람 검출 장치 및 방법과 사람 계수 장치 및 방법 - Google Patents

사람 검출 장치 및 방법과 사람 계수 장치 및 방법 Download PDF

Info

Publication number
KR20140141034A
KR20140141034A KR20130062261A KR20130062261A KR20140141034A KR 20140141034 A KR20140141034 A KR 20140141034A KR 20130062261 A KR20130062261 A KR 20130062261A KR 20130062261 A KR20130062261 A KR 20130062261A KR 20140141034 A KR20140141034 A KR 20140141034A
Authority
KR
South Korea
Prior art keywords
moving object
detected
detecting
outline
person
Prior art date
Application number
KR20130062261A
Other languages
English (en)
Other versions
KR101480348B1 (ko
Inventor
허준희
김종항
이정선
권연희
이상학
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR20130062261A priority Critical patent/KR101480348B1/ko
Priority to CN201410234167.4A priority patent/CN104217419B/zh
Priority to US14/291,948 priority patent/US9495600B2/en
Publication of KR20140141034A publication Critical patent/KR20140141034A/ko
Application granted granted Critical
Publication of KR101480348B1 publication Critical patent/KR101480348B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

본 발명은 영상 촬영 장치에서 촬영된 영상을 이용하여 정확하게 사람을 계수하는 사람 계수 장치 및 방법을 제공하는 것이다. 본 발명의 제1 태양에 따른 사람 계수 장치는, 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상을 수신하는 수신부; 상기 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 상기 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정하는 라인설정부; 상기 수신된 영상에서 사람에 해당하는 이동체를 검출하는 검출부; 상기 검출된 이동체마다 움직임을 추적하는 추적부; 및 상기 이동체의 추적된 움직임을 이용하여, 상기 이동체의 상기 인라인의 통과 여부와 상기 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수하는 계수부를 포함할 수 있다.

Description

사람 검출 장치 및 방법과 사람 계수 장치 및 방법{People Counting Apparatus and Method}
본 발명은 사람 검출 장치 및 방법과 사람 계수 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 CCTV 등의 영상 촬영 장치에서 촬영된 영상을 이용하여 입장 및 퇴장하는 사람을 계수하는 사람 계수 장치 및 방법에 관한 것이다.
매장에 진입하는 사람의 수인 사람 계수(People Counting)는 마케팅의 중요 요소 중 하나인 수렴 비율(Convergence Ratio)를 측정하는 중요한 지표이나, 현재 수작업을 통하여 사람 계수가 이루어 지고 있다. 사람의 눈으로 하는 사람 계수는 많은 시간과 인건비가 필요하며, 계수의 정확성을 보장할 수도 없는 문제점이 존재한다.
사람 계수는 매장 관리 또는 마케팅의 요소로 이용되는 것뿐만 아니라, 다양한 분야에서 널리 이용될 수 있다. 따라서, 자동화되고 정확도가 높은 사람 계수 알고리즘의 개발이 필요하다.
본 발명이 해결하고자 하는 기술적 과제는 영상 촬영 장치에서 촬영된 영상을 이용하여 이동체를 정확하게 검출하는 이동체 검출 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 영상 촬영 장치에서 촬영된 영상에서 검출된 이동체 중 사람에 해당하는 이동체를 정확하게 검출하는 사람 검출 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 영상 촬영 장치에서 촬영된 영상에서 검출된 관심 물체 또는 사람에 해당하는 이동체를 정확하게 추적하는 사람 추적 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 영상 촬영 장치에서 촬영된 영상을 이용하여 정확하게 사람을 계수하는 사람 계수 장치 및 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양에 따른 사람 계수 장치는, 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상을 수신하는 수신부; 상기 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 상기 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정하는 라인설정부; 상기 수신된 영상에서 사람에 해당하는 이동체를 검출하는 검출부; 상기 검출된 이동체마다 움직임을 추적하는 추적부; 및 상기 이동체의 추적된 움직임을 이용하여, 상기 이동체의 상기 인라인의 통과 여부와 상기 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수하는 계수부를 포함할 수 있다.
일 실시예에 따르면, 상기 라인설정부는 상기 아웃라인이 상기 출입구 외부에 존재하도록 설정하고, 상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 퇴장하는 사람으로 계수할 수 있다.
일 실시예에 따르면, 상기 라인설정부는 상기 아웃라인이 상기 출입구 내부에 존재하도록 설정하고, 상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람으로 계수할 수 있다.
상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과하지 않은 경우로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람 및 퇴장하는 사람 중 어느 사람으로도 계수하지 않을 수 있다.
상기 검출부는, 상기 수신된 영상의 영상 프레임을 이용하여 이동체를 검출하는 이동체 검출부를 포함하며, 상기 이동체 검출부는, 상기 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 산출부를 포함할 수 있다.
상기 이동체 검출부는, 상기 정확도 산출부에서 검출된 이동체 영역을 우선 순위 π(p)에 기반하여 확장하는 영역 확장부를 더 포함할 수 있다.
상기 검출부는, 상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출부를 포함할 수 있다.
상기 추적부는, 템플릿(Template)들 사이의 픽셀값들의 차의 절대값을 모두 합한 것에 관한 요소인 αtemplate, 상기 템플릿의 관심 물체에 대한 색상 히스토그램(Histogram)에 가우시안 혼합 모델 방법을 적용하여 확률 모델을 정의한 후 템플릿의 히스토그램간의 차이를 산출한 것에 관한 요소인 αhistogram 및 회전 불변 특징 추출(SIFT, Scale Invariant Feature Transform) 방법에서의 특징 서술자를 이용하여 이전 프레임과 현재 프레임 사이에 동일한 물체간의 차이를 산출한 것에 관한 요소인 αsift 중 적어도 하나의 요소가 포함된 가중치(wd)와 칼만 이득(K)을 포함한 칼만 필터(Kalman Filter)를 이용하여 상기 검출된 이동체를 추적할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양에 따른 사람 계수 방법은, 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상을 수신하는 수신단계; 상기 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 상기 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정하는 라인설정단계; 상기 수신된 영상에서 사람에 해당하는 이동체를 검출하는 검출단계; 상기 검출된 이동체마다 움직임을 추적하는 추적단계; 및 상기 이동체의 추적된 움직임을 이용하여, 상기 이동체의 상기 인라인의 통과 여부와 상기 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수하는 계수단계를 포함할 수 있다.
일 실시예에 따르면, 상기 라인설정단계는 상기 아웃라인이 상기 출입구 외부에 존재하도록 설정하고, 상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 퇴장하는 사람으로 계수할 수 있다.
일 실시예에 따르면, 상기 라인설정단계는 상기 아웃라인이 상기 출입구 내부에 존재하도록 설정하고, 상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람으로 계수할 수 있다.
상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과하지 않은 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람 및 퇴장하는 사람 중 어느 사람으로도 계수하지 않는 사람 계수 방법.
상기 검출단계는, 상기 수신된 영상의 영상 프레임을 이용하여 이동체를 검출하는 이동체 검출단계를 포함하며, 상기 이동체 검출단계는, 상기 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 산출단계를 포함할 수 있다.
상기 이동체 검출단계는, 상기 정확도 산출단계에서 검출된 이동체 영역을 우선 순위 π(p)에 기반하여 확장하여 이동체 영역을 결정하는 영역 확장단계를 더 포함할 수 있다.
상기 검출단계는, 상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출단계를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양에 따른 사람 검출 장치는, 영상 촬영 장치에 의하여 촬영된 영상의 영상 프레임을 수신하는 수신부; 상기 수신된 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 검출부; 및 상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출부를 포함할 수 있다.
일 실시예에 따르면, 상기 사람 검출 장치는, 상기 정확도 산출부에서 검출된 이동체 영역을, 상기 픽셀 간의 밝기값의 차이를 이용한 우선 순위 π(p)에 기반하여 확장하는 영역 확장부를 더 포함하며, 상기 검출된 이동체 영역의 위치는 상기 영역 확장부에 의하여 확장된 이동체 영역의 위치이고, 상기 검출된 이동체 영역의 크기는, 상기 영역 확장부에 의하여 확장된 이동체 영역의 크기일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양에 따른 사람 검출 방법은, 영상 촬영 장치에 의하여 촬영된 영상의 영상 프레임을 수신하는 수신단계; 상기 수신된 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 검출단계; 및 상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출단계를 포함할 수 있다.
상기 사람 검출 방법은, 상기 정확도 산출단계에서 검출된 이동체 영역을, 상기 픽셀 간의 밝기값의 차이를 이용한 우선 순위 π(p)에 기반하여 확장하는 영역 확장단계를 더 포함하며, 상기 검출된 이동체 영역의 위치는 상기 영역 확장단계에 의하여 확장된 이동체 영역의 위치이고, 상기 검출된 이동체 영역의 크기는, 상기 영역 확장단계에 의하여 확장된 이동체 영역의 크기일 수 있다.
본 발명은 영상 촬영 장치에서 촬영된 영상의 프레임에서 이동체를 정확하게 검출할 수 있다.
또한, 본 발명은 영상 촬영 장치에서 촬영된 영상의 프레임에서 검출된 이동체 중 사람을 정확하게 검출할 수 있다.
또한, 본 발명은 영상 촬영 장치에서 촬영된 영상의 프레임에서 이동하는 사람을 정확하게 추적할 수 있다.
또한, 본 발명은 영상 촬영 장치에서 촬영된 영상을 이용하여 정확한 사람 계수를 할 수 있다.
또한, 본 발명은 인라인과 아웃라인을 통하여 사람을 계수하여, 기존의 하나의 라인으로 사람을 계수하는 방법에 비하여, 높은 정확도로 사람을 계수할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동체 검출 장치에 관한 블록도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 이동체 검출 장치로 이동체를 검출한 결과의 일 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 사람 검출 장치에 관한 블록도이다.
도 4a는 그래디언트 히스토그램을 이용하여 n×n 블록에서 m개 방향에서 그래디언트(Gradient)를 산출한 결과의 일 예를 나타내는 도면이다.
도 4b는 그래디언트 히스토그램을 이용하여 산출된 그래디언트를 이용하여 구성된 히스토그램(histogram)의 일 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 사람 추적 장치에 관한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 사람 계수 장치에 관한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 사람 계수 장치의 계수부에 관한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 사람 계수 장치의 라인설정부가 출입구 외부에 특정 영역을 설정한 경우, 계수부가 퇴장하는 사람을 계수하는 방법에 관하여 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 사람 계수 장치의 라인설정부가 출입구 내부에 특정 영역을 설정한 경우, 계수부가 입장하는 사람을 계수하는 방법에 관하여 설명하는 도면이다.
도 10은 라인설정부가 출입구 내부 및 외부에 특정 영역이 형성되도록 인라인 및 아웃라인을 설정한 일 예를 나타내는 도면이다.
도 11은 라인설정부가 라인을 설정하는 다른 예를 나타내는 도면이다.
도 12는 라인설정부가 영상 촬영 장치에서 촬영된 영상 위에 라인을 설정한 일 에를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 사람 검출 방법에 관한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 사람 계수 방법에 관한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명은 사람이 출입하는 출입문의 상황을 영상으로 촬영하는 CCTV와 같은 영상 촬영 장치에서 촬영되는 영상을 이용하여 사람의 수를 카운팅할 수 있다.
구체적으로 본 발명은 먼저 롱 텀(Long Term) 배경 인식 기술인 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 쇼트 텀(Short Term) 움직임 검출 기술인 프레임 차이법(Frame Difference)을 이용하여 영상 촬영 장치에서 촬영되는 영상의 각각 프레임에서 노이즈(Noise)에 강인하고 정확하게 이동하는 물체인 이동체를 검출할 수 있다.
또한, 본 발명은 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법, 검출된 이동체의 위치 및 검출된 이동체의 크기 정보를 이용하여 검출된 이동체 중 사람인 것을 검출할 수 있다.
또한, 본 발명은 칼만 필터(Kalman Filter), 템플릿 매칭(Template Matching) 방법 및 회전 불변 특징 추출(SIFT, Scale Invariant Feature Transform) 방법을 이용하여 검출된 사람 이동체를 추적할 수 있다.
또한, 본 발명은 Bayes' Rule 등을 이용한 확률을 산출하여 노이즈에 따라 유동적인 이동체의 검출과 추적의 성능 변동에 강인하게 출입문을 통하여 출입하는 사람의 수를 카운팅(Counting)할 수 있다.
이하, 도면을 참조하여 본 발명에 관하여 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동체 검출 장치에 관한 블록도이다.
기존 이동체 검출 방법으로 배경과 객체의 밝기의 차이를 이용하는 배경 분리법(Background Subtraction)과 연속된 두 영상 프레임을 비교하여 그 차이에서 움직임을 찾는 프레임 차이법(Frame Difference) 등이 있다.
배경 분리법은 이동체검출에 사용되는 방법으로, 배경이 복잡하고 변화가 심한 경우, 배경을 실시간으로 얼마나 정확하게 학습하는가가 물체 검출의 정확도를 결정할 수 있다. 가우시안 혼합 모델은 이러한 배경의 모델링에 이용되는 방법으로, 확률적 학습 방법을 사용하게 되는데, 영상의 각 픽셀의 밝기 분포를 가우시안 혼합모델을 사용하여 근사화하고, 근사화된 모델 변수값을 이용하여 측정된 픽셀이 배경과 객체 중 어디에 속할지를 판단하게 된다.
이러한 가우시안 혼합 모델은 장시간에 걸쳐 학습을 진행하므로 찰나에 나타났다 사라지는 그림자나 빛의 변화와 같은 노이즈(Noise)에는 강인하나 이동체를 노이즈로 판단하는 경우가 발생할 수 있다. 이에 반해, 프레임 차이법은 움직이는 물체에 대해서는 민감하게 감지가 되나 다양한 노이즈에 대해서도 민감하게 감지하며 느린 움직임에 대해서는 감지를 못한다는 단점이 존재한다.
본 발명의 일 실시예에 따른 이동체 검출 장치(100)는 가우시안 혼합 방법과 프레임 차이법을 함께 이용하여 검출의 정확도를 산출한다. 산출된 정확도는 영역 검출부(130)에서 우선 순위에 의한 영역 확장을 통하여 기존의 방법보다 이동체를 정확하게 검출할 수 있다.
본 발명의 일 실시예에 따른 이동체 검출 장치(100)는 롱 텀(Long Term) 배경 인식 기술인 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 쇼트 텀(Short Term) 움직임 검출 기술인 프레임 차이법(Frame Difference)을 이용하여 영상 촬영 장치에서 촬영되는 영상의 각각 프레임에서 노이즈(Noise)에 강인하고 정확하게 이동하는 물체인 이동체를 검출할 수 있다. 이동체를 검출하는 것은 사람 계수를 위해 선행되어야 할 과정이다. 따라서, 이러한 이동체 검출의 정확성이 사람 계수 정확성을 보장하기 위한 중요 요소 중 하나가 된다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이동체 검출 장치(100)에 관한 블록도는 수신부(110), 정확도 산출부(120) 및 영역 검출부(130)를 포함할 수 있다.
수신부(110)는 CCTV 등 영상 촬영 장치에서 촬영된 영상을 수신하고, 저장할 수 있다.
정확도 산출부(120)는 수신부(110)에서 수신한 영상의 프레임에서 각 픽셀의 정확도를 산출한다.
구체적으로 정확도 산출부(120)는 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출할 수 있다.
보다 구체적으로 정확도 산출부(120)는 수학식 1을 이용하여 검출의 정확도를 산출할 수 있다.
Figure pat00001
(x,y)는 프레임에서 픽셀의 위치를 의미한다. 수학식 1에서 a(x,y)는 촬영된 영상의 각 프레임에서 (x,y)에 위치한 각 픽셀의 정확도를 의미한다. 즉, 가우시안 혼합 모델 방법의 경우, ag(x,y)에 의하여 산출된 확률이 높은 경우 정확도가 높은 것이고, 프레임 차이법의 경우, 서로 다른 프레임간 동일 위치의 픽셀의 차이가 클수록 정확도가 높은 것을 의미할 수 있다. 정확도가 높다는 것은 정확도가 높은 픽셀이 노이즈(Noise)일 가능성이 낮고, 이동체일 가능성이 높다는 것을 의미할 수 있다. 반대로, 정확도가 낮다는 것은 해당 픽셀이 노이즈일 가능성이 높고 이동체일 가능성이 낮다는 것을 의미할 수 있다.
ag(x,y)와 af(x,y)는 각각 하기 수학식 2와 수학식 3과 같이 정의될 수 있다.
Figure pat00002
Figure pat00003
수학식 2는 가우시안 혼합 모델 방법을 이용한 식으로, f개의 프레임에서 (x,y)위치의 밝기 변화를 K개의 가우시안 모델(Gaussian Model)을 사용하여 정의한 확률 모델이다. f개와 K개는 여러 환경에 따라서 변경될 수 있으며, 일 예를 들면, f는 100, K는 3으로 설정할 수도 있다. 따라서, 수학식 2의 ag(x,y)는 배경의 밝기 모델이 정의되며, 정의된 모델에 기반하여 새로운 프레임이 수신되면, (x,y)에 위치한 픽셀의 밝기가 물체일 확률을 산정할 수 있다. 수학식 2에서 ?는 i번째 가우시안 모델의 평균이며, σi는 i번째 가우시안 모델의 분산을 의미한다. I(x,y)는 (x,y)에 위치한 픽셀의 밝기 값을 의미한다.
Figure pat00004
는 가우시안 혼합 모델 방법에서 사용되는 가중치(Weight Parameter)로 학습을 통하여 정의될 수 있다. 정확도 산출부(120)는 수학식 2를 이용하여 산출된 확률이 낮으면 정확도를 낮게, 산출된 확률이 높으면 정확도를 높게 산출할 수 있다.
수학식 3에서 It(x,y)는 t번째 프레임에서 (x,y)에 위치한 픽셀의 밝기 값을 의미한다. 즉, 수신부(110)에 새로운 프레임이 들어오면, 정확도 산출부(120)는 수학식 3을 이용하여, 이전 프레임과의 동일 위치의 픽셀마다 밝기 차이의 크기를 비교하여 밝기 차이가 작으면 정확도를 낮게, 밝기 차이가 크면 정확도를 높게 산출 할 수 있다.
따라서, 수학식 2와 3을 참조하여 1을 설명하면, 정확도 산출부(120)는 산출된 정확도를 이용하여 해당 픽셀이 배경이 아니며 노이즈도 아닌 경우 이동체로 검출할 수 있으며, 이동체로 검출을 위하여 적절한 기준 정확도(Th1)를 설정할 수 있다. 기준 정확도(Th1)는 영상 해상도, 상황, 연산 처리 속도 등 다양한 환경에 따라서 변경될 수 있다.
정확도 산출부(120)는 수학식 2와 수학식 3을 통하여 수학식 1에서 a(x,y)는 정확도를 0에서 1사이의 값으로 산출할 수 있다.
영역 검출부(130)는 정확도 a(x,y)의 최대값이 1이 되도록 정규화(Normalization) 하고, 1의 값을 가지는 픽셀을 기준 픽셀로 정의한다. 영역 검출부(130)는 하기 수학식 4와 같이 우선 순위 π(p)를 정의하고, 우선 순위 π(p)의 값이 설정된 임계치 (Tτ) 이상인 경우 영역을 확장하고, 모든 픽셀의 우선 순위가 설정된 임계치 (Tτ) 미만인 경우 영역 확장을 중단하여 이동체 영역을 검출할 수 있다.
Figure pat00005
수학식 4는 우선 순위 π(p)를 정의한 일 예를 나타낸 식이며, p는 (x,y)에 위치한 픽셀을 의미하고, q는 p의 4방향(위, 아래, 좌, 우)의 이웃에 위치한 픽셀을 의미한다. τ(p,q)는 하기 수학식 5와 같이 나타낼 수 있다.
Figure pat00006
수학식 5에서, I(p)는 위치 p에서의 밝기 값을 의미하고, I(q)는 q에서의 밝기 값을 의미한다. Tτ는 임계치이며, 상황에 따라 다른 값을 적용할 수 있다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 이동체 검출 장치로 이동체를 검출한 결과의 일 예를 설명하기 위한 도면이다.
도 2a와 도 2d를 참조하여, 기존의 이동체 검출 방법으로 이동체를 검출한 결과와 본 발명의 일 실시예에 따른 이동체 검출 장치(100)로 이동체를 검출한 결과를 비교하여 설명한다.
구체적으로 도 2a는 가우시안 혼합 모델 방법을 이용하여 이동체를 검출하는 기존 방법에 따른 검출 결과를 나타내며, 도 2b는 프레임 차이법을 이용하여 이동체를 검출하는 기존 방법에 따른 검출 결과를 나타낸다. 도 2c는 본 발명의 일 실시예에 따른 이동체 검출 장치(100)의 정확도 산출부(120)에서 산출된 정확도에 기반하여 이동체를 검출한 결과를 나타낸다. 도 2d는 본 발명의 일 실시예에 따른 이동체 검출 장치(100)의 영역 검출부(130)가 도 2c의 결과에서 우선 순위에 의한 영역 확장을 적용하여 이동체를 검출한 결과를 나타낸다.
도 2c는 정확도 산출부(120)에서 산출된 정확도가 기 설정된 정확도(Th1) 이상이 되는 점을 표현한 것이다. 기 설정된 정확도(Th1)는 사용자의 설정, 수신된 영상의 해상도, 본 발명의 일 실시예에 따른 이동체 검출 장치가 적용된 시스템의 환경 등에 따라서 변경될 수 있다. 도 2c를 도 2a 및 2b와 비교하면, 도 2c가 도 2a나 도 2b에 비하여 명확하고 정확하게 이동체가 검출된 것을 알 수 있다. 도 2d는 도 2c의 결과에서 우선 순위에 의한 영역 확장을 적용한 바, 도 2a 내지 도 2c와 비교하여 보다 명확하고 정확하게 이동체가 검출된 것을 알 수 있다.
도 3은 본 발명의 일 실시예에 따른 사람 검출 장치에 관한 블록도이다.
검출된 이동체 중 사람을 검출하여야 사람 계수가 가능하며, 본 발명의 일 실시예에 따른 사람 검출 장치(300)는 프레임에서 검출한 이동체 중 사람인 것을 검출할 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 사람 검출 장치(300)는 일 실시예에 따른 이동체 검출 장치(100)에서 사람 검출부(310)를 더 포함한다.
사람 검출부(310)는 LSHOG(Location Scale based HOG) 서술자를 이용하여 검출된 이동체 중 사람인 이동체를 검출할 수 있다.
LSHOG 서술자는 모양 특징 서술자인 그래디언트 히스토그램(HOG, Histogram of Oriented Gradient)에서 일 실시예에 따른 이동체 검출 장치(100)에서 검출된 이동체의 위치 정보와 검출된 이동체의 크기 정보를 추가적으로 고려한 것이다. 일 실시예에 따른 이동체 검출 장치(100)는 도 2a 내지 도 2d에서 알 수 있듯이 기존 검출 결과에 비하여 이동체의 정확한 영역을 검출할 수 있다. 따라서, 기존 HOG를 이용한 검출에 비하여, 사람 검출부(310)는 LSHOG 서술자를 이용하여 이동체 중 사람을 보다 정확하게 검출할 수 있다.
구체적으로 예를 들면, 검출된 이동체가 두 명 이상의 사람이 근접해 있거나 겹쳐 있는 경우, 사람 걸출의 문제가 발생한다. 이러한 문제를 해결하기 위하여 모양 특징 서술자인 HOG를 이용할 수 있다.
HOG는 도 4a와 같이 n×n 블록에서 m개 방향에서 그래디언트(Gradient)를 산출하고, 방향에 따라서 도 4b와 같이 히스토그램(histogram)을 구성할 수 있다. 구체적으로 예를 들어, 8×8의 BIN을 사용하고, 9방향으로 그래디언트를 계산하며, 블록(Block)의 크기는 64×64로 설정한 경우, HOG 서술자는 576차원의 벡터로 구성된다. 다만, HOG는 모양 특징을 표현하고 있기 때문에 물체의 위치에 따라 발생하는 원근감 왜곡(Perspective Distortion)에 의하여 고정된 위치에서만 인식이 가능하다는 한계가 존재한다.
이러한 한계를 해결하기 위하여 본 발명의 일 실시예에 따른 사람 검출 장치(300)는 검출된 이동체 영역의 위치 정보와 크기 정보를 더하여 579차원의 벡터로 구성된 LSHOG 서술자를 이용하여 해결한다. 579차원은 일 예에 불과하며, HOG 서술자가 D차원의 벡터로 구성된다면 본 발명에서 이용되는 LSHOG 서술자는 검출된 이동체 영역의 위치 정보와 크기 정보를 더하여 D+2차원의 벡터로 구성될 수 있다.
구체적으로, 사람 검출부(310)는 LSHOG 서술자를 이용하여 정답과 오답 데이터 베이스를 구축하고 비선형 서포트 벡터 머신(SVM, Support Vector Machine) 또는 Random Forest Classification 방법을 적용하여 사람을 검출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사람 추적 장치에 관한 블록도이다.
일 실시예에 따른 사람 추적 장치(500)는 칼만 필터(Kalman Filter), 템플릿 매칭(Template Matching) 및 회전 불변 특징 추출(SIFT, Scale Invariant Feature Transform)을 이용하여 검출된 사람인 이동체를 추적할 수 있다.
구체적으로 도 5를 참조하면, 본 발명의 일 실시예에 따른 사람 추적 장치(500)는 일 실시예에 따른 사람 검출 장치(300)에서 추적부(510)를 더 포함한다.
추적부(510)는 영상에서 검출된 물체를 폐색 영역, 다양한 노이즈 등으로 인하여 발생되는 오류를 감소시키고, 정확한 추적을 위하여, 칼만 필터에 검출된 물체의 정확도에 기반한 가중치(wd)를 이용하여 관심 물체를 추적할 수 있다.
칼만 필터는 측정 가능한 변수와 예측 변수를 추정하여 예측값을 추정하는 것으로, 표준편차에 따라 가중치를 계산하여 위치 및 데이터를 추적하는 방법이다.
구체적으로 추적부(510)가 수학식 6을 이용하여 본 발명의 일 실시예에 따른 사람 검출 장치(300)에서 검출된 이동하는 사람을 추적하는 방법을 설명한다.
Figure pat00007
수학식 6을 참조하면, 추적부(510)는 칼만 필터에 칼만 이득(K)과 검출된 물체의 정확도를 통한 가중치(wd)를 이용하여 영상에서 이동하는 사람을 추적할 수 있다. 수학식 6에서 xt는 t번째 프레임에서의 예측되어 추적하는 이동하는 사람의 위치 정보이다. xt는 t번째 프레임 직전 프레임인 t-1번째 프레임에서의 위치 xt -1로부터 예측이 되는
Figure pat00008
와 검출되는 위치로
Figure pat00009
로 추론될 수 있다. K는 칼만 이득을 의미하며, wd는 검출된 물체의 정확도에 기반한 가중치이다. 구체적으로 wd는 본 발명의 일 실시예에 따른 사람 검출 장치(300)에서 검출된 사람의 검출 정확도에 기반한 가중치이다.
보다 구체적으로 본 발명의 일 실시예에 따른 사람 검출 장치(300)는 템플릿 매칭(Template Matching)을 이용하여 이동체의 위치를 검출하는 바, wd는 수학식 7과 같이 나타낼 수 있다.
Figure pat00010
β는 αtemplate, αhistogram , αsift에 대한 각각의 정확도 가중치이다. 예를 들면βt empla te은 0.7, βhistogram은 0.1, βsift는 0.2로 설정할 수 있다. 각 가중치는 본 발명의 동작 시스템 환경에 따라서 변경될 수 있다. 계산량의 한계로 인하여 적용이 안된 정확도는 0으로 설정할 수 있다. αtemplate를 수학식 8과 함께 설명한다.
Figure pat00011
수학식 8에서 SAD는 Sum of Absolute difference의 약자이다. 즉, 수학식 8에서 SAD(xt, xt -1)는 xt와 xt - 1를 중심으로 하는 템플릿(Template)들 사이의 픽셀값들의 차의 절대값을 모두 합한 것을 의미한다. 템플릿(Template)은 블락(Block)을 의미하며, H.26x, MPEG 등의 동영상 압축에서 이용하는 BMA(block Mathcing Algoritm)의 블락과 동일한 의미가 될 수 있다.
추론부는 본 발명의 동작 시스템 환경상 허용된 계산량에 따라서, 추가적으로 수학식 7에 존재하는 정확도 αhistogram을 산출할 수 있다. αhistogram은 템플릿의 관심 물체에 대한 색상 히스토그램(Histogram)에 GMM을 적용하여 확률 모델을 정의한 후 템플릿의 히스토그램간의 차이를 산출한 것이다. 즉, αhistogram은 서로 매칭(Matching)되는 이전 프레임에서의 템플릿 히스토그램과 과 현재 프레임에서의 템플릿의 히스토그램간 차이를 의미할 수 있다.
또한, 추론부는 본 발명의 동작 시스템 환경상 허용된 계산량이에 따라서, 추가적으로 수학식 7에 존재하는 정확도 αsift를 산출할 수 있다. αsift는 블락 내의 밝기 값 벡터(Vector)와 같은 회전 불변 특징 추출(SIFT, Scale Invariant Feature Transform) 방법에서의 특징 서술자를 이용하여 이전 프레임과 현재 프레임 사이에 동일한 물체간의 차이를 산출한 것을 의미할 수 있다. 이전 프레임과 현재 프레임 사이에 동일한 물체는 템플릿의 경우에는 물체를 감싸는 블록을 의미할 수 있다.
앞서 수학식 7을 설명하는 부분에서 언급한 바와 같이, 계산량의 한계로 인하여 적용이 안된 정확도는 0으로 설정할 수 있다. 즉, 정확도 αhistogram , 정확도 αsift는 허용된 계산량에 따라서 적용여부가 결정될 수 있다.
도 6은 본 발명의 일 실시예에 따른 사람 계수 장치에 관한 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 사람 계수 장치(600)는 본 발명의 일 실시예에 따른 사람 추적 장치(500)에서 계수부(610)를 더 포함한다.
계수부(610)는 이동체의 유동적인 검출과 추적부(510)의 성능에 강인한 사람 계수 결과를 도출하기 위하여 확률을 이용하여 사람의 수를 카운팅한다.
도 7을 참조하면, 계수부(610)는 라인설정부(612) 및 카운팅부(614)를 포함할 수 있다.
라인설정부(612)는 출입구 부분에 인라인(Inline)을 설정하고, 설정된 인라인을 일 측으로 하여 특정 영역이 출입구 외부에 형성되도록 아웃라인(Outline)을 설정할 수 있다.
출입구는 반드시 문이 존재하는 것이 아니라, 지하철 역 출입구 등 다양한 형태의 출입구가 될 수 있다. 또한, 출입구는 사람의 입장 및 퇴장을 구분하기 위한 통과 영역을 의미할 수 있다. 사람의 입장 및 퇴장을 구분하기 위한 영역은 '통과 영역'이라 할 수 있다. 즉, 출입구는 어떠한 형태에 한정되는 것이 아니다. 통과 영역은 반드시 면적이 존재하는 영역일 필요는 없으며, 선일 수도 있다. 본 발명의 상세한 설명 전반에서는 발명의 이해를 돕기 위하여 사람의 입장 및 퇴장을 구분하기 위한 영역을 '통과 영역'대신 '출입구'로 사용한다. 즉, '출입구'는 사회 관습적 개념, 사용자의 설정, 자동문 등의 명확한 구분 등을 포함하여 입장 및 퇴장의 판단 기준이 되는 것을 의미한다.
출입구 부분에 설정되는 인라인은 출입구 크기와 동일 또는 다소 크게 설정할 수 있다. 또한, 인라인은 출입구와 소정의 이격 거리를 두고 설정될 수도 있다. 인라인과 아웃라인은 가상의 선이며, 영상에 시각적으로 보여지도록 설정될 수도 있다. 인라인과 아웃라인에 의하여 형성되는 영역은 사용자의 설정, 출입구의 형태, 인구 유동성, 출입구의 크기 등에 따라서 변경될 수 있으며, 입장 및 퇴장하는 의도가 분명하게 파악될 수 있을 정도로 설정할 수 있다.
인라인과 아웃라인으로 형성된 특정 영역은 사각형 형태가 될 수 있으나, 이에 한정되는 것은 아니며, 다양한 형태의 다각형 형태가 될 수 있다. 인라인 및 아웃라인으로 형성되는 특정 영역은 출입구의 외부 및/또는 내부에 형성될 수 있다. 출입구 외부 및 내부는 사회 관념상 설정될 수 있다. 예를 들어, 출입구가 빌딩의 자동문인 경우, 빌딩의 외부를 출입구 외부로 보고, 빌딩의 내부를 출입구 외부로 볼 수 있다. 다른 예를 들면, 출입구가 지하철역 입구인 경우, 지하철역으로 내려가는 계단이나 에스컬레이터를 출입구 내부로 볼 수 있고, 지하철역 밖의 인도부분을 출입구 외부로 볼 수 있다.
출입구를 통하여 퇴장하는 사람을 계수하고자 하는 경우, 라인설정부(612)는 사람이 출입구를 통하여 퇴장하는 경우 지나게 되는 영역에 특정 영역이 형성되도록 인라인과 아웃라인을 설정할 수 있다. 즉, 출입구를 통하여 퇴장하는 사람을 계수하고자 하는 경우, 라인설정부(612)는 아웃라인을 출입구 외부에 설정할 수 있다.
반대로, 출입구를 통하여 입장하는 사람을 계수하고자 하는 경우, 라인설정부(612)는 사람이 출입구를 통하여 입장하는 경우 지나게 되는 영역에 특정 영역이 형성되도록 인라인과 아웃라인을 설정할 수 있다. 즉, 출입구를 통하여 퇴장하는 사람을 계수하고자 하는 경우, 라인설정부(612)는 아웃라인을 출입구 내부에 설정할 수 있다.
카운팅부(614)는 설정된 인라인 및 아웃라인을 이용하여 사람 수를 카운팅할 수 있다. 즉, 카운팅부(614)는 설정된 인라인을 통과한 후 아웃라인을 통과한 사람인 이동체만을 입장 또는 퇴장한 사람의 수로 카운팅할 수 있다.
구체적으로, 라인설정부(612)에서 출입구 외부에 특정 영역이 설정되도록 인라인 및 아웃라인을 설정한 경우, 카운팅부(614)는 영상에서 검출 및 추적된 사람 이동체가 인라인을 통과한 후, 아웃라인을 통과하면 퇴장하는 사람의 수(Out count)를 한 명 증가시킬 수 있다.
반대로, 라인설정부(612)에서 출입구 내부에 특정 영역이 설정되도록 인라인 및 아웃라인을 설정한 경우, 카운팅부(614)는 영상에서 검출 및 추적된 사람 이동체가 인라인을 통과한 후, 아웃라인을 통과하면 입장하는 사람의 수(In count)를 한 명 증가시킬 수 있다.
구체적으로 카운팅부(614)는 이동체가 인라인을 여러 번 통과한 후, 아웃라인을 통과하여도 퇴장 또는 입장하는 사람의 수를 한 명만 증가시킬 수 있다. 이동체가 인라인 및/또는 아웃라인을 통과했는지 여부는 본 발명의 일 실시예에 따른 이동체 검출 장치(100), 사람 검출 장치(300) 및 사람 추적 장치(500)를 이용하여 판단할 수 있다. 즉, 본 발명의 일 실시예에 따른 이동체 검출 장치(100), 사람 검출 장치(300) 및 사람 추적 장치(500)에 의하여 검출 및 추적된 이동체의 정보를 기반으로 동일한 이동체가 인라인의 일 측에 위치하였다가 시간이 경과한 후 인라인의 다른 일 측에 위치한 경우에는 인라인을 통과한 것으로 판단할 수 있다. 마찬가지로, 본 발명의 일 실시예에 따른 이동체 검출 장치(100), 사람 검출 장치(300) 및 사람 추적 장치(500)에 의하여 검출 및 추적된 이동체의 정보를 기반으로 동일한 이동체가 아웃라인의 일 측에 위치하였다가 시간이 경과한 후 아웃라인의 다른 일 측에 위치한 경우에는 아웃라인을 통과한 것으로 판단할 수 있다.
영상에서 검출 및 추적된 사람 이동체가 인라인을 통과한 후, 인라인과 아웃라인으로 형성된 공간에서 움직이다가 인라인으로 다시 들어가면 카운팅부(614)는 퇴장 또는 입장하는 사람으로 카운팅하지 않을 수 있다. 카운팅부(614)는 이동체가 인라인을 통과한 후, 인라인과 아웃라인으로 형성된 공간에서 움직이다가 아웃라인으로 나가는 경우에만 퇴장하는 사람으로 카운팅할 수 있다.
기존의 방식은 하나의 라인 또는 두 개의 라인을 이용하여 영상에서 검출 및 추적된 사람 이동체가 입장하는 경우인지 퇴장하는 경우인지를 판별하였다. 그러나 이러한 기존의 방식은 사람의 다양한 움직임에 의하여 실질적으로 퇴장하거나 입장하는 경우가 아니여도 퇴장이나 입장으로 카운팅 되는 경우가 발생하였다. 예를 들어, 사람이 출입구 근처에서 왔다 갔다 하며 서성이는 경우, 하나의 라인 또는 두 개의 라인을 이용하여 기존의 방식은 사람이 왔다 갔다 하며 서성이는 사람을 여러번 입장 또는 퇴장하는 사람으로 오 카운팅 될 확률이 높다.
도 8은 본 발명의 일 실시예에 따른 사람 계수 장치의 라인설정부가 출입구 외부에 특정 영역을 설정한 경우, 계수부가 퇴장하는 사람을 계수하는 방법에 관하여 설명하는 도면이다.
구체적으로 도 8을 참조하여 기존 방식과 비교하여 카운팅부(614)가 인라인과 아웃라인을 이용하여 기존보다 정확한 퇴장하는 사람을 계수하는 방식을 설명한다.
도 8을 참조하면, 기존의 인라인과 같은 라인이 하나만 존재하는 방식은 ①과 같은 경우는 비교적 정확한 계수가 가능하다. 이하 발명의 설명을 위하여 사용하는 ?絹올?는 이동체 중 사람인 것을 가정한다.
그러나, 라인 근처를 왔다 갔다 하며 서성이는 사람(②), 이동체의 검출 및 추적의 정확도가 높지 않거나 추적이 중단된 적이 있는 경우(③,④)에는 기존 방식으로는 정확한 계수가 불가능하다.
기존 방식으로는 ②의 경우에서 입장 세 번과 퇴장 세 번으로 카운팅 될 수 있으나, 실제로는 퇴장하려다 퇴장하지 않고 돌아간 경우이므로 입장과 퇴장 모두 0번으로 볼 수 있다.
또한, ③의 경우 기존 방식으로는 퇴장 한번으로 카운팅 될 것이나, 실제로는 퇴장하려다 퇴장하지 않고 다시 입구로 입장한 경우이다. ④의 경우, 기존 방식으로는 퇴장 두 번 입장 한번으로 카운팅 될 것이다. 그러나 실제로는 퇴장과 입장을 고민하다가 퇴장한 경우이다.
기존 방식과는 달리, 본 발명의 일 실시예에 따른 사람 계수 장치(600)는, 인라인을 통과한 후 아웃라인을 통과한 이동체만 퇴장한 사람으로 카운팅한다. 또한, 본 발명의 일 실시예에 따른 사람 계수 장치(600)는 노이즈 등으로 인하여 중간에 검출과 추적이 불명확한 경우에도, 인라인과 아웃라인으로 형성된 빗금 친 영역(A) 내에서의 이동체의 움직임은 카운팅에 고려되지 않고, 동일한 이동체가 인라인을 통과한 후 아웃라인을 통과하는지 여부만을 이용하여 입장한 사람을 카운팅 할 수 있다.
즉, 이동체가 방향을 급변하며 이동하여 검출 및 추적이 곤란한 경우에도 기존 방식에 비하여 본 발명에 따른 카운팅부(614)는 정확하게 퇴장 또는 입장하는 사람을 계수 할 수 있다. 이동체의 검출 및 검출된 이동체의 추적은 각각 본 발명의 일 실시예에 따른 사람 검출 장치(300) 및 사람 추적 장치(500)를 이용할 수 있다.
구체적으로 카운팅부(614)는 ①의 경우, 동일한 이동체의 검출 및 추적 결과가 인라인을 통과한 후 아웃라인을 통과한 바, 퇴장한 사람의 카운트를 1 증가시킬 수 있다. ②의 경우, 동일한 이동체의 검출 및 추적 결과가 인라인을 통과하였으나, 아웃라인을 통과하지 않았으므로, 카운팅부(614)가 퇴장한 사람에 대하여 증가시키는 카운트는 0이다.
③의 경우와 같이 노이즈 등으로 동일한 이동체의 검출 및 추적 데이터가 존재하지 않는 시간이 존재하여도(도 7의 ③의 경로에서 점선 부분), 동일한 이동체의 검출 및 추적 결과가 동일한 이동체가 인라인을 통과한 적이 있으며, 아웃라인을 통과한 적은 없으나, 다시 인라인을 통과한 적이 있는 경우, 카운팅부(614)는 퇴장한 사람에 대하여 증가시키는 카운트를 0으로 결정할 수 있다.
④의 경우, ③의 경우와 마찬가지로 노이즈 등으로 동일한 이동체의 검출 및 추적 데이터가 존재하지 않는 시간이 존재하여도(도 7의 ④의 경로에서 점선 부분), 동일한 이동체의 검출 및 추적 결과가 인라인을 통과한 후, 아웃라인을 통과한 적이 있으므로, 카운팅부(614)는 퇴장되는 사람의 카운트를 1 증가시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 사람 계수 장치의 라인설정부가 출입구 내부에 특정 영역을 설정한 경우, 계수부가 입장하는 사람을 계수하는 방법에 관하여 설명하는 도면이다.
도 9를 참조하면, 라인설정부(612)가 출입구 근처에 인라인을 설정하고, 출입구 내부에 특정 영역(B)이 설정되도록 아웃라인을 설정한 것을 볼 수 있다.
계수부(610)는 라인설정부(612)에서 검출 및 추적된 이동체 중에서 인라인을 통과한 후 아웃라인을 통과한 이동체는 입장하는 사람으로 계수할 수 있다. 즉, 도 9에서는 ⓐ 및 ⓓ는 인라인을 통과한 후 아웃라인을 통과한 이동체인 바 입장하는 사람으로 각각 계수할 수 있다. ⓑ 및 ⓒ는 인라인을 통과하였으나 아웃라인을 통과하지 않은 바 입장하는 사람으로 계수하지 않을 수 있다.
다시 도 6으로 되돌아가면, 라인설정부(612)는 출입구 내부에 특정 영역이 설정되도록 제1인라인과 제2아웃라인을 설정하는 것과 동시에 상기 출입구와 동일한 출입구 외부에 특정 영역이 설정되도록 제2인라인과 제2아웃라인을 설정할 수 있다. 라인설정부(612)는 제1인라인과 제2인라인을 동일한 라인으로 설정할 수도 상이한 라인으로 설정할 수 있다.
도 10은 라인설정부가 출입구 내부 및 외부에 특정 영역이 형성되도록 인라인 및 아웃라인을 설정한 일 예를 나타내는 도면이다.
도 10과 같이 라인설정부(612)가 인라인 및 아웃라인을 설정한 경우, 계수부(610)는 인라인을 통과하고 제1아웃라인을 통과한 이동체는 퇴장하는 사람으로 계수하고, 인라인을 통과하고 제2아웃라인을 통과한 이동체는 입장하는 사람으로 계수 할 수 있다.
도 11은 라인설정부가 라인을 설정하는 다른 예를 나타내는 도면이다.
도 11을 참조하면, 라인설정부(612)가 출입구 내부에 특정 영역이 설정되도록 아웃라인을 설정할 때, 인라인은 출입구 외부에 존재할 수도 있다. 다만, 인라인이 출입구 외부에 존재하여도, 아웃라인은 출입구 내부에 존재하며, 인라인과 아웃라인으로 형성된 특정 영역은 출입구 내부에 더 넓은 영역이 존재하는 것이 바람직하다. 도 10과 같이 인라인 및 아웃라인이 설정되어도 계수부(610)가 퇴장하는 사람을 계수하는 방법은 동일하다.
반대로, 라인설정부(612)가 출입구 외부에 특정 영역이 설정되도록 아웃라인을 설정할 때, 인라인은 출입구 내부에 존재할 수도 있다. 다만, 인라인이 출입구 내부에 존재하여도, 아웃라인은 출입구 외부에 존재하며, 인라인과 아웃라인으로 형성된 특정 영역은 출입구 외부에 더 넓은 영역이 존재하는 것이 바람직하다.
도 8 내지 도 11은 라인설정부(612)가 인라인 및 아웃라인을 설정하는 여러 가지 예를 설명하기 위한 도면이며, 라인설정부(612)는 도 12와 같이 CCTV 등의 영상 촬영 장치에서 촬영된 영상 위에 설정될 수 있다.
구체적으로 수학식 9내지 12를 참조하여, 카운팅부(614)가 인라인과 아웃라인 통과 여부를 이용하여 사람을 계수하는 방법을 살펴본다.
카운팅부(614)는 베이스 규칙(Bayes?ule)에 의하여 표현되는 확률 p(S|X)를 이용하여 사람을 수를 카운팅할 수 있다. 확률 p(S|X)를 수학식 9와 함께 설명한다.
Figure pat00012
수학식 9에서, p(S|X)는 트러젝토리(Trajectory) X가 주어졌을 때, 상태(State) S가 {In count, Out count, NotCount} 중 하나에 속할 확률을 의미한다. In count는 입장 상황, Out count는 퇴장 상황, NotCount는 집계되지 않는 상황을 의미한다. 수학식 9에서 p(S)의 값은 기 설정된 바에 따를 수 있다. 예를 들면, 입장하는 사람과 퇴장하는 사람의 수가 동일하다고 가정하고, p(S=In count)을 0.4로 p(S=Out count)도 0.4로 설정할 수 있다. 이러한 p(S)의 값은 본 발명의 동작 시스템 환경, CCTV가 촬영하는 장소 등에 따라서 변경될 수 있다.
앞서 설명한 바와 같이, 아웃라인을 통과한 후 인라인을 통과하면 In count를 하나 증가시키고, 인라인을 통과한 후 아웃라인을 통과하면 Out count를 하나 증가시킨다. NotCount는 입장 상황 및 퇴장 상황이 아닌 모든 상황에 해당할 수 있다.
X는 {x0, x1, ···, xt -1, xt}를 의미한다. xt는 t번째 프레임에서의 예측되어 추적하는 이동하는 사람의 위치 정보이다. 따라서, 트러젝토리 X는 프레임들에 따른 xt의 집합을 의미한다. 그리고, p(S|X=IN)은 수학식 10과 같이 나타낼 수 있다.
Figure pat00013
수학식 10을 참조하면, 카운팅부(614)는 트러젝토리 X 중 처음 검출이 된 위치 x0와 마지막으로 검출이 된 위치 xt를 이용하여 사람을 계수할 수 있다. 수학식 10에서 p(xt|S=IN)는 수학식 11에서, p(x0|S=IN)는 수학식 12에서 보다 자세히 설명한다.
구체적으로 검출된 위치 xt가 주어졌을 때, 사람이 입장했을 확률은 수학식 11과 같이 나타낼 수 있다.
Figure pat00014
수학식 11에서 αin은 xt가 아웃라인(Outline) 상에 존재하는 경우 확률 값으로 실험적으로 설정될 수 있다. 예를 들면, αin는 0.7이상의 값으로 설정될 수 있다. p(x0|S=IN)는 수학식 12와 같이 나타낼 수 있다.
Figure pat00015
수학식 12에서,
Figure pat00016
는 트러젝토리 X의 y축 그래디언트(Gradient)의 합을 의미하며, L은 카운팅(Counting) 영역의 y축 길이를 의미한다. βin은 실험적으로 값을 결정할 수 있다. 예를 들어, βin은 실험적으로 0.9 이상의 값을 적용할 수 있다. γ는 y축 그래디언트의 합이 음수이면 0, 양수이면 1을 적용할 수 있다.
카운팅부(614)는 p(S=IN|X)>0이면서 p(S=IN|X)/p(S=NOT|X)>T이면, In Count를 증가시킨다. p(S=NOT|X)은 1-p(S=IN|X)-p(S=OUT|X)이다. p(X)는 0보다 큰 값을 가정하면, 분모와 분자에 공통으로 들어가 있는 값이므로 상쇄 가능 변수가 될 수 있다. T는 본 발명의 동작 본 발명의 동작 시스템 환경 등에 따라서 설정될 수 있으며, 예를 들면, 0.3정도가 될 수 있다.
본 발명의 일 실시예에 따른 이동체 검출 장치(100)는 영상 촬영 장치에서 촬영된 영상의 프레임에서 이동체를 정확하게 검출할 수 있다.
또한, 본 발명의 일 실시예에 따른 사람 검출 장치(300)는 영상 촬영 장치에서 촬영된 영상의 프레임에서 검출된 이동체 중 사람을 정확하게 검출할 수 있다.
또한, 본 발명의 일 실시예에 따른 사람 추적 장치(500)는 영상 촬영 장치에서 촬영된 영상의 프레임에서 검출된 이동체를 정확하게 추적할 수 있다.
또한, 본 발명의 일 실시예에 따른 사람 계수 장치(600)는 영상 촬영 장치에서 촬영된 영상을 이용하여 검출 및 추적한 사람인 이동체를 이용하여 높은 정확도로 사람을 계수할 수 있다.
또한, 본 발명의 일 실시예에 따른 사람 계수 장치(600)는, 인라인과 아웃라인을 통하여 사람을 계수하여, 기존의 하나의 라인으로 사람을 계수하는 방법에 비하여, 높은 정확도로 사람을 계수할 수 있다.
도 13은 본 발명의 일 실시예에 따른 사람 검출 방법에 관한 흐름도이다.
도 13을 참조하여 본 발명의 일 실시예에 따른 사람 검출 방법에 관하여 설명하면, 수신부(110)가 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상의 영상 프레임을 수신할 수 있다(S1310 단계).
정확도 산출부(120)는 수신부가 수신한 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출할 수 있다(S1320 단계).
영역 확장부(130)는 정확도 산출부에서 검출된 이동체 영역을, 픽셀 간의 밝기값의 차이를 이용한 우선 순위 π(p)에 기반하여 확장할 수 있다(S1330 단계). 우선 순위 π(p)는 앞서 설명한 수학식 4와 5를 참조할 수 있다.
사람 검출부가 영역 확장부에 의하여 확장된 이동체 영역의 위치, 영역 확장부에 의하여 확장된 이동체 영역의 크기, 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 검출된 이동체 중에서 사람인 이동체를 검출할 수 있다(S1340 단계).
도 14는 본 발명의 일 실시예에 따른 사람 계수 방법에 관한 흐름도이다.
도 14를 참조하여 본 발명의 일 실시예에 따른 사람 계수 방법에 관하여 설명하면, 수신부(110)가 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상의 영상 프레임을 수신할 수 있다(S1410 단계).
라인설정부(612)는 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정할 수 있다(S1420 단계).
정확도 산출부(120) 및 영역 검출부(130)가 수신부(110)에서 수신된 영상에서 이동체를 검출하고(S1430 단계), 사람 검출부(310)가 검출된 이동체 중에서 사람에 해당하는 이동체를 검출할 수 있다(S1440 단계).
추적부(510)가 검출된 사람에 해당하는 이동체마다 움직임을 추적할 수 있다(S1450 단계). S1430 단계, S1440 단계, S1450 단계에서 검출 및 추적된 정보는 데이터베이스에 저장될 수 있으며, S1420 단계와 비교하여 시간적으로 선 또는 후 수행될 수 있다.
계수부(610)는 추적부(510)의 사람에 해당하는 이동체마다 움직임을 추적한 추적 정보를 이용하여, 이동체마다 인라인의 통과 여부와 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수할 수 있다(S1460 단계).
구체적으로, 라인설정부(612)가 출입구 외부에 아웃라인을 설정한 경우, 계수부(610)는 인라인을 통과한 후 아웃라인을 통과한 이동체에 한하여 퇴장하는 사람의 계수를 증가시킬 수 있다. 반면에, 라인설정부(612)가 출입구 내부에 아웃라인을 설정한 경우, 계수부(610)는 인라인을 통과한 후 아웃라인을 통과한 이동체에 한하여 입장하는 사람의 계수를 증가시킬 수 있다(S1460 단계).
도 1, 3, 5, 6 및 도7 의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (19)

  1. 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상을 수신하는 수신부;
    상기 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 상기 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정하는 라인설정부;
    상기 수신된 영상의 프레임 간 정보 차이를 이용하여 상기 영상에 존재하는 이동체를 검출하고, 상기 검출된 이동체에서 사람에 해당하는 이동체를 검출하는 검출부;
    상기 검출된 이동체마다 움직임을 추적하는 추적부; 및
    상기 이동체의 추적된 움직임을 이용하여, 상기 이동체의 상기 인라인의 통과 여부와 상기 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수하는 계수부를 포함하는 사람 계수 장치.
  2. 제 1 항에 있어서,
    상기 라인설정부는 상기 아웃라인이 상기 출입구 외부에 존재하도록 설정하고,
    상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 퇴장하는 사람으로 계수하는 사람 계수 장치.
  3. 제 1 항에 있어서,
    상기 라인설정부는 상기 아웃라인이 상기 출입구 내부에 존재하도록 설정하고,
    상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람으로 계수하는 사람 계수 장치.
  4. 제 1 항에 있어서,
    상기 계수부는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과하지 않은 경우로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람 및 퇴장하는 사람 중 어느 사람으로도 계수하지 않는 사람 계수 장치.
  5. 제 1 항에 있어서,
    상기 검출부는,
    상기 수신된 영상의 영상 프레임을 이용하여 이동체를 검출하는 이동체 검출부를 포함하며,
    상기 이동체 검출부는,
    상기 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 산출부를 포함하는 사람 계수 장치.
  6. 제 5 항에서,
    상기 이동체 검출부는,
    상기 정확도 산출부에서 검출된 이동체 영역을 우선 순위 π(p)에 기반하여 확장하는 영역 확장부를 더 포함하는 사람 계수 장치.
  7. 제 5 항에 있어서,
    상기 검출부는,
    상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출부를 포함하는 사람 계수 장치.
  8. 제 1 항에 있어서,
    상기 추적부는, 템플릿(Template)들 사이의 픽셀값들의 차의 절대값을 모두 합한 것에 관한 요소인 αtemplate, 상기 템플릿의 관심 물체에 대한 색상 히스토그램(Histogram)에 가우시안 혼합 모델 방법을 적용하여 확률 모델을 정의한 후 템플릿의 히스토그램간의 차이를 산출한 것에 관한 요소인 αhistogram 및 회전 불변 특징 추출(SIFT, Scale Invariant Feature Transform) 방법에서의 특징 서술자를 이용하여 이전 프레임과 현재 프레임 사이에 동일한 물체간의 차이를 산출한 것에 관한 요소인 αsift 중 적어도 하나의 요소가 포함된 가중치(wd)와 칼만 이득(K)을 포함한 칼만 필터(Kalman Filter)를 이용하여 상기 검출된 이동체를 추적하는 사람 계수 장치.
  9. 영상 촬영 장치에 의하여 출입구를 포함하여 촬영된 영상을 수신하는 수신단계;
    상기 출입구에 가상의 라인(Line)인 인라인(Inline)을 설정하고, 상기 인라인을 일 측으로 하여 특정 영역이 형성되도록 가상의 라인인 아웃라인(Outline)을 설정하는 라인설정단계;
    상기 수신된 영상의 프레임 간 정보 차이를 이용하여 상기 영상에 존재하는 이동체를 검출하고, 상기 검출된 이동체에서 사람에 해당하는 이동체를 검출하는 검출단계;
    상기 검출된 이동체마다 움직임을 추적하는 추적단계; 및
    상기 이동체의 추적된 움직임을 이용하여, 상기 이동체의 상기 인라인의 통과 여부와 상기 아웃라인의 통과 여부를 판단하고, 상기 판단된 통과 여부에 기반하여 사람을 계수하는 계수단계를 포함하는 사람 계수 방법.
  10. 제 9 항에 있어서,
    상기 라인설정단계는 상기 아웃라인이 상기 출입구 외부에 존재하도록 설정하고,
    상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 퇴장하는 사람으로 계수하는 사람 계수 방법.
  11. 제 9 항에 있어서,
    상기 라인설정단계는 상기 아웃라인이 상기 출입구 내부에 존재하도록 설정하고,
    상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과한 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람으로 계수하는 사람 계수 방법.
  12. 제 9 항에 있어서,
    상기 계수단계는, 상기 이동체가 상기 인라인을 통과한 후 상기 아웃라인을 통과하지 않은 것으로 판단한 경우, 상기 이동체를 상기 출입구를 통하여 입장하는 사람 및 퇴장하는 사람 중 어느 사람으로도 계수하지 않는 사람 계수 방법.
  13. 제 9 항에 있어서,
    상기 검출단계는,
    상기 수신된 영상의 영상 프레임을 이용하여 이동체를 검출하는 이동체 검출단계를 포함하며,
    상기 이동체 검출단계는,
    상기 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 산출단계를 포함하는 사람 계수 방법.
  14. 제 13 항에서,
    상기 이동체 검출단계는,
    상기 정확도 산출단계에서 검출된 이동체 영역을 우선 순위 π(p)에 기반하여 확장하여 이동체 영역을 결정하는 영역 확장단계를 더 포함하는 사람 계수 방법.
  15. 제 13 항에 있어서,
    상기 검출단계는,
    상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출단계를 포함하는 사람 계수 방법.
  16. 영상 촬영 장치에 의하여 촬영된 영상의 영상 프레임을 수신하는 수신부;
    상기 수신된 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 검출부; 및
    상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출부를 포함하는 사람 검출 장치.
  17. 제 16 항에서,
    상기 사람 검출 장치는, 상기 정확도 산출부에서 검출된 이동체 영역을, 상기 픽셀 간의 밝기값의 차이를 이용한 우선 순위 π(p)에 기반하여 확장하는 영역 확장부를 더 포함하며,
    상기 검출된 이동체 영역의 위치는 상기 영역 확장부에 의하여 확장된 이동체 영역의 위치이고, 상기 검출된 이동체 영역의 크기는, 상기 영역 확장부에 의하여 확장된 이동체 영역의 크기인 사람 검출 장치.
  18. 영상 촬영 장치에 의하여 촬영된 영상의 영상 프레임을 수신하는 수신단계;
    상기 수신된 영상 프레임의 픽셀마다 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법과 프레임 차이법(Frame Difference)을 이용하여 검출의 정확도를 산출하고, 상기 산출된 검출의 정확도가 기 설정된 정확도 이상인 픽셀을 이동체 영역으로 검출하는 정확도 검출단계; 및
    상기 검출된 이동체 영역의 위치, 상기 검출된 이동체 영역의 크기 및 모양 특징 서술자인 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 방법을 이용하여 상기 검출된 이동체 중에서 사람인 이동체를 검출하는 사람 검출단계를 포함하는 사람 검출 방법.
  19. 제 16 항에서,
    상기 사람 검출 방법은, 상기 정확도 산출단계에서 검출된 이동체 영역을, 상기 픽셀 간의 밝기값의 차이를 이용한 우선 순위 π(p)에 기반하여 확장하는 영역 확장단계를 더 포함하며,
    상기 검출된 이동체 영역의 위치는 상기 영역 확장단계에 의하여 확장된 이동체 영역의 위치이고, 상기 검출된 이동체 영역의 크기는, 상기 영역 확장단계에 의하여 확장된 이동체 영역의 크기인 사람 검출 방법.
KR20130062261A 2013-05-31 2013-05-31 사람 검출 장치 및 방법과 사람 계수 장치 및 방법 KR101480348B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130062261A KR101480348B1 (ko) 2013-05-31 2013-05-31 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
CN201410234167.4A CN104217419B (zh) 2013-05-31 2014-05-29 人体检测装置及方法与人体计数装置及方法
US14/291,948 US9495600B2 (en) 2013-05-31 2014-05-30 People detection apparatus and method and people counting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130062261A KR101480348B1 (ko) 2013-05-31 2013-05-31 사람 검출 장치 및 방법과 사람 계수 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140141034A true KR20140141034A (ko) 2014-12-10
KR101480348B1 KR101480348B1 (ko) 2015-01-09

Family

ID=51985153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130062261A KR101480348B1 (ko) 2013-05-31 2013-05-31 사람 검출 장치 및 방법과 사람 계수 장치 및 방법

Country Status (3)

Country Link
US (1) US9495600B2 (ko)
KR (1) KR101480348B1 (ko)
CN (1) CN104217419B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029231A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
KR101992562B1 (ko) * 2018-02-06 2019-06-24 한국원자력 통제기술원 원자력 시스템 관련 유사설계도 검출시스템 및 그 방법
US10372977B2 (en) 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
CN110826482A (zh) * 2019-11-04 2020-02-21 北京爱笔科技有限公司 一种固定区域内的人数检测方法及装置
KR20210083425A (ko) * 2019-12-26 2021-07-07 주식회사 디파인 객체의 이동 방향에 따른 계수 시스템
KR20220047947A (ko) * 2015-04-03 2022-04-19 한화테크윈 주식회사 사람 계수 방법 및 장치

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809707B (zh) * 2014-12-30 2018-11-27 江苏慧眼数据科技股份有限公司 一种基于随机森林算法的行人跟踪方法
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
EP3347789B1 (en) 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
TWI604416B (zh) * 2015-10-01 2017-11-01 晶睿通訊股份有限公司 影像流量分析方法及具有影像流量分析功能的攝影機
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
EP3405927A1 (en) 2016-01-20 2018-11-28 Carrier Corporation A building management system using object detection and tracking in a large space with a low resolution sensor
CN105809136A (zh) 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
JP6786837B2 (ja) * 2016-03-25 2020-11-18 富士ゼロックス株式会社 動体計数装置及びプログラム
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
CN107516124B (zh) * 2016-06-17 2020-06-16 中国科学院深圳先进技术研究院 实时人流数量计数方法与系统
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
CN109563725B (zh) * 2016-08-08 2022-08-23 纳博特斯克有限公司 自动门系统、记录介质、在自动门处收集信息的方法、自动门中使用的传感器装置
US10290196B2 (en) * 2016-08-15 2019-05-14 Nec Corporation Smuggling detection system
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10810481B2 (en) * 2017-01-11 2020-10-20 Thomas Danaher Harvey Method and system to count movements of persons from vibrations in a floor
US10282656B2 (en) * 2017-01-11 2019-05-07 Thomas Danaher Harvey Method and device for detecting unauthorized tranfer between persons
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
CN108460864B (zh) * 2017-02-22 2022-09-02 开利公司 人流量估测系统及用于其的故障处理方法
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10839552B2 (en) * 2017-06-01 2020-11-17 Nec Corporation Image processing apparatus, tracking method, and program
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
JP6917804B2 (ja) * 2017-06-28 2021-08-11 アズビル株式会社 人検知結果判定方法および装置
KR101983684B1 (ko) * 2017-08-25 2019-05-30 광운대학교 산학협력단 컨벌루션 신경망을 이용한 임베디드 플랫폼 상의 피플 카운팅 방법
US10677905B2 (en) 2017-09-26 2020-06-09 Infineon Technologies Ag System and method for occupancy detection using a millimeter-wave radar sensor
CN109753846A (zh) * 2017-11-03 2019-05-14 北京深鉴智能科技有限公司 目标跟踪硬件实现系统和方法
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
US11157745B2 (en) * 2018-02-20 2021-10-26 Scenera, Inc. Automated proximity discovery of networked cameras
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
JP6941075B2 (ja) * 2018-05-18 2021-09-29 Kddi株式会社 入場者特定装置、入場者特定方法及び入場者特定プログラム
JP7340771B2 (ja) * 2018-05-28 2023-09-08 パナソニックＩｐマネジメント株式会社 生体検知装置、生体検知方法、記録媒体、およびプログラム
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
CN112352158A (zh) * 2018-06-04 2021-02-09 加利福尼亚大学董事会 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US10832416B2 (en) 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation
EP3857477A1 (en) * 2018-09-27 2021-08-04 HTI Digital GmbH System and method for detecting the number of users on at least one ski resort run
IT201900006570A1 (it) * 2019-05-06 2020-11-06 Demaclenko It S R L Sistema e metodo di rilevamento del numero di utenti su almeno una pista da sci di un comprensorio sciistico
JP2020063154A (ja) 2018-10-11 2020-04-23 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
TWI686748B (zh) * 2018-12-07 2020-03-01 國立交通大學 人流分析系統及人流分析方法
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
US11182642B2 (en) 2019-02-28 2021-11-23 Stats Llc System and method for generating player tracking data from broadcast video
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
US11747443B2 (en) * 2019-08-05 2023-09-05 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
KR20190099155A (ko) 2019-08-06 2019-08-26 엘지전자 주식회사 사람수 카운팅 장치 및 사람수 카운팅 방법
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
CN111652161A (zh) * 2020-06-08 2020-09-11 上海商汤智能科技有限公司 人群过密预测方法、装置、电子设备及存储介质
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
US20210398691A1 (en) * 2020-06-22 2021-12-23 Honeywell International Inc. Methods and systems for reducing a risk of spread of disease among people in a space
EP3937065B1 (en) 2020-07-07 2022-05-11 Axis AB Method and device for counting a number of moving objects that cross at least one predefined curve in a scene
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
US11657613B2 (en) 2020-08-11 2023-05-23 Analog Devices International Unlimited Company Zone based object tracking and counting
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
CN113033293A (zh) * 2021-02-03 2021-06-25 北京睿家科技有限公司 一种出入口管理设备、系统和方法
KR102471612B1 (ko) 2021-02-16 2022-11-25 조선대학교산학협력단 사용자 정보 생성 방법 및 장치
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
EP4105687A1 (en) 2021-06-18 2022-12-21 Infineon Technologies AG People counting based on radar measurement
CN117795562A (zh) * 2021-07-14 2024-03-29 先讯美资电子有限责任公司 用于基于所检测的移动和驻留时间的环境中视觉系统跟踪的系统和方法
EP4286884A1 (en) 2022-06-03 2023-12-06 Infineon Technologies AG People counting based on radar measurement and data processing in a neural network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3521637B2 (ja) * 1996-08-02 2004-04-19 オムロン株式会社 通過人数計測装置及びそれを用いた入退場者数管理システム
KR100558383B1 (ko) * 2003-03-07 2006-03-10 주식회사 밀리오네어즈 움직임 블록 검출 방법 및 이에 기초한 움직이는 물체추적 방법
KR100519782B1 (ko) 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US8224026B2 (en) * 2005-12-08 2012-07-17 Lenel Systems International, Inc. System and method for counting people near external windowed doors
KR20100121817A (ko) * 2009-05-11 2010-11-19 호서대학교 산학협력단 눈의 영역을 추적하는 방법
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
KR101064927B1 (ko) 2010-08-10 2011-09-16 주식회사 유니온커뮤니티 영상 분석을 이용한 방문자 계수 시스템 및 그 방법
JP5675229B2 (ja) * 2010-09-02 2015-02-25 キヤノン株式会社 画像処理装置及び画像処理方法
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
WO2012132437A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 人数計測装置
WO2012138828A2 (en) * 2011-04-08 2012-10-11 The Trustees Of Columbia University In The City Of New York Kalman filter approach to augment object tracking
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN102622582B (zh) * 2012-02-21 2014-04-30 长安大学 一种基于视频的道路行人事件检测方法
EP2820625A1 (en) * 2012-02-29 2015-01-07 Koninklijke Philips N.V. Apparatus, method and system for monitoring presence of persons in an area
US9367733B2 (en) * 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047947A (ko) * 2015-04-03 2022-04-19 한화테크윈 주식회사 사람 계수 방법 및 장치
US10372977B2 (en) 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
KR20170029231A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
KR101992562B1 (ko) * 2018-02-06 2019-06-24 한국원자력 통제기술원 원자력 시스템 관련 유사설계도 검출시스템 및 그 방법
CN110826482A (zh) * 2019-11-04 2020-02-21 北京爱笔科技有限公司 一种固定区域内的人数检测方法及装置
CN110826482B (zh) * 2019-11-04 2022-05-17 北京爱笔科技有限公司 一种固定区域内的人数检测方法及装置
KR20210083425A (ko) * 2019-12-26 2021-07-07 주식회사 디파인 객체의 이동 방향에 따른 계수 시스템

Also Published As

Publication number Publication date
CN104217419B (zh) 2018-04-17
US9495600B2 (en) 2016-11-15
CN104217419A (zh) 2014-12-17
KR101480348B1 (ko) 2015-01-09
US20140355829A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR101480348B1 (ko) 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US8325981B2 (en) Human tracking apparatus, human tracking method, and human tracking processing program
CN108596128B (zh) 对象识别方法、装置及存储介质
US8706663B2 (en) Detection of people in real world videos and images
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
Ryan et al. Crowd counting using group tracking and local features
JP2016095808A (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
Zhu et al. Human tracking and counting using the kinect range sensor based on adaboost and kalman filter
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN104751144B (zh) 一种面向视频监控的正面人脸快速评价方法
Padmashini et al. Vision based algorithm for people counting using deep learning
Mukherjee et al. Omega model for human detection and counting for application in smart surveillance system
Nieto et al. Perspective multiscale detection and tracking of persons
Chong et al. A novel pedestrian detection and tracking with boosted HOG classifiers and Kalman filter
Saxena et al. Design of people counting system using MATLAB
Kim et al. Directional pedestrian counting with a hybrid map-based model
Wang et al. Event detection and recognition using histogram of oriented gradients and hidden markov models
Mohaghegh et al. A four-component people identification and counting system using deep neural network
Ghosh et al. Comparative analysis and implementation of different human detection techniques
Hradiš et al. Real-time tracking of participants in meeting video
Bobkowska et al. The impact of emotions on changes in the correlation coefficient between digital images of the human face
Le et al. Real-time abnormal events detection combining motion templates and object localization
KR20170107782A (ko) 통행량을 기반으로 한 적응적 사람 계수 방법 및 장치
Hung et al. Local empirical templates and density ratios for people counting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 6