KR101467307B1 - 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치 - Google Patents

인공 신경망 모델을 이용한 보행자 계수 방법 및 장치 Download PDF

Info

Publication number
KR101467307B1
KR101467307B1 KR20130098020A KR20130098020A KR101467307B1 KR 101467307 B1 KR101467307 B1 KR 101467307B1 KR 20130098020 A KR20130098020 A KR 20130098020A KR 20130098020 A KR20130098020 A KR 20130098020A KR 101467307 B1 KR101467307 B1 KR 101467307B1
Authority
KR
South Korea
Prior art keywords
extracted
image frame
feature
foreground
statistical
Prior art date
Application number
KR20130098020A
Other languages
English (en)
Inventor
김문현
김규진
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130098020A priority Critical patent/KR101467307B1/ko
Application granted granted Critical
Publication of KR101467307B1 publication Critical patent/KR101467307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Abstract

본 발명의 보행자 계수 장치는 입력 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 입력 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부, 추출된 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부, 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부 및 학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 입력 이미지 프레임 내의 보행자들을 계수하는 인공 신경망 보행자 계수부를 포함할 수 있다.

Description

인공 신경망 모델을 이용한 보행자 계수 방법 및 장치{METHOD AND APPARATUS FOR COUNTING PEDESTRIANS USING ARTIFICIAL NEURAL NETWORK MODEL}
본 발명은 영상 감시에 관한 것으로, 더욱 상세하게는, 영상 내의 보행자 행동 감시에 관한 것이다.
대규모 CCTV 시스템의 경우에 수십 개에서 수백 개에 이르는 영상들을 관리요원들이 모니터링하여야 하므로 대단히 많은 인원이 소요되면서도 감시 요원의 집중력 저하나 피로, 부주의, 임의적인 판단에 따라 중요한 상황을 놓치는 경우가 종종 있을 뿐 아니라, 엄청난 시간의 영상을 저장하는 문제에서도 곤란한 점이 많다.
따라서 공공 장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다.
종래의 지능형 영상 감시 시스템들은 먼저 영상으로부터 식별한 전경 영역들을 미리 제공된 보행자 형태 모델에 기초하여 분할하여 개별 보행자들을 추출하고 계수하는 방식이다.
이러한 방식은 특정한 장소를 특정한 시야(viewpoint)에서 바라보았을 때에 얻어지는 보행자 형태 모델에 의존하므로, 카메라의 방향과 화각, 초점거리 등이 매우 제한적이다. 또한 흔히 일어나는 혼잡한 상황에서 보행자가 다른 보행자에 가리는 "폐색(occlusion)"이 일어나면 가려진 개별 보행자의 식별이 실패할 가능성이 매우 크다.
이러한 종래의 시스템들은 전경 영역의 추출과 모델 분석, 유사도 판정, 추적 등의 세부 알고리즘을 거치면서 대단히 많은 연산 자원을 필요로 함에도 불구하고 정확도는 충분하지 않다.
예를 들어, 광장이나 공원, 기차역, 운동장 등 군중들이 밀집하는 곳을 감시하는 경우에, 종래의 지능형 영상 감시 시스템들로써 군중 속에서 나타나는 비정상적인 움직임을 정확히 추출하는 것은 쉽지 않다.
Robert M. Haralick, K. Shanmugam, and Its'hak Dinstein, "Textural Features for Image Classification", IEEE Transactions on Systems, Man, and Cybernetics, 1973, SMC-3 (6): 610-621
본 발명이 해결하고자 하는 과제는 개별 보행자들을 모델링하지 않아 폐색에 영향을 받지 않으면서 보행자들을 효과적으로 계수할 수 있는 보행자 계수 방법 및 장치를 제공하는 데에 있다.
본 발명의 일 측면에 따른 보행자 계수 장치는,
입력 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 입력 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부;
상기 추출된 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부;
전경 영역과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부; 및
학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 인공 신경망 보행자 계수부를 포함할 수 있다.
일 실시예에 따라, 상기 전경 영역 추출부는 가우시안 혼합 모델링 기법에 기초하여 전경 영역을 추출하도록 동작할 수 있다.
일 실시예에 따라, 상기 전경 영역 추출부는 팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하도록 동작할 수 있다.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택될 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적 또는 전경 영역의 외곽선 길이를 포함할 수 있다.
일 실시예에 따라, 상기 보행자 계수 장치는,
상기 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출하고 추출된 텍스처 속성들을 통계적 특징 성분으로서 상기 주성분 분석부에 제공하는 텍스처 추출부를 더 포함할 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 추출된 텍스처 속성들을 포함할 수 있다.
일 실시예에 따라, 상기 추출된 텍스처 속성들은 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.
일 실시예에 따라, 상기 선정되는 통계적 특징 주성분은, 전경 영역의 면적 또는 전경 영역의 외곽선 길이 중 어느 하나를 고정적으로 포함하고, 추출된 텍스처 속성들 중의 적어도 하나를 선택적으로 포함할 수 있다.
본 발명의 다른 측면에 따른 컴퓨터로 독출가능한 기록 매체는 컴퓨터를 어느 한 실시예에 따른 보행자 계수 장치로 동작시키도록 구현된 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.
본 발명의 또 다른 측면에 따른 입력 이미지 프레임 내의 보행자 계수 방법은,
입력 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 입력 이미지 프레임으로부터 전경 영역을 추출하는 단계;
상기 추출된 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 단계;
전경 영역과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 단계; 및
학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 전경 영역은 가우시안 혼합 모델링 기법에 기초하여 추출될 수 있다.
일 실시예에 따라, 상기 전경 영역을 추출하는 단계는,
팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택될 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적 또는 전경 영역의 외곽선 길이를 포함할 수 있다.
일 실시예에 따라, 상기 입력 이미지 프레임 내의 보행자 계수 방법은
상기 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출하여 추출된 텍스처 속성들을 통계적 특징 성분으로서 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 추출된 텍스처 속성들을 포함할 수 있다.
일 실시예에 따라, 상기 추출된 텍스처 속성들은 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.
일 실시예에 따라, 상기 선정되는 통계적 특징 주성분은, 전경 영역의 면적 또는 전경 영역의 외곽선 길이 중 어느 하나를 고정적으로 포함하고, 추출된 텍스처 속성들 중의 적어도 하나를 선택적으로 포함할 수 있다.
본 발명의 또 다른 측면에 따른 컴퓨터로 독출가능한 기록 매체는 컴퓨터에서 어느 한 실시예에 따른 보행자 계수 방법을 수행하는 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.
본 발명의 보행자 계수 방법 및 장치에 따르면, 전경 영역에 대한 모션 벡터 기법과 주요 성분 분석이 적용된 특징값 추출 기법을 함께 이용하여 보행자들을 계수할 수 있다.
본 발명의 보행자 계수 방법 및 장치에 따르면, 개별 보행자의 영상 모델을 추출하지 않고도 집합적 보행자 영상으로부터 보행자의 수를 알아낼 수 있다.
본 발명의 보행자 계수 방법 및 장치에 따르면, 인공 신경망 학습 모델을 이용하여 학습 성과에 따라 다양한 환경에 효과적으로 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행자 계수 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서, 원본 및 전경 영역을 예시한 예제들이다.
도 3은 본 발명의 일 실시예에 따른 보행자 계수 장치의 특징점 추출부에서 추출된 특징점들을 예시한 예제이다.
도 4는 본 발명의 일 실시예에 따른 보행자 계수 장치의 특징점 추출부에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.
도 5는 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서 추출된 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서 추출된 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.
도 7은 예제 동영상들에 대해 본 발명의 일 실시예에 따른 보행자 계수 장치를 통해 추정된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.
도 8은 본 발명의 일 실시예에 따른 보행자 계수 방법을 예시한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 보행자 계수 장치를 예시한 블록도이다.
도 1을 참조하면, 보행자 계수 장치(10)는 전경 영역 추출부(11), 특징점 추출부(12), 텍스처 추출부(13), 주성분 분석부(14) 및 인공 신경망 보행자 계수부(15)를 포함한다.
전경 영역 추출부(11)은 입력 이미지 프레임으로부터 전경 영역들을 추출한다.
구체적으로, 전경 영역 추출부(11)은 예를 들어 연속하는 영상들에서 변하지 않는 부분을 배경(background)으로 보고 이를 제거하는 차영상 기법, 소정 시간 동안의 영상 프레임들의 누적이나 학습을 통한 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경을 추출한 다음, 추출된 배경을 기초로 입력 이미지 프레임으로부터 전경 영역을 추출할 수 있다.
바람직하게 전경 영역 추출부(11)는 가우시안 혼합 모델을 이용하여 전경 영역을 추출할 수 있는데, 차영상 기법에 비해 조명 변화나 잡음에 강하다.
추출된 전경 영역에는 보행자 영역을 포함하여 다양한 잡음(noise), 홀(hole) 등이 포함될 수 있는데, 이 경우에 팽창(dilation), 침식(erosion)과 같은 화상 변형을 반복하면 노이즈를 제거하고 좀더 정확하게 보행자 영역을 전경 영역으로서 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서, 원본 및 전경 영역을 예시한 예제들이다.
도 2를 참조하면, 원본 입력 이미지 프레임과 원본에서 추출된 전경 영역 픽셀들이 예시되어 있다.
보행자 계수 장치에서 입력 원본 이미지는 촬영된 이미지 또는 그로부터 전처리된 이미지이며, 전경 영역 픽셀들은 움직이지 않는 배경을 구성하는 픽셀들을 제외한 픽셀들이므로 실질적으로 보행자 이미지들을 구성하는 픽셀들과 동일하다.
다시 도 1로 돌아가서, 특징점 추출부(12)는 전경 영역 추출부(11)에서 추출된 전경 영역으로부터 예를 들어 SURF(Speeded Up Robust Feature Algorithm), SIFT(Scale Invariant Feature Transforms), 해리스 코너 검출기(Harris corner detector), 포스트너 검출기(Forstner detector), 카나데-루카스-토마시 알고리즘(KLT, Kanade-Lucas-Tomasi)과 같은 주지의 특징점 추출 알고리즘들을 이용하여 특징점들을 추출한다.
도 3은 본 발명의 일 실시예에 따른 보행자 계수 장치의 특징점 추출부에서 추출된 특징점들을 예시한 예제이다.
도 3을 참조하면, SURF 알고리즘에 의한 특징점들은 주로 보행자들의 얼굴, 팔다리의 끝 부분에서 추출되는 것을 알 수 있다.
보행자 한 명당 3~5 개의 특징점들이 추출되므로, 보행자의 수가 많으면 특징점들의 수도 늘어나게 된다.
도 4는 본 발명의 일 실시예에 따른 보행자 계수 장치의 특징점 추출부에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.
도 4를 참조하면, SURF 알고리즘에 의해 추출된 특징점들의 수와 수작업으로 계수된 보행자의 수 사이의 관계는 상당히 밀접한 것을 알 수 있다. 다만, 보행자 수가 적은 이미지에서는 특징점들의 수와 보행자들의 수 사이의 관계가 다소 적어질 수 있지만, 이는 후속하는 인공 신경망 보행자 계수부(15)의 학습 모델에 의해 보완될 수 있다.
다시 도 1로 돌아가서, 텍스처 추출부(13)는 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출한다. 예를 들어, 텍스처 속성들(texture properties)은 2차 결합 조건부 확률 밀도 함수들(2nd-order joint conditional probability density functions)에 기반하는 GLDM(Gray Level Dependence Matrix)에 기초하여 획득될 수 있다.
영상 처리 분야에서 텍스처 속성이란, 이미지의 질감을 계량화하기 위해 연산되는 일련의 수치 정보를 의미하는 일반적인 용어이다. 텍스처 속성은 이미지의 색상이나 밝기, 기타 속성들이 공간적으로 또는 통계적으로 어떻게 분포되는지에 관한 정보이다. 통계적 의의를 가지는 텍스처 속성들에는 예를 들어 각 2차 모멘트(angular 2nd moment), 대비도(contrast), 상관도(correlation), 엔트로피(entropy)와 같은 텍스처 속성들이 있다.
본 발명에서는 좀더 구체적으로, 1970년대에 Robert Haralick에 의해 제안된 네 가지 확산 지표들(spread indicators)인 균질성(Homogeneity), 대비도(Contrast), 에너지(Energy) 및 엔트로피(Entropy)를 1 픽셀 거리 및 0도, 45도, 90도 및 135도의 네 방향 각도에 관하여 각각 정의함으로써, 총 16 가지 텍스처 속성들이 획득될 수 있다.
이어서, 주성분 분석부(14)는 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들로 구성되는 통계적 특징 벡터(statistical feature vectors)에 대하여 주성분 분석(PCA, Principal Components Analysis)을 통해 적어도 하나의 통계적 특징 주성분을 산출한다.
예를 들어, 통계적 특징 성분들은 예를 들어, 전경 영역 추출부(11)에서 추출된 전경 영역들의 픽셀 개수 성분 및 전경 영역들의 에지 픽셀 개수 성분과, 텍스처 추출부(13)에서 추출된 16 가지 텍스처 속성들, 즉 균질성, 대비도, 에너지 및 엔트로피를 포함하는 18 가지 통계적 특징 성분들일 수 있다.
먼저 전경 영역들의 픽셀 개수 성분 및 에지 픽셀 개수 성분에 관하여 설명하면, 도 2에서 알 수 있듯이, 전경 영역은 대체로 보행자들에 상응하는 픽셀들을 포함하기 때문에, 전경 영역의 면적, 즉 픽셀들의 수는 실제 보행자의 수나 각 보행자의 몸집과 상당한 관련성이 있을 것이고, 전경 영역의 경계선의 길이, 즉 에지 픽셀들의 수는 실제 보행자들의 수와 인체의 윤곽선 길이와 상당한 관련성이 있을 것임을 예상할 수 있다.
도 5 및 도 6을 참조하면 이러한 예상이 실제로 뒷받침됨을 알 수 있다. 도 5는 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서 추출된 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이고, 도 6은 본 발명의 일 실시예에 따른 보행자 계수 장치의 전경 영역 추출부에서 추출된 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.
도 5 및 도 6은 2009년 제11회 IEEE PETS(Performance Evaluation of Tracking and Surveillance) 워크샵에서 배포된 샘플 데이터셋(PETS 2009)을 기초로 회귀 분석 기법을 통해 추출한 상관 관계들을 나타낸다.
도 5 및 도 6의 그래프에서, 가로축은 수작업으로 계수된 보행자 수이고, 세로축은 각각 전경 영역의 면적, 즉 픽셀들의 수 또는 전경 영역의 경계선 길이, 즉 에지 픽셀들의 수이다. 전경 영역 면적 및 경계선 길이는 명백하게 보행자의 수와 명확한 상관 관계가 있음을 알 수 있다.
R. Haralick의 텍스처 속성들은 영상에 나타나는 세밀함(finess), 거침(coarseness), 부드러움(smoothness), 과립상(granulation), 무작위성(randomness), 선형 배열(lineation) 또는 무균질한(being irregular) 느낌 등을 수치화할 수 있도록 제안된 여러가지 텍스처 속성들이다.
주성분 분석부(14)는 이 18 가지의 통계적 특징 성분들을 모두 이용하는 대신에, 주성분 분석 기법을 통해, 원데이터인 보행자 수에 상대적으로 큰 영향을 주는, 즉 상대적으로 강한 상관성을 가지는 적어도 하나의 특징 주성분을 선정한다.
영상의 통계적 특징 성분들과 보행자의 통계적 분포에 따라, 주성분으로 선정되는 특징 성분은 달라질 수 있다.
실시예에 따라, 예를 들어 전경 영역의 면적 성분이나 경계선 길이 성분은 고정적으로 선정되고, 나머지 17 가지 통계적 특징 성분들 중에 선택적으로 선정되는 주성분이 전경 영역 면적 성분 또는 경계선 길이 성분과 함께 인공 신경망 보행자 계수부(15)에 입력될 수도 있다.
이어서, 인공 신경망 보행자 계수부(15)는 학습용 이미지 프레임으로부터 전경 영역 추출부(11) 및 특징점 추출부(12)에서 추출된 전경 영역들의 특징점 개수 성분과, 전경 영역 추출부(11)에서 추출되는 전경 영역의 면적 또는 경계선 길이 또는 텍스처 추출부(13)에서 추출된 통계적 특징 벡터 성분들에 관하여 주성분 분석부(14)의 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 구축된 학습 모델에 입력 이미지 프레임 내의 전경 영역들의 특징점 개수 성분 및 통계적 특징 주성분을 인가하여 보행자들을 계수한다.
구체적으로, 실제의 입력 이미지 프레임을 입력하기에 앞서, 인공 신경망 보행자 계수부(15)는 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 예를 들어 인공 신경망(Neural Network)와 같은 주지의 학습 기법에 따라 학습시켜, 학습 모델을 구축할 수 있다.
예를 들어 2 개의 입력 유닛과 50 개의 은닉 유닛들과 1 개의 출력 유닛을 가진 인공 신경망을 이용하여 학습 모델을 구축할 수 있다. 이러한 학습 모델은 2 개의 입력 유닛에 PES 2009 데이터 셋의 특징점 개수 성분과 선정된 통계적 특징 주성분, 예를 들어 전경 영역 면적 성분을 입력받고, 주어진 보행자 수에 따라 학습될 수 있다.
학습 모델이 구축되면, 인공 신경망 보행자 계수부(15)는 입력된 이미지 프레임으로부터 추출된 특징점 개수 성분과 선정된 통계적 특징 주성분을 앞서 구축된 학습 모델에 적용하여, 입력 이미지 프레임 전체의 보행자들을 계수한다.
도 7은 예제 동영상들에 대해 본 발명의 일 실시예에 따른 보행자 계수 장치를 통해 추정된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.
각 그래프에서, 수작업으로 계수된 보행자 수는 시간축 상에서 상대적으로 덜 변동하는 선으로 표시되고 본 발명에 따라 계수된 보행자 수는 상대적으로 자주 변동하는 선으로 표시되어 있다. 전체적으로 본 발명에 따라 계수된 보행자 수는 실제 보행자 수를 상당히 양호하게 추종하고 있음을 알 수 있다.
도 8은 본 발명의 일 실시예에 따른 보행자 계수 방법을 예시한 순서도이다.
본 발명의 보행자 계수 방법은 단계(S81)에서 입력 이미지 프레임으로부터 전경 영역들을 추출하는 단계로부터 시작할 수 있다.
예를 들어 차영상 기법, 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경이 추출되면, 추출된 배경을 기초로 입력 이미지 프레임으로부터 전경 영역을 추출할 수 있다.
이어서, 단계(S82)에서, 추출된 전경 영역으로부터 특징점들을 추출한다.
구체적으로, 특징점들은 전경 영역으로부터 예를 들어 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘과 같은 주지의 특징점 추출 알고리즘들을 이용하여 추출될 수 있다.
단계(S83)에서, 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출하여 추출된 텍스처 속성들을 통계적 특징 성분으로서 제공한다.
구체적으로, 복수의 텍스처 속성들은 균질성, 대비도, 에너지 및 엔트로피를 포함할 수 있고, 좀더 구체적으로, 균질성, 대비도, 에너지 및 엔트로피를 1 픽셀 거리 및 0도, 45도, 90도 및 135도의 네 방향 각도에 관하여 각각 정의한 16 가지 텍스처 속성들을 포함할 수 있다.
이어서, 단계(S84)에서, 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 적어도 하나의 통계적 특징 주성분을 선정할 수 있다.
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 입력 이미지 프레임의 텍스처 속성들, 즉 균질성, 대비도, 에너지 및 엔트로피를 포함할 수 있고, 픽셀 거리 및 각도 별로 여러 벌의 텍스처 속성들이 이용될 수 있다.
단계(S85)에서, 특징점 개수 성분 및 통계적 특징 주성분에 기초한 학습 모델로써 입력 이미지 프레임의 전체 보행자들을 계수한다.
구체적으로는, 특징점 개수 성분 및 통계적 특징 주성분에 기초하여 보행자를 계수하도록 구축된 학습 모델에 입력 이미지 프레임을 인가하여, 입력 이미지 프레임 전체의 보행자들을 계수한다.
학습 모델은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 통계적 특징 벡터들 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 구축될 수 있다.
구축된 학습 모델에 입력 이미지 프레임을 입력하였을 때에 학습 모델로부터 출력되는 보행자 수가 입력 이미지 프레임 전체에서 계수된 보행자 수라고 할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
10 보행자 계수 장치
11 전경 영역 추출부
12 특징점 추출부
13 텍스처 추출부
14 주성분 분석부
15 인공 신경망 보행자 계수부

Claims (20)

  1. 입력 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 입력 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부;
    상기 추출된 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부;
    전경 영역과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부; 및
    학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 인공 신경망 보행자 계수부를 포함하는 보행자 계수 장치.
  2. 청구항 1에 있어서,
    상기 전경 영역 추출부는 가우시안 혼합 모델링 기법에 기초하여 전경 영역을 추출하도록 동작하는 것을 특징으로 하는 보행자 계수 장치.
  3. 청구항 2에 있어서, 상기 전경 영역 추출부는 팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하도록 동작하는 것을 특징으로 하는 보행자 계수 장치.
  4. 청구항 1에 있어서, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택되는 것을 특징으로 하는 보행자 계수 장치.
  5. 청구항 1에 있어서, 상기 통계적 특징 성분은 전경 영역의 면적 또는 전경 영역의 외곽선 길이를 포함하는 것을 특징으로 하는 보행자 계수 장치.
  6. 청구항 1에 있어서,
    상기 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출하여 추출된 텍스처 속성들을 통계적 특징 성분으로서 제공하는 텍스처 추출부를 더 포함하는 것을 특징으로 하는 보행자 계수 장치.
  7. 청구항 6에 있어서, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 추출된 텍스처 속성들을 포함하는 것을 특징으로 하는 보행자 계수 장치.
  8. 청구항 7에 있어서, 상기 추출된 텍스처 속성들은 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함하는 것을 특징으로 하는 보행자 계수 장치.
  9. 청구항 6에 있어서, 상기 선정되는 통계적 특징 주성분은, 전경 영역의 면적 또는 전경 영역의 외곽선 길이 중 어느 하나를 고정적으로 포함하고, 추출된 텍스처 속성들 중의 적어도 하나를 선택적으로 포함하는 것을 특징으로 하는 보행자 계수 장치.
  10. 컴퓨터를 청구항 1 내지 청구항 9 중 어느 한 청구항에 따른 보행자 계수 장치로 동작시키도록 구현된 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체.
  11. 입력 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 입력 이미지 프레임으로부터 전경 영역을 추출하는 단계;
    상기 추출된 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 단계;
    전경 영역과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 단계; 및
    학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 단계를 포함하는 입력 이미지 프레임 내의 보행자 계수 방법.
  12. 청구항 11에 있어서, 상기 전경 영역은 가우시안 혼합 모델링 기법에 기초하여 추출되는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  13. 청구항 12에 있어서, 상기 전경 영역을 추출하는 단계는,
    팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  14. 청구항 11에 있어서, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택되는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  15. 청구항 11에 있어서, 상기 통계적 특징 성분은 전경 영역의 면적 또는 전경 영역의 외곽선 길이를 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  16. 청구항 11에 있어서,
    상기 입력 이미지 프레임으로부터 복수의 텍스처 속성들을 추출하여 추출된 텍스처 속성들을 통계적 특징 성분으로서 제공하는 단계를 더 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  17. 청구항 16에 있어서, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 추출된 텍스처 속성들을 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  18. 청구항 17에 있어서, 상기 추출된 텍스처 속성들은 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  19. 청구항 16에 있어서, 상기 선정되는 통계적 특징 주성분은, 전경 영역의 면적 또는 전경 영역의 외곽선 길이 중 어느 하나를 고정적으로 포함하고, 추출된 텍스처 속성들 중의 적어도 하나를 선택적으로 포함하는 것을 특징으로 하는 입력 이미지 프레임 내의 보행자 계수 방법.
  20. 컴퓨터에서 청구항 11 내지 청구항 19 중 어느 한 청구항에 따른 보행자 계수 방법을 수행하는 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체.
KR20130098020A 2013-08-19 2013-08-19 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치 KR101467307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130098020A KR101467307B1 (ko) 2013-08-19 2013-08-19 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130098020A KR101467307B1 (ko) 2013-08-19 2013-08-19 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101467307B1 true KR101467307B1 (ko) 2014-12-01

Family

ID=52677063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130098020A KR101467307B1 (ko) 2013-08-19 2013-08-19 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101467307B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549835A (zh) * 2018-03-08 2018-09-18 深圳市深网视界科技有限公司 人群计数及其模型构建的方法、终端设备及存储介质
CN109522910A (zh) * 2018-12-25 2019-03-26 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN113158922A (zh) * 2021-04-26 2021-07-23 平安科技（深圳）有限公司 基于yolo神经网络的车流量统计方法、装置及设备
KR20220056399A (ko) 2020-10-28 2022-05-06 세종대학교산학협력단 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163950A (ja) 2004-12-08 2006-06-22 Advanced Telecommunication Research Institute International 固有空間学習装置、固有空間学習方法及び固有空間プログラム
KR20100093797A (ko) * 2009-02-17 2010-08-26 한남대학교 산학협력단 카메라의 영상을 이용한 보행자 계수 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163950A (ja) 2004-12-08 2006-06-22 Advanced Telecommunication Research Institute International 固有空間学習装置、固有空間学習方法及び固有空間プログラム
KR20100093797A (ko) * 2009-02-17 2010-08-26 한남대학교 산학협력단 카메라의 영상을 이용한 보행자 계수 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
야외환경에서의 보행자 계수방법 연구, 한국철도학회 2011 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549835A (zh) * 2018-03-08 2018-09-18 深圳市深网视界科技有限公司 人群计数及其模型构建的方法、终端设备及存储介质
CN109522910A (zh) * 2018-12-25 2019-03-26 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
KR20220056399A (ko) 2020-10-28 2022-05-06 세종대학교산학협력단 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법
CN113158922A (zh) * 2021-04-26 2021-07-23 平安科技（深圳）有限公司 基于yolo神经网络的车流量统计方法、装置及设备
WO2022227194A1 (zh) * 2021-04-26 2022-11-03 平安科技（深圳）有限公司 基于yolo神经网络的车流量统计方法、装置及设备

Similar Documents

Publication Publication Date Title
Pennisi et al. Online real-time crowd behavior detection in video sequences
US8098888B1 (en) Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
US11295139B2 (en) Human presence detection in edge devices
Ryan et al. Scene invariant multi camera crowd counting
US10009579B2 (en) Method and system for counting people using depth sensor
Khan et al. Situation recognition using image moments and recurrent neural networks
Gowda Human activity recognition using combinatorial deep belief networks
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN109829382B (zh) 基于行为特征智能分析的异常目标预警追踪系统及方法
Kobayashi et al. Three-way auto-correlation approach to motion recognition
Ferryman et al. Performance evaluation of crowd image analysis using the PETS2009 dataset
CN107301376B (zh) 一种基于深度学习多层刺激的行人检测方法
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
KR101467307B1 (ko) 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치
Simon et al. Visual event recognition using decision trees
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
CN102184384A (zh) 一种基于多尺度局部相位量化特征的人脸识别方法
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
Lamba et al. A texture based mani-fold approach for crowd density estimation using Gaussian Markov Random Field
CN102867214B (zh) 区域范围内人数统计管理方法
Ham et al. Vision based forest smoke detection using analyzing of temporal patterns of smoke and their probability models
Alsaedi et al. Design and Simulation of Smart Parking System Using Image Segmentation and CNN
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 5