KR101889028B1

KR101889028B1 - 사람계수 장치 및 방법

Info

Publication number: KR101889028B1
Application number: KR1020160034792A
Authority: KR
Inventors: 임재균; 조영관; 박병관; 조동찬; 박태서
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2016-03-23
Filing date: 2016-03-23
Publication date: 2018-08-20
Also published as: KR20170110424A

Abstract

사람계수 장치 및 방법을 개시한다.
카메라의 주축이 바닥과 수직이 되도록 설치되어야 하는 카메라의 설치상 제약에서 벗어나 사람계수를 하고자 하는 장소의 특성에 맞게 카메라를 설치하되, 겹침 현상(Occlusion)을 최소화할 수 있는 사람계수 장치 및 방법을 제공한다.

Description

사람계수 장치 및 방법{Method and Apparatus for Counting People}

본 실시예는 영상을 분석하여 사람들을 계수하는 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

종래의 일반적인 계수 시스템(People Counting System)은 기계적인 게이트(Gate)를 방문자가 통과하면, 사람이 게이트를 수동으로 제어하여 방문자를 계수하는 방식이다. 또한, 종래의 계수 시스템으로는 적외선 센서를 이용하여 출입자를 감지하는 계수 방식, 열 화상 센서를 이용하여 사람의 체온 분포를 분석하는 계수 방식, 영상처리기술을 이용하여 영상 정보를 분석한 후 특정 형태 또는 특징이 검출되면 이벤트로 간주하는 계수 방식 등이 존재한다.

일반적으로 기 설정된 특정 영역 내에 진입하는 사람의 수를 계수하는 것은 마케팅의 중요한 요소 중 하나인 수렴 비율(Convergence Ratio)을 측정하는 중요한 지표이다. 하지만, 현재 수작업으로 기 설정된 특정 영역 내에 진입하는 사람의 수를 계수하고 있다. 수작업으로 계수를 수행하면, 사람의 눈으로 계수를 수행하는 데에 많은 시간이 소요될 뿐만 아니라, 많은 인건비가 발생하는 반면, 계수의 정확성을 보장할 수 없는 문제점이 존재한다.

전술한 문제점을 해결하기 위한 종래의 계수 기술로는 객체의 움직임 정보를 이용하여 영상의 전경과 배경을 분리하고, 분리된 전경에서 사람으로 판단되는 객체를 추적하여 추적된 객체의 수와 방향성을 판단하는 방식이었다. 종래의 사람 계수 기술은 비교적 통행량이 적거나 배경이 단순한 경우에 안정적으로 동작한다. 하지만, 다수의 사람이 통행하는 복잡한 환경 또는 넓은 지역을 감시하는 시스템에서는 많은 변수들이 작용하기 때문에, 정확도가 감소하는 문제가 있다.

전술한 문제점을 해결하기 위한 종래의 사람계수 기술로 단일 카메라로부터 획득한 2차원 영상을 분석하여 계수하는 방법이 있었으나, 그림자를 사람으로 인식하는 등 야외 환경에서의 한계점이 드러났다. 이에 따라, 최근에는 3D 카메라로부터 획득한 3차원 영상을 분석하여 사람을 계수하는 방법이 활발히 연구되고 있다.

3차원 영상을 분석하여 계수하는 종래의 방법은 영상 내에 존재하는 사람들 사이의 가려짐(Occlusion)을 최소화하기 위하여 카메라를 천장 등에 설치한다. 카메라의 주축(Principal Axis)이 바닥과 수직이 되도록 하여 오버헤드 뷰(Overhead View) 영상을 생성함으로써, 영상 내에 존재하는 사람들 간의 신체 일부가 가려지거나 겹치는 현상을 줄이는 것이다.

그러나 이러한 방식은 카메라를 바닥과 수직이 되도록 설치해야 하는 환경적 제약이 있다.

본 발명의 실시예들은, 카메라의 주축이 바닥과 수직이 되도록 설치되어야 하는 카메라의 설치상 제약에서 벗어나 사람계수를 하고자 하는 장소의 특성에 맞게 카메라를 설치하되, 겹침 현상(Occlusion)을 최소화할 수 있는 사람계수 장치 및 방법을 제공하는 데 주된 목적이 있다.

본 발명의 실시예에 의하면, 하나 이상의 입력영상들로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성하는 3차원 모델 생성부, 카메라에 장착된 센서로부터 센싱정보를 획득하여 카메라의 기울기를 추정하는 기울기 추정부, 3차원 모델을 추정된 카메라 기울기에 상응하도록 회전시켜 복원하는 3차원 모델 복원부, 복원된 3차원 모델을 수평면에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향의 밀도정보를 나타내는 2차원 투영 영상을 생성하는 투영부, 및 2차원 투영 영상을 이용하여 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수하는 계수부를 포함하는 영상 분석 장치를 제공한다.

본 발명의 실시예에 의하면, 하드웨어와 결합되어, 하나 이상의 입력영상들로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성하는 과정, 카메라에 장착된 기울기 센서로부터 센싱정보를 획득하여 카메라의 기울기를 추정하는 과정, 복원된 3차원 모델을 수평면에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향의 밀도정보를 나타내는 2차원 투영 영상을 생성하는 과정, 및 2차원 투영 영상을 이용하여 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수하는 과정을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램을 제공한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 카메라의 주축이 바닥과 수직이 되도록 설치되어야 하는 카메라의 설치상 제약에서 벗어나 사람계수를 하고자 하는 장소의 특성에 맞게 카메라를 설치하되, 겹침 현상(Occlusion)을 최소화하여 사람을 정확하게 계수할 수 있는 효과가 있다.

본 실시예에 의하면, 카메라에 장착된 센서를 이용하여 카메라의 기울기를 추정하고, 카메라의 기울기에 따라 3차원 모델을 복원함으로써 카메라의 기울어짐에 의해 발생할 수 있는 사람 검출 오류를 줄일 수 있는 효과가 있다.

본 실시예에 의하면, 카메라로부터 획득한 영상을 분석하여 사람의 수를 보다 정확하게 계수하여 침입 또는 이상 상황 탐지 등의 영상 보안 분야에 적용할 수 있을 뿐만 아니라 BI(Business Intelligence) 분야에 적용하여 백화점 등 소매점에서 매장 내 유동 인구나 혼잡도 등을 빠르고 정확하게 분석할 수 있는 효과가 있다.

도 1은 종래 기술의 문제점을 설명하기 위한 예시도이다.
도 2는 본 발명의 실시예에 따른 영상 분석 장치의 개략적인 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 분석 장치의 기울기 추정부를 설명하기 위한 개념도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 영상 분석 장치의 3차원 모델 복원부 및 투영부를 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 영상 분석 장치에 의해 수행되는 사람계수 방법을 나타내는 흐름도이다.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 종래 기술의 문제점을 설명하기 위한 예시도이다.

도 1(a)는 주축이 바닥면과 수직이 되도록 특정 공간의 천장에 카메라(10-1)가 설치된 경우를 나타낸다. 이와 같은 경우, 영상 내에 존재하는 사람들 사이의 가려짐(Occlusion)이 작아 비교적 정확하게 각각의 사람을 검출하여 추적한 뒤 계수(Counting)를 할 수 있다.

그러나 카메라의 적절한 설치위치는 사람계수를 하고자 하는 공간의 환경적 특성 및 사람계수를 이용하는 응용 분야에 따라 달라질 수 있다. 경우에 따라서 카메라의 주축이 바닥면과 수직이 되도록 설치하는 것보다 바닥면과 비스듬하게 설치하는 것이 더 적절하거나 높이가 낮은 경우 비스듬하게 설치해야만 하는 경우가 있다.

도 1(b)는 주축이 바닥면과 경사지도록 카메라(10-2)가 설치된 경우를 나타낸다. 이러한 경우에도 도 1(a)와 동일한 계수 방법을 적용하면 영상 내 사람들 사이에 가려짐(Occlusion)이 증가하여 영상으로부터 사람들을 검출하는 데에 정확성이 떨어지게 된다.

본 발명의 실시예들은 탑 뷰(Top View) 영상을 획득하도록 카메라가 설치되어야 한다는 설치상의 제약없이 정확하게 사람을 계수하는 영상 분석 장치 및 방법을 제공한다. 즉, 카메라가 천장에서 비스듬하게 설치되거나 벽면에 설치되는 등으로 인해 획득되는 슬랜티드 뷰(Slanted View) 영상에서도 가려짐(Occlusion) 현상에 강인하게(Robust) 사람을 계수할 수 있는 영상 분석 장치 및 방법을 제공한다.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 영상 분석 장치(100)에 대하여 구체적으로 설명한다.

도 2는 본 발명의 실시예에 따른 영상 분석 장치(100)의 개략적인 구성도이다.

본 실시예에 따른 영상 분석 장치(100)는 전처리부(210), 검출부(220) 및 계수부(230)를 포함한다. 검출부(220)는 3차원 모델 생성부(222), 기울기 추정부(224), 3차원 모델 복원부(226) 및 투영부(228)를 포함한다. 그러나, 영상 분석 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니고 다른 구성요소를 더 포함할 수 있다.

영상 분석 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.

또한, 도 2에서는 각각의 구성요소가 별개의 모듈로 존재하는 것으로 도시하였으나, 이에 한정되지 않고 각각의 기능을 모두 포함하는 하나의 통합된 모듈로 구현될 수도 있다.

영상 분석 장치(100)는 (i) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ii) 각종 프로그램과 데이터를 저장하기 위한 메모리, (iii) 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.

전처리부(210)는 카메라(미도시)로부터 입력된 하나 이상의 입력영상들에 대하여 전처리(Preprocessing)을 수행한다. 여기서, 카메라는 스테레오 카메라와 같은 깊이 카메라를 포함한 3차원 거리 정보를 측정할 수 있는 장비를 통칭한다. 이하, 설명의 편의를 위하여 스테레오 카메라를 예로 들어 전처리부(210)에 대하여 설명한다.

구체적으로 전처리부(210)는 스테레오 영상들에 대한 노이즈 리덕션(Noise Reduction), 렉티피케이션(Rectification), 캘리브레이션(Calibration), 색상 강화(Color Enhancement), 색상 공간 변환(Color Space Conversion;CSC), 인터폴레이션(Interpolation), 카메라 게인 컨트롤(Camera Gain Control) 등을 수행할 수 있다. 이에 따라, 스테레오 카메라에서 촬영된 스테레오 영상보다 선명한 스테레오 영상을 획득할 수 있다.

전처리부(210)는 스테레오 영상들에 대한 스테레오 매칭(Stereo Matching)을 수행하여 디스패러티(Disparity) 정보를 획득할 수 있다. 여기서 디스패러티 정보는 스테레오 영상 즉, 좌·우 이미지의 시차정보(Binocular Parallax Information)를 수치로 나타낸 맵을 의미할 수 있다.

전처리부(210)는 디스패러티 정보에 기초하여 스테레오 영상 중 적어도 하나에 대하여 배경과 전경을 분리할 수 있다.

검출부(220)는 전처리부(210)로부터 수신한 하나 이상의 입력영상들로부터 사람을 검출한다. 전술한 바와 같이 검출부(220)는 3차원 모델 생성부(222), 기울기 추정부(224), 3차원 모델 복원부(226) 및 투영부(228)를 포함한다. 이하, 구성요소 각각에 대하여 구체적으로 설명한다.

3차원 모델 생성부(222)는 하나 이상의 입력영상들로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성한다. 여기서 3차원 모델은 3차원 좌표계에 속한 복수의 점들의 집합 형태일 수 있다. 본 실시예에 따른 3차원 모델을 구성하는 점들(P)은 3차원 좌표계에서 X좌표, Y좌표, Z좌표로 정의될 수 있으며, 예컨대 [수학식 1]과 같이 표시할 수 있다.

기울기 추정부(224)는 카메라에 장착된 센서로부터 센싱정보를 획득하여 카메라의 기울기(Tilt)를 추정한다. 이는 카메라가 지면과 수직으로 설치되지 않고 기울어져 설치된 경우, 사람영역을 검출하기 위해 3차원 모델을 2차원 평면에 투영(Projection)할 때 겹치는 부분(Occlusion)이 발생하게 되는 문제를 해결하기 위함이다. 즉, 카메라의 기울기만큼 3차원 모델을 보정하여 복원(Reconstruction)함으로써 탑 뷰(Top View) 영상 기반 3차원 모델에 상응하는 3차원 모델을 획득하기 위해 센서를 이용하여 카메라의 기울기를 추정하는 것이다. 본 실시예는 탑 뷰 영상 기반 3차원 모델에 상응하는 3차원 모델을 이용함으로써, 가려짐(Occlusion)이 최소화된 2차원 투영 영상을 생성하여 사람 검출의 정확도를 향상시킬 수 있다.

카메라에 장착된 센서는 예를 들어, 기울기 센서, 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며 카메라의 기울기를 감지할 수 있는 다양한 형태의 센서를 포함할 수 있다. 가속도 센서를 이용하는 경우, 센싱정보는 중력방향을 기준으로 X축, Y축, Z축 방향의 가속도 값이 될 수 있다.

기울기 추정부(224)는 센싱정보를 이용하여 카메라의 기울기를 추정한다. 도 3을 참조하여 본 실시예에 따른 기울기 추정방법에 대하여 설명한다.

도 3은 본 발명의 실시예에 따른 영상 분석 장치(100)의 기울기 추정부(224)를 설명하기 위한 개념도이다.

카메라가 설치된 3차원 좌표공간의 X축, Y축, Z축을 기준으로 카메라의 기울어진 정도를 카메라 본체의 좌표계(Xcam, Ycam, Zcam)로 나타내면 도 3와 같이 표시할 수 있다. 여기서

는 X축 방향으로 카메라가 기울어진 각도,

는 Y축 방향으로 카메라가 기울어진 각도,

는 Z축 방향으로 카메라가 기울어진 각도를 의미한다.

카메라의 기울기는 [수학식 2]에 따라 추정될 수 있다.

여기서,

,

는 카메라에 장착된 센서로부터 획득된 센싱정보로서 각각 X축, Y축, Z축 방향의 센싱값을 의미한다.

3차원 모델 복원부(226)는 3차원 모델 생성부(222)에서 생성한 3차원 모델을 기울기 추정부(224)에서 추정한 카메라 기울기에 상응하도록 회전시켜 복원한다. 즉, 3차원 모델 복원부(226)는 3차원 모델을 카메라 기울기의 반대 방향으로 카메라가 기울어진 각도만큼 회전시켜 복원할 수 있다.

구체적으로 3차원 모델 복원부(226)는 센싱정보에 기초하여 회전 행렬(Rotation Matrix)을 생성하고, 3차원 모델을 구성하는 복수의 점들의 3차원 좌표 각각에 회전 행렬을 적용하여 좌표를 변환할 수 있다.

기울기 추정부(224)가 추정한 카메라 기울기(

,

)에 기초한 회전 행렬(R)은 [수학식 3]과 같다.

3차원 모델 복원부(226)에 의해 복원된 3차원 모델(P')은 [수학식 4]로 나타낼 수 있다.

여기서, P는 전술한 [수학식 1]을 의미한다.

본 발명의 일 실시예에서 3차원 모델 생성부(222)는 입력영상으로부터 획득한 깊이정보를 이용하여 가상의 3차원 공간에 복수의 점들을 분산(Scattering)시킴으로써 3차원 모델을 생성할 수 있다. 이와 같은 과정으로 생성된 3차원 모델은 알고리즘에 의해 획득되는 것이므로 센싱정보에 의해 추정되는 카메라 기울기에 따른 시점(View)에서의 3차원 정보와 오차가 있을 수 있다.

다시 말해, 기울기 추정부(224)로부터 추정된 카메라 기울기(

,

)를 3차원 모델 복원 시 그대로 적용할 경우, 오차가 발생하여 탑 뷰(Top View)의 3차원 모델로 복원되지 않을 수 있다. 따라서 센싱정보를 기반으로 3차원 모델을 복원함에 있어서, 해당 오차를 최소화할 필요가 있다.

이에 따라 3차원 모델 복원부(226)는 카메라의 기울기 변화에 대응하여 기울기 추정부(224)가 추정한 카메라 기울기의 오차 정보와 관련된 기 저장된 오차 테이블에 기초하여 3차원 모델을 복원할 수 있다.

본 실시예에 따른 오차 테이블은 다음과 같은 과정을 통해 정의될 수 있다. 실제로 카메라를 다양한 각도(기울기)로 기울여 해당 각도에 따른 3차원 모델들을 생성하고, 해당 각도에서의 센싱정보로부터 카메라의 각도들을 추정한다. 이후, 해당 각도에 따라 생성된 3차원 모델의 기하(Geometry) 정보와 해당 각도에서 추정된 카메라의 각도를 비교함으로써, 각도의 오차를 확인한다. 확인된 각도(기울기)의 오차를 기반으로 생성된 오차 테이블은 영상 분석 장치(100)에 미리 저장될 수 있다.

센싱정보 기반으로 추정된 카메라 기울기를 오차 테이블을 이용하여 보정한 뒤, 3차원 모델 복원에 적용하는 경우, 사람 검출을 보다 정확히 수행할 수 있는 효과가 있다.

투영부(228)는 3차원 모델 복원부(226)에서 복원된 3차원 모델을 수평면(지표면)에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향(Z축 방향)의 밀도정보를 나타내는 2차원 투영 영상을 생성한다.

구체적으로, 3차원 모델을 3차원 좌표계의 X-Y 평면에 투영하면 X-Y 평면에 평행한 3차원 모델의 단면들이 누적되어 투영된다고 볼 수 있다. 이에 따라 X-Y 평면 상에는 투영점들이 중첩되는 영역이 나타날 수 있고, 중첩되는 영역은 주변 영역보다 밀도가 높게 나타난다. 즉, 2차원 투영 영상은 3차원 모델의 수직방향(Z축 방향)의 밀도정보를 나타내게 된다. 이때, 3차원 모델의 Z축 방향 높이가 높을수록 2차원 투영 영상에서 밀도가 크게 나타난다.

예를 들어 설명하면, 2차원 투영 영상은 픽셀 밝기가 높이에 대응하는 2차원 그레이 스케일 영상일 수 있다. 이 경우, 투영점들의 밀도가 높을수록 픽셀 밝기는 어둡게 나타나고, 픽셀 밝기가 어두울수록 Z축 방향의 높이에 의해서 복수의 점들의 밀도가 크게 나타날 수 있다. 즉, 밀도정보는 그레이 레벨로써 표시될 수 있다.

이하, 도 4a 내지 도 4c를 참조하여 구체적으로 설명한다.

도 4a 내지 도 4c는 본 발명의 실시예에 따른 영상 분석 장치의 3차원 모델 복원부 및 투영부를 설명하기 위한 예시도이다.

도 4a는 카메라의 주축이 수평면(지표면)에 수직인 경우의 (a) 3차원 모델과 (b) 2차원 투영 영상을 나타낸다. 일반적으로 3차원 모델에서 사람영역에 해당하는 점들은 2차원 투영시 누적되어 쌓이기 때문에 2차원 투영 영상에서 주변보다 어둡게 나타날 수 있다. 따라서 2차원 투영 영상의 픽셀 밝기를 이용하여 사람영역을 검출할 수 있다.

도 4b는 카메라의 주축이 수평면에 대하여 기울어진 경우의 (a) 3차원 모델과 (b) 2차원 투영 영상을 나타낸다. 이 경우는 본 발명의 실시예와 같이 센싱정보를 이용하여 3차원 모델을 복원하지 않고 바로 2차원 평면에 투영한 경우를 나타낸다. 도 4b의 (b)에서 알 수 있듯이 복원없이 3차원 모델을 2차원 평면에 투영하면, 객체들 간의 겹침(Occlusion)에 의하여 사람영역을 잘못 검출할 수 있다.

도 4c는 카메라의 주축이 수평면에 대하여 기울어진 경우, 본 발명의 실시예에 따른 (a) 3차원 모델, (b) 복원된 3차원 모델, 및 (c) 2차원 투영 영상을 나타낸다. 본 실시예에 의하면 3차원 모델을 카메라에 장착된 센서의 센싱정보를 이용하여 추정한 카메라 기울기에 따라 복원함으로써 사람영역 검출의 정확도를 향상시킬 수 있다.

계수부(230)는 2차원 투영 영상을 이용하여 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수한다.

도 5는 본 발명의 실시예에 따른 영상 분석 장치(100)에 의해 수행되는 사람계수 방법을 나타내는 흐름도이다.

영상 분석 장치(100)는 하나 이상의 입력영상으로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성한다(S510). 여기서 3차원 모델은 3차원 좌표계에 속한 복수의 점들의 집합 형태일 수 있다. 본 실시예에 따른 3차원 모델을 구성하는 점들(P)은 3차원 좌표계에서 X좌표, Y좌표, Z좌표로 정의될 수 있으며, 전술한 [수학식 1]과 같이 표시할 수 있다.

과정 S520에서는 카메라에 장착된 기울기 센서로부터 센싱정보를 획득하여 카메라의 기울기를 추정한다(S520). 이는 카메라가 지면과 수직으로 설치되지 않고 기울어져 설치된 경우, 사람영역을 검출하기 위해 3차원 모델을 2차원 평면에 투영(Projection)할 때 겹치는 부분(Occlusion)이 발생하게 되는 문제를 해결하기 위함이다. 즉, 카메라의 기울기만큼 3차원 모델을 보정하여 복원(Reconstruction)함으로써 탑 뷰(Top View) 영상 기반 3차원 모델에 상응하는 3차원 모델을 획득하기 위해 센서를 이용하여 카메라의 기울기를 추정하는 것이다. 본 실시예는 탑 뷰 영상 기반 3차원 모델에 상응하는 3차원 모델을 이용함으로써, 가려짐(Occlusion)이 최소화된 2차원 투영 영상을 생성하여 사람 검출의 정확도를 향상시킬 수 있다.

카메라 기울기를 추정하는 구체적인 방법은 도 3을 참조하여 설명한 것과 같다.

이후, 영상 분석 장치(100)는 과정 S510에서 생성한 3차원 모델을 과정 S520에서 추정된 카메라 기울기에 상응하도록 회전시켜 복원한다(S530). 즉, 3차원 모델을 카메라 기울기의 반대 방향으로 카메라가 기울어진 각도만큼 회전시켜 복원할 수 있다.

구체적으로 센싱정보에 기초하여 회전 행렬(Rotation Matrix)을 생성하고, 3차원 모델을 구성하는 복수의 점들의 3차원 좌표 각각에 회전 행렬을 적용하여 좌표를 변환할 수 있다. 이에 대한 구체적인 설명은 전술한 바와 같다.

한편, 과정 S510에서 생성되는 3차원 모델은 알고리즘에 의해 획득되는 것이므로 센싱정보에 의해 추정되는 카메라 기울기에 따른 시점(View)에서의 3차원 정보와 오차가 있을 수 있다.

다시 말해, 과정 S520에서 추정된 카메라 기울기(

,

이에 따라 과정 S530은 카메라의 기울기 변화에 대응하여 추정된 카메라 기울기의 오차 정보와 관련된 기 저장된 오차 테이블에 기초하여 3차원 모델을 복원하는 과정을 포함할 수 있다.

이와 같이 센싱정보 기반으로 추정된 카메라 기울기를 오차 테이블을 이용하여 보정한 뒤, 3차원 모델 복원에 적용하는 경우, 사람 검출을 보다 정확히 수행할 수 있는 효과가 있다.

과정 S540에서는 복원된 3차원 모델을 수평면(지표면)에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향(Z축 방향)의 밀도정보를 나타내는 2차원 투영 영상을 생성한다.

과정 S540에서 생성된 2차원 투영 영상을 이용하여 영상 분석 장치(100)는 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수한다(S550).

도 5에서는 단계 S510 내지 단계 S550을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.

도 5에 기재된 본 실시예에 따른 사람계수 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 사람계수 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 실시예는 영상 보안 분야 또는 BI(Business Intelligence) 분야에 적용되어, 카메라에 장착된 센서를 이용하여 사람을 정확하게 계수할 수 있는 효과를 발생하는 유용한 발명이다.

100: 영상 분석 장치 210: 전처리부
220: 검출부 222: 3차원 모델 생성부
224: 기울기 추정부 226: 3차원 모델 복원부
228: 투영부 230: 계수부

Claims

하나 이상의 입력영상들로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성하는 3차원 모델 생성부;
카메라에 장착된 센서로부터 센싱정보를 획득하여 수평면을 기준으로 상기 카메라가 기울어진 기울기를 추정하는 기울기 추정부;
상기 3차원 모델을 상기 기울기에 상응하도록 회전시켜 복원된 3차원 모델을 얻는 3차원 모델 복원부;
상기 복원된 3차원 모델을 상기 수평면에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향의 밀도정보를 나타내는 2차원 투영 영상을 생성하는 투영부; 및
상기 2차원 투영 영상을 이용하여 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수하는 계수부
를 포함하는 영상 분석 장치.
제1항에 있어서,
상기 3차원 모델 복원부는,
상기 3차원 모델을 상기 기울기 추정부에서 추정한 상기 기울기에 대응되도록 상기 카메라가 기울어진 각도만큼 회전시켜 상기 복원된 3차원 모델을 얻는 것을 특징으로 하는 영상 분석 장치.
제1항에 있어서,
상기 3차원 모델 복원부는,
상기 카메라의 기울기 변화에 대응하여 상기 기울기 추정부가 추정한 카메라 기울기의 오차 정보와 관련된 기 저장된 오차 테이블에 기초하여 상기 복원된 3차원 모델을 얻는 것을 특징으로 하는 영상 분석 장치.
제1항에 있어서,
상기 2차원 투영 영상은,
상기 3차원 모델을 구성하는 복수의 점들이 투영된 투영점들의 밀도에 대응하여 상기 복수의 점들의 3차원 좌표계 상의 Z축 방향에 대한 밀도를 나타내는 것을 특징으로 하는 영상 분석 장치.
하드웨어와 결합되어,
하나 이상의 입력영상들로부터 획득한 깊이정보에 기초하여 3차원 모델을 생성하는 과정;
카메라에 장착된 기울기 센서로부터 센싱정보를 획득하여 수평면을 기준으로 상기 카메라가 기울어진 기울기를 추정하는 과정;
상기 3차원 모델을 상기 기울기에 상응하도록 회전시켜 복원된 3차원 모델을 얻는 과정;
상기 복원된 3차원 모델을 상기 수평면에 수직인 방향으로 투영하여 3차원 좌표계 상의 수직방향의 밀도정보를 나타내는 2차원 투영 영상을 생성하는 과정; 및
상기 2차원 투영 영상을 이용하여 사람영역을 검출하고 추적하여, 기 설정된 관심영역을 통과하는 사람을 계수하는 과정
을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램.