KR102282459B1 - 사람 계수 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예는 사람 계수 시스템 및 방법을 개시한다.
본 발명의 일 실시예에 따른 사람 계수 장치는, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함한다.

Description

사람 계수 시스템 및 방법{Method and Apparatus for counting the number of person}

본 발명의 실시예는 사람 계수 시스템 및 방법으로서, 이기종 카메라 기반의 사람 계수 시스템 및 방법에 관한 것이다.

크고 작은 인명 사고로 인해, 안전에 대한 요구가 증가하고 있다. 만약 사고가 발생했을 경우 인명 구조나 희생자 위치 파악을 목적으로 특정 공간에 머문 사람의 수는 상황을 파악하는 데에 중요한 요소이다.

하지만 종래의 사람을 계수하는 시스템은 사람에 대한 오탐지나 미탐지로 인한 잘못된 계수가 많았다. 따라서 정확한 사람의 계수를 위해서, 계수 정확도를 높이는 것이 중요하다.

한국공개특허 제2014-0040527호

본 발명의 실시예는 화물이 많은 게이트에서도 정확히 사람만 계수할 수 있는 시스템 및 방법을 제공하고자 한다.

본 발명의 일 실시예에 따른 사람 계수 장치는, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함한다.

상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.

상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출할 수 있다.

상기 계수부는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단할 수 있다.

상기 계수부는, 상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.

상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하고, 상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출할 수 있다.

상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출할 수 있다.

상기 계수부는, 상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.

본 발명의 일 실시예에 따른 사람 계수 시스템은, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라와 열상 카메라; 및 상기 거리 카메라와 열상 카메라 간의 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하고, 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 사람 계수 장치;를 포함한다.

상기 시스템은, 정육면체 구조의 본체 및 꼭지점에 배치되어 열을 발산하는 발열체를 포함하는 교정 도구;를 더 포함하고, 상기 사람 계수 장치는, 상기 교정 도구에 대해 상기 거리 카메라와 열상 카메라 획득한 깊이 영상과 열 영상 간의 대응점을 산출하여 상기 상관 관계를 산출할 수 있다.

상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.

상기 사람 계수 장치는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.

본 발명의 일 실시예에 따른 사람 계수 장치에 의한 사람 계수 방법은, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 단계; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 단계; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 단계;를 포함한다.

상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.

상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하는 단계; 및 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출하는 단계;를 포함할 수 있다.

상기 사람 판단 단계는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하는 단계; 및 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.

상기 사람 판단 단계는, 상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.

상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하는 단계; 및 상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출하는 단계;를 포함할 수 있다.

상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하는 단계; 및 상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출하는 단계;를 포함할 수 있다.

상기 사람 판단 단계는, 상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 사람 계수 시스템 및 방법에 의해 화물이 많은 게이트에서도 정확히 사람만 계수할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사람 계수 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 촬영 방식을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 거리 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라 간의 상관 관계를 산출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사람 계수 방법을 설명하는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사람 계수 시스템을 개략적으로 도시한 블록도이다. 도 2는 본 발명의 실시예에 따른 카메라의 촬영 방식을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 사람 계수 시스템(1)은 이기종의 복수의 카메라를 이용하여 사람을 계수하는 시스템이다. 사람 계수 시스템(1)은 제1 카메라(10), 제2 카메라(20) 및 사람 계수 장치(50)를 포함한다.

제1 카메라(10) 및 제2 카메라(20)는 동일 장면을 상이한 방향에서 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 천정, 벽 등에 설치될 수 있다.

제1 카메라(10)는 거리 측정용 카메라(이하, '거리 카메라'라고 칭함)로서, 촬영된 장면 내 각 객체 간의 거리 정보 및/또는 카메라로부터 각 객체까지의 거리 정보를 제공하는 거리 영상(깊이 영상)인 제1 영상을 생성할 수 있다. 제1 카메라(10)는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 객체(예를 들어, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 포함하여 장면의 깊이 정보를 실시간으로 획득하는 깊이 카메라로 구현될 수 있다.

제2 카메라(20)는 열상 카메라(또는 적외광 카메라)로서, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2 영상을 생성할 수 있다.

도 2를 참조하면, 제1 카메라(10)는 직하 방식(탑-뷰(Top-view) 방식)으로 위에서 아래를 바라보도록 배치되어 탑-뷰 영상을 획득하는 거리 카메라이다. 제2 카메라(20)는 제1 카메라(10)의 화각 영역을 사선에서 촬영하도록 배치되어 사이드-뷰 영상을 획득하는 열상 카메라이다.

종래의 사람 계수 시스템에서는 직하 방식의 카메라가 주로 사용되고 있다. 직하 방식의 스트레오 카메라나 거리 센서 정보를 활용하면 사람의 머리까지의 거리를 측정하는데 용이하나, 사람과 유사한 사물에 대한 분류가 어려워 화물 출입이 빈번한 게이트에서 화물인지 사람인지를 구분하지 못하는 오탐지가 빈번하게 발생할 수 있다. 예를 들어 마네킹, 인형, 가스탱크, 드럼통 등 사람과 유사한 형상 또는 높이를 가진 사물도 사람으로 계수하는 문제가 있다.

직하 방식의 열상 카메라는 사람의 체온을 감지할 수 있기 때문에 대략적으로 사람이 존재하는지 검출할 수 있다. 하지만 사람의 머리에 대한 열상이 균등하지 못하고, 안전모, 모자, 두건 등에 의해 머리가 가려지는 경우, 두터운 옷을 입고 있는 경우 사람을 탐지하지 못하는 문제가 발생한다.

본 발명의 실시예에서는 직하 방식의 거리 카메라와 사이드-뷰 방식의 열상 카메라의 상호 장단점을 적절히 이용함으로써 검출된 객체가 사람인지 여부를 판단한 후 사람으로 계수한다.

사람 계수 장치(50)는 거리 카메라로부터의 거리 영상과 열상 카메라로부터의 열 영상에 대해 노이즈 제거 등 영상 신호 처리할 수 있다.

사람 계수 장치(50)는 거리 영상에서 사람 또는 사람 유사 물체의 적어도 일부를 검출한다. 사람 계수 장치(50)는 사람으로 예측되는 영역에서 신체 일부(예를 들어, 얼굴, 목, 손, 발 등)에 해당하는 영역을 추출한다. 거리 카메라와 열상 카메라는 교정(Calibration) 되어, 사람 계수 장치(50)는 거리 영상에서 검출된 영역들에 대응하는 후보 영역을 열 영상에서 검출하고, 열상 카메라를 통해서 후보 영역의 온도를 검출함으로써 검출된 물체가 사람인지 혹은 사람과 유사한 사물인지를 판별할 수 있다.

사람 계수 장치(50)는 교정부(501), 검출부(503) 및 계수부(505)를 포함한다.

교정부(501)는 교정(calibration) 수행에 의해, 거리 카메라 및 열상 카메라 간의 상관 관계를 산출한다. 교정부(501)는 거리 카메라와 열상 카메라 간의 위치 관계를 나타내는 상관 관계를 산출한다. 교정부(501)는 거리 카메라가 획득한 거리 영상과 열상 카메라가 획득한 열 영상 간의 대응점 매칭에 의해 거리 카메라와 열상 카메라 간의 병진(t) 및 회전량(R)에 관한 변환 행렬, 열상 카메라의 투영 행렬(P, projection metrix)을 상관 관계로서 산출할 수 있다.

검출부(503)는 상관 관계를 이용하여 거리 카메라가 획득한 거리 영상에서 객체를 검출하고, 검출한 객체에 대응하는 적어도 하나의 후보 영역을 열상 카메라가 획득한 열 영상에서 검출한다.

예를 들어, [X,Y,Z,1]^T를 거리 영상에서 얻은 머리 영역 내 점들의 위치라고 할 때, 변환 행렬([R|t])을 사용하여 식 (1)과 같이 열상 카메라에 대한 상대적인 3D 좌표 [X',Y',Z',1]^T를 구할 수 있다.

[X',Y',Z',1]^T = [R|t] [X,Y,Z,1]^T ...식 (1)

[X'/Z',Y/Z',1]와 열상카메라의 P([f,0,cx; 0,f,cy; 0,0,1])을 사용하여 식 (2)와 같이 열 영상 내 좌표[x,y,1]를 구할 수 있다.

[x,y,1]^T = [f,0,cx; 0,f,cy; 0,0,1] [X'/Z',Y/Z',1] ...식 (2)

거리 영상에서 객체를 검출하는 방법으로 후술하는 스켈레톤 기법 또는 슬라이스 기법을 활용할 수 있다. 그러나, 본 발명의 실시예는 이에 한정되지 않고, 사람의 형상 또는 신체를 검출할 수 있는 다양한 기법이 활용될 수 있음은 물론이다.

검출부(503)는 거리 영상에서 사람 또는 사람들이 존재하는 것으로 추정되는 영역을 검출하고, 검출된 영역에서 머리 영역 및 그 외 신체 부분을 검출할 수 있다. 검출부(503)는 거리 영상에서 검출된 영역에 대응하는 후보 영역을 열 영상에서 검출할 수 있다.

계수부(505)는 적어도 하나의 후보 영역의 온도를 기초로 거리 영상에서 검출된 객체가 사람인지 여부를 판단한다. 계수부(505)는 후보 영역에서 체온이 감지되면 사람으로 판별하고, 그렇지 않은 경우 사물로 판단한다. 계수부(505)는 사람에 대해서만 계수함으로써 계수 정확도를 높일 수 있다.

계수부(505)는 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 객체를 사람으로 판단할 수 있다. 계수부(505)는 다수의 후보 영역 중 적어도 하나의 온도 감지 영역으로 선택하고, 적어도 하나의 후보 영역 내의 적어도 일부가 기준 온도 범위에 속하면 객체를 사람으로 판단할 수 있다. 계수부(505)는 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 객체를 사람으로 판단할 수 있다. 기준 온도 범위는 통상적인 사람의 체온인 35~41도 범위에서 의류 및 머리카락에 의한 열손실 및 열상 카메라의 오차 범위를 고려하여 25~41도로 설정될 수 있다. 기준 비율은 50% 이상으로 설정되어, 온도 감지 영역 전체에서 기준 온도 범위를 만족하는 영역이 50% 이상이면 객체가 사람으로 판단될 수 있다. 기준 온도 범위 및 기준 비율은 카메라의 설치 위치를 고려하여 사용자에 의해 가변적으로 설정될 수 있다.

추가적으로, 본원발명의 실시예는 사람으로 판단된 영역의 열상 정보로부터 체온의 고저 정보를 제공받을 수 있기 때문에, 게이트 출입자의 체온을 검출하여 몸의 건강 상태를 제공할 수 있다.

사람 계수 장치(50)는 거리 영상 및 열 영상, 계수된 사람의 수를 실시간으로 화면에 디스플레이할 수 있다.

며, 일 실시예로 들어오는 사람의 수와 나가는 사람의 수를 표시하는 형태로 구현이 가능하다.

도 3은 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.

도 3(a)는 거리 카메라가 획득한 거리 영상이고, 도 3(b)는 열상 카메라가 획득한 열 영상이다. 거리 영상에서는 카메라와 객체까지의 거리에 따라 각각 다른 색상을 나타낸다. 열 영상에서는 열에너지의 강도에 따라 각각 다른 색상을 나타낸다.

검출부(503)는 스켈레톤(Skeleton) 기법에 의해 거리 영상에서 골격 정보를 획득한다. 검출부(503)는 골격(Skeleton) 정보를 이용하여 머리, 손, 다리, 발 등의 신체 부위에 대응하는 적어도 하나의 국소 특징 영역을 검출할 수 있다. 도 3(a)에서는 머리(Head), 왼손(Left hand), 오른손(Right hand) 영역이 국소 특징 영역으로 검출된 예를 도시하고 있다.

검출부(503)는 거리 카메라와 열상 카메라 간의 상관 관계를 이용하여 열 영상에서 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출할 수 있다. 도 3(b)에서는 머리(Head), 왼손(Left hand), 오른손(Right hand)의 국소 특징 영역들에 각각 대응하는 후보 영역들이 검출된 예를 도시하고 있다.

도 3의 실시예에서는 직하 방식의 거리 카메라가 획득한 거리 영상에서 머리, 팔, 다리 등을 포함하는 골격 정보를 획득하고, 카메라 기하 정보(Camera geometry)를 통해 열상 카메라가 획득한 열 영상에서 나타나는 얼굴, 팔, 다리의 위치를 검출하는 스켈레톤 기법을 예시하였다. 여기서 얼굴, 팔, 다리 등의 위치를 활용하는 것은 가장 체온 검출이 잘 될 것으로 추정되는 곳이기 때문이다. 하지만 이런 곳도 바로 피부가 노출되는 것이 아니라 마스크, 장갑 등에 의해 가려질 수 있으므로 이를 감안하여 체온 검출 범위를 설정한다. 이에 대한 설명은 후술하겠다. 사람의 체온은 옷이나 작업복을 통해서도 복사가 이루어지므로, 신체의 일부에 대한 열 영상 분석이 아닌, 골격 정보를 그대로 활용하여 전체적인 사람의 열 영상을 분석할 수도 있다.

또한, 머리 외에 팔, 다리 등을 포함하는 전체적인 골격 정보가 아니라, 머리와 어깨의 골격 정보만을 추출하여 해당 열 영상을 분석할 수도 있다.

도 4는 본 발명의 다른 실시예에 따른 거리 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.

도 4(a)와 같이 거리 영상에서 검출된 머리부터 어깨까지 영역(a)을, 도 4(b)와 같이 슬라이스(slice) 방식으로 구분하여 사람의 형상을 모델링(b)한다. 도 4(c)와 같이 모델링된 사람의 형상에 대응하는 후보 영역(c)을 열 영상에서 검출할 수 있다.

도 5는 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라 간의 상관 관계를 산출하는 방법을 설명하기 위한 도면이다.

거리 카메라와 열상 카메라의 교정(calibration)을 위해서는 거리 카메라와 열상 카메라의 위치 정보가 필요하다. 이를 위해서 거리 영상과 열 영상 간의 대응점 산출에 의한 변환 행렬을 산출하여야 한다. 거리 카메라와 열상 카메라의 특징이 상이하므로 영상만으로 대응점을 검출하기가 어렵다.

본 발명의 실시예에서는 도 5(a)에 도시된 바와 같이 거리 카메라와 열상 카메라의 교정을 위한 전용 교정 도구를 활용한다.

교정 도구(70)는 박스 모양의 정육면체 구조를 갖는 본체(701), 본체(701)의 각 꼭지점에서 열을 발산하는 발열체(703), 및 본체(701)에 연결된 손잡이(705)를 포함한다. 발열체(703)는 열선 또는 램프와 같이 열상 카메라에서 감지할 수 있는 열을 발산하는 물체로 구현될 수 있다. 손잡이(705)는 도 5(a)에 도시된 바와 같이 원통형일 수 있으며, 이에 한정되지 않고 사람이 교정 도구(70)를 들고 있을 수 있는 형태이면 충분하다.

사용자가 교정 도구(70)의 손잡이(705)를 잡고 움직이는 동안 거리 카메라와 열상 카메라가 각각 탑-뷰 거리 영상과 사이드-뷰 열 영상을 획득한다. 거리 영상에서는 정육면체의 면의 거리 변화량이 나오기 때문에 정육면체의 꼭지점의 위치를 검출할 수 있다. 열 영상에서는 정육면체의 발열 부분인 꼭지점을 검출할 수 있다. 거리 영상과 열 영상에서 검출된 다수의 꼭지점을 대응점으로 하여 거리 카메라와 열상 카메라 간의 병진 및 회전 관계와 투영 행렬을 산출할 수 있다. 이때 Least Mean Square 기법이 사용될 수 있다. 도 5(b)에서는 거리 영상과 열 영상의 교정 도구(70)의 촬영에 의해 검출된 꼭지점들의 대응을 보여준다.

도 5에 도시된 바와 같이 거리 카메라와 열상 카메라 간의 상관 관계가 산출되면, 이후 거리 영상에서 검출된 객체 영역의 좌표를 전술된 식 (1)을 이용하여 열상 카메라 기반의 3차원 좌표로 변환하고, 전술된 식 (2)를 이용하여 3차원 좌표를 열 영상에 투영된 좌표로 변환할 수 있다.

도 6은 본 발명의 일 실시예에 따른 사람 계수 방법을 설명하는 흐름도이다.

이하에서는 도 1 내지 도 5에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략하겠다.

도 6을 참조하면, 사람 계수 시스템은 거리 카메라와 열상 카메라 간의 상관 관계를 산출한다(S61). 사람 계수 시스템은 거리 카메라와 열상 카메라의 교정을 통해, 거리 카메라와 열상 카메라 간의 병진(t) 및 회전량(R)에 관한 변환 행렬, 열상 카메라의 투영 행렬(P, projection metrix)을 상관 관계로서 산출할 수 있다. 상관 관계 산출을 위해 도 5에 도시된 바와 같은 교정 도구를 이용하여 거리 영상과 열 영상을 획득한 후 대응점 추적을 통해 상관 관계를 산출할 수 있다.

사람 계수 시스템은 거리 카메라가 획득한 거리 영상에서 객체를 검출한다(S62). 사람 계수 시스템은 거리 영상에서 사람 또는 사람과 유사한 물체를 검출하고, 머리 영역 및 머리 외 신체 부위 영역을 검출할 수 있다. 이때 스켈레톤 기법 또는 슬라이스 기법 등이 이용될 수 있다.

사람 계수 시스템은 상관 관계를 이용하여 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 열상 카메라가 획득한 열 영상에서 검출한다(S63). 사람 계수 시스템은 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상관 관계를 이용하여 열 영상에서 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출한다.

사람 계수 시스템은 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택한다(S64). 사람에 의해 착용 되는 모자, 장갑, 신발 등이 고려되어 사람 계수 시스템은 적어도 하나의 후보 영역에서 최적의 체온이 감지될 수 있는 온도 감지 영역을 선택할 수 있다. 온도 감지 영역은 하나 또는 하나 이상 선택될 수 있다.

사람 계수 시스템은 적어도 하나의 온도 감지 영역의 온도를 기초로 거리 영상에서 검출한 객체가 사람인지를 판단한다(S65). 사람 계수 시스템은 적어도 하나의 온도 감지 영역의 적어도 일부가 기준 온도 범위에 속하는지를 판단한다. 기준 온도 범위는 사람의 통상적인 체온 범위에서 의류 및 머리카락에 의한 열손실 및 열상 카메라의 오차 범위를 고려하여 설정될 수 있다. 기준 온도 범위는 사용자에 의해 가변적으로 설정될 수 있다. 사람 계수 시스템은 하나 또는 하나 이상의 온도 감지 영역에서 기준 온도 범위에 해당하는 영역이 기준 비율 이상이면 사람으로 판단할 수 있다.

사람 계수 시스템은 객체가 사람으로 판단되면 사람을 계수한다(S66). 사람 계수 시스템은 사용자가 지정한 시간대에서 감지되는 사람을 계수할 수 있다.

거리 영상 및 열 영상과 계수 결과는 실시간으로 화면에 디스플레이될 수 있다.

탑-뷰 영상으로만 사람을 계수하는 종래 방식에서는 사람과 유사한 형상의 경우에도 사람으로 판별하여, 계수 정확도가 감소하였지만, 본 발명의 실시예는 거리 카메라의 탑-뷰 거리 영상 외에 사람의 특징 정보를 추출할 수 있는 열상 카메라를 추가로 이용하여 사이드-뷰 열 영상을 통해 실제 사람인지를 판별한다. 이렇게 판별된 정보를 통해 화물 출입이 빈번한 게이트 등에서 화물을 사람으로 계수하지 않음으로써 계수 정확도를 획기적으로 향상시킬 수 있다.

또한 본 발명의 실시예는 사람의 열상 정보로부터 체온의 고저 정보를 제공할 수 있기 때문에, 게이트 출입자의 체온을 검출하여 몸의 건강 상태를 전달할 수 있다.

본 발명의 실시예는 정확한 사람 계수를 요하는 다양한 장소에서 유용하게 사용할 수 있다. 본 발명의 실시예는 공항, 항만 등 기반 시설과 상점, 카지노 등 상업 시설에서 활용이 가능하다. 또한 사고 발생을 대비하여 내부 인원 수 파악이 필요한 비행기, 배, 기차 등의 교통 수단 및 공장 및 작업장에서도 활용될 수 있다. 예를 들어, 사람이 출입하는 출입구라도 마트에서 카트를 미는 것이나, 작업장에서 물건을 운반하는 등 사람/사물의 대한 분류 기능에 적용될 수 있다. 최근에는 특히 재해/재난 대피에 대한 요구가 강하기 때문에, 본 발명의 실시예는 화재나 재난 사고시, 작업장 혹은 비행기/선박 등의 제한된 공간에서의 잔류 인원을 파악하는 시스템에 유용하게 활용될 수 있다.

본 발명의 실시예에 따른 이기종 카메라 기반의 사람 계수 시스템 및 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims (20)

1. 동일한 장면에 대하여 제1방향에서 영상을 획득하는 거리 카메라 및 상기 제1방향과 상이한 제2방향에서 영상을 획득하는 열상 카메라 간의 상관 관계를 산출하는 교정부;
   상기 상관 관계를 이용하여 상기 거리 카메라가 상기 제1방향에서 획득한 거리 영상에서 검출한 객체에 대응하는 후보 영역을 상기 열상 카메라가 상기 제2방향에서 획득한 열 영상에서 검출하는 검출부; 및
   상기 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함하는 사람 계수 장치.
2. 삭제
3. 제1항에 있어서, 상기 검출부는,
   상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출하는, 사람 계수 장치.
4. 제3항에 있어서, 상기 계수부는,
   상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단하는, 사람 계수 장치.
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images