KR20230001931A

KR20230001931A - 실시간 재실자 계수 시스템 및 이를 위한 장치

Info

Publication number: KR20230001931A
Application number: KR1020210085051A
Authority: KR
Inventors: 김대근; 임재현
Original assignee: 단국대학교 산학협력단
Priority date: 2021-06-29
Filing date: 2021-06-29
Publication date: 2023-01-05
Also published as: KR102547265B1

Abstract

본 발명은 감지영역에 객체가 진입했는지 감지하는 객체 감지 단계와, 상기 감지된 객체의 영상을 복수 개 획득하는 영상 획득 단계와, 상기 획득된 복수 개의 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계 및 상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계를 포함하는 실시간 재실자 계수 시스템, 및 객체의 영상을 실시간으로 획득하는 카메라모듈과, 별도의 구조물에 고정되고 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈 및 상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부를 포함하고, 상기 제어부는, 상기 카메라모듈로부터 획득되는 복수 개의 영상으로 상기 객체가 사람인지 판별하고 재실자를 계수하는 것을 특징으로 하는 실시간 재실자 계수 장치를 제공하는데 그 목적이 있다.

Description

실시간 재실자 계수 시스템 및 이를 위한 장치{REAL TIME OCCUPANT COUNTING SYSTEM AND DEVICE THEREFOR}

본 발명은 실시간 재실자 계수 시스템 및 이를 위한 장치에 관한 것으로, 보다 상세하게는 객체가 감지영역에 진입하는 것을 감지하면 서로 다른 높이에서 객체의 영상을 복수 개 획득하고, 획득한 영상으로부터 객체가 사람인지 판별한 후 판별된 사람의 출입을 계수하는 실시간 재실자 계수 시스템 및 객체가 감지영역에 진입하면 제어부가 카메라모듈을 상하로 빠르게 이송하도록 상하이송모듈을 제어하는 동시에 카메라모듈이 고점과 저점에서 객체의 영상을 획득하도록 제어하고, 획득한 복수 개의 영상에 대해 객체를 분석하여 사람인지 판별한 후 재실자를 계수하는 것이 가능한 실시간 재실자 계수 장치에 관한 것이다.

재실자 계수는 오래 전부터 현재까지도 활발히 연구되고 있는 분야이며, 이러한 연구에서는 하나 이상의 카메라를 이용하여 이미지를 획득하는 시스템을 통해 재실자의 수를 세고자 한다. 하지만 연산을 하기 위해 PC 급의 고성능 외부장치를 필요로 하는 한계가 있어, 최근 단일 보드 컴퓨터와 두 개의 카메라를 이용한 시스템을 통해 깊이 이미지를 획득한 후 재실자의 수를 세는 시스템이 제안되었다.

종래의 기술은 하나 이상의 깊이 카메라를 포함하며, 하나 이상의 깊이 영상을 촬영하고 해당 영상에 대해 분석 대상 높이맵을 생성하여 객체 검출을 위한 하나 이상의 후보 영역을 결정하며 후보 영역에서 특징 정보를 추출함으로써 특징 정보에 기초하여 검출된 객체가 사람 객체인지 판정한다. 그러나 종래의 기술은 분석하는 영상의 양이 많고, 둘 이상의 깊이 카메라가 사용될 경우, 구성 비용이 증가하는 문제점이 있으며, 하나의 깊이 카메라가 사용될 경우, 오인식의 문제가 있었다. 또한, 특징 정보를 추출하는 방법이 복잡한 문제점도 있었다.

KR 10-2017-0007070 A (발명의 명칭: 방문객 출입 통계 분석 방법 및 장치, 공개일: 2017.01.18)

이에 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위한 것으로, 객체가 감지영역에 진입하면 카메라모듈이 상하로 이송되며 고점과 저점에서 객체의 영상을 획득하므로, 데이터 처리 용량이 적고 속도가 빠르며 하나의 카메라를 사용하여 비용이 절감됨과 동시에, 획득한 복수 개의 이미지에 대해 객체의 개수 및 높이를 도출함으로써 가치 있는 데이터를 선별하고 분석하므로 방법이 간단하고 정확도가 높은 실시간 재실자 계수 시스템 및 이를 위한 장치를 제공하는데 그 목적이 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위하여, 본 발명에 따른 실시간 재실자 계수 시스템은, 감지영역에 객체가 진입했는지 감지하는 객체 감지 단계와, 상기 감지된 객체의 영상을 복수 개 획득하는 영상 획득 단계와, 상기 획득된 복수 개의 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계 및 상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계를 포함할 수 있다.

또한, 상기 계수 단계는, 상기 감지영역에 구비되는 복수 개의 감지선에 대해 상기 객체의 이동 양상을 감지하여 재실자를 계수할 수 있다.

상술한 과제를 해결하기 위하여, 본 발명에 따른 실시간 재실자 계수 장치는, 객체의 영상을 실시간으로 획득하는 카메라모듈과, 별도의 구조물에 고정되고, 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈 및 상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부를 포함할 수 있다.

또한, 상기 상하이송모듈은, 상기 카메라모듈과 연결되는 봉 형태의 샤프트가 구비된 리니어 모터를 포함할 수 있다.

또한, 상기 상하이송모듈은, 상기 카메라모듈과 연결되며 축을 따라 톱니가 형성된 기어레일 및 상기 기어레일과 맞물리는 기어가 구비된 기어모터를 포함하여, 상기 기어가 회전함으로써 상기 기어레일에 연결된 상기 카메라모듈이 상하로 이송될 수 있다.

본 발명의 실시간 재실자 계수 시스템 및 이를 위한 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 객체가 감지 영역에 진입하면 객체의 영상이 획득되므로 데이터 용량이 적고 영상 처리 속도가 빠른 이점이 있다.

둘째, 복수 개의 감지선에 대해 객체가 이동하는 양상을 상기 감지선을 통과하는 순서에 의해 추적하므로 입실자 및 퇴실자 뿐만 아니라 우회자 또한 파악할 수 있다.

셋째, 카메라모듈로부터 획득된 복수 개의 영상을 이용해 재실자를 계수하므로 카메라모듈이 하나만 구비되어도 되기 때문에 비용이 절감될 수 있다.

넷째, 봉 형태의 샤프트가 구비된 리니어 모터를 사용하여 간단한 방법으로 카메라모듈을 이송할 수 있다.

다섯째, 기어레일 및 기어모터를 통해 카메라모듈을 이송하여 영상 획득 위치 정확도와 이송 속도가 높아질 수 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 및 계수 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체의 영상 획득 단계를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 획득된 객체의 영상의 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사람 판별 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 없는 경우의 예시를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 있는 경우의 예시를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 인공지능을 기반으로 객체의 사람 판별의 예시를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치의 작동을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에 첨부된 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의성을 위하여 과장되게 도시될 수 있다. 각 도면에서 동일한 구성은 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기술의 기능 및 구성에 관한 상세한 설명은 생략될 수 있다.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어떠한 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성요소에 “직접 연결되어” 있다거나 또는 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들도 마찬가지로 해석되어야 한다.

본 명세서에서 사용되는 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 사용되는 상단, 하단, 상면, 저면 또는 상부, 하부 등의 용어는 구성 요소들에 있어서 상대적인 위치를 구별하기 위해 사용되는 것이다. 도면상의 위쪽을 상부, 도면상의 아래쪽을 하부로 명명하나 이는 편의상 구성 요소들의 상대적인 위치를 구별하기 위해 사용되는 것일 뿐 실제에 있어서는 본 발명의 권리 범위를 벗어나지 않으면서 상부는 하부로 명명될 수 있고, 하부는 상부로 명명될 수 있다.

이하, 본 발명의 실시예들에 의한 실시간 재실자 계수 시스템 및 이를 위한 장치를 설명하기 위하여 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템의 흐름도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템은 감지영역으로 진입하는 객체를 감지하는 객체 감지 단계(S100), 제1 높이에서 상기 객체의 제1 영상을 획득하는 제1 영상 획득 단계(S200), 제2 높이에서 상기 객체의 제2 영상을 획득하는 제2 영상 획득 단계(S300), 상기 제1 영상 및 제2 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계(S400) 및 상기 판별된 사람의 출입을 계수하는 계수 단계(S500)를 포함할 수 있다.

객체 감지 단계(S100)는 감지영역에 객체가 진입하는 것을 감지할 수 있다. 영상 내에서 특정 영역을 설정하여 상기 감지영역을 결정할 수 있으며, 영상 분석을 통해 상기 객체가 상기 특정 영역에 진입하는 것을 감지할 수 있다.

한 실시예로, 영상 내에 복수 개의 평행한 감지 기준선을 설정하고, 상기 복수 개의 감지 기준선 내부의 영역을 상기 감지영역으로 결정할 수 있다.

제1 영상 획득 단계(S200)는 특정 높이에서 상기 객체의 영상을 획득하는 단계로, 상기 특정 높이를 제1 높이라고 하고, 이 때 획득되는 상기 객체의 영상을 제1 영상이라 한다.

제2 영상 획득 단계(S300)는 상기 제1 높이와 다른 특정 높이에서 상기 객체의 영상을 획득하는 단계로, 상기 제1 높이와 다른 특정 높이를 제2 높이라고 하고, 이 때 획득되는 상기 객체의 영상을 제2 영상이라 한다.

상기 제1 영상 및 제2 영상은 짧은 영상 내에서 획득될 수 있으며, 상기 객체의 영상은 적어도 2회 이상 획득될 수 있다. 또한, 상기 객체의 영상을 획득하는 구도는 모두 같을 수 있고, 상기 객체의 상부에서 상기 객체의 영상을 획득하는 것이 바람직하나, 이로 한정되는 것은 아니다.

사람 판별 단계(S400)는 상기 제1 영상 및 제2 영상으로부터 상기 객체가 사람인지 판별하는 단계로, 상기 제1 영상 및 제2 영상에서 상기 객체의 높이를 산출하여 상기 객체가 사람인지 판별하거나, 인공지능을 기반으로 상기 객체가 사람인지 판별할 수 있으며, 정확도를 높이기 위해 두 가지 방법이 모두 사용될 수 있다.

상기 객체 감지 단계(S100)에서 상기 객체가 감지되었을 때 획득된 상기 복수 개의 영상으로부터 상기 객체가 사람인지 판별하므로 연산 속도가 빠를 수 있다.

계수 단계(S500)는 상기 객체가 사람으로 판별되었을 때, 상기 판별된 사람의 출입을 판단하고 계수하는 단계로, 상기 감지영역에서 상기 판별된 사람이 나타내는 이동 양상에 따라 재실자 및 퇴실자가 계수될 수 있다.

이 때, 상기 판별된 사람의 이동 양상은 입실, 퇴실 및 우회를 포함할 수 있다.

도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템을 더 자세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 객체 추적 및 계수 방법을 설명하기 위한 도면이다. 도면 상의 상부를 건물 또는 어느 장소의 외부, 도면 상의 하부를 상기 건물 또는 어느 장소의 내부로 한다.

도 2에 도시된 바와 같이, 한 실시예로, 영상(200)에서 서로 평행한 제1 감지영역 기준선(210)과 제2 감지영역 기준선(220)을 설정할 수 있고, 상기 제1 감지영역 기준선(210) 및 제2 감지영역 기준선(220)의 내부영역을 도 1에서 상술한 감지영역으로 결정할 수 있으며, 객체가 상기 제1 감지영역 기준선(210) 또는 제2 감지영역 기준선(220)을 통과해 상기 감지영역에 진입하는 것이 영상분석을 통해 감지될 수 있다.

상기 객체가 도 1에서 상술한 사람 판별 단계(S400)에서 사람으로 판별될 경우, 상기 감지영역에서 상기 객체가 이동하는 양상에 따라 상기 객체가 계수될 수 있다.

한 실시예로, 상기 영상(200)에서 상기 감지영역에 서로 평행한 제1 감지선(230) 및 제2 감지선(240)을 설정하여, 상기 사람으로 판별된 객체가 상기 제1 감지선(230) 및 제2 감지선(240)을 통과하는 순서에 따라 재실자가 계수될 수 있다.

도 2의 (a)와 같이, 상기 객체가 화살표가 나타내는 퇴실경로(250)에 따라 건물 또는 어느 장소의 내부에서 외부로 이동할 경우, 상기 객체는 상기 영상(200)에서 상기 제2 감지선(240)을 먼저 지난 후 상기 제1 감지선(230)을 지나는 양상을 나타내며, 이 때 상기 객체는 퇴실자로 계수될 수 있다.

반대로 도 2의 (b)와 같이, 상기 객체가 화살표가 나타내는 입실경로(260)에 따라 상기 건물 또는 어느 장소의 외부에서 내부로 이동할 경우, 상기 객체는 상기 영상(200)에서 상기 제1 감지선(230)을 먼저 지난 후 상기 제2 감지선(240)을 지나는 양상을 나타내며, 이 때 상기 객체는 재실자 또는 입실자로 계수될 수 있다.

상기 퇴실자 또는 재실자를 계수하는 방법의 한 예로, 상기 객체가 퇴실자일 경우 서버에 기저장되어 있는 재실자의 수에서 상기 객체의 수를 빼고, 상기 객체가 재실자 또는 입실자일 경우 서버에 기저장되어 있는 재실자의 수에서 상기 객체의 수를 더해 실시간으로 재실자 수가 업데이트될 수 있다.

도 2의 (c)와 같이, 상기 객체가 화살표가 나타내는 내부우회경로(280)와 같이 상기 영상(200)에서 제2 감지선(240)을 지난 후 다시 제2 감지선(240)을 지나는 것으로 감지될 경우 상기 객체는 내부 우회자로 분류되어 계수에 반영되지 않을 수 있다.

마찬가지로 도 2의 (d)와 같이, 상기 객체가 화살표가 나타내는 외부우회경로(270)를 따라 상기 영상(200)에서 제1 감지선(230)을 지난 후 다시 제1 감지선(230)을 지나는 것으로 감지될 경우 상기 객체는 외부 우회자로 분류되어 계수에 반영되지 않을 수 있다.

여기서 상기 객체가 상기 제1 감지영역 기준선(210) 또는 제2 감지영역 기준선(220)에 감지되었으나 상기 제1 감지선(230) 또는 제2 감지선(240)에 감지되지 않고 상기 객체가 감지되었던 상기 감지영역 기준선에 다시 감지될 경우에도 상기 객체는 우회자로 분류되어 계수에 반영되지 않을 수 있다.

또한, 상기 영상(200)에서 동시에 복수 개의 객체가 인식되면, 상기 객체의 이동 양상에 대한 감지 또는 분석은 각각의 상기 복수 개의 객체에 대해 개별적으로 동시에 수행될 수 있다.

도 3은 본 발명의 일 실시예에 따른 객체의 제1 영상 획득 단계(S200) 및 제2 영상 획득 단계(S300)를 설명하기 위한 도면이고 도 4는 상기 획득된 영상(200a, 200b)의 예시를 나타내는 도면이다.

도 3에 도시된 바와 같이, 지면(400)과 수직한 방향으로 객체(100)의 상부에서 상기 객체(100)의 영상이 획득될 수 있으며, 서로 다른 높이에서 2회 이상 상기 객체(100)의 영상이 획득될 수 있다.

도 3의 (a)는 상기 객체(100)의 제1 영상을 획득하는 제1 높이의 한 예로, 비교적 낮은 높이에서 상기 객체(100)의 제1 영상을 획득하는 것이고, 도 3의 (b)는 상기 객체(100)의 제2 영상을 획득하는 제2 높이의 한 예로, 비교적 높은 높이에서 상기 객체(100)의 제2 영상을 획득하는 것을 도시한 것이다.

이 때, 상기 객체(100)는 도면 상의 좌측에서 우측으로 이동하고 있으며, 상기 획득된 복수 개의 영상들에는 모두 상기 객체(100)가 포함되어야 한다. 따라서, 도 3의 (a) 및 (b)와 같이 상기 객체(100)가 영상 획득 장치의 시야범위(FOV)(310) 안에 위치해 있을 때 상기 제1 높이 및 제2 높이에서의 상기 객체(100)의 영상 획득이 모두 완료될 수 있도록 상기 영상이 고속으로 획득될 수 있다.

도 4에 도시된 바와 같이, 상술한 도 3의 (a)에서 획득된 상기 제1 영상은 도 4의 (a)일 수 있고, 도 3의 (b)에서 획득된 상기 제2 영상은 도 4의 (b)일 수 있다. 이 때, 상술한 도 3의 비교적 낮은 상기 제1 높이에서 획득된 상기 제1 영상에서의 객체(100)는 비교적 크고, 비교적 높은 상기 제2 높이에서 획득된 상기 제2 영상에서의 객체(100)는 비교적 작을 수 있다.

도 4의 (a) 및 (b)의 영상(200a, 200b)에서 상기 객체(100)는 상기 영상(200a, 200b) 내에서 다른 위치에 나타날 수 있다. 이 때, 상기 객체(100)는 객체특징부(110, 110')에 의해 인식될 수 있고, 상기 객체특징부(110, 110')는 상기 객체(100)의 머리를 기준으로 추출될 수 있으나, 이로 한정되는 것은 아니며, 또다른 예로 상기 객체특징부(110, 110')는 상기 객체(100)의 어깨 및 머리를 기준으로 추출될 수 있다. 상기 객체특징부(110, 110')는 상기 획득된 영상(200a, 200b)의 내부에 위치한다.

또한, 상기 객체(100)에 대한 분석을 하기 위해 객체특징부(110, 110')를 기준으로 상기 객체(100)의 이동 양상이 분석될 수 있으며, 후술할 사람 판별 방법(S400)에서 상기 객체(100)가 사람인지를 판별할 때 상기 객체특징부(110, 110')가 이용될 수 있다.

한 실시예로, 상기 제1 영상(200a) 및 제2 영상(200b)에서 각각의 영상이 획득된 높이의 차와 상기 제1 영상(200a) 및 제2 영상(200b)에서의 상기 객체(100)의 객체특징부(110, 110')의 크기 비를 이용해 상기 객체(100)의 높이가 계산될 수 있고, 상기 객체(100)의 크기 및 높이가 특정 범위 안에 포함될 경우, 상기 객체(100)는 사람 데이터로 분류될 수 있다. 여기서 상기 특정 범위는 상기 객체특징부(110, 110')의 크기의 경우, 사람의 머리 크기 또는 어깨 너비의 평균을 기준으로 정해질 수 있고, 상기 객체(100) 높이의 경우 사람의 평균 신장을 기준으로 정해질 수 있다.

도 5를 참조하여 상술한 객체특징부(도 4의 110, 110')를 이용하여 상기 객체(100)의 높이를 계산하는 방법을 설명한다.

도 5는 본 발명의 일 실시예에 따른 사람 판별 방법을 도시한 도면이다.

도 5의 (a)는 영상 획득 높이의 평균 H2(300)와 객체의 높이 H(500) 및 영상 획득 높이의 평균과 객체 높이의 차

(600)를 나타내고, 도 5의 (b)는 제1 영상 획득 높이(300a)와 객체 높이의 차

(610)를 나타내고, 도 5의 (c)는 제2 영상 획득 높이(300b)와 객체 높이의 차

(620)를 나타낸다.

상기

는 상기 영상 획득 위치의 변위를 나타낼 수 있고,

,

는 영상 획득 장치의 작동 거리를 의미할 수 있다. 특정 작동 거리에서 상기 영상 획득 위치의 이동에 의해 획득된 영상에서의 상기 객체(100)의 크기 비 R은 아래와 같이 정의될 수 있고,

상기 객체의 크기 비 R은 도 5의 (b) 및 (c)에서 획득된 상기 객체(100)의 상기 제1 영상 및 제2 영상에서 상기 객체특징부(도 4의 110, 110')를 비교하여 얻을 수 있다.

상기 객체(100)의 크기 비 R의 수학식을

에 대해 정리하면 아래와 같고,

따라서 상기 객체의 높이 H(500)는 아래와 같이 정의될 수 있으며,

상기 객체의 높이 H(500)와 상기 객체특징부(도 4의 110, 110')의 크기가 특정 범위 안에 포함되면 상기 객체(100)가 사람으로 분류될 수 있다.

상기 객체의 높이 H(500)에 의해 상기 객체(100)가 사람으로 분류되는 상기 특정 범위에 대한 예시로, 질병관리본부에서 발표한 연령별 백분위 신장 도표를 참고할 수 있다. 사람이 생후 9개월에서 12개월 사이에 걸음마를 시작할 수 있다고 간주할 때, 하위 3%에 해당하는 생후 9개월의 신장은 65.6cm이고, 성인 상위 3%에 해당하는 신장은 184.3cm이므로, 특정 범위는 65.6cm 에서 184.3cm가 될 수 있으나, 오차를 감안해 특정 높이만큼 기준을 늘리거나 줄일 수 있다. 이는 하나의 예시일 뿐, 이로 한정되는 것은 아니다.

상기 객체특징부(도 4의 110, 110')인 상기 객체(100)의 머리 크기 또는 어깨 넓이 또한 상기와 같은 방법에 의해 기준이 정해질 수 있다.

상기와 같이 상기 객체(100)가 사람인지 판별한 후, 후술할 인공지능을 이용하여 사람을 판별하는 단계를 추가하여 상기 객체(100)가 사람임에 대한 신뢰도를 높일 수 있다.

도 6과 도 7을 참조하여 상술한 사람으로 판별된 객체(100)에 대해 인공지능을 이용하여 더 정확한 사람 판별을 하는 방법을 설명한다. 이 때, 인공지능을 이용하여 사람 판별을 하는 방법을 2차 사람 판별이라 할 수 있으며, 사람 판별 단계(S400)에서 상기 2차 사람 판별은 생략될 수 있다.

도 6은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 없는 경우의 예시를 나타내는 도면이고, 도 7은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 있는 경우의 예시를 나타내는 도면이다.

사람 판별 단계(S400)에서는 상기 객체의 높이를 이용해 상기 객체가 사람임을 판별한 후, 상술한 제1 영상 획득 단계(S200) 및 제2 영상 획득 단계(S300)에서 획득한 영상이 전처리되고, 딥러닝 모델의 트레이닝(Training)을 위해 상기 영상에 라벨링이 구현될 수 있다.

도 6에 도시된 바와 같이, 상기 전처리 단계는 오리지널 영상(Original Video)에 그레이스케일(Gray scale), 노이즈 필터(Noise filter), 엣지 검출(edge detection)을 순차적으로 수행하고 마스크 이미지(Mask Image)를 획득하는 것이 포함될 수 있다. 상기 그레이스케일 과정에서 상기 오리지널 영상을 그레이스케일 영상으로 변환하고, 상기 그레이스케일 영상을 노이즈 필터링한 후 엣지를 검출할 수 있다. 또한, 상기 마스크 이미지에 라벨링(Labeling)을 구현해 객체가 인식될 수 있으며, 객체가 없을 경우 마스크 이미지 또는 라벨링 단계에서 객체 인식이 일어나지 않을 수 있다.

도 7에 도시된 바와 같이, 객체(100)가 있을 경우 마스크 이미지에 상기 객체(100)가 검출될 수 있고, 우측 아래 그림과 같이 상기 객체(100)가 검출되어 라벨링이 구현될 수 있다.

도 8은 본 발명의 일 실시예에 따른 인공지능을 통해 객체의 2차 사람 판별을 하는 예시를 나타내는 도면이다.

도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체(100)의 2차 사람 판별에 사용되는 인공지능은, 한 실시예로 YOLO v3(You Only Look Once ver.3)를 이용한 딥러닝 모델 훈련일 수 있으며, 이를 통해 상기 객체(100)가 사람인지 판별될 수 있다.

YOLO v3는 객체인식을 수행하기 위해 고안된 심층 신경망으로, 테두리상자 조정(Bounding Box Coordinate)과 객체분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection)을 구현하는 것을 특징으로 하며, 영상에서 80개의 서로 다른 객체(100)를 매우 빠르고 정확하게 인식할 수 있다.

도 8은 상기 YOLO v3가 실행된 결과의 한 예시이며, 상술한 바와 같이 영상(200)의 복수 개의 객체(100)에 대해 각각 테두리상자(700)와 분류(800)가 표시될 수 있다. 상기 객체(100)가 사람일 경우, 상기 분류(800)에는 'person'이 표시될 수 있으며, 상기 객체(100)에 대한 상기 분류(800)가 'person'일 경우에 상기 객체(100)가 계수될 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템은 다른 높이에서 촬영된 복수 개의 객체 영상에 대해 상기 객체의 크기 및 높이를 도출하여 상기 객체가 사람인지 판별하고, 상기 객체의 이동 양상을 분석하여 계수하는 것을 특징으로 한다.

여기서 상기 객체의 영상은 이미지 또는 동영상일 수 있으며, 짧은 영상 내에서 상기 객체의 영상을 획득하는 것이 바람직하다.

도 9 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 아래와 같이 설명한다.

도 9는 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 도시한 도면이다.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치는 카메라모듈(1000), 상기 카메라모듈(1000)을 특정 높이로 이송하는 상하이송모듈(2000) 및 상기 카메라모듈(1000)과 상기 상하이송모듈(2000)을 동시에 제어하는 제어부(3000)를 포함할 수 있다.

카메라모듈(1000)은 이미지센서(1100)를 포함하고 후술하는 상하이송모듈(2000)에 지면을 바라보는 방향으로 연결될 수 있으며, 객체의 영상을 실시간으로 획득할 수 있다.

상하이송모듈(2000)은 문 또는 천장과 같은 별도의 구조물에 구비되어 상기 카메라모듈(1000)과 연결될 수 있으며, 모터를 포함하여 상기 카메라모듈(1000)을 특정 방향 또는 특정 높이로 이송할 수 있다. 또한, 상기 카메라모듈(1000)이 서로 다른 특정 높이에서 상기 객체의 영상을 복수 개 획득할 수 있도록 상기 상하이송모듈(2000)이 빠르고 정확하게 작동될 수 있다.

제어부(3000)는 상기 카메라모듈(1000)과 상기 상하이송모듈(2000)을 제어할 수 있으며, 상기 객체가 접근하면 상기 상하이송모듈(2000)이 상기 카메라모듈(1000)을 특정 높이로 이송시키도록 함과 동시에 상기 카메라모듈(1000)이 이송 전 제1 높이와 이송 후의 제2 높이에서 상기 객체의 제1 영상 및 제2 영상을 획득하도록 제어할 수 있다.

또한, 상기 제어부(3000)는 상기 획득된 복수 개의 영상에서 상기 객체를 인식하고, 상기 객체의 크기 및 높이를 도출한 후, 상기 객체가 사람인지 판별할 수 있으며, 추가적으로 인공지능을 기반으로 상기 사람으로 판별된 객체가 진짜 사람인지 2차로 판별하여 신뢰도를 높일 수 있으며, 이를 바탕으로 재실자를 계수할 수 있다.

도 9의 (a) 및 (b)는 상기 상하이송모듈(2000)이 리니어 모터(2100)를 포함하는 실시예를 나타내고, 도 9의 (c) 및 (d)는 상기 상하이송모듈(2000)이 랙 앤 피니언(2200)을 포함하는 실시예를 나타낸다.

도 9의 (a) 및 (b)에 도시된 바와 같이, 한 실시예로 상기 상하이송모듈(2000)은 리니어 모터(2100)를 포함할 수 있고, 상기 리니어 모터(2100)는 샤프트(2110)를 포함할 수 있다. 상기 샤프트(2110)는 상기 카메라모듈(1000)과 연결될 수 있으며, 상기 샤프트(2110)의 이송에 따라 상기 카메라모듈(1000)이 영상을 획득하는 특정 높이로 이송될 수 있다.

도 9의 (a)와 같이 상기 샤프트(2110)가 위로 이송되면 상기 카메라모듈(1000) 또한 위로 이송되어 영상을 획득하는 높이가 높아질 수 있고, 도 9의 (b)와 같이 상기 샤프트(2110)가 아래로 이송되면 상기 카메라모듈(1000) 또한 아래로 이송되어 영상을 획득하는 높이가 낮아질 수 있다.

도 9의 (c) 및 (d)에 도시된 바와 같이, 다른 실시예로 상기 상하이송모듈(2000)은 랙 앤 피니언(2200)을 포함할 수 있고, 상기 랙 앤 피니언(2200)은 기어모터(2210)와 기어레일(2220)을 포함할 수 있다. 상기 기어모터(2210)와 기어레일(2220)은 서로 맞물려 작동될 수 있으며, 상기 기어모터(2210)의 작동방향에 따라 상기 기어레일(2220)이 상승되거나 하강되어 상기 카메라모듈(1000)을 특정 높이로 이송할 수 있다.

도 9의 (c)와 같이 상기 기어모터(2210)가 도면 상의 시계방향으로 회전하면 상기 기어레일(2220)이 상승되고 상기 카메라모듈(1000) 또한 위로 이송되어 영상을 획득하는 높이가 높아질 수 있고, 도 9의 (d)와 같이 상기 기어모터(2210)가 도면 상의 반시계방향으로 회전하면 상기 기어레일(2220)이 하강되고 상기 카메라모듈(1000) 또한 아래로 이송되어 영상을 획득하는 높이가 낮아질 수 있다.

도 10은 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치의 작동을 나타내는 도면이다.

도 10에 도시된 바와 같이, 객체(100)가 도면 상의 좌측에서 우측으로 이동할 때, 실시간 재실자 계수 장치에 도 1 및 도 2에서 설명한 것과 같이 상기 객체(100)의 감지영역으로의 진입이 감지되면 제어부(3000)가 상기 카메라모듈(1000)이 제1 높이에서 상기 객체(100)의 제1 영상(200a)을 획득하도록 제어할 수 있으며, 도 10의 (a) 위치에서 획득된 영상(200a)은 도 10의 (c)와 같을 수 있다. 또한, 상기 객체(100)가 상기 카메라모듈(1000)의 시야범위(FOV)(310)에서 벗어나기 전에, 상기 제어부(3000)가 상하이송모듈(2000)이 상기 카메라모듈(1000)을 제2 높이로 이송하도록 하고 상기 카메라모듈(1000)이 상기 제2 높이에서 상기 객체(100)의 제2 영상(200b)을 획득하도록 제어할 수 있으며, 도 10의 (b) 위치에서 획득된 영상(200b)은 도 10의 (d)와 같을 수 있다.

도 10의 (c)와 (d)의 획득된 영상(200a, 200b)에서 상기 객체(100)의 크기는 다를 수 있으며, 상기 객체(100)의 크기 비를 이용하여 상기 제어부(3000)는 상기 객체(100)의 높이를 도출할 수 있다. 또한, 상기 도출되는 객체(100)의 크기 및 높이를 통해 상기 객체(100)가 사람인지 판별하고, 도 2에서 상술한 바와 같이 상기 판별된 사람의 이동 양상에 따라 재실자가 계수될 수 있다.

상기와 같은 방법 및 구성을 포함하는 실시간 재실자 계수 시스템 및 이를 위한 장치는 불필요한 데이터에 대한 연산을 줄여 정확도가 높고 속도가 빠르며, 시스템 구성 비용이 저렴한 이점이 있다.

상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 객체
110, 110': 객체 특징부
200: 영상
200a: 제1 영상
200b: 제2 영상
210: 제1 감지영역 기준선
220: 제2 감지영역 기준선
230: 제1 감지선
240: 제2 감지선
250: 퇴실경로
260: 입실경로
270: 외부우회경로
280: 내부우회경로
300: 영상 획득 높이의 평균
300a: 제1 영상 획득 높이
300b: 제2 영상 획득 높이
310: 시야범위(FOV)
400: 지면
500: 객체의 높이
600: 영상 획득 높이의 평균과 객체 높이의 차
610: 제1 영상 획득 높이와 객체 높이의 차
620: 제2 영상 획득 높이와 객체 높이의 차
700: 테두리 상자
800: 분류
1000: 카메라모듈
1100: 이미지센서
2000, 2000': 상하이송모듈
2100: 리니어 모터
2110: 샤프트
2200: 랙 앤 피니언
2210: 기어모터
2220: 기어레일
3000: 제어부
S100: 객체 감지 단계
S200: 제1 영상 획득 단계
S300: 제2 영상 획득 단계
S400: 사람 판별 단계
S500: 계수 단계

Claims

감지영역에 객체가 진입했는지 감지하는 객체 감지 단계;
상기 감지된 객체의 영상을 복수 개 획득하는 영상 획득 단계;
상기 획득된 복수 개의 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계; 및
상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계;를 포함하는 것을 특징으로 하는 실시간 재실자 계수 시스템.
제 1항에 있어서,
상기 계수 단계는,
상기 감지영역에 구비되는 복수 개의 감지선에 대해 상기 객체의 이동 양상을 감지하여 재실자를 계수하는 것을 특징으로 하는 실시간 재실자 계수 시스템.
객체의 영상을 실시간으로 획득하는 카메라모듈;
별도의 구조물에 고정되고, 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈; 및
상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부;를 포함하고,
상기 제어부는,
상기 카메라모듈로부터 획득되는 복수 개의 영상으로 상기 객체가 사람인지 판별하고 재실자를 계수하는 것을 특징으로 하는 실시간 재실자 계수 장치.
제 3항에 있어서,
상기 상하이송모듈은,
상기 카메라모듈과 연결되는 봉 형태의 샤프트가 구비된 리니어 모터;를 포함하는 것을 특징으로 하는 실시간 재실자 계수 장치.
제 3항에 있어서,
상기 상하이송모듈은,
상기 카메라모듈과 연결되며 축을 따라 톱니가 형성된 기어레일; 및
상기 기어레일과 맞물리는 기어가 구비된 기어모터;를 포함하여,
상기 기어가 회전함으로써 상기 기어레일에 연결된 상기 카메라모듈이 상하로 이송되는 것을 특징으로 하는 실시간 재실자 계수 장치.