KR102310192B1

KR102310192B1 - 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템

Info

Publication number: KR102310192B1
Application number: KR1020210033691A
Authority: KR
Inventors: 김민기
Original assignee: (주)드림테크
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2021-10-08

Abstract

본 발명은 융복합 카메라가 카메라 및 레이더를 융합하여 이들 각각에 의해 획득된 데이터를 분석한 후, 분석데이터를 매칭시켜 객체를 검출하도록 구성됨으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있으며, 융복합 카메라가 객체 검출 시, 검출된 객체의 위치로 줌인 촬영하여 줌인영상을 획득함과 동시에 머신러닝 알고리즘(Machine learning Algorithm)인 객체인식 알고리즘을 이용하여 줌인영상을 분석하여 객체를 인식하도록 구성됨으로써 객체 인식률을 획기적으로 높일 수 있고, 융복합 카메라가 객체인식 알고리즘을 통한 객체 인식 시, 검출된 객체종류를 기 설정된 감시제외대상들과 비교하여 감지된 객체가 감시제외대상들에 포함되지 않으면, 침입확인정보를 생성한 후, 관제센터서버로 전송하도록 구성됨으로써 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰은 잦으나, 침입자로 간주할 수 없는 객체들로 인한 오인 및 혼동을 효과적으로 방지할 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템에 관한 것이다.

Description

객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템{Convergence camera for enhancing object recognition rate and detecting accuracy, and boundary surveillance system therewith}

본 발명은 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템에 관한 것으로서, 상세하게로는 레이더 및 카메라가 일체형으로 제작된 융복합 카메라를 이용함과 동시에 머신러닝 알고리즘을 이용하여 감지객체를 인식하며, 관제센터서버가 융복합 카메라로부터 전송받은 영상을 원격에서 자동 탐지 및 모니터링 함으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있을 뿐만 아니라 침입자가 아닌 다른 객체로 인한 오인 및 혼동을 효과적으로 방지할 수 있으며, 침입자에 대한 신속한 후속대처가 이루어질 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템에 관한 것이다.

철조망 또는 철책은 특정 경계 지역을 따라 길게 둘러쳐진 형태로 설치되며, 일반적으로 침입자가 특정 경계 지역 내부로 침입하는 것을 방지하는 용도로 사용된다.

특히, 우리나라는 남북이 대치하여 군사 분계선에는 북의 침입을 억제하기 위한 철책선이 동서로 연장되게 설치되어 있고, 이러한 철조망 또는 철책을 통한 침입자의 침입은 안보상에 있어서 심각한 국가적 피해를 초래하거나 또는 군사적 대응으로 이어질 수 있기 때문에 외부의 침입자의 침투 여부를 확인하는 경계 업무가 철저히 이루어지고 있다.

한편, 최근 들어 카메라산업 및 영상처리기술이 고도화되고 정밀화됨에 따라 카메라의 보급률 및 활용분야가 기하급수적으로 증가하였다.

특히 카메라 촬영에 의해 획득된 영상은 객체 감지의 수단으로 활용될 뿐만 아니라 증거보존의 기능까지 갖기 때문에 감시카메라가 널리 보급되어 사용되고 있다.

이에 따라 최근에는 철조망 또는 철책 부근에 감시카메라를 설치하여 감시카메라에 의해 촬영된 영상분석을 통해 객체를 감지 및 분석하는 감시시스템이 적용되고 있다.

종래의 대표적인 객체 감지방식으로는 가시광 카메라를 이용하는 방식과, 레이더신호를 이용한 방식이 있다.

우선, 가시광 카메라를 이용한 방식은 카메라의 촬영에 의해 획득된 영상을 분석하여 객체를 감지함으로써 객체 분류 및 검출의 정확도가 우수하며, 횡 방향에 대한 위치 및 속도 검출이 우수한 장점을 가지나, 조도, 날씨, 우천, 조향방향 등의 외부 조건에 따라 영상인식률이 현저히 떨어지며, 근거리 영상의 경우에는 객체인식이 우수하나, 원거리 영상인 경우에는 객체가 매우 작은 픽셀로 형성되어 객체인식률이 떨어지는 단점을 갖는다.

이에 반하여, 레이더신호를 이용한 방식은 기 설정된 감지영역으로 송신된 레이더신호의 반사 신호를 수집한 후 수집된 반사 신호를 분석하여 객체를 검출함으로써 객체 검출 및 인식률이 우수할 뿐만 아니라 외부 환경에 영향을 적게 받으며, 종 방향에 대한 객체 검출이 뛰어난 장점을 가지나, 횡 방향에 대한 객체인식 및 분류의 정확성이 떨어지는 단점을 갖는다.

이에 따라, 카메라 및 레이더를 일체형으로 제작하여 단일 가시광 카메라 또는 단일 레이더기로 구성할 때와 비교하여, 객체 인식률을 높일 수 있는 융복합 카메라에 대한 다양한 연구가 진행되고 있다.

도 1은 국내등록특허 제10-1343975호(발명의 명칭 : 돌발검지 시스템)에 개시된 돌발검지 시스템을 나타내는 구성도이다.

도 1의 돌발검지 시스템(이하 종래기술이라고 함)(100)의 다기능 촬영장치(103)는 기 설정된 감지영역을 촬영하여 영상을 획득하는 어레이카메라(131)와, 감지영역으로 레이더신호를 송출한 후 반사신호를 수신 받는 레이더검지기(132)와, 돌발 상황 발생 시 컨트롤러(107)의 제어에 따라 돌발 상황이 발생된 영역을 집중 촬영하는 추적카메라(133)로 이루어진다.

또한 다기능 촬영장치(103)는 어레이카메라(131), 레이더검지기(132) 및 추적카메라(133)에 의해 검출된 영상, 레이더정보 및 추적영상을 컨트롤러(107)로 전송하고, 컨트롤러(107)는 다기능 촬영장치(103)로부터 전송받은 영상을 분석하여 영상이 차량검출이 가능한 상태인지를 판단한 후, 만약 영상의 상태가 차량검출이 가능한 상태라고 판단되면, 영상을 분석하여 차량객체를 검출하며, 만약 영상의 상태가 차량검출이 불가능한 상태라고 판단되면, 레이더신호를 분석하여 차량객체를 검출한다.

이와 같이 구성되는 종래기술(100)은 어레이카메라(131)에 의해 획득된 영상으로부터 차량객체 검출이 불가능한 경우, 레이더신호를 분석하여 차량객체를 검출할 수 있기 때문에 단속율을 높일 수 있는 장점을 갖는다.

그러나 그러나 종래기술(100)은 단순히 카메라에 의해 획득된 영상정보가 차량검출이 가능한 상태인 경우에는 영상정보만을 이용하고, 획득된 영상정보가 차량검출이 불가능한 상태인 경우에는 레이더신호를 이용하도록 구성된 것이기 때문에 객체 감지 및 인식에 레이더신호 및 영상정보 중 어느 하나만 활용되기 때문에 객체 감지 및 인식률이 현저히 떨어지는 구조적 한계를 갖는다.

즉 종래기술(100)은 획득된 영상정보가 선명한 경우에는 영상분석을 통해서만 차량정보가 검출되기 때문에 거리 및 속도에 대한 검출 정확도가 떨어지게 되고, 획득된 영상정보가 선명하지 않은 경우에는 레이더 신호를 통해서만 차량정보가 검출되기 때문에 객체 분류 및 객체특징정보 검출의 정확도가 떨어지는 한계를 갖는다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 융복합 카메라가 카메라 및 레이더를 융합하여 이들 각각에 의해 획득된 데이터를 분석한 후, 분석데이터를 매칭시켜 객체를 검출하도록 구성됨으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 융복합 카메라가 객체 검출 시, 검출된 객체의 위치로 줌인 촬영하여 줌인영상을 획득함과 동시에 머신러닝 알고리즘(Machine learning Algorithm)인 객체인식 알고리즘을 이용하여 줌인영상을 분석하여 객체를 인식하도록 구성됨으로써 객체 인식률을 획기적으로 높일 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 융복합 카메라가 객체인식 알고리즘을 통한 객체 인식 시, 검출된 객체종류를 기 설정된 감시제외대상들과 비교하여 감지된 객체가 감시제외대상들에 포함되지 않으면, 침입확인정보를 생성한 후, 관제센터서버로 전송하도록 구성됨으로써 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰은 잦으나, 침입자로 간주할 수 없는 객체들로 인한 오인 및 혼동을 효과적으로 방지할 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 관제센터서버가 융복합 카메라들로부터 전송받은 영상들을 평면상으로 분할하여 대형 디스플레이 수단에 디스플레이 하되, 융합카메라로부터 침입의심정보를 전송받을 때, 해당 영상을 다른 영상들보다 n배 확대하여 전시함과 동시에 융합카메라로부터 침입확인정보를 전송받을 때, 해당 영상을 다른 영상들보다 N(N>n)배 확대 전시함으로써 침입의심 또는 침입확인된 영상의 시인성 및 가시성을 극대화시켜 모니터링 효율성을 극대화시킬 수 있을 뿐만 아니라 모니터링 요원이 침입의심 또는 침입확인 영상을 즉각적으로 인지하여 후속대응의 신속성을 개선시킬 수 있는 융복합 카메라 및 이를 이용한 경계 감시시스템을 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 PTZ 제어가 가능하며 기 설정된 감시구역(S)을 촬영하여 영상을 획득하는 카메라(53)와, 상기 감시구역(S)으로 레이더신호를 송출한 후 반사신호를 수신받는 레이더기(55)와, 영상 및 레이더신호를 분석하여 객체를 감지하는 컨트롤러(51)를 포함하는 융복합 카메라(5)들; 상기 융복합 카메라(5)들로부터 전송받은 영상을 모니터링 함과 동시에 침입자 감지 시, 후속대처를 수행하는 관제센터서버(3)를 포함하고, 상기 컨트롤러(51)는 해당 감시구역(S)으로의 출몰이 잦으나, 침입자로 간주할 수 없는 객체의 종류들인 감시제외대상 정보가 기 설정되어 저장되며, 입력영상을 입력값으로 하여, 객체종류, 거리, 크기, 속도 및 이동방향 중 적어도 하나 이상을 포함하는 객체인식정보(D)를 출력하는 딥러닝 알고리즘인 객체인식 알고리즘이 저장되는 메모리(511); 상기 카메라(53)에 의한 영상을 분석하여 제1 객체를 감지하며, 감지된 제1 객체의 거리를 산출하는 제1 객체검출모듈(514); 상기 레이더기(55)에 의한 레이더신호 정보를 분석하여 제2 객체를 감지하며, 감지된 제1 객체의 거리를 산출하는 제2 객체검출모듈(515); 상기 제1 객체검출모듈(514)에 의한 제1 객체의 거리와, 상기 제2 객체검출모듈(515)에 의한 제2 객체의 거리를 비교하며, 1)제1, 2 객체의 거리의 차이값이 임계치 미만이면, 제1, 2 객체를 동일한 객체인 최종객체로 결정함과 동시에 2)영상에서는 객체가 감지되지 않았으나, 레이더신호에서만 객체가 감지될 때, 제2 객체를 최종객체로 결정하고, 3)레이더신호에서는 객체가 감지되지 않았으나, 영상에서만 객체가 감지될 때, 제1 객체를 최종객체로 결정하는 최종객체 결정모듈(516); 상기 최종객체 결정모듈(516)에 의해 결정된 최종객체의 위치 및 거리에 대응되는 상기 카메라(53)의 PTZ 제어값을 생성하는 PTZ 제어값 생성모듈(517); 상기 PTZ 제어값 생성모듈(517)에 의해 생성된 PTZ 제어값에 따라 상기 카메라(53)의 PTZ를 제어하여 최종객체에 대한 줌영상이 획득되도록 하는 제어모듈(510); 상기 객체인식 알고리즘을 이용하여 상기 카메라(53)에 의한 줌영상을 분석하여 최종객체의 객체종류, 거리, 크기, 속도 및 이동방향 중 적어도 하나 이상을 포함하는 객체인식정보(D)를 검출하는 딥러닝 기반 객체인식모듈(518); 상기 딥러닝 기반 객체인식모듈(518) 이후에 실행되는 필터링모듈(519)을 포함하고, 상기 필터링모듈(519)은 상기 딥러닝 기반 객체인식모듈(518)로부터 객체인식정보(D)를 입력받는 객체인식정보 입력모듈(5191); 상기 객체인식정보 입력모듈(5191)에 의해 입력된 객체인식정보(D)에 포함된 객체종류 정보를 추출하는 객체종류 정보 추출모듈(5192); 상기 객체종류 정보 추출모듈(5192)에 의해 추출된 객체종류 정보를 상기 감시제외대상의 리스트와 비교하는 비교모듈(5193); 상기 비교모듈(5193)에서, 만약 추출된 객체종류 정보가 상기 감시제외대상의 리스트에 포함되면, 해당 최종객체를 미침입자로 판단하고, 만약 추출된 객체종류 정보가 상기 감시제외대상의 리스트에 포함되지 않으면, 해당 최종객체를 침입자로 판단하는 침입자 판단모듈(5194)을 포함하고, 상기 컨트롤러(53)는 상기 침입자 판단모듈(5194)에서 최종객체가 미침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 최종객체가 침입자는 아니나 추가점검이 필요하다는 내용을 포함하는 침입의심정보를 생성하는 침입의심정보 생성모듈(520); 상기 침입자 판단모듈(5194)에서 최종객체가 침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 최종객체가 침임자라는 내용을 포함하는 침입확인정보를 생성하는 침입확인정보 생성모듈(521)을 더 포함하고, 상기 제어모듈(510)은 상기 침입의심정보 생성모듈(520) 또는 상기 침입확인정보 생성모듈(521)에서 생성된 침입의심정보 또는 침입확인정보를 상기 관제센터서버(3)로 전송하고, 상기 관제센터서버(3)는 상기 융복합 카메라(5)들로부터 전송받은 영상들이 저장되는 데이터베이스부(32); 상기 융복합 카메라(5)들로부터 침입의심정보 및 침입확인정보를 전송받지 않은 평시에는, 하나의 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되도록 하는 방식을 전시방식으로 결정하는 전시방식 결정부(34); 상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하는 디스플레이 및 모니터링부(35)를 포함하고, 상기 관제센터서버(3)의 상기 전시방식 결정부(34)는 상기 융복합 카메라(5)들로부터 침입확인정보를 전송받은 침입확인 시에는, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입확인정보에 대응되는 영상이 다른 영상들보다 N배의 크기로 확대 전시되도록 하는 방식을 전시방식으로 결정하되, 상기 융복합 카메라(5)들로부터 침입의심정보를 전송받은 침입의심 시에는, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입의심정보에 대응되는 영상이 다른 영상들보다 n(n<N)배의 크기로 확대 전시되도록 하는 방식을 전시방식으로 결정하고, 상기 디스플레이 및 모니터링부(35)는 침입확인 시, 상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하되, 침입확인정보에 대응되는 영상을 다른 영상들보다 N배의 크기로 확대 디스플레이 하되, 침입의심 시, 상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하되, 침입의심정보에 대응되는 영상을 다른 영상들보다 n배의 크기로 확대 디스플레이 함으로써 침입의심에 대응되는 영상이 침입확인에 대응되는 영상보다 작되, 평시의 영상들보다는 크게 디스플레이 되도록 하는 것이다.

삭제

상기 과제와 해결수단을 갖는 본 발명에 따르면 융복합 카메라가 카메라 및 레이더를 융합하여 이들 각각에 의해 획득된 데이터를 분석한 후, 분석데이터를 매칭시켜 객체를 검출하도록 구성됨으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있게 된다.

또한 본 발명에 의하면 융복합 카메라가 객체 검출 시, 검출된 객체의 위치로 줌인 촬영하여 줌인영상을 획득함과 동시에 머신러닝 알고리즘(Machine learning Algorithm)인 객체인식 알고리즘을 이용하여 줌인영상을 분석하여 객체를 인식하도록 구성됨으로써 객체 인식률을 획기적으로 높일 수 있다.

또한 본 발명에 의하면 융복합 카메라가 객체인식 알고리즘을 통한 객체 인식 시, 검출된 객체종류를 기 설정된 감시제외대상들과 비교하여 감지된 객체가 감시제외대상들에 포함되지 않으면, 침입확인정보를 생성한 후, 관제센터서버로 전송하도록 구성됨으로써 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰은 잦으나, 침입자로 간주할 수 없는 객체들로 인한 오인 및 혼동을 효과적으로 방지할 수 있게 된다.

또한 본 발명에 의하면 관제센터서버가 융복합 카메라들로부터 전송받은 영상들을 평면상으로 분할하여 대형 디스플레이 수단에 디스플레이 하되, 융합카메라로부터 침입의심정보를 전송받을 때, 해당 영상을 다른 영상들보다 n배 확대하여 전시함과 동시에 융합카메라로부터 침입확인정보를 전송받을 때, 해당 영상을 다른 영상들보다 N(N>n)배 확대 전시함으로써 침입의심 또는 침입확인된 영상의 시인성 및 가시성을 극대화시켜 모니터링 효율성을 극대화시킬 수 있을 뿐만 아니라 모니터링 요원이 침입의심 또는 침입확인 영상을 즉각적으로 인지하여 후속대응의 신속성을 개선시킬 수 있다.

도 1은 국내등록특허 제10-1343975호(발명의 명칭 : 돌발검지 시스템)에 개시된 돌발검지 시스템을 나타내는 구성도이다.
도 2는 본 발명의 일실시예인 경계 감시시스템을 나타내는 구성도이다.
도 3은 도 2의 예시도이다.
도 4는 도 2의 융복합 카메라를 나타내를 블록도이다.
도 5는 도 4의 사시도이다.
도 6은 도 4의 레이더기가 객체를 감지할 때를 나타내는 예시도이다.
도 7은 도 2의 컨트롤러를 나타내는 블록도이다.
도 8은 도 7의 필터링모듈을 나타내는 블록도이다.
도 9는 도 2의 관제센터서버를 나타내는 블록도이다.
도 10은 도 9의 디스플레이 및 모니터링부를 나타내는 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 2는 본 발명의 일실시예인 경계 감시시스템을 나타내는 구성도이고, 도 3은 도 2의 예시도이다.

본 발명의 일실시예인 경계 감시시스템(1)은 철조망, 철책 등의 감시구역(S) 내의 침입자를 감시하기 위한 것으로서, 상세하게로는 레이더 및 카메라가 일체형으로 제작된 융복합 카메라를 이용함과 동시에 머신러닝 알고리즘을 이용하여 감지객체를 인식하며, 관제센터서버가 융복합 카메라로부터 전송받은 영상을 원격에서 자동 탐지 및 모니터링 함으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있을 뿐만 아니라 침입자가 아닌 다른 객체로 인한 오인 및 혼동을 효과적으로 방지할 수 있으며, 침입자에 대한 신속한 후속대처가 이루어지도록 하기 위한 것이다.

또한 본 발명의 경계 감시시스템(1)은 도 2와 3에 도시된 바와 같이, 감시구역(S)에 간격을 두고 설치되는 복수개의 융복합 카메라(5-1), ..., (5-N)들과, 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상들을 모니터링 함과 동시에 침입자 감지 시 후속대처를 수행하는 관제센터서버(3)와, 관제센터서버(3) 및 융복합 카메라(5-1), ..., (5-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.

이때 본 발명에서는 설명의 편의를 위해 융복합 카메라(5-1), ..., (5-N)들이 관제센터서버(3)와 데이터를 직접 송수신하는 것으로 예를 들어 설명하였으나, 관제센터서버(3) 및 융복합 카메라(5-1), ..., (5-N)들 사이에는 로컬서버(미도시) 또는 중계기가 설치되어 로컬서버 또는 중계기를 경유하여 데이터 통신이 이루어지는 것으로 구성될 수 있음은 당연하다.

융복합 카메라(5-1), ..., (5-N)들은 감시구역에 간격을 두고 설치된다.

또한 융복합 카메라(5-1), ..., (5-N)들은 일체형으로 제작되는 후술되는 도 4와 5에 도시된 바와 같이, 카메라(53) 및 레이더기(55)를 포함하여 이들 각각에 의해 획득된 데이터를 분석한 후, 분석데이터를 매칭시켜 객체를 검출하도록 구성됨으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 높일 수 있다.

또한 융복합 카메라(5-1), ..., (5-N)들은 카메라(53)에 의해 획득된 영상을 분석하여 제1 객체를 감지한 후, 감지된 제1 객체의 거리를 검출하며, 레이더기(53)에 의해 송수신된 레이더신호를 분석하여 제2 객체를 감지한 후, 감지된 제2 객체의 거리를 산출한다.

또한 융복합 카메라(5-1), ..., (5-N)들은 검출된 제1, 2 객체의 거리를 비교하여, 1)제1, 2 객체의 거리의 차이값이 임계치 미만이면, 제1, 2 객체를 동일한 객체인 최종객체로 결정하고, 2)영상에서는 객체가 감지되지 않았으나, 레이더신호에서만 객체가 감지될 때, 제2 객체를 최종객체로 결정하고, 3)레이더신호에서는 객체가 감지되지 않았으나, 영상에서만 객체가 감지될 때, 제1 객체를 최종객체로 결정한다.

또한 융복합 카메라(5-1), ..., (5-N)들의 카메라(51)는 PTZ(Pan-Tilt-Zoom) 가능한 PTZ카메라로 구성되어 최종객체의 거리 및 위치에 대응하여 패닝(Panning) 및 틸팅(Tilting) 된 후, 줌인(Zoom-In) 되어 최종객체를 집중촬영한다.

또한 융복합 카메라(5-1), ..., (5-N)들은 머신러닝 알고리즘(Machine learning)인 객체인식 알고리즘을 이용하여 입력영상(줌인영상)을 분석하여 객체종류, 거리, 크기, 색상, 속도 및 이동방향 정보로 이루어지는 객체인식정보(D)를 검출한다.

이때 객체인식 알고리즘은 입력영상을 입력값으로 하여 객체인식정보(D)를 출력하는 딥러닝 알고리즘이다.

또한 융복합 카메라(5-1), ..., (5-N)들에는 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰이 잦으나, 침입자로 간주할 수 없는 객체의 종류인 감시제외대상들이 기 설정되어 저장되고, 전술하였던 바와 같이, 객체인식 알고리즘을 이용하여 객체인식정보가 검출되면, 검출된 객체인식정보의 객체종류를 감시제외대상의 리스트들과 비교하여 만약 검출된 객체가 감지제외대상의 리스트에 포함되면, 객체인식정보 및 감지시간을 포함하는 침입의심정보를 생성하여 이를 관제센터서버(3)로 전송하고, 만약 검출된 객체가 감지제외대상의 리스트에 포함되지 않으면, 객체인식정보 및 감지시간을 포함하는 침입확인정보를 생성하여 이를 관제센터서버(3)로 전송한다.

이때 침입의심정보라고는 감지된 객체가 감지제외대상이기 때문에 침입자는 아니라고 융복합 카메라에서 1차적으로 판단하였으나, 관제센터서버(3)에서 추가 분석이 필요하다는 내용을 의미하고, 침입확인정보는 감지된 객체가 침입자라고 판단하여 감지구역(S) 내 침입자가 감지되었다는 내용을 의미한다.

관제센터서버(3)는 융복합 카메라(5-1), ..., (5-N)들을 관리 및 제어하는 서버이며, 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상 및 레이더신호 정보를 데이터베이스부에 저장함과 동시에 모니터링 하며, 융복합 카메라(5-1), ..., (5-N)들로부터 침입자가 감지되었다는 침입확인정보를 전송받거나 또는 모니터링을 통해 침입자가 감지될 때, 기 설정된 후속대처 프로세스에 따라 동작을 수행하여 침입자의 침입에 따른 신속한 대처가 이루어질 수 있게 된다.

예를 들어, 감시구역(S)이 철조망일 때, 관제센터서버(3)는 침입자 감지 시, 국방부 연락망, 해당 군부대 연락망 등에 해당 정보를 전파함과 동시에 현장 출동을 요청하는 것으로 후속대처 프로세스가 설정될 수 있다.

또한 관제센터서버(3)에는 대형 디스플레이 수단과, 다수의 관리요원 단말기들이 설치되고 있고, 관제센터서버(3)는 융복합 카메라(5-1), ..., (5-N)들로부터 감시영상들을 전송받으면, 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 각 감시영상을 디스플레이 한다.

또한 관제센터서버(3)는 융복합 카메라(5-1), ..., (5-N)들로부터 침입확인정보를 전송받으면, 전송받은 침입확인정보를 대형 디스플레이 수단의 하부에 노출시킴과 동시에 해당 영상을 대형 디스플레이 수단의 중앙에 확대하여 디스플레이 시킴으로써 모니터링 요원이 침입자 감지를 신속하고 정확하게 인지할 수 있게 된다.

즉 본 발명의 관제센터서버(3)는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상들을 디스플레이 하되, 침입자 감지 시, 침입자가 촬영된 영상의 가시성 및 시인성을 높임으로써 종래에 모니터링 요원들이 다수 영상들의 영상들을 일일이 확인하여 침입자를 감지하는 방식과 비교하여 감지 정확성 및 신뢰도를 높일 수 있을 뿐만 아니라 불필요한 작업피로도를 현저히 줄일 수 있다.

또한 관제센터서버(3)는 융복합 카메라(5-1), ..., (5-N)들의 PTZ 제어가 가능?K도록 구성됨으로써 관리요원의 요청에 따라 융복합 카메라(5)의 PTZ를 원격에서 제어할 수 있게 된다.

도 4는 도 2의 융복합 카메라를 나타내를 블록도이고, 도 5는 도 4의 사시도이고, 도 6은 도 4의 레이더기가 객체를 감지할 때를 나타내는 예시도이다.

융복합 카메라(5)는 도 4와 5에 도시된 바와 같이, 통상의 가시광 카메라인 카메라(53)와, 카메라(53)이 설치된 하우징의 하부에 설치되어 카메라(53)의 팬-틸트(Pan-Tilt)를 제어하는 팬-틸트 회전체(57)와, 카메라(53)의 하부에 설치되어 레이더신호를 송출한 후 반사신호를 수신받는 레이더기(55)와, 카메라(53), 레이더기(55) 및 팬-틸트 회전체(57)를 관리 및 제어함과 동시에 관제센터서버(3)와 데이터를 송수신하며 카메라(53)에 의해 획득된 영상과 레이더기(55)에 의해 송수신된 레이더신호를 분석하여 객체를 검출함과 동시에 침입확인정보 또는 침입의심정보를 생성하여 이를 관제센터서버(3)로 전송하는 컨트롤러(51)로 이루어진다.

카메라(53)는 통상의 가시광 카메라(53)이며, 줌 배율 제어가 가능하도록 구성된다. 이때 카메라(53)가 설치된 하우징에는 적외선 카메라가 설치되어 야간에도 촬영이 가능하도록 구성된다.

또한 카메라(53)는 기 설정된 감시구역(S)을 촬영하여 영상을 획득하며, 획득된 영상을 컨트롤러(51)로 출력한다.

레이더기(55)는 카메라(53)의 하부에 설치되며, 감시구역(S)으로 레이더신호를 송출한 후, 반사되는 신호를 수신받는 장치이며, 송수신된 레이저신호 정보를 컨트롤러(51)로 출력한다.

또한 레이더기(55)는 도 6에 도시된 바와 같이, 방사상 형태로 레이더신호를 송출함으로써 컨트롤러(51)는 레이더신호의 반사거리를 통해 객체(O)를 감지함과 동시에 위치, 거리, 크기를 검출하며, 검출된 크기가 설정값(TH, Threshold) 이상일 때, 움직이는 객체로 결정하며, 결정된 움직이는 객체(O)의 궤적을 추적하여 객체의 속도 및 이동항야을 검출할 수 있게 된다. 이때 레이더신호를 분석하여 객체 감지, 위치, 크기, 거리 속도 및 이동방향을 검출하는 기술 및 방법은 통상적으로 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다.

도 7은 도 2의 컨트롤러를 나타내는 블록도이다.

컨트롤러(51)는 도 7에 도시된 바와 같이, 제어모듈(510)과, 메모리(511), 데이터송수신모듈(512), 데이터입출력모듈(513), 영상분석 및 제1 객체검출모듈(514), 레이더신호 분석 및 제2 객체검출모듈(515), 최종객체 결정검출모듈(516), PTZ 제어값 생성모듈(517), 딥러닝 기반 객체인식모듈(518), 필터링모듈(519), 침입의심정보 생성모듈(520), 침입확인정보 생성모듈(521)로 이루어진다.

제어모듈(510)은 컨트롤러(51)의 O.S(Operating System)이며, 제어대상(511), (512), (513), (514), (515), (516), (517), (518), (519), (520), (521)들을 관리 및 제어한다.

또한 제어모듈(510)은 카메라(53)의 촬영에 의해 획득된 영상 및 레이더기(55)에 의해 송수신된 레이더신호 정보를 메모리(511)에 임시 저장함과 동시에 데이터송수신모듈(512)을 제어하여 관제센터서버(3)로 전송되도록 하며, 입력영상 및 입력된 레이더신호 정보를 영상분석 및 제1 객체 검출모듈(514) 및 레이더신호 분석 및 제2 객체검출모듈(515)로 입력한다.

또한 제어모듈(510)은 침입의심정보 생성모듈(520)에 의해 생성된 침입의심정보와, 침입확인정보 생성모듈(521)에 의해 생성된 침입확인정보를 관제센터서버(3)로 전송하도록 데이터 송수신모듈(512)을 제어한다.

메모리(511)에는 해당 융복합 카메라(5)의 식별정보 및 위치정보가 저장된다.

또한 메모리(511)에는 카메라(53)의 촬영에 의해 획득된 영상과, 레이더기(55)에 의해 송수신된 레이더신호 정보가 임시 저장된다.

또한 메모리(511)에는 딥러닝 기반 객체인식모듈(518)에 의해 검출된 객체인식정보와, 침입의심정보 생성모듈(520)에 의해 생성된 침입의심정보와, 침입확인정보 생성모듈(521)에 의해 생성된 침입확인정보가 임시 저장된다.

또한 메모리(511)에는 기 설정된 객체인식 알고리즘이 저장된다. 이때 객체인식 알고리즘은 영상을 입력값으로 하여, 객체종류, 색상, 거리, 크기, 속도 및 이동방향 정보로 이루어지는 객체인식정보(D)를 검출하는 딥러닝 알고리즘이다.

데이터 송수신모듈(512)은 관제센터서버(3)와 데이터를 송수신한다.

데이터 입출력모듈(513)은 카메라(53) 및 레이더기(55)와 데이터를 입출력한다.

영상분석 및 제1 객체검출모듈(514)은 카메라(53)의 촬영에 의해 획득된 영상을 분석하여 제1 객체를 감지하며, 감지된 제1 객체의 거리를 검출한다.

이때 영상을 분석하여 객체 감지 및 거리를 검출하는 기술 및 방법은 영상분석시스템에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

또한 영상분석 및 제1 객체검출모듈(514)에 의해 검출된 제1 객체의 거리정보는 최종객체 결정모듈(516)로 입력된다.

레이더신호 분석 및 제2 객체검출모듈(515)은 레이더기(55)에 의해 송수신된 레이저신호를 분석하여 제2 객체를 감지하며, 감지된 제2 객체의 거리를 검출한다. 이때 송수신된 레이더신호를 분석하여 객체 감지 및 거리를 검출하는 기술 및 방법은 레이더기에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

또한 레이더신호 분석 및 제2 객체검출모듈(515)에 의해 검출된 제2 객체의 거리정보는 최종객체 결정모듈(516)로 입력된다.

최종객체 결정모듈(516)은 입력된 제1 객체의 거리 및 제2 객체의 거리를 비교한다.

또한 최종객체 결정모듈(516)은 1)제1, 2 객체의 거리의 차이값이 임계치 미만이면, 제1, 2 객체를 동일한 객체인 최종객체로 결정함과 동시에 2)영상에서는 객체가 감지되지 않았으나, 레이더신호에서만 객체가 감지될 때, 제2 객체를 최종객체로 결정하고, 3)레이더신호에서는 객체가 감지되지 않았으나, 영상에서만 객체가 감지될 때, 제1 객체를 최종객체로 결정한다.

PTZ 제어값 생성모듈(517)은 최종객체 결정모듈(516)에 의해 결정된 최종객체의 위치 및 거리에 대응되는 카메라(53)의 PTZ 제어값을 결정한다.

이때 제어모듈(510)은 PTZ 제어값 생성모듈(517)에 의해 PTZ 제어값이 생성되면, 생성된 PTZ 제어값에 따라 카메라(53)의 줌 배율을 조절함과 동시에 팬-틸트 회전체(57)를 제어하여 최종객체에 대한 줌영상이 획득되도록 하고, 카메라(53)에 의해 획득된 줌영상을 딥러닝 기반 객체인식모듈(518)로 입력한다.

딥러닝 기반 객체인식모듈(518)은 기 학습된 객체인식 알고리즘을 이용하여 줌영상을 분석하여 객체종류, 색상, 거리, 크기, 속도 및 이동방향 정보로 이루어지는 객체인식정보(D)를 검출한다.

이때 딥러닝 기반 객체인식모듈(518)에 의해 검출된 객체인식정보(D)는 필터링모듈(519)로 입력된다.

도 8은 도 7의 필터링모듈을 나타내는 블록도이다.

필터링모듈(519)은 도 8에 도시된 바와 같이, 객체인식정보 입력모듈(5191)과, 객체종류 정보 추출모듈(5192), 비교모듈(5193), 침입자 판단모듈(5194)로 이루어진다.

객체인식정보 입력모듈(5191)은 딥러닝 기반 객체인식모듈(518)로부터 객체인식정보(D)를 입력받는다.

객체종류 정보 추출모듈(5192)은 객체인식정보 입력모듈(5191)에 의해 입력된 객체인식정보(D)에 포함된 객체종류 정보를 추출한다.

비교모듈(5193)은 객체종류 정보 추출모듈(5192)에 의해 추출된 객체종류 정보를 기 설정된 감시제외대상의 리스트들과 각각 비교한다.

이때 감시제외대상은 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰이 잦으나, 침입자로 간주할 수 없는 객체의 종류들을 의미한다.

침입자 판단모듈(5194)은 비교모듈(5193)에서, 만약 추출된 객체종류 정보가 감시제외대상의 리스트에 포함되면, 해당 최종객체를 미침입자로 판단하고, 만약 추출된 객체종류 정보가 감시제외대상의 리스트에 포함되지 않으면, 해당 최종객체를 침입자로 판단한다.

이때 제어모듈(510)은 침입자 판단모듈(5191)에 의해 최종객체가 미침입자로 판단되면, 침입의심정보 생성모듈(520)을 실행시키되, 침입자 판단모듈(5191)에 의해 최종객체가 침입자로 판단되면, 침입확인정보 생성모듈(521)을 실행시킨다.

침입의심정보 생성모듈(520)은 필터링모듈(519)에 의해 최종객체가 미침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 감지객체가 미침입자라는 내용으로 이루어지는 침입의심정보를 생성한다.

이때 침입의심정보 생성모듈(520)에 의해 생성된 침입의심정보는 제어모듈(510)의 제어에 따라 데이터 송수신모듈(512)을 통해 관제센터서버(3)로 전송된다.

침입확인정보 생성모듈(521)은 필터링모듈(519)에 의해 최종객체가 침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 감지객체가 침입자라는 내용으로 이루어지는 침입의심정보를 생성한다.

이때 침입확인정보 생성모듈(521)에 의해 생성된 침입확인정보는 제어모듈(510)의 제어에 따라 데이터 송수신모듈(512)을 통해 관제센터서버(3)로 전송된다.

도 9는 도 2의 관제센터서버를 나타내는 블록도이고, 도 10은 도 9의 디스플레이 및 모니터링부를 나타내는 예시도이다.

관제센터서버(3)는 도 9에 도시된 바와 같이, 제어부(31)와, 데이터베이스부(32), 통신 인터페이스부(33), 전시방식 결정부(34), 디스플레이 및 모니터링부(35), 후속대처 프로세스 관리부(36), 부가서비스부(37)로 이루어진다.

제어부(31)는 관제센터서버(3)의 O.S(Operating System)이며, 제어대상(32), (33), (34), (35), (36), (37)들을 관리 및 제어한다.

또한 제어부(31)는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상 및 레이더신호 정보를 데이터베이스부(32)에 저장함과 동시에 전시방식 결정부(34)로 입력한다.

또한 제어부(31)는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 침입의심정보 또는 침입확인정보를 데이터베이스부(32)에 저장함과 동시에 전시방식 결정부(34)로 입력하며, 특히 융복합 카메라(5-1), ..., (5-N)들로부터 침입확인정보를 전송받으면, 후속대처 프로세스 관리부(36)를 실행시킨다.

데이터베이스부(32)에는 융복합 카메라(5-1), ..., (5-N)들 각각의 식별정보 및 위치정보가 기 설정되어 저장된다.

또한 데이터베이스부(32)에는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상 및 레이더신호 정보가 저장된다.

또한 데이터베이스부(32)에는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 침입의심정보 또는 침입확인정보가 저장된다.

통신 인터페이스부(33)는 융복합 카메라(5-1), ..., (5-N)들과 데이터를 송수신한다.

전시방식 결정부(34)는 융복합 카메라(5-1), ..., (5-N)들로부터 침입의심정보 및 침입확인정보를 전송받지 않은 평시에는, 도 10에 도시된 바와 같이, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되도록 전시방식을 결정한다.

또한 전시방식 결정부(34)는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 침입의심정보를 제어부(31)를 통해 입력받으면, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입의심정보에 대응되는 영상이 다른 영상들보다 n배의 크기로 확대 전시되도록 전시방식을 결정한다.

또한 전시방식 결정부(34)는 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 침입확인정보를 제어부(31)를 통해 입력받으면, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입확인정보에 대응되는 영상이 다른 영상들보다 N(N>n)배의 크기로 확대 전시되도록 전시방식을 결정한다.

디스플레이 및 모니터링부(35)는 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 대형 디스플레이 수단에 영상들을 전시한다.

즉 디스플레이 및 모니터링부(35)는 1)평시에는 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 각각 디스플레이 하고, 2)침입의심 시, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 각각 디스플레이 하되, 침입이 의심되는 영상을 다른 영상들보다 n배의 크기로 확대 전시하고, 3)침입확인 시, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 각각 디스플레이 하되, 침입이 의심되는 영상을 다른 영상들보다 N(N>n)배의 크기로 확대 전시하도록 구성된다.

이에 따라 관리요원들은 대형 디스플레이 수단을 통해 전시되는 다수의 영상들을 모니터링 하는 중, 침입이 의심되거나 또는 확인된 영상을 즉각적으로 인지하여 정밀 모니터링 및 후속대처를 신속하게 수행할 수 있게 된다.

후속대처 프로세스 관리부(36)는 융복합 카메라(5-1), ..., (5-N)들로부터 침입확인정보를 전송받을 때 제어부(31)의 제어에 따라 실행되며, 기 설정된 후속대처 프로세스에 따른 대처 수행을 관리한다.

부가서비스부(37)는 프로그램 관리, 신고 및 민원접수 등과 같이 통상의 관제서버에서 제공하는 부가서비스를 관리한다.

이와 같이 본 발명의 일실시예인 경계 감시시스템(1)의 융복합 카메라(5)는 카메라 및 레이더를 융합하여 이들 각각에 의해 획득된 데이터를 분석한 후, 분석데이터를 매칭시켜 객체를 검출하도록 구성됨으로써 각 감지수단의 단점을 상호 보완하여 객체 인식률 및 검지율을 극대화시킬 수 있게 된다.

또한 본 발명의 경계 감시시스템(1)은 융복합 카메라(5)가 객체 검출 시, 검출된 객체의 위치로 줌인 촬영하여 줌인영상을 획득함과 동시에 머신러닝 알고리즘(Machine learning Algorithm)인 객체인식 알고리즘을 이용하여 줌인영상을 분석하여 객체를 인식하도록 구성됨으로써 객체 인식률을 획기적으로 높일 수 있다.

또한 본 발명의 경계 감시시스템(1)은 융복합 카메라(5)가 객체인식 알고리즘을 통한 객체 인식 시, 검출된 객체종류를 기 설정된 감시제외대상들과 비교하여 감지된 객체가 감시제외대상들에 포함되지 않으면, 침입확인정보를 생성한 후, 관제센터서버(3)로 전송하도록 구성됨으로써 고라니, 멧돼지, 조류 등과 같이 해당 감시구역(S)으로의 출몰은 잦으나, 침입자로 간주할 수 없는 객체들로 인한 오인 및 혼동을 효과적으로 방지할 수 있게 된다.

또한 본 발명의 경계 감시시스템(1)은 관제센터서버(3)가 융복합 카메라(5-1), ..., (5-N)들로부터 전송받은 영상들을 평면상으로 분할하여 대형 디스플레이 수단에 디스플레이 하되, 융합카메라로부터 침입의심정보를 전송받을 때, 해당 영상을 다른 영상들보다 n배 확대하여 전시함과 동시에 융합카메라로부터 침입확인정보를 전송받을 때, 해당 영상을 다른 영상들보다 N(N>n)배 확대 전시함으로써 침입의심 또는 침입확인된 영상의 시인성 및 가시성을 극대화시켜 모니터링 효율성을 극대화시킬 수 있을 뿐만 아니라 모니터링 요원이 침입의심 또는 침입확인 영상을 즉각적으로 인지하여 후속대응의 신속성을 개선시킬 수 있게 된다.

1:경계 감시시스템 3:관제센터서버
5-1, ..., 5-N:융복합 카메라들 10:통신망
31:제어부 32:데이터베이스부
33:통신인터페이스부 34:전시방식 결정부
35:디스플레이 및 모니터링부 36:후속대처 프로세스 관리부
37:부가서비스부 51:컨트롤러
53:카메라 55:레이더기
57:팬-틸트 회전체 510:제어모듈
511:메모리 512:데이터송수신모듈
513:데이터입출력모듈 514:영상분석 및 제1 객체 검출모듈
515:레이더신호 분석 및 제2 객체 검출모듈
516:최종객체 결정모듈 517:PTZ 제어값 생성모듈
518:딥러닝 기반 객체인식모듈 519:필터링모듈
520:침입의심정보 생성모듈 521:침입확인정보 생성모듈

Claims

PTZ 제어가 가능하며 기 설정된 감시구역(S)을 촬영하여 영상을 획득하는 카메라(53)와, 상기 감시구역(S)으로 레이더신호를 송출한 후 반사신호를 수신받는 레이더기(55)와, 영상 및 레이더신호를 분석하여 객체를 감지하는 컨트롤러(51)를 포함하는 융복합 카메라(5)들;
상기 융복합 카메라(5)들로부터 전송받은 영상을 모니터링 함과 동시에 침입자 감지 시, 후속대처를 수행하는 관제센터서버(3)를 포함하고,
상기 컨트롤러(51)는
해당 감시구역(S)으로의 출몰이 잦으나, 침입자로 간주할 수 없는 객체의 종류들인 감시제외대상 정보가 기 설정되어 저장되며, 입력영상을 입력값으로 하여, 객체종류, 거리, 크기, 속도 및 이동방향 중 적어도 하나 이상을 포함하는 객체인식정보(D)를 출력하는 딥러닝 알고리즘인 객체인식 알고리즘이 저장되는 메모리(511);
상기 카메라(53)에 의한 영상을 분석하여 제1 객체를 감지하며, 감지된 제1 객체의 거리를 산출하는 제1 객체검출모듈(514);
상기 레이더기(55)에 의한 레이더신호 정보를 분석하여 제2 객체를 감지하며, 감지된 제1 객체의 거리를 산출하는 제2 객체검출모듈(515);
상기 제1 객체검출모듈(514)에 의한 제1 객체의 거리와, 상기 제2 객체검출모듈(515)에 의한 제2 객체의 거리를 비교하며, 1)제1, 2 객체의 거리의 차이값이 임계치 미만이면, 제1, 2 객체를 동일한 객체인 최종객체로 결정함과 동시에 2)영상에서는 객체가 감지되지 않았으나, 레이더신호에서만 객체가 감지될 때, 제2 객체를 최종객체로 결정하고, 3)레이더신호에서는 객체가 감지되지 않았으나, 영상에서만 객체가 감지될 때, 제1 객체를 최종객체로 결정하는 최종객체 결정모듈(516);
상기 최종객체 결정모듈(516)에 의해 결정된 최종객체의 위치 및 거리에 대응되는 상기 카메라(53)의 PTZ 제어값을 생성하는 PTZ 제어값 생성모듈(517);
상기 PTZ 제어값 생성모듈(517)에 의해 생성된 PTZ 제어값에 따라 상기 카메라(53)의 PTZ를 제어하여 최종객체에 대한 줌영상이 획득되도록 하는 제어모듈(510);
상기 객체인식 알고리즘을 이용하여 상기 카메라(53)에 의한 줌영상을 분석하여 최종객체의 객체종류, 거리, 크기, 속도 및 이동방향 중 적어도 하나 이상을 포함하는 객체인식정보(D)를 검출하는 딥러닝 기반 객체인식모듈(518);
상기 딥러닝 기반 객체인식모듈(518) 이후에 실행되는 필터링모듈(519)을 포함하고,
상기 필터링모듈(519)은
상기 딥러닝 기반 객체인식모듈(518)로부터 객체인식정보(D)를 입력받는 객체인식정보 입력모듈(5191);
상기 객체인식정보 입력모듈(5191)에 의해 입력된 객체인식정보(D)에 포함된 객체종류 정보를 추출하는 객체종류 정보 추출모듈(5192);
상기 객체종류 정보 추출모듈(5192)에 의해 추출된 객체종류 정보를 상기 감시제외대상의 리스트와 비교하는 비교모듈(5193);
상기 비교모듈(5193)에서, 만약 추출된 객체종류 정보가 상기 감시제외대상의 리스트에 포함되면, 해당 최종객체를 미침입자로 판단하고, 만약 추출된 객체종류 정보가 상기 감시제외대상의 리스트에 포함되지 않으면, 해당 최종객체를 침입자로 판단하는 침입자 판단모듈(5194)을 포함하고,
상기 컨트롤러(51)는
상기 침입자 판단모듈(5194)에서 최종객체가 미침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 최종객체가 침입자는 아니나 추가점검이 필요하다는 내용을 포함하는 침입의심정보를 생성하는 침입의심정보 생성모듈(520);
상기 침입자 판단모듈(5194)에서 최종객체가 침입자로 판단될 때 실행되며, 해당 최종객체의 객체인식정보(D), 감지시간 및 최종객체가 침임자라는 내용을 포함하는 침입확인정보를 생성하는 침입확인정보 생성모듈(521)을 더 포함하고,
상기 제어모듈(510)은 상기 침입의심정보 생성모듈(520) 또는 상기 침입확인정보 생성모듈(521)에서 생성된 침입의심정보 또는 침입확인정보를 상기 관제센터서버(3)로 전송하고,
상기 관제센터서버(3)는
상기 융복합 카메라(5)들로부터 전송받은 영상들이 저장되는 데이터베이스부(32);
상기 융복합 카메라(5)들로부터 침입의심정보 및 침입확인정보를 전송받지 않은 평시에는, 하나의 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되도록 하는 방식을 전시방식으로 결정하는 전시방식 결정부(34);
상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하는 디스플레이 및 모니터링부(35)를 포함하고,
상기 관제센터서버(3)의 상기 전시방식 결정부(34)는
상기 융복합 카메라(5)들로부터 침입확인정보를 전송받은 침입확인 시에는, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입확인정보에 대응되는 영상이 다른 영상들보다 N배의 크기로 확대 전시되도록 하는 방식을 전시방식으로 결정하되, 상기 융복합 카메라(5)들로부터 침입의심정보를 전송받은 침입의심 시에는, 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들이 각각 디스플레이 되되, 침입의심정보에 대응되는 영상이 다른 영상들보다 n(n<N)배의 크기로 확대 전시되도록 하는 방식을 전시방식으로 결정하고,
상기 디스플레이 및 모니터링부(35)는
침입확인 시, 상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하되, 침입확인정보에 대응되는 영상을 다른 영상들보다 N배의 크기로 확대 디스플레이 하되, 침입의심 시, 상기 전시방식 결정부(34)에 의해 결정된 전시방식에 따라 상기 대형 디스플레이 수단을 동일 면적으로 분할한 후 분할된 각 영역에 전송받은 영상들을 디스플레이 하되, 침입의심정보에 대응되는 영상을 다른 영상들보다 n배의 크기로 확대 디스플레이 함으로써 침입의심에 대응되는 영상이 침입확인에 대응되는 영상보다 작되, 평시의 영상들보다는 크게 디스플레이 되도록 하는 것을 특징으로 하는 경계 감시시스템(1).
삭제
삭제
삭제
삭제
삭제
삭제
삭제