KR20220031258A - 상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 방법은, 능동형 보안 관제 서비스 제공 장치의 동작 방법으로서, 지능형 보안 감시 장치의 이벤트 정보를 획득하는 단계; 감시 이벤트별로 대응되는 일반 상담 안내 데이터의 연관성에 기초하여 기계학습을 통해 미리 구축해둔 보안 관제 상담 학습 데이터를 이용하여, 상기 획득된 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 가공하는 단계; 및 상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스를 사용자 단말로 제공하는 단계를 포함한다.

Description

상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법{A method for providing active security control service based on learning data corresponding to counseling event}

본 발명은 서비스 제공 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 감시장비의 감시정보와 보안 관제 상담 정보의 기계학습을 이용한 학습데이터를 구축하여 상담 이벤트 발생시 해당 학습데이터를 기반으로 상담 콘텐츠를 생성하여 능동형 보안관제 서비스 제공하는 방법에 관한 것이다.

현재 사용자의 사유 재산과 기밀을 보호하기 위한 보안 시스템이 제공되고 있으며, 이러한 보안 시스템은 출입 통제를 위한 리더기나 감시 대상 공간에 대한 영상을 제공하는 카메라 및 영상을 기록하는 영상 기록 장치 등과 같은 다양한 장비로 구성되어 허가되지 않은 인원의 출입을 통제하고 침입과 같은 이벤트 발생시 이를 사용자에게 통지하여 감시 대상 공간을 안전하게 보호하도록 동작한다.

또한, 이러한 보안 시스템을 이용하는 다수의 가입자를 관리하기 위해 가입자의 보안 관련 장비와 통신망을 통해 통신하는 관제 서버가 보안 시스템에 포함되어 구성될 수 있으며, 이러한 보안 시스템은 보안 관련 이벤트 발생시 해당 장비에서 수용하기 어려운 대용량의 영상을 저장하여 이벤트 발생과 관련된 영상이 누락되지 않도록 지원함과 아울러 가입자인 사용자가 감시 대상 공간에 위치하지 않는 경우라도 사용자의 요청에 따라 원격에 위치하는 사용자와 관련된 장비를 사용자 대신 제어하여 사용자 편의성을 높이고 있다.

또한, 보안 시스템은 이러한 사용자의 장비 사용 중에 장비 사용과 관련된 문의 요청을 수신하고 이를 처리하는 고객 센터를 운영하고 있으며, 해당 고객 센터에서는 사용자의 상담 요청에 대응되어 관제 서버와 연동하여 상술한 바와 같이 사용자의 요청 사항을 처리하고 있다.

그러나, 기존의 보안 시스템에서 운영하는 고객 상담 서비스 채널은 다수의 사용자들의 개인화된 이슈들을 상담원들이 일일이 응대하여 처리하고 있으며, 단순 장비 제어와 같이 일부 간단한 처리는 자동화된 서비스를 통해 구현되고는 있으나, 아직까지도 구체적인 개별 응대 사안들은 매우 구체적이며, 각각의 케이스에 대한 문제 해결이 상담원 없이 처리되고 있지는 못하는 실정이다.

따라서, 상담원과 상담원별 설비는 현재도 상당 규모 이상 구비되어, 인건비와 고객 센터의 설비 유지 비용 부담이 있으며, 이로 인한 보안 시스템의 비용 상승은 보안시스템을 운영하는데 있어서 상당히 비효율적인 문제가 있다.

또한, 경험이 적은 상담원의 경우, 현재 서비스에 대한 적절한 해결방안이 무엇인지 정확히 알 수 없는 경우가 많으며, 특수한 케이스의 경우 통상적으로 경험이 많은 고참 상담원이나 상급자에게 질의하여 해결하는 경우도 발생되는 바, 근무자의 역량에 따라서는 이러한 인적 처리에 대한 비효율성이 가중되게 된다.

한편, 기존의 보안 감시 시스템의 감시 대상 지역은 일반적으로 저조도의 환경이 많으며, 이로 인해 최근의 보안 시스템 역시 센서의 감시 대상 감지시 저조도 환경에서 운용되는 카메라를 통해 생성된 영상에서 객체가 뚜렷하게 나타나지 않아 감시대상 객체가 아닌 객체에 대해서도 알람을 제공하거나 감시 대상 객체가 출현한 경우에도 감시 대상 객체가 영상을 통해 식별되지 않아 보고가 누락되는 경우가 빈번히 발생하여 오보율을 크게 개선하지 못하는 문제도 존재하는 바, 감시 대상에 대한 센서의 감지에 따른 침입 신호 발생이나 장비 사용과 관련된 문제가 발생된 경우의 알람 및 상담 안내 서비스의 품질도 저하되는 문제점이 있다.

이를 해결하기 위해 딥러닝 분석 기반의 영상분석 방법도 제안되고 있으나, 딥러닝 분석 처리에는 많은 컴퓨팅 자원이 소모되기 때문에 딥러닝 분석 장치나 서버가 별도의 원격지에 외부 네트워크로 연결되어 위치한 경우가 많고, 이에 따라 영상 정보가 딥러닝 분석 서버를 통해 분석이 완료된 이후에서나 객체 분류 및 정확한 이벤트 검출이 가능하게 되므로, 컴퓨팅 비용뿐만 아니라 보안 감시 시스템에서 가장 중요한 시간 자원이 소모되며, 관련 상담 안내 서비스의 신속성 또한 낮아지는 문제점이 존재한다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 보안 감시 장치를 지능형 보안 감시 장치로 구성하여 인공지능 기반의 로컬 영상감시 시스템을 구축하되, 지능형 보안 감시 장치의 감시 장비의 감시정보에 대한 사용자 문의 요청에 따라 상담원 등에 의해 기 제공된 상담 안내 및 그 결과 정보를 처리하여 누적 데이터베이스화 하고, 누적된 상담 데이터베이스를 기반으로 하는 보안 관제 상담 대응 학습 데이터를 구축함으로써, 문제 발생 또는 상담 문의가 예상되는 지능형 보안 감시 장치의 상담 이벤트 정보가 발생시, 상기 학습 데이터를 이용하여 상기 상담 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 제공할 수 있는 상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법을 제공하는데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 서비스 제공 방법은, 지능형 보안 감시 장치의 이벤트 정보를 획득하는 단계; 감시 이벤트별로 대응되는 일반 상담 안내 데이터의 연관성에 기초하여 기계학습을 통해 미리 구축해둔 보안 관제 상담 학습 데이터를 이용하여, 상기 획득된 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 가공하는 단계; 및 상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스를 사용자 단말로 제공하는 단계를 포함한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 서비스 제공 장치는, 감시 영상 정보를 분석하여 이벤트를 검출하는 지능형 보안 감시 장치로부터, 감시 장비의 감시정보를 수집하는 감시 장비의 감시정보 수집부; 상담 데이터베이스로부터 상기 감시 장비의 감시정보에 대응하는 일반 상담 안내 정보를 수집하는 일반 상담 안내 정보 수집부; 상기 상담 데이터베이스로부터 획득되는 문제 상황의 해결 여부 정보에 기초하여, 상기 일반 상담 안내 정보 및 상기 감시 장비의 감시정보간 긍정 연관성을 나타내는 매핑 분류 정보를 생성하고, 상기 매핑 분류 정보를 이용한 상기 상담 데이터베이스의 기계학습 처리를 수행하여, 보안 관제 상담 대응 학습 데이터를 구축하는 학습 데이터 구축부; 및 상기 지능형 보안 감시 장치의 이벤트 정보를 획득하고, 상기 학습 데이터를 이용하여, 상기 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 가공하며, 상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스를 사용자 단말로 제공하는 능동형 보안관제 상담 서비스 처리부를 포함한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 서비스 제공 장치의 동작 방법은, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 보안 감시 장치를 지능형 보안 감시 장치로 구성하여 인공지능 기반의 로컬 영상감시 시스템 및 딥러닝 기반의 분산 프로세스를 이용한 시스템 지연의 최소화 및 정확한 이벤트 검출에 따른 오보율을 최소화할 수 있으며, 이러한 지능형 보안 감시 장치의 감시 장비의 감시정보에 대한 사용자 문의 요청에 따라 상담원 등에 의해 기 제공된 상담 안내 및 그 결과 정보를 처리하여 누적 데이터베이스화 하고, 누적된 상담 데이터베이스를 기반으로 하는 보안 관제 상담 대응 학습 데이터를 구축함으로써, 문제 발생 또는 상담 문의가 예상되는 지능형 보안 감시 장치의 상담 이벤트 정보가 발생시, 상기 학습 데이터를 이용하여 상기 상담 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 선제적으로 제공할 수 있는 능동형 보안관제 서비스 제공 방법 및 그 장치를 제공할 수 있다.

또한, 본 발명의 실시 예에 따르면, 상기 상담 데이터베이스로부터 획득되는 문제 상황의 해결 여부 정보에 기초하여, 상기 일반 상담 안내 정보 및 상기 감시 장비의 감시정보간 긍정 연관성을 나타내는 매핑 분류 정보를 생성하고, 상기 매핑 분류 정보를 이용한 상기 상담 데이터베이스의 기계학습 처리를 수행하여, 보안 관제 상담 대응 학습 데이터를 구축함으로써, 다양한 상담 케이스 중 문제가 해결되는 방향으로 안내된 상담 안내 케이스를 참조한 상담 안내 컨텐츠가 현재 감시 장비 상태에 적합하게 생성되도록 하며, 이에 따른 자연스럽고 문제 해결 지향적 상담 안내 컨텐츠가 사용자에게 제공되도록 할 수 있다.

또한, 본 발명의 실시 예에 따르면 학습 데이터 기반의 능동형 보안관제 상담 안내 콘텐츠를 가공하여 능동형 상담 서버(600)의 관리자 장치에서 출력하게 할 수 있는 바, 신규 상담원이라 하더라도 보다 해결 가능성 높은 상담 안내 콘텐츠를 쉽게 확인하여 사용자에게 제공할 수 있으므로, 상담 안내 서비스의 품질을 향상시킬 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 지능형 감시 장치 및 딥러닝 분산 서버의 구성 및 연결관계를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 능동형 상담 서버를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 능동형 상담 서버 동작을 보다 구체적으로 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 전체 시스템 동작을 설명하기 위한 래더 다이어그램이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 전체 시스템은, 지능형 보안 감시 장치(100), 사용자 단말(200), 딥러닝 분산 처리 장치(300), 중계 서버(400), 관제 서비스 서버(500), 능동형 상담 서버(600), 하나 이상의 감시 장비(101, 103, 105, 107)를 포함하며, 상기 관제 서비스 서버(500) 및 능동형 상담 서버(600)는 본 발명의 실시 예에 따른 전체 시스템상에 독립적인 서버로 구비되거나, 능동형 보안관제 서비스 시스템(1000)의 일부 모듈로서 구현될 수 있다.

먼저, 하나 이상의 감시 장비(101, 103, 105, 107)는 보안 감시 지역에 배치될 수 있으며, 지능형 보안 감시 장치(100)와 로컬 감시 네트워크로 연결될 수 있다. 하나 이상의 감시 장비(101, 103, 105, 107)는, 각각 보안 감시 지역을 촬영하는 카메라 장치(101)이거나, 출입구의 보안 출입증 정보나 사용자 생체 정보를 리딩하는 출입 리더기(103)이거나, 긴급상황 또는 경계상황 발생 알림을 위한 비상벨 장치(105)이거나, 보안 감시 지역 또는 그 주변에서 발생되는 감지 신호를 센싱하는 경계 센서(107)를 포함할 수 있다. 하나 이상의 감시 장비(101, 103, 105, 107)는 영상 정보, 출입구 리더 정보, 비상벨 정보 또는 경계 센서 정보를 감시 장비의 감시정보로서 획득하고, 획득된 감시 장비의 감시정보를 지능형 보안 감시 장치(100)로 전송한다.

지능형 보안 감시 장치(100)는, 감시 장비의 감시정보를 수집 및 저장 관리할 수 있으며, 감시 장비의 감시정보에 기초하여 보안 감시 지역에서 발생되는 하나 이상의 보안 감시 이벤트를 검출하고, 검출된 이벤트에 대응하는 서비스 처리를 수행할 수 있다.

여기서, 서비스 처리는 발생된 이벤트에 대응하는 사용자 단말(200)로의 알람 메시지 전송 서비스, 경보 알림 기능 동작 또는 해제 서비스, 관제 서비스 서버(500) 또는 능동형 상담 서버(600)로의 상태정보 전송 서비스 등이 예시될 수 있으며, 이러한 서비스 처리를 수행하는 관제 서비스 서버(500) 및 능동형 상담 서버(600)는 포함하여 하나의 서비스 제공 시스템(1000)이 구축될 수 있다.

특히, 본 발명의 실시 예에 따른 능동형 상담 서버(600)는 수신된 상태정보로부터 획득되는 감시 장비의 감시정보에 기초하여, 사용자 단말(200)로의 능동형 관제 서비스 상담 안내 콘텐츠를 제공할 수 있는 바, 이는 능동형 상담 서버(600)에서 수집된 일반 상담 정보 및 감시 장비의 감시정보 기반의 기계학습된 데이터베이스에 기초하여 처리될 수 있다.

보다 구체적으로, 능동형 상담 서버(600)는, 지능형 보안 감시 장치(100)로부터 감시 장비의 감시정보를 수집하고, 상담 데이터베이스로부터 상기 감시 장비의 감시정보에 대응하여, 상담원, 사용자 요청 또는 알람 발생 등에 의해 사용자들에게 기 제공된 일반 상담 안내 정보를 수집할 수 있다.

그리고, 능동형 상담 서버(600)는, 상기 상담 데이터베이스로부터 획득되는 상기 일반 상담 안내 정보의 문제 상황의 해결 여부 정보에 기초하여, 상기 일반 상담 안내 정보 및 상기 감시 장비의 감시정보간 긍정 연관성을 나타내는 매핑 분류 정보를 생성하고, 상기 매핑 분류 정보를 이용한 상기 상담 데이터베이스의 기계학습 처리를 수행하여, 보안 관제 상담 대응 학습 데이터를 구축할 수 있다.

이에 따라, 능동형 상담 서버(600)는, 감시 장비의 감시정보를 포함하는 지능형 보안 감시 장치(100)의 상담 이벤트 정보 수신시, 문제 상황을 해결하는 방향으로 사전 학습된 상담 안내 콘텐츠를 생성할 수 있도록 상기 학습 데이터를 활용할 수 있다. 능동형 상담 서버(600)는 상기 지능형 보안 감시 장치(100)의 상담 이벤트 정보가 수신되는 경우, 상기 학습 데이터를 이용하여, 상기 상담 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 생성하고, 상기 능동형 보안관제 상담 안내 콘텐츠를 사용자 단말(200)로 제공할 수 있다.

이러한 서비스 처리를 위해, 지능형 보안 감시 장치(100), 중계 서버(400), 관제 서비스 서버(500), 능동형 상담 서버(600) 및 사용자 단말(200)은 상호 유무선 네트워크로 연결될 수 있고, 각 구성요소는 상기 유무선 네트워크를 통해 통신을 수행하기 위한 하나 이상의 유무선 통신 모듈을 구비할 수 있다. 상기 유무선 통신 네트워크는 널리 알려진 다양한 통신 방식이 적용될 수 있다.

그리고, 지능형 보안 감시 장치(100)는 감시 장비의 감시정보를 분석하여 이벤트를 검출하기 위한 하나 이상의 정보 처리 모듈 및 정보 분석 모듈을 포함할 수 있다.

또한, 지능형 보안 감시 장치(100)는 감시 장비의 감시정보의 영상 정보 처리 및 분석에 따른 초기 분석 정보를 기반으로 소정의 제1 감시 이벤트들을 검출할 수 있으나, 영상 내 객체의 정확한 검출 및 분류를 통해 보다 정확한 분석이 요구되는 제2 감시 이벤트에 대하여는 별도의 딥러닝 분석 처리를 하나 이상의 딥러닝 분산 처리 장치(300)와 연동하여 처리할 수 있다.

여기서, 상기 제1 감시 이벤트 및 제2 감시 이벤트는 딥러닝 분석 처리 여부에 따라 그룹핑될 수 있으며, 제1 감시 이벤트는 센서 정보 및 영상 정보의 초기 분석에 따라 신속히 검출되는 침입 이벤트, 카메라 무단 변경 이벤트, 화재 발생 이벤트 등이 예시될 수 있고, 제2 감시 이벤트는 딥러닝 분석에 따른 정확한 객체 검출 및 분류 정보가 수반되는 동적 객체 추적 이벤트, 트립 와이어 이벤트, 배회객체 감지 이벤트, 통행방향 위반 감지 이벤트, 무단 방치물 감지 이벤트, 무단 이동물체 감지 이벤트, 출입 카운팅 및 통계 이벤트, 군중 밀집상태 감지 이벤트, 특이행동 감지 이벤트 등이 예시될 수 있다.

다만, 이는 예시이므로, 감시 기준 및 객체 분류 설정에 따른 더욱 더 다양한 이벤트 감지가 가능할 수 있으며, 제1 감시 이벤트와 제2 감시 이벤트가 복합적으로 검출되어 신속한 복합 감시 서비스 제공에 이용될 수도 있다. 예를 들어, 지능형 보안 감시 장치(100)는, 제1 감시 이벤트 발생에 따른 초기 분석 정보를 중계 서버(400)를 통해 관제 서비스 서버(500) 또는 사용자 단말(200)로 우선 전송하고, 상기 제1 감시 이벤트와 연관된 일정 시간 범위 이내의 영상 정보의 딥러닝 분석 결과에 따라, 상기 제1 감시 이벤트에 대한 상세 분석 정보로서 제2 감시 이벤트를 검출하여 상기 중계 서버(400)를 통해 관제 서비스 서버(500) 또는 사용자 단말(200)로 제2 감시 이벤트 정보를 제공할 수 있다.

이에 따라, 지능형 보안 감시 장치(100)는 제1 감시 이벤트에 따른 기본적 감시 서비스 처리를 신속하게 처리할 수 있을 뿐만 아니라, 지능형 보안 감시 장치(100)에서 초기 분석 처리된 데이터에 대한 분산 데이터의 딥러닝 분석 처리만을 별도의 전문화된 딥러닝 분산 처리 장치(300)로 요청하여 처리하므로, 보다 정확한 객체 분류가 가능하여야만 제공되는 제2 감시 이벤트의 발생여부 또한 데이터의 분산 처리에 따라 신속하게 검출할 수 있게 된다.

이를 위해, 지능형 보안 감시 장치(100)는 제2 이벤트 검출 처리를 위해 딥러닝 분석이 필요한 영상 정보에 대응하는 분산 데이터를 구성하고, 딥러닝 분산 처리 장치(300)로 딥러닝 분석 처리 요청을 전송할 수 있다.

보다 구체적으로, 지능형 보안 감시 장치(100)는, 수집된 영상 정보 상에서 제1 이벤트를 검출 가능한 초기 분석 정보를 처리하고, 상기 초기 분석 정보로부터 상기 영상 정보에 대응하는 객체를 추적하기 위한 추적 데이터를 획득할 수 있다.

예를 들어, 상기 초기 분석 처리는, 영상 안정화 처리, 배경 모델링 처리, 형태 연산 처리, 요소 연결 처리 및 객체 추적 처리 중 적어도 하나를 포함할 수 있으며, 상기 추적 데이터는 예를 들어 영상 정보로부터 전경화소가 분리 필터링되고, 연결 성분이 라벨링되어 시각 변환 처리된 객체 추적 데이터를 포함할 수 있다.

지능형 보안 감시 장치(100)는 상기 추적 데이터 및 상기 영상 정보에 기초하여, 딥러닝 분산 처리 요청 데이터를 생성하고, 상기 딥러닝 분산 처리 요청 데이터를 딥러닝 분산 처리 장치로 전송할 수 있다.

딥러닝 분산 처리 장치(300)는, 네트워크를 통해 연결되어 엣지 컴퓨팅을 수행하는 하나 또는 그 이상의 장치들로 구성될 수 있으며, 상기 딥러닝 분산 처리 요청 데이터에 따라, 상기 추적 데이터 및 상기 영상 정보의 딥러닝 분석을 처리할 수 있으며, 딥러닝 분석 결과 정보를 지능형 보안 감시 장치(100)로 전달할 수 있다. 보다 구체적으로, 딥러닝 분석 결과 정보에는 상기 추적된 객체에 대응하는 객체 검출 정보 및 객체 분류 정보를 포함할 수 있다.

이러한 객체 검출 정보 및 객체 분류 정보는, 예를 들어 사전 누적 학습된 영상 정보로부터 특정 방향으로 움직이거나 동작하는 등의 패턴에 따라 식별되는 동적 객체 정보가 예시될 수 있으며, 지능형 보안 감시 장치(100)는 상기 객체 검출 정보 및 상기 객체 분류 정보와, 상기 추적 데이터에 기초하여, 상기 영상 정보에 대응하는 제2 감시 이벤트를 검출할 수 있다.

한편, 딥러닝 분산 처리 장치(300)는, 지능형 보안 감시 장치(100)로부터 수신되는 딥러닝 분산 처리 요청 데이터에 따른 딥러닝 영상 분석을 처리하고, 그 결과 정보를 지능형 보안 감시 장치(100)로 전달할 수 있으며, 나아가 딥러닝 영상 분석 정보는 중계 서버(400)로도 전송될 수 있다.

딥러닝 분산 처리 장치(300)는, 딥러닝 분산 처리 요청 데이터에 기초하여, 일반적으로 기존의 보안 시스템이 저조도의 환경에서 동작하여 센서의 센싱 신호를 통해 감시 대상의 감지시 생성된 동영상에 대한 영상 분석 과정에서 객체가 검출된 경우에도 객체의 식별이 어려워 감시 대상 객체가 아닌 객체에 대한 이벤트를 생성하여 보고하거나 센서를 통해 감시 대상이 감지된 경우에도 영상에서 낮은 조도로 인해 객체가 식별되지 않아 감시 대상의 감지에 따른 보고가 누락되는 경우와 같은 오보율이 증가하는 문제점을 개선하기 위한 딥러닝 분석을 처리할 수 있다.

딥러닝 분산 처리 장치(300)는, 딥 러닝을 통해 감시 대상 지역의 환경 특성(환경 조건)에서 나타나는 감시 대상 객체의 특징을 지속적으로 학습하여 감시 대상 객체에 대한 식별 정확도를 높이는 동시에 감시 대상 객체가 식별된 이미지의 영상 특징을 지속적으로 학습하여 객체 식별이 용이한 최적의 이미지를 판단하고 이를 통해 감시 대상 객체가 정확하게 식별되는 이미지를 선별하여 제공함으로써 감시 대상 객체를 다른 객체와 정확히 구분하여 식별되도록 지원하여 오보율을 낮추는 동시에 감시 대상의 감지시 보고가 누락되는 경우를 방지하도록 하는 딥러닝 분석 결과 정보를 획득하고, 지능형 보안 감시 장치(100) 또는 중계 서버(400)로 분석 결과 정보를 제공할 수 있다.

여기서, 상기 중계 서버(400)는 각지에 설치되는 지능형 보안 감시 장치(100)들로부터 영상 감시 분석 데이터를 수집하여 저장 및 관리하고, 딥러닝 분산 처리 장치(300)로부터 수신되는 딥러닝 영상 분석 결과와 상기 영상 감시 분석 데이터를 사용자 단말(200) 및 관제 서비스 서버(500)로 중계하는 서버일 수 있다.

이러한 중계 서버(400)는 상기 지능형 보안 감시 장치(100)의 이벤트 검출 데이터가 수신된 경우, 상기 이벤트 검출 데이터에 대응하는 딥러닝 영상 분석 정보를 색인하여 상기 지능형 보안 감시 장치(100)에 대응하여 사전 등록된 사용자 단말(200)로 상기 이벤트 검출 데이터에 대응하는 딥러닝 영상 분석 정보를 전송하는 서버일 수 있다.

또한, 상기 이벤트 검출 데이터 및 딥러닝 영상 분석 정보는 관제 서비스 서버(500) 및 능동형 상담 서버(600)로 전달될 수 있으며, 관제 서비스 서버(500)는 상기 이벤트 검출 데이터 및 딥러닝 영상 분석 정보에 기초한 사고 발생 신고, 화재 발생 신고, 사용자 알림, 감시 장치 제어, 실시간 모니터링 등의 다양한 관제 서비스 처리를 수행하고, 서비스 수행 정보를 사용자 단말(200)로 전송할 수 있고, 능동형 상담 서버(600)는 상기 이벤트 검출 데이터 및 딥러닝 영상 분석 정보에 기초한 감시 장비의 감시정보를 획득하고, 감시 장비의 감시정보를 상기 사전 구축된 학습 데이터에 적용한 결과 데이터로부터 능동형 보안관제 상담 안내 콘텐츠를 생성하여 사용자 단말(200)로 제공할 수 있다.

여기서, 본 발명의 실시 예에 따른 상기 능동형 보안관제 상담 안내 콘텐츠는, 설정에 따라 사용자 단말(200)로 바로 제공되거나, 능동형 상담 서버(600)를 운용하는 상담원 등의 관리자 장치로도 제공될 수 있다. 예를 들어, 신규 상담원 등의 사용자가 능동형 상담 서버(600)를 운용할 수 있으며, 지능형 보안 감시 장치(100)의 상담 이벤트에 대한 적절한 해결방안 상담 안내가 이루어질 수 있도록, 상기 가공된 능동형 보안관제 상담 안내 콘텐츠를 활용한 상담 안내를 처리할 수도 있다.

이에 따라, 상기 가공된 능동형 보안관제 상담 안내 콘텐츠는, 학습 데이터에 따른 적절한 해결방안을 도출하는 근거 데이터로도 활용될 수 있으며, 따라서 사용자 단말(200)의 별도 요청 없이도 선제적으로 제공되는 콘텐츠일 수 있을 뿐만 아니라, 능동형 상담 서버(600)를 통한 사용자 단말(200)로의 상담 안내 서비스가 개시된 이후에 상담원에게 참조되는 기초 데이터로도 활용될 수 있다.

도 2는 본 발명의 실시 예에 따른 지능형 감시 장치 및 딥러닝 분산 서버의 구성 및 연결관계를 보다 구체적으로 도시한 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 지능형 보안 감시 장치(100)는, 영상 정보 수집부(110), 배경 모델링부(120), 형태 연산 처리부(130), 요소 연결 처리부(140), 객체 추적부(150), 3차원 시점 변환부(160), 객체 분류 처리부(170), 이벤트 검출부(180), 분산 데이터 처리부(190) 및 감시 서비스 처리부(185)를 포함할 수 있으며, 분산 데이터 처리부(190)는 딥러닝 분산 처리 장치(300)와 연결될 수 있다.

그리고, 딥러닝 분산 처리 장치(300)는 딥러닝 기반 영상 정보 분석부(310), 객체 검출부(320), 객체 분류 처리부(330)를 포함할 수 있다.

먼저, 영상 정보 수집부(110)는, 카메라 장치를 제외한 하나 이상의 감시 장비(103, 105, 107...)로부터 수신되는 보안 감시 영역 센싱 정보와 카메라 장치(101)로부터 수신되는 보안 감시 영역 촬영 영상 데이터를 수집하고, 영상 데이터에 카메라의 촬영영상 내 프레임의 흔들림이 존재하는 경우, 흔들림 보정에 따른 영상 정보의 안정화를 처리할 수 있다. 여기서, 안정화 처리는 카메라로부터 촬영된 영상을 블록으로 분할하여 특징점을 추출하고, 특징점의 움직임벡터 산출을 통해 영상의 흔들림을 보정하여 안정된 영상을 획득하는 처리가 예시될 수 있다.

그리고, 배경 모델링부(120)는 안정화 처리된 영상 정보에 대응하는 배경 영역을 모델링 처리할 수 있다. 카메라 장치(600)는 복수 개 구비될 수 있으며, 배경 모델링부(120)는 각 카메라 장치(600)에서 촬영된 영상 영역별로 영상의 배경을 모델링할 수 있다. 배경 모델링부(120)는 배경 모델링에 따라, 전경에 대응하는 객체를 식별하고, 추적될 수 있도록 하는 배경 영역 데이터를 연산할 수 있다.

이러한 배경 모델링부(120)는 복잡한 환경에서 객체를 정확히 검출할 수 있도록, 잘 알려진 가우시안 혼합 모델(Gaussian Mixutre Model)을 기반으로 하는 배경 확률 모델을 영상 데이터로부터 생성할 수 있다. 이는 조명의 변화, 배경에 첨가되거나 제거되는 객체, 흔들리는 나뭇가지나 분수 등의 움직임을 가지는 배경, 통행량이 많은 영역 등의 많은 변수를 반영하여 배경 영역 데이터로 생성할 수 있도록 한다.

보다 구체적으로 배경 모델링부(120)는 카메라 장치(600)의 영상 정보로부터 연속적 영상 프레임이 입력되면, 배경 감산 처리를 통해 시간 t에 대한 통계학적 확률에 따른 픽셀당 배경 모델을 구성할 수 있다. 배경 모델링부(120)는 현재 프레임의 영상 정보에서 가우시안 혼합 모델에 따라 구성된 배경 정보를 차감하고, 상기 배경 정보를 픽셀당 배경 모델에 누적 업데이트 하는 방식으로 이루어지는 MOG(Mixtrue of Guassians) 방식에 따라 배경 감산 처리를 수행할 수 있다.

배경 모델링부(120)의 배경 감산 처리에 따라, 배경이 차감된 영상 정보에는 전경 픽셀 정보가 남게 되는 바, 이를 블롭(blob) 이미지라고 할 수 있으며, 블롭 이미지는 전경 픽셀에 대응하는 이진 맵 데이터라고도 할 수 있다.

형태 연산 처리부(130)는, 배경 모델링부(120)에서의 배경 모델링에 따라 차감 출력되는 전경 픽셀 정보의 이진 맵 데이터로부터, 형태 영역 정보를 결정하는 형태 연산 처리를 수행할 수 있다. 형태 영역 정보는 복수의 픽셀들을 하나 이상의 형태 구조 요소로 그룹핑하는 그룹핑 정보일 수 있다.

예를 들어, 형태 연산 처리부(130)는 하나 이상의 형태론적 연산 필터들을 상기 전경 픽셀 정보의 이진 맵 데이터에 적용함에 따라 상기 형태 영역 정보를 결정할 수 있다. 여기서 하나 이상의 형태론적 연산 필터는 이진 침식(erosion) 연산 필터 및 이진 팽창(dilation) 연산 필터를 포함할 수 있는 바, 각 필터들은 이진 맵 데이터 내 밝은 영역의 크기를 사전 결정된 형태 구조 요소의 크기 정보에 비례하여 확장하거나 축소시키는 연산 처리를 수행할 수 있다. 팽창 연산 필터 적용시 형태 구조 요소보다 작은 어두운 영역이 제거되고, 반대로 침식 연산 필터 적용시 형태 구조 요소보다 작은 밝은 영역들이 제거될 수 있으며, 동시에, 제거되지 않는 큰 영역들의 크기도 줄거나 커지게 형성될 수 있다.

그리고, 사전 특정된 크기의 객체 검출을 위해, 형태 연산 처리부(130)는 이진 개방 필터 및 폐쇄 필터를 이용하여, 상기 형태 구조 요소보다 큰 영역의 크기는 그대로 유지한 채, 작은 영역들만 제거시키는 처리를 수행할 수도 있다.

그리고, 요소 연결 처리부(140)는, 형태 연산 처리부(130)에서 특정된 형태 구조 요소에 대응하는 영상 정보를 획득하고, 각 형태 구조 요소들을 연결 처리하여 독립적인 객체 연결 영역들로 분류하며, 분류된 객체 연결 영역에 대응하는 고유의 라벨 값들을 할당하는 연결 성분 라벨링 처리를 수행할 수 있다. 이러한 연결 성분 라벨링 처리는 특히 이진 맵 데이터에서 효과적으로 이용될 수 있다.

요소 연결 처리부(140)는 분류된 객체 연결 영역들을 고유의 라벨 값으로 구분하고, 각 객체 영역의 크기, 위치, 방향, 둘레와 같은 영역의 특징값들을 결정하여 출력할 수 있다. 요소 연결 처리부(140)는 순환적 알고리즘 또는 순차적 알고리즘을 적용하여, 연결 성분 라벨링 처리를 수행하고, 객체 연결 영역들을 분류할 수 있다.

예를 들어, 순차적 알고리즘은 각 전경 화소의 픽셀 데이터에 대해 그 화소의 상담 화소와 왼쪽 화소의 라벨을 검색하여 현재 화소의 라벨을 결정하는 알고리즘일 수 있다. 상기 상담 화소와 상기 왼쪽 화소를 포함하는 이웃 화소들은 라벨링 과정에서 이미 처리된 화소일 수 있다.

여기서, 요소 연결 처리부(140)는 이웃 화소들이 모두 전경 화소가 아닌 경우에는 현재 화소에 새로운 라벨값을 할당할 수 있다. 그리고, 요소 연결 처리부(140)는 두 이웃 화소 중 하나의 화소만 전경 화소인 경우에는 그 화소의 라벨값을 현재 화소에 할당할 수 있다. 그리고, 요소 연결 처리부(140)는, 두 이웃 화소가 모두 전경 화소이면서 같은 라벨값을 갖는 경우에는 동일한 라벨값을 현재 화소에 할당할 수 있다.

그러나, 두 화소가 전경 화소지만 서로 다른 라벨값을 갖는 경우에는 이 두 영역은 현재 화소에 의해 서로 연결되는 영역이므로 동일한 라벨값으로 병합되어야 한다. 따라서 요소 연결 처리부(140)는 두 화소의 라벨값 중 더 작은 값을 현재화소의 라벨값으로 할당하고, 두 라벨은 동치 테이블에 동치 라벨로 등록할 수 있다. 이러한 첫 번째 라벨링 과정의 수행이 종료되면 동치 테이블에는 동일한 영역으로 병합되어야 하는 라벨에 대한 정보가 저장될 수 있다. 요소 연결 처리부(140)는, 이 동치 테이블을 이용하여 두 번째 라벨링 과정에서 각 객체 연결 영역의 모든 화소에 동일한 라벨을 할당할 수 있다.

이에 따라, 요소 연결 처리부(140)는 전경 픽셀 데이터를 포함하는 블롭(blob) 이미지 데이터와 함께 연결 성분 라벨링 처리에 따른 객체 연결 영역 정보를 출력할 수 있는 바, 객체 연결 영역 정보는 각 객체 연결 영역에 대응하는 특성 정보(위치 정보, 크기 정보, 방향 정보, 둘레 정보 등)를 포함할 수 있다.

그리고, 객체 추적부(150)는 블롭(blob) 이미지 데이터 및 객체 연결 영역 정보에 기초하여, 영상 정보 내 객체 정보를 추적하기 위한 추적 데이터를 획득할 수 있다. 추적 데이터는 영상 내에서 발견 및 추적된 객체의 리스트 정보를 포함할 수 있다. 보다 구체적으로, 객체 추적부(150)는 시간 t에서의 블롭 이미지와 t-1에서의 블롭 이미지를 누적 매칭시켜, 객체 연결 영역에 대응하는 객체를 식별 처리하고, 리스트에 산입할 수 있는 바, 칼만 필터 방식으로 추적 처리하는 것이 예시될 수 있다. 칼만 필터는 시간에 따라 진행한 측정을 기반으로 입력 데이터를 재귀적으로 누적시켜 선형 역학계의 상태를 검출하는 필터이다.

이에 따라, 객체 추적부(150)는 영상 정보 내 식별되는 객체 추적 데이터를 출력할 수 있다. 객체 추적 데이터는 객체의 리스트 정보와 함께, 식별된 각 객체의 크기 정보 및 이동 속도 정보를 포함할 수 있다.

그리고, 시점 변환부(160)는 전술한 객체 추적 데이터 내 각 객체의 크기 정보 및 이동 속도 정보를 카메라 장치별 3차원 시점 조건에 따른 실제적 수치로 변환 처리한다. 즉 객체 추적부(150)의 추적 데이터는 객체의 크기와 속도 정보를 갖고 있으나 픽셀간의 상대적 값이므로, 시점 변환부(160)는 이미지의 픽셀 좌표를 실제 현실 공간상의 좌표로 변환처리할 수 있는 바, 캘리브레이션을 통해 미리 지정된 화각, 높이 등의 카메라 특성 정보를 이용한 변환 처리가 수행될 수 있다.

이에 따라, 시점 변환부(160)는 객체 추적 데이터 내 리스트된 객체들의 크기 정보 및 속도 정보를 변환하여 실제 현실 공간상의 크기 정보 및 속도 정보로 변환 처리할 수 있다.

한편, 객체 분류 처리부(170)는, 사전 설정된 분류 기준에 기초하여, 상기 객체 추적 데이터에서 식별된 객체에 분류 정보를 할당하는 처리를 수행할 수 있다. 다만, 분류 기준 자체를 설정하거나, 분류 기준에 대응하는지 여부를 정확히 판단하는 프로세스는, 로컬 감시 네트워크에 설치되는 지능형 보안 감시 장치(100)보다는 별도의 딥러닝 분산 처리 장치(300)에서 처리되는 것이 보다 효율적일 수 있다.

즉, 외부의 다양한 영상 정보의 누적 학습을 통해 저조도의 환경 등에서도 객체를 정확히 분류 검출할 수 있도록 하기 위하여 객체 분류 처리부(170)는 분산 데이터 처리부(190)를 통해 객체 분류 처리를 위한 상기 추적 데이터 및 영상 정보를 포함하는 딥러닝 분석 처리 요청을 딥러닝 분산 처리 장치(300)로 전달하고, 딥러닝 분산 처리 장치(300)로부터 분석 결과 정보를 수신하며, 수신된 분석 결과 정보를 이용한 객체 분류 처리를 수행할 수 있다.

분산 데이터 처리부(190)는, 시점 변환부(160)를 통해 획득되는 초기 분석에 따른 상기 추적 데이터 및 상기 영상 정보에 기초하여, 딥러닝 분산 처리 요청 데이터를 생성하고, 상기 딥러닝 분산 처리 요청 데이터를 딥러닝 분산 처리 장치로 전송 처리할 수 있으며, 상기 딥러닝 분산 처리 장치(300)로부터 수신되는 딥러닝 기반 영상 정보 분석 결과를 수신하여, 객체 분류 처리부(170)로 전달할 수 있다.

딥러닝 분산 처리 장치(300)는, 딥 러닝 방식에 따라 사전 학습된 영상 정보로부터 신경망 데이터를 구축하는 딥러닝 기반 영상 정보 분석부(310), 상기 신경망 데이터를 이용하여 상기 분산 처리 요청 데이터에 대응하는 객체 정보를 검출하는 객체 검출부(320) 및 검출된 객체 정보의 분류 정보를 결정하는 객체 분류 처리부(330)를 포함할 수 있다.

딥러닝 기반 영상 정보 분석부(310)는 예를 들어, DNN(Deep Neural Network) 기반의 딥 러닝 알고리즘에 따른 신경 회로망이 설정되고, 해당 신경 회로망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있다. 여기서, 상기 딥 러닝 알고리즘은 DNN 이외의 다른 신경망이 적용될 수도 있으며, 일례로, CNN(Convolution Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이 적용될 수 있다.

여기서, 상기 딥러닝 분산 처리 장치(300)의 딥러닝 기반 영상 정보 분석부(310)는, 딥 러닝 기반의 신경 회로망을 통해 상기 영상 정보로부터 획득되는 하나 이상의 정상 이미지를 분석하여 감시 대상 객체를 식별하고, 감시 대상 객체가 식별된 정상 이미지를 저장할 수 있다.

보다 구체적으로, 예를 들어, 딥러닝 기반 영상 정보 분석부(310)는, 학습 영상 정보로부터 획득되는 하나 이상의 특정 이미지에서 감시 대상 객체를 식별할 수 있으며, 상기 감시 대상 객체가 아닌 특정 객체가 식별된 경우 상기 특정 이미지와 하나 이상의 상기 정상 이미지 사이의 유사도를 산출하며, 상기 유사도가 미리 설정된 기준치 이상인 경우, 상기 특정 이미지에 대하여 상기 신경 회로망을 기반으로 영상 처리된 출력값과 객체 정보 사이의 오차에 대한 오차 정보를 생성하고, 미리 설정된 역전파 알고리즘(back propagation algorithm)을 통해 상기 오차 정보를 기반으로 상기 신경 회로망을 구성하는 파라미터를 조정할 수 있다.

여기서 이미지 사이의 유사도 비교 방식으로는 히스토그램 매칭(Histogram

matching)이나, 상기 이미지에서 식별된 객체에 지정된 템플릿 매칭(Template matching) 또는 상기 이미지에서 상기 신경 회로망을 통해 추출된 특징점 비교 등을 이용하여 유사도를 비교하는 것이 예시될 수 있다.

그리고, 상기 딥러닝 기반 영상 정보 분석부(310)는 상기 오차 정보를 기초로 상기 역전파 알고리즘을 통해 상기 신경 회로망을 구성하는 입력층, 하나 이상의 은닉층 및 출력층 사이의 연결 강도에 대한 가중치(weight) 또는 상기 입력층, 은닉층 및 출력층에 구성된 유닛의 바이어스(bias)를 가변하여 상기 감시 대상 객체에 대한 식별 오류가 최소화되도록 학습처리할 수 있다.

또한, 딥러닝 기반 영상 정보 분석부(310)는 상기 신경회로망을 통해 지능형 보안 감시 장치(100) 또는 다른 다양한 영상 장치로부터 지속적으로 수신된 이미지를 반복 학습하여 상기 객체정보를 갱신할 수 있으며, 이를 통해 상기 감시 대상 지역의 환경 변화(환경 조건 변화(일례로, 조도, 장애물))에 따라 상기 이미지에 나타나는 객체 특징 변화에 적응하여 상기 이미지에서 상기 객체 정보에 포함된 객체 특징별 파라미터에 대응되는 객체를 정확하게 식별할 수 있다.

그리고, 객체 검출부(320)는, 상기 학습된 신경망(또는 신경회로망) 데이터에 기초하여 딥러닝 분산 처리 요청 데이터로부터 획득되는 추적 데이터 및 영상 정보로부터 식별된 하나 이상의 객체를 검출할 수 있고, 객체 분류 처리부(330)는, 객체별로 이미지상 위치별 크기, 색상 분포, 외곽선 등에 대한 다양한 객체 특징별 파라미터를 포함하는 객체 분류 정보를 생성할 수 있으며, 생성된 객체 분류 정보를 지능형 보안 감시 장치(100)의 분산 데이터 처리부(190)로 전송할 수 있다.

딥러닝 분산 처리 장치(300)는 별도의 사용자 입력부 또는 통신부를 포함할 수 있으며, 딥러닝 분산 처리 장치(300)는 상기 사용자 입력부를 통한 사용자 입력 관련 제어정보나, 상기 통신부를 통해 외부로부터 수신된 제어정보를 기초로 상기 객체 분류 처리부(330)에 의해 분류된 하나 이상의 객체 중 어느 하나를 감시 대상 객체로 설정할 수 있으며, 이에 대한 설정정보를 저장할 수 있다.

이러한 처리를 통해, 지능형 보안 감시 장치(100)는, 딥러닝 분산 처리 장치(300)에서 제공되는 분산 데이터의 분석 처리를 통해, 고성능 딥러닝 연산의 처리결과만을 수신하여 신속하게 이벤트 검출부(180)로 전달할 수 있는 바, 지능형 보안 감시 장치(100) 자체의 신속한 데이터 처리와 함께 복잡한 딥러닝 분석이 필요한 데이터만 별도의 데이터 가공을 통해 분산 처리함으로써, 지능형 보안 감시 장치(100)에 고성능 분석장비를 탑재하지 않고도 딥러닝 영상 분석의 장점과 데이터 처리의 신속성을 확보할 수 있다.

이러한 분산 데이터 처리는 지능형 보안 감시 장치(100)와 딥러닝 분산 처리 장치(300)를 연동한 엣지(edge) 컴퓨팅 방식으로 처리될 수 있는 바, 딥러닝 분산 처리 장치(300)는 분산 데이터 처리부(190)와의 데이터 처리 지연 시간을 최소화하기 위한 최소한의 데이터만을 수집 및 분석 처리함으로써, 빠른 서비스 처리를 제공할 수 있는 엣지 장치일 수 있으며, 이를 제공할 수 있는 분산된 개방형 아키텍쳐로 구축될 수 있다.

또한, 딥러닝 기반 영상 분석은 감시 대상 객체에 대한 반복 학습을 통한 감시 대상 객체의 식별에 대한 정확도를 높일 수 있을 뿐만 아니라 감시 대상 지역의 환경 특성이 반영된 동영상 또는 이미지에서 나타나는 감시 대상 객체의 특징 변화를 학습하고, 이를 기초로 보안 시스템의 운용 특성상 일반적으로 저조도 환경에서 운용되는 카메라를 통해 촬영된 감시 대상을 정확하게 식별할 수 있도록 감시 대상지역에서 나타나는 감시 대상 객체의 특징에 맞추어 딥 러닝 알고리즘을 최적화하여 객체 식별 정확도를 높일수 있으며, 이를 통해 감시 대상 객체 이외의 객체를 정확하게 구분하여 감시 대상이 아닌 객체를 감시 대상으로 오판하여 오보가 발생하지 않도록 지원할 수 있다.

그리고, 이벤트 검출부(180)는 수집된 센서 정보와, 상기 영상 정보의 추적 데이터 및 분산 데이터 처리부(190)로부터 객체 분류 처리부(170)를 통해 전달된 상기 객체 분류 정보 중 적어도 하나에 따라 획득되는 하나 이상의 이벤트를 검출하고, 검출된 이벤트 정보는 감시 서비스 처리부(185)로 전달될 수 있다. 감시 서비스 처리부(185)는, 각 이벤트 정보에 따라 사전 결정된 감시 서비스 프로세스를 수행할 수 있으며, 상기 감시 서비스 프로세스는 본 발명의 실시 예에 따른 능동형 상담 서버(600)로의 상담 이벤트 전송 프로세스를 포함할 수 있다.

예를 들어, 본 발명의 실시 예에 따른 이벤트 검출부(180)는 딥러닝 분산 처리 장치(300)에 의해, 영상 내 움직이는 객체들을 특정 행동을 하는 사람, 특정 형태의 차량 등으로 보다 정확하게 분류할 수 있게 됨에 따라, 보다 다양한 형태의 이벤트 검출을 수행할 수 있고, 감시 서비스 처리부(185)는 각 이벤트 검출에 적합한 사용자 단말(200)로의 알림 서비스 또는 중계 서버(400)로의 전송 서비스 처리, 관제요청 서비스 처리, 능동형 상담 서버(600)로의 상담 이벤트 전송 처리 등을 수행할 수 있다.

이에 따라, 이벤트 검출부(180)는 추적 데이터 및 객체 분류 정보로부터 영상 정보 내 동적 객체 추적(Dynamic Object Tracking)을 수행하고, 동적 객체 추적 정보에 따라 하나 이상의 이벤트를 검출 또는 감지하는 검출부 또는 감지부를 포함할 수 있다.

즉 이벤트 검출부(180)는, 객체 추적부(150)의 추적 데이터와 분산 데이터 처리부(190)로부터 수신된 딥러닝 기반 객체 분류 정보를 매핑하고, 이를 이용하여 카메라 가시영역(Filed of View) 내에서 움직이는 모든 객체를 개별적으로 추적함으로써 트립 와이어 또는 관심영역(Area of Interest) 통과순간을 파악할 수 있으며, 나아가 객체별 이동 궤도(Trajectory)를 분석해 매장에서의 고객 흐름 분석 등에 이용되는 감지 또는 통계 정보를 출력할 수도 있다.

보다 구체적으로, 이벤트 검출부(180)는 트립 와이어 검출부를 포함할 수 있다. 트립 와이어 검출부는 가상의 경계선을 설정하고, 상기 동적 객체 추적을 통해 외곽경계(Perimeter Detection)를 위한 침입감지(Intrusion Detection)나 특정 영역내 침입감지를 처리할 수 있다.

트립 와이어 검출부는 상기 경계선을 통과(침입)하는 객체 카운팅(Object Counting)도 처리할 수 있는 바, 트립 와이어를 기준으로 지면상에서 통과하는 객체(사람, 차량 또는 기타 물체)가 있을 때 감지하되, 그 움직임의 방향(양방향 또는 단방향) 추적을 통해 제1 방향에서 제2 방향으로 이동하다가 트립 와이어를 통과(침입)했는지를 확인하여, 이벤트 발생여부를 결정할 수 있다.

그리고, 이벤트 검출부(180)는 침입 감지부를 포함할 수 있다. 침입 감지부는, 상기 트립 와이어 검출부를 이용하여 경계선 기반의 침입을 감지하거나, 사전 설정된 관심 영역에 대응하는 객체 움직임이 검출된 경우, 침입을 감지하는 등의 관심영역 기반 침입 감지 처리를 수행할 수 있다. 경계 울타리(Perimeter), 바다 또는 해안, 공중(하늘), 출입구 등은 트립 와이어 방식이 바람직하며, 건물 내에서는 관심영역을 사용해 침입 감지를 하는 것이 바람직할 수 있다. 또한, 칩임 감지부는 트립 와이어와 관심영역 기반 침입 감지 처리를 동시에 수행할 수도 있다.

또한, 이벤트 검출부(180)는, 배회객체 감지부를 포함할 수 있다. 배회객체 감지부는, 사람 또는 차량과 같은 배회객체를 감지(Loitering)하여 배회객체 이벤트 정보를 획득하고, 배회객체 이벤트 정보를 감시 서비스 처리부(185)로 전달할 수 있다.

예를 들어, 배회객체 감지부는 주요 보안시설, 보안 경계지역, 고가품 보관시설 등을 관찰할 때 이용될 수 있다. 이벤트 검출부(180)는 배회객체 감지부를 통해, 외부인 또는 외부차량 등의 객체가 출입제한지역 주변을 일정 시간 이상 배회하고 있지 여부를 감지하고, 일정 시간 이상 배회하는 객체를 배회객체로 감지할 수 있다. 배회하는 사람이나 차량은 사고를 발생시킬 수 있는 가능성이 있으므로 집중 감시대상이 되며, 이를 통해 사고를 미연에 방지할 수 있다.

한편, 이벤트 검출부(180)는 통행방향 위반 감지부를 포함할 수 있다. 통행방향 위반(Wrong Directions) 감지부는 공항과 같은 통행 방향 준수 지역에서의 통행 위반 객체를 감지할 수 있다. 이벤트 검출부(180)는 통행 방향 위반 객체를 검출할 수 있으며, 이러한 통행 방향 위반 객체 검출부는 들어오는 방향과 나가는 방향이 서로 다르게 지정되어 있는 극장, 공연장에 대하여도 동작할 수 있다. 차량에 대해 적용할 경우 통행 방향 위반 객체 검출부는 역주행 감지 등을 처리하여 역주행 차량 객체를 통행 방향 위반 객체로서 검출할 수 있다.

그리고, 이벤트 검출부(180)는 무단 방치물 감지부를 포함할 수 있다. 무단 방치물(Unattended Object)부는 사전 서정된 관심영역 내에 누군가에 의해 방치된 객체(짐꾸러미, 가방, 카트 등)가 등장한 후 지정 시간이 초과한 이후에도 계속 정지된 상태로 존재하는 무단 방치물을 감지하고, 감지된 무단 방치물 객체 정보를 감시 서비스 처리부(185)로 전달할 수 있다. 이는 특히 공항, 터미널, 역사 플랫폼, 주요 행사장 등에 테러를 위해 폭발물을 임의 방치하는 것을 사전에 감지해 예방할 수 있게 한다.

또한, 이벤트 검출부(180)는, 무단 이동물체 감지부를 포함할 수 있다. 무단 이동물체 감지부는 박물관, 전시회, 고가품 디스플레이, 공항, 매장, 창고 등 도난이 자주 발생하는 곳에서 사전 지정해 놓은 물체들이 영상 객체에서 사라져 버린 경우, 이를 감지하여 획득된 이벤트 정보를 감시 서비스 처리부(185)로 전달할 수 있다.

그리고, 이벤트 검출부(180)는 출입 카운팅 및 통계부를 포함할 수 있다. 출입 카운팅(Object Counting) 및 통계부는 백화점, 쇼핑센터 등 매장, 박물관, 전시회, 극장 등 공공시설물의 입장객수와 퇴장객수 통계정보를 획득하여 감시 서비스 처리부(185)로 전달할 수 있다. 감시 서비스 처리부(185)는, 실시간 카운팅과 함께 시간대별 출입자 통계 정보를 사용자 단말(200) 또는 중계 서버(400)를 통해 관제 서비스 장치(500)로 제공할 수 있는 바, 사용자는 통계 정보를 경영상 고객관리, 매장배치관리에 필요한 기본적인 정보로 활용할 수 있다. 또한, 사용자 단말(200)에서는 상기 출입자 통계 정보에 기초하여 획득된 입장 고객수 대비 매출액을 비교하는 통계 정보를 출력할 수도 있다. 나아가, 출입 카운팅 및 통계부는 특정 도로 상에서 차선별 통행 차량수를 자동산출하는 처리를 수행할 수도 있으며, 감시 서비스 처리부(185)는 시간대별 통행 차량수 통계자료등을 사용자 단말(200) 또는 중계 서버(400)나 관제 서비스 서버(500) 및 능동형 상담 서버(600)로 제공할 수도 있다.

한편, 이벤트 검출부(180)는 군중 밀집상태 감지부를 포함할 수 있다. 군중 밀집상태(Crowd Density) 감지부는, 사전 설정된 관심영역 내에서 지정한 군중 밀집규모보다 초과되는 군중(Overcrowd) 규모로 발전하는 이벤트를 감지할 수 있다.

이를 위해, 이벤트 검출부(180)는 객체 추적 데이터 및 분류 정보로부터 실시간으로 현재의 밀집상태를 확인할 수 있으며, 밀집상태에 대응하는 이벤트 정보를 감시 서비스 처리부(185)로 전달할 수 있다. 감시 서비스 처리부(185)는 이벤트 정보에 기초한 밀집상태 정보를 사용자 단말(200) 또는 중계 서버(400)나 관제 서비스 서버(500) 및 능동형 상담 서버(600)로 전송할 수 있다. 예를 들어, 관리자는 밀집상태 정보를 확인하고, 매장, 공항, 극장 등에서는 군중이 초과 밀집상태로 커질 경우 출입문 또는 계산대를 추가로 개방할 것인지를 결정할 수 있고, 시위, 집회가 잦은 장소에서는 방어요원을 추가로 배치할 것인지 결정할 수 있다. 군중 밀집상태 카운팅은 일정 시간에 관심영역 내에서 분류된 모든 사람을 카운팅하는 방식이 이용될 수 있다.

그리고, 이벤트 검출부(180)는 특이 행동 감지부를 포함할 수 있다. 특이 행동(Suspicious Behavior) 감지부는 예를 들어, 미끄러지거나 걸려서 넘어진 사람, 싸우고 있는 사람, 달리는 사람 등 특이 행동을 하는 사람을 감지할 수 있다.

이러한 특이 행동 감지를 위해, 이벤트 검출부(180)는 딥러닝 분산 처리 장치(300)의 딥러닝 분석 정보와 객체 분류 정보를 활용할 수 있는 바, 딥러닝 분산 처리 장치(300)는 영상 정보의 신경망 학습을 통해, 미끄러지거나 쓰러짐 감지(Slip & Fall), 싸우는 사람 감지(Fighting), 달리는 사람 감지(Running) 등의 특정 행동에 대한 분류 처리가 가능할 수 있다.

특히, 이벤트 검출부(180)는 미끄러지거나 걸려 넘어진 사람 감지를 통해 이벤트 발생을 처리하고, 감시 서비스 처리부(185)로 전달할 수 있는 바 이는 실버타운이나 요양원에서 고령자 모니터링에 효과적으로 이용될 수 있다. 또한, 감시 서비스 처리부(185)는 도움을 줄 수 있는 사람이 즉시 오지 않는다면 고령자는 넘어진 후 생명이 위험할 수 있으므로 이에 대응하는 사용자 단말(200) 또는 관제 서비스 서버(500)로의 알림 요청 정보 또는 관제 요청 정보를 전송하거나, 능동형 상담 서버(600)를 통해 가공된 상담 안내 콘텐츠가 사용자 단말(200)로 제공되도록 처리할 수 있다.

한편, 이벤트 검출부(180)는 카메라 무단 변경 감지부를 포함할 수 있다. 카메라 무단 변경(Camera Tampering) 감지부는, 제3자에 의한 카메라 케이블 단락, 렌즈 무단 조작에 의한 초점 흐려짐, 손이나 타물체로 카메라 렌즈를 가리는 경우, 또는 렌즈를 다른 방향으로 임의로 돌려 버리는 경우 등의 카메라 무단 변경을 감지할 수 있으며, 딥러닝 분산 처리 장치(300)는 카메라 무단 변경 감지를 위한 특정 상황별 영상 학습을 사전 처리하여 신경망 데이터로 구축할 수 있다.

도 3은 본 발명의 실시 예에 따른 능동형 상담 서버(600)를 보다 구체적으로 도시한 블록도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 능동형 상담 서버(600)는, 감시 장비의 감시정보 수집부(610), 일반 상담 안내 정보 수집부(620), 보안 관제 상담 대응 학습 데이터 구축부(630), 능동형 보안관제 상담 서비스 처리부(640) 및 사용자 응답 처리부(650)를 포함하며, 상담 데이터베이스(660)가 연결되거나 별도 데이터베이스로서 구축되어 있을 수 있다.

감시 장비의 감시정보 수집부(610)는, 지능형 보안 감시 장치(100)로부터 하나 이상의 감시 장비(101, 103, 105, 107)에 대응하는 상태 정보를 포함하는 감시 장비의 감시정보를 수집하여 저장 및 관리한다. 예를 들어, 감시 장비의 감시정보는 각 감시 장비의 상태 정보를 포함할 수 있으며, 전술한 바와 같이 지능형 보안 감시 장치(100)의 이벤트 검출부(180)에서 검출된 이벤트 정보에 대응될 수 있다.

예를 들어 감시 장비의 감시정보는 카메라 장치(101)의 비디오 로스(단선) 상태 정보, 출입 리더기(103)의 단선/복구 상태 정보, 지능형 보안 감시 장치(100)의 침입감지/나타남/사라짐/들어옴/나감/멈춤/배회 등의 엣지 컴퓨팅을 이용한 딥러닝 분석 기반 지능형 이벤트 정보, 비상벨 장치(105)의 단선/복구 정보, 지능형 보안 감시 장치(100)의 저장장치 이상 정보, 경계 센서(107)의 경계/해제 정보 중 적어도 하나를 포함할 수 있으며, 이러한 감시 장비의 감시정보는 실시간으로 모니터링 및 관리 될 수 있다.

그리고, 일반 상담 안내 정보 수집부(620)는, 감시 장비의 감시정보에 대응하여, 상담원, 사용자 요청 또는 알람 발생 등에 의해 사용자들에게 기 제공된 일반 상담 안내 정보를 수집할 수 있다. 여기서, 일반 상담 안내 정보는, 상기 감시 장비의 감시정보에 대응하여 기 제공된 음성 상담 안내 정보의 자연어 처리된 음성인식 정보 또는 기 제공된 텍스트 상담 안내 정보를 상기 일반 상담 안내 정보를 포함할 수 있으며, 상담 데이터베이스(660)는 이러한 상담 안내 정보를 누적 저장 및 관리하는 데이터베이스일 수 있다.

보다 구체적으로, 일반 상담 안내 정보 수집부(620)는 상담 데이터베이스(660)에 저장된 기 안내된 상담 안내 정보를 분류 또는 분석하여, 보안 관제 서비스 및 감시 장비의 감시정보와 연관된 문제 해결 정보를 획득할 수 있다. 효율적인 분류 분석을 위해, 상담 데이터베이스(660)는 상기 기 제공된 음성 상담 안내 정보 또는 텍스트 상담 안내 정보에 대응하여 문제상황 식별 정보를 할당하고, 상기 문제상황 식별 정보에 대응하는 관리자 입력에 따른 문제 해결여부 정보를 누적 저장 및 관리하는 데이터베이스일 수 있다.

예를 들어, 일반 상담 안내 정보 수집부(620)는, 상담 데이터베이스(660)로부터, 문제 상황별로 사전 수행된 상담원의 상담 안내 음성 정보를 텍스트로 변환 인식하거나, 텍스트 방식의 상담 안내 정보를 획득하고, 텍스트의 자연어 분석 처리를 통해 획득되는 일반 상담 안내 정보를 추출하여, 문제 해결여부 정보와 함께 사전 분류 및 저장할 수 있다. 또한, 일반 상담 안내 정보 수집부(620)는 사전 분류 및 저장에 있어서 상기 문제 상황에 대응하는 감시 장비의 감시정보를 매핑 저장할 수 있다.

그리고, 보안 관제 상담 대응 학습 데이터 구축부(630)는, 감시 장비의 감시정보 수집부(610)와 일반 상담 안내 정보 수집부(620)에서 수집 분류된 정보에 기초하여, 문제상황이 해결된 케이스의 제1 감시 장비의 감시정보 및 제1 일반 상담 안내 정보를 식별하고, 식별된 제1 감시 장비의 감시정보 및 제1 일반 상담 안내 정보를 긍정 케이스로 매핑 분류 처리한다. 매핑 분류 처리된 케이스 정보는 상담 데이터베이스(660)에 저장될 수 있다.

여기서, 보안 관제 상담 대응 학습 데이터 구축부(630)는, 매핑 분류처리 정보를 학습 데이터로서 구축하기 위한 하나 이상의 분류 정보를 상기 긍정 케이스의 매핑 분류 처리된 케이스 정보에 부가될 수 있다. 예를 들어, 상담 유형 정보, 상담 분류 정보, 문제 해결 여부 정보, 감시 장비 상태 상세 정보, 사용자 응답 정보, 사용자 평가정보 중 적어도 하나의 분류 정보가 상기 매핑 분류 처리된 케이스 정보에 부가될 수 있다.

그리고, 보안 관제 상담 대응 학습 데이터 구축부(630)는, 매핑 분류 처리된 케이스 정보를 기반으로 하는 가중치를 적용하여, 상기 수집된 감시 장비의 감시정보 및 일반 상담 안내 정보에 기초한 보안 관제 상담 대응 학습 데이터를 구축할 수 있다.

여기서, 본 발명의 실시 예에 따른 보안 관제 상담 대응 학습 데이터는, 기계학습 방식에 의해 다양한 케이스에 대응하여, 상기 긍정 케이스와 유사한 적절한 상담 안내 콘텐츠가 가공되도록 하는 학습 데이터로 구축될 수 있다.

이에 따라, 본 발명의 실시 예에 따른 능동형 보안 관제 상담 서비스 처리부(640)는, 지능형 보안 감시 장치(100)로부터 수신되는 감시 장비의 감시정보를 포함하는 상담 이벤트 정보가 수신되면, 상기 학습 데이터를 이용하여, 상기 상담 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 가공하며, 상기 가공된 능동형 보안관제 상담 안내 콘텐츠를 사용자 단말(200)로 제공할 수 있다.

보다 구체적으로, 예를 들어, 본 발명의 실시 예에 따른 능동형 보안관제 상담 서비스 처리부(640)는, 지능형 보안 감시 장치(100)로부터 수신된 감시 장비의 감시정보를 학습 데이터에 적용한 결과, 사전 설정된 심야 일정 시간 이후에 내부 사무실에 아무 움직임이 인식되지 않는 카메라 장치(101)의 감시 장비 상태에서, 경계 센서 장치(107)의 경계 설정 상태 없이 출입 리더기 장치(103)의 상태가 퇴근으로 확인된 경우, 상기 학습 데이터에 기초한 경계 센서 장치(107)의 경계 설정 입력 정보 수신 후 원격 처리 안내 정보를 포함하는 능동형 보안관제 상담 안내 콘텐츠를 가공하여, 사용자 단말(200)로 전송할 수 있다.

또한, 예를 들어, 본 발명의 실시 예에 따른 능동형 보안관제 상담 서비스 처리부(640)는, 지능형 보안 감시 장치(100)로부터 수신된 감시 장비의 감시정보를 학습 데이터에 적용한 결과, 카메라 장치(101)에서 사전 설정된 오전 일정 시간 이후에 침입 이벤트가 검출되고, 경계 센서 장치(107)의 경계 설정이 확인된 경우, 상기 학습 데이터에 기초한 경계 센서 장치(107)의 경계 해제 설정 입력 정보 수신 후 원격 처리 안내 정보를 포함하는 능동형 보안관제 상담 안내 콘텐츠를 가공하여, 사용자 단말(200)로 전송할 수 있다.

그리고, 예를 들어, 본 발명의 실시 예에 따른 능동형 보안관제 상담 서비스 처리부(640)는, 지능형 보안 감시 장치(100)로부터 수신된 감시 장비의 감시정보를 학습 데이터에 적용한 결과, 경계 센서 장치(107)의 지속적인 경계 또는 해제 신호가 일정 시간 동안 일정 횟수 이상 반복적으로 발생된 경우, 상기 학습 데이터에 기초한 경계 감시 장치(107)의 신규 비밀번호 설정 방법 안내 콘텐츠를 가공하여, 사용자 단말(200)로 전송할 수 있다. 이 경우, 사용자는 경계 설정/해제 비밀번호를 잊어버렸을 가능성이 있는 바, 기존 학습된 해결 방식 중 긍정 해결 방식으로 분류된 상담 안내 케이스의 응답 내용이 상기 신규 비밀번호 설정 방법 안내 콘텐츠인 경우에 해당할 수 있다.

또한, 예를 들어, 본 발명의 실시 예에 따른 능동형 보안관제 상담 서비스 처리부(640)는, 지능형 보안 감시 장치(100)로부터 수신된 감시 장비의 감시정보를 학습 데이터에 적용한 결과, 모든 감시 장비(101, 103, 105, 107)들의 단선이 확인된 경우, 네트워크 또는 전원 복구시의 주의사항 안태 콘텐츠를 포함하는 상담 안내 콘텐츠를 사용자 단말(200)로 전송할 수 있다. 통상적으로 모든 감시장비의 단선은 네트워크 또는 전원 오류가 발생된 경우 일어날 수 있으며, 상담 서비스 처리부(640)의 관리자는 이러한 사항에 대하여 별도의 사전 정보 없이도, 상기한 바와 같은 적절한 안내 콘텐츠가 가공되어 사용자 단말(200)로 제공될 수 있도록 한다.

전술한 바와 같이, 상기 가공된 능동형 보안관제 상담 안내 콘텐츠는, 학습 데이터에 따른 적절한 해결방안을 도출하는 근거 데이터로도 활용될 수 있다. 이에 따라, 상담 서비스 처리부(640)는, 사용자 단말(200)의 별도 요청 없이도 선제적으로 상기 능동형 상담 안내 콘텐츠를 제공할 수도 있으며, 능동형 상담 서버(600)를 통한 사용자 단말(200)로의 상담 안내 서비스가 개시된 이후에 상담원 단말(미도시)로도 상기 상담 안내 콘텐츠를 제공하여, 상담원이 상담 안내 기초 데이터로 참조하도록 할 수도 있다.

한편, 사용자 응답 처리부(650)는, 상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 사용자 응답 요청 메시지를 상기 사용자 단말로 제공한 경우, 사용자 단말(200)로부터 수신된 사용자 응답 정보를 수신 처리한다. 사용자 응답 처리부(650)는, 사용자 응답 정보에 대응하는 관제 서비스 처리 요청을 관제 서비스 서버(500)로 전달하고, 관제 서비스 서버(500)는 지능형 보안 감시 장치(100)로 관제 제어 신호를 전달하여 문제 상황이 해결되도록 한다.

그리고, 사용자 응답 처리부(650)는, 상기 사용자 응답 요청 메시지에 대응하는 사용자 응답이 일정 시간 수신되지 않는 경우, 사전 설정된 별도 단말 또는 관제 센터 서버로 상기 능동형 보안관제 상담 안내 콘텐츠 및 상기 사용자 단말(200)의 응답 미수신 정보를 전달 공유할 수 있다. 이는, 긴급 상황 등 일정 등급 이상의 문제 상황이 확인된 경우 예외적으로 수행될 수 있다.

그리고, 사용자 응답 처리부(650)는, 상기 능동형 보안관제 상담 안내 콘텐츠를 전달 공유함에 있어서, 상기 능동형 보안관제 상담 안내 콘텐츠에 포함된 개인 정보가 존재하는 경우, 이를 마스킹 처리하여 전달 공유할 수 있다. 마스킹 처리는 예를 들어, 영상에서 개인정보를 나타내는 식별번호나, 특정 개인을 식별가능한 얼굴 객체 또는 신체 객체에 대응하여 블러 또는 블록 마스킹 처리를 수행하는 영상 마스킹 처리 프로세스가 예시될 수 있다.

도 4는 본 발명의 실시 예에 따른 능동형 상담 서버의 동작을 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 능동형 상담 서버(600)는, 먼저 하나 이상의 지능형 보안 감시 장치(100)의 감시 장비의 감시정보를 수집한다(S10).

여기서, 수집되는 감시 장비의 감시정보는 학습 데이터를 구축하기 위한 것으로, 감시 장비의 각 상태 정보 및 이벤트 정보를 포함할 수 있다.

그리고, 능동형 상담 서버(600)는 상담 데이터베이스(660)로부터 일반 상담 안내 정보를 수집한다(S11).

전술한 바와 같이, 일반 상담 안내 정보는 음성 또는 텍스트 데이터로부터 자연어 처리를 통해 추출되는 상담 안내 정보를 포함할 수 있으며, 사전 설정된 분류 정보 및 감시 장비의 감시정보 등의 부가 정보에 따라 매핑 분류 처리될 수 있다.

이후, 능동형 상담 서버(600)는 문제상황이 해결된 케이스의 제1 감시 장비의 감시정보 및 제1 일반 상담 안내 정보를 긍정 케이스로 매핑 분류 처리하며(S13), 인공지능 기반의 기계학습 프로세스에 있어서, 상기 매핑 분류 정보를 기반으로 하는 가중치를 적용하여, 감시 장비의 감시정보 및 일반 상담 안내 정보에 기초한 보안 관제 상담 대응 학습 데이터를 구축한다(S15).

그리고, 능동형 상담 서버(600)는 지능형 보안 감시 장치(100)의 상담 이벤트 정보의 모니터링에 따라, 상기 구축된 학습 데이터 기반의 능동형 보안관제 상담 안내 콘텐츠를 가공한다(S17).

이후, 능동형 상담 서버(600)는 능동형 보안 관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스를 사용자 단말(200)로 제공한다(S19).

여기서, 능동형 보안 관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스는, 능동형 보안 관제 상담 안내 콘텐츠 기반의 선제적 관제 제어 처리 및 사후 알림 서비스, 능동형 보안 관제 상담 안내 콘텐츠 기반의 사용자 질의 요청 서비스, 능동형 보안 관제 상담 안내 콘텐츠 기반의 상담원 연결 서비스 등의 다양한 서비스가 예시될 수 있는 바, 능동형 상담 서버(600)의 서비스 처리에 따른 음성 안내 메시지, 챗봇 안내 메시지, 문자 안내 메시지 등이 사용자 단말(200)로 제공될 수 있다.

또한, 본 발명의 실시 예에 다른 능동형 보안 관제 상담 안내 콘텐츠는 상담 데이터베이스 분석 및 지능형 보안 감시 장치의 이벤트 정보 기반의 기계 학습 데이터에 기초하므로, 새로운 감시 장비나 특수한 문제 상황이 발생되더라도, 단순한 장비 문제가 아닌 복합적인 요인 분석에 따른 다양한 해결방안 등이 참조되어 적절한 상담 안내 콘텐츠가 가공될 수 있는 바, 보다 효율적이고 유용한 상담 안내 서비스가 제공될 수 있다.

한편, 능동형 상담 서버(600)는 사용자 질의 요청 서비스에 대응하는 사용자 응답이 일정 시간 이상 수신되지 않는 경우, 사전 설정된 단말 또는 외부 관제 센터로 개인 정보 마스킹된 능동형 보안관제 상담 안내 콘텐츠를 전달할 수 있다(S21).

도 4는 본 발명의 실시 예에 따른 전체 시스템 동작을 설명하기 위한 래더 다이어그램이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(200)은 지능형 보안 감시 장치(100) 및 능동형 보안관제 서비스 시스템(1000)에 사전 사용자 등록 처리를 수행한다(S101).

사용자 등록 처리는, 예를 들어 지능형 보안 감시 장치(100)를 사용하는 관리자로서의 사용자 정보 및 휴대폰 정보 등록 처리 등이 예시될 수 있으며, 사용자 단말(200)은 지능형 보안 감시 장치(100)의 처리 정보 및 능동형 보안관제 서비스 시스템(1000)의 서비스 처리 정보를 수신하여 출력하거나, 사용자 단말(200)의 입력 정보를 지능형 보안 감시 장치(100) 또는 능동형 보안관제 서비스 시스템(1000)으로 전달하기 위한 입출력 장치로서, 컴퓨터, 스마트폰, 태블릿 PC, 네비게이션 등의 다양한 전자장치가 예시될 수 있다.

그리고, 지능형 보안 감시 장치(100)는 하나 이상의 감시 장비의 감시정보를 수집하여 능동형 보안관제 서비스 시스템(1000)로 전달하며(S103), 영상 정보는 안정화 처리한다(S105).

여기서 지능형 보안 감시 장치(100)는 감시 장비의 감시정보 및 영상 정보에 따른 초기 분석을 처리할 수 있다. 지능형 보안 감시 장치(100)는 안정화 처리된 영상 정보의 배경 모델링 처리에 따라 배경 이미지가 차감된 전경 이진 데이터의 형태 요소 영역을 검출하는 형태 연산 처리를 수행할 수 있으며, 형태 요소 영역들을 객체 연결 영역으로 연결하여 라벨링하는 요소 연결 처리를 수행할 수 있고, 객체 연결 영역들에 대응하는 객체 리스트를 구성하는 객체 추적 처리를 수행할 수 있다.

그리고, 지능형 보안 감시 장치(100)는 초기 분석에 따라 획득된 영상 정보 내 객체 리스트를 포함하는 객체 추적 정보와, 상기 영상 정보를 딥러닝 분산 처리 요청 데이터로 가공하여, 딥러닝 분산 처리 장치(300)로 전달한다(S107).

이후, 딥러닝 분산 처리 장치(300)에서는 딥러닝 분산 처리 요청 데이터의 객체 추적 정보 및 영상 정보를 사전 구축된 신경망 데이터에 적용하여, 딥러닝 분석 기반의 객체 검출 처리를 수행하고(S109), 검출된 객체의 패턴 등을 식별하여 분류 처리를 수행한다(S111).

그리고, 딥러닝 분산 처리 장치(300)는 딥러닝 기반 분석에 따른 객체 검출 정보 및 분류 정보를 지능형 보안 감시 장치(100)로 응답 처리한다(S113).

여기서, 상기 객체 검출 정보 및 분류 정보는 전술한 이벤트 검출부(180)에서의 이벤트 검출에 이용되는 정보를 포함할 수 있으며, 예를 들어 트립 와이어를 통과하는 객체의 종류 및 패턴, 침입 감지한 객체의 종류 및 패턴, 배회객체의 종류 및 패턴, 통행방향위반 객체의 종류 및 패턴, 무단 방치물의 종류 및 패턴, 무단 이동물체의 종류 및 패턴, 출입 카운팅 및 통계 산출에 이용된 객체의 종류 및 패턴, 군중 밀집상태 감지의 근거가 되는 객체의 종류 및 패턴, 특이행동에 대응하는 객체의 종류 및 행동 패턴, 카메라 무단 변경 감지를 나타내는 객체의 종류 및 패턴 등의 다양한 검출 정보 및 분류 패턴 정보를 포함할 수 있다.

상기 감시 장비의 감시정보와, 상기 객체 검출 정보 및 분류 정보 및 객체 추적 정보에 기초하여, 지능형 보안 감시 장치(100)는 이벤트 검출을 판단한다(S115).

이벤트가 검출된 경우, 지능형 보안 감시 장치(100)는 딥러닝 분산 처리 장치(300) 및 능동형 보안관제 서비스 시스템(1000)으로 이벤트 검출 데이터를 전달하며(S117), 딥러닝 분산 처리 장치(300)는 영상 분석 정보를 능동형 보안관제 서비스 시스템(1000)으로 전달하여 사전 저장 및 관리 처리할 수 있는 바(S119), 이는 능동형 보안관제 서비스 시스템(1000)의 문제 상황 해결을 위한 상담 안내 콘텐츠 가공에 이용될 수 있다.

또한, 여기서 지능형 보안 감시 장치(100)는 이벤트 발생시 사용자 단말(200)로 이벤트 알림 메시지를 전송하거나, 또는 중계 서버(400)로 이벤트 검출 데이터를 전달할 수도 있으나, 이는 능동형 보안관제 서비스 시스템(1000)의 상담 안내 콘텐츠 가공 처리와는 별도로 수행될 수 있다.

그리고, 능동형 보안관제 서비스 시스템(1000)은 상기 감시 장비의 감시정보 및 이벤트 정보에 기초하여, 문제 상황 해결을 위한 능동형 보안 관제 상담 안내 콘텐츠를 가공한다(S121).

또한, 능동형 보안관제 서비스 시스템(1000)은 능동형 보안 관제 상담 안내 콘텐츠에 따른 서비스 처리를 수행하는 바, 먼저 선제 제어 처리 정보가 존재하는 경우 지능형 보안 감시 장치(100)로 상기 선제 제어 처리 정보를 전달한다(S123).

그리고, 능동형 보안관제 서비스 시스템(1000)는 상기 능동형 보안 관제 상담 안내 콘텐츠에 따라, 선제 제어 처리 이후 또는 상담원 연결시 제공되는 상담 안내 콘텐츠를 가공하여, 사용자 단말(200)로 제공한다(S125).

이에 따라, 사용자 단말(200)에서는 상담 안내 메시지를 포함하는 상담 알림 인터페이스와 함께, 학습 데이터 분석에 기초하여 적절하게 자연어 처리된 능동형 상담 안내 콘텐츠가 출력될 수 있다(S125).

이러한 능동형 상담 안내 콘텐츠는, 감시 장비의 감시정보, 이벤트 검출 정보와, 딥러닝 기반의 해당 이벤트 분석 정보를 더 포함할 수 있고, 이에 대응하는 적절한 해결방안 정보가 상기 인터페이스를 통해 텍스트, 이미지 또는 영상 콘텐츠로 제공될 수 있는 바, 상기 인터페이스는 챗봇, 음성 안내 또는 상담원 연결 인터페이스를 포함할 수 있다.

이에 따라, 사용자는 안내에 따른 따른 경계, 해제, 경보 등의 적절한 지능형 보안 감시 장치(100)의 처리 정보를 입력할 수 있으며(S129), 입력된 처리 정보는 지능형 보안 감시 장치(100) 또는 중계 서버(400)를 통해 능동형 보안관제 서비스 시스템(1000)으로 전달될 수 있다(S131, S133).

그리고, 능동형 보안관제 서비스 시스템(1000)은, 사용자 입력 정보에 따른 처리를 수행하고(S135), 처리 결과 정보를 지능형 보안 감시 장치(100) 및 사용자 단말(200)로 전달한다(S137, S139).

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (6)

1. 능동형 보안 관제 서비스 제공 장치의 동작 방법으로서,
   지능형 보안 감시 장치의 이벤트 정보를 획득하는 단계;
   감시 이벤트별로 대응되는 일반 상담 안내 데이터의 연관성에 기초하여 기계학습을 통해 미리 구축해둔 보안 관제 상담 학습 데이터를 이용하여, 상기 획득된 이벤트 정보에 대응하는 능동형 보안관제 상담 안내 콘텐츠를 가공하는 단계; 및
   상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스를 사용자 단말로 제공하는 단계를 포함하는
   능동형 보안관제 서비스 제공 장치의 동작 방법.
2. 제1항에 있어서,
   상기 능동형 보안 관제 상담 안내 콘텐츠를 이용한 상담 안내 서비스는,
   능동형 보안 관제 상담 안내 콘텐츠 기반의 선제적 관제 제어 처리 및 사후 알림 서비스, 능동형 보안 관제 상담 안내 콘텐츠 기반의 사용자 질의 요청 서비스, 능동형 보안 관제 상담 안내 콘텐츠 기반의 상담원 연결 서비스 중 적어도 하나를 포함하는
   능동형 보안관제 서비스 제공 장치의 동작 방법.
3. 제1항에 있어서,
   상기 가공된 능동형 보안관제 상담 안내 콘텐츠는,
   학습 데이터에 따른 적절한 해결방안을 도출하는 근거 데이터로도 활용되어 사용자 단말의 별도 요청 없이도 선제적으로 상기 능동형 상담 안내 콘텐츠를 제공하며, 사용자 단말로의 상담 안내 서비스가 개시된 이후에 상담원 단말로도 상기 상담 안내 콘텐츠를 제공하여, 상담원이 상담 안내 기초 데이터로 참조할 수 있도록 하는
   능동형 보안관제 서비스 제공 장치의 동작 방법.
4. 제1항에 있어서,
   상기 보안 관제 상담 대응 학습 데이터는,
   감시 영상 정보를 분석하여 이벤트를 검출하는 지능형 보안 감시 장치로부터, 감시 장비의 감시정보를 수집하는 단계;
   상담 데이터베이스로부터 상기 감시 장비의 감시정보에 대응하는 일반 상담 안내 정보를 수집하는 단계; 및
   상기 상담 데이터베이스로부터 획득되는 문제 상황의 해결 여부 정보에 기초하여, 상기 일반 상담 안내 정보 및 상기 감시 장비의 감시정보간 긍정 연관성을 나타내는 매핑 분류 정보를 생성하고, 상기 매핑 분류 정보를 이용한 상기 상담 데이터베이스의 기계학습 처리를 수행하여, 보안 관제 상담 대응 학습 데이터를 구축하는 단계;를 수행하여 구축되는
   능동형 보안관제 서비스 제공 장치의 동작 방법.
5. 제1항에 있어서,
   상기 제공하는 단계는,
   상기 능동형 보안관제 상담 안내 콘텐츠를 이용한 사용자 응답 요청 메시지를 상기 사용자 단말로 제공하는 단계; 및
   사용자 단말로부터 수신된 사용자 응답 정보를 수신하여, 사용자 응답 정보에 대응하는 관제 서비스 처리 요청을 처리하여 상기 지능형 보안 감시 장치로 관제 제어 신호를 전달하여 문제 상황이 해결되도록 하는
   능동형 보안관제 서비스 제공 장치의 동작 방법.
6. 제5항에 있어서,
   상기 사용자 응답 요청 메시지에 대응하는 사용자 응답이 일정 시간 수신되지 않는 경우, 사전 설정된 단말 또는 관제 센터 서버로 상기 능동형 보안관제 상담 안내 콘텐츠 및 상기 사용자 단말의 응답 미수신 정보를 전달 공유하는 단계를 더 포함하는
   능동형 보안관제 서비스 제공 장치의 동작 방법.

Images