KR102356666B1 - 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치 - Google Patents

Abstract

본 발명은 다양한 영상정보를 획득할 수 있는 공공인프라의 영상감시장비, 개인휴대단말, 각종 IoT센서 등의 이종데이터소스로부터 데이터를 수집·누적하여 로그데이터로 저장하여, 관심대상의 시간의 변화에 따른 실시간 위험 요소 추출, 위험 감지 및 예측, 그리고 이에 대한 대응 수행을 목적으로 한다. 본 발명의 한 특징에 따른 시스템은, 다양한 형태의 CCTV, 개인휴대단말, IoT센서, 기존에 구축되어 운영되는 데이터 수집플랫폼 등을 포함하는 이종데이터소스 인프라; 이종데이터소스 인프라로부터 네트워크를 통해 수신한 데이터를 기반으로 위험상황 인지 및 상황 대응을 위한 이종데이터소스로부터의 대용량 데이터 기반 공공안전 및 상황대응 플랫폼 역할을 하는 통합관제센터; 위험발생 가능성이 높은 지역의 관제 화면을 우선순위를 높게 하여 관제하기 위한 관제모니터 화면; 위험 발생시 빠른 대응을 위한 관계부처 시스템; 관심대상을 보호하기 위한 보호 관찰자 사용자 단말로 구성된다.

Description

다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치 {Method and apparatus for risk detection, prediction, and its correspondence for public safety based on multiple complex information}

본 발명은 공공안전 서비스 제공에 관한 것으로, 좀더 구체적으로는, 공공안전을 위한 개인, 사물, 그리고 장소에서 위험상황을 감지/예측하고 이에 대해 신속하게 대응할 수 있도록 하는 기술에 관한 것이다.

증가하는 범죄로부터의 불안감을 해소하고 범죄를 예방하기 위해 방범용 CCTV를 지자체는 물론 민간 개개인들까지 많이 설치하여 운영하고 있다. 경찰청이 발간한 2016년 치안전망에 따르면, 올해 방범용 CCTV는 전국에 약 3,000여개가 증설될 것이고 지능형 CCTV 개발을 위한 예산과 기술발전이 급속히 증대할 것이라 전망했다(행정자치부가 지난 2015년 5월 조사한 자료에 따르면, 지자체 CCTV는 총 12만 5608대이며 이 중 72%인 9만 411대가 방범용 CCTV이다). 또한 'CCTV 구축 가이드라인', '안전 재난 관련 국내표준', '장비 및 솔루션의 시험·인증' 등 CCTV 운영 및 관리에 관한 제도를 정착시키고 안전산업화가 빠른 속도로 진행될 것으로 전망된다. CCTV 이외에 개인휴대단말을 이용하여 현재 관심대상자의 위치 추적을 확인하기 위해서 GPS와 같은 위치 추적 기법을 이용하여 안전보호 서비스 개념이 제공되고 있다.

현재 대부분의 지능형 통합관제시스템은 사람의 행동패턴 인식, 차량번호의 자동 감지 및 추적 등 컴퓨터 비전기술을 통합관제에 활용한 수배 차량 검거나, 노약자에 발생할 수 있는 위험행동(학교 울타리 침입, 배회, 불법 주/정차)등이 CCTV에 감지되면 관제모니터에 위험 경보를 알리고, 통합관제센터에 24시간 상주하고 있는 경찰관이나 관련기관이 대응할 수 있도록 하고 있다. 하지만, 현재의 지능형 통합관제는 관심대상을 지속적으로 보호 관찰해 주기 보다는 임의 장소에서 발생한 특정 사건에 대해서 위험 발생 여부를 확인할 수 있기 때문에 적극적인 위험 대응과는 거리가 있다.

현재 공공안전을 위한 대표적인 기술로 지능형 영상 분석 시스템이 있다. 이는 영상 데이터 분석을 통해 상황 인지 역량을 강화하고 교통, 방범 등 각 분야별 사고에 신속하게 대응하는 것은 물론 위험 상황에 선제적으로 대응하여 사고를 예방할 것을 목적으로 한다. 즉, 사람의 개입을 최소화 하도록 CCTV 등을 통해 들어오는 영상을 사람이 모니터링하는 것이 아니라 시스템이 자동으로 이상 상황의 발생을 판단할 수 있도록 하는 것이다. 예를 들어, CCTV 영상을 통해 감지된 것을 이해하는 능력, 영상 속 객체의 움직이는 행위의 의미와 연속적으로 움직이는 객체 추적, 그리고 동일한 장소에서 영상의 변화에 따른 위험 발생 여부 파악 등이 해당될 수 있다.

하지만 국내의 경우 지능형 영상 분석 시스템의 대부분이 아직은 초기 단계에 있으며, 정확한 위험 감지가 어려워 오보 발생률이 높아 실제 업무에서 활용률은 아주 낮은 실정이다. 즉, 부정확한 시스템에 대한 낮은 신뢰도로 인해 인력의 개입을 배제하지 못하는 상황이 발생하고 있다.

이러한 현재 지능형 CCTV의 한계를 극복하고 연속적으로 관심대상을 따라다니며 위험 상황을 단순히 모니터링 하는 것을 넘어, 대용량 데이터를 효과적으로 관리하여 지능정보 기반의 사전 위험 감지 및 대응 개념의 고차원적 공공안전 보호 서비스 제공이 필요하다.

본 발명은 다양한 영상정보를 획득할 수 있는 공공인프라의 영상감시장비, 개인휴대단말, 각종 IoT센서 등의 이종데이터소스로부터 데이터를 수집·누적하여 로그데이터로 저장하여, 관심대상의 시간의 변화에 따른 실시간 위험 요소 추출, 위험 감지 및 예측, 그리고 이에 대한 대응 수행을 목적으로 한다. 이를 위해 본 발명은 위험 감지에 따라 관심대상을 위험으로부터 보호하기 위해서 고속으로 위험상황에 대응하기 위해 위험 종류별 대응 시나리오를 제공하고 위험종류, 위험도를 고려하여 실시간 대응 처리 및 지능적 관제를 통해 공공안전을 제공하기 위한 방법 및 장치를 제공한다.

상기 목적을 달성하기 위해서, 본 발명은 이종데이터소스로부터 다양한 데이터를 수집, 기록하여 누적 기록된 로그데이터를 기반으로 위험 평가 모델에 따라 분류, 저장하고 위험을 관리하기 위한 메타데이터 구조를 정의한다.

또한, 위험감지 및 예측을 위한 분석의 정확성을 보장하기 위하여 수집된 데이터에 대하여 각종 노이즈를 제거하고, 의미 없는 데이터를 제거하는 과정을 통해 데이터 저장기간을 증가시킴에 따라 관제인프라 투자비용을 절감시키고, 관심대상의 시간의 변화 및 이동에 따른 위험 상황을 이해하기 위한 딥러닝 기반 분석, 그리고 다양한 데이터에서 연관정보를 획득하기 위한 특징 및 의미 기반 검색, 공공인프라 및 개인휴대단말 등을 이용하여 선제적으로 관심대상을 위험으로부터 보호할 수 있는 기술을 제시한다.

본 발명은 공공안전을 위한 관심대상에 대한 정보 수집 매체를 CCTV 이외에, 개인휴대단말, 공공 개방형 데이터를 제공하는 시스템으로 확장하여 공공장소에 설치된 CCTV 영상, 개인 휴대단말에서 전송할 수 있는 영상, 음성, 데이터(GPS신호, 비콘신호, 기지국과의 통신 신호 및 사용자가 입력하는 데이터 등) 및 공공안전을 위한 개방된 공공 데이터(사고, 공사, 도로상황 정보 등 안전정보)를 대상으로 한다. 이러한 다양한 이종데이터를 입력 소스로 활용하여 관심대상이 장소를 변경하여 움직임에 따라 예전에 발생한 위험과 현재 벌어지고 있는 상황을 종합적으로 분석하여 관심대상에게 통보해 줄 수 있도록 한다.

본 발명의 한 특징에 따른 시스템은, 다양한 형태의 CCTV, 개인휴대단말, IoT센서, 기존에 구축되어 운영되는 데이터 수집플랫폼 등을 포함하는 이종데이터소스 인프라; 이종데이터소스 인프라로부터 네트워크를 통해 수신한 데이터를 기반으로 위험상황 인지 및 상황 대응을 위한 이종데이터소스로부터의 대용량 데이터 기반 공공안전 및 상황대응 플랫폼 역할을 하는 통합관제센터; 위험발생 가능성이 높은 지역의 관제 화면을 우선순위를 높게 하여 관제하기 위한 관제모니터 화면; 위험 발생시 빠른 대응을 위한 관계부처 시스템; 관심대상을 보호하기 위한 보호 관찰자 사용자 단말로 구성된다.

본 발명의 다른 특징에 따른 통합관제센터는 상기 시스템에 포함된 이종데이터소스의 대용량 데이터 기반 공공안전 및 상황대응 플랫폼 기능을 수행하는 것으로서, 이종데이터소스 인프라로부터의 데이터를 실시간 수집하는 수단; 수집되는 데이터가 영상인 경우, 관심대상만을 고유하게 그리고 관심대상을 정확히 식별하기 위해 영상 저조도, 안개 제거, 빛에 의한 굴절 또는 역광에 대한 왜곡의 처리를 수행하여 인식률을 높이는 과정을 수행하고, 수집되는 데이터가 텍스트나 오디오인 경우, 불필요한 데이터를 제거하는 과정을 거쳐 대용량 데이터분석을 수행하는 정제/전처리 및 분류 수단; 이렇게 수집되는 데이터로 위험 행동 메타데이터를 구축하되, 데이터가 사람인 경우에는 식별에 의한 범죄자 추출, 위험 행동이 포착된 경우에는 싸움, 배회, 또는 군집 내 이상행동 패턴 등의 위험 행동을 추출하여 위험 행동 메타데이터를 구축하는 수단, 또는, 수집되는 데이터가 자동차 또는 자전거와 같이 움직이는 사물인 경우에는 차량번호 식별, 이상행동 패턴 변화(예: 역주행, 고속 질주, 규정선 위반 등) 등을 추출하여 위험 행동 메타데이터를 객체의 특징, 시간, 장소 등에 따라 구축하는 수단; 이렇게 통합 구축된 메타데이터를 장소별 위험 분류 또는 앞으로의 위험 발생 가능성 등으로 시각화하여 제공하는 수단을 포함한다.

데이터소스 인프라로부터 수집되는 다양한 정보는, 단일 데이터를 통해 위험을 분석하기 어려운 경우에는 데이터 융합을 통하여 또는 딥러닝 기반의 멀티모달(multi-modal) 데이터 위험 분석을 통하여 위험 감지 및 예측의 정확도를 높일 수 있다.

본 발명의 또다른 특징에 따르면, 이종데이터소스의 데이터를 수집, 분류, 관심대상 고유 식별, 위험 감지하는 일련의 방법이 제공된다. 이 방법은, 이종데이터소스로부터 영상, 음성, 센서 데이터, 공공 데이터 등의 데이터를 수집하는 절차; 수집된 데이터소스를 통해 관심대상(객체)별 장소의 이동 및 시간의 변화에 따라 발생한 데이터를 추출하는 절차; 수집된 영상, 음성, 또는 센싱 데이터와 공공 데이터 등으로부터 위험 여부를 감지하는 절차; 위험감지 결과를 위험운영 DB에 위험 감지결과로 기록하여, 추후 해당장소에서 발생할 수 있는 위험을 예측하기 위한 분석용 데이터로 활용하는 절차; 위험 감지 과정에서 수행된 영상, 음성, 및 데이터에 대해 각각 추출된 메타데이터를 위험운영 DB에 저장하여 특징에 기반한 빠른 의미검색, 데이터 공유를 위한 교환 모델 제공, 및 위험 예측을 위한 데이터 분류항목 등의 지표로서 활용될 수 있도록 하는 절차를 포함한다.

이상 소개한 본 발명의 구성 및 작용은 이후에 도면을 통해 설명하는 구체적인 실시 사례를 통해 더욱 명확해질 것이다.

본 발명은 종래의 지능형 영상감시 기술의 높은 오탐률, 통합관제센터와의 호환성 부족 등의 문제점을 해결하기 위해 다양한 수집 데이터를 통합하고 메타데이터를 구축하여 위험정보를 용이하게 관리하며, 정확한 위험감지, 위험 예방, 그리고 상황대응을 위한 방법 및 장치로서, 위험이 발생한 경우에 한해 위험 상황을 판단하기 위해 사용된 기존 통계·확률적 기계학습법이 아닌, 이종데이터소스로부터 수집·누적된 다중로그를 활용하여 딥러닝에 기반하여 위험이 발생할 수 있는 상황을 예측할 수 있는 기술 확보가 가능하고, 이종데이터소스로부터 수집·누적된 다중로그의 메타데이터 구축을 통해 정보의 공유가 용이하고, 정확한 위험 감지·예측에 따른 신속한 대응 기술 확보가 가능한 장점이 있다.

본 발명에 따르면 하드웨어의 성능이 좋지 않은 저사양의 CCTV에서부터 최신 첨단 기술이 탑재된 지능형 CCTV에 이르기까지 동작 기능에 따라 PTZ 형태, 스피드돔 형태의 다양한 영상정보를 획득할 수 있는 공공인프라자원 뿐 아니라, 개인휴대단말을 이용해서 발생하는 영상, 음성, 및 데이터 정보를 소스 데이터로 활용하고, 이러한 데이터 속에서 유의미한 데이터를 추출하여 관심대상자의 이동경로에 따른 실시간 위험 요소를 인지하고 위험 발생 전 또는 후에 사용자(위험 상황을 직면한 자 또는 그를 모니터링 하고 싶은 보호자)에게 위험 가능성 및 상황대응을 위한 방법을 신속하게 알려줄 수 있도록 한다. 또한, 위험을 지능적으로 관제할 수 있도록 위험종류, 위험도를 고려하여 관제센터의 운용 요원에 의해서가 아니라 시스템이 자동으로 관제 모니터의 채널을 재배치할 수 있게 한다.

도 1: 이종데이터소스로부터 수집된 다중로그기반 위험 감지 및 상황대응 플랫폼 구조도
도 2: 이종데이터소스의 데이터 수집, 분류 및 관심대상 고유 식별 및 위험 감지 처리의 흐름도
도 3: 위험도에 따른 대용량 데이터의 선택적 유지 개념도
도 4: 로그데이터 관리 구조 설계안 - 위험관리를 위한 관심대상 고유번호별 로그 데이터 관리 구조도
도 5: 위험상황 메타데이터 구축을 위한 데이터 스키마 구조도
도 6: 데이터융합분석을 통한 딥러닝 기반 위험 예측을 위한 처리 과정 흐름도
도 7: 도 6에서 딥러닝을 어떻게 진행하는지에 대한 설명을 위한 시스템 구성도

본 발명을 실시하기 위한 구체적인 실시예의 시스템 구성은 도 1과 같이, 다양한 형태의 CCTV, 개인휴대단말, IoT센서, 기타 기존 구축되어 운영되는 데이터 수집플랫폼 등을 포함하는 이종데이터소스 인프라(101); 이종데이터소스 인프라(101)로부터 네트워크(106)를 통해 수신한 데이터를 기반으로 위험상황 인지 및 상황 대응을 위한 이종데이터소스로부터의 대용량 데이터 기반 공공안전 및 상황대응 플랫폼 역할을 하는 통합관제센터(102); 위험발생 가능성이 높은 지역의 관제 화면을 우선순위를 높게 하여 관제하기 위한 관제모니터 화면(103); 위험 발생시 빠른 대응을 위한 관계부처 시스템(104); 관심대상을 보호하기 위한 보호 관찰자 사용자 단말(105)로 구성된다.

이종데이터소스 인프라(101)의 저사양 CCTV에는 해상도가 낮고 자동 위험 요소 감지 기능이 탑재되어 있지 않은 CCTV, 고급 사양으로 분류된 위험을 감지하여 영상 및 분석결과 정보를 전송할 수 있는 CCTV, 단순히 영상을 취득하여 네트워크로 전송하는 IP기반 CCTV 등이 포함된다. 또한, CCTV뿐만 아니라 센서 및 네트워크 기능이 탑재된 스마트디바이스로부터 획득한 영상, 음성, 또는 데이터도 이종데이터소스 인프라(101)의 영역에 포함된다. 따라서, 스마트디바이스를 이용함에 따라 GPS, 비콘 신호 등과 같은 위치기반 정보와 CCTV를 연계하여 더 정밀하게 관심대상을 식별하고 관심대상의 움직임에 따라 이동 정보에 따른 영상, 음성, 데이터를 일관적으로 유지할 수 있다.

한편, 도 1의 시스템에서 이종데이터소스의 대용량 데이터 기반 공공안전 및 상황대응 플랫폼 역할을 하는 통합관제센터(102)에 대해서 구체적으로 설명하면, 먼저, 이종데이터소스 인프라(101)로부터의 데이터가 실시간 수집(102-1)되고, 수집되는 데이터가 영상인 경우, 관심대상만을 고유하게 그리고 관심대상을 정확히 식별하기 위해 영상 저조도, 안개 제거, 빛에 의한 굴절 또는 역광에 대한 왜곡의 처리를 수행하여 인식률을 높이는 과정을 수행하고, 수집되는 데이터가 텍스트나 오디오인 경우, 불필요한 데이터를 제거하는 과정을 거쳐 대용량 데이터분석을 위한 정제/전처리 및 분류 과정을 거친다(102-2). 수집되는 데이터는 수집 데이터 DB에 저장된다(102-4).

이렇게 수집되는 데이터로 위험 행동 메타데이터를 구축하는데, 사람인 경우에는 식별에 의한 범죄자 추출, 위험 행동이 포착된 경우에는 싸움, 배회, 또는 군집 내 이상행동 패턴 등의 위험 행동을 추출하는 등, 위험 행동 메타데이터를 구축하게 된다(102-6). 만약 수집되는 데이터가 자동차 또는 자전거와 같이 움직이는 사물인 경우에는 차량번호 식별, 이상행동 패턴 변화(예: 역주행, 고속 질주, 규정선 위반 등) 등을 추출하여 위험 행동 메타데이터를 객체의 특징, 시간, 장소 등에 따라 구축한다. 이외에, 이종데이터소스 인프라(101)로부터 수집된, 지능형 CCTV에서 감지한 위험의 경우에 영상과 함께 전송되는 메타데이터, 표준 IoT/클라우드 시스템으로부터 수집되는 데이터에 대한 메타데이터, 개인 스마트디바이스로부터 수집되는 데이터에 대한 메타데이터를 통합 메타데이터로 활용하면(102-5), 메타데이터를 활용한 빠른 특징기반 검색, 메타데이터 기반의 데이터 교환 모델 정의를 통한 데이터 공유의 용이성, 정확한 위험 분석 및 예측을 위한 분석데이터 활용의 용이성을 얻을 수 있다.

이렇게 통합 구축된 메타데이터는 장소별 위험 분류 또는 앞으로의 위험 발생 가능성 등으로 시각화되어 제공된다(102-3).

데이터소스 인프라로부터 수집되는 다양한 정보는, 단일 데이터를 통해 위험을 분석하기 어려운 경우에는 데이터 융합을 통하여 또는 딥러닝 기반의 멀티모달(multi-modal) 데이터 위험 분석을 통하여 위험 감지 및 예측의 정확도를 높인다(102-5, 102-11).

관심객체에 따른 위험 분석 결과에 따라 현재 어떤 장소의 위험도가 가장 높은지 판단할 수 있으며, 그 결과 원격으로 공공인프라(영상감시장비, 스피커, IoT센서 등)를 제어하거나, 개인휴대단말에 설치된 응용프로그램과 통신하여 실시간 상황 대응을 지원할 수 있다.

한편, 실시간 상황대응은 위험 종류에 따라 사전 정의된 시나리오(위험 대응 시나리오 DB에 저장됨(102-8))와 함께 실시간으로 관제모니터화면(103), 관계부처 시스템(104), 및/또는 사용자 단말(105)로 시스템에 의해 자동 선택되어 전송된다(102-12).

또한, 딥러닝 기반 멀티모달 데이터 위험 분석(102-11)의 결과에 의한 위험도에 따라 관제모니터화면(103)은 시스템에 의해 자동으로 배치된다(102-10). 따라서 관제 요원이 놓칠 수 있는 위험 사각지대를 제거할 수 있다. '102-11' 블록에서, 이종데이터소스로부터 수집된 대용량의 데이터로그로부터 특징 추출(Feature extraction) 과정을 통해 생성되는 특징벡터는 위험 분류, 요약, 검색 또는 분석을 위한 정보로 사용되며, 특징의 중요성을 나타내는 위험 발생 위치, 발생한 횟수 등에 기반하여 대용량 데이터에서 불필요한 데이터는 제거하고, 저장기간을 증가시킬 필요가 있는 데이터는 생명 주기를 늘릴 수 있는 기능을 제공한다.

위험 예측을 위한 방안으로는 '사례기반 추론'과 같이 어떤 새로운 문제의 해결책을 찾아야 할 때 과거 사례들을 기반으로 해결하는 방법, 위험종류별로 연관규칙을 생성한 후 연관성 분석을 통한 방법 등이 이용되며, 이를 위해 위험운영 DB(102-9)를 통해 위험 발생 가능성을 추정하기 위해 수집된 데이터를 일정한 기준에 따라 분류할 수 있는 메타데이터 기반의 동적으로 확장이 용이한 위험정보 분류 체계가 필요하다.

본 발명에서 제공하는 위험 감지 및 상황대응 플랫폼의 기능에 대해서 보다 더 자세히 설명하면 다음과 같다. 각각의 기능에 대한 세부 동작을 도 2 ~ 도 6에 나타내었다.

도 2는 이종데이터소스의 데이터를 수집, 분류, 관심대상 고유 식별, 위험 감지하는 일련의 과정을 순서도로 표현한 것이다.

이종데이터소스로부터 영상, 음성, 센서 데이터, 공공 데이터 등의 데이터를 수집하는 단계(201)는 다양한 영상감시장비, 개인휴대단말, 웨어러블 장비를 포함한 IoT 센서로부터의 데이터 및 그 밖의 공공데이터 등을 수집하며, 이미 구축되어 운영중인 표준을 준용하는 ICBM(IoT/Cloud/BigData/Mobile) 플랫폼의 데이터도 수집 대상에 포함된다.

수집된 데이터소스를 통해 관심대상(객체)별 장소의 이동 및 시간의 변화에 따라 발생한 데이터를 추출하게 된다(202). 즉, 영상과 개인 식별 센싱정보를 통한 관심대상의 고유번호를 추출한다. 영상감시장비를 통해서 관심대상을 실외에서 정확하게 식별하기 어려운 경우, 관심대상이 전송하는 위치기반 센싱 정보(GPS, 비콘 등)를 통해 영상감시장비와 연계하여 관심대상을 더 정확하게 식별하게 된다.

수집된 영상, 음성, 또는 센싱 데이터와 공공 데이터 등으로부터 위험 여부를 감지한다(203, 204, 205). 이를 위해서는 통계/확률 기반의 머신러닝 또는 관련 시스템이 스스로 학습하여 위험 감지율을 향상시킬 수 있는 딥러닝 등 기반의 분석 기법을 이용할 수 있다. 또한, 위치기반 센싱 데이터가 수집되기 때문에, 이 위치정보를 기반으로 과거에 발생했던 위험사건을 참고하여 현재 상황과의 연관성을 통해 특징 융합에 기반하여 위험 여부를 알 수 있다(206).

이러한 위험감지 결과는 위험운영 DB(도 1의 102-9)에 위험 감지결과로 기록되어(207), 추후 해당장소에서 발생할 수 있는 위험을 예측하기 위한 분석용 데이터로 활용된다.

또한, 위험 감지 과정에서 수행된 영상, 음성, 및 데이터에 대해 각각 추출된 메타데이터를 위험운영 DB(102-9)에 저장(208)하여 특징에 기반한 빠른 의미검색, 데이터 공유를 위한 교환 모델 제공, 및 위험 예측을 위한 데이터 분류항목 등의 지표로서 활용될 수 있도록 한다.

대용량의 데이터를 수집하여 저장하면서 발생하는 데이터 관리 문제를 해결하기 위한 방법으로 도 3과 같은 방법을 제시한다. 도 3은 위험도에 따른 대용량 데이터의 선택적 유지 개념을 설명하기 위한 것이다. 일반적으로 수집되는 대용량의 영상 데이터가 모두 지능형 CCTV를 대상으로 하고 있는 것은 아니기 때문에, 단순 모니터링용 CCTV로부터 수신되는 데이터의 관리는 더욱 중요해진다.

도 3의 (a)에 나타낸 것과 같이, 수신되는 영상 데이터(301)는 위험이벤트가 감지된 컷(프레임)과 위험이벤트가 없는 컷이 혼합된 여러 프레임을 통해 영상을 표현하는데, 이 중에서 위험 요소가 아닌 단순하게 수집되는 데이터는 장기간 관리할 필요가 없을 수 있다(여기서 '장면(scene)'은 하나의 이벤트(사건)가 마무리되는 논리적인 단위를 의미하고 '샷'은 카메라의 편집 단위를 의미함). 도 3의 (b)에 나타낸 것과 같이 위험이벤트가 감지된 컷에서 식별된 관심객체(관심대상) A, B의 위치 및 그에 대한 IoT기기를 통한 센싱 데이터(302)로부터 얻은 (c)(d)와 같은 객체 A의 위험 분석을 위한 음원 데이터(303)와 객체 B의 위험 분석을 위한 음원 데이터(304)에서 위험이벤트가 감지된 음원과 위험이벤트가 없는 음원을 구별해낸다.

이러한 방식으로 관심대상(객체)을 식별하고 해당 관심대상의 영상정보 중 위험요소가 없는 단순 모니터링 영상 또는 묵음으로 기록된 음성 데이터 등을 선별적으로 제거하여 관심대상의 객체 ID와 매칭하여 정보를 관리하게 되는 것이다.

도 3에 나타낸 개념의 이해를 위하여 간략한 배경 지식을 설명한다. CCTV로 수신되는 영상 데이터를 구성하는 프레임 내의 객체를 인식하거나 이벤트를 감지하기 위해서는 특징(feature)을 추출해야 한다. 이렇게 영상 프레임 내 관심객체나 특정 이벤트를 추출하기 위해 과거에는 특징 추출 알고리즘(예: SIFT, HOG, Harris 등)을 이용하여 영상으로부터 추출된 값이 의미를 갖는지(예: 사람의 얼굴인지, 담벼락을 넘어가는 행위인지 등) 계산하는 특징 추출 과정을 거쳤다. 정확한 특징을 추출하기 위해서 많은 CPU 연산처리가 필요하고 그에 따라 처리시간도 오래 걸렸지만, 최근에는 딥러닝 기술이 대중화되면서, 많은 영상파일 DB를 사전에 준비해 두고 이를 컴퓨터를 통해 사전 학습시킴에 따라(참고: "고양이 사진은 '고양이'로 분류되어야 하고, 강아지 사진은 '강아지'로 분류되어야 한다"라는 규칙하에 컴퓨터가 여러 번의 특징점 추출 과정을 통해 파일을 자동 분류해 나가는 과정이 '학습'임) 임의의 자료가 입력되었을 때 사전 학습된 알고리즘을 토대로 자동으로 분류해 나가는 과정을 거치게 된다. 본 발명과 관련하여 좀 더 구체적으로 말하면, 플랫폼이 자동차 접촉사고를 '위험'으로 인식하는 경우라면, 먼저 자동차가 부딪혀 찌그러진 영상과 그렇지 않은 영상을 각각 수천장(가능한한 많이) 준비하고, 각각의 영상 파일에 대해서 자동차가 부딪힌 영상에 대해서는 "위험", 그렇지 않은 영상은 "비위험"으로 구분해 둔다. 이후, 이러한 사전 준비된 파일들을 이용하여 특징 추출(딥러닝 개발 프로그램은 특징을 자동 추출해주는 라이브러리를 제공해 줌)에 대해 여러 단계의 과정을 반복 수행함으로써, 자동차가 부딪힌 영상의 특징은 예를 들어 "AAABBBCCC"를 갖고 있고 그렇지 않은 영상의 특징은 "XXXOOOYYY"를 갖는다는 것을 컴퓨터가 인식할 수 있는 알고리즘('지능')을 갖게 된다. 따라서, 학습 과정 이후 플랫폼에 수신되는 영상의 기계학습을 통해 획득된 특징이 "AAABBBCCC" 형태(또는 이와 유사한 "AAABBBCCOO")를 갖게 되면, "위험" 영상으로 판단하게 된다.

이러한 원리를 적용한 본 발명에서의 영상 데이터로부터의 위험 분석을 위해서, 도 3의 CCTV로부터 플랫폼에 수신되는 영상(301) 내 프레임 속의 객체 A, 객체 B가 위험 영상(예: A와 B가 각각 차량이고 서로 부딪힌 장면)인지 분석하기 전에 플랫폼(102)에 수신되는 영상(301)과 유사한 다양한 영상을 수집하여 사전 학습하는 과정이 필요하다. 즉, 위험영상 DB를 구축하고 이를 기계학습 기반 위험영상 DB에 대한 특징을 사전 학습시킴으로써, 이후 실시간으로 입력되는 다양한 CCTV 영상이 위험한 특징을 갖고 있는 영상인지 확인함으로써 위험 여부를 판단할 수 있다.

본 발명의 CCTV를 통해 획득되는 영상 속 프레임(301)에 포함된 관심대상 A, B는 사전에 플랫폼에서 기계학습에 따라 학습시킨 결과에 따라 고유하게 A, B를 인식하게 된다. 각 관심대상 A, B는 개인휴대단말 등을 통해 현재 존재하는 곳의 위치정보(예: GPS, 비콘신호 등)를 플랫폼으로 전송하며, 플랫폼은 현재 관심대상 A, B의 현재 위치가 과거에 범죄, 사고 등이 발생한 곳인지 또는 현재의 위험한 상황인지 여부를 확인하게 된다. 과거에 범죄, 사고 등이 발생한 곳인지 확인하기 위해서는 국민안전처에서 공개하고 있는 생활안전 공공데이터 또는 경찰청 시스템과 연계하여 활용할 수 있는 지리/통계정보를 이용할 수 있으며, 현재 위험한 상황인지 여부를 확인하기 위해서는 지방자치단체에서 제공하는 실시간 지역정보를 이용할 수 있다. 즉, 관심대상 A가 현재 위치하는 곳은 과거 범죄자가 자주 출몰하는 장소이며, 관심대상 A의 인근에 위치한 또 다른 관심대상 B는 관심대상 A의 주변을 계속 배회 또는 미행하는 행동 패턴을 보인다고 할 때, 플랫폼, 즉, 통합관제센터(102)는 위험 장소에서 관심대상 A가 '미행' 또는 '배회'와 관련된 위험이벤트에 관련되어 있고, 그 시점에 관심대상 A가 발생하는 사운드(303)가 위험과 관련된 특징이 포함된 사운드(예: 비명소리, 싸움소리 등)로 취득된 경우, 관심대상은 '위험 상황에 직면'한 것으로 판단하고 이에 대한 상황 대응을 위해 경찰청, 관심대상의 보호자 등에게 즉시 해당 상황을 알리게 된다. 전술한 위험과 관련된 특징이 포함된 사운드(음원)가 발생했음을 통합관제센터(102)에서 판단하기 위해서는, 통합관제센터(102)가 사전에 위험이라고 판단할 수 있는 특징(예: 비명, 폭력, 차량충돌, 욕설, 군중 집회 등)이 포함된 음원 데이터 DB를 구축하고, 위험과 관련된 특징이 포함된 음원파일별로 '비명', '폭력', '차량충돌', '욕설', '군중집회'가 판단된 경우에 각 경우를 '위험' 범주로 분류할 수 있는 인식 알고리즘을 보유하고 있어야 한다.

이상에서와 같이 관리되는 데이터에 대한 메타데이터는 지속적으로 위험을 관리하기 위한 데이터로 활용된다.

한편, 실생활에서의 위험 뿐만 아니라 미래에 발생할 수 있는 새로운 유형의 위험도 수용하여 관리하는 것이 바람직하다. 이를 위해 도 4와 같이 위험관리를 위한 관심대상의 고유번호별 로그데이터 관리 구조를 설계한다.

도 4의 로그데이터 관리 구조 설계안에 따르면 관심대상을 식별하고 위험을 추출한 결과 객체별 상세정보(대상분류, 시간, 위치, 위험종류, 위험도 등)가 생성된다(401). 이 상세정보의 항목들 중 위험종류 또는 위험도에 대해서 위험정보를 관리할 수 있도록 한다(402). 객체별 상세정보(401)에서, 관심객체가 어떤 위치(위치주소)에, 어떤 위험종류를, 언제(어느 시간에) 직면하고 있는지 확인할 수 있다. 객체별 상세정보(401)의 정보는 위험감지 처리 이후 생성된 정보로, 관심대상과 연관된 또 다른 객체의 연관정보를 획득할 수 있으며, 관련된 정보가 플랫폼의 어느 저장위치에 기록(연관정보)되어 있는지 확인할 수 있다.

여기서 관심객체가 직면한 위험 종류는 기계학습을 통해 플랫폼이 이미 학습한 위험의 종류이며(402), 위험종류별로 상황에 대응하기 위한 시나리오가 연관되어 있어(403), 특정 위험에 직면한 관심객체에게 신속하게 위험에 대응할 수 있는 시나리오를 제공하고, 처리 여부를 관리한다.

본 발명에서의 위험상황 관리, 관심객체별 특징기반 검색, 위험정보 공유를 위한 메타데이터 구조는 도 5와 같다. 도 5는 위험상황 메타데이터 구축을 위한 데이터 스키마 구조도의 예시도이다. 메타데이터를 구축하기 위한 데이터 스키마는 XML DTD 이외에, XML 스키마나 그 밖에 다른 방법에 의해 표현할 수 있으며, 본 발명에서와 같이 관심객체별 수집된 영상, 음성, 및 센싱데이터의 분석 결과에 따른 특징을 표현하기 위한 엘리먼트(element)를 정의한다.

관심객체 고유번호별로 도 5와 같이 수집 및 분석된 영상 데이터에 대해서는 날짜, 시간, 수집위치, 수집된 CCTV의 사용용도, 분석 결과에 따른 영상의 위험등급, 영상 재생 포맷, 위험등급에 따른 영상의 저장기간, 관련된 객체 수 등이 메타데이터 엘리먼트로 생성되고 해당 정보가 관리된다(501).

수집 분석된 데이터가 영상인 경우(502), 날짜, 시간, 수집위치, 사용용도, 위험등급, 재생포맷, 저장위치, 저장기간, 객체 수를 메타데이터 엘리먼트로 생성하고 해당 정보를 관리한다.

수집 분석된 데이터가 음성인 경우(503), 저장된 음성파일에서 재생시작시간 및 종료시간을 명시하고, 위험등급, 음성파일의 재생 포맷, 저장위치, 위험 등급에 따른 저장기간, 음성의 내용요약, 관심대상과 관련된 객체의 수를 메타데이터 엘리먼트로 생성하고 해당 정보를 관리한다.

또한, 수집 분석된 데이터가 관심객체의 센서 데이터인 경우(504), 수집위치, 수집시간, 센서 종류, 위험등급, 재생 포맷, 저장위치, 저장기간, 및 내용요약에 대해 메타데이터 엘리먼트를 생성하고 해당 정보를 관리한다.

이와 같이 수집 및 분석되어 구축된 메타데이터는 플랫폼에서 관리하는 도 4의 관심대상별 로그데이터 정보와 유기적으로 연관되어 관리되고, 위험정보가 추가 생성될 때마다 관심대상자가 위험에 대응하기 위한 종류가 증가하기 때문에 위험을 선제적으로 대응하기 용이하다. 또한, 도 4 및 도 5와 같이 구축된 로그데이터 정보를 기반으로 누적된 데이터의 정상/비정상 패턴을 쉽게 구별할 수 있어서, 미래에 발생하는 위험상황을 누적된 로그 패턴과의 비교, 관심대상의 위치 기반 공공데이터를 참고하여 과거에 발생한 범죄, 사고 등과 관련하여 예측함으로써 위험에 선제적으로 대응할 수 있게 된다.

도 5의 위험상황 메타데이터 구축을 위한 데이터 스키마는 관심대상별 수집된 위험정보를 토대로 위험 상황을 표현하기 위한 최소한의 메타데이터를 구축하기 위한 엘리먼트 정의로서, 향후에 좀더 위험상황을 자세하게 표현하기 위해 필요한 메타데이터 엘리먼트에 대해서는 추가 확장을 용이하게 할 수 있다.

전술한 도 5의 위험상황 메타데이터 구축을 위한 데이터 스키마는 관심객체별 고유번호를 할당하고, 특정 시간 및 장소에서 발생한 사건에 대해 기록된 영상감시장비를 통한 영상이나, 센서를 통한 음성이나 데이터에 대하여 '위험 DB'의 엘리먼트를 정의하고, 각각(영상, 음성, 데이터)에 대한 하위 엘리먼트를 정의하고 시간, 위치, 위험등급, 세부 정보 등을 기술함으로써 특징기반 검색, 데이터 교환을 통한 위험정보 공유, 분석을 위한 정보 분류 기능을 제공함으로써 위험정보 관리에 효과적이며, 위험 발생시 빠른 상황 대응이 가능해진다.

또한, 본 발명은 이종데이터소스로부터 수집/누적된 정보를 관심객체별로 분류하고, 정의한 위험 종류 항목과 관련하여 실시간으로 어떤 관심객체가 위험에 직면하게 될지를 예측하는 기능을 제공한다. 이러한 기능이 정확하게 제공되기 위해서는 도 6(데이터 융합 분석을 통한 딥러닝 기반 위험 예측을 위한 처리 과정)에서와 같이 수집/누적된 대용량 로그데이터를 영상, 음성, 센서 데이터로 구분하여 각각의 위험 특징 요소를 추출하고, 상황에 따라(위험을 확신할 수 없는 경우) 추출된 위험 특징을 결합하여 머신러닝(특히, 딥러닝)을 통해 위험발생 가능성을 추론한다.

도 6에서와 같이, 영상데이터소스 중 수집된 데이터 형태가 영상인 경우의 위험 추출 단계에서는, 이종데이터소스를 통해(예를 들어 영상감시장치를 통해) 수집한 영상 데이터에서 관심객체 A와 관심객체 B를 식별하여 위험요소를 취득(601, 602)하고, 관심객체 A와 관심객체 B간의 행동 패턴의 변화 등을 통한 위험 특징 요소 추출(603, 604) 과정이 이루어진다. 이어서 다수의 위험 특징 요소들을 결합하는 단계(605)가 뒤따른다.

한편, 영상데이터소스 중 수집된 데이터 형태가 음성 데이터인 경우에는, 관심대상 A, B의 식별(606, 607)에 의한 위험 요소 감지, 그리고 이 606, 607 데이터의 누적된 로그 속에서 위험 특징을 추출(608, 609) 과정을 통해 위험 상황이 발생했음을 인식하게 된다. 다수의 위험 특징 요소들을 결합하는 단계(610)도 필요하다.

만약 영상을 통해 추출한 위험(605)과 음성을 통해 추출한 위험(610)이 위험 상황인지 정확하게 판단하기 어려운 경우에는, 이들 두 가지 특징(605, 610)을 결합하거나, 관심대상이 위치하고 있거나 이동하고자 하는 위치에 대해서 과거에 발생한 사고, 범죄 등 안전을 위협하는 데이터를 기반으로 현재 또는 미래에 발생할 수 있는 위험을 예측한다. 도 6을 통해 예측할 수 있는 위험의 종류(613)는 도 4를 통해 관리되는 위험정보를 기반으로 분류되기 때문에, 도 4의 관리되는 위험의 종류가 늘어나면 도 6을 통해 분류될 수 있는 위험의 종류도 늘어나게 된다. 분류된 위험종류에 대한 가중치 값에 따라 관심대상이 직면할 수 있는 위험의 종류가 선택되고, 해당 위험에 대한 상황 대응 시나리오가 추천되어 관심대상은 위험 상황을 모면할 수 있다.

도 6에서 딥러닝을 어떻게 진행하는지에 대해서 더 구체적으로 설명하면 다음과 같다.

본 발명에서 제안하는 딥러닝 기반 위험 예측은 다양한 형태의 데이터 입력을 분석하는 것을 기반으로 하고 있다. 데이터의 속성이 영상, 센서 데이터, 음성 데이터, 과거 기록된 통계 데이터에 대해 각각에 대한 딥러닝을 통한 분석이 아니라, 각각의 데이터에 대해 특징을 추출하는 과정은 별개로 수행하지만 최종 의사를 결정하기 위한 분류과정에서는 별개로 수행되었던 특징을 융합하는 과정을 추가함으로써 기존에 개별적으로 수행했던 딥러닝 기반 위험 분석보다 정확성을 높일 수 있는 방법을 제공하는 것이다.

이와 관련하여 본 발명의 도 7에서와 같이, 영상, 음성, 텍스트 등과 같은 이질적인 속성을 갖는 데이터(701)가 실시간으로 위험 예측 엔진이 탑재된 플랫폼 즉 통합관제센터(도 1의 102)로 수신되면, 위험 예측 학습 DB(702)를 기반으로 어떤 상황이 위험으로 발생하게 될 상황인지 사전에 정의한 각종 위험에 대한 예측 모델(703)에 따라 위험 발생 가능성을 예측한다. 이때 사용되는 위험 예측 모델은 달성하고자 하는 '위험'의 정의에 따라 모델링(사용되는 데이터와 알고리즘)이 상이해 질 수 있다. 예를 들어, 예측하고자 하는 '위험1'이 사용자가 절도를 당할 가능성, '위험2'는 차량 이동 중 뺑소니 차량을 만날 가능성 등과 같이 도출하고자 하는 목표가 상이한 경우, 예측 결과를 획득하기 위해 사용되는 데이터 및 알고리즘(예, CNN, RNN, 베이지안 네트워크 등 다양한 기법들이 존재함)도 상이하게 된다. 결과적으로 목표로 획득하고자 하는 위험 종류, 사용되는 데이터의 속성(영상, 사운드, 센서 데이터 또는 지리 통계 데이터 등)에 따라서 각각 별개의 특징 추출 방법과 별개의 분류 방법이 적용된다. 이러한 경우 복합적인 추출 및 분류 방법에 따라 위험 여부를 판단하기 위한 정확도가 떨어지게 되므로, 본 발명에서는 데이터의 속성에 따라 개별적으로 추출된 특징을 융합한 별도의 처리 모듈인 특징 융합 레이어(704-a)를 추가하여 추출된 각각의 특징을 하나의 공통 특징 벡터 데이터로 관리하여, 위험 예측을 수행하기 위한 정확도를 향상시킬 수 있다.

Claims (9)

1. 공공안전 위험상황을 감지 및 예측하고 대응하는 시스템으로서,
   공공안전을 위한 관심대상에 대한 정보 수집 매체인 CCTV, 개인휴대단말, IoT센서, 및 데이터 수집플랫폼 중 적어도 하나를 포함하는 이종데이터소스 인프라로부터 수신한 데이터를 기반으로 상기 공공안전 위험상황을 감지 및 예측하고 대응하도록 구성된 통합관제센터를 포함하되,
   상기 통합관제센터는
   상기 이종데이터소스 인프라로부터 데이터를 실시간 수집하는 수단;
   상기 수집되는 데이터가 영상인 경우에 인식률을 높이는 과정을 수행하고, 상기 수집되는 데이터가 텍스트나 오디오인 경우에 불필요한 데이터를 제거하는 과정을 거쳐 데이터분석을 수행하는 정제/전처리 및 분류 수단;
   상기 수집되는 데이터의 객체가 사람인 경우 및 움직이는 사물인 경우에 따라 개별적으로 객체의 위험 행동을 추출하여 위험 행동 메타데이터를 구축하는 수단; 및
   상기 구축된 메타데이터를 시각화하여 제공하는 수단을 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 시스템.
2. 삭제
3. 제1항에 있어서, 상기 객체의 위험 행동 메타데이터를 구축하는 수단에서,
   데이터의 객체가 사람인 경우의 위험 행동 추출은, 범죄자 식별 및 추출과, 객체 군집 내 이상행동 패턴 추출 중 적어도 하나를 포함하고,
   데이터의 객체가 움직이는 사물인 경우의 위험 행동 추출은, 차량번호 식별 및 추출과, 이상행동 패턴 변화의 추출 중 적어도 하나를 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 시스템.
4. 제1항에 있어서, 상기 구축된 메타데이터를 시각화하여 제공하는 수단은
   위험발생 가능성이 높은 지역의 관제 화면을 우선순위를 높게 하여 시각화하는 관제모니터 화면을 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 시스템.
5. 제1항에 있어서,
   상기 통합관제센터에 연결되는 관계부처 시스템; 및
   상기 통합관제센터에 연결되어 관심대상을 보호하기 위한 보호 관찰자 사용자 단말을 추가로 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 시스템.
6. 제1항에 있어서, 상기 통합관제센터는
   상기 이종데이터소스 인프라로부터 수집되는 데이터의 위험 감지 및 예측의 정확도를 높히기 위하여, 수집되는 데이터의 융합 및 딥러닝 기반의 멀티모달(multi-modal) 데이터 위험 분석 중 적어도 하나를 수행하도록 구성되는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 시스템.
7. 공공안전 위험상황을 감지 및 예측하고 대응하기 위하여,
   공공안전을 위한 관심대상에 대한 정보 수집 매체인 CCTV, 개인휴대단말, IoT센서, 및 데이터 수집플랫폼 중 적어도 하나를 포함하는 이종데이터소스로부터 영상, 음성, 센서 데이터, 공공 데이터 중 적어도 하나를 포함하는 이종데이터를 수집하고;
   상기 수집된 이종데이터를 통해 관심대상별 장소의 이동 및 시간의 변화에 따라 발생하는 정보를 추출하고;
   상기 수집된 이종데이터로부터 위험 여부를 감지하고;
   감지된 위험 여부 정보를 위험운영 DB에 위험감지결과로 기록하여, 추후 해당장소에서 발생할 수 있는 위험을 예측하기 위한 분석용 데이터로 활용하고;
   상기 위험운영 DB에 저장된 데이터를, 의미검색, 데이터 공유를 위한 교환 모델 제공, 및 위험 예측을 위한 데이터 분류항목 중 적어도 하나의 지표로서 활용하는 것을 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법.
8. 제7항에 있어서, 상기 위험 여부 감지는
   통계/확률 기반의 머신러닝, 딥러닝 기반의 분석 기법, 및 수집된 데이터가 위치기반 센싱 데이터인 경우 이 위치정보를 기반으로 한 과거 발생 위험사건과 현재 상황과의 연관성을 통한 특징 융합 중 적어도 하나를 이용하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법.
9. 제7항에 있어서, 상기 위험운영 DB에 저장되는 위험감지결과는
   상기 수집된 이종데이터의 객체가 사람인 경우는 식별된 범죄자 및 객체 군집 내 이상행동 패턴 중 적어도 하나를 포함하고,
   상기 수집된 이종데이터의 객체가 움직이는 사물인 경우는 식별된 차량번호 및 이상행동 패턴 변화 중 적어도 하나를 포함하는, 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법.
   

Images