KR102557769B1 - 디지털 트윈 가상 모델을 활용한 cctv 기반 사고 지점의 공간 좌표 인식 기술 시스템 - Google Patents

Abstract

본 발명은 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템에 관한 것으로, 더욱 상세하게는 디지털 트윈 가상 모델 정보와 실시간 CCTV 영상의 각 프레임을 순차적으로 비교함으로써, 감시 영역의 사건 발생을 감지하고, 발생 영역의 공간 좌표 정보를 제공함으로써, 신속한 대처를 수행할 수 있도록 할 수 있는, 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템에 관한 것이다.

Description

디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템{SYSTEM FOR DETECT ACCIDENT BASED ON CCTV USING DIGITAL TWIN VIRTUAL MODEL}

본 발명은 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템에 관한 것으로, 더욱 상세하게는 디지털 트윈 가상 모델 정보와 실시간 CCTV 영상의 각 프레임을 순차적으로 비교함으로써, 감시 영역의 사건 발생을 감지하고, 발생 영역의 공간 좌표 정보를 제공함으로써, 신속한 대처를 수행할 수 있도록 할 수 있는, 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템에 관한 것이다.

최근 빈번하게 발생하는 화재사고, 교통사고, 인명 범죄, 건물 붕괴사고 등과 같은 재난 및 인재 사고의 증가로 인해 안전에 대한 대중의 관심이 집중되면서 CCTV(Closed Circuit Television)를 활용한 사고 감지 기술의 필요성이 부각되고 있다.

이에 따라 초고층 건물, 다중이용복합시설, 병원, 학교, 공공시설, 지하철, 항공 등과 같이 인명 및 재산 등의 피해 규모가 클 것으로 예상되는 영역에서는 사고의 예방 및 신속한 대처를 통한 피해를 최소화하기 위해 상시 모니터링을 통해 사고 감지를 지원하는 사고 감지 시스템의 필요성이 점차 증가하고 있다.

거의 모든 사고들이 피해를 최소화하기 위해서 사고 발생을 신속하게 감지하여 발생의 정확한 위치를 판단해야 하는 것이 중요하다. 이러한 문제들을 위해 종래 기술들이 개발되었다.

한국등록특허 제10-2391853호(2021.11.19)의 영상 정보 처리 시스템은 일정 영역을 촬영하여 복수의 영상 프레임들을 생성하는 복수의 카메라부; 및 상기 복수의 카메라부 중 어느 하나의 카메라부로부터 복수의 영상 프레임들을 수신하고, 상기 복수의 영상 프레임을 비교하여 변화가 있는 제1 영상 프레임과 제2 영상 프레임을 추출하고, 상기 제1 영상 프레임과 제2 영상 프레임의 사이의 차이-상기 차이는 상기 카메라부에 의해 모니터링되는 환경에서 객체에 의한 움직임 변화를 나타냄-를 식별하고, 상기 추출한 제1 영상 프레임과 제2 영상 프레임의 사이에 시간적으로 사이에 있는 제3 영상 프레임을 추출하고, 상기 추출한 제3 영상 프레임에서 객체의 사람 존재 여부를 추출하고, 상기 객체의 사람 존재 여부의 정확도 또는 가능성이 떨어지는 경우, 상기 제1 영상 프레임의 시간이 먼저인 상기 제1 영상 프레임의 왼쪽 프레임과 상기 제2 영상 프레임의 시간이 더 나중인 상기 제2 영상 프레임의 오른쪽 프레임을 추출하여 상기 왼쪽 프레임과 상기 오른쪽 프레임의 사이의 차이를 식별하며, 상기 추출한 왼쪽 프레임과 오른쪽 프레임의 사이에서 상기 제3 영상 프레임을 다시 추출하고, 상기 다시 추출한 제3 영상 프레임에서 객체의 사람 존재 여부를 추출하는 영상 분석 서버를 포함한다.

한국등록특허 제10-2407327호의 화재감지시스템은 감시공간 및 감시구역 중 적어도 하나에 대한 실시간 영상데이터의 인공지능 분석을 기반으로 화재발생을 감지하여 감지결과로 모니터링 데이터를 출력하는 화재감지장치; 및 상기 모니터링 데이터를 수신하고, 수신된 모니터링 데이터를 암호해제 및 복호화 중 적어도 하나를 수행하여 영상확인 및 관제 표출하며, 현장 및 관제실 중 적어도 하나에 근무중인 관제 담당자의 관제 단말기로 송신하여 관제단말기에서 팝업알림 및 음향출력 중 적어도 하나로 감지결과를 표시하도록 감지 결과를 통지하는 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버를 포함한다.

[문헌1] 한국등록특허 제10-2391853호(2021.11.19) [문헌2] 한국등록특허 제10-2407327호(2020.01.30)

따라서, 본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 감시 영역의 사건 발생을 감지하고, 감지 결과를 출력하여 발생된 사건에 대한 신속한 대처를 수행할 수 있도록 하는 서비스를 구현하는 것이다.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템은 복수의 감시 영역 각각에 설치되어 상기 감시 영역을 촬영한 감시 영상을 획득하는 CCTV 장치; 및 상기 CCTV 장치로부터 감시 영상을 수신하고, 상기 감시 영상을 상기 감시 영역에 대해 미리 생성된 디지털 트윈 가상 모델 정보와 비교하여, 상기 감시 영역의 사고 발생을 감지하고, 사고 발생이 감지된 경우, 상기 감시 영역의 실제 속성 정보를 기반으로 사고 발생 지점에 대응하는 공간 좌표를 검출하여 제공하는 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버를 포함할 수 있다.

상기 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버는, 복수의 상기 감시 영역 각각에 설치된 상기 CCTV 장치로부터 해당 감시 영역을 촬영한 CCTV 영상을 수신하는 CCTV 영상 수신부; 상기 각 감시 영역에 사고가 발생하지 않았던 정상적인 시점의 영상들을 기반으로 디지털 트윈 가상 모델 정보를 디지털 트윈 가상 모델 정보로 생성하는 디지털 트윈 가상 모델 정보 생성부; 상기 CCTV 영상의 프레임 속 픽셀 정보와 속성 정보를 매핑하여 저장하는 속성정보 매핑부; 상기 CCTV 장치로부터 실시간으로 수신되는 CCTV 영상을 상기 디지털 트윈 가상 모델 정보를 기반으로 분석하여 사고 발생 여부를 판단하는 사고 발생 판단부; 및 사고가 발생한 것으로 판단된 경우, 사고 발생 정보를 출력하는 사고 발생 정보 알림부를 포함할 수 있다.

상기 사고 발생 판단부는, 상기 디지털 트윈 가상 모델 정보와 동일한 픽셀에 대응하는 실시간 수신된 상기 CCTV 영상을 비교한 결과, 상기 CCTV 영상이 상기 디지털 트윈 가상 모델 정보와 동일하지 않은 경우, 사고 발생 상황으로 판단할 수 있다.

상기 사고 발생 정보 알림부는, 상기 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술을 통해 사고 발생 지점에 대응하는 공간 좌표를 검출하여 제공하되, 상기 디지털 트윈 가상 모델의 상기 공간 좌표와 매핑된 실제 공간의 위치 좌표 정보를 함께 제공할 수 있다.

상기 사고 발생 판단부는, 상기 판단에서 감시 영역에 사고가 발생한 것으로 판단된 경우, CNN 모델 기반으로 화재 발생, 건물 붕괴 및 타겟 객체 출현 중 적어도 하나를 판단할 수 있다.

상기 사고 발생 판단부는, 상기 타겟 객체 출현의 경우, 상기CCTV 장치의 카메라 유닛 단위로 특정 객체에 대한 분석을 통한 특징 정보를 검출하고, 상기 검출된 특징 정보를 기반으로 이동 방향을 예측하며, 상기 예측된 이동 방향에 구비된 CCTV 카메라에 상기 특징 정보를 연계 공유함으로써 상기 특정 객체를 연속적으로 실시간 추적할 수 있다.

상기 속성정보 매핑부는, 상기 감시영역을 사고가 발생하지 않은 시점에 촬영한 프레임 영역에서 상기 감시영역에 있는 각 객체의 명칭과 위치 정보를 픽셀 정보와 함께 매핑하여 저장할 수 있다.

상기 사고 발생 정보 알림부는, 상기 감시 영역의 상기 속성 정보인 위치 정보, 좌표 정보, 사고 발생 이미지 데이터 중 적어도 하나를 포함한 사고 발생 정보를 출력할 수 있다.

본 발명의 실시예에 따른 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템은 디지털 트윈 가상 모델 정보와 실시간 CCTV 영상의 각 프레임을 순차적으로 비교함으로써, 감시 영역의 사건 발생을 감지하고, 감지 결과를 출력하여 발생된 사건에 대한 신속한 대처를 수행하도록 할 수 있다. 즉, 사고 발생 지점에 대응하는 공간 좌표를 검출하여 제공함으로써, 정확하게 사고 발생 지점을 알릴 수 있다.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 CCTV 장치 및 이를 통한 사고 감지 방법을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버의 구성을 도시하는 블록도이다.
도 3은 감시 영역의 디지털 트윈 가상 모델 정보와 감시 영역의 실제 속성 정보를 함께 획득하는 일 예를 도시한다.
도 4는 디지털 트윈 가상 모델 정보 생성부에서 검출하여 생성하는 객체 정보 및 객체 이미지의 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 사고 발생 판단부에서 디지털 트윈 가상 모델 정보와 실시간으로 수신된 CCTV 영상 중 한 프레임을 비교하며 해당 위치의 감시 영역에서 발생된 사고 종류를 분석하기 위한 일 예의 개념도이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 방법을 개략적으로 설명하기 위해 나타낸 개념도이고, 도 2는 본 발명의 일 실시예에 따른 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버의 구성을 도시하는 블록도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 CCTV 장치(100)는 복수의 감시 영역에 각각 설치되어, 해당 감시 영역에서의 사고 발생을 감지하여, 사고 발생 정보를 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)로 전송하는 기능을 수행한다.

디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 먼저, 실제 공간에 대응하는 3차원 가상 공간 맵을 생성하고, 실제 공간에 있는 컨텐츠들을 상기 3차원 가상 공간 맵에 가상 컨텐츠로서 배치한다.

예를 들어, 3차원 가상 공간 맵이 지하철역 지하도를 나타내는 가상 공간 맵인 경우, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 실제 지하철역 지하도에서 CCTV 장치(100)를 통해 촬영한 영상을 가상 공간 맵과 오버랩하거나 대치하여 제공할 수 있다.

즉, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)가 획득하는 CCTV 영상은 가상 공간 맵의 일부를 촬영한 영상을 의미할 수 있고, 양 데이터가 나타내는 공간 대상은 동일하다.

여기서, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 3차원 가상 공간 맵의 좌표계 상에서의 x축, y축, z축 좌표 및 요(yaw), 롤(roll), 피치(pitch) 값을 기반으로 상기 가상 컨텐츠를 상기 3차원 가상 공간 맵에 배치할 수 있다.

아울러, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 3차원 가상 공간 맵의 좌표계 상에서의 x축, y축, z축 좌표 및 요(yaw), 롤(roll), 피치(pitch) 값을 기반으로 사고 발생 지점의 정확한 공간 좌표를 인식하여 제공할 수 있다.

디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 각각의 CCTV 장치(100)로부터 사고 발생 정보가 수신되는 경우, 비상 알림을 수행함과 동시에 사용자 단말(300)이나 재난 대응 기관(400)으로 사고 발생 지점의 정확한 좌표 정보를 포함하는 사고 발생 정보를 제공함으로써, 해당 감시 영역에서의 사고 발생에 대한 비상 상황 알림을 수행하여, 상기 사고 발생에 대한 신속한 대처를 수행할 수 있도록 한다.

CCTV 장치(100)은 예를 들어, 빌딩, 학교, 관공서, 공공장소, 도로, 지하도, 지하철역 등과 같은 다양한 장소에 설치되며, 미리 설정한 감시 영역을 촬영한 CCTV 영상을 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)로 전송하여, 해당 감시 영역의 객체추적, 범죄예방, 교통 관제, 화재 진화 등을 수행할 수 있도록 한다.

또한, 각각의 CCTV 장치(100)은 해당 CCTV 장치(100)이 위치하는 위치정보, 타 CCTV 장치(100)과 구별되기 위한 고유의 식별정보(ID)가 부여되며, 상기 촬영한 CCTV 영상을 CCTV 장치의 해당 위치정보 및 해당 식별정보와 함께 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)로 전송함으로써, 각 감시 영역에 대한 모니터링을 수행할 수 있도록 한다.

각각의 CCTV 장치(100)은 카메라, 적외선 카메라, 열화상 카메라 중 적어도 하나로 구비될 수 있고, CCTV 장치(100)은 주변의 감시 영역을 촬영하여 복수의 영상 프레임들을 생성할 수 있다.

디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 감시 영역에서의 사고 발생을 감지할 수 있도록 구현하며, 이를 위해 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 도 3에 도시된 바와 같은 감시 영역의 디지털 트윈 가상 모델 정보와 감시 영역의 실제 속성 정보를 함께 획득한다.

이를 위해, 도 2를 참조하면 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 CCTV 영상 수신부(210), 디지털 트윈 가상 모델 정보 생성부(220), 속성정보 매핑부(230), 사고 발생 판단부(240) 및 사고 발생 정보 알림부(250)를 포함할 수 있다.

일 실시예로, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 표준화된 소프트웨어 업데이트를 관리하고, 전체적인 CCTV 기반의 사고 감지 시스템의 운영을 실행할 수 있다. 일 예로, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 본 발명의 사고 감지 시스템을 이용하여 범죄자 추적, 건물 붕괴, 화재 발생 진압 등을 집행하는 국가 기관 서버일 수 있으며, 여러 필요에 따라 사설 기관에 구비된 서버일 수도 있다.

CCTV 영상 수신부(210)는 복수의 감시 영역 각각에 설치된 CCTV 장치(100)으로부터 해당 감시 영역을 촬영한 CCTV 영상을 수신할 수 있다. 여기서, CCTV 장치(100)과 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 유무선 통신망을 통해 연결될 수 있고, 유선망은 케이블망이나 공중 전화망과 같은 인터넷 망을 포함할 수 있고, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE(Long Term Evolution), 와이브로망, 액세스 포인트 등을 포함할 수 있다.

디지털 트윈 가상 모델 정보 생성부(220)는 각 감시 영역에 사고가 발생하지 않았던 정상적인 시점의 영상들을 기반으로 디지털 트윈 가상 모델 정보를 생성할 수 있다. 구체적으로, 각 감시 영역마다 사고가 발생하지 않았던 정상 시점의 영상을 디지털 트윈 가상 모델 정보로서 저장할 수 있다.

이때, 디지털 트윈 가상 모델 정보 생성부(220)는 디지털 트윈 가상 모델 정보와 함께 감시 영역에 있는 객체들의 속성 정보를 매핑하여 저장할 수 있다. 여기서, 객체는 감시 영역에 존재하는 객체로서 예를 들어, 벽, 전광판, 광고판, 개찰구, 출입문, 소화전, 택배함 및 사물함 중 적어도 하나일 수 있다.

속성 정보는 객체의 사이즈, 위치, 색상, 시계열 변동 정보 및 적어도 하나일 수 있다. 도 4는 디지털 트윈 가상 모델 정보 생성부(220)에서 검출하여 생성하는 객체 정보 및 객체 이미지의 일 예를 도시한다.

속성정보 매핑부(230)는 CCTV 영상의 프레임 속 픽셀 정보와 속성 정보를 매핑하여 저장할 수 있다.

속성정보 매핑부(230)는 예를 들어, 지하철 개찰구 영역 주변의 감시영역을 사고가 발생하지 않은 시점에 촬영한 프레임 영역에서 개찰기, 벽, 사물함을 각 객체의 명칭과 위치 정보를 픽셀 정보와 함께 매핑하여 저장할 수 있다. 여기서 위치 정보는 해당 감시 영역에 대응하는 맵의 좌표정보일 수 있다.

사고 발생 판단부(240)는 실시간으로 CCTV 장치(100)으로부터 수신되는 CCTV 영상을 디지털 트윈 가상 모델 정보를 기반으로 분석하여 사고 발생 여부를 판단할 수 있다.

이때, 사고 발생 판단부(240)는 CCTV 장치(100)으로부터 제1 영상 프레임 내지 제N 영상 프레임을 순차적으로 수신하여 사고 발생 여부를 실시간으로 판단할 수 있다.

일 실시예로, 사고 발생 판단부(240)는 영상 프레임으로부터 화재 발생 영역, 건물 붕괴 영역, 타겟 객체 출현 영역 중 적어도 하나를 검출할 수 있다. 도 5는 사고 발생 판단부(240)에서 디지털 트윈 가상 모델 정보와 실시간으로 수신된 CCTV 영상 중 한 프레임을 비교하며 해당 위치의 감시 영역에서 발생된 사고 종류를 분석하기 위한 일 예의 개념도이다.

또한, 사고 발생 판단부(240)는 딥러닝 기반 예컨대, CNN 인공 신경망 기반의 분석을 이용하여 영상 프레임으로부터 화재 발생 영역, 건물 붕괴 영역 및 타겟 객체 출현 영역 중 적어도 하나를 검출할 수 있다.

예를 들면, 사고 발생 판단부(240)는 지하도 사물함 영역에 해당하는 픽셀에 대응하는 디지털 트윈 가상 모델 정보와 동일한 픽셀에 대응하는 실시간 수신된 CCTV 영상을 비교한 결과, CCTV 영상이 디지털 트윈 가상 모델 정보와 동일하지 않은 경우, 사고 발생 상황으로 판단할 수 있다.

사고 발생 판단부(240)는 일단, 실시간 CCTV 영상이 디지털 트윈 가상 모델 정보와 동일하지 않은 경우, 해당 감시 영역에 사고가 발생한 것으로 판단하고, 어떠한 사고가 발생한 것인지 분류할 수 있다.

즉, 사고 발생 판단부(240)는 해당 감시 영역에 사고가 발생한 것으로 판단된 경우, 화재가 발생한 것인지, 건물이 붕괴된 것인지, 타겟이 출현한 상황인지 판단할 수 있다. 이를 위해, 사고 발생 판단부(240)는 CNN 기반 인공지능 모델을 이용할 수 있다.

반대로, 사고 발생 판단부(240)는 실시간 CCTV 영상이 디지털 트윈 가상 모델 정보와 동일한 것으로 판단된 경우, 아무 사고도 발생하지 않은 것으로 판단할 수 있다.

일 실시예로, 발생된 사고 종류가 타겟 객체 출현인 경우, 사고 발생 판단부(240)는 CCTV 장치(100)의 카메라 유닛 단위로 특정 객체에 대한 분석을 통한 특징 정보 검출과 이동 방향 예측이 가능하고, 예측되는 이동 방향에 구비된 유닛에 특징 정보를 연계 공유함으로써 특정 객체를 연속적으로 실시간 추적할 수도 있다.

이를 위해, 사고 발생 판단부(240)는 외부로부터 특정 객체에 관한 특징 정보와 함께 추적 명령 신호를 수신할 수 있다. 일 예로, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)로부터 어떠한 특징 정보를 갖고 있는 특정 객체를 검출하고, 그를 연계 추적하라는 명령 신호를 수신할 수 있다.

이에, 사고 발생 판단부(240)는 수신된 객체에 관한 특징 정보를 기반으로 상기 영상 프레임들에서 특정 객체를 검출할 수 있다.

일 실시예로, 사고 발생 판단부(240)는 객체에 관한 특정 정보와 영상 프레임 내의 개체 특성을 비교하여 유사성을 판단하고, 상기 유사성 판단 결과 유사성이 인정될 경우, 동일 개체로 판단할 수 있다.

이를 위해, 사고 발생 판단부(240)는 특정 객체가 사람인 경우, 키, 성별 및 걸음걸이 중 적어도 하나를 토대로 사람 검출용 데이터를 검출할 수 있다. 또한, 특정 객체가 사람인 경우, 사람에 대한 착용 중인 옷의 색상 및 패턴 데이터를 검출할 수 있다.

일 실시예로, 사고 발생 판단부(240)는 특정 객체가 차량인 경우, 차량의 종류, 색상 및 번호판 등의 정보를 토대로 차량 검출용 데이터를 검출할 수 있다.

일 실시예로, 사고 발생 판단부(240)는 특정 객체가 이륜차인 경우, 이륜차의 종류, 색상, 헬멧 및 번호판 등의 정보를 토대로 이륜차 검출용 데이터를 검출할 수 있다.

그리고, 사고 발생 판단부(240)는 카메라 모듈의 팬 틸트 및 줌 제어를 통해 상기 특정 객체의 특정정보를 추출할 수 있다.

더 나아가, 사고 발생 판단부(240)는 복수의 상기 영상 프레임들을 기반으로 실시간으로 변동하는 특정 객체의 특징 정보를 분석하여 상기 특정 객체의 이동방향을 예측할 수 있다.

일 실시예로, 특정 객체의 이동수단, 지난 이동 경로, 현재 위치 및 이동 속도 정보 중 적어도 하나를 기반으로 특정 객체의 다음 이동방향을 예측할 수 있다. 이를 위해, 사고 발생 판단부(240)는 카메라 모듈과 MCU 외에 다른 물리적 측정장비를 더 포함할 수 있다.

특히, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술을 통해 사고 발생 지점에 대응하는 공간 좌표를 검출하여 제공할 수 있다.

디지털 트윈 가상 모델의 공간 좌표는 실제 공간의 좌표와 매핑된 정보로서, 디지털 트윈 가상 모델이 생성되는 시점에 함께 생성되어 미리 데이터베이스에 저장된 정보일 수 있고, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 공간 좌표와 매핑된 실제 공간의 위치 정보를 출력할 수 있다.

그리고, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 예측된 이동 방향에 근접한 다른 CCTV 장치(100)으로 추적 명령 신호와 함께 특징 정보를 송신할 수 있다.

이를 위해, CCTV 장치(100)은 근접하는 다른 CCTV 장치(100)에 관한 정보를 미리 저장하고 있을 수 있고 일 예로, 동일한 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)하에 관리되는 CCTV 장치(100)들과 자신을 중심으로 기 설정된 근거리 이내에 구비된 CCTV 장치(100)들의 네트워크 주소를 미리 저장하고 있을 수 있다.

그리고, CCTV 장치(100)은 다른 CCTV 장치(100)으로 특징 정보를 전송할 때, 정보를 텍스트(txt) 파일의 간단한 형태로 전달할 수 있다.

한편, 시간에 따라 위치가 변동하는 객체는 시간에 따라 번지는 화재나 불꽃일 수도 있다. 이에, 사고 발생 판단부(240)는 화재가 어느 위치로 번지는지 판단하여 구체적인 화재 상황 정보를 제공해줄 수 있다.

사고 발생 정보 알림부(250)는 사고가 발생한 것으로 감지된 경우, 해당 감시영역에 대한 사고 발생정보를 생성하고, 상기 생성한 사고 발생정보를 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)로 전송함으로서, 해당 감시영역에서의 사고 발생을 신속하게 알려, 상기 사고 발생에 대한 신속한 대처를 수행할 수 있도록 한다.

여기서, 사고 발생정보는, 감시 영역의 실제 속성 정보인 구체적인 위치 정보, 위치 좌표 정보를 포함할 수 있고, 사고 발생 이미지 데이터를 포함할 수 있다.

이때, 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버(200)는 사용자 단말(300), 재난 대응 기관(400) 또는 이들의 조합으로 사고발생정보를 제공함과 동시에, 사고 발생에 대한 비상방송을 수행하게 된다.

이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

100: CCTV 장치
200: 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버
300: 사용자 단말
400: 재난 대응 기관

Claims (8)

1. 복수의 감시 영역 각각에 설치되어 상기 감시 영역을 촬영한 감시 영상을 획득하는 CCTV 장치; 및
   상기 CCTV 장치로부터 감시 영상을 수신하고, 상기 감시 영상을 상기 감시 영역에 대해 미리 생성된 디지털 트윈 가상 모델 정보와 비교하여 상기 감시 영역의 사고 발생을 감지하고, 사고 발생이 감지된 경우 상기 감시 영역의 실제 속성 정보를 기반으로 사고 발생 지점에 대응하는 공간 좌표를 검출하여 제공하는 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버를 포함하며,
   상기 디지털 트윈 가상 모델 기반 공간 좌표 인식 제공 서버는,
   복수의 상기 감시 영역 각각에 설치된 상기 CCTV 장치로부터 해당 감시 영역을 촬영한 CCTV 영상을 수신하는 CCTV 영상 수신부;
   상기 각 감시 영역에 사고가 발생하지 않았던 정상적인 시점의 영상들을 기반으로 디지털 트윈 가상 모델 정보를 생성하며, 상기 디지털 트윈 가상 모델 정보와 함께 상기 감시 영역에 있는 객체들의 속성 정보인 사이즈, 위치, 색상, 시계열 변동 정보 중 적어도 하나를 매핑하여 저장하는 디지털 트윈 가상 모델 정보 생성부;
   상기 CCTV 영상의 프레임 속 픽셀 정보와 상기 감시 영역을 사고가 발생하지 않은 시점에 촬영한 프레임 영역에서 상기 감시 영역에 있는 각 객체의 명칭과 위치 정보를 함께 매핑하여 저장하는 속성정보 매핑부;
   상기 CCTV 장치로부터 실시간으로 수신되는 CCTV 영상을 상기 디지털 트윈 가상 모델 정보를 기반으로 분석하여 사고 발생 여부를 실시간으로 판단하되, 상기 디지털 트윈 가상 모델 정보와 동일한 픽셀에 대응하는 실시간 수신된 상기 CCTV 영상을 비교한 결과 상기 CCTV 영상이 상기 디지털 트윈 가상 모델 정보와 동일하지 않은 경우에 사고 발생 상황으로 판단하는 사고 발생 판단부; 및
   사고가 발생한 것으로 판단된 경우, 상기 디지털 트윈 가상 모델 정보를 활용한 CCTV 기반 사고 발생 지점의 공간 좌표 인식 기술을 통해 상기 사고 발생 지점에 대응하는 상기 공간 좌표를 검출하여 제공하되, 상기 디지털 트윈 가상 모델 정보의 상기 공간 좌표와 매핑된 실제 공간의 위치 좌표 정보를 함께 제공하며, 상기 감시 영역의 속성 정보인 위치 정보, 좌표 정보, 사고 발생 이미지 데이터 중 적어도 하나를 포함한 사고 발생 정보를 출력하는 사고 발생 정보 알림부를 포함하는, 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템.
2. 제1항에 있어서,
   상기 사고 발생 판단부는,
   상기 판단에서 감시 영역에 사고가 발생한 것으로 판단된 경우, CNN 모델 기반으로 화재 발생, 건물 붕괴 및 타겟 객체 출현 중 적어도 하나를 판단하는, 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템.
3. 제2항에 있어서,
   상기 사고 발생 판단부는,
   상기 타겟 객체 출현의 경우, 상기CCTV 장치의 카메라 유닛 단위로 특정 객체에 대한 분석을 통한 특징 정보를 검출하고, 상기 검출된 특징 정보를 기반으로 이동 방향을 예측하며, 상기 예측된 이동 방향에 구비된 CCTV 카메라에 상기 특징 정보를 연계 공유함으로써 상기 특정 객체를 연속적으로 실시간 추적하는, 디지털 트윈 가상 모델을 활용한 CCTV 기반 사고 지점의 공간 좌표 인식 기술 시스템.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제