KR20230151743A

KR20230151743A - 메타버스 환경에서의 cctv 통합 관제 시스템 및 그 동작 방법

Info

Publication number: KR20230151743A
Application number: KR1020220051466A
Authority: KR
Inventors: 송동호; 김기덕
Original assignee: 소프트온넷(주)
Priority date: 2022-04-26
Filing date: 2022-04-26
Publication date: 2023-11-02

Abstract

본 발명은 CCTV 카메라로부터 입력되는 비디오 영상에서 배경과 객체를 인공지능 기법을 이용하여 분리하고 분리된 객체의 동작과 움직임을 추적 인식하여 메타데이타로 저장하고, 이를 메타버스 플랫폼으로 전송한 후, 메타버스 기반의 가상공간에 표현하고, 인식된 객체의 비정상적인 움직임이 감지되는 경우에 한해 이를 선별적으로 관제하는 CCTV 통합 관제 시스템 및 그 동작 방법에 관한 것이다.

Description

메타버스 환경에서의 CCTV 통합 관제 시스템 및 그 동작 방법{System for CCTV Integrated Monitoring in Metaverse Environment and Driving Method Thereof}

본 발명은 실세계의 어떤 사물과 행위를 CCTV 카메라로 찍은 비디오 영상을 입력받고 이를 인공지능 딥러닝 기법을 이용하여 객체 및 그 객체의 행위를 인식한 후 이를 메타데이타 정보로 저장하고, 필요시 메타버스 가상공간 상에서 이를 재현할 뿐만 아니라 가상공간을 선택적으로 통합, 관제하는 시스템 및 그 동작 방법에 관한 것이다.

또한, 배경 및 인식된 객체를 3차원으로 모델링하고, 사람과 같이 이동가능한 객체들은 가상공간에서 아바타 형태로 표현하여 움직임을 재현하는 것을 목적으로 한다.

본 발명에서는 CCTV 카메라가 비정상적인 위급상황으로 판단되는 장면을 포착했을 때 인공지능 기술과 메타버스 기술을 이용하여 상황을 종합 판단함으로 인해 CCTV 기반의 통합 관제시스템에 적용할 수 있고, 또한, 통합 관제 시스템은 해당 사건·사고를 보다 쉽게 추적 관찰하고 응급 매뉴얼에 따라 보다 효과적으로 대처할 수 있는 서비스를 제공하는 것을 목적으로 한다.

최근, 메타버스가 사회적 이슈로 등장하면서 다양한 응용분야에서 서비스가 개시되고 있다. 메타버스(Metaverse)는　가공·초월을　의미하는　메타(Meta)와　세계를　의미하는　유니버스(Universe)의　합성어로, 가상과 현실이 융복합된 디지털 세계를 의미하는 것으로, 가상기술을 기반으로 현실감을 극대화한 실감미디어 서비스를 총괄하는 개념이다.

일반적으로, 메타버스는 현실 세계의 정보를 가진 디지털 세상으로 해석되며, 글로벌 팬데믹에 따른 비대면 문화에 따른 사회적 변환과 맞물려 다양한 서비스 및 시장이 확대되고 있는 추세로, 가상세계(Virtual Worlds), 증강현실(Augmented Reality), 라이프로깅(Lifelogging), 거울세계(Mirror Worlds) 등으로 구분된다.

요즘에, 수많은 CCTV가 우리 사회 전반에 설치되어 개인의 일상을 항상 모니터링하고 있고, 이를 위해 지자체들은 별도의 CCTV 관제센터를 설치하여 운영하고 있다.

기존 CCTV 영상관제에는 수많은 썸네일 영상이 하나의 디스플레이 화면을 분할하여 작게 표시함으로 인해 이를 관제사가 육안으로 사건, 사고의 상황을 정확히 찾아내기 어렵고, 실제 사건, 사고가 발생하는 지리적 공간을 신속하게 이해하기가 쉽지 않은 실정이고 또한, 관제사 1인이 감시하는 CCTV의 적정 대수를 초과하여 관제사의 피로와 관제 효율이 저하되는 문제점이 있다.

이러한 문제점을 극복하기 위해 2차원의 영상을 3차원으로 모델링하여 입체적으로 모니터링하는 방법이나 CCTV 영상내의 객체 검출 및 추적, 상황 인식 기법들이 다양하게 적용되는 지능형 CCTV 시스템에 대한 연구가 활발히 진행되고 있다.

도 1은 종래기술에 따른 3D 기반의 CCTV 관제 시스템은 CCTV 화면과 3D 환경 모델을 매핑한 결과를 도시한 도면으로, CCTV 화면을 3D 환경 모델로 생성하고 인식된 객체를 3D 환경의 가상위치에 실제 크기로 매핑하는 발명에 관한 것으로, 이는 단순히 움직이는 객체를 인식하여 표현한 것에 불과하고 실질적으로 객체의 행위를 강조하여 표시하거나 비정상적인 행위임을 관제사에게 명확하게 전달할 수 없는 문제점을 안고 있다.

한국 공개특허공보 제2022-0015056호

상기와 같은 문제점을 해결하기 위하여, 본 발명에서는 CCTV 카메라에 의해 촬영된 영상 내의 존재하는 객체, 즉, 사람이나 차량 등을 인식하고, 이들 객체의 움직임을 분석한 추적 데이터를 메타데이타로 표현하여 저장한다.

필요시 이를 메타버스 플랫폼에 의해 생성된 가상세계 내에 3D 모델링으로 표현된 아바타 및 주변 객체들로 재현하는 것을 목적으로 한다.

또한, 효율적인 영상 관제를 위하여 단순히 객체의 인식 수준을 넘어 객체의 움직임까지 추적하여 관제사가 발견하기를 원하는 사고나 범죄 등 행위에 기반하여 분석, 인식하고, 이 결과를 CCTV 카메라가 설치된 위치의 주변 거리, 건물, 사람, 가로등 등을 메타버스 3D 공간상에 모두 표현하는 것을 목적으로 한다.

게다가, 가상공간에 3D로 지리적 공간감을 표시함으로써, 이벤트를 탐지하고자 하는 관제사가 실제 공간의 사건 현장에서 사건을 보는 듯한 느낌을 줄 수 있도록 실제와 유사한 메타버스 공간에서 공간감을 가지면서 관제하는 것을 목적으로 한다.

상기와 같은 문제점을 해결하기 위해 본 발명에 따른 CCTV 통합 관제 시스템은 적어도 하나 이상의 CCTV 카메라, 유무선 네트워크, CCTV 카메라로부터 입력된 영상을 인공지능 딥러닝을 이용하여 객체 및 객체의 행위를 인식하는 객체 인식엔티티, 메타버스 플랫폼의 가상공간상에 인식된 객체의 행위를 재현하는 메타버스 제어엔티티, 및 상기 메타버스 제어엔티티에 의해 생성된 가상공간을 선별적으로 관제하는 통합 관제서버를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 상기 객체 인식엔티티는 CCTV 카메라로부터 입력되는 비디오 영상을 전처리하는 영상 전처리부, 상기 전처리된 영상에서 배경과 객체를 분리하는 영상 분류부, 분리된 객체의 종류를 인식하는 객체 인식부, CCTV 카메라가 위치하는 GPS좌표 혹은 CCTV 카메라가 부착된 위치정보를 이용하여 인식된 객체의 위치를 추정하는 위치정보 생성부, 인식된 객체의 움직임 및 행위를 인식하는 행위 인식부 및 인식된 객체 및 배경에 대한 레이블링 영상DB와 인식된 객체의 행위 정보를 포함하는 메타데이터 DB를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 상기 행위 인식부는 객체가 사람으로 인식된 경우 적어도 하나 이상의 관절의 움직임을 더 인식하고, 상기 메타데이터는 인식된 객체의 종류, 시간별로 이동한 위치 및 방향, 관절의 x,y 좌표 또는 인식 신뢰값 중 적어도 하나 이상인 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 상기 메타버스 제어엔티티는 상기 객체 인식엔티티로부터 제공되는 레이블링된 영상 DB를 통해 메타버스 기반의 가상공간을 생성하는 메타버스 공간 생성부, 상기 객체에서 움직임이 가능한 객체인지를 판단하고, 행위가 가능한 아바타 형태로 변환하여 생성하는 객체 생성부, 상기 메타데이터에 기초하여 객체를 메타버스 기반 가상공간에 매핑하는 메타버스 공간 매핑부, 상기 아바타의 움직임을 제어하는 객체 행위부 및 상기 아바타의 행위가 비정상적인 행동인지를 감지하고 위험 감지부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 상기 통합 관제서버는 복수의 상기 메타버스 제어엔티티에 의해 생성된 메타버스 기반의 가상공간을 통합 모니터링하는 관제 모니터링부, 상기 가상공간의 상태 정보에 따라, 비정상의 유형과 대책을 결정하는 위험 분석부, 상기 위험 분석부에서 위급한 상황에 대처하기 위한 응급 대응부, 상기 인식된 객체를 검색하여 표시하는 객체 검색부 및 CCTV 카메라를 원격에서 제어하는 CCTV 카메라 제어부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 복수의 상기 메타버스 제어엔티티들 간의 연동을 통해 객체의 이동 방향이 인접한 제어엔티티의 가상공간으로의 이동으로 예측되면 공간 이동을 시키는 메타버스 이동엔티티를 더 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV 통합 관제 시스템에서, 상기 메타버스 제어엔티티에 의해 생성된 메타버스 기반의 가상공간에 접속하는 가상공간 접속부를 더 포함하는 것을 특징으로 한다.

또한, 메타버스 플랫폼을 이용한 가상공간 상에서의 CCTV 통합 관제 방법은 CCTV 카메라로부터 비디오 영상 및 해당 영상의 위치정보를 입력받고, 입력된 영상을 전처리한 후 딥러닝을 이용하여 배경과 객체를 분리하여 인식하는 제1단계, 상기 인식된 객체의 종류와 움직임을 인식하여 메타데이터 DB에 저장하는 제2단계, 상기 위치 정보와 인식된 배경 정보를 이용하여 메타버스 기반의 가상공간을 생성하는 제3단계, 상기 인식된 객체를 아바타로 변환하여 상기 가상공간에 매핑하고 상기 인식된 객체의 움직임을 상기 변환된 아바타로 표현하는 제4단계 및 상기 가상공간의 화면을 통합 관제서버에서 선별적으로 관제하는 제5단계를 포함하는 것을 특징으로 한다.

또한, 메타버스 플랫폼을 이용한 가상공간상에서의 CCTV 통합 관제 방법에서, 상기 제2단계에서 상기 인식된 객체가 사람인 경우, 복수의 관절 움직임을 추적하여 행위를 인식하는 단계, 비정상적인 행위인지를 판단하는 단계 및 비정상적인 행위에 해당한다고 판단되면 이를 통합 관제서버로 통지하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 메타버스 플랫폼을 이용한 가상공간상에서의 CCTV 통합 관제 방법에서, 상기 제5단계는 상기 전송된 가상공간의 화면을 관제 모니터에 선별적으로 표시하고, 아바타의 행위가 비정상적인 행동으로 판정되는 경우, 상기 관제 모니터 화면에 강조하여 표시하고, 응급 매뉴얼에 따른 후속조치를 지시하는 단계를 더 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명에 따른 메타버스 기반의 CCTV 통합 관제 시스템에 의하면, CCTV가 설치된 거리, 주변 건물, 사람 등이 배치된 상황을 3D 그래픽으로 가상세계를 표현하므로 인해 관제사가 사건이 발생한 현장에 있는 것과 같은 공간감을 가지고 관제할 수 있도록 하는 선별 인공지능 에이젼트를 통하여, 중요한 사건·사고가 발생할 경우 이를 인식하여 선별적인 관제가 가능하며, 가상공간 상의 어떤 골목길을 관제사 아바타를 통하여 가상순찰을 수행할 수 있는 장점이 있다

또한, 실시간으로 선별 관제가 가능함에 따라 불필요한 CCTV 영상을 모두 저장할 필요가 없고, 주요 사건 사고에 한해 제한적으로 비디오 영상을 저장하므로 인해 대용량의 저장매체가 필요하지 않은 장점이 있다.

게다가, 본 발명에 따른 메타버스 기반의 CCTV 통합 관제 시스템에 의하면, CCTV 카메라 내의 주요한 객체를 움직임을 추적 및 인식함으로 인해, 사전에 사건·사고를 예방할 뿐만 아니라 자동적이고, 신속한 응급 대응조치를 강구할 수 있는 지능형 통합 관제의 장점이 있다.

도 1은 종래기술에 따른 CCTV 영상으로부터 3D 모델링 및 객체를 구분하여 표시한 도면이다.
도 2는 본 발명의 일실시예에 따른 메타버스 공간상에서 객체의 행위 재현 장치를 포함하는 메타버스 기반의 CCTV 통합 관제 시스템의 구성도이다.
도 3은 본 발명의 일실시예에 따른 객체 인식엔티티에 구비된 기능 모듈을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 메타버스 제어엔티티에 구비된 기능 모듈을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 사람의 관절 움직임을 인식하여 아바타로 표현한 구성도이다.
도 6은 본 발명의 일실시예에 따른 사람의 관절 움직임을 인식한 후 메타데이터로 표현한 도면이다.
도 7은 본 발명의 일실시예에 따른 통합 관제서버에 구비된 기능 모듈을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 메타버스 제어엔티티 간의 메타버스 공간을 통합하고 객체의 이동을 위한 메타버스 공간 이동엔티티의 개념도이다.
도 9는 본 발명의 실시예에 따른 CCTV 카메라로부터 입력된 영상을 인식하고,인식된 객체를 메타버스 기반의 메타버스 공간에 표시하고 관제하는 동작 흐름도이다.
도 10은 본 발명의 실시예에 따른 사람의 행위를 인식하고 이를 아바타로 매핑하여 표시하고 부가적으로 통합 관제서버로 전송하는 동작 흐름도이다.
도 11은 본 발명의 실시예에 따른 비정상적인 행위를 제어하는 통합 관제 서버에서의 동작 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 행위 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 만 아니라, 그 중간에 다른 구성을 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명에 따른 메타버스 기반의 CCTV 통합 관제 시스템 및 그 동작 방법에 관하여 첨부한 도면들을 참고하면서 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 메타버스 공간상에서 객체의 행위 재현 장치(20)를 포함하는 메타버스 기반의 CCTV 통합 관제 시스템(10)의 구성도이다.

도 2에 도시된 바와 같이, 메타버스 공간상에서 객체의 행위 재현 장치(20)는 CCTV 카메라(100)로부터 입력되는 비디오 영상을 통해 배경 정보와 객체를 분리 인식하는 객체인식 엔티티(200), 인식된 객체의 메타데이터를 이용하여 메타버스 공간을 생성하는 메타버스 제어엔티티(300)로 구성된다.

또한, 객체 인식엔티티(200)와 메타버스 제어엔티티(300)는 별도의 GPU를 구비한 CCTV 카메라 내에서 임베디드 형태로 동작될 수 있고, 별도의 컴퓨팅 서버에 구비되어 유무선 네트워크에 연결된 복수의 CCTV 카메라로부터 비디오 영상들을 전송받아 동시에 처리할 수도 있다.

도 2를 참조하면, 복수의 객체의 행위 재현 장치(20)와 유무선네트워크(400)로 상호 연결되는 통합 관제서버(500)는 메타버스 제어엔티티(300)에서 생성된 가상공간을 선별적으로 표시하여 관제하는 기능을 담당한다.

또한, 메타버스 제어엔티티(300)에 의해 생성되는 메타버스 공간으로 상호 결합하여 객체들의 이동을 가능케하는 메타버스 이동엔티티(600)를 더 포함하여 구성된다.

특히, 메타버스 이동엔티티(600)는 복수의 상기 메타버스 제어엔티티(400)들 간의 연동을 통해 객체의 이동 방향이 인접한 제어엔티티에 의해 제어되는 가상공간으로의 이동으로 예측되면 객체를 공간 이동시키는 것을 특징으로 한다.

도 3은 본 발명의 일실시예에 따른 객체 인식엔티티에 구비된 기능 모듈을 나타낸 도면으로, 객체인식 엔티티(200)는 CCTV 카메라로부터의 비디오 영상의 스케일링, 정규화, 특징 추출 등의 전처리를 수행하는 영상 전처리부(210)와 비디오 영상에서 배경과 움직이는 객체를 분리하는 영상 분류부(220)를 포함한다.

또한, 객체인식 엔티티(200)는 영상 내에서 사람, 차량, 자전거, 동물 등과 같은 움직임이 있는 이동 객체 및 CCTV 카메라가 위치하는, 즉, CCTV 카메라 내 영상에서 건물이나 도로와 같은 주요 특징점에 해당하는 사물의 고정 객체를 인식하는 객체 인식부(230), 주요 객체에 대한 GPS 상의 좌표 정보를 추출하는 위치정보 생성부(240) 및 인식된 객체의 움직임을 감지하고 추적하는 기능을 수행하는 행위 인식부(250)를 포함한다.

특히, 행위 인식부(250)에서는 객체의 종류가 차량인 경우는 위치정보 생성부(240)로부터 GPS 좌표 정보를 이용하여 이동하는 방향 및 속도를 추적하여 인식할 수 있고, 사람인 경우는 주요 관절의 움직임을 추적하여 행위를 인식하는 것을 특징으로 한다.

본 발명의 또 다른 일실시예로, 행위 인식부(250)는 인간의 행동뿐만 아니라 차량 같은 경우에는 차량 간의 충돌을 감지하여 인식하는 것을 특징으로 한다.

여기에서, 객체 인식부(230) 및 행위 인식부(250)는 최근 다양한 인식 분야에서 활발히 실시되는 딥러닝 알고리즘을 이용하여 기계 학습을 통한 인식 기법을 채용할 수 있고, 본 발명에서는 이를 통한 구체적인 실시 수단에 대해서는 통상의 기술자 수준에서 자명한 기술에 해당하여 자세히 설명하지 않는다.

도 3을 참조하면, 메타데이터 DB(260)는 인식된 객체의 종류, 위치, 움직임의 방향, 관절의 움직임과 같은 속성값을 하나의 메타데이터로 영상별, 시간별로 저장하고, 레이블링 영상 DB(270)에는 인식된 배경 및 객체들을 레이블링하여 저장하는 기능을 제공한다.

도 4는 본 발명의 일실시예에 따른 메타버스 제어엔티티(300)에 구비된 주요 기능 모듈을 나타낸 도면이다.

도 4에 도시된 바와 같이, 메타버스 제어엔티티(300)는 메타버스 공간 생성부(310), 객체 생성부(320), 메타버스 공간 매핑부(330), 객체 행위부 (340) 및 위험 감지부(350)로 구성된다.

메타버스 공간 생성부(310)는 영상 분류부(220)에서 분류된 배경을 메타버스 공간의 배경으로 매핑하는 기능을 수행한다.

이때, 실제 배경을 2D 이미지 형태로 표현할 수도 있지만 필요에 따라 메타버스 3D 프레임 DB(360)에 저장되어 있는 공통의 메타버스 3D 프레임을 활용하여 표현할 수도 있다.

특히, CCTV카메라가 설치된 주요한 지역인 경우는 별도의 3D 프레임으로 메타버스 기반의 가상공간을 사전에 생성하여 표현할 수도 있다.

객체 생성부(320)는 객체 3D 모델링 DB(370)에 저장된 객체의 속성정보에 기초하여 3D 형태로 모델링하여 변환하는 기능을 수행한다.

객체 3D 모델링 DB(370)에는 사람의 경우 성별, 연령 등에 따라 다양한 캐릭터를 갖는 아바타를 3D 모델로 저장되어 있고, 객체 인식 엔티티(200)에서 인식된 객체와 그 속성 정보를 통해 선택하여 메타버스 공간 내에 매핑할 수 있다.

본 발명에서는 사람의 캐릭터를 3D 모델로 표현한 것은 편의상 이하에서 '아바타'라 칭한다.

본 발명의 일실시예에 따르면, 상기의 아바타는 인간의 행동을 표현할 수 있는 관절의 구조를 3D로 모델링되어 관절의 각도, 방향 정보를 이용하여 사실적으로 표현이 가능하도록 설계될 수 있다.

메타버스 공간 매핑부(330)는 객체 생성부(320)에서 변환된 객체의 위치 및 움직임을 고려하여 원영상에서의 객체를 삭제하고 오버랩하는 기능을 수행한다.

객체 행위부(340)는 객체 생성부(320)에서 생성된 아바타의 행위를 표현하고, 제어하는 기능을 수행하는 수단으로, 행위 인식부(250)에 의해 인식된 행위 정보가 저장된 객체의 메타데이터를 이용하여 사람의 관절에 대응하는 아바타의 관절의 움직임을 x,y 좌표를 이용하여 제어하여 유사한 행위를 재현한다.

도 5는 본 발명의 일실시예에 따른 사람의 관절 움직임을 인식하여 아바타로 표현한 구성도이다.

도 5(a)에 도시된 바와 같이, CCTV 카메라 내에서 인식된 객체가 사람인 경우에 사람의 행위를 주요 관절 부위를 중심으로 움직임을 인식할 수 있다.

도 5 (b),(c)에서 인식된 사람을 하나의 아바타로 표현하고, 인식된 관절의 움직임을 아바타에 동일하게 매핑하여 사람이 직접 움직이는 것과 같은 유사한 움직임으로 직접 표현할 수 있다.

또한, 도 5 (b)처럼, 주요 객체의 움직임을 강조하거나 객체의 추적을 용이하게 하기 위해 일부 배경을 흐리게 할 수도 있다.

계속해서 위험 감지부(350)에 관해 설명하기로 한다. 위험 감지부(350)는 아바타의 행위 중에서 비정상적인 행위를 감지하는 기능을 수행하는 수단으로, 아바타의 갑작스러운 행위, 예를 들면, 도로에서 눕는 행동이나, 복수의 아바타가 갑자기 뛰는 행동 등을 지속적으로 모니터링할 수 있고, 또한, 차량과 같은 객체인 경우는 도로를 벗어나거나 차량 간의 충돌과 같은 움직임을 인식할 수도 있다.

또한, 위험한 동작으로 판단되면 즉시 관제하는 기관, 경찰서 등으로 통지하여 적절한 대책을 수립할 수 있도록 할 수도 있다.

본 발명에서의 일실시예로, 가상공간을 위한 3D 프레임을 생성하거나 아바타의 행위와 같은 메타버스 환경을 제공하기 위해 널리 사용되는 언리얼 엔진 및 유니티 엔진을 이용할 수 있다.

이러한 도구를 이용하여 3D 그래픽 프레임 객체 및 아바타 등을 저작할 수 있고, 상기의 엔진을 활용하여 이들의 행위를 수행시키는데 활용할 수 있다.

도 6은 본 발명의 일실시예에 따른 사람의 관절 움직임을 인식한 후 메타데이터로 표현한 도면으로, 도 5(a)에서 비디오 영상에 나타난 이동 객체 즉, 두 사람(person1, person2)의 동작을 인식하여 메타데이터로 표현한 것이다.

도6에 도시된 바와 같이, 사람의 움직임의 부위를 총 18개(코, 좌안, 우안, 좌귀, 우귀, 좌어깨, 우어깨, 좌팔꿈치, 우팔꿈치, 좌손목, 우손목, 좌골반, 우골반, 좌무릅, 우무릅, 좌발목, 우발목, 목)로 나누어 인식하게 되는데, 각각의 부위에 대한 x,y 좌표 및 인식 신뢰값('score')를 저장한다.

또한, 인식과정에서 객체가 화면상에 가리는 부분에 대한 인식 신뢰값이 낮음을 알 수 있고, 이는 객체의 방향에 유추하는데 중요한 정보로 활용될 수 있다.

본 발명에서는 객체가 사람인 경우에는 총 18개의 부위에 대해 움직임을 인식하였으나, 컴퓨팅 파워나 신뢰 정도에 따라 특정 부위를 추가하거나 혹은 생략할 수 있으므로 이에 제한하지 않는다.

도 7은 본 발명의 일실시예에 따른 통합 관제서버(500)에 구비된 주요 기능 모듈들을 나타낸 도면으로, 통합 관제서버는 관제 모니터링부(510), 위험 분석부(520), 응급 대응부(530), 객체 검색부(540), CCTV 카메라 제어부(550) 및 가상공간 접속부(560)로 구성된다.

도7에 도시된 바와 같이, 관제 모니터링부(510)는 단순히 CCTV 카메라로부터 입력되는 복수의 비디오 영상을 실시간으로 표시하는 것이 아니라 메타버스 제어엔티티(300)로부터 생성된 메타버스 공간들을 선별적으로 모니터 화면에 활성화하여 표시하는 기능을 제공한다.

여기서, 선별 관제는 위험 감지부(350)에서 감지되지 않은 일상의 행위가 포함된 CCTV 영상은 관제 모니터링(510)에서 선택적으로 관제를 생략할 수 있다는 의미이고 이는 효율적인 관제를 위한 핵심적인 기술적 특징에 해당된다.

즉, 종래의 CCTV 통합 관제 시스템이 갖는 문제점 중 하나인 수많은 CCTV 영상들을 작은 크기로 분할하여 표시하므로 인해 관제사가 육안으로 사건,사고의 이벤트를 정확히 찾아내기 어려운 문제점을 극복하기 위해 본 발명에서는 위험 감지부(350)에서 위험한 객체들을 인지한 경우에 한해 해당 화면을 선별적으로 제공하여 선별 관제가 가능하고, 이 경우에 CCTV를 통한 원 영상에 대해 별도로 통합 관제서버로 전송하여 실시간으로 모니터링도 가능할 수도 있다.

또한, 비록 수백개의 화면이라 하더라도 중요한 위험 감지부(350)에 의해 사건사고가 발생하는 화면을 활성화시켜 표시할 수 있고, 불필요한 배경은 블러링(희석화)시키고, 사고,사건의 주체가 되는 객체를 분리 인식하여 하나의 아바타 형태로 강조하여 표시할 수도 있다.

또한, 위험 분석부(520)는 위험 감지부(350)에서 감지한 비정상적인 행동을 분석하여 위험 또는 응급 여부를 판단하는 것으로 낙상, 싸움, 특정 건물을 배회하는 등의 주변 여건을 종합적으로 고려하여 비정상적인 행동을 분석할 수 있다.

응급 대응부(530)는 분석된 위험에 따른 응급 메뉴얼에 따라 자동적으로 대처하는 기능을 제공한다.

또한, 객체 검색부(540)는 메타버스 공간에 존재하는 객체를 검색하여 표시하는 기능을 제공하고, CCTV 카메라 제어부(550)는 CCTV카메라를 원격에서 제어하는 기능을 제공한다.

또한, 가상공간 접속부(560)는 메타버스 제어엔티티(300)에서 생성한 가상공간에 새로운 아바타를 생성하여 접속하는 기능을 수행하는 것으로, 예를 들면, 관제사가 사건이 발생한 가상공간 내에 직접 아바타로 들어가 주변 공간의 상황을 직접 관찰하거나 순찰하는 등의 행위가 가능할 수 있다.

본 발명의 일실시예로, 통합 관제서버(500)에서는 객체 검색부(540)에 의해 검색된 객체가 존재하는 CCTV카메라를 원격으로 제어할 수 있으며 및 메타버스 제어엔티티(300)를 통해 해당 객체를 자동적이고 지속적인 추적하여 모니터링을 가능하게 할 수 있다.

도 8은 본 발명의 바람직한 실시예에 따른 메타버스 제어엔티티 간의 메타버스 공간 이동을 위한 메타버스 이동 엔티티(600)의 개념도이다.

도 8을 참조하면, 메타버스 이동 엔티티(600)는 하나의 CCTV 카메라에 의해 생성된 메타버스 공간과 다른 CCTV 카메라에 의해 생성되는 메타버스 공간이 상호 연결 가능하다면 이들 공간으로 상호 이동을 가능하게 하는 수단을 제공할 수 있다.

예를 들면, 사거리의 도로를 모니터링하기 위해서는 적어도 4개의 CCTV 카메라가 필요할 것이고, 객체가 좌회전 또는 우회전을 하면 해당 도로의 CCTV 카메라에서 해당 객체를 추적하여야 하나 이를 연동하기가 매우 어려운 문제점이 있다.

그러나, 본 발명에서는 메타버스 이동 엔티티(600)가 이동에 따른 해당 지역의 담당하는 메타버스 제어엔티티(300)들을 상호 연동시켜 해당 객체가 자연스럽게 공간 이동을 가능하게 할 수 있다.

또한, 메타버스 이동 엔티티(600)는 해당 객체가 이동한 위치정보를 기초하여 메타버스 제어엔티티(300)를 검색하고, 이동 가능한 공간이면, 현재의 메타버스 제어엔티티(300)의 객체 메타데이터 DB에 저장된 객체의 메타데이터 정보를 이동할 제어엔티티(300)로 전달할 수 있다.

이로 인해, 객체의 추가 인식없이 통합 관제서버(500)에서는 특정 객체에 대한 지속적이고 자동적인 모니터링이 가능할 수 있다.

도 9은 본 발명의 바람직한 실시예에 따른 CCTV 카메라로부터 입력된 영상을 메타버스 기반의 메타버스 공간에 표시하고 관제하는 동작 흐름도이고, 도 10은 본 발명의 바람직한 실시예에 따른 사람의 행위를 인식하고 이를 아바타로 매핑하여 통합 관제서버로 전송하는 동작 흐름도이다.

이하, 도 9,10를 참조하여 메타버스 공간상에서 객체의 행위 재현 장치(10) 및 이 장치를 포함하는 메타버스 기반의 통합 관제 시스템(20)에서의 동작 흐름을 설명하기로 한다.

먼저, AI 기반 CCTV 통합 관제를 위한 행위는 CCTV 카메라로부터 비디오 영상 및 영상 정보의 위치정보를 입력받고(S110), 입력된 영상을 전처리한 후 딥러닝을 이용하여 배경과 객체를 분리하여 인식하는 제1단계(S120)와 인식된 객체의 종류와 움직임을 인식하는 제2단계(S130), 상기 위치 정보와 인식된 배경 정보를 이용하여 메타버스 기반의 가상공간을 생성하는 제3단계(S140), 인식된 객체를 아바타로 변환하여 상기 가상공간에 매핑하고 인식된 객체의 움직임을 상기 변환된 아바타로 표현하는 제4단계(S150) 및 메타버스 기반의 가상공간의 화면을 통합 관제서버에서 선별 관제하는 제5단계(S160)로 이루어진다.

제1단계(S120)에서 CCTV 카메라가 이동하지 않고 고정된 경우에는 초기에 배경을 분리한 이후에는 추가적인 분리없이 단지 움직이는 객체만을 분리 추적하는 제2단계를 반복적으로 동작시킬 수 있고, 이때 분리된 배경은 메타버스 기반의 가상공간에서도 배경으로 그대로 활용될 수 있으며, 위치정보를 이용하여 3D 플랫폼으로 재구성될 수 있다.

또한, 제2단계(S130)에서는 객체의 종류로 이동 객체(예를들면, 사람, 동물, 차량 등)와 고정 객체(건물, 도로, 가로등 등)를 분리 인식하고, 특히 이동 객체의 경우는 시간별 움직이는 방향, 위치를 추적하는 추적 기능을 더 포함할 수 있다.

여기서, 사람의 경우는 움직임의 주체가 되는 관절의 위치 변화를 추적하여 행위 변화를 감지하는 단계(S131)와 인식된 행위의 유형이 비정상적인 행동인지를 판별하는 단계(S132)를 더 포함할 수 있다.

또한, 상기의 행위 변화에서 비정상적인 행위에 해당한다고 판단되면 반복적으로 추적하여 가상공간의 아바타로 매핑하여 표시(S133)하고 이를 통합 관제서버(500)로 통지하는 단계(S134)를 더 포함할 수 있다.

도 11은 본 발명의 바람직한 실시예에 따른 비정상적인 행위를 제어하는 통합 관제서버(500)에서의 동작 흐름도이다.

도 11을 참조하면, 통합 관제서버(500)는 메타버스 제어 엔티티(300)에서 생성된 객체의 움직임을 포함하는 가상공간의 화면을 전송받아 관제 모니터에 표시하는 단계(S161)와 아바타의 행위가 비정상적인 행동으로 판정되는 경우, 관제 모니터 화면에 강조하여 표시하고(S162), 응급 매뉴얼에 따른 후속조치를 지시하는 단계(S163)를 포함하는 것을 특징으로 한다.

지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주내에서 다양한 응용 및 변형을 수행하는 것이 가능할 것이다.

10: CCTV 통합 관제 시스템
20: 객체의 행위 재현 장치
100: CCTV 카메라
200: 객체 인식엔티티
300: 메타버스 제어엔티티
400: 유무선 네트워크
500: 통합 관제서버
600: 메타버스 이동엔티티
210: 영상 처리부 220: 영상 분류부
230:객체 인식부 240: 위치정보 생성부
250: 행위 인식부 260: 메타데이터 DB
270: 레이블링 영상 DB
310: 메타버스 공간 생성부
320: 객체 생성부
330: 메타버스 공간 매핑부
340: 객체 행위부 350: 위험 감지부
360: 메타버스 3D 프레임 DB
370: 객체 3D 모델링 DB
510: 관제 모니터링부
520: 위험 분석부 530: 응급 대응부
540: 객체 검색부 550: CCTV 카메라 제어부
560: 가상공간 접속부

Claims

메타버스 플랫폼을 이용한 가상공간상에서의 CCTV 통합 관제 시스템에 있어서,
적어도 하나 이상의 CCTV 카메라;
유무선 네트워크;
상기 CCTV 카메라로부터 입력된 영상을 인공지능 딥러닝을 이용하여 객체 및 객체의 행위를 인식하는 객체 인식엔티티;
메타버스 플랫폼의 가상공간상에 상기 인식된 객체의 행위를 재현하는 메타버스 제어엔티티; 및
상기 메타버스 제어엔티티에 의해 생성된 상기 가상공간을 선별적으로 관제하는 통합 관제서버;를 포함하는 것을 특징으로 하는 CCTV 통합 관제 시스템.
제1항에 있어서,
상기 객체 인식엔티티는 상기 CCTV 카메라로부터 입력되는 비디오 영상을 전처리하는 영상 전처리부;
상기 전처리된 영상에서 배경과 객체를 분리하는 영상 분류부;
상기 분리된 객체의 종류를 인식하는 객체 인식부;
상기 CCTV 카메라가 위치하는 GPS좌표를 이용하여 상기 인식된 객체의 위치를 추정하는 위치정보 생성부;
상기 인식된 객체의 움직임 및 행위를 인식하는 행위 인식부; 및
상기 인식된 객체 및 배경에 대한 레이블링 영상 DB와 인식된 객체의 행위정보를 포함하는 메타데이터 DB;를 포함하는 것을 특징으로 하는 CCTV 통합 관제 시스템.
제2항에 있어서,
상기 행위 인식부는 객체가 사람으로 인식된 경우 적어도 하나 이상의 관절의 움직임을 더 인식하고,
상기 메타데이터는 인식된 객체의 종류, 시간별로 이동한 위치와 방향,관절의 x,y 좌표 또는 인식 신뢰값 중 적어도 하나 이상인 것을 특징으로 하는 CCTV 통합 관제 시스템.
제2항에 있어서,
상기 메타버스 제어엔티티는
상기 객체 인식엔티티로부터 제공되는 레이블링된 영상 DB를 통해 메타버스 기반의 가상공간을 생성하는 메타버스 공간 생성부;
상기 객체에서 움직임이 가능한 객체인지를 판단하고, 행위가 가능한 아바타 형태로 변환하여 생성하는 객체 생성부;
상기 메타데이터에 기초하여 객체를 메타버스 기반 가상공간에 매핑하는 메타버스 공간 매핑부;
상기 아바타의 움직임을 제어하는 객체 행위부; 및
상기 아바타의 행위가 비정상적인 행동인지를 감지하고 위험 감지부;를 포함하는 것을 특징으로 하는 CCTV 통합 관제 시스템.
제1항에 있어서,
상기 통합 관제서버는
복수의 상기 메타버스 제어엔티티에 의해 생성된 메타버스 기반의 가상공간을 모니터링하는 관제 모니터링부;
상기 가상공간의 상태 정보에 따라, 비정상의 유형과 대책을 결정하는 위험 분석부;
상기 위험 분석부에서 위급한 상황에 대처하기 위한 응급 대응부;
상기 인식된 객체를 검색하여 표시하는 객체 검색부; 및
CCTV 카메라를 원격에서 제어하는 CCTV 카메라 제어부;를 포함하는 것을 특징으로 하는 CCTV 통합 관제 시스템.
제1항에 있어서,
복수의 상기 메타버스 제어엔티티들간의 연동을 통해 객체의 이동 방향에 인접한 제어엔티티의 가상공간으로의 이동으로 예측되면 공간 이동을 시키는 메타버스 이동엔티티를 더 포함하는 것을 특징으로 하는 CCTV 통합 관제 시스템.
메타버스 플랫폼을 이용한 가상공간상에서의 CCTV 통합 관제 방법에 있어서,
CCTV 카메라로부터 비디오 영상 및 해당 영상의 위치정보를 입력받고, 입력된 영상을 전처리한 후 딥러닝을 이용하여 배경과 객체를 분리하여 인식하는 제1단계;
상기 인식된 객체의 종류와 움직임을 인식하여 메타데이터 DB에 저장하는 제2단계;
상기 위치 정보와 인식된 배경 정보를 이용하여 메타버스 기반의 가상공간을 생성하는 제3단계;
상기 인식된 객체를 아바타로 변환하여 상기 가상공간에 매핑하고 상기 인식된 객체의 움직임을 상기 변환된 아바타로 표현하는 제4단계; 및
상기 가상공간의 화면을 통합 관제서버에서 선별적으로 관제하는 제5단계;를 포함하는 것을 특징으로 하는 CCTV 통합 관제 방법.
제7항에 있어서,
상기 제2단계에서 상기 인식된 객체가 사람인 경우, 복수의 관절 움직임을 추적하여 행위를 인식하는 단계, 비정상적인 행위인지를 판단하는 단계; 및 비정상적인 행위에 해당한다고 판단되면 이를 통합 관제서버로 통지하는 단계를 더 포함하는 것을 특징으로 하는 CCTV 통합 관제 방법.
제7항에 있어서,
상기 제5단계는 상기 가상공간의 화면을 관제 모니터에 선별적으로 표시하고, 아바타의 행위가 비정상적인 행동으로 판정되는 경우, 상기 관제 모니터 화면에 강조하여 표시하고, 응급 매뉴얼에 따른 후속조치를 지시하는 단계;를 더 포함하는 것을 특징으로 하는 CCTV 통합 관제 방법.
제7항 내지 제9항 중 어느 한 항의 방법을 수행하는 컴퓨터 판독 가능한 저장매체에 저장된 프로그램.