KR102104088B1 - Uwb 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템 - Google Patents

Abstract

본 발명은 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 관한 것으로서, 보다 구체적으로는 지능형 객체 추적 영상 감시 시스템으로서, UWB 신호를 송출하는 UWB 태그로부터 UWB 신호를 수신하는 리시버 모듈; 상기 수신한 UWB 신호를 이용해 객체 위치를 계산하는 위치 계산 모듈; 실시간 감시 영상을 촬영하며, 상기 위치 계산 모듈에서 계산된 객체 위치를 향하도록 제어되는 카메라 모듈; 상기 카메라 모듈에서 촬영된 감시 영상에서 인공지능 알고리즘을 이용해 객체를 검출하고, 검출된 객체에 상기 UWB 태그에 할당된 객체 ID를 매핑해, 객체 ID 별 데이터를 생성하는 영상 처리 모듈; 상기 영상 처리 모듈에서 생성된 데이터를 상기 객체 ID 별로 데이터베이스화하여 저장 모듈; 및 검색 조건에 포함된 감시 객체의 객체 ID를 이용해 저장된 데이터를 검색하고, 상기 감시 객체의 이동 동선에 따라 감시 영상을 재생하는 지능형 검색 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 따르면, UWB 기반 위치 추적 기술을 사용하여 객체의 정확한 위치를 파악해 객체를 향하도록 자동으로 카메라 모듈을 제어하여 지속적으로 대상 객체에 대한 실시간 감시 영상을 획득할 수 있고, UWB 기반 위치 추적 기술과 인공지능 기반의 객체 인식 기술을 융합 적용함으로써, 감시 대상 객체의 형상 정보를 인식해 정확한 감시 추적을 하고, 감시 객체가 사각지대를 지날 때, 카메라의 촬영 범위 밖으로 나갔다가 재진입할 때, 여러 카메라 사이를 이동할 때 등 기존 기술로는 추적이 어려울 때도, 연속성을 유지하면서 지속적으로 감시 객체를 추적하여 감시 영상을 획득할 수 있다.
또한, 본 발명에서 제안하고 있는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 따르면, 인공지능 기반으로 검출된 객체에 객체 ID를 매핑한 감시 영상을 포함하는 데이터를 생성하여, 객체 ID 별로 데이터베이스화하여 저장함으로써, 카메라 구분 없이 감시 객체를 기준으로 일관되게 감시 영상을 추적 재생할 수 있도록 하고, 이를 통해 간편하고 빠르게 필요한 영상을 재생할 수 있다.

Description

UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템{UWB-BASED LOCATION TRACKING AND AI COMBINED INTELLIGENT OBJECT TRACKING VIDEO MONITORING SYSTEM}

본 발명은 지능형 객체 추적 영상 감시 시스템에 관한 것으로서, 보다 구체적으로는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 관한 것이다.

CCTV 카메라를 이용한 영상 감시 시스템이 차량 단속 및 방범에 효과가 있음이 입증되면서 각종 범죄 해결과 예방을 위해 공원, 골목, 학교 주변, 실내 공간 등에 방범용 카메라가 설치되는 사례가 급증하고 있다. 카메라의 증가는 운영 인력과 비용의 증가를 수반하게 되는데, 대개의 경우 운영 요원은 최소한으로 운영되고 있으며 운영 요원의 상시적인 감시 업무는 집중력 저하를 유발하고 감시 효율을 떨어뜨리는 문제점이 있다.

최근에는 카메라에서 촬영하는 영상을 분석 및 처리하는 지능형 영상 감시 시스템이 제안되고 있다. 지능형 영상 감시 시스템은 주로 사람, 차량, 오토바이, 동물 등과 같은 피사체(객체)의 행동에 기반한 데이터의 획득이 가능한 시스템이다. 이를 통해, 객체의 분류, 객체의 침입, 사라짐, 배회, 쓰러짐, 출입 카운팅, 범죄행동 패턴 분석 등을 수행할 수 있다.

지능형 영상 감시 시스템은 영역 감시 과정에서 객체가 출현하면 객체의 식별력을 높이기 위하여 근접 촬영을 수행하거나, 이동 상황을 지속적으로 추적 촬영하는 형태로 발전하고 있다.

기존의 DVR(Digital Video Recorder), NVR(Network Video Recorder) 또는 VMS(Video Management System)는 카메라에서 제공하는 영상을 통하여 객체를 인식하고 지능형 분석기술을 이용하여 카메라를 제어해 객체를 추적하는 구조로 되어 있다. 객체를 따라가면서 촬영하도록 하는 기능이 내장된 카메라 또한 영상을 기반으로 하기는 마찬가지다. 이들 기술의 단점은, 객체가 영상에 진입하여야만 그때부터 추적이 가능하고, 객체가 카메라의 촬영 범위 진입 후 진출할 때까지의 추적에만 적합하며, 객체가 멀어질수록 정확도가 급격히 하락한다는 데에 있다.

최근에는 인공지능에 의한 영상분석기술이 발달하여 영상에서 주요한 객체(사람, 자동차, 개, 고양이 등)를 인식할 수 있고 그 객체의 행동, 예컨대 나타남, 사라짐, 쓰러짐, 침입 등을 판별할 수 있는 기술이 개발되기도 하였다. 이같이, 영상분석기술의 발달로 인해 객체를 인식하는 기술은 발전하였으나, 여전히 사각지대의 객체 추적에 대한 적당한 해결책은 없는 형편이다. 그나마 카메라를 많이 설치하여 이를 해결할 수는 있겠으나 그 비용 때문에 현실적으로 거의 불가능한 실정이다. 또한, 동일 객체가 카메라의 촬영 범위 밖으로 나갔다가 재진입하거나, 여러 카메라 사이를 이동할 때에, 동일한 객체로 인식되지 않아 연속성 있고 정확한 객체 추적이 어려운 한계가 있다.

하지만 고도의 보안이 요구되는 국가 기반시설이나, 중요 기술 기업, 연구소, 군부대 시설 등의 보안 요구는 계속 증가하고 있다. 또한, 보안 못지않게 안전에 대한 요구도 증가하고 있다. 예를 들면, 한여름에 유치원 차량에 아동이 방치되어 열기에 숨지는 사고가 발생한 사례가 있는데, 차량에서부터 어린이집 내부까지 아동의 위치를 추적하는 체계를 구축하여 놓으면 이와 같은 사고를 예방하는 데 큰 역할을 할 수 있을 것이다.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1468117호(발명의 명칭: 지능형 영상 감시 방법 및 그 장치, 등록일자: 2014년 11월 26일) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, UWB 기반 위치 추적 기술을 사용하여 객체의 정확한 위치를 파악해 객체를 향하도록 자동으로 카메라 모듈을 제어하여 지속적으로 대상 객체에 대한 실시간 감시 영상을 획득할 수 있고, UWB 기반 위치 추적 기술과 인공지능 기반의 객체 인식 기술을 융합 적용함으로써, 감시 대상 객체의 형상 정보를 인식해 정확한 감시 추적을 하고, 감시 객체가 사각지대를 지날 때, 카메라의 촬영 범위 밖으로 나갔다가 재진입할 때, 여러 카메라 사이를 이동할 때 등 기존 기술로는 추적이 어려울 때도, 연속성을 유지하면서 지속적으로 감시 객체를 추적하여 감시 영상을 획득할 수 있는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 인공지능 기반으로 검출된 객체에 객체 ID를 매핑한 감시 영상을 포함하는 데이터를 생성하여, 객체 ID 별로 데이터베이스화하여 저장함으로써, 카메라 구분 없이 감시 객체를 기준으로 일관되게 감시 영상을 추적 재생할 수 있도록 하고, 이를 통해 간편하고 빠르게 필요한 영상을 재생할 수 있는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템을 제공하는 것을 또 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템은,

지능형 객체 추적 영상 감시 시스템으로서,

UWB 신호를 송출하는 UWB 태그로부터 UWB 신호를 수신하는 리시버 모듈;

상기 수신한 UWB 신호를 이용해 객체 위치를 계산하는 위치 계산 모듈;

실시간 감시 영상을 촬영하며, 상기 위치 계산 모듈에서 계산된 객체 위치를 향하도록 제어되는 카메라 모듈;

상기 카메라 모듈에서 촬영된 감시 영상에서 인공지능 알고리즘을 이용해 객체를 검출하고, 검출된 객체에 상기 UWB 태그에 할당된 객체 ID를 매핑해, 객체 ID 별 데이터를 생성하는 영상 처리 모듈;

상기 영상 처리 모듈에서 생성된 데이터를 상기 객체 ID 별로 데이터베이스화하여 저장하는 저장 모듈; 및

검색 조건에 포함된 감시 객체의 객체 ID를 이용해 저장된 데이터를 검색하고, 상기 감시 객체의 이동 동선에 따라 감시 영상을 재생하는 지능형 검색 모듈을 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 카메라 모듈은,

PTZ 카메라(pan-tilt-zoom camera); 및

상기 위치 계산 모듈에서 계산된 객체 위치를 향하도록, 상기 PTZ 카메라의 팬, 틸트 및 줌 중 적어도 하나 이상을 제어하는 카메라 제어부를 포함할 수 있다.

더욱 바람직하게는, 상기 카메라 제어부는,

상기 감시 영상 내에 복수의 객체가 포함되면, 상기 UWB 태그에 부여된 우선순위에 따라, 상기 PTZ 카메라가 우선순위가 가장 높은 객체 위치를 향하도록 제어할 수 있다.

바람직하게는, 상기 위치 계산 모듈은,

TDOA(Time Difference Of Arrival) 위치 인식 알고리즘을 이용해 객체 위치를 계산할 수 있다.

더욱 바람직하게는, 상기 리시버 모듈은,

상기 저장 모듈 및 지능형 검색 모듈을 포함하는 영상 감시 서버의 시간을 동기화하며, 위치 계산용 타임 스탬프를 생성하여 상기 위치 계산 모듈에 전달할 수 있다.

바람직하게는,

상기 영상 처리 모듈은, 상기 검출된 객체의 위치 좌표, 형태 및 행동을 포함하는 데이터를 생성하며,

상기 지능형 검색 모듈은, 감시 객체의 객체 ID와 대응되는 데이터베이스에서, 저장된 데이터에 포함된 상기 감시 객체의 위치 좌표를 이용해 상기 감시 영상에서 감시 객체와 연관된 영상을 추출 분리하여, 상기 감시 객체를 기준으로 추출 분리된 영상을 재생할 수 있다.

더욱 바람직하게는, 상기 지능형 검색 모듈은,

상기 검색 조건에 대응되는 객체 ID 별 데이터에 포함되는 상기 감시 객체의 위치 좌표 및 감시 영상 킷값을 포함하는 정보로부터 상기 감시 객체의 이동 동선을 추정하고, 추정된 이동 동선에 따라 상기 감시 영상을 재생할 수 있다.

바람직하게는, 상기 리시버 모듈 및 카메라 모듈은,

일체로 구성되며, 위치 추적 카메라 장치로 구현될 수 있다.

본 발명에서 제안하고 있는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 따르면, UWB 기반 위치 추적 기술을 사용하여 객체의 정확한 위치를 파악해 객체를 향하도록 자동으로 카메라 모듈을 제어하여 지속적으로 대상 객체에 대한 실시간 감시 영상을 획득할 수 있고, UWB 기반 위치 추적 기술과 인공지능 기반의 객체 인식 기술을 융합 적용함으로써, 감시 대상 객체의 형상 정보를 인식해 정확한 감시 추적을 하고, 감시 객체가 사각지대를 지날 때, 카메라의 촬영 범위 밖으로 나갔다가 재진입할 때, 여러 카메라 사이를 이동할 때 등 기존 기술로는 추적이 어려울 때도, 연속성을 유지하면서 지속적으로 감시 객체를 추적하여 감시 영상을 획득할 수 있다.

또한, 본 발명에서 제안하고 있는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 따르면, 인공지능 기반으로 검출된 객체에 객체 ID를 매핑한 감시 영상을 포함하는 데이터를 생성하여, 객체 ID 별로 데이터베이스화하여 저장함으로써, 카메라 구분 없이 감시 객체를 기준으로 일관되게 감시 영상을 추적 재생할 수 있도록 하고, 이를 통해 간편하고 빠르게 필요한 영상을 재생할 수 있다.

도 1은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 장치 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 세부적인 구성을 도시한 도면.
도 3 및 도 4는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템을 구성하는 각 장치에 포함되는 모듈 및 기능을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 위치 계산 모듈에서 사용하는 TDOA 위치 인식 알고리즘을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 영상 처리 모듈의 실시간 영상분석을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 카메라 모듈의 제어 과정의 흐름을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 저장 모듈이 데이터를 객체 ID 별로 데이터베이스화하여 저장하는 과정의 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 저장된 데이터를 예를 들어 도시한 도면.
도 10은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 지능형 검색 모듈의 영상 재생 과정의 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 지능형 검색 모듈의 객체 추적 재생을 예를 들어 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 장치 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템은, UWB 태그(10), 위치 추적 카메라 장치(20) 및 영상 감시 서버(30)를 포함하여 구성될 수 있다.

UWB 태그(10)는, 초광대역(UWB) 통신 기술을 이용한 위치 추적을 위해 UWB 임펄스 신호를 지속적으로 송출할 수 있다. UWB 태그(10)는 각각의 사용자 즉, 감시 객체에 제공되는 태그로서, 출입 카드형, 배지형 등일 수 있다. UWB 태그(10)에는 각 태그를 식별하기 위한 ID가 부여될 수 있으며, 감시 우선순위를 부여하여 여러 감시 객체가 경합할 때 UWB 태그(10)에 부여된 우선순위에 따라 추적 감시가 이루어지도록 할 수 있다.

UWB 기반 위치 추적은, 500㎒에서 수 ㎓ 이상의 매우 넓은 주파수 대역을 사용하는 UWB 무선통신기술을 사용하며, 최근에는 GPS 없이 실내 등 좁은 공간에서 정밀하게 위치를 추적할 수 있는 용도로 개발되고 있다. UWB 태그(10)는, 데이터를 인코딩하여 임펄스를 발생하고, UWB 송신 안테나를 통해 UWB 임펄스 신호를 송신할 수 있다.

위치 추적 카메라 장치(20)는, 실시간 감시 영상을 촬영하는 카메라를 포함하며, UWB 임펄스 신호를 수신하는 리시버를 포함할 수 있다. 보안 지역 등 감시 대상 영역에 적어도 하나 이상의 위치 추적 카메라 장치(20)를 설치하고, 위치 추적 카메라 장치(20)가 객체를 추적 감시하는 감시 영상을 실시간으로 수집하도록 할 수 있다.

영상 감시 서버(30)는, 위치 추적 카메라 장치(20)에서 촬영된 감시 영상을 영상 처리 및 저장하고, 검색 및 재생할 수 있다. 이때, 영상 감시 서버(30)는, 검색 조건에 따라 객체를 검색하고, 검색된 객체를 추적하여 감시 영상을 재생할 수 있다.

도 2는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템은, 리시버 모듈(100), 위치 계산 모듈(200), 카메라 모듈(300), 영상 처리 모듈(400), 저장 모듈(500) 및 지능형 검색 모듈(600)을 포함하여 구성될 수 있다.

도 3 및 도 4는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템을 구성하는 각 장치에 포함되는 모듈 및 기능을 설명하기 위해 도시한 도면이다. 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 각 모듈은 위치 추적 카메라 장치(20)와 영상 감시 서버(30)에 포함될 수 있는데, 도 3 및 도 4에 도시된 바와 같이, 위치 추적 카메라 장치(20)는 리시버 모듈(100), 카메라 모듈(300) 및 영상 처리 모듈(400)을 포함하고, 영상 감시 서버(30)는 저장 모듈(500) 및 지능형 검색 모듈(600)을 포함할 수 있다. 이때, 위치 계산 모듈(200)은, 도 3에 도시된 바와 같이 위치 추적 카메라 장치(20)에 포함될 수 있으나, 도 4에 도시된 바와 같이 영상 감시 서버(30)에 포함될 수도 있다. 또한, 리시버 모듈(100)은, 위치 추적 카메라 장치(20)에 포함되어 카메라 모듈(300)과 일체로 구성될 수 있으나, 독립된 장치로 구현될 수도 있다. 실시예에 따라서, 영상 처리 모듈(400)은, 위치 추적 카메라 장치(20)와 영상 감시 서버(30)에 모두 포함될 수 있다. 이와 같이, 세부적인 모듈이 어떠한 형태의 장치에 포함되어 구현되는지는, 실시예에 따라 다양할 수 있다.

이하에서는, 도 2 내지 도 4를 참조하여, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템을 구성하는 각 구성요소에 대해 상세히 설명하도록 한다.

리시버 모듈(100)은, UWB 신호를 송출하는 UWB 태그(10)로부터 UWB 신호를 수신할 수 있다. 리시버 모듈(100)은, UWB 수신 안테나를 통해 감시 객체가 가진 UWB 태그(10)로부터 UWB 임펄스 신호를 수신하고, 수신한 데이터를 디코드할 수 있다. 즉, UWB 태그(10)는 지속적으로 UWB 임펄스를 송출하고, 리시버 모듈(100)은 이 신호를 수신하여 UWB 태그(10)의 위치를 계산하도록 위치 계산 모듈(200)에 전달할 수 있다. 보다 구체적으로, 리시버 모듈(100)은, 영상 감시 서버(30)의 시간을 동기화하며, 위치 계산용 타임 스탬프를 생성하여 위치 계산 모듈(200)에 전달할 수 있다.

또한, 리시버 모듈(100)은, 카메라 모듈(300)과 일체로 구현될 수 있으나, 별도의 장치로 구성되어 설치될 수도 있다. 리시버 모듈(100)은, 감시 대상 영역 내에 복수개 설치될 수 있으며, 정확한 위치 계산을 위해 적어도 3개 이상 설치될 수 있다. 하나의 리시버 모듈(100)에서 동시에 인식 및 추적 가능한 UWB 태그(10)의 개수는 1000개 정도이며, 리시버 모듈(100)은 UWB 태그(10)에 할당된 ID를 이용해 객체를 구분할 수 있다.

위치 계산 모듈(200)은, 수신한 UWB 신호를 이용해 객체 위치를 계산할 수 있다. 이때, 위치 계산 모듈(200)은, TDOA(Time Difference Of Arrival) 위치 인식 알고리즘을 이용해 객체 위치를 계산할 수 있다. TDOA 위치 인식 알고리즘은, 리시버 모듈(100)에 도착한 신호 간의 시간 차이를 정확하게 측정하여 신호를 발생하는 UWB 태그(10)의 위치를 계산하는 방법이다. 따라서 리시버 모듈(100) 간의 정확한 시간 동기화가 매우 중요하므로, 리시버 모듈(100)은, 영상 감시 서버(30)의 시간을 동기화할 수 있다. 즉, 영상 감시 서버(30)를 네트워크 타임 서버로 사용하여, 정확한 시간 동기화를 할 수 있다.

도 5는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 위치 계산 모듈(200)에서 사용하는 TDOA 위치 인식 알고리즘을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서는, TDOA 위치 인식 알고리즘을 이용하기 위해서, 최소 3개의 리시버 모듈(100)이 필요하다. 즉, 위치 계산 모듈(200)은 적어도 3개 이상의 리시버 모듈(100)로부터 위치 계산용 타임 스탬프를 전달받아 사용할 수 있다. 위치 계산 모듈(200)은, UWB 태그(10)에 할당된 ID 즉, 객체 ID 별로 인접한 3개의 리시버 모듈(100)로부터 각각 타임스탬프를 수신하고, TDOA 알고리즘에 의한 객체 위치 좌표를 계산할 수 있다.

카메라 모듈(300)은, 실시간 감시 영상을 촬영하며, 위치 계산 모듈(200)에서 계산된 객체 위치를 향하도록 제어될 수 있다. 보다 구체적으로, 카메라 모듈(300)은, PTZ 카메라(pan-tilt-zoom camera)(310), 및 위치 계산 모듈(200)에서 계산된 객체 위치를 향하도록 PTZ 카메라(310)의 팬, 틸트 및 줌 중 적어도 하나 이상을 제어하는 카메라 제어부(320)를 포함할 수 있다. 즉, 카메라 제어부(320)는, 위치 계산 모듈(200)에서 계산한 객체 위치 좌표를 전달받으며, 전달받은 객체 위치 좌표를 이용해 감시 영상에서의 제어 위칫값을 계산하여 카메라를 제어할 수 있다. 이때, 카메라 제어부(320)는, 이하에서 상세히 설명할 영상 처리 모듈(400)과 연동하여, 영상분석을 통해 검출된 영상 내의 객체 형태, 크기, 위치 등을 이용해 PTZ 카메라(310)를 제어할 수도 있다.

영상 처리 모듈(400)은, 카메라 모듈(300)에서 촬영된 감시 영상에서 인공지능 알고리즘을 이용해 실시간으로 객체를 검출하고, 검출된 객체에 UWB 태그(10)에 할당된 객체 ID를 매핑해, 객체 ID 별 데이터를 생성할 수 있다. 보다 구체적으로, 영상 처리 모듈(400)은, 딥러닝 기반으로 학습된 인공지능 알고리즘을 이용해, 객체 인식 및 검출을 수행할 수 있다. 이때, 목적에 따라 학습 데이터를 사람, 자동차, 동물 등 객체의 종류를 제한하여 학습함으로써, 최적화된 인공지능 알고리즘을 통해 객체 검출의 정확도와 속도 등 성능을 향상시킬 수 있다.

또한, 영상 처리 모듈(400)은, 인공지능 알고리즘에 의해 객체가 검출되면, 해당 객체에게 물리적으로 부여된 ID 즉, 해당 객체가 가진 UWB 태그(10)의 ID를 객체 ID로 하여, 검출된 객체와 객체 ID를 매칭할 수 있다. 그리고, 영상 처리 모듈(400)은, 검출된 객체의 위치 좌표, 형태 및 행동을 포함하는 데이터를 객체 ID 별로 생성할 수 있다. 여기서, 형태는 객체 검출 시 표시된 상자 등의 크기, 모양, 색상 등일 수 있고, 행동은 나타남, 사라짐 등의 행동 특성일 수 있다.

도 6은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 영상 처리 모듈(400)의 실시간 영상분석을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 영상 처리 모듈(400)은, 인공지능 알고리즘을 이용해 빨간색 상자와 같이 객체를 검출하고, 검출된 객체에 UWB 태그(10)에 할당된 객체 ID를 매핑할 수 있다. 검출된 객체 중에는 감시 대상이 아닌 객체가 포함될 수 있으므로, 감시 대상으로 UWB 태그(10)를 가진 객체에만 객체 ID가 #1, #2, #3 등으로 매핑될 수 있다.

이와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템은, 인공지능 객체 검출 결과와 UWB 기반 위치 추적에 의한 객체 위치 및 객체 ID를 서로 효과적으로 융합할 수 있다.

이때, 영상 처리 모듈(400)은, 실시간 영상분석을 통해 검출된 감시 영상 내의 객체 형태, 크기, 위치 등을 카메라 모듈(300)에 전달할 수 있고, 카메라 모듈(300)의 카메라 제어부(320)는 영상분석 결과를 이용해 PTZ 카메라(310)를 제어할 수 있다. 즉, 카메라 제어부(320)는, 감시 영상 내의 객체 형태, 크기, 위치 등을 이용해 영상에서의 PTZ 제어 위칫값을 계산하고, 이를 기초로 PTZ 카메라(310)를 제어할 수 있다.

또한, 카메라 제어부(320)는, 감시 영상 내에 복수의 객체가 포함되면, UWB 태그(10)에 부여된 우선순위에 따라, PTZ 카메라(310)가 우선순위가 가장 높은 객체 위치를 향하도록 제어할 수 있다. 즉, 영상 처리 모듈(400)의 실시간 영상분석 결과, 감시 영상 내에 복수의 감시 대상 객체가 포함되어 있으면, 카메라 제어부(320)는 UWB 태그(10)의 우선순위에 따라 PTZ 제어 위치값을 계산할 수 있다.

도 7은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 카메라 모듈(300)의 제어 과정의 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 카메라 모듈(300)의 카메라 제어부(320)는, 위치 계산 모듈(200)에서 계산된 객체 위치뿐 아니라, 영상 처리 모듈(400)의 실시간 영상분석 결과를 더 이용하여 PTZ 카메라(310)를 제어할 수 있다.

보다 구체적으로, 카메라 제어부(320)는, TDOA 알고리즘에 의해 계산된 객체 좌표를 위치 계산 모듈(200)로부터 전달받고, 영상 처리 모듈(400)의 실시간 영상분석 결과를 전달받아, 영상 내에서의 PTZ 제어 위치값을 계산할 수 있다. 그 다음, 감시 영상 내에 감시 객체가 하나이면, 계산된 PTZ 제어 위칫값을 이용해 PTZ 카메라(310)를 제어할 수 있다. 그러나 감시 영상 내에 감시 객체가 복수이면, 카메라 제어부(320)는, UWB 태그(10)에 부여된 우선순위 및 PTZ 카메라(310)와 객체 사이의 거리를 이용해 감시 우선 객체를 선택하고, 선택된 감시 우선 객체를 향하도록 하는 PTZ 제어 위칫값을 이용해 PZT 카메라를 제어할 수 있다.

저장 모듈(500)은, 영상 처리 모듈(400)에서 생성된 데이터를 객체 ID 별로 데이터베이스화하여 저장할 수 있다. 즉, 저장 모듈(500)은, 영상 처리 모듈(400)에서 생성된 데이터를 지능형 데이터베이스화할 수 있다. 보다 구체적으로, 물리적으로 인식된 객체 ID 별로 각각의 데이터를 구조적으로 저장함으로써, 감시 영상을 검색 및 재생할 때 객체를 기준으로 추적 재생이 가능하도록 할 수 있다.

도 8은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 저장 모듈(500)이 데이터를 객체 ID 별로 데이터베이스화하여 저장하는 과정의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서는, 영상 처리 모듈(400)과 저장 모듈(500)이 서로 연동하여, 감시 대상 객체에 대한 데이터를 구조화하여 저장할 수 있다. 즉, 검지 영역 및 검지 대상 이벤트 조건을 미리 설정해 두고, 영상 처리 모듈(400)이 카메라 모듈(300)에서 촬영된 감시 영상을 전달받아 실시간으로 영상을 분석할 수 있다. 이때, 미리 설정된 검지 영역에 객체가 진입하면, 영상 처리 모듈(400)이 감시 영상에서 객체를 인식해 검출하고, 진입, 진출 등의 행동을 분석하는 객체 분석과 객체 형태의 분석을 수행할 수 있다. 여기서, 영상 처리 모듈(400)이 분석하는 객체 형태는, 객체 크기, PTZ 카메라(310)의 앵글, 높이 변화 등에 따른 객체 변화 벡터값, 객체의 형태 값, 이러한 값을 통해 추출된 객체 행동 등을 포함할 수 있다. 이러한 분석 결과를 이용해, 객체가 차량, 사람, 동물인지 등 객체 종류를 구분하고, 객체의 형태 및 객체 행동을 구분하여, 그 결과를 저장 모듈(500)을 통해 객체 ID 별로 데이터베이스화하여, 지능형 데이터베이스로 저장할 수 있다.

도 9는 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 저장된 데이터를 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서는, 객체 ID 별로 데이터를 데이터베이스화하여 저장할 수 있다. 객체 ID #1의 데이터베이스에는, 객체 종류가 사람이고, 객체 형태는 노란색으로 구분되며, 객체의 이동에 따라 여러 대의 카메라 모듈(300)에 의해 촬영되므로 카메라 #1, #2, #6, #7 등 카메라 모듈(300)의 ID, 감시 영상을 식별할 수 있는 영상 킷값 등이 데이터로 저장될 수 있다. 이와 같이, 본 발명에서는 카메라 모듈(300)의 ID에 따라 감시 영상이 저장되는 것이 아니라, 객체 ID #1, 객체 ID #2 등 각 객체 ID 별로 데이터가 저장될 수 있다.

지능형 검색 모듈(600)은, 검색 조건에 포함된 감시 객체의 객체 ID를 이용해 저장된 데이터를 검색하고, 감시 객체의 이동 동선에 따라 감시 영상을 재생할 수 있다. 여기서, 검색 조건은, 감시 객체의 객체 ID 및 검색 일시 등을 포함할 수 있다.

도 10은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 지능형 검색 모듈(600)의 영상 재생 과정의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 지능형 검색 모듈(600)은, 객체 ID와 검색 일시를 검색 조건으로 입력받고, 객체 ID를 기준으로 구축된 도 9에 도시된 바와 같은 데이터베이스에서 검색 일시에 대응되는 데이터를 검색하고, 검색 일시를 포함하는 미리 정해진 시간 동안 객체 이동 동선 정보를 추출하고, 추출한 이동 동선 정보에 따라 감시 영상을 재생할 수 있다.

여기서, 지능형 검색 모듈(600)은, 검색 조건에 대응되는 객체 ID 별 데이터에 포함되는 감시 객체의 위치 좌표 및 감시 영상 킷값을 포함하는 정보로부터 감시 객체의 이동 동선을 추정하고, 추정된 이동 동선에 따라 감시 영상을 재생할 수 있다. 즉, 감시 객체의 위치 좌표와 감시 영상이 생성된 일시분초를 포함하는 킷값, 카메라 모듈(300)의 설치 위치 등을 이용해 이동 동선을 추정하고, 이로부터 여러 개의 카메라 모듈(300)에 의해 촬영된 감시 영상을 객체 기준으로 추적 재생할 수 있다.

또한, 지능형 검색 모듈(600)은, 감시 객체의 객체 ID와 대응되는 데이터베이스에서, 저장된 데이터에 포함된 감시 객체의 위치 좌표를 이용해 감시 영상에서 감시 객체와 연관된 영상을 추출 분리하여, 감시 객체를 기준으로 추출 분리된 영상을 재생할 수 있다. 특히, 감시 영상에 촬영된 객체가 복수일 경우, 감시 객체의 위치 좌표를 이용해 감시 객체를 기준으로 추적 재생을 할 수 있다.

도 11은 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에서, 지능형 검색 모듈(600)의 객체 추적 재생을 예를 들어 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템의 지능형 검색 모듈(600)은, 객체 ID #1을 검색할 때와 객체 ID #3을 검색할 때, 각각 해당 객체를 기준으로 추출 분리된 영상을 재생할 수 있다. 특히, PTZ 카메라(310)가 아닌 광각렌즈 등을 채용한 고정카메라를 이용하는 경우, 각 객체의 추적 촬영이 이루어지지 않으므로 추적 재생에 어려움이 있을 수 있다. 지능형 검색 모듈(600)은, 감시 객체의 위치 좌표를 이용한 영상의 추출 분리 및 재생을 통해, 객체 기준의 재생이 가능하도록 하고, 관리자의 추적 감시가 쉽게 할 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템에 따르면, UWB 기반 위치 추적 기술을 사용하여 객체의 정확한 위치를 파악해 객체를 향하도록 자동으로 카메라 모듈(300)을 제어하여 지속적으로 대상 객체에 대한 실시간 감시 영상을 획득할 수 있고, UWB 기반 위치 추적 기술과 인공지능 기반의 객체 인식 기술을 융합 적용함으로써, 감시 대상 객체의 형상 정보를 인식해 정확한 감시 추적을 하고, 감시 객체가 사각지대를 지날 때, 카메라의 촬영 범위 밖으로 나갔다가 재진입할 때, 여러 카메라 사이를 이동할 때 등 기존 기술로는 추적이 어려울 때도, 연속성을 유지하면서 지속적으로 감시 객체를 추적하여 감시 영상을 획득할 수 있다.

또한, 본 발명에 따르면, 인공지능 기반으로 검출된 객체에 객체 ID를 매핑한 감시 영상을 포함하는 데이터를 생성하여, 객체 ID 별로 데이터베이스화하여 저장함으로써, 카메라 구분 없이 감시 객체를 기준으로 일관되게 감시 영상을 추적 재생할 수 있도록 하고, 이를 통해 간편하고 빠르게 필요한 영상을 재생할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: UWB 태그
20: 위치 추적 카메라 장치
30: 영상 감시 서버
100: 리시버 모듈
200: 위치 계산 모듈
300: 카메라 모듈
310: PTZ 카메라
320: 카메라 제어부
400: 영상 처리 모듈
500: 저장 모듈
600: 지능형 검색 모듈

Claims (8)

1. 지능형 객체 추적 영상 감시 시스템으로서,
   UWB 신호를 송출하는 UWB 태그(10)로부터 UWB 신호를 수신하며, 감시 대상 영역 내에 적어도 3개 이상 설치되는 리시버 모듈(100);
   상기 수신한 UWB 신호를 이용해 객체 위치를 계산하는 위치 계산 모듈(200);
   실시간 감시 영상을 촬영하며, 상기 위치 계산 모듈(200)에서 계산된 객체위치를 향하도록 제어되는 카메라 모듈(300);
   상기 카메라 모듈(300)에서 촬영된 감시 영상에서 인공지능 알고리즘을 이용해 객체를 검출하고, 검출된 객체에 상기 UWB 태그(10)에 할당된 객체 ID를 매핑해, 객체 ID 별 데이터를 생성하는 영상 처리 모듈(400);
   상기 영상 처리 모듈(400)에서 생성된 데이터를 상기 객체 ID 별로 데이터베이스화하여 저장하는 저장 모듈(500); 및
   검색 조건에 포함된 감시 객체의 객체 ID를 이용해 저장된 데이터를 검색하고, 상기 감시 객체의 이동 동선에 따라 감시 영상을 재생하는 지능형 검색 모듈(600)을 포함하며,
   상기 리시버 모듈(100)은,
   TDOA 위치 인식 알고리즘을 위해, 상기 저장 모듈(500) 및 지능형 검색 모듈(600)을 포함하는 영상 감시 서버(30)를 네트워크 타임 서버로 사용하여, 상기 영상 감시 서버(30)의 시간을 동기화하며, 위치 계산용 타임 스탬프를 생성하여 상기 위치 계산 모듈(200)에 전달하고,
   상기 위치 계산 모듈(200)은,
   상기 UWB 태그(10)에 할당된 객체 ID 별로 인접한 3개의 리시버 모듈(100)로부터 각각 위치 계산용 타임 스탬프를 수신하고, TDOA(Time Difference Of Arrival) 위치 인식 알고리즘을 이용해 객체 위치를 계산하며,
   상기 영상 처리 모듈(400)은,
   목적에 따라 학습 데이터의 객체의 종류를 제한하여 딥러닝 기반으로 학습한 인공지능 알고리즘을 이용해 객체 인식 및 검출을 수행하며, 인공지능 알고리즘에 의해 객체가 검출되면 해당 객체가 가진 UWB 태그(10)의 ID를 객체 ID로 하여, 검출된 객체와 객체 ID를 매칭하고, 검출된 객체의 위치 좌표, 형태 및 행동을 포함하는 데이터를 객체 ID 별로 생성하되, 상기 형태는 객체 검출 시 표시된 상자 등의 크기, 모양 및 색상이고, 행동은 나타남 및 사라짐을 포함하는 행동 특성이고, 실시간 영상분석을 통해 검출된 객체의 위치 좌표, 형태 및 행동을 포함하는 데이터를 상기 카메라 모듈(300)에 전달하며,
   상기 카메라 모듈(300)은,
   PTZ 카메라(pan-tilt-zoom camera)(310); 및
   상기 위치 계산 모듈(200)에서 계산된 객체 위치를 향하도록, 상기 PTZ 카메라(310)의 팬, 틸트 및 줌 중 적어도 하나 이상을 제어하는 카메라 제어부(320)를 포함하고,
   상기 카메라 제어부(320)는,
   TDOA 알고리즘에 의해 계산된 객체 좌표를 상기 위치 계산 모듈(200)로부터 전달받고, 상기 영상 처리 모듈(400)의 실시간 영상분석 결과를 전달받아, 영상 내에서의 PTZ 제어 위치값을 계산하며, 감시 영상 내에 감시 객체가 하나이면 계산된 PTZ 제어 위칫값을 이용해 PTZ 카메라(310)를 제어하고, 감시 영상 내에 감시 객체가 복수이면, 상기 UWB 태그(10)에 부여된 우선순위 및 상기 PTZ 카메라(310)와 객체 사이의 거리를 이용해 감시 우선 객체를 선택하고, 선택된 감시 우선 객체를 향하도록 하는 PTZ 제어 위칫값을 이용해 PZT 카메라를 제어하는 것을 특징으로 하는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 영상 처리 모듈(400)은, 상기 검출된 객체의 위치 좌표, 형태 및 행동을 포함하는 데이터를 생성하며,
   상기 지능형 검색 모듈(600)은, 감시 객체의 객체 ID와 대응되는 데이터베이스에서, 저장된 데이터에 포함된 상기 감시 객체의 위치 좌표를 이용해 상기 감시 영상에서 감시 객체와 연관된 영상을 추출 분리하여, 상기 감시 객체를 기준으로 추출 분리된 영상을 재생하는 것을 특징으로 하는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템.
   
7. 제6항에 있어서, 상기 지능형 검색 모듈(600)은,
   상기 검색 조건에 대응되는 객체 ID 별 데이터에 포함되는 상기 감시 객체의 위치 좌표 및 감시 영상 킷값을 포함하는 정보로부터 상기 감시 객체의 이동 동선을 추정하고, 추정된 이동 동선에 따라 상기 감시 영상을 재생하는 것을 특징으로 하는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템.
   
8. 제1항에 있어서, 상기 리시버 모듈(100) 및 카메라 모듈(300)은,
   일체로 구성되며, 위치 추적 카메라 장치(20)로 구현된 것을 특징으로 하는, UWB 기반 위치 추적 및 인공지능 융합 지능형 객체 추적 영상 감시 시스템.

Images