KR20240039721A

KR20240039721A - 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템

Info

Publication number: KR20240039721A
Application number: KR1020220118381A
Authority: KR
Inventors: 김종훈
Original assignee: 주식회사 세연테크
Priority date: 2022-09-20
Filing date: 2022-09-20
Publication date: 2024-03-27

Abstract

본 발명은 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에 관한 것으로, AI(Artificial Intelligence) 엔진을 구비한 멀티채널 AI 카메라를 중심으로 적어도 하나 이상의 레거시(legacy) IP 카메라를 등록하여 멀티채널 AI 카메라 그룹을 형성하며, 상기 멀티채널 AI 카메라 그룹에서 AI를 통해서 특정 조건을 만족하는 이벤트를 감지하고 선별관제채널을 형성하여 관제서버로 전송함으로써, 별도의 영상분석서버가 없어도 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에 관한 것이다.

Description

인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템{SYSTEM FOR MULTI-CHANNEL IMAGE SURVEILLANCE PROVIDING SELECTIVE SUPERVISION CHANNEL BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에 관한 것으로, 더욱 상세하게는 AI(Artificial Intelligence) 엔진을 구비한 멀티채널 AI 카메라를 중심으로 적어도 하나 이상의 레거시(legacy) IP 카메라를 등록하여 멀티채널 AI 카메라 그룹을 형성하며, 상기 멀티채널 AI 카메라 그룹에서 AI를 통해서 특정 조건을 만족하는 이벤트를 감지하고 선별관제채널을 형성하여 관제서버로 전송함으로써, 별도의 영상분석서버가 없어도 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에 관한 것이다.

CCTV(closed circuit television)를 포함한 영상 감시 장치는 카메라로 촬영한 영상을 압축하여 IP(Internet Protocol)를 기반으로 네트워크로 전송하는 이른바 IP 카메라가 대부분이다. 이처럼 IP 카메라는 카메라, 압축, IP기반 전송을 포함한 핵심적인 기능을 가지고 있으며, 필요에 따라 로컬에도 일정량의 저장매체를 구비할 수도 있다.

또한 IP 카메라는 자동차의 번호판 인식이나, 과속감지와 같은 기능을 부가함으로써, 다양한 분야에서 응용되고 있다. 지방정부나 공공기관 등에서 안전, 범죄예방, 관리, 교통 등을 위해서 수많은 카메라를 설치하고 해당 영상을 모니터링하고 있으며, 특히 고속도로, 국도 등 도로 교통 관련 기관에서는 ITS(Intelligent Transport Systems)용도로 널리 활용하고 있다.

이처럼 수많은 IP 카메라가 도처에 설치되어 있어도 정작 해당 영상으로부터 의미 있는 장면을 찾아내는 데에는 많은 인력이 필요하다. 즉, 제한된 수의 모니터링 요원이 수많은 채널을 모니터링하는 것이 현실적으로 불가능한 경우가 많이 존재한다.

이러한 모니터링 요원의 수를 줄이기 위해서 별도로 중앙집중식 선별관제 시스템을 구비하는 방안이 있지만, 여전히 더욱 더 숙달된 모니터링 요원의 필요성만 가중되고 있는 실정이다. 즉, 영상분석서버를 중앙에 설치하고 이를 이용한 선별관제 모니터링 시스템을 운영하더라도, 이러한 방식은 대규모의 투자가 필요한 상황이고, 영상분석이라는 더욱 전문화되고 숙달된 영역의 모니터링 요원을 확보하여야 한다는 부담이 가중되게 된다.

따라서 본 발명은 선별관제의 핵심기능을 도출하여 카메라단, 즉 에지(edge)단에서 선별관제를 수행하고, 기존의 영상 관리 시스템(VMS, video management system)에서도 에지단과 협업 하에 선별관제를 할 수 있도록 하여 인력, 공간 및 투자를 줄일 수 있는 방법을 제시하고자 한다.

이러한 관점에서 본 발명은 지능형카메라의 기능을 지원하기 위하여, 본 출원인이 보유한 원천기술(한국등록특허 제2251777호(2021.05.07))을 기반으로 새로운 방법을 제시하고자 한다.

본 발명은 실무에서 고가의 영상분석서버를 운영할 수 없는 많은 기관에서 활용 가능한 현실적인 대안이 되며, 이를 위하여 멀티채널 AI 카메라로 기존의 IP카메라도 지능화하고 영상분석서버를 대체할 수 있는 선별관제를 지원하는 방법을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

종래의 영상 감시 장치는 CCTV를 통해 촬영한 영상을 보안요원 등이 실시간으로 모니터링하는 것이 일반적이었다. 최근에는 영상 감시 장치에 영상분석 수단을 탑재하고, 상기 영상분석 수단을 통해 영상 감시 장치에서 촬영한 영상을 분석하여 모니터링하는 지능형 영상 감시 장치가 개발되어 상용화되고 있다.

이에 따라 한국등록특허 제2251777호(2021.05.07)는 프록시 기능을 수행하는 특정 영상 감시 장치에 지능형 엔진을 탑재하여 지능형 영상 감시 장치를 구성하고, 상기 지능형 영상 감시 장치에서 촬영한 영상이나 상기 지능형 영상 감시 장치에 등록된 적어도 하나 이상의 다른 영상 감시 장치로부터 수신한 영상에 대해서 객체인식 및 객체분석을 포함한 지능형 영상처리를 수행하고, 상기 수행한 지능형 영상처리 결과를 상기 지능형 영상 감시 장치에서 촬영한 영상이나 각 영상 감시 장치에서 촬영한 영상과 함께 네트워크를 통해서 외부의 클라이언트 단말, 타 영상감시 장치, 또는 관제서버로 전송하도록 하는 프록시 기능을 지원하는 지능형 영상 감시 장치 및 그 구동방법에 관한 것이다.

상기 선행기술은 프록시 기능을 지원하는 지능형 엔진을 탑재한 영상 감시 장치에 대한 기술적 특성을 기재하고 있으나, 본 발명은 AI 엔진을 구비한 멀티채널 IP 카메라를 중심으로 적어도 하나 이상의 레거시 IP 카메라를 등록하여 카메라 그룹을 형성하며, 상기 카메라 그룹, 즉 에지에서 AI를 통해서 특정 조건을 만족하는 이벤트를 감지하고 선별관제채널을 형성하여 관제서버로 전송함으로써, 별도의 영상분석서버가 없어도 선별적으로 관제가 가능하도록 한 것으로, 상기 선행기술에서는 이러한 기술적 특징에 대해서 기재하거나 시사 혹은 그 어떠한 암시도 없다는 점에서 본 발명과 현저한 차이점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 별도의 영상분석서버가 없어도 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템을 제공하는 것을 목적으로 한다.

또한 본 발명은 인공지능(AI) 엔진을 구비한 멀티채널 IP 카메라를 중심으로 적어도 하나 이상의 레거시 IP 카메라를 등록하여 카메라 그룹을 형성하고, 상기 형성한 카메라 그룹에서 AI 결과를 통해서 특정 조건을 만족하는 이벤트를 감지하고 그에 따라 선별관제채널을 형성하여 관제서버로 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 카메라 그룹에서 기 설치된 레거시 IP 카메라를 멀티채널 AI 카메라에 등록하여, 각 레거시 IP 카메라가 상기 멀티채널 AI 카메라에 AI 요청하여 AI 결과를 제공 받도록 함으로써, 각 IP 카메라를 지능화하는 것을 목적으로 한다.

또한 본 발명은 멀티채널 AI 카메라와 이에 등록된 IP 카메라를 하나의 카메라 그룹으로 지정하고, 에지단의 카메라 그룹에서 이벤트(event) 채널을 정의하여 전송함으로써 선별관제가 가능하도록 하는 것을 목적으로 한다.

또한 본 발명은 상기 카메라 그룹에 등록된 채널들을 원하는 조합으로 재 정의하여 재전송함으로써, 선별관제가 가능하도록 하는 멀티채널 AI 카메라를 제공하는 것을 목적으로 한다.

또한, 본 발명은 상기 카메라 그룹에 등록된 채널들을 디코딩하여 원하는 조합으로 다채널 복합영상을 구성하는 컴포지트채널로 구성하여 압축 전송함으로써, 선별관제가 가능하도록 하는 멀티채널 AI카메라를 제공하는 것을 목적으로 한다.

또한 본 발명은 멀티채널 AI 카메라에 등록한 각 IP 카메라에 원격의 관제서버나 관리단말에서 액세스할 수 있도록 프록시 릴레이를 지원하는 멀티채널 AI 카메라를 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 멀티채널 영상 감시 시스템은, 적어도 하나 이상의 IP 카메라; 및 AI 엔진을 구비한 멀티채널 AI 카메라;를 포함하며, 상기 적어도 하나 이상의 IP 카메라를 상기 멀티채널 AI 카메라에 등록하여 카메라 그룹을 형성하고, 상기 카메라 그룹에서 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 제공하는 것을 특징으로 한다.

상기 선별관제채널은, 미리 설정된 특정 조건에 맞는 이벤트를 감지하여, 감지된 이벤트를 포함하는 IP 카메라로 구성한 이벤트채널인 것을 특징으로 한다.

상기 AI 엔진은, 적어도 하나 이상의 AI 학습모델을 포함하며, 상기 AI 학습모델은 지도학습, 비지도학습, 또는 강화학습을 통한 학습모델을 포함하며, 각 상기 학습모델은 CNN, RNN, LSTM 또는 GAN을 통해서 분류, 회귀분석, 클러스터링, 연관성 분석 및 이상탐지를 수행하는 학습모델이며, 상기 학습모델은 차량의 번호판 인식, 얼굴인식, 차량탐지, 화재탐지, 교통정체, 행동인식, 과속단속, 움직임감지 또는 이들의 조합을 포함하는 것을 수행하는 것을 특징으로 한다.

상기 멀티채널 AI 카메라는, 자체 카메라와 상기 적어도 하나 이상의 IP 카메라로부터 각각 영상 데이터와 비디오 스트림을 수신하는 영상 수신 모듈; 상기 수신한 영상 데이터와 비디오 스트림을 AI 엔진에 적용한 결과에 따라 채널을 구성하는 멀티채널 구성 모듈; 및 상기 구성한 채널을 전송하는 멀티채널 전송 모듈;을 더 포함하는 것을 특징으로 한다.

상기 멀티채널 구성 모듈은, 상기 AI 엔진에서 처리한 AI 결과로부터 이벤트 발생의 발생을 감지할 경우 해당 영상으로 이벤트채널을 구성하는 이벤트채널부; 상기 AI 결과로부터 특정 조건에 맞는 자체 카메라 및 IP 카메라의 영상으로 다채널 복합영상을 구성하고 압축 전송하는 컴포지트채널부; 특정 IP 카메라에 대한 AI 분석을 수행한 다음에 해당 IP 카메라의 영상을 다시 전송하는 재전송채널부; 자체 카메라의 영상을 인코딩하여 전송하는 로컬채널부; 또는 이들의 조합 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

또한 상기 멀티채널 구성 모듈은, 자체 카메라 및 적어도 하나 이상의 IP 카메라를 각 채널로 등록하는 채널 등록부; 각 상기 채널들을 구성하거나 생성하기 위한 조건을 식별하는 채널구성 제어부; 상기 식별한 채널을 할당하기 위한 채널 스위칭부; 및 상기 생성한 각 채널을 인코딩하는 재 인코딩부;를 더 포함하여 구성되는 것을 특징으로 한다.

상기 멀티채널 AI 카메라는, 멀티채널 전송 모듈;을 더 포함하며, 상기 멀티채널 전송 모듈은, 멀티채널 다중화부; 패킷화부; 및 멀티채널 프록시 릴레이부;를 더 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일실시예에 따른 멀티채널 영상 감시 방법은, 적어도 하나 이상의 IP 카메라로부터 영상 데이터를 수신하는 단계; 및 AI 엔진을 구비한 멀티채널 AI 카메라에 IP 카메라를 등록하는 단계;를 포함하며, 상기 적어도 하나 이상의 IP 카메라를 상기 멀티채널 AI 카메라에 등록하여 카메라 그룹을 형성하고, 상기 카메라 그룹에서 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 제공하는 것을 특징으로 한다.

상기 멀티채널 영상 감시 방법은, 상기 영상 수신 단계를 통해서, 자체 카메라와 상기 적어도 하나 이상의 IP 카메라로부터 각각 영상 데이터와 비디오 스트림을 수신하는 영상 수신 단계; 멀티채널 구성 모듈에서 상기 수신한 영상 데이터와 비디오 스트림을 AI 엔진에 적용한 결과에 따라 채널을 구성하는 단계; 및 멀티채널 전송 모듈에서, 상기 구성한 채널을 전송하는 단계;를 포함하는 것을 특징으로 한다.

상기 채널을 구성하는 단계는, 상기 멀티채널 구성 모듈에서, 상기 AI 엔진에서 처리한 AI 결과로부터 이벤트 발생의 발생을 감지할 경우 해당 영상으로 이벤트채널을 구성하는 이벤트채널 구성 단계; 상기 AI 결과로부터 특정 조건에 맞는 자체 카메라 및 IP 카메라의 영상으로 다채널 복합영상을 구성하는 컴포지트채널 구성 단계; 특정 IP 카메라에 대한 AI 분석을 수행한 다음에 해당 IP 카메라의 영상을 다시 전송하는 재전송채널 구성 단계; 자체 카메라의 영상을 인코딩하여 전송하는 로컬채널 구성 단계; 또는 이들의 조합 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

상기 채널을 구성하는 단계는, 자체 카메라 및 적어도 하나 이상의 IP 카메라를 각 채널로 등록하는 채널 등록 단계; 각 상기 채널들을 구성하거나 생성하기 위한 조건을 식별하는 채널구성 제어 단계; 상기 식별한 채널을 할당하기 위한 채널 스위칭부; 및 상기 생성한 각 채널을 인코딩하는 재 인코딩 단계;를 더 포함하여 구성되는 것을 특징으로 한다.

상기 멀티채널 영상 감시 방법은, 상기 멀티채널 전송 단계;를 더 포함하며, 상기 멀티채널 전송 단계는, 멀티채널 다중화부; 패킷화 패킥 단계 및 멀티채널 프록시 릴레이부;를 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 인공지능기반 선별관제 채널을 제공하는 멀티채널 영상 감시 시스템은, 기 설치된 레거시 IP 카메라에 AI 기능을 부여하여 향후 AI 기능을 직접 구비하고 있지 않으면서도 AI가 지원되는 IP 카메라로 진화하는 효과가 있다.

또한 본 발명은 멀티채널 AI 카메라를 중심으로 기 설치된 레거시 IP 카메라를 등록하여 카메라 그룹을 지정함으로써, 상기 카메라 그룹의 각 채널별로 선별관제를 수행하도록 함으로써, 영상관제의 효율을 높일 수 있는 효과가 있다.

또한 본 발명은 개별 IP 카메라를 AI를 이용하여 선택적으로 선별관제채널에 포함함으로써, 영상 모니터링의 효율을 극대화할 수 있는 효과가 있다.

또한 본 발명은 고가의 영상분석 서버를 사용하지 않고, 단지 멀티채널 AI 카메라에 대한 소규모의 투자만으로도 선별관제 시스템을 구축한 것과 동일한 효과를 가지므로, 사설 관제센터를 포함한 중소규모의 관제센터에 용이하게 적용할 수 있는 효과를 가진다.

도 1은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라를 이용하여 멀티채널 AI 카메라 그룹을 에지에 형성하여 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템의 개념을 설명하기 위해 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에서 멀티채널 AI 카메라의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 영상 수신 모듈에 대한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 AI 엔진에 대한 블록도이다.
도 5a는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 구성 모듈(130)에 대한 블록도이다.
도 5b는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 구성 모듈(130)에 구비된 이벤트채널부의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 전송 모듈(140)에 대한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템의 멀티채널 AI 카메라에 대한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 방법의 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 인공지능기반 선별관제채널을 포함한 멀티채널 영상 감시 시스템에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

본 발명에 따른 IP 카메라는 영상 감시 장치라고도 하며, 카메라로 영상을 촬영하고 녹화하거나 IP기반의 네트워크로 전송하는 기능을 수행하는 것이다. 발명의 기술적 사상에 있어서, IP를 기반으로 전송하지 않고 다른 통신 프로토콜을 사용하여 전송하여도 본 발명의 기술적 사상에 대한 범위에 속하는 것으로 보아야 하는 것이 당연하다.

또한 본 발명에 따른 멀티채널 AI 카메라는 멀티채널 IP 카메라로서 AI 엔진을 구비하고 있다는 것을 의미한다. 여기서 AI 엔진은 그 처리하는 AI 알고리즘의 종류에 구애받지 않는다. 즉, 영상, 음성, 데이터 등에 대한 정보를 학습하고, 그 결과로 영상, 음성, 데이터, 또는 판정값(확률치 포함) 등을 출력할 수 있으며, 지도학습(supervised learning) 및 비지도학습(unsupervised learning)을 통한 알고리즘을 모두 포함한다.

상기 멀티채널 AI 카메라에서 상기 멀티채널은 복수의 IP 카메라에서 수신되는 영상데이터를 구분하여 복수의 채널로 나누거나 합쳐서 전송하는 것을 의미한다. 각 IP 카메라를 채널이라고 명명할 수 있으며, 각 IP 카메라의 채널을 다시 나누거나 합친 것도 채널로 명명할 수 있다.

이벤트채널은 적어도 하나 이상의 이벤트로 정의된 각 조건에 해당하는 채널을 묶어서 전송하는 채널로 선별관제채널에 해당한다. 또한 컴포지트(composite)채널은 멀티채널 AI 카메라에 등록된 각 개별 IP 카메라 및 로컬채널들을 조합 구성하여 별도로 재 인코딩하여 전송하는 복합채널이다.

도 1은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라(100)를 이용하여 카메라 그룹을 에지에 형성하여 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템(10)의 개념을 설명하기 위해 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템(10)은, 별도의 분석서버에 대한 필요성을 제거한다. 도면부호 100은 100A, 100B, 100N 등에 대한 대표번호이다.

이를 위해서 본 발명에 따른 멀티채널 영상 감시 시스템(10)은, 인공지능(AI) 엔진을 구비한 멀티채널 AI 카메라(100)와 상기 멀티채널 AI 카메라에 적어도 하나 이상의 IP 카메라(200)를 등록한 각 카메라 그룹으로 구성된다.

네트워크(제1 네트워크 혹은 제2 네트워크)에 접속된 적어도 하나 이상의 상기 카메라 그룹에서 AI 카메라는 자체 채널에 주변의 적어도 하나 상의 IP 카메라(200)를 등록하여 멀티채널을 형성한 멀티채널 AI 카메라(100)가 되고, 상기 멀티채널 AI 카메라(100)는 프록시 릴레이를 지원하여 원격의 관제서버(300)가 상기 등록된 개별적인 IP 카메라(200)에 접속할 수 있도록 구성한다.

즉, 멀티채널 AI 카메라(100)는 AI 엔진을 구비하고 있으면서, 주변의 IP 카메라(200)를 등록받아 카메라 그룹을 형성한다. 상기 카메라 그룹은 복수의 IP 카메라(200)를 포함하게 되며, 상기 복수의 IP 카메라(200)는 다시 복수의 채널로 구성되어 네트워크(제1 네트워크 및 제2 네트워크)를 통해서 관제서버(300)와 연결되도록 구성된다.

이때, 각 카메라 그룹의 각 IP 카메라(200)가 네트워크에 연결되어 있으면 프록시를 통해서 그룹이 형성될 수 있고, 이로써 각 IP 카메라(200)는 그 장소와 무관하게 하나의 멀티채널 AI 카메라(100)에 등록될 수 있으며, 하나의 카메라 그룹이 형성될 수 있다. 그리고 각 카메라 그룹은 네트워크를 통해서 관제서버(300)와 상호 인터랙션할 수 있도록 구성된다.

아울러 각 카메라 그룹은 각각의 멀티채널 AI 카메라(100)를 통해서 AI 엔진의 기능을 다른 카메라 그룹과 공유할 수 있다. 즉, 특정 멀티채널 AI 카메라(100B)의 AI 엔진이 제한된 AI 기능만 가지고 있다면, 다른 멀티채널 AI 카메라(100A)에 구비된 AI 엔진에 AI 기능을 요청하여 지원받을 수 있는 것이다.

본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템(10)은 멀티채널을 지원하고, AI 엔진에 대한 공유가 가능하며 프록시 릴레이를 통해 관제서버(300)나 관리자 단말(400)이 원격에서 개별 IP 카메라(200)에 접속이 가능하다.

예를 들어 카메라 그룹 #1 및 #2는, 제2 네트워크를 통해서 IP 카메라#1, #2를 멀티채널 AI 카메라(100A, 100B)에 등록하고, 제1 네트워크를 통해서 IP 카메라 #3, #4를 등록하여 구성할 수 있다.

또한 각 IP 카메라는 멀티채널 AI 카메라에게 AI 요청을 보내고, 그 결과로 AI 결과를 제공받을 수 있다. 이러한 방식으로 각 IP 카메라는 멀티채널 AI 카메라와 AI 엔진을 공유하게 된다. 각 IP 카메라는 멀티채널 AI 카메라의 내부 모듈들과 개별적인 네트워크 채널로 통신이 가능하다. 즉, 멀티채널 AI 카메라의 각 모듈은 별도의 IP 주소를 가지도록 구성되어, 멀티채널 AI 카메라는 마치 복수의 네트워크 장치를 결합한 장치로 구성될 수 있다.

한편, 카메라 그룹 #n은 모든 IP 카메라(200)가 제1 네트워크에 접속되어 있는 경우이다. 이는 카메라 그룹 #1, #2에서 IP 카메라가 서브 네트워크인 제2 네트워크에 일부 접속된 것과 대비되는데, 본 발명은 카메라 그룹을 형성할 때, 네트워크의 물리적인 위치나 구성에는 영향을 받지 않고 어떤 경우이건 그룹을 형성할 수 있도록 지원한다.

멀티채널 AI 카메라(100A)는 적어도 하나 이상의 AI 카메라(200)를 등록하여 AI 엔진을 공유하여 카메라 그룹 #1을 형성한다. 각 IP 카메라(200)는 AI 요청을 하고 그 결과로서 AI 결과를 제공받음으로써 지능화된다. 각 멀티채널 AI 카메라(100A)는 다른 멀티채널 AI 카메라(100B)와도 AI엔진을 공유할 수 있다. 예를 들어, 하나의 멀티채널 AI 카메라의 AI엔진이 제공하는 기능이 부족하여 인접한 카메라 그룹의 AI 기능을 활용하고자 하는 경우 다른 멀티채널 AI 카메라의 AI 엔진을 공유할 수 있다.

예를 들어, IP 카메라 #2에서 멀티채널 AI 카메라로 AI 기능에 대한 요청을 하면, 멀티채널 AI 카메라(100A)에서 AI 수행 결과를 제공한다. IP 카메라 #3에 대해서도 마찬가지이다.

본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템은 선별관제를 위해서 재전송채널, 컴포지트채널, 이벤트채널, 로컬채널, 등을 구분하여 제공한다.

여기서 재전송채널은 등록된 채널의 비디오 스트림에 AI 결과인 메타데이터를 결합하여 재전송하기 위한 채널이고, 컴포지트채널은 멀티채널 AI 카메라에 등록된 복수의 IP 카메라들과 상기 멀티채널 AI 카메라의 로컬 영상을 통합하여 재압축한 복합채널이다. 상기 재전송은 상기 비디오 스트림을 메모리에 저장하고 있다가 상기 AI 결과에 따라 재전송할 부분을 선택하여 해당 메타데이터와 결합한 후 재전송하는 것으로, 추가로 압축하여 인코딩할 필요가 없다.

또한 이벤트채널은 선별관제채널이며 특정 정의된 이벤트가 발생된 등록 채널 영상을 재전송하는 채널이다. 예를 들면, 모든 등록된 영상 채널에서 사람이나 자동차가 검출이 되면 일정 정차시간(dwelling time)동안 해당 채널이 나오게 하도록 조건을 설정할 수 있다. 상기 이벤트의 발생은 AI 결과에 따라 결정될 수 있다.

여기서 상기 로컬채널은 상기 멀티채널 AI 카메라의 (센서)영상을 압축하여 인코딩한 후 전송하는 채널이다.

이하에서는 멀티채널 AI 카메라의 구성에 대해서 더욱 자세하게 설명하고자 한다.

도 2는 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템에서 멀티채널 AI 카메라의 구성을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 멀티채널 AI 카메라(100)는 영상 수신 모듈(110), AI 엔진(120), 멀티채널 구성 모듈(130), 및 멀티채널 전송 모듈(140)을 포함하여 구성된다.

상기 영상 수신 모듈(110)은, 자체 카메라(센서)(200a)로부터 영상 데이터를 수신하거나 등록된 IP 카메라(200)로부터 비디오 데이터를 수신하여 각각의 영상을 추출하여 AI 엔진(120)이나 멀티채널 구성 모듈(130)로 제공하는 역할을 한다.

여기서 자체 카메라는 영상을 촬영한 다음 그 데이터를 비디오 포맷에 따라 출력하는 것이므로, 영상 데이터라고 명명하였고, 비디오 데이터는 영상, 오디오, 및 데이터를 결합하여 하나의 동영상 즉, 비디오로 인코딩한 비트스트림을 의미한다.

상기 AI 엔진(120)은 입력되는 영상을 IP 카메라로부터의 AI 요청에 따라 특정 학습모델에 적합하도록 전처리하며, 전처리한 데이터를 해당 학습모델에 입력하여 그 결과로 특정 어노테이션이 된 영상(ROI, 특징점 등)으로 출력하거나, 입력 영상의 매칭여부(매칭 혹은 비매칭) 혹은 매칭 확률값(0 ~ 1사이의 값)으로 출력하거나 영상 인식 결과(번호판 등)를 출력한다(예: 클래스 정보, 신뢰도 정보(확률), 좌표정보, 등). 즉, AI 엔진의 출력은 영상이나 메타데이터로 구성된다.

상기 멀티채널 구성 모듈(130)은 상기 영상 수신 모듈(110)과 상기 AI 엔진(120)으로부터 각각 영상과 AI 결과를 수신하여, 그 결과에 따라 등록된 IP 카메라 채널(200)과 자체 채널(200a)에 대해서 재전송채널, 컴포지트채널, 이벤트채널, 로컬채널 등으로 구성하여 상기 멀티채널 전송 모듈(140)로 출력하는 역할을 한다.

상기 멀티채널 전송 모듈(140)은 상기 멀티채널 구성 모듈(130)에서 수신한 각 채널을 다중화하여 패킷화한 다음 프록시 릴레이하여 전송하는 역할을 한다.

이하에서는 영상 수신 모듈(110), AI 엔진(120), 멀티채널 구성 모듈(130), 및 멀티채널 전송 모듈(140)에 대해서 도면을 참조하여 더욱 상세하게 설명하고자 한다.

도 3은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 영상 수신 모듈에 대한 블록도이다.

도 3에 도시된 바와 같이, 상기 영상 수신 모듈(110)은 제2 통신부(111), 비디오 디코더부(112) 및 비디오 스트림 디코딩부(113)를 포함하여 구성된다.

상기 제2 통신부(111)는 등록된 적어도 하나 이상의 IP 카메라와 통신하기 위한 IP 네트워크 인터페이스이며, 상기 IP 네트워크 인터페이스에는 IP 패킷을 디패킷타이징(depacketizing)하여 인코딩된 비디오 스트림을 추출하는 것을 포함한다. 편의상 오디오나 데이터에 대한 기재는 생략하지만 별도의 기재가 없더라도 본 발명은 음향(음성)과 데이터를 포함하여 처리하는 것으로 해석하여야 한다.

상기 비디오 디코더부(112)는 외부의 카메라(센서)(200a)로부터 비디오 인코딩된 영상 데이터를 수신하여 디코딩하는 역할을 한다. 상기 디코딩한 결과는 영상 프레임으로서 프레임 메모리(114)에 픽셀값으로 저장된다. 비디오 디코딩은 비디오 인코딩 포맷(ITU-R 601, 656, SMPTE 등)에 따라 그 역 과정을 수행하는 것이다.

또한 상기 비디오 스트림 디코딩부(113)는, 외부의 IP 카메라에서 카메라의 영상 데이터를 압축 및 인코딩하여 출력하는 비디오 데이터에 대해서 상기 제2 통신부(111)를 통해서 인코딩된 비디오 스트림을 수신하고, 상기 비디오 스트림을 압축으로부터 복원 및 디코딩하여 그 결과를 픽셀값으로 프레임 메모리(114)에 저장한다. 비트스트림 디코딩은 다양한 인코딩 표준에 따라 인코딩된 스트림을 디코딩하여야 하므로, 적어도 하나 이상의 디코더를 구비하여야 한다.

상기 프레임 메모리(114)에 저장된 픽셀값은 프레임 혹은 필드 단위로 멀티채널 구성 모듈(130)과 AI 엔진(120)으로 출력된다.

한편, 상기 영상 수신 모듈(110)은 상기 제2 통신부(111)를 통해서 추출된 인코딩된 비디오 스트림을 디코딩하지 않고 바로 저장모듈(160)로 출력할 수도 있다. 상기 저장모듈(160)은 비디오 스트림을 AI 결과와 매칭하여 저장매체(170)에 저장할 수 있다. 상기 저장매체(170)에 저장된 인코딩된 복수의 비디오 스트림은 AI 결과에 따라 특정 IP카메라나 상기 특정 IP카메라의 녹화부분을 선택하여 재전송채널을 구성하여 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 AI 엔진에 대한 블록도이다.

도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 AI 엔진(120)은 학습모델(122)에 영상 데이터를 입력하기 위한 전처리부(121), 다양한 상황에 따라 AI 알고리즘을 적용하여 학습을 수행하여 생성된 학습모델(122) 및 각 학습모델에서 출력되는 정보를 출력하기 위한 AI 결과 제공부(123)를 포함하여 구성된다.

상기 전처리부(121)는 입력되는 영상이나 특정 형식(format)의 데이터를 포함한 정보를 학습모델에 입력하기 위한 데이터 형식으로 변환하는 역할을 한다. 각 학습모델은 전처리부(121)에서 가공된 데이터 형식으로 학습되어 있는 학습모델이기 때문이다. IP 카메라로부터의 AI 요청에 따라 상기 전처리를 수행한다.

상기 학습모델(122)은 방범, 감시 등 범죄예방, 화재예방, 구조물의 안전관리, 교통상황 파악 등을 위한 AI 알고리즘으로 학습한 다양한 종류의 학습모델을 구비하고 있다는 것을 의미한다. 상기 학습모델을 생성하는 것은, 별도의 학습모델 생성용 서버에서 수행하여 제공하는 것이 바람직하다.

상기 학습모델(122)은 지도학습(supervised learning), 비지도학습(unsupervised learning), 또는 강화학습(reinforced learning)을 통한 학습모델을 포함하며, 각 학습모델은 CNN(convolutional neural network), RNN(recurrent neural network), LSTM(long term short memory) network, GAN(generative adversarial network) 등을 통해서 분류, 회귀분석, 클러스터링, 연관성 분석, 및 이상탐지 등을 각각 수행하기에 적합한 각 형태의 기계학습을 활용한다.

상기 학습모델(122)의 주요 용도는 차량의 번호판 인식, 얼굴인식, 차량탐지, 화재탐지, 교통정체, 행동인식, 과속단속, 움직임감지 등 기존에 CCTV나 IP 카메라를 통해서 레코딩한 영상을 통해서 별도로 분석하던 것을 자동으로 수행하는 것이다.

상기 AI 결과 제공부(123)는 상기 학습모델(122)의 결과는 숫자, 레이블 혹은 영상에서의 ROI와 같은 형태로 출력되기 때문에 이를 그대로 활용하기 어려운 문제가 기본적으로 내제되어 있으므로, 해당 AI 결과가 나타내는 의미를 해석하여 영상에 어노테이션을 붙이거나 AI 결과를 메타데이터로 작성하여 출력한다.

도 5a는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 구성 모듈(130)에 대한 블록도이다.

상기 멀티채널 구성 모듈(130)은, 상기 AI 엔진(122)에서 처리한 AI 결과로부터 이벤트 발생의 발생을 감지할 경우 해당 영상으로 이벤트채널을 구성하는 이벤트채널부(135), 상기 AI 결과로부터 특정 조건에 맞는 자체 카메라 및 IP 카메라의 영상으로 다채널 복합영상을 구성하는 컴포지트채널부(136), 특정 IP 카메라에 대한 AI 분석을 수행한 다음에 해당 IP 카메라의 영상을 다시 전송하는 재전송채널부(137) 및 자체 카메라의 영상을 인코딩하여 전송하는 로컬채널부(138)을 포함하여 구성된다.

또한 상기 멀티채널 구성 모듈(130)은 자체 카메라 및 적어도 하나 이상의 IP 카메라를 각 채널로 등록하는 채널 등록부(131), 상기 기술한 각 채널들을 구성하거나 생성하기 위한 조건을 식별하는 채널구성 제어부(132), 상기 식별한 채널을 할당하기 위한 채널 스위칭부(133) 및 상기 생성한 각 채널을 인코딩하는 재 인코딩부(134)를 더 포함하여 구성된다.

더욱 상세하게는 상기 채널 등록부(131)는 상기 멀티채널 AI 카메라(100)의 자체 카메라 및 네트워크상의 IP 카메라를 각각 입력 채널로 등록하는 역할을 한다.

상기 채널구성 제어부(132)는, 상기 AI 엔진(120)의 수행 결과를 토대로 상기 등록된 입력채널을 선택적으로 이용하여 출력채널을 구성하는 것을 제어한다.

상기 채널 스위칭부(133)는 상기 출력채널의 구성에 따라 입력채널을 스위칭하여 출력채널을 생성하도록 스위칭하는 역할을 한다.

상기 재 인코딩부(134)는 기존에 인코딩되어 입력되는 등록된 각 IP 카메라의 비트스트림을 디코딩하여 영상으로 만들고, 상기 영상을 AI 엔진에 적용한 다음 AI 결과를 얻었으며, 이 AI 결과를 토대로 복수의 출력채널을 구성한 다음 비디오 인코딩 후 상기 멀티채널 전송 모듈(140)로 출력하도록 한다.

재 인코딩을 위한 인코딩 알고리즘은 MJPEG, H.264, H.265, HEVC 등 다양한 인코딩 표준 중 하나를 사용할 수 있다. 물론 입력된 비디오 스트림을 저장하였다가 AI 결과에 따라 해당 영상에 대한 비디오 스트림 부분을 추출하여 출력할 수도 있다. 또한 새로운 입력된 비디오 스트림보다 더욱 효율이 좋은 압축 알고리즘으로 재 압축하여 인코딩하는 것도 가능하다.

상기 이벤트채널부(135)는 상기 AI 엔진에 AI 요청을 한 결과 이벤트가 감지된 채널에 대해서 해당 이벤트를 기술한 메타데이터와 각 해당 영상을 인코딩한 비트스트림을 결합하여 구성한 채널이다. 여기서 상기 인코딩은 기존에 입력받은 비트스트림을 저장하였다가 사용하면 굳이 다시 인코딩하지 않아도 된다. 다만, 복수의 채널을 결합하여 인코딩할 경우 결합한 영상은 저장하고 있지 않을 것이기 때문에 다시 인코딩하여 그 결과인 비트스트림을 해당 메타데이터와 결합하여 채널을 구성한다. 여기서 메타데이터는 비트스트림과 결합하지 않고 독립적으로 전송하는 것도 가능하다.

예를 들면, 모든 등록된 영상 채널에서 AI 엔진에 사람이나 자동차가 검출이 되는 이벤트가 발생하는지 요청하고, 그 결과가 나오면, 일정 정차시간(dwelling time) 동안 해당 채널을 이벤트채널로 구성하도록 상기 이벤트의 조건을 설정할 수 있다.

상기 컴포지트채널부(136)은 상기 멀티채널 AI 카메라에 등록된 복수의 IP 카메라들과 상기 멀티채널 AI 카메라의 로컬 카메라 영상을 통합하여 복합채널을 구성하는 것이다. 상기 복합채널의 영상은 재압축 및 재 인코딩되고 해당 메타데이터와 함께 결합하여 전송된다. 여기서 메타데이터는 비트스트림과 결합하지 않고 독립적으로 전송하는 것도 가능하다.

상기 재전송채널부(137)은 상기 멀티채널 AI 카메라에 등록된 IP 카메라 채널의 재전송을 위한 채널이며, AI 요청한 결과를 메타데이터로 더 결합하여 전송할 수 있다. 또한 재전송채널은 상기 등록된 IP 카메라로부터 수신한 비디오 스트림을 임시로 저장하였다가 다시 새로운 채널을 형성하여 재전송하는 역할을 한다. 여기서 메타데이터는 비트스트림과 결합하지 않고 독립적으로 전송하는 것도 가능하다.

상기 로컬채널부(138)은 상기 멀티채널 AI 카메라의 (센서)영상을 채널로 구성하는 것이다. 자체 카메라 영상은 AI 엔진에 AI 요청되고, 그 결과를 메타데이터로 구성하여, 상기 영상을 인코딩한 비트스트림과 상기 메타데이터를 결합하여 전송하도록 한다. 여기서 메타데이터는 비트스트림과 결합하지 않고 독립적으로 전송하는 것도 가능하다.

도 5b는 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 구성 모듈(130)에 구비된 이벤트채널부의 블록도이다.

도 5b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이벤트채널부(123)는 AI 엔진(120)의 결과에 따라 이벤트채널을 형성하여 출력하도록 구성할 수 있다.

즉, AI 엔진(120)의 결과는 영상 데이터를 AI 엔진(120)에 입력하여 그 결과로 입력영상이 학습모델의 학습결과와 매칭되는 매칭율을 0~1사이의 값으로 나타내거나, 원하는 부분(예, 차량, 어린이 등)을 매칭하여 그 결과에 대한 확률이 높은 경우 해당 영상에 ROI(Region Of Interest)나 특징점을 표시(annotation), 즉 어노테이션하거나, 또는 영상을 인식하여 그 결과를 숫자나 텍스트, 즉 인식정보를 출력할 수 있다. 여기서 매칭율이, 예를 들어, 50% 이하인 경우에는 신뢰할 수 없다고 설정하여 이벤트채널에서 제외할 수도 있으며, 확률값에 대해서도 높을수록 더 높은 가중치를 부여하여 선별함으로써, 선별감시의 효율을 높일 수 있도록 할 수 있다.

이렇게 선택된 채널들은 이밴트채널에 대한 설정정보에 기반하여 선택적으로 제공할 수 있다.

본 발명에서는 이벤트채널에 대해서만 구체적으로 일 실시예를 제공하고 있지만, 실제 컴포지트채널, 재전송채널, 로컬채널 등에 대해서도 AI 엔진(120)의 결과에 따라 복수의 등록된 IP 카메라 채널과 로컬 카메라 채널을 채널 설정 조건에 따라 결합하거나 분리하여 출력할 수 있다.

도 6은 본 발명의 일 실시예에 따른 멀티채널 AI 카메라의 멀티채널 전송 모듈(140)에 대한 블록도이다.

도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 멀티채널 전송 모듈(140)은 멀티채널 다중화부(141), 패킷화부(142), 멀티채널 프록시 릴레이부(143) 및 제1 통신부(144)를 포함하여 구성된다.

상기 멀티채널 다중화부(141)는 이벤트채널, 컴포지트채널, 재전송채널 또는 로컬채널을 다중화하여 다중화된 비트스트림을 출력하는 역할을 한다. 여기서 각 채널에 대한 메타데이터를 더 포함하여 다중화할 수 있다.

상기 패킷화부(142)는 상기 다중화된 비트스트림을 IP 패킷으로 패킷화하는 역할을 한다.

다음으로 멀티채널 프록시 릴레이부(143)는 멀티채널을 구성하는 각 카메라에서 생성된 영상 데이터를 관제서버(300)나 관리자 단말(400)로 릴레이하는 역할을 수행한다. 프록시 릴레이는 본 발명에 따른 멀티채널 AI 카메라(100)가 자체 카메라와 등록된 IP 카메라(200)로 멀티채널을 형성한 다음 외부 네트워크의 관제서버나 관리자 단말과 영상 데이터를 전송할 때, 서브 네트워크에 접속된 IP카메라가 외부 네트워크에 접속되지 못하는 것을 대신에 릴레이해 주는 역할을 담당한다.

이 과정에서 서브 네트워크에 접속된 IP카메라의 영상 데이터가 IP 패킷으로써 외부 네트워크에 있는 관제서버(300), 관리자 단말(400)을 포함한 각종 단말에 전달되기 위해서, 각 멀티채널을 형성한 등록된 IP 카메라(200)로부터 수집된 각각의 IP 패킷을 하나의 상기 멀티채널 AI 카메라(100)에서 발생하는 IP패킷으로 변환한 다음 외부 네트워크에 접속된 관제서버(300), 관리자 단말(40))을 포함한 각종 단말로 전송한다.

본 발명의 일 실시예에 따른 멀티채널 AI 카메라(100A)는 AI 엔진을 탑재하지 않은 IP 카메라(200)에 대한 프록시 기능을 수행하기 위해 내부 네트워크, 외부 네트워크 또는 이들의 조합에 위치하는 적어도 하나 이상의 IP 카메라(200)를 사전에 등록하여 채널을 형성한다.

또한 멀티채널 AI 카메라(100A)는 형성한 채널을 통해 적어도 하나 이상의 IP 카메라(200)로부터 IP패킷으로 영상이 수신되고 AI 정보처리에 대한 요청이 있는 경우, AI 엔진의 동작을 시분할하는 것을 통해 해당 AI 엔진을 상기 IP 카메라와 공유하도록 한다. 상기 IP 카메라는 마치 멀티채널 AI 카메라의 AI 엔진을 로컬에 구비하고 있는 것처럼 동작하도록 가상 AI 엔진을 구비하여, 실제 AI 엔진은 멀티채널 AI 카메라에서 실행되지만, 각각의 IP 카메라의 가상 AI 엔진은 멀티채널 AI 카메라의 AI 엔진과 데이터를 주고받는 기능만 구비하고 있다.

즉, 멀티채널 AI 카메라(100A)는 해당 AI 엔진의 리소스를 각 IP 카메라(200)의 가상 AI 엔진과 공유하여, 해당 AI 엔진에서 해당 영상에 대한 AI 정보처리를 대신(프록시) 수행하고, 상기 수행한 AI 정보처리 결과인 메타데이터를 해당 IP 카메라(200)로 제공한다.

이때, IP 카메라(200)는 멀티채널 AI 카메라(100A)로부터 메타데이터를 수신하면 해당 영상을 저장매체에 저장할 때 형성한 메타데이터 저장영역에 상기 메타데이터를 저장한다.

한편, 멀티채널 AI 카메라(100A)는 AI 정보처리를 수행한 후, 추가적인 AI 정보처리가 필요한 경우, 해당 AI 정보처리를 수행하는 AI 엔진을 탑재한 멀티채널 AI 카메라(100B)로 상기 추가적인 AI 정보처리를 요청하여 메타데이터를 수신하고, 상기 수신한 메타데이터를 상기 IP 카메라(200)로 전송하여 상기 메타데이터를 추가적으로 업데이트할 수 있도록 한다.

한편 IP 카메라(200)에 저장매체를 구비하지 않은 경우에는 멀티채널 AI 카메라(100A)에서 해당 영상과 해당 영상에 대한 메타데이터를 자체적으로 저장함은 상술한 바와 같다.

또한 멀티채널 AI 카메라(100A)는 각 IP 카메라(200)로부터 수신한 영상과 해당 영상에 대해 수행한 AI 정보처리 결과인 메타데이터를 해당 IP 카메라(200)를 대신(프록시)하여 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 전송(프록시 릴레이)할 수 있다. 이때 영상 감시 시스템(100A)은 상기 프록시 릴레이하는 IP 카메라(200)의 식별정보를 더 포함할 수 있다.

상기 제1 통신부(144)는 상기 멀티채널 프록시 릴레이부(143)에서 지정된 목적지로 해당 멀티채널 영상 데이터 패킷을 출력하고, 또한 입력되는 패킷을 상기 멀티채널 AI 카메라에서 사용하거나 등록된 각 IP 카메라로 전송하도록 제2 통신부에 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 시스템의 멀티채널 AI 카메라에 대한 블록도이다.

도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 멀티채널 AI 카메라는 영상 수신 모듈(110), AI 엔진(120), 멀티채널 구성 모듈(130) 및 멀티채널 전송 모듈(140) 이외에 네트워크 설정 모듈(150), 저장 모듈(160) 및 저장매체(170)를 더 포함하여 구성된다.

여기서 영상 수신 모듈(110), AI 엔진(120), 멀티채널 구성 모듈(130) 및 멀티채널 전송 모듈(140)에 대해서는 도 3 내지 도 6에서 설명하였으므로 여기서는 생략한다.

상기 네트워크 설정 모듈(150)은 멀티채널 AI 카메라(100A)의 AI 엔진(120)을 포함하여 각 모듈의 데이터 흐름을 제어하며, 관제서버(300)나 관리자 단말(400)로부터 입력받거나 기 설정된 설정정보에 따라 상기 각 모듈에 대한 제어명령을 생성하여 각 모듈을 설정을 제어한다. 즉, 각 모듈은 다른 모듈과 IPC 통신을 통해서 상호 데이터를 주고받도록 설계된다.

또한 네트워크 설정 모듈(150)은 내부 네트워크, 외부 네트워크 또는 이들의 조합을 포함하는 적어도 하나 이상의 IP 카메라(200)를 사전에 등록하여 각 IP 카메라(200)와의 채널을 형성하도록 하며, 상기 등록한 IP 카메라(200)에 대한 제어명령, 영상품질을 포함한 처리조건에 대한 제어명령을 생성하여 상기 등록한 적어도 하나 이상의 IP 카메라(200)의 동작을 관리한다.

또한 네트워크 설정 모듈(150)은 AI 엔진(120)을 탑재한 또 다른 멀티채널 AI 카메라(100B)를 등록할 수 있으며, 해당 멀티채널 AI 카메라(100A)의 AI 엔진(120)에서 추가적인 AI 정보처리가 필요한 경우 해당 AI 정보처리를 수행하는 AI 엔진을 탑재한 또 다른 멀티채널 AI 카메라(100B)로 상기 추가적인 AI 정보처리를 요청할 수 있도록 한다.

또한 저장 모듈(160)은 영상 수신 모듈(110)에서 수신한 영상 데이터, 각 등록된 IP 카메라(200), 혹은 다른 멀티채널 AI 카메라(100B)로부터 수신한 비디오 데이터(비디오 스트림)를 저장매체(170)에 저장하는 역할을 한다. 즉, 도 7에는 도시되어 있지 않지만, 입력되는 비디오데이터를 저장매체(170)에 저장하고 있다가 AI 요청에 따른 AI 결과에 따라 저장된 비디오데이터의 해당 부분을 선택적으로 추출하여 출력하도록 하는 것이 가능하다. 이렇게 하면 불필요한 재 인코딩 과정을 생략할 수 있다. 상기 저장 매체(170)는 프레임 메모리를 더 포함할 수 있다.

도 8은 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 방법의 흐름도이다.

도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능기반 선별관제채널을 제공하는 멀티채널 영상 감시 방법은, 먼저 영상 수신 모듈(110)을 통해 감시영역에 대해 촬영한 영상 데이터 혹은 비디오 데이터를 수신하고, 각 채널별 해당 영상 데이터를 생성한다. 아울러 AI 엔진(120)에서, 외부에서 AI 요청이 있었는지 여부를 식별한다(S110).

만약 AI 요청이 수신되었다면(S120), 상기 AI 요청에 해당하는 AI 엔진(120)의 학습모델(122)을 가동하여 AI 결과를 추출한다(S130). 상기 AI 요청이 수신되지 않았다면, AI 요청의 수신 여부를 계속하여 체크한다(S110).

이어서 상기 추출한 AI 결과로부터 미리 설정된 조건에 맞는 이벤트를 감지한다(S140). 상기 이벤트의 감지 결과는 영상 어노테이션, 확률값, 숫자나 텍스트 등으로 나타나며, 상기 영상 어노테이션, 확률값, 숫자, 텍스트 등을 통틀어서 메타데이터라고 명명하여도 무방하다.

상기 감지한 결과 이벤트가 발생한 것으로 판단되면(S150), 이벤트채널을 생성하고(S160), 아니면 채널 구성 제어부의 명령에 따라 컴포지트채널, 재전송채널 및 로컬채널 또는 이들의 조합을 포함하는 채널을 생성한다(S170). 이때 상기 컴포지트채널, 재전송채널 및 로컬채널 또는 이들의 조합은 채널 설정 조건에 따라 구성되고 또한 선택된다.

여기서 설정된 조건은 예를 들어 차량의 번호판을 인식하는 학습모델을 가동하는 경우에, 해당하는 번호판을 인식하여 추출한 경우에 이벤트를 감지한 것이고, 이 경우 해당 IP 카메라를 이벤트채널로 생성하게 된다.

상기 생성된 채널들에 대해서 멀티채널 전송 모듈(140)에서 다중화, 패킷화, 및 프록시 릴레이를 통해서 멀티채널 전송을 수행한다(S180).

또한 본 발명은 멀티채널 AI 카메라를 중심으로 기 설치된 레거시 IP 카메라를 등록하여 카메라 그룹을 지정하여 선별관제를 수행하도록 함으로써, 영상관제의 효율을 높일 수 있는 효과가 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100A~N: 멀티채널 AI 카메라 200: IP 카메라
300: 관제서버 400: 관리자 단말
110: 영상 수신 모듈 120: AI 엔진
130: 멀티채널 구성 모듈 140: 멀티채널 전송 모듈
150: 네트워크 설정 모듈 160: 저장 모듈
170: 저장매체

Claims

적어도 하나 이상의 IP 카메라; 및
멀티채널 AI 카메라;를 포함하며,
상기 적어도 하나 이상의 IP 카메라를 AI 엔진을 구비한 상기 멀티채널 AI 카메라에 등록하여 카메라 그룹을 형성하고, 상기 카메라 그룹에서 상기 AI 엔진을 통해 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 생성하여 제공하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 1에 있어서,
상기 선별관제채널은,
미리 설정된 특정 조건에 맞는 이벤트를 감지하여, 감지된 이벤트를 포함하는 IP 카메라로 구성한 이벤트채널인 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 1에 있어서,
상기 AI 엔진은, 적어도 하나 이상의 AI 학습모델을 포함하며, 상기 AI 학습모델은 지도학습, 비지도학습, 또는 강화학습을 통한 학습모델을 포함하며, 각 상기 학습모델은 CNN, RNN, LSTM 또는 GAN을 통해서 분류, 회귀분석, 클러스터링, 연관성 분석 및 이상탐지를 수행하는 학습모델이며,
상기 학습모델은, 차량의 번호판 인식, 얼굴인식, 차량탐지, 화재탐지, 교통정체, 행동인식, 과속단속, 움직임감지 또는 이들의 조합을 포함하는 것을 수행하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 1에 있어서,
상기 멀티채널 AI 카메라는,
자체 카메라와 상기 적어도 하나 이상의 IP 카메라로부터 각각 영상 데이터와 비디오 스트림을 수신하는 영상 수신 모듈;
상기 수신한 영상 데이터와 비디오 스트림을 상기 AI 엔진에 적용한 AI 결과에 따라 적어도 하나 이상의 채널을 구성하는 멀티채널 구성 모듈; 및
상기 구성한 적어도 하나 이상의 채널을 전송하는 멀티채널 전송 모듈;을 더 포함하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 4에 있어서,
상기 멀티채널 구성 모듈은,
상기 AI 엔진에서 처리한 AI 결과로부터 이벤트 발생의 발생을 감지할 경우 해당 영상으로 이벤트채널을 구성하는 이벤트채널부;를 포함하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 4에 있어서,
상기 멀티채널 구성 모듈은,
상기 AI 결과로부터 특정 조건에 맞는 자체 카메라 및 IP 카메라의 영상으로 다채널 복합영상을 구성하는 컴포지트채널부;를 포함하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 4에 있어서,
상기 멀티채널 구성 모듈은,
특정 IP 카메라에 대한 AI 분석을 수행한 다음에 해당 IP 카메라의 영상을 다시 전송하는 재전송채널부; 및
자체 카메라의 영상을 인코딩하여 전송하는 로컬채널부; 또는 이들의 조합 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 4에 있어서,
상기 멀티채널 구성 모듈은,
자체 카메라 및 적어도 하나 이상의 IP 카메라를 각 채널로 등록하는 채널 등록부;
각 상기 채널을 구성하거나 생성하기 위한 조건을 식별하는 채널구성 제어부;
상기 식별한 채널을 할당하기 위한 채널 스위칭부; 및
상기 생성한 각 채널을 인코딩하는 재 인코딩부;를 더 포함하여 구성되는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
청구항 1에 있어서,
상기 멀티채널 AI 카메라는,
상기 선별관제채널을 포함하는 멀티채널을 다중화하고, 상기 다중화한 멀티채널에 포함된 멀티채널 다중화 데이터를 패킷화하며, 상기 패킷화한 멀티채널 다중화 데이터를 멀티채널 프록시 릴레이를 통해서 전송하는 것을 포함하는 것을 특징으로 하는 멀티채널 영상 감시 시스템.
멀티채널 AI 카메라에 적어도 하나 이상의 IP 카메라를 등록하는 단계; 및
상기 멀티채널 AI 카메라에서, 적어도 하나 이상의 IP 카메라로부터 영상 데이터를 수신하는 단계;를 포함하며,
상기 적어도 하나 이상의 IP 카메라를 AI 엔진을 구비한 상기 멀티채널 AI 카메라에 등록하여 카메라 그룹을 형성하고, 상기 카메라 그룹에서 상기 AI 엔진을 통해 선별적으로 관제가 가능한 인공지능기반 선별관제채널을 생성하여 제공하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 10에 있어서,
상기 선별관제채널은,
미리 설정된 특정 조건에 맞는 이벤트를 감지하여, 감지된 이벤트를 포함하는 IP 카메라로 구성한 이벤트채널인 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 10에 있어서,
상기 AI 엔진은, 적어도 하나 이상의 AI 학습모델을 포함하며, 상기 AI 학습모델은 지도학습, 비지도학습, 또는 강화학습을 통한 학습모델을 포함하며, 각 상기 학습모델은 CNN, RNN, LSTM 또는 GAN을 통해서 분류, 회귀분석, 클러스터링, 연관성 분석 및 이상탐지를 수행하는 학습모델이며,
상기 학습모델은, 차량의 번호판 인식, 얼굴인식, 차량탐지, 화재탐지, 교통정체, 행동인식, 과속단속, 움직임감지 또는 이들의 조합을 포함하는 것을 수행하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 10에 있어서,
상기 멀티채널 영상 감시 방법은,
영상 수신 모듈을 통해서, 자체 카메라와 상기 적어도 하나 이상의 IP 카메라로부터 각각 영상 데이터와 비디오 스트림을 수신하는 영상 수신 단계;
멀티채널 구성 모듈을 통해서, 상기 수신한 영상 데이터와 비디오 스트림을 AI 엔진에 적용한 AI 결과에 따라 적어도 하나 이상의 채널을 구성하는 멀티채널 구성 단계; 및
멀티채널 전송 모듈을 통해서, 상기 구성한 적어도 하나 이상의 채널을 전송하는 멀티채널 전송 단계;를 포함하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 13에 있어서,
상기 멀티채널 구성 단계는,
상기 멀티채널 구성 모듈에서, 상기 AI 엔진에서 처리한 AI 결과로부터 이벤트 발생의 발생을 감지할 경우 해당 영상으로 이벤트채널을 구성하는 이벤트채널 구성 단계;를 포함하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 13에 있어서,
상기 멀티채널 구성 단계는,
상기 AI 결과로부터 특정 조건에 맞는 자체 카메라 및 IP 카메라의 영상으로 다채널 복합영상을 구성하는 컴포지트채널 구성 단계;를 포함하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 13에 있어서,
상기 멀티채널 구성 단계는,
특정 IP 카메라에 대한 AI 분석을 수행한 다음에 해당 IP 카메라의 영상을 다시 전송하는 재전송채널 구성 단계; 및
자체 카메라의 영상을 인코딩하여 전송하는 로컬채널 구성 단계; 또는 이들의 조합 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 13에 있어서,
상기 멀티채널 구성 단계는,
자체 카메라 및 적어도 하나 이상의 IP 카메라를 각 채널로 등록하는 채널 등록 단계;
각 상기 채널을 구성하거나 생성하기 위한 조건을 식별하는 채널구성 제어 단계;
상기 식별한 채널을 할당하기 위한 채널 스위칭 단계; 및
상기 생성한 각 채널을 인코딩하는 재 인코딩 단계;를 더 포함하여 구성되는 것을 특징으로 하는 멀티채널 영상 감시 방법.
청구항 10에 있어서,
상기 멀티채널 영상 감시 방법은,
상기 선별관제채널을 포함하는 멀티채널을 다중화하고, 상기 다중화한 멀티채널에 포함된 멀티채널 다중화 데이터를 패킷화하며, 상기 패킷화한 멀티채널 다중화 데이터를 멀티채널 프록시 릴레이를 통해서 전송하는 것을 포함하는 것을 특징으로 하는 멀티채널 영상 감시 방법.