KR20240074636A - 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법 - Google Patents

인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법 Download PDF

Info

Publication number
KR20240074636A
KR20240074636A KR1020230103647A KR20230103647A KR20240074636A KR 20240074636 A KR20240074636 A KR 20240074636A KR 1020230103647 A KR1020230103647 A KR 1020230103647A KR 20230103647 A KR20230103647 A KR 20230103647A KR 20240074636 A KR20240074636 A KR 20240074636A
Authority
KR
South Korea
Prior art keywords
search
event
image processing
artificial intelligence
image
Prior art date
Application number
KR1020230103647A
Other languages
English (en)
Inventor
이황기
Original Assignee
주식회사 위트콘
이황기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위트콘, 이황기 filed Critical 주식회사 위트콘
Publication of KR20240074636A publication Critical patent/KR20240074636A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법에 관한 것이다. 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 복수 개의 IP 카메라들 각각으로부터 실시간으로 영상을 전송받아서 인공지능 기반으로 영상을 분석하고 객체를 검색하기 위한 하나의 영상 처리 서버를 포함한다. 영상 처리 서버는 동시에 다채널의 영상을 인공지능 기반으로 분석하고, 객체를 검출하여 객체에 대한 메타데이터를 추출한다. 영상 처리 서버는 객체가 포함된 이벤트 영상과 객체의 메타데이터를 결합하여 이벤트 데이터를 저장한다. 영상 처리 서버는 이벤트 데이터를 이용하여 메터데이터 검색 방식과 이미지 검색 방식으로 이벤트 객체를 검색한다. 본 발명에 의하면, 실시간으로 다채널의 영상을 전송받아서 인공지능 기반으로 영상 분석, 저장 및 고속 검색을 하나의 서버에서 수행하여 다채널 고속 검색을 통한 골든 타임을 확보할 수 있다.

Description

인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법{SYSTEM AND METHOD FOR PROCESSING DIGITAL FORENSICS IMAGE BASED ON ARTIFICIAL INTELLIGENCE}
본 발명은 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법에 관한 것으로, 좀 더 구체적으로 하나의 영상 처리 서버를 이용하여 다채널의 IP 카메라들로부터 실시간으로 영상을 전송받아서 인공지능 기반으로 영상을 동시에 분석하여 객체를 인식하고, 객체에 대한 메타데이터를 추출하여 객체가 포함된 이벤트 영상과 메타데이터를 결합, 저장하고, 이벤트 객체에 대한 다양한 검색 조건을 입력받거나 객체가 포함된 이벤트 이미지를 이용하여 실시간으로 전송된 다채널의 영상에서 객체를 신속하고 정확하게 검색 및 추출할 수 있도록 처리하는 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법에 관한 것이다.
최근에는 감시, 보안 및 모니터링을 위한 수요의 증가로 인해 카메라가 다양한 장소에 광범위하게 설치되고 있다. 이에 카메라의 대수가 늘어나면서 카메라 영상을 모니터링하는데 많은 인적 자원이 소요되고 관제 부담이 증가하고 있는 실정이다.
예를 들어, 날로 증가하고 있는 각종 범죄 사건과 사고의 발생에 따라 증거 자료로 사용할 수 있는 CCTV, 블랙박스 및 스마트 폰 등에 대한 증거물 수집과 분석에 대한 필요성이 날로 증가하고 있다. 그러나 저장매체의 대용량화로 인해 녹화할 수 있는 시간과 그 용량도 함께 증가하고 있다. 특히, 증거 자료로 많이 활용되고 있는 CCTV 카메라의 녹화 영상은 해상도와 저장매체의 용량에 따라 최소 수일에서 최대 수개월까지의 데이터를 녹화할 수 있다.
현재 대부분의 CCTV 시스템은 CCTV 카메라로부터 획득된 영상을 DVR(Digital Video Recorder), NVR(Network Video Recorder) 등을 이용하여 저장하는 방식이 사용되고 있다. 이러한 대용량의 동영상은 기본적으로 수백만 장 이상의 키 프레임 이미지 정보를 담고 있으며, 세부 프레임 이미지까지 고려할 경우 분석해야 하는 영상의 프레임의 개수는 대량으로 늘어나게 된다.
디지털 포렌식은 컴퓨터 등의 디지털 매체에 내장된 디지털 자료를 근거로 발생한 사실 관계를 증명하는 보안 서비스 분야로서 범죄 수사에 사용되는 과학적 증거 수집 및 분석에 관한 것이다. 포렌식 영상 검색은 영상 분석을 통해 원하는 데이터를 빠르게 필터링하고 필요한 정보를 찾도록 돕기 위해 수행된다.
특히, 동영상에 관련된 포렌식(Forensic) 분석을 위한 환경에서는 사건에 관련된 프레임 이미지를 빠르고 정확하게 찾아내야 한다. 그러나 수백만 장에 달하는 프레임 이미지를 사람이 하나씩 확인하는 방법으로는 효율적인 검출을 하기에 상당한 어려움과 많은 시간을 소모하게 된다. 또한, 동영상의 경우는 매우 유사한 프레임 이미지들이 연속적으로 구성되어 있기 때문에 불필요한 이미지 검색 작업이 많아지는 문제점이 있다. 그 결과, 중요한 사건들의 디지털 증거물 분석 작업에 많은 시간이 소요되고, 이로 인해 사건 해결이 늦어질 수 밖에 없는 문제점이 있다.
일반적으로, 디지털 포렌식 영상을 검색하기 위한 영상 처리 시스템은 다채널의 카메라를 이용하여 설치 장소에 따른 각각의 영상을 획득하고, 획득된 영상을 별도의 영상 저장 장치나 저장매체에 저장, 관리하고, 기저장된 영상으로부터 디지털 포렌식 영상을 검색해야 한다.
이를 위해 기존의 디지털 포렌식 영상 처리 시스템은 예컨대, 영상 저장, 영상 분석, 객체 검출, 메타데이터 생성 그리고 영상 검색 기능을 수행하기 위한 각각의 서버를 구성하고, 분석된 영상을 디지털 포렌식 영상 검색을 하기 위하여, 영상 관리 시스템(VMS)이나 영상 저장 장치(NVR)로부터 기저장된 영상을 불러와서 검색해야 하므로, 고용량의 서버가 필요하며, 다채널의 검색 시, 많은 부하로 인해 많은 시간이 소요되는 문제점이 있다.
예를 들어, 매년 지방자치단체, 공공기관 등에 의해 다양한 목적으로 다양한 장소에 설치 및 운영되는 CCTV 카메라는 증가하고 있다. 하지만 CCTV 카메라의 설치가 확대됨에 따라 관제 인력 부족과 실시간 현장 상황의 파악이 어렵고, VMS에 의존된 기존의 CCTV 관제 시스템으로 인해 이벤트 발생 시, 녹화된 영상을 다시 분석하면서 골든타임을 놓치게 되는 경우가 빈번하다. 즉, 기존의 CCTV 관제 시스템은 일반적으로 이벤트 발생 시, 녹화된 영상을 추출하여 객체를 검색한다. 이에 녹화 영상을 추출하는 과정이 동반되어 VMS에서 영상을 받는 시간에 따라 영상을 분석 완료하는 데까지의 소요되는 시간이 필요하므로 검색 시간이 오래 걸리게 되어 골든타임을 놓치게 되는 경우가 빈번하다.
또 현장에 설치된 많은 CCTV 카메라들을 지능형의 CCTV 카메라로 교체하는 경우에 발생되는 막대한 시간과 비용 소비로 인해 시간적, 비용적인 손실이 발생되는 등의 문제를 해결하기 위한 솔루션이 필요하다.
한국 등록특허공보 제10-2015954호(공고일 2019년 08월 29일) 한국 등록특허공보 제10-2254037호(공고일 2021년 05월 20일) 한국 등록특허공보 제10-1954717호(공고일 2019년 03월 06일) 한국 등록특허공보 제10-1687989호(공고일 2016년 12월 20일)
본 발명의 목적은 복수 개의 카메라들로부터 실시간으로 전송되는 다채널의 영상을 인공지능 기반으로 분석하여 객체를 검색하기 위한 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법을 제공하는 것이다.
본 발명의 다른 목적은 하나의 영상 처리 서버를 이용하여 복수 개의 카메라들 각각으로부터 실시간 전송되는 다채널의 영상을 인공지능 기반으로 분석하여 이벤트가 발생된 객체를 검색하는 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 실시간으로 전송되는 다채널의 카메라 영상으로부터 원하는 객체를 신속하고 정확하게 검색할 수 있도록 처리하는 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 하나의 영상 처리 서버를 이용하여 복수 개의 카메라들로부터 실시간으로 전송되는 다채널의 영상을 인공지능 기반으로 동시에 분석하여 객체를 인식 및 검출하고, 검출된 객체의 속성을 판별하여 객체에 대한 메타데이터를 추출하고, 추출된 메타데이터를 객체가 포함된 프레임 단위의 이벤트 영상과 결합 및 저장하고, 검색 조건 또는 객체가 포함된 이미지를 이용하여 이벤트가 발생된 객체를 검색할 수 있도록 하는데 그 한 특징이 있다. 이와 같은 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 실시간으로 전송되는 다채널의 영상으로부터 원하는 객체와 객체가 포함된 영상을 검색 및 추출하여 정확하고 신속하게 포렌식 영상 검색이 가능하다.
이 특징에 따른 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은, 복수 개의 채널로 연결된 복수 개의 IP 카메라들 각각으로부터 실시간으로 영상을 전송받는 하나의 영상 처리 서버;를 포함하되, 상기 영상 처리 서버는, 상기 IP 카메라들 각각으로부터 실시간으로 영상을 전송받아서 동시에 딥러닝 영상 분석 알고리즘을 이용한 인공지능 기반으로 다채널의 영상을 분석하여 객체를 인식하는 인공지능 영상 분석부; 상기 IP 카메라들 각각으로부터 실시간으로 영상을 전송받고 상기 인공지능 영상 분석부로부터 분석된 결과에 따라 인식된 객체를 프레임 단위로 검출하고, 검출된 객체를 분류하며, 객체의 속성을 판별하는 객체 검출부; 상기 객체 검출부를 통해 판별된 객체의 속성에 따른 객체의 메타데이터를 추출하고, 추출된 객체의 메타데이터를 객체가 포함된 이벤트 영상과 결합하는 메타데이터 추출부; 상기 메타데이터 추출부에 의해 이벤트 영상과 메타데이터가 결합된 이벤트 데이터를 저장하는 이벤트 데이터 저장부; 및 적어도 하나의 검색 클라이언트로부터 이벤트가 발생된 객체에 대한 검색 조건이 설정되면, 상기 이벤트 데이터 저장부에 저장된 이벤트 데이터의 메타데이터와 검색 조건을 비교 분석하여 동시에 다채널의 영상을 검색하여 이벤트 객체를 판별하고, 판별된 이벤트 객체가 포함된 이벤트 영상을 추출하는 객체 검색부를 포함한다.
이 특징에 있어서, 상기 인공지능 영상 분석부는, 다채널의 영상에 대해 채널별로 이벤트 유형에 따른 분석 조건을 설정하여 각각의 영상을 동시에 분석한다.
이 특징에 있어서, 상기 메타데이터 추출부는, 상기 IP 카메라들 각각으로부터 전송된 다채널의 영상들 각각을 1 초당 1 프레임 단위의 이벤트 영상에 객체의 메타데이터를 결합하여 이벤트 데이터를 생성한다.
이 특징에 있어서, 상기 객체 검색부는, 상기 검색 클라이언트로부터 상기 이벤트 데이터 저장부에 이전 검색 또는 다른 채널에서 검색된 기저장된 이벤트 데이터들 중 하나를 선택하여 검색이 요청되면, 다채널의 영상에서 선택된 이벤트 데이터에 포함된 객체를 더 검색하도록 구비된다.
이 특징에 있어서, 상기 객체 검색부는, 상기 검색 클라이언트로부터 객체가 포함된 이미지를 이용하여 검색이 요청되면, 상기 이벤트 데이터 저장부에 저장된 이벤트 데이터의 이벤트 영상과 비교, 분석하여 객체를 더 검색하도록 구비된다.
상술한 바와 같이, 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 실시간으로 다채널의 영상을 전송받아서 인공지능 기반으로 영상 분석, 저장 및 고속 검색을 하나의 서버에서 수행하여 다채널 고속 검색을 통한 골든 타임을 확보할 수 있다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 메타데이터 검색 방식과 이미지 검색 방식을 이용하여 이벤트가 발생된 객체를 검색 가능하며, 실시간으로 전송되는 다채널의 영상으로부터 원하는 객체와 객체가 포함된 영상을 검색 및 추출하여 정확하고 신속하게 포렌식 영상 검색이 가능하다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 하나의 서버를 이용하여 인공지능 기반의 영상 분석, 객체 인식, 메타데이터 생성 및 저장, 객체 검색 과정을 처리함으로써, 디지털 포렌식 영상 검색을 위한 관제 부담과 비용을 줄일 수 있으며, 사건 사고 등의 상황에 대응하여 신속하게 대처가 가능하게 할 수 있다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 채널별 이벤트 관리를 통해 선별 관제를 수행하여 관제 인력의 업무 부담을 절감할 수 있으며, VMS와 일반 IP 카메라 등의 기존 장비와의 연동을 통해 교체 없이 사용하여 시간 및 비용의 절감 효과을 얻을 수 있다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 다채널의 IP 카메라로부터 획득 및 전송된 영상을 실시간으로 인공지능 기반으로 영상 분석 및 검색이 가능하게 처리함으로써, 디지털 포렌식 영상 검색 시, 데이터 부하량을 줄여서 신속하게 검색 가능하므로 영상 분석 및 검색 결과에 대한 신뢰성을 향상시킬 수 있다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 적어도 하나의 채널, 다양한 객체의 종류, 색상, 크기 등에 대한 적어도 하나의 객체를 설정한 검색 조건을 대응하여 디지털 포렌식 영상을 검색 처리함으로써, 검색 조건에 적합한 객체가 포함된 영상을 보다 정확하게 추출 및 저장하여 디지털 포렌식 영상 데이터를 확보할 수 있다.
또한 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 다채널의 IP 카메라로부터 실시간 전송되는 영상 뿐만 아니라, 영상 처리 서버에 연결된 네트워크 영상 저장 장치(NVR), 영상 관리 시스템(VMS), 디지털 영상 저장 장치(DVR) 및 저장매체 등과 같은 다양한 영상 저장 장치와 연계해서 기저장된 영상으로부터 디지털 포렌식 영상 검색이 가능하게 할 수 있다.
도 1은 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템의 구성을 도시한 블록도,
도 2는 도 1에 도시된 영상 처리 서버의 구체적인 구성을 나타내는 블록도,
도 3은 도 2에 도시된 영상 처리 서버의 실시예에 따른 구성을 나타내는 블록도, 그리고
도 4는 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템의 영상 처리 과정을 도시한 흐름도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템은 복수 개의 IP 카메라들 각각으로부터 획득된 다채널의 영상을 실시간으로 전송받아서 인공지능 기반으로 분석 및 검색을 처리하는 하나의 영상 처리 서버를 구비하고, 이를 통해 다채널의 영상을 실시간으로 전송받아서 동시에 인공지능 기반으로 영상을 분석하고, 객체를 인식 및 검출하여 객체의 속성에 따른 메타데이터를 추출하고, 객체가 포함된 프레임 단위의 이벤트 영상과 객체에 대한 메타데이터를 결합하여 이벤트 데이터로 저장한다. 본 발명의 포렌식 영상 처리 시스템은 사건 사고 등의 발생으로 관제 센터 등에 이벤트가 신고 접수되면, 이벤트가 발생된 객체에 대한 다양한 검색 조건을 입력 설정하거나, 객체가 포함된 영상이나 영상 처리 서버에 기저장된 이벤트 영상을 이용하여 이벤트 객체를 검색 및 추출한다.
따라서 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템은 객체의 메타데이터와 객체가 포함된 영상을 이용하여 실시간으로 전송되는 다채널의 영상에서 원하는 객체를 검색할 수 있으며, 메타데이터를 이용하여 데이터의 부하를 줄여서 보다 빠르고 정확한 객체의 검색이 가능하고, 검색 결과의 영상을 모니터링 및 저장하도록 처리하여 디지털 포렌식 영상 자료로 활용할 수 있다.
이하 첨부된 도 1 내지 도 4를 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템(2)은 지능형의 영상 분석과 실시간 다채널 고속 검색을 위하여, 하나의 영상 처리 서버(100)를 이용하여 복수 개의 IP 카메라(200)들 각각으로부터 실시간으로 다채널의 영상을 전송받아서 동시에 인공지능 기반으로 영상을 분석하고, 객체를 인식, 검출 및 분류하여 객체의 속성을 판별하고, 객체의 속성에 따른 메타데이터를 추출하고, 객체가 포함된 프레임 단위의 이벤트 영상과 객체에 대한 메타데이터를 결합하여 이벤트 데이터로 저장, 관리한다.
여기서 객체는 예를 들어, 사람, 차량 등을 포함하고, 객체의 속성에는 예를 들어, 객체의 종류, 객체의 특징, 객체의 움직임 및 객체 수 등이 포함된다. 또 이벤트에는 다양한 사건 사고들 예를 들어, 실종 상황, 인명 사고, 화재, 도난 사고, 교통 사고 등이 포함될 수 있다.
예를 들어, 객체의 종류에는 사람의 경우에 남자, 여자, 어린이, 노약자 등 성별이나 연령대, 긴머리, 짧은 머리 등의 헤어 스타일, 안경 및 선글라스 착용 여부, 긴팔, 반팔, 민소매 등의 상의 종류와 색상, 긴바지, 긴치마, 반바지, 짧은 치마 등의 하의 종류와 색상, 가방, 백팩, 모자 등의 소지품 유무 및 소지품 색상, 오토바이나 자전거 탑승 여부 등의 특징들이 포함되고, 차량의 경우에는, 승용차, 트럭, 오토바이, 자전거 등 차량의 종류, 색상 및 크기 등의 특징들이 포함된다.
객체의 속성에는 객체의 종류와 특징, 객체의 움직임 및 객체 수 등에 대한 메타데이터가 포함되고, 딥러닝 영상 분석 알고리즘을 이용하여 영상으로부터 객체의 종류와 특징, 객체의 움직임 및 객체 수 각각에 대한 특징 벡터를 추출하여 객체의 종류 및 특징, 객체의 움직임 및 객체 수를 인식한다. 또 딥러닝 영상 분석 알고리즘을 이용하여 인식된 객체에 대한 학습 데이터를 생성하여 딥러닝 기반으로 반복 학습함으로써, 객체의 종류 및 특징, 객체의 움직임 및 객체 수들을 보다 정확하게 인식 및 검출한다.
이에 본 발명의 포렌식 영상 처리 시스템(2)은 이벤트 발생 시, 검색 클라이언트(400)를 통해 검색하고자 하는 이벤트가 발생된 객체 즉, 이벤트 객체에 대한 다양한 검색 조건을 설정받아서 다채널의 영상으로부터 동시에 객체를 검색하여 검색 결과에 따른 이벤트 객체 및 영상을 모니터링, 확인, 추출 및 저장한다. 여기서 검색 조건에는 날짜, 시간 등의 검색 기간과, 적어도 하나의 채널 선택과, 선택된 채널 영상에서의 검색 영역(zone), 객체의 속성 등을 포함한다. 또 본 발명의 포렌식 영상 처리 시스템(2)은 객체가 포함된 이미지(예를 들어, 사진, 썸네일 등)와, 영상 처리 서버(100)에 기저장된 이벤트 영상을 이용하여 다채널의 영상으로부터 객체를 검색할 수 있다.
또 본 발명의 포렌식 영상 처리 시스템(2)은 영상 처리 서버(100)가 딥러닝 영상 분석 알고리즘을 이용한 인공지능 기반으로 영상 분석, 객체 인식 및 메타데이터 추출 과정에 대한 학습 데이터를 생성하고, 이를 통해 반복 학습하여 정확한 영상 분석 및 객체 인식이 가능하도록 처리한다. 또 본 발명의 포렌식 영상 처리 시스템(2)은 검색 클라이언트(400)에 의해 검색되는 과정을 인공지능 기반으로 반복 학습하여 사용자 검색 경험을 검색 데이터에 반영하고, 이를 통해 다채널의 영상에서 원하는 이벤트 객체 및 영상을 보다 빠르고 정확하게 검색이 가능하도록 처리한다.
이러한 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 실시간으로 전송되는 다채널의 영상들을 동시에 인공지능 기반으로 분석, 객체 인식 및 분류, 객체의 메타데이터 추출, 이벤트 영상 저장을 처리하고, 검색 조건 설정, 객체가 포함된 이미지, 저장된 이벤트 영상을 이용하여 객체에 대한 메타데이터를 기반으로 검색하거나 이미지 검색이 가능하므로, 이벤트 객체를 빠르고 정확하게 검색할 수 있다.
따라서 본 발명의 포렌식 영상 처리 시스템(2)은 하나의 영상 처리 서버(100)를 이용하여 이벤트 영상과 메타데이터를 결합하여 저장, 관리 및 검색함으로써, 데이터 부하를 줄일 수 있으며, 실시간으로 전송되는 다채널의 영상으로부터 신속하고 정확한 영상 검색이 가능하며, 검색 조건 및 객체가 포함된 이미지에 매칭되는 영상을 추출 및 저장하여 디지털 포렌식 영상 자료로 활용할 수 있다.
이를 위해 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 복수 개의 IP 카메라(200)와, 하나의 영상 처리 서버(100) 및 적어도 하나의 검색 클라이언트(400)를 포함한다. 또 본 발명의 포렌식 영상 처리 시스템(2)은 영상 저장 장치(300)와 모니터링 장치(500)를 더 포함할 수 있다.
이러한 영상 처리 서버(100), 검색 클라이언트(400), 영상 저장 장치(300) 및 모니터링 장치(500)들은 예컨대, 포렌식 영상 처리 시스템(2)의 관제 센터, 상황실, 통제실 등에 구비된다. 또 영상 처리 서버(100)와 검색 클라이언트(400)는 포렌식 영상 처리 시스템(2)의 관제 센터, 상황실, 통제실 등에 구비되고, 영상 저장 장치(300)와 모니터링 장치(500)는 외부의 유관 기관들 예를 들어, 지방자치단체나 경찰청, 소방청 등의 관련 공공기관의 관제 센터, 상황실, 통제실 등에 구비될 수도 있다.
구체적으로, IP 카메라(200)들은 통신망(4) 예를 들어, 유무선 통신망, CCTV 네트워크, 로라(LoRa)망, 전용 네트워크 등을 통하여 영상 처리 서버(100)와 영상 저장 장치(300) 각각과 다채널을 구성하여 데이터 통신이 가능하게 연결된다.
IP 카메라(200)는 예를 들어, 설치 장소의 일정 촬영 범위를 갖는 고정형 또는 회전형 IP 카메라 등으로 구비된다. 물론 IP 카메라(200)는 PTZ(Pan/Tilt/Zoom) 및 오토 포커싱(auto focusing) 조절과, 일정 촬영 범위 내에서 투어링(touring)이 가능한 스피드 돔형 IP 카메라로 구비될 수도 있다. 이 경우, IP 카메라(200)는 영상 처리 서버(100)에 의해 원격 제어될 수도 있다.
IP 카메라(200)는 통신망(4)을 통해 영상 처리 서버(100)가 식별 가능하고, 각각이 서로 다른 장소에 고정 설치되어 실시간으로 설치 장소에 대한 영상을 획득하고, 획득된 영상을 통신망(4)을 통해 각 채널별로 영상 처리 서버(100)와 영상 저장 장치(500) 각각으로 실시간 전송한다.
영상 저장 장치(300)는 예를 들어, 영상 관리 시스템(Video Management System : VMS), 네트워크 영상 저장 장치(Network Video Recoder : NVR), 디지털 영상 저장 장치(Digital Video Recoder : DVR) 등을 포함하고, 통신망(4)을 통해 복수 개의 IP 카메라(200)들 각각으로부터 실시간으로 영상을 전송받아서 채널별로 영상을 저장, 관리한다. 영상 저장 장치(300)는 통신망(4) 또는 내부 네트워크 등을 통해 영상 처리 서버(100)와 모니터링 장치(500) 각각과 데이터 통신이 가능하게 연결된다.
영상 저장 장치(300)는 IP 카메라(200)들로부터 실시간으로 전송된 다채널의 영상을 실시간으로 모니터링 장치(500)로 전송한다. 영상 저장 장치(300)는 저장된 다채널의 영상을 필요에 따라 모니터링 장치(500)로 전송할 수도 있다. 또 영상 저장 장치(300)는 영상 처리 서버(100)로부터 요청을 받아서 저장된 다채널의 영상을 영상 처리 서버(100)로 전송할 수도 있다. 또 영상 저장 장치(300)는 영상 처리 서버(100)의 원격 제어를 받아서 IP 카메라(200)들 각각으로부터 전송된 다채널의 영상을 채널별로 저장, 관리할 수도 있다.
모니터링 장치(500)는 다채널의 영상을 출력하는 디스플레이 장치 예컨대, 대화면의 멀티비젼, 하나의 멀티 화면을 출력하는 복수 개의 모니터 장치 등으로 구비되고, 영상 저장 장치(300)로부터 전송된 다채널의 영상들을 실시간으로 모니터링하도록 출력한다. 모니터링 장치(500)는 다채널의 영상 중 선택된 채널별 영상들을 각각 출력할 수 있다.
검색 클라이언트(400)는 예를 들어, 퍼스널 컴퓨터 등의 관리자 단말기로 구비되고, 내부 네트워크 등을 통하여 영상 처리 서버(100)와 연결된다. 검색 클라이언트(400)는 내부 네트워크 등을 이용하여 영상 처리 서버(100)로 접속하고, 이벤트 발생 시, 이벤트가 발생된 객체를 검색하기 위한 검색 조건을 입력, 설정하고, 이를 통해 다채널의 IP 카메라(200)들로부터 실시간으로 전송되는 다채널의 영상을 동시에 검색하여 이벤트 객체 및 이벤트 객체가 포함된 영상을 검색하고, 검색 결과에 따른 검색 결과물 즉, 이벤트 객체 및 영상을 출력하여 모니터링 및 확인할 수 있다. 또 검색 클라이언트(400)는 이벤트 발생에 따라 외부로부터 제공되는 객체의 신상 정보 등으로부터 객체가 포함된 이미지를 이용하거나, 검색 결과에 따라 영상 처리 서버(100)에 기저장된 이벤트 영상을 이용하여 실시간으로 전송되는 다채널의 영상으로부터 이벤트 객체가 포함된 다른 이벤트 영상을 검색할 수 있다. 이때, 검색 클라이언트(400)는 다채널의 영상들 중 적어도 하나의 채널을 선택하여 이벤트 객체를 검색할 수 있다.
그리고 영상 처리 서버(100)는 복수 개의 IP 카메라(200)들 각각으로부터 실시간으로 전송되는 다채널의 영상을 동시에 인공지능 기반의 영상 분석과 검색이 가능하도록 처리하는 하나의 장치 형태로 구비된다. 영상 처리 서버(100)는 복수 개의 IP 카메라(200)들과 통신망(4)을 통해 데이터 통신이 가능하도록 연결되고, 내부 네트워크 등을 통해 적어도 하나의 검색 클라이언트(400)와 데이터 통신이 가능하도록 연결되며, 통신망(4) 또는 내부 네트워크 등을 통해 영상 저장 장치(300)와 데이터 통신이 가능하도록 연결된다.
영상 처리 서버(100)는 다채널로 연결된 복수 개의 IP 카메라(200)들 각각으로부터 획득된 영상을 실시간으로 전송받아서 딥러닝 영상 분석 알고리즘 등을 이용하여 인공지능 기반으로 다채널의 영상을 동시에 분석하여 영상들 각각에 포함된 객체를 인식 및 검출한다. 영상 처리 서버(100)는 검출된 객체를 분류하고, 객체의 특징을 인식하여 객체의 속성을 판별하고, 판별된 객체의 속성에 따른 메타데이터를 추출하고, 객체가 포함된 프레임 단위의 이벤트 영상과 객체의 메타데이터를 결합하여 이벤트 데이터로 저장한다. 이때, 메타데이터에는 예를 들어, 객체의 종류, 객체의 특징 등에 대한 속성 정보가 포함된다.
영상 처리 서버(100)는 메타데이터 검색 방식과 이미지 검색 방식을 이용하여 이벤트 객체를 검색할 수 있도록 처리한다. 즉, 영상 처리 서버(100)는 이벤트 발생 시, 검색 클라이언트(400)로부터 다양한 검색 조건이 설정되면, 검색 조건에 매칭되는 객체를 다채널의 영상으로부터 동시에 검색할 수 있도록 처리한다. 이때, 검색 클라이언트(400)는 예를 들어, 검색 기간, 채널 선택, 검색 영역, 객체의 종류, 객체의 특징 등을 다중 선택하여 검색 조건을 설정하고, 동시에 일부 채널 또는 다채널의 영상에 적용하여 이벤트 객체를 검색한다.
영상 처리 서버(100)는 이벤트 발생 시, 검색 클라이언트(400)로부터 이벤트 객체가 포함된 이미지를 이용하여 이벤트 객체를 검색할 수 있도록 처리한다. 또 영상 처리 서버(100)는 이전 또는 다른 채널에서 검색된 객체의 이벤트 데이터 즉, 객체의 메타데이터와 객체가 포함된 프레임 단위의 이벤트 영상을 이용하여 이벤트 발생 시, 이벤트 객체를 검색할 수 있도록 처리한다. 이때, 영상 처리 서버(100)는 검색된 객체의 이벤트 영상을 이용하여 실시간으로 다채널의 영상에서 원하는 객체와 동일하거나 유사한 객체를 검색할 수 있으며, 유사한 객체의 검색 기능을 통해 검색 영상을 정밀 분석하고, 객체의 동선을 추척하여 객체의 타임테이블을 판별하고, 이를 통해 원하는 이벤트 객체를 보다 정확하게 검색할 수 있다. 또 영상 처리 서버(100)는 검색 결과에 따라 객체가 검출된 이벤트 영상에서 영상에 포함된 다른 객체를 선택하여 재검색을 처리할 수도 있다. 또 검색 결과에 따라 추출된 이벤트 영상에서 원하는 객체가 아닌 다른 객체가 있으면, 다른 객체에 대해 블러링 처리하여 검색 결과를 출력한다.
이러한 이미지 검색 방식은 예를 들어, 무늬가 있는 옷, 헤어 스타일, 색상 구분이 어려운 객체, 치매 노인, 실종 아동 등 메타데이터 검색 방식의 한계점을 극복할 수 있다. 또 이미지 데이터를 분석하여 다양한 객체의 특징을 판별하고, 이를 검색에 활용하여 메타데이터 조건 검색 방식보다 정밀하고 정확한 검색 결과물을 얻을 수 있다. 또 다채널의 영상을 동시에 고속으로 검색 가능하고, 검색 영상을 정밀 분석하여 객체의 동선을 추적, 분석할 수 있다.
영상 처리 서버(100)는 딥러닝 영상 분석 알고리즘 등을 이용하여 영상 분석, 객체 인식 및 추출, 객체 분류 및 속성 판별, 메타데이터 추출 및 객체 검색 과정에 대한 학습 데이터를 생성하고, 예를 들어, 컨볼루션 신경망(Convolution Neural Network : CNN) 등을 포함하는 딥러닝 기반으로 반복 학습하여 영상 분석 및 객체 검색에 대한 정확도를 향상시킬 수 있다.
영상 처리 서버(100)는 통신망(4) 또는 내부 네트워크 등을 통하여 복수 개의 IP 카메라(200)들 각각으로부터 전송된 다채널의 영상을 실시간으로 영상 저장 장치(300)에 저장하도록 원격 제어할 수도 있다. 이때, 영상 처리 서버(100)는 IP 카메라(200)들 각각을 원격 제어하고, 영상 저장 장치(300)에 대한 장치 선택, 연결 정보, 네트워크 접속 정보, 관리자 정보 등을 설정하여 영상 저장 장치(300)를 활성화시키고, 이를 통해 영상 저장 장치(300)를 원격 제어한다. 또 영상 처리 서버(100)는 영상 저장 장치(300)로 영상을 요청하고, 영상 저장 장치(300)에 기저장된 영상들 중 요청된 영상을 선택적으로 전송받아서 이벤트 객체를 검색할 수도 있다.
영상 처리 서버(100)는 이벤트 발생 시, 이벤트가 발생된 객체를 검색 가능하도록 인터페이스를 제공하고, 이를 통해 검색 클라이언트(400)로부터 검색이 요청되면, 다채널의 영상을 동시에 분석 및 검색하여 이벤트 객체 및 이벤트 객체가 포함된 이벤트 영상을 추출하여 검색 결과물을 검색 클라이언트(400)로 제공한다. 즉, 영상 처리 서버(100)는 검색 조건, 객체가 포함된 이미지 및 기저장된 이벤트 영상을 이용한 검색 결과에 따라 객체가 포함된 이벤트 영상을 검색 클라이언트(400)로 제공하여 채널별로 이벤트 영상을 모니터링하도록 처리하고, 그 검색 결과에 대한 영상을 저장, 관리하도록 처리한다. 이러한 검색 결과물은 예를 들어, 메타데이터 검색의 경우, 검색 조건에 따른 객체의 시간 순으로 정렬하고, 이미지 검색의 경우 검색 조건의 정확도에 따른 우선 순위로 정렬하여 제공한다.
따라서 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 실시간으로 현장의 상황과 이벤트 발생 상황을 실시간 관제 모니터링할 수 있으며, 이벤트 알림 발생 시 또는 신고자로부터 사건 사고 신고 접수 시, 실시간 다채널의 영상을 통해 현장의 상황을 파악하고, 유관 기관의 종합 상황실 등으로 해당 객체에 대한 정보를 전달하고, 이벤트 발생 시 또는 신고 접수 시에 객체의 신상 정보 등을 전달받아서 객체의 정보를 활용하여 메타데이터 검색 기능을 진행하고, 유사한 객체 확인 및 객체의 정보와 비교하여 해당 객체의 확인 시, 동선 분석 및 영상 추출을 통해 이벤트에 신속하고 정확하게 대처할 수 있다. 또 동시에 분석 가능한 다채널의 영상들로부터 메타데이터를 추출하고, 이를 기반으로 객체를 검색하고, 유사 객체 검색을 위해 이미지 검색 기능을 처리하여 메타데이터 검색 후 확인된 객체의 이미지를 활용하여 이미지 검색을 진행하고, 해당 객체 확인 시 동선 분석 및 영상을 추출한다. 따라서 이미지 검색 기능을 통해 이미지에 포함된 객체의 이미지 데이터를 기반으로 검색이 처리되어 다른 검색 조건의 설정없이 원하는 객체의 검색이 가능하다.
구체적으로, 본 발명의 실시예에 따른 영상 처리 서버의 구성에 대해 상세히 설명한다.
도 2는 도 1에 도시된 영상 처리 서버의 구체적인 구성을 나타내는 블록도이고, 도 3은 도 2에 도시된 영상 처리 서버의 실시예에 따른 구성을 나타내는 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 영상 처리 서버(100)는 복수 개의 IP 카메라(200)들 각각으로부터 다채널의 영상을 실시간으로 전송받아서 인공지능 기반으로 영상을 분석하고, 객체를 인식, 검출 및 분류하여 객체의 속성을 판별하고, 객체의 속성에 따른 메타데이터를 추출하고, 객체가 포함된 프레임 단위의 이벤트 영상과 객체의 메타데이터를 결합하여 이벤트 데이터를 저장한다. 본 발명의 실시예에서 이벤트 영상은 초당 1 프레임 단위의 영상으로 구비된다.
또 본 발명의 영상 처리 서버(100)는 이벤트 발생 시, 검색 클라이언트(400)로부터 검색 조건, 객체 이미지(예를 들어, 사진, 썸네일 등) 또는 기저장된 이벤트 영상이 설정되면, 실시간으로 전송되는 다채널의 영상을 동시에 분석하고 객체에 대한 메타데이터를 추출하고, 객체가 포함된 이벤트 영상과 메타데이터가 결합, 생성된 이벤트 데이터와 비교, 분석하여 동일하거나 유사한 객체를 검색 및 추출한다. 또 본 발명의 영상 처리 서버(100)는 추출된 객체를 통해 객체의 수를 카운트하거나, 추출된 객체에 대한 타임테이블을 분석하여 객체의 움직임 등을 판별할 수 있다.
또 본 발명의 영상 처리 서버(100)는 검색 결과에 따라 검색 클라이언트(400)로 이벤트 영상과 이벤트 영상이 포함된 일부 구간의 동영상을 제공한다.
이를 위해 본 발명의 영상 처리 서버(100)는 인공지능(AI) 영상 분석부(110), 객체 검출부(120), 메타데이터 추출부(130), 이벤트 데이터 저장부(140) 및 객체 검색부(150)를 적어도 포함한다.
구체적으로, 인공지능(AI) 영상 분석부(110)는 예컨대, 딥러닝 영상 분석 알고리즘을 이용한 인공지능(AI) 분석 모듈(또는 엔진)으로 구비된다. 인공지능(AI) 영상 분석부(110)는 복수 개의 IP 카메라(200)들 각각으로부터 실시간으로 다채널의 영상을 전송받아서 동시에 딥러닝 영상 분석 알고리즘을 이용한 인공지능 기반으로 영상을 분석한다. 인공지능(AI) 영상 분석부(110)는 영상을 분석하여 영상에 포함된 객체를 인식한다. 이때, 인공지능(AI) 영상 분석부(110)는 다채널 예를 들어, 약 2 ~ 120개 채널별로 다양한 이벤트 유형에 따른 분석 조건을 설정하여 각각의 영상을 동시에 분석할 수 있다. 여기서 분석 조건에는 다양한 이벤트 유형들 예를 들어, 객체의 침입 여부, 넘어짐, 싸움, 유동 인구 등에 따른 객체의 종류, 객체의 특징, 객체의 움직임, 객체의 이동 방향, 객체의 수 등에 따라 약 20 ~ 30 개의 분석 조건들이 포함된다. 이에 인공지능 영상 분석부(110)는 다채널의 영상에서 설정된 분석 조건에 따라 프레임 단위로 영상을 분석하고, 이를 통해 객체의 종류, 객체의 특징, 객체의 움직임, 객체의 수 등을 인식하고, 객체의 종류, 크기, 색상, 모양, 윤곽선 등 특징적인 정보 간의 유사도를 이용하여 객체의 변화를 추적할 수 있도록 분석한다.
인공지능(AI) 영상 분석부(110)는 인식된 객체가 포함된 이벤트 영상을 객체 검출부(120)로 전송한다. 이러한 인공지능(AI) 영상 분석 모듈(110)은 일체형(all-in-one)의 분석 모듈(또는 엔진)로 구비되어 다채널의 영상을 인공지능(AI) 기반으로 동시에 분석함으로써, 실시간으로 전송되는 다채널의 영상에 대한 분석 데이터의 부하가 가볍고, 처리 속도가 매우 빠르며, 이를 반복 학습하여 객체 인식 및 검출 능력을 향상시킬 수 있다.
객체 검출부(120)는 예컨대, 딥러닝 영상 분석 알고리즘을 이용한 객체 검출 모듈(또는 엔진)으로 구비된다. 객체 검출부(120)는 복수 개의 IP 카메라(200)들 각각으로부터 실시간으로 다채널의 영상을 전송받고, 인공지능(AI) 영상 분석부(110)를 통해 인식된 객체들 각각을 프레임 단위로 검출한다. 객체 검출부(120)는 검출된 객체를 사람, 차량 등의 종류별로 분류하고, 객체의 속성을 판별한다. 객체의 속성에는 예를 들어, 객체의 종류, 객체의 특징, 객체의 움직임 및 객체 수 등이 포함된다.
메타데이터 추출부(130)는 객체 검출부(120)를 통해 판별된 객체의 속성 예를 들어, 객체의 종류, 객체의 특징 등에 따른 객체의 메타데이터를 추출한다. 이때, 메타데이터 추출부(130)는 프레임별로 발생된 모든 객체들 각각의 메타데이터를 추출한다. 메타데이터 추출부(130)는 추출된 객체의 메타데이터를 객체가 포함된 이벤트 영상(예컨대, 이벤트 스틸컷)과 결합한다. 메타데이터 추출부(130)는 IP 카메라(200)들 각각으로부터 전송된 영상의 프레임 단위 예를 들어, 1 초당 1 프레임(frame) 단위의 이벤트 영상에 메타데이터를 결합하여 이벤트 데이터를 생성한다. 이는 객체가 검출된 영상에서 다음(next) 프레임에서도 동일한 객체가 검출되기 때문에 일정 간격의 프레임 단위의 영상에 메타데이터를 결합하여 검색을 위한 영상 데이터의 용량이 작으므로, 데이터의 부하가 줄어들어 검색 속도가 향상될 수 있다.
이벤트 데이터 저장부(140)는 메타데이터 추출부(130)에 의해 생성된 이벤트 데이터 즉, 이벤트 영상과 메타데이터가 결합된 데이터를 저장한다. 이벤트 데이터 저장부(140)는 메타데이터 추출부에 의해 생성된 이벤트 데이터를 설정 기간 또는 일정 기간(예를 들어, 최소 30일 등) 동안에 저장, 관리한다. 이벤트 데이터 저장부(140)는 이벤트 데이터를 객체 검색부(140)가 검색 가능하게 제공한다.
그리고 객체 검색부(150)는 예컨대, 딥러닝 영상 분석 알고리즘을 이용한 객체 검색 모듈(또는 엔진)으로 구비된다. 객체 검색부(150)는 검색 클라이언트(400) 또는 영상 처리 서버(100) 자체에서 원하는 디지털 포렌식 영상 검색을 위한 검색 조건이 입력되면, 이벤트 데이터 저장부(140)에 저장된 이벤트 데이터의 메타데이터와 비교, 분석하여 검색하고자 하는 객체를 검색한다. 이때, 검색 조건에는 날짜, 시간 등의 기간별, 하나 또는 다중 채널별, 객체의 종류별, 객체의 특징별, 객체의 움직임 여부, 객체의 군집 상태 등이 입력, 설정된다. 이에 객체 검색부(150)는 검색 필터를 이용하여 검색 조건에 따라 메타데이터를 필터링하여 이벤트 데이터의 메타데이터와 비교, 분석한다.
객체 검색부(150)는 검색 클라이언트(400) 또는 영상 처리 서버(100) 자체에서 객체가 포함된 이미지 또는 검색 조건에 의해 검색되어 이벤트 데이터 저장부(140)에 기저장된 이벤트 영상을 선택하여 검색이 요청되면, 이벤트 데이터 저장부(140)에 저장된 이벤트 데이터의 이벤트 영상과 비교, 분석하여 객체를 검색한다. 객체 검색부(150)는 이미지 검색 방식으로 객체를 검색하는 경우, 객체가 포함된 유사한 이벤트 영상만을 검색한다. 객체 검색부(150)는 검색된 객체들을 시간별, 정확도별 우선 순위 등으로 분류하여 정렬한다.
객체 검색부(150)는 디지털 포렌식 영상 데이터로 활용하기 위하여, 검색 결과에 따른 이벤트 영상을 추출하여 이벤트 객체가 포함된 일정 구간의 동영상 또는 스냅샷 형태의 이미지로 생성하여 영상 저장 장치(300)나 외부의 저장매체(미도시됨) 등에 저장하도록 전송한다. 또 객체 검색부(150)는 영상 저장 장치(300)나 저장매체에 기저장된 영상으로부터 검색 조건, 객체 이미지, 이벤트 영상에 대응되는 객체 및 영상을 검색 및 추출하여 원하는 영상을 신속하게 검출할 수 있다. 따라서 객체 검색부(150)는 실시간 영상, 기저장된 영상으로부터 원하는 객체를 검색할 수 있다.
본 발명의 실시예에 따른 영상 처리 서버(100)는 도 3에 도시된 바와 같이, IP 카메라(200)들 각각의 채널(채널1 ~ 채널N)에 대응하여 인공지능(AI) 영상 분석부(110), 객체 검출부(120) 및 메타데이터 추출부(130)들 각각이 복수 개로 구비될 수 있다. 이에 이벤트 데이터 저장부(140)는 메타데이터 추출부(130)들 각각으로부터 추출된 객체의 메타데이터들을 채널별로 저장, 관리한다. 따라서 객체 검출부(150)는 설정된 검색 조건, 객체 이미지 및 기저장된 이벤트 영상을 이벤트 데이터 저장부(140)에 저장된 메타데이터를 이용하여 비교, 분석하여 이벤트 객체 및를 영상을 검색 및 추출한다.
상술한 본 발명의 영상 처리 서버(100)는 하나의 서버로 구비되어 딥러닝 영상 분석 알고리즘을 이용한 인공지능 기반의 영상 분석, 객체 인식 및 검출, 메타데이터 추출, 객체 검색 과정을 처리하여 보다 신속하고 정확한 디지털 포렌식 영상 데이터를 확보할 수 있다.
그리고 도 4는 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템의 영상 처리 과정을 도시한 흐름도이다.
도 4를 참조하면, 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템(2)은 단계 S600에서 영상 처리 서버(100)가 통신망(4)을 통하여 서로 다른 장소에 설치된 복수 개의 IP 카메라(200)들 각각으로부터 다채널의 영상을 실시간으로 수신한다.
단계 S610에서 영상 처리 서버(100)는 IP 카메라(200)들로부터 전송된 다채널의 영상을 인공지능(AI) 영상 분석부(110)를 이용하여 동시에 분석한다. 단계 S620에서 영상 처리 서버(100)는 영상 분석을 통해 인식된 객체들을 객체 검출부(120)를 통해 영상에 포함된 다양한 객체들을 인식 및 검출하고, 검출된 객체들을 분류한다. 단계 S630에서 영상 처리 서버(100)는 메타데이터 추출부(130)를 이용하여 검출된 객체들 각각에 대한 객체의 속성을 판별하여 객체들 각각의 메타데이터를 추출한다.
단계 S640에서 영상 처리 서버(100)는 객체가 포함된 이벤트 영상과 객체의 메타데이터를 결합하여 이벤트 데이터를 생성하고, 이를 이벤트 데이터 저장부(140)에 저장, 관리한다. 또 영상 처리 서버(100)는 딥러닝 영상 분석 알고리즘을 이용하여 인공지능 기반의 영상 분석, 객체 인식 및 검출, 메타데이터 추출 과정(단계 S600 ~ 단계 S630)들 각각에 대한 학습 데이터를 생성하고, 이를 통해 반복 학습한다.
단계 S650에서 영상 처리 서버(100)는 검색 클라이언트(400)로부터 객체 검색부(150)로 검색 조건이 설정되거나, 객체가 포함된 객체 이미지 또는 이벤트 데이터 저장부(140)에 기저장된 이벤트 데이터가 선택되어 검색이 요청되면, 단계 S660에서 영상 처리 서버(100)는 설정된 검색 조건, 선택된 객체 이미지 또는 이벤트 영상에 대응하는 적어도 하나의 채널에 대한 영상으로부터 설정된 적어도 하나의 객체가 포함된 영상을 검색 및 추출하고, 이벤트 데이터 저장부(140)에 저장된 이벤트 데이터의 메타데이터 또는 이벤트 영상과 비교, 분석한다.
이어서 단계 S670에서 영상 처리 서버(100)는 메타데이터 검색 방식 또는 이미지 검색 방식에 따른 검색 결과를 추출하여 검색 클라이언트(400)로 전송한다. 이에 검색 클라이언트(400)는 검색 결과물이 이벤트 객체에 대한 원하는 영상이면, 관리자의 요청에 의해 검색 결과 영상을 영상 저장 장치(300), 저장매체 등에 저장할 수 있도록 전송한다. 따라서 검색 결과 영상은 디지털 포렌식 영상 자료로 활용된다.
따라서 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 다채널의 IP 카메라(200)들로부터 실시간으로 전송되는 영상에 대해, 이벤트 발생 시, 관리자 등이 원하는 검색 조건을 설정하여 메타데이터 검색 방식으로 검색 조건에 매칭되는 객체가 포함된 영상을 검색 및 추출하여 제공한다.
또 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 이벤트 발생 시, 이벤트 객체가 포함된 객체 이미지 또는 이전에 검색되거나 다른 채널에서 검색된 이벤트 영상을 선택하여 이미지 검색 방식으로 객체가 포함된 영상을 검색 및 추출하여 제공한다.
또한 본 발명의 인공지능 기반의 포렌식 영상 처리 시스템(2)은 실시간으로 디지털 포렌식 영상 검색 뿐만 아니라, 영상 저장 장치(300)나 저장매체(미도시됨)에 기저장된 영상으로부터 디지털 포렌식 영상 검색을 위해 설정된 검색 조건, 객체 이미지 또는 이벤트 영상에 매칭되는 객체가 포함된 영상을 검색 및 추출하여 제공할 수도 있다.
이상에서, 본 발명에 따른 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
2 : 포렌식 영상 처리 시스템
4 : 통신망
100 : 영상 처리 서버
110 : 인공지능(AI) 영상 분석부
120 : 객체 검출부
130 : 메타데이터 추출부
140 : 이벤트 데이터 저장부
150 : 객체 검색부
200 : IP 카메라
300 : 영상 저장 장치
400 : 검색 클라이언트
500 : 모니터링 장치

Claims (5)

  1. 인공지능 기반의 포렌식 영상 처리 시스템에 있어서:
    복수 개의 채널로 연결된 복수 개의 IP 카메라들 각각으로부터 실시간으로 영상을 전송받는 하나의 영상 처리 서버;를 포함하되,
    상기 영상 처리 서버는,
    상기 IP 카메라들 각각으로부터 실시간으로 영상을 전송받아서 동시에 딥러닝 영상 분석 알고리즘을 이용한 인공지능 기반으로 다채널의 영상을 분석하여 객체를 인식하는 인공지능 영상 분석부;
    상기 IP 카메라들 각각으로부터 실시간으로 영상을 전송받고 상기 인공지능 영상 분석부로부터 분석된 결과에 따라 인식된 객체를 프레임 단위로 검출하고, 검출된 객체를 분류하며, 객체의 속성을 판별하는 객체 검출부;
    상기 객체 검출부를 통해 판별된 객체의 속성에 따른 객체의 메타데이터를 추출하고, 추출된 객체의 메타데이터를 객체가 포함된 이벤트 영상과 결합하는 메타데이터 추출부;
    상기 메타데이터 추출부에 의해 이벤트 영상과 메타데이터가 결합된 이벤트 데이터를 저장하는 이벤트 데이터 저장부; 및
    적어도 하나의 검색 클라이언트로부터 이벤트가 발생된 객체에 대한 검색 조건이 설정되면, 상기 이벤트 데이터 저장부에 저장된 이벤트 데이터의 메타데이터와 검색 조건을 비교 분석하여 동시에 다채널의 영상을 검색하여 이벤트 객체를 판별하고, 판별된 이벤트 객체가 포함된 이벤트 영상을 추출하는 객체 검색부를 포함하는 것을 특징으로 하는 인공지능 기반의 포렌식 영상 처리 시스템.
  2. 청구항 1에 있어서,
    상기 인공지능 영상 분석부는,
    다채널의 영상에 대해 채널별로 이벤트 유형에 따른 분석 조건을 설정하여 각각의 영상을 동시에 분석하는 것을 특징으로 하는 인공지능 기반의 포렌식 영상 처리 시스템.
  3. 청구항 1에 있어서,
    상기 메타데이터 추출부는,
    상기 IP 카메라들 각각으로부터 전송된 다채널의 영상들 각각을 1 초당 1 프레임 단위의 이벤트 영상에 객체의 메타데이터를 결합하여 이벤트 데이터를 생성하는 것을 특징으로 하는 인공지능 기반의 포렌식 영상 처리 시스템.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 객체 검색부는,
    상기 검색 클라이언트로부터 상기 이벤트 데이터 저장부에 이전 검색 또는 다른 채널에서 검색된 기저장된 이벤트 데이터들 중 하나를 선택하여 검색이 요청되면, 다채널의 영상에서 선택된 이벤트 데이터에 포함된 객체를 더 검색하도록 구비되는 것을 특징으로 하는 인공지능 기반의 포렌식 영상 처리 시스템.
  5. 청구항 4에 있어서,
    상기 객체 검색부는,
    상기 검색 클라이언트로부터 객체가 포함된 이미지를 이용하여 검색이 요청되면, 상기 이벤트 데이터 저장부에 저장된 이벤트 데이터의 이벤트 영상과 비교, 분석하여 객체를 더 검색하도록 구비되는 것을 특징으로 하는 인공지능 기반의 포렌식 영상 처리 시스템.
KR1020230103647A 2022-11-18 2023-08-08 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법 KR20240074636A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220155662 2022-11-18
KR1020220155662 2022-11-18

Publications (1)

Publication Number Publication Date
KR20240074636A true KR20240074636A (ko) 2024-05-28

Family

ID=91277453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230103647A KR20240074636A (ko) 2022-11-18 2023-08-08 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20240074636A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687989B1 (ko) 2015-12-14 2016-12-20 주식회사 포드림 디지털 포렌식 영상 검증 시스템 및 이에 사용되는 촬영장치와 영상저장장치
KR101954717B1 (ko) 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
KR102015954B1 (ko) 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
KR102254037B1 (ko) 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015954B1 (ko) 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
KR101687989B1 (ko) 2015-12-14 2016-12-20 주식회사 포드림 디지털 포렌식 영상 검증 시스템 및 이에 사용되는 촬영장치와 영상저장장치
KR101954717B1 (ko) 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
KR102254037B1 (ko) 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법

Similar Documents

Publication Publication Date Title
US11929870B2 (en) Correlation engine for correlating sensory events
US20240250867A1 (en) Correlation engine for correlating sensory events
US9589190B2 (en) System and method for detection of high-interest events in video data
US8566314B2 (en) System and related techniques for detecting and classifying features within data
US20150070506A1 (en) Event triggered location based participatory surveillance
US20150264296A1 (en) System and method for selection and viewing of processed video
KR101964683B1 (ko) 스마트 영상처리장치 및 그 장치의 구동방법
KR102039277B1 (ko) 보행자 얼굴 인식 시스템 및 그 방법
US11417103B2 (en) Investigation assist system and investigation assist method
KR20110132884A (ko) 다중 동영상 색인 및 검색이 가능한 지능형 영상 정보 검색 장치 및 방법
KR101084914B1 (ko) 차량번호 및 사람 이미지의 인덱싱 관리시스템
US11575837B2 (en) Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
KR20180118979A (ko) 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
Arikuma et al. Intelligent multimedia surveillance system for safer cities
KR20240074636A (ko) 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법
Agarwal et al. Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network
KR101459103B1 (ko) 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
CN210983509U (zh) 入境重点人群布控系统
GB2594459A (en) A method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
WO2015173836A2 (en) An interactive system that enhances video surveillance systems by enabling ease of speedy review of surveillance video and/or images and providing means to take several next steps, backs up surveillance video and/or images, as well as enables to create standardized intelligent incident reports and derive patterns
US11056150B2 (en) Multi-time search analytics
US20230325255A1 (en) Curation of custom workflows using multiple cameras, with ai trained from the workflow
US20230305903A1 (en) Curation of custom workflows using multiple cameras, with ai to provide awareness of situations
WO2023281897A1 (ja) 映像監視システム及び映像監視方法