KR101733321B1 - 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템 - Google Patents

다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템 Download PDF

Info

Publication number
KR101733321B1
KR101733321B1 KR1020150189321A KR20150189321A KR101733321B1 KR 101733321 B1 KR101733321 B1 KR 101733321B1 KR 1020150189321 A KR1020150189321 A KR 1020150189321A KR 20150189321 A KR20150189321 A KR 20150189321A KR 101733321 B1 KR101733321 B1 KR 101733321B1
Authority
KR
South Korea
Prior art keywords
recognition module
camera
event
information
integrated
Prior art date
Application number
KR1020150189321A
Other languages
English (en)
Inventor
김유성
김경연
김용화
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020150189321A priority Critical patent/KR101733321B1/ko
Application granted granted Critical
Publication of KR101733321B1 publication Critical patent/KR101733321B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템이 개시된다. 통합 실시간 감시 시스템은 다중 카메라 환경에서 객체 및 이벤트를 빠르고 정확하게 인식하기 위해서 독립적으로 개발된 단일 카메라의 객체 인식 및 이벤트 인식 하드웨어 및 소프트웨어 컴포넌트들을 개별적으로 채택, 연동하여 상황 감시를 할 수 있도록 지원한다.

Description

다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템{COMPONENT-BASED INTEGRATED REAL-TIME SURVEILLANCE SYSTEM FOR RECOGNIZING EVENTS IN MULTIPLE CAMERA ENVIRONMENTS}
아래의 설명은 카메라 영상에서 객체 및 이벤트를 인식하기 위한 실시간 감시 시스템에 관한 것이다.
사회 안전망에 대한 요구가 높아짐에 따라 최근에는 도로, 건물 등 다양한 장소에 감시 카메라가 설치되고 있다. 기존에는 1 ~ 2개 수준의 감시 카메라가 활용되는 경우가 많았으므로 감시 카메라에서 촬영된 영상을 단순히 저장하거나 그대로 관제 장치 또는 모니터링 장치로 전송하여 확인하는 경우가 대부분이었다.
최근에는 다수의 감시 카메라를 동시에 운용할 수 있는 통합 관제 시스템을 운용하는 빈도가 높아지고 있다. 이는 교통 현황 분석, 고층 건물의 보안 및 방범과 같은 다양한 목적으로 소수의 감시 인력이 여러 장소를 동시에 감시할 필요성이 높아지고 있기 때문이다.
통합 관제 기술의 일 예로서, 한국 등록특허공보 제10-0880211호(등록일 2009년 01월 16일)에는 원격지의 시설물에 설치된 원격 단말 유닛(RTU)으로부터 실시간으로 수신된 정보를 통제 센터에서 분석 가공하여 모니터에 표시하고 경보를 발생하며 해당 시설물의 관리자에게 통보하여 해당 관리자가 적절하게 조치하도록 하는 통합 관제 시스템 및 방법이 개시되어 있다.
통합 관제 시스템을 운용하는 경우 모니터링 요원은 복수 개의 감시 카메라에서 동시에 전송된 복수 개의 영상을 지켜봐야 한다. 모니터링 요원이 복수 개의 영상을 확인하는 경우, 하나의 영상만을 확인하는 경우보다 시간에 따른 모니터링 요원의 집중력 저하가 더욱 급속하게 발생한다. 이러한 집중력 저하는 영상에서 모니터링 요원이 확인해야 하는 주요 상황을 인지하지 못하게 하여 통합 관제 시스템의 활용 의미를 퇴색하게 할 수 있다는 문제가 있다.
다중 카메라 환경에서 객체 및 이벤트를 빠르고 정확하게 인식할 수 있는 통합 실시간 감시 시스템의 플랫폼을 제공한다.
객체 및 이벤트를 인식하기 위해 독립적으로 개발된 단일 카메라의 객체 인식 및 이벤트 인식 하드웨어 및 소프트웨어 컴포넌트들을 개별적으로 채택, 연동하여 다중 카메라 환경에서 상황 감시를 할 수 있도록 지원하는 통합 실시간 감시 시스템의 플랫폼을 제공한다.
적어도 하나의 IP(internet protocol) 카메라에서 촬영된 비디오 동영상을 저장하기 위해 통합 비디오 데이터베이스로 전달하기 위한 제1 인터페이스; 적어도 하나의 CCTV 용 카메라에서 촬영된 비디오 동영상을 저장하기 위해 상기 통합 비디오 데이터베이스로 전달하고, 상기 CCTV 용 카메라에 내장된 인식 모듈을 통해 인식된 객체 및/또는 이벤트와 관련된 주석 정보를 저장하기 위해 통합 주석 데이터베이스로 전달하기 위한 제2 인터페이스; 비디오 동영상에서 객체를 인식하기 위한 객체 인식 모듈, 비디오 동영상에서 이벤트를 인식하기 위한 이벤트 인식 모듈, 비디오 동영상에서 객체 및 이벤트를 인식하기 위한 객체 및 이벤트 인식 모듈 중 적어도 하나로 상기 통합 비디오 데이터베이스에 저장된 비디오 동영상을 전달하기 위한 제3 인터페이스; 상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈 중 적어도 하나에서 상기 제3 인터페이스를 통해 전달 받은 비디오 동영상에 대해 생성된 주석 정보를 상기 통합 주석 데이터베이스로 전달하기 위한 제4 인터페이스; 상기 통합 비디오 데이터베이스와 상기 통합 주석 데이터베이스에 저장된 정보를 검색하기 위한 제5 인터페이스; 및 상기 제5 인터페이스를 통해 검색된 정보를 이용하여 상기 IP 카메라와 상기 CCTV 용 카메라를 포함하는 다중 카메라 환경에서 이벤트를 인식하기 위한 다중 카메라 기반 이벤트 인식 모듈을 포함하는 통합 실시간 감시 시스템을 제공한다.
일 측면에 따르면, 상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈 중 적어도 하나를 탈부착 연동이 가능하도록 하는 컴포넌트 기반 통합 인터페이스로서 상기 제3 인터페이스와 상기 제4 인터페이스를 제공하는 것을 특징으로 한다.
다른 측면에 따르면, 상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈을 파이프라인 형태로 연동시킴으로써 상기 다중 카메라 기반 이벤트 인식 모듈에서 상기 다중 카메라 환경에서 실시간으로 객체 및/또는 이벤트를 인식하는 것을 특징으로 한다.
또 다른 측면에 따르면, 상기 다중 카메라 기반 이벤트 인식 모듈은, 상기 통합 비디오 데이터베이스에 저장된 비디오 동영상 간의 시공간 관계(spatial-temporal relationship)를 이용하여 상기 다중 카메라 환경에서의 이벤트를 인식하는 것을 특징으로 한다.
또 다른 측면에 따르면, 인터넷 상에서 기상 정보, 대기 정보, 태양 정보 중 적어도 하나를 포함하는 환경 정보를 검색하여 환경 정보 데이터베이스에 저장하기 위한 환경 정보 크롤러를 더 포함하고, 상기 다중 카메라 기반 이벤트 인식 모듈은, 상기 환경 정보 데이터베이스에 저장된 환경 정보를 더 이용하여 상기 다중 카메라 환경에서의 이벤트를 인식하는 것을 특징으로 한다.
네트워크 인터페이스를 가진 IP CCTV 카메라뿐만 아니라 객체인식 모듈을 내장하고 있는 지능형 카메라 또는 객체 및 이벤트 인식 모듈까지 내장하고 있는 첨단 지능형 카메라 등 다양한 기능의 카메라들로 구성된 다중 카메라 환경에서 객체 및 이벤트를 빠르고 정확하게 인식하기 위해 독립적으로 개발된 단일 카메라의 객체 인식 및 이벤트 인식 하드웨어 및 소프트웨어 컴포넌트들을 개별적으로 채택, 연동하여 다중 카메라 환경에서 상황 감시를 할 수 있도록 지원하는 통합 실시간 감시 시스템의 플랫폼을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 있어서 통합 실시간 감시 시스템의 플랫폼을 도시한 것이다.
도 2는 본 발명의 일 실시예에 있어서 환경 정보 DB의 스키마를 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서 통합 비디오 DB와 통합 주석 DB의 스키마를 설명하기 위한 예시 도면이다.
도 4는 본 발명의 일 실시예에 있어서 다중 카메라 기반 이벤트 인식 환경의 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 카메라 영상에서 객체 및 이벤트를 인식하기 위한 실시간 감시 시스템에 관한 것으로, 이는 지능형 CCTV(closed circuit television)나 통합 관제 센터 등의 기술 분야에 적용될 수 있다.
본 발명에서는 네트워크 인터페이스를 가진 IP(internet protocol) 카메라뿐만 아니라, 카메라 영상에서 객체를 인식할 수 있는 객체 인식 모듈을 내장하고 있는 지능형 카메라, 또는 카메라 영상에서 객체 및 이벤트를 인식할 수 있는 객체 및 이벤트 인식 모듈까지 내장하고 있는 첨단 지능형 카메라 등 다양한 기능의 카메라들로 구성된 다중 카메라 환경에서 객체 및 이벤트를 빠르고 정확하게 인식하기 위해서 독립적으로 개발된 단일 카메라의 객체 인식 및 이벤트 인식 하드웨어 및 소프트웨어 컴포넌트들을 개별적으로 채택, 연동하여 다중 카메라 환경에서 상황 감시를 할 수 있도록 지원하는 통합 실시간 감시 시스템의 플랫폼을 제안한다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 다양한 기능을 제공하는 카메라들을 연동시키기 위해 단순 카메라 네트워크 인터페이스, 실시간 비디오 및 주석 정보 인터페이스 등을 통해서 ONVIF(통신 표준 프로토콜로 동영상을 볼 수 있는 전산망을 통일한 국제 표준 규격)에 따라 카메라에서 녹화한 비디오 영상, 그리고 카메라에 내장된 객체 인식 모듈 또는 이벤트 인식 모듈이 추출한 객체 및 이벤트의 주석 정보를 TTA(Telecommunications Technology Association)의 표준("지능형 CCTV의 성능 평가용 주석 데이터 교환 포맷")에 규정된 형식에 따라 표현하여 플랫폼에 장착된 다른 모듈들이 필요한 시기에 사용할 수 있도록 지원하기 위해 데이터 버스(data bus)를 통해서 각각 통합 비디오 DB와 통합 주석 DB에 저장할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 객체 및 이벤트의 인식 정확도를 증진하기 위한 목적으로 환경 정보 크롤러(crawler)를 이용하여 기상 정보, 대기 정보, 그리고 태양 정보 등과 같이 지능형 CCTV의 인식 기능에 영향을 줄 수 있는 환경 정보를 수집하여 환경 정보 DB에 저장하여 플랫폼에 장착된 다른 모듈들이 필요한 경우에 데이터 버스를 통해서 제공받아 활용할 수 있도록 지원할 수 있다.
본 발명의 실시예에 따르면, 통합 실시간 감시 시스템의 플랫폼에 장착된 모듈들은 데이터 버스를 통해서 비디오 영상뿐만 아니라, 환경 정보, 그리고 객체 및 이벤트 관련 주석 정보 등을 공유할 수 있기 때문에 상기한 데이터 버스를 '환경 정보/비디오/주석 공유 데이터 버스'라 일컬으며, 이하에서는 '데이터 버스'라 약칭하기로 한다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에는 데이터 버스를 통해서 제공되는 단일 카메라의 비디오 정보 및 관련 환경 정보를 이용하여 객체를 인식하는 단일 카메라 객체 인식 모듈을 연동시켜서 인식된 객체의 주석 정보를 생성하여 데이터 버스를 통해 통합 주석 DB에 저장하고 이를 향후 사용할 수 있도록 지원할 수 있다.
또한, 유사하게 단일 카메라의 비디오 정보 및 관련 환경 정보를 이용하여 객체뿐만 아니라 이벤트를 인식할 수 있는 단일 카메라 객체 및 이벤트 인식 모듈을 연동시켜서 인식된 객체 및 이벤트 주석 정보를 생성하여 데이터 버스를 통해 통합 주석 DB에 저장하여 향후 사용할 수 있도록 지원할 수 있다.
마찬가지로, 유사하게 단일 카메라의 비디오 정보 및 관련 환경 정보, 그리고 다른 객체 인식 모듈이 생성하여 통합 주석 DB에 저장된 주석 정보들을 데이터 버스를 통해 제공받아서 이들을 종합하여 이벤트를 인식하는 단일 카메라 이벤트 인식 모듈을 연동시켜서 인식된 이벤트 관련 주석 정보를 생성하여 데이터 버스를 통해 통합 주석 DB에 추가적으로 저장하여 향후 사용할 수 있도록 지원할 수 있다.
이와 같이 수집된 환경 정보 DB, 통합 비디오 DB, 그리고 통합 주석 DB로부터 필요한 정보들을 검색할 수 있도록 본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 통합 정보 검색 인터페이스를 제공할 수 있다. 통합 정보 검색 인터페이스를 통해서 검색한 환경 정보 DB, 통합 비디오 DB, 그리고 통합 주석 DB의 정보들을 활용하여 다중카메라 기반 이벤트 인식 모듈이 여러 카메라에서 촬영된 이벤트를 정확하게 인식할 수 있게 된다.
따라서, 본 발명에서 제안하는 통합 실시간 감시 시스템의 플랫폼을 이용하면 다양한 기능을 제공하는 여러 카메라들, 그리고 다양한 목적으로 독립적으로 개발된 객체 인식 및 이벤트 인식 모듈들을 컴포넌트로 채택하여 선택적으로 연동시켜서 실시간으로 이벤트를 인식할 수 있는 인식 모듈을 운용하는 것이 가능하다는 이점이 있다.
도 1은 본 발명의 일 실시예에 있어서 통합 실시간 감시 시스템의 플랫폼을 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 ONVIF와 같은 카메라 네트워크 인터페이스(①)만을 가진 기존의 단순 IP 카메라, 카메라 영상에서 객체를 인식하는 객체 인식 모듈(②)을 내장하고 있는 지능형 CCTV용 카메라, 카메라 영상에서 객체 및 이벤트를 인식하는 객체 및 이벤트 인식 모듈(③)을 내장한 첨단 지능형 CCTV용 카메라 등과 같이 여러 형태의 카메라를 활용하는 다중 카메라 환경에서, 적어도 하나의 카메라로부터 촬영된 비디오 동영상을 통합 비디오 DB(ⓑ)에 저장할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 카메라 영상에서 정확하고 신속하게 객체 및 이벤트를 인식하기 위해서 환경 정보 크롤러(⑩)를 이용하여 인터넷으로부터 환경 정보를 수집하여 환경 정보 DB(ⓐ)에 저장할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 또는 단일 카메라 이벤트 인식 모듈(⑦)이 단일 카메라 각각에 대하여 데이터 버스(⑪)를 통해서 통합 비디오 DB(ⓑ)에 저장된 비디오 정보를 전달 받아 해당 카메라의 비디오 정보를 이용하여 객체 및/또는 이벤트를 인식/생성할 수 있다. 이때, 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 단일 카메라 이벤트 인식 모듈(⑦)은 카메라 영상에서 객체 및/또는 이벤트를 인식하기 위해 독립적으로 개발된 인식 모듈로서 본 발명의 시스템에 자유롭게 탈부착 연동이 가능하도록 하는 컴포넌트 형태로 지원할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 또는 단일 카메라 이벤트 인식 모듈(⑦)이 인터넷 상의 환경 정보를 필요로 하는 경우에 데이터 버스(⑪)를 통해 환경 정보 DB(ⓐ)에 저장된 환경 정보를 전달할 수 있다.
통합 비디오 DB(ⓑ)의 비디오 정보와 환경 정보 DB(ⓐ)의 환경 정보는 시간 정보가 함께 저장 및 관리되는 것으로, 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 또는 단일 카메라 이벤트 인식 모듈(⑦)에는 비디오 정보와 함께, 해당 비디오가 촬영된 시간에 대응되는 시점의 환경 정보가 전달될 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 또는 단일 카메라 이벤트 인식 모듈(⑦)이 통합 비디오 DB(ⓑ)에 저장된 비디오 정보와 환경 정보 DB(ⓐ)에 저장된 환경 정보를 바탕으로 새롭게 인식된 객체 및/또는 이벤트 관련 주석 정보를 데이터 버스(⑪)를 통해서 통합 주석 DB(ⓒ)에 저장할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에서는 통합 정보 검색 인터페이스(⑫)를 통해서 환경 정보 DB(ⓐ), 통합 비디오 DB(ⓑ), 통합 주석 DB(ⓒ) 상의 정보를 검색할 수 있으며, 다중카메라 기반 이벤트 인식 모듈(⑬)이 통합 정보 검색 인터페이스(⑫)를 통해서 검색한 비디오 정보들과 관련 환경 정보들, 그리고 통합 주석 정보를 활용하여 다중 카메라 환경에서 실시간으로 이벤트를 인식할 수 있도록 지원할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템은 플랫폼을 구성하는 컴포넌트와 데이터 버스(⑪) 사이에서 필요한 정보를 전송하거나 전달받기 위한 인터페이스들이 추가로 포함될 수 있다.
예를 들면, 본 발명에 따른 통합 실시간 감시 시스템의 플랫폼은 지능형 CCTV용 카메라에 내장된 객체 인식 모듈(②)이 인식한 객체의 주석 정보 및/또는 객체 및 이벤트 인식모듈(③)이 인식한 객체 및 이벤트의 주석 정보를, 해당 카메라가 촬영한 비디오 동영상과 함께 실시간으로 데이터 버스(⑪)로 전달하기 위해서 실시간 비디오 및 주석 정보 인터페이스(④)를 포함할 수 있다.
또한, 본 발명에 따른 통합 실시간 감시 시스템의 플랫폼은 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 그리고 단일 카메라 이벤트 인식 모듈(⑦) 중 적어도 하나가 필요한 비디오 동영상과 관련 환경 정보를 데이터 버스(⑪)로부터 전달 받기 위해서 실시간 비디오 환경 정보 인터페이스(⑧)를 활용할 수 있고, 단일 카메라 객체 인식 모듈(⑤), 단일 카메라 객체 및 이벤트 인식 모듈(⑥), 그리고 단일 카메라 이벤트 인식 모듈(⑦) 중 적어도 하나에서 생성된 주석 정보를 데이터 버스(⑪)를 통해서 통합 주석 DB(ⓒ)에 저장하기 위해서 실시간 주석 정보 인터페이스(⑨)를 활용할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼에 탑재된 컴포넌트가 환경 정보 DB(ⓐ), 통합 비디오 DB(ⓑ), 그리고 통합 주석 DB(ⓒ)로부터 필요한 정보를 제공받거나, 또는 인식/생성한 정보를 환경 정보 DB(ⓐ), 통합 비디오 DB(ⓑ), 그리고 통합 주석 DB(ⓒ)에 저장하기 위한 전달 과정에서 상호 협력하며 동작하는 데이터 버스(⑪), 실시간 비디오 및 주석 정보 인터페이스(④), 실시간 비디오 환경 정보 인터페이스(⑧), 실시간 주석 정보 인터페이스(⑨)는 IP 카메라 연동을 위한 ONVIF 표준과 TTA의 표준("지능형 CCTV의 성능 평가용 주석 데이터 교환 포맷")에 따라 필요 정보를 전달할 수 있도록 공유 메모리와 세마포어(semaphore), 소켓(socket) 등을 이용하여 직접 구현할 수도 있으며, 분산 객체 접근을 지원하기 위한 표준 CORBA(Common Object Request Broker Architecture), DCOM(Distributed Component Object Model), Java RMI(Remote Method Invocation)를 따르는 제품을 이용할 수도 있다.
본 발명에 따른 통합 실시간 감시 시스템의 플랫폼은 다음과 같은 기능 및 특성을 제공한다.
1) 단순 IP 카메라, 객체 인식 모듈(②)을 내장한 카메라, 객체 및 이벤트 인식 모듈(③)을 내장한 카메라 등과 같이 다양한 기능을 제공하는 다양한 형태의 카메라들을 적용할 수 있다.
2) 독립적으로 개발된 기존의 단일 카메라 기반 객체 인식 모듈(⑤), 단일 카메라 기반 객체 및 이벤트 인식 모듈(⑥), 단일 카메라 기반 이벤트 인식 모듈(⑦)들을 자유롭게 탈부착 연동이 가능하도록 하는 컴포넌트 기반 통합 인터페이스(⑧, ⑨)를 제공할 수 있다.
3) 시스템에 부착된 컴포넌트들을 파이프라인(pipeline) 형태로 연동시켜 실시간으로 카메라 영상에서 객체 및/또는 이벤트를 정확하고 신속하게 인식할 수 있는 다중 카메라 기반 이벤트 인식 모듈(⑬)을 지원할 수 있다.
4) 환경 정보 크롤러(⑩)를 활용하여 인터넷으로부터 환경 관련 정보를 수집하고 이를 환경 정보 DB(ⓐ)에 저장하여 객체 및 이벤트 인식의 정확도 및 인식 속도 증진을 위해서 활용하도록 지원할 수 있다.
5) 다중 카메라 기반 실시간 이벤트 인식 모듈(⑬)이 통합정보 검색 인터페이스(⑫)를 통해 필요한 비디오 동영상, 관련 환경 정보 및 주석 정보를 검색하여 다중 카메라 환경에서 발생한 이벤트를 빠르고 정확하게 인식할 수 있도록 지원할 수 있다.
도 2는 본 발명의 일 실시예에 있어서 환경 정보 DB(ⓐ)의 스키마를 설명하기 위한 예시 도면이다.
CCTV의 객체 및/또는 이벤트 인식의 정확도에 영향을 줄 수 있는 대표적인 환경 정보로는 도 2에 도시한 바와 같이 기상 정보(21), 대기 정보(22), 그리고 태양 정보(23) 등이 있다.
환경 정보 크롤러(⑩)를 활용하여 인터넷으로부터 환경 정보를 수집하여 환경 정보 DB(ⓐ)에 저장한다. 환경 정보 DB(ⓐ)에는 기상 정보(21), 대기 정보(22), 그리고 태양 정보(23)를 각기 다른 테이블로 저장하며, 테이블 구성의 예는 도 2에 도시된 것과 같다.
도 3은 본 발명의 일 실시예에 있어서 통합 비디오 DB(ⓑ)와 통합 주석 DB(ⓒ)의 스키마를 설명하기 위한 예시 도면이다.
CCTV용 카메라 관련 정보(Purpose, CameraPurpose, Camera, Place 등), 카메라가 촬영한 비디오 정보(Video, User 등) 그리고 각 비디오에 대해 객체 및 이벤트 인식 모듈에 의해 생성된 주석 정보(Annotate, Object, Event 등) 등을 저장하기 위한 통합 비디오 DB(ⓑ) 및 통합 주석 DB(ⓒ)를 위한 스키마의 예는 도 3과 같다. 도 3에서는 CCTV용 카메라 관련 정보, 카메라가 촬영한 비디오 정보, 그리고 각 비디오에 대한 객체 및 이벤트의 주석 정보를 상호 연계하여 저장할 수 있다. CCTV용 카메라에 의해 촬영된 비디오 동영상의 경우 별도로 통합 비디오 DB(ⓑ)에 파일 형태로 저장될 수 있다.
도 4는 본 발명의 일 실시예에 있어서 다중 카메라 기반 이벤트 인식 환경의 예시를 도시한 것이다.
본 발명에서는 단일 카메라로는 인식할 수 없는 넓은 지역에서 발생한 이벤트를 인식하기 위해서 도 4에 도시한 바와 같이 여러 장소(장소 1, 2, 3)에 설치된 카메라에서 촬영된 비디오 데이터 및 관련 환경 정보, 그리고 단일 카메라 객체 인식 모듈, 단일 카메라 이벤트 인식 모듈, 그리고 단일 카메라 객체 및 이벤트 인식 모듈의 인식 결과를 통합 검색 인터페이스를 통해서 검색하여 이들을 통합해서 다중 카메라에 걸쳐서 발생하는 이벤트를 인식하는 기능을 포함할 수 있다. 다중 카메라 기반 이벤트 인식을 위해서는 카메라의 위치 정보와 비디오 녹화 시간 등을 이용해서 비디오 데이터 간의 시공간 관계(spatial-temporal relationship)를 이용하여(예를 들어, 일정 반경 내의 인접한 장소에서 유사 시간대에 촬영된 비디오 동영상을 이용하여) 이벤트를 인식할 수 있으며 날씨 등과 같은 환경 정보를 이용하여 이벤트 인식의 정확도를 증진할 수 있다.
본 발명에 따른 통합 실시간 감시 시스템은 프로세서, 버스, 네트워크 인터페이스, 메모리 및 데이터베이스를 포함하는 서버 컴퓨터에 해당될 수 있다. 서버 컴퓨터의 예로는 서버 컴퓨팅 디바이스, 개인용 컴퓨터, 서버 컴퓨터, 일련의 서버 컴퓨터들, 미니 컴퓨터, 및/또는 메인프레임 컴퓨터를 포함할 수 있지만 이러한 것으로만 한정되는 것은 아니다. 서버 컴퓨터는 분산형 시스템일 수 있고, 그리고 서버 컴퓨터의 동작들은 하나 이상의 프로세서들 상에서 동시에 그리고/또는 순차적으로 실행될 수 있다.
본 발명에 따른 통합 실시간 감시 시스템은 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 통합 실시간 감시 시스템은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리는 운영체제 및 통합 실시간 감시 루틴을 포함할 수 있다. 메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 운영체제와 통합 실시간 감시 루틴을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스를 통해 메모리에 로딩될 수도 있다.
버스는 통합 실시간 감시 시스템의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스는 통합 실시간 감시 시스템을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스는 통합 실시간 감시 시스템을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스는 통합 실시간 감시 시스템의 구현에 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 이때, 데이터베이스는 도 1을 통해 설명한 환경 정보 DB(ⓐ), 통합 비디오 DB(ⓑ), 통합 주석 DB(ⓒ) 등을 포함할 수 있다. 데이터베이스는 시스템 구현 방식이나 환경 등에 따라 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서는 기본적인 산술, 로직 및 통합 실시간 감시 시스템의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 다중 카메라 환경에서 객체 및/또는 이벤트를 실시간으로 인식하기 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.
이처럼 본 발명의 실시예들에 따르면, 네트워크 인터페이스를 가진 IP 카메라뿐만 아니라 객체인식 모듈을 내장하고 있는 지능형 카메라 또는 객체 및 이벤트 인식 모듈까지 내장하고 있는 첨단 지능형 카메라 등 다양한 기능의 카메라들로 구성된 다중 카메라 환경에서 객체 및 이벤트를 빠르고 정확하게 인식하기 위해 독립적으로 개발된 단일 카메라의 객체 인식 및 이벤트 인식 하드웨어 및 소프트웨어 컴포넌트들을 개별적으로 채택, 연동하여 상황 감시를 할 수 있도록 지원하는 통합 실시간 감시 시스템의 플랫폼을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 적어도 하나의 IP 카메라에서 촬영된 비디오 동영상을 저장하기 위해 통합 비디오 데이터베이스로 전달하기 위한 제1 인터페이스;
    적어도 하나의 CCTV 용 카메라에서 촬영된 비디오 동영상을 저장하기 위해 상기 통합 비디오 데이터베이스로 전달하고, 상기 CCTV 용 카메라에 내장된 인식 모듈을 통해 인식된 객체 및/또는 이벤트와 관련된 주석 정보를 저장하기 위해 통합 주석 데이터베이스로 전달하기 위한 제2 인터페이스;
    비디오 동영상에서 객체를 인식하기 위한 객체 인식 모듈, 비디오 동영상에서 이벤트를 인식하기 위한 이벤트 인식 모듈, 비디오 동영상에서 객체 및 이벤트를 인식하기 위한 객체 및 이벤트 인식 모듈 중 적어도 하나로 상기 통합 비디오 데이터베이스에 저장된 비디오 동영상을 전달하기 위한 제3 인터페이스;
    상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈 중 적어도 하나에서 상기 제3 인터페이스를 통해 전달 받은 비디오 동영상에 대해 생성된 주석 정보를 상기 통합 주석 데이터베이스로 전달하기 위한 제4 인터페이스;
    상기 통합 비디오 데이터베이스와 상기 통합 주석 데이터베이스에 저장된 정보를 검색하기 위한 제5 인터페이스; 및
    상기 제5 인터페이스를 통해 검색된 정보를 이용하여 상기 IP 카메라와 상기 CCTV 용 카메라를 포함하는 다중 카메라 환경에서 이벤트를 인식하기 위한 다중 카메라 기반 이벤트 인식 모듈
    을 포함하고,
    상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈은 상기 IP 카메라와 상기 CCTV 용 카메라를 포함하는 다중 카메라 환경에서 객체 및/또는 이벤트를 인식하기 위해 독립적으로 개발된 인식 모듈로서 구성되며,
    상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈을 탈부착 연동이 가능하도록 하는 컴포넌트 기반 통합 인터페이스로서 상기 제3 인터페이스와 상기 제4 인터페이스를 각각 제공하고,
    상기 객체 인식 모듈, 상기 이벤트 인식 모듈, 상기 객체 및 이벤트 인식 모듈을 파이프라인 형태로 연동시킴으로써 상기 다중 카메라 기반 이벤트 인식 모듈에서 실시간으로 객체 및/또는 이벤트를 인식하는 것
    을 특징으로 하는 통합 실시간 감시 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 다중 카메라 기반 이벤트 인식 모듈은,
    상기 통합 비디오 데이터베이스에 저장된 비디오 동영상 간의 시공간 관계(spatial-temporal relationship)를 이용하여 상기 다중 카메라 환경에서의 이벤트를 인식하는 것
    을 특징으로 하는 통합 실시간 감시 시스템.
  5. 제1항에 있어서,
    인터넷 상에서 기상 정보, 대기 정보, 태양 정보 중 적어도 하나를 포함하는 환경 정보를 검색하여 환경 정보 데이터베이스에 저장하기 위한 환경 정보 크롤러
    를 더 포함하고,
    상기 다중 카메라 기반 이벤트 인식 모듈은,
    상기 환경 정보 데이터베이스에 저장된 환경 정보를 더 이용하여 상기 다중 카메라 환경에서의 이벤트를 인식하는 것
    을 특징으로 하는 통합 실시간 감시 시스템.
KR1020150189321A 2015-12-30 2015-12-30 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템 KR101733321B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150189321A KR101733321B1 (ko) 2015-12-30 2015-12-30 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150189321A KR101733321B1 (ko) 2015-12-30 2015-12-30 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템

Publications (1)

Publication Number Publication Date
KR101733321B1 true KR101733321B1 (ko) 2017-05-08

Family

ID=60164209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150189321A KR101733321B1 (ko) 2015-12-30 2015-12-30 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템

Country Status (1)

Country Link
KR (1) KR101733321B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921868B1 (ko) * 2018-06-26 2018-11-23 장승현 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
CN109191749A (zh) * 2018-11-01 2019-01-11 北京北信智云科技有限公司 一种管网设施监测传感与视频联动系统及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921868B1 (ko) * 2018-06-26 2018-11-23 장승현 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
CN109191749A (zh) * 2018-11-01 2019-01-11 北京北信智云科技有限公司 一种管网设施监测传感与视频联动系统及其控制方法

Similar Documents

Publication Publication Date Title
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
JP6691406B2 (ja) キャプチャ画像に関連するメタデータとして識別子を含めるための方法、コンピュータ・システム、およびコンピュータ・プログラム
US11074730B1 (en) Augmented reality diagnostic tool for data center nodes
US20130050496A1 (en) Security monitoring method and apparatus using augmented reality
US8929596B2 (en) Surveillance including a modified video data stream
CN107770486B (zh) 事件搜索设备和系统
KR20110132884A (ko) 다중 동영상 색인 및 검색이 가능한 지능형 영상 정보 검색 장치 및 방법
CN111371990A (zh) 一种基于移动物联网的机房环境监控系统及摄像头
CN103473579A (zh) 室内区域定位方法
CN102682619A (zh) 一种基于车辆特征视频识别的停车场车辆定位系统
KR101733321B1 (ko) 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템
Xu et al. Coral-pie: A geo-distributed edge-compute solution for space-time vehicle tracking
KR101466132B1 (ko) 카메라 통합 관리 시스템 및 그 방법
WO2020125544A1 (zh) 一种分布式图像分析方法、系统及存储介质
CN110730305A (zh) 一种基于阻塞队列的多源抓拍图像处理、接入方法及装置
KR101964230B1 (ko) 데이터 처리 시스템
CN203894772U (zh) 一种海量人脸发现与识别系统
KR101842564B1 (ko) 다중 영상에 대한 집중 영상 감시 방법 및 이를 위한 집중 영상 관리 서버, 집중 영상 감시 시스템, 컴퓨터 프로그램, 그 기록매체
CN110855947B (zh) 一种图像抓拍处理方法及装置
US20200116506A1 (en) Crowd control using individual guidance
JP2008078954A (ja) 画像管理システム
WO2023005662A1 (zh) 图像处理方法及装置、电子设备、程序产品及计算机可读存储介质
KR102190658B1 (ko) 텍스트에 기반하여 비디오를 검색하기 위한 전자 장치 및 방법
KR102057845B1 (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant