KR100916136B1 - Intellingent monitoring method and system using realtime image search function - Google Patents

Intellingent monitoring method and system using realtime image search function Download PDF

Info

Publication number
KR100916136B1
KR100916136B1 KR1020070007541A KR20070007541A KR100916136B1 KR 100916136 B1 KR100916136 B1 KR 100916136B1 KR 1020070007541 A KR1020070007541 A KR 1020070007541A KR 20070007541 A KR20070007541 A KR 20070007541A KR 100916136 B1 KR100916136 B1 KR 100916136B1
Authority
KR
South Korea
Prior art keywords
image
template image
extracting
feature information
information vector
Prior art date
Application number
KR1020070007541A
Other languages
Korean (ko)
Other versions
KR20090000177A (en
Inventor
장성하
박호현
박광순
안재천
Original Assignee
중앙대학교 산학협력단
(주)트루엔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, (주)트루엔 filed Critical 중앙대학교 산학협력단
Priority to KR1020070007541A priority Critical patent/KR100916136B1/en
Publication of KR20090000177A publication Critical patent/KR20090000177A/en
Application granted granted Critical
Publication of KR100916136B1 publication Critical patent/KR100916136B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 디지털 감시 시스템에 템플레이트(Template) 데이터베이스를 이용한 실시간 이미지 검색기술을 적용하여 감시 관리자의 효율적인 감시를 위한 지능형 감시 방법 및 시스템에 관한 것이다. 본 발명에 따른 실시간 이미지 검색을 이용한 지능형 감시 방법은 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 단계 및 상기 템플레이트 이미지 데이터베이스를 참조하여 감시 카메라에서 취득한 정지 영상의 위험도 등급을 판단하는 단계를 포함한다.The present invention relates to an intelligent surveillance method and system for efficient surveillance of a surveillance manager by applying a real-time image retrieval technology using a template database to a digital surveillance system. An intelligent surveillance method using a real-time image search according to the present invention comprises the steps of constructing a template image database by storing a template image containing a shape and a scene determined to be a risk factor, and of the still image acquired by the surveillance camera with reference to the template image database. Determining the risk class.

모양기반, 다차원 색인, 감시 카메라, 지능형 Shape-Based, Multi-Dimensional Indexing, Security Cameras, Intelligent

Description

실시간 이미지 검색 기능을 이용한 지능형 감시 방법 및 시스템{INTELLINGENT MONITORING METHOD AND SYSTEM USING REALTIME IMAGE SEARCH FUNCTION}Intelligent monitoring method and system using real-time image search function {INTELLINGENT MONITORING METHOD AND SYSTEM USING REALTIME IMAGE SEARCH FUNCTION}

도 1은 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 방법 및 시스템의 개괄적인 모습을 도시한 도면이다.1 is a view showing an overview of an intelligent monitoring method and system using real-time image search according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 방법을 도시한 흐름도이다.2 is a flowchart illustrating an intelligent monitoring method using a real-time image search according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 있어서, 특징 정보 벡터를 추출하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of extracting feature information vectors according to an embodiment of the present invention.

도 4는 본 발명의 일실시예에 있어서, 특징 정보 벡터를 추출하는 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of extracting a feature information vector according to an embodiment of the present invention.

도 5는 본 발명의 일실시예에 있어서, 위험도를 분석하는 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of analyzing a risk according to an embodiment of the present invention.

도 6은 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 시스템을 설명하기 위한 블록도이다.6 is a block diagram illustrating an intelligent surveillance system using a real-time image search according to an embodiment of the present invention.

도 7은 본 발명의 일실시예에 있어서, 특징 정보 벡터 추출부를 설명하기 위한 블록도이다.7 is a block diagram illustrating a feature information vector extracting unit according to an embodiment of the present invention.

도 8은 본 발명의 일실시예에 있어서, 위험도 분석부를 설명하기 위한 블록도이다.8 is a block diagram illustrating a risk analysis unit in an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

101: 감시 카메라101: security camera

104: 비디오 아카이브104: video archive

105: 감시 시스템 인터페이스105: surveillance system interface

6100: 템플레이트 이미지 구축부6100: Template Image Builder

6200: 위험도 판단 관리부6200: Risk Assessment Management

6221: 특징 정보 벡터 추출부6221: feature information vector extracting unit

6223: 위험도 분석부6223: Risk Analysis

본 발명은 디지털 감시 시스템으로부터 얻어진 영상에서 영상의 특징 정보를 이용한 위험도 판별 검색 방법에 관한 것으로, 영상에서 모양정보의 특징을 추출하여 그 데이터로 실시간 검색을 위한 색인 구축 방법 및 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a risk discrimination search method using feature information of an image in an image obtained from a digital surveillance system. The present invention relates to a method and system for index construction for extracting a feature of shape information from an image and real-time searching with the data.

정지 영상, 즉 이미지의 효율적인 검색을 위해 내용 기반 검색(content-based retrieval)은 필수적이다. 내용 기반 검색이란 이미지의 색상(color), 질감(texture), 형태(shape) 특징을 이용하여 질의(query) 이미지와 유사한 이미지를 검색하는 방법을 말한다. 그리고 이미지 정보(색상, 질감, 형태 특징)를 획득하는 과정을 '특징 추출(feature extraction)'이라 한다. Content-based retrieval is essential for efficient retrieval of still images, ie images. Content-based searching refers to a method of searching for an image similar to a query image by using color, texture, and shape features of the image. The process of acquiring image information (color, texture, shape features) is called 'feature extraction'.

특징 추출은 이미지의 효율적인 검색, 관리, 저장 이외에도 이미지 database 구축 시 색인(indexing) 과정을 자동적으로 이루어지게 하기 위해 필요하다. Feature extraction is required to automatically perform indexing process when constructing image database as well as efficient search, management and storage of images.

이미지의 특징을 보다 정확하게 추출하기 위해서는 이미지의 특성에 맞는 특징 추출 방법을 사용해야 한다. 감시 카메라로부터 얻어지는 이미지는 흑백이미지인 경우가 대부분이다. 따라서 색상을 이용해 이미지를 구별하기는 어렵다. 질감 역시 감시 카메라에서 얻어지는 이미지에서는 그 질감을 구분하기가 어려우므로 명확한 특징이 되지 못한다. 이와 같이, 색상과 질감은 감시 카메라 이미지의 명확한 특징이 되지 못한다. 결국 위험도 판별을 위한 특징 추출 방법으로 형태 특징 추출 방법이 요구된다. In order to extract the features of the image more accurately, the feature extraction method suitable for the characteristics of the image should be used. Images obtained from surveillance cameras are mostly black and white images. Therefore, it is difficult to distinguish images using color. Texture is also not a distinctive feature in images obtained from surveillance cameras because the texture is difficult to distinguish. As such, color and texture are not a distinctive feature of surveillance camera images. As a result, a shape feature extraction method is required as a feature extraction method for risk determination.

정지 영상에서의 형태를 추출하는 방법은 다음의 조건을 만족해야 한다. The method of extracting the shape from a still image must satisfy the following conditions.

감시 카메라에 포착되는 거리에 상관없이 특징이 추출되어야 하므로 이미지의 크기에 상관없이 그리고 그 형태가 이미지의 위치에 상관없이 추출되어야 하며 형태의 회전 여부에 상관없이 같은 형태는 동일한 특징 값이 추출되어야 하므로 이미지의 방향에 독립적인 특징 추출 방법이 요구된다. Since the feature must be extracted regardless of the distance captured by the surveillance camera, the feature must be extracted regardless of the size of the image and its position regardless of the position of the image. There is a need for a feature extraction method that is independent of the orientation of the image.

기존의 내용 기반 이미지 검색 시스템은 이미지의 질감, 형태 특징 보다는 색상 특징에 비중을 두어 원하는 이미지를 검색하고 있다. 이와 같은 시스템은 본 과제에서 목표로 하는 표적 이미지처럼 색상 정보가 부족한 이미지나 복잡한 형태의 이미지를 검색할 때 그 정확성은 급격히 떨어지게 된다. 그러므로 표적 이미지를 위한 내용 기반 이미지 검색은 효과적인 질감, 형태 특징 추출 방법이 요구된 다. Conventional content-based image retrieval systems search for the desired image by placing emphasis on color features rather than texture and shape features. Such a system is sharply inaccurate when searching for an image lacking color information or a complex form of image, such as a target image targeted in this project. Therefore, content-based image retrieval for target images requires effective texture and shape feature extraction methods.

위의 조건을 만족하는 형태 기반 특징 추출 기법에서 얻어진 데이터의 특징은 일반 텍스트에서와 같이 특정한 하나의 값이 아니라 수십, 수백 혹은 그 이상의 값들의 나열 즉 벡터 데이터로 표현이 된다. 이는 기존의 텍스트 기반의 DBMS(Relational Database Management System)에 그 데이터를 저장하고 검색 방법을 적용할 수 없게 된다. 그렇기 때문에 멀티미디어 데이터만을 위한 저장과 검색이 방법이 필요하게 되고 그 중 검색 시스템의 질의응답 시간에 직결되는 멀티미디어 색인 구조는 그 성능이 기존의 텍스트 기반의 색인구조의 성능과 얼마나 가깝도록 하느냐는 것이 그 당면한 문제이다. The features of the data obtained from the shape-based feature extraction scheme satisfying the above conditions are represented as vector data, that is, a sequence of tens, hundreds, or more, rather than a single value as in plain text. This makes it impossible to store the data and apply the retrieval method to the existing text-based relational database management system (DBMS). Therefore, a method of storing and retrieving multimedia data only is required, and how close is the performance of the multimedia index structure, which is directly related to the query response time of the retrieval system, to the performance of the existing text-based index structure. This is the problem at hand.

다차원 벡터에 대한 색인구조로 제안된 방법들은 상당히 많지만 아직까지 관계형 데이터베이스에서의 B+ 트리처럼 멀티미디어 데이터베이스에 널리 적용되는 색인 구조는 없는 실정이다. 색인구조로 제안된 대표적인 방법으로 R-tree, R*-tree, SS-tree, SR-tree 등의 데이터분할방법이 있다. 이것은 인접한 데이터들을 MBR(Minimum Bounding Rectangles) 혹은 MBS(Minimum Bounding Spheres)로 묶어서 B-tree와 같은 계층구조를 갖도록 해 놓은 방법이다. There are many proposed methods for indexing multidimensional vectors, but there are no index structures that are widely applied to multimedia databases like B + trees in relational databases. Representative methods proposed for the index structure include R-tree, R * -tree, SS-tree, and SR-tree. This method combines adjacent data into MBR (Minimum Bounding Rectangles) or MBS (Minimum Bounding Spheres) to have a hierarchical structure like B-tree.

그러나 이러한 데이터 분할 방법 색인 구조의 단점은 '차원의 저주(Cause of Dimensionality)'라 불리는 벡터의 차원이 높아지면 질수록 그 성능이 현저히 저하되는 것으로 어느 순간에는 색인구조를 쓰지 않고 순차검색을 이용하였을 때보다 성능이 좋지 않게 된다.However, the drawback of this data partitioning method indexing structure is that the performance of the vector called 'Cause of Dimensionality' becomes higher and the performance decreases significantly. At some point, sequential search was used without indexing. The performance is worse than usual.

본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 감시 카메라의 정지 영상으로부터 모양 기반의 특징 추출 기법을 사용하여 얻은 특징 정보로 위험요소를 가진 물체나 장면의 이미지를 가지고 이미 구축되어 있는 템플레이트(template) 데이터베이스에서 실시간 다차원 색인을 이용한 검색으로 감시 영상에서의 위험도 등급의 판단을 제공하는 것을 목적으로 한다.The present invention has been made to solve the problems of the prior art as described above, with the feature information obtained by using the shape-based feature extraction technique from the still image of the surveillance camera with the image of the object or scene having a risk factor The purpose of this study is to provide a determination of the risk level in surveillance images by searching using a real-time multidimensional index in the template database.

상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 실시간 이미지 검색을 이용한 지능형 감시 방법은, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 단계 및 상기 템플레이트 이미지 데이터베이스를 참조하여 감시 카메라에서 취득한 정지 영상의 위험도 등급을 판단하는 단계를 포함한다.In order to achieve the above object and solve the problems of the prior art, the intelligent monitoring method using a real-time image search according to an embodiment of the present invention, the template image containing the shape and scene determined to be a risk factor And constructing a template image database and determining a risk level of the still image acquired by the surveillance camera with reference to the template image database.

본 발명의 일측에 따르면, 상기 템플레이트 이미지 데이터베이스를 구축하는 단계는, 상기 템플레이트 이미지에서 특징 정보 벡터를 추출하는 단계, 상기 특징 정보 벡터를 이용하여 다차원 색인 구조를 구축하는 단계 및 상기 다차원 색인 구조, 상기 템플레이트 이미지 및 상기 특징 정보 벡터를 상기 템플레이트 이미지 데이터베이스에 저장하고 상기 특징 정보 벡터를 이용하여 군집화 작업을 시행하고 각 군집의 대표자를 선택하여 저장하는 단계를 포함한다.According to an aspect of the present invention, the building of the template image database may include extracting feature information vectors from the template image, constructing a multidimensional index structure using the feature information vector, and multidimensional index structure, Storing a template image and the feature information vector in the template image database, performing a clustering operation using the feature information vector, and selecting and storing a representative of each cluster.

본 발명의 다른 측면에 따르면, 상기 특징 정보 벡터를 추출하는 단계는, 상기 템플레이트 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하 는 단계, 상기 이진 이미지의 형태로 추출된 템플레이트 이미지를 이용하여 모양 기반 특징을 추출하는 단계 및 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 단계를 포함한다.According to another aspect of the invention, the step of extracting the feature information vector, separating the template image into a shape and area to extract in the form of a binary image, using the template image extracted in the form of the binary image Extracting a shape-based feature and reducing and extracting a vector dimension of the extracted shape-based feature.

본 발명의 또 다른 측면에 따르면, 상기 감시 카메라에서 취득한 정지 영상의 위험도 등급을 판단하는 단계는, 상기 감시 카메라로부터 전송된 영상의 움직임을 이용하여 선택적으로 영상을 취득하고 상기 취득한 영상으로부터 정지 영상을 표본화하는 단계 및 상기 표본화된 정지 영상의 위험도 등급을 판단하는 단계를 포함한다. According to another aspect of the present invention, the step of determining the risk level of the still image acquired by the surveillance camera, selectively acquires the image by using the movement of the image transmitted from the surveillance camera and the still image from the acquired image. Sampling and determining a risk rating of the sampled still image.

본 발명의 또 다른 측면에 따르면, 상기 표본화된 정지 영상의 위험도 등급을 판단하는 단계는, 상기 표본화된 정지 영상의 특징 정보 벡터를 추출하는 단계, 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 상기 템플레이트 이미지 데이터베이스로부터 템플레이트 이미지를 검색하는 단계 및 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 상기 표본화된 정지 영상과 비교하여 위험도를 분석하는 단계를 포함한다.According to another aspect of the invention, the step of determining the risk level of the sampled still image, the step of extracting the feature information vector of the sampled still image, by using the extracted feature information vector multi-dimensional index structure Retrieving a template image from the template image database and analyzing the risk by extracting the template image obtained as a result of the search and comparing the template image with the sampled still image.

본 발명의 또 다른 측면에 따르면, 특징 정보 벡터를 추출하는 상기 단계는, 상기 표본화된 정지 영상을 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하는 단계, 상기 이진 이미지의 형태로 추출된 이미지를 이용하여 모양 기반 특징을 추출하는 단계 및 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 단계를 포함한다.According to another aspect of the invention, the step of extracting the feature information vector, the step of extracting the sampled still image in the form of a binary image by separating the shape and area, the image extracted in the form of the binary image Extracting a shape-based feature by using the method and extracting by reducing a vector dimension of the extracted shape-based feature.

본 발명의 또 다른 측면에 따르면, 상기 위험도를 분석하는 단계는, 상기 추 출된 템플레이트 이미지와 상기 표본화된 정지 영상의 실제 유사도를 계산하는 단계, 상기 계산된 유사도를 군집 영역 별로 비교한 후 상기 군집 중에서 유사도가 가장 높은 군집을 검색하고 상기 유사도가 가장 높은 군집의 대표자와 상기 표본화된 정지 영상의 유사도를 계산하는 단계 및 상기 계산된 유사도를 이용하여 위험도를 판단하는 단계를 포함한다.According to another aspect of the invention, the step of analyzing the risk, the step of calculating the actual similarity between the extracted template image and the sampled still image, after comparing the calculated similarity for each of the cluster region in the cluster Searching for a cluster having the highest similarity, calculating a similarity between the representative of the cluster having the highest similarity and the sampled still image, and determining a risk using the calculated similarity.

본 발명의 다른 실시예에 따른 실시간 이미지 검색을 이용한 지능형 감시 시스템은, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 템플레이트 이미지 구축부, 감시 카메라로부터 전송된 영상의 움직임이 이전 영상과 비교하여 기준치 이상이면 상기 감시 카메라로부터 전송된 영상을 취득하고 상기 취득한 영상으로부터 표본화된 정지 영상을 생성시키는 정지 영상 취득부, 상기 표본화된 정지 영상의 위험도 등급을 분석하는 위험도 등급 판단부, 상기 위험도 판단이 이루어진 정지 영상에 대해서 상기 정지 영상이 감시 카메라로부터 취득된 시점부터 감시 카메라의 영상을 저장하는 비디오 아카이브 장치 및 상기 판단된 위험도 등급에 따라 해당 정보를 전송하는 감시 시스템 인터페이스 장치를 포함한다.Intelligent surveillance system using a real-time image search according to another embodiment of the present invention, a template image construction unit for storing a template image containing the shape and scene determined to be a risk factor to build a template image database, the image transmitted from the surveillance camera Is a still image acquisition unit for acquiring an image transmitted from the surveillance camera and generating a sampled still image from the acquired image if the motion of the camera is greater than or equal to a reference value compared to a previous image, and a risk level for analyzing a risk grade of the sampled still image. The determination unit, a video archiving device for storing the image of the surveillance camera from the time when the still image is acquired from the surveillance camera for the still image on which the risk determination has been made, and a surveillance system for transmitting the corresponding information according to the determined risk level. An interface device.

이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 방법 및 시스템의 개괄적인 모습을 도시한 도면이다.1 is a view showing an overview of an intelligent monitoring method and system using real-time image search according to an embodiment of the present invention.

위험도 판단 관리부(103)는 감시 카메라(101)에서 얻어지는 영상의 이전 프 레임과 현재 프레임의 비교를 통한 움직임을 포착하여 특정치 이상의 움직임이 포착되었을 때부터 모든 영상이 아닌 표본화(sampling)된 정지 영상의 정보를 이용하여 위험도를 판단한다. The risk determination management unit 103 captures a motion by comparing a previous frame of the image obtained from the surveillance camera 101 with the current frame, and thus, not all the images but the sampled still image since the movement of a specific value or more is captured. Use the information from to determine the risk.

위험도 판단 관리부(103)는 상기 표본화된 정지 영상의 위험도 판단을 위하여 상기 정지 영상과 비교되는 이미지를 템플레이트 이미지 데이터베이스(102)에서 검색한다. 위험도 판단 관리부(103)는 상기 표본화된 정지 영상과 상기 템플레이트 이미지 데이터베이스에서 선택된 이미지와 비교를 통하여 위험도 판단을 하며, 상기 위험도 판단이 이루어진 상기 정지 영상에 대해서 정지 영상이 취득된 그 시점부터 감시 카메라의 영상을 비디오 아카이브(104)에 저장한다. The risk determination management unit 103 searches the template image database 102 for an image compared with the still image to determine a risk of the sampled still image. The risk determination management unit 103 judges the risk by comparing the sampled still image with the image selected from the template image database, and starts from the point of time when the still image is acquired for the still image on which the risk determination has been made. The image is stored in the video archive 104.

실시간 이미지 검색을 이용한 지능형 감시 시스템은 위험도 판단 관리부(103)에서 위험도 등급이 판단되면 상기 위험도 등급을 분류하여 감시 시스템 인터페이스(105)로 전송하고, 감시 시스템 인터페이스(105)는 위험도 판단 관리부(103)에서 얻어진 위험도 등급에 따라 모니터에 경고를 표시하여 효율적인 감시 활동을 제공한다.The intelligent surveillance system using the real-time image search classifies the risk grade and transmits the risk grade to the surveillance system interface 105 when the risk determination manager 103 determines the risk grade. The surveillance system interface 105 measures the risk determination manager 103. Alerts are displayed on the monitors according to the degree of risk obtained in order to provide efficient surveillance activities.

이하 도 2 내지 도 8을 통해 이러한 실시간 이미지 검색을 이용한 지능형 감시 방법 및 시스템에 대해서 더욱 자세히 설명한다.Hereinafter, the intelligent surveillance method and system using the real-time image search will be described in more detail with reference to FIGS. 2 to 8.

도 2는 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 방법을 도시한 흐름도이다.2 is a flowchart illustrating an intelligent monitoring method using a real-time image search according to an embodiment of the present invention.

단계(S210)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 위험도 등급 판단의 대상이 되는 템플레이트 이미지를 데이터베이스로 구축한다. 본 단 계(S210)에서 상기 지능형 감시 시스템은 세부적으로 단계(S211) 내지 단계(S213)를 수행할 수 있다.In step S210, the intelligent surveillance system using real-time image retrieval builds a template image, which is the object of risk class determination, as a database. In this step (S210), the intelligent monitoring system may perform the steps S211 to S213 in detail.

단계(S211)에서 상기 지능형 감시 시스템은 가능한 위험요소라고 판단되는 물체 혹은 위협적인 장면에 대한 이미지를 대상으로 하여 상기 이미지로부터 영역 혹은 모양의 분리를 통한 모양 기반 특징 추출 방법을 사용하여 상기 이미지의 특징 벡터 정보를 추출한다. 이 경우, 상기 지능형 감시 시스템은 상기 템플레이트 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하고, 상기 추출된 이진 이미지를 이용하여 모양 기반 특징을 추출하여, 상기 모양 기반 특징의 벡터 차원을 줄여 추출할 수 있다.In step S211, the intelligent surveillance system targets an image of an object or threatening scene that is determined to be a possible risk factor, and uses the shape-based feature extraction method through the separation of an area or a shape from the image. Extract vector information. In this case, the intelligent surveillance system separates the template image into shapes and regions to extract a binary image, extracts shape-based features using the extracted binary images, and reduces the vector dimension of the shape-based features. Can be extracted.

이와 같은 단계(S211)에 대해서는 추후 도 3을 통해 더욱 자세히 설명한다.This step (S211) will be described in more detail later with reference to FIG.

단계(S212)에서 상기 지능형 감시 시스템은 데이터 분할 방식의 다차원 인덱스에 단계(S211)에서 전달된 축소된 특징 정보 벡터를 적용하여 색인을 구축한다. 이 경우, 상기 지능형 감시 시스템은 상기 이미지 특징 추출 과정에서 회전에 의한 방법 때문에 이미지의 방향성에 따라 특징 정보 값이 달라질 수 있으므로(rotation invariant) 상기 추출된 특징 정보들 중 하나를 선택하여 가장 큰 값을 참조값으로 삼아 색인을 다차원 색인 구조로 구축할 수 있다.In step S212, the intelligent monitoring system builds the index by applying the reduced feature information vector transmitted in step S211 to the multidimensional index of the data partitioning method. In this case, since the feature information value may vary depending on the orientation of the image due to the method of rotation in the image feature extraction process, the intelligent monitoring system selects one of the extracted feature information and selects the largest value. As a reference, you can build an index into a multidimensional index structure.

단계(S213)에서 상기 지능형 감시 시스템은 상기 추출된 특징 벡터와 템플레이트 이미지, 그리고 다차원 색인 구조를 상기 템플레이트 이미지 데이터베이스에 저장한다. 이 경우, 상기 지능형 감시 시스템은 상기 추출된 특징 벡터를 이용하여 군집화(Clustering) 작업을 시행하고 각 군집의 대표자(Representative)를 선택 하여 저장할 수 있다. 상기 군집화란, 데이터베이스의 구조형성에 있어 논리적으로 연관된 특징들을 서로 인접하게 집단화하는 것을 의미한다.In step S213, the intelligent surveillance system stores the extracted feature vector, template image, and multidimensional index structure in the template image database. In this case, the intelligent monitoring system may perform clustering by using the extracted feature vector and select and store a representative of each cluster. Clustering means grouping logically related features adjacent to each other in the structure of the database.

단계(S220)에서 상기 지능형 감시 시스템은 감시 카메라로부터 전송된 영상의 움직임을 이용하여 선택적으로 영상을 취득하고 상기 취득한 영상으로부터 정지 영상을 표본화한다. 본 단계(S220)에서 상기 지능형 감시 시스템은 세부적으로 감시 카메라로부터 영상을 전송 받는 단계(S221), 영상 움직임이 기준치 이상인지 판단하는 단계(S222) 및 표본화 단계(S223)를 수행할 수 있다.In operation S220, the intelligent surveillance system selectively acquires an image using the movement of the image transmitted from the surveillance camera and samples a still image from the acquired image. In operation S220, the intelligent surveillance system may perform a step S221 of receiving an image from a surveillance camera in detail, determining whether an image movement is greater than or equal to a reference value, S222, and sampling S223.

좀 더 구체적으로, 상기 지능형 감시 시스템은 단계(S221)에서 감시 카메라로부터 얻어지는 영상의 이전 프레임과 현재 프레임의 비교를 통한 움직임을 포착하고, 단계(S222)에서 상기 비교 결과 기준치 이상의 움직임이 포착되었을 때에는 단계(S223)에서 표본화를 수행하여 상기 포착된 순간부터 모든 영상이 아닌 표본화(Sampling)된 정지 영상을 위험도 등급 판단에 사용한다. 반대로, 상기 지능형 감시 시스템은 이전 프레임과 현재 프레임의 비교를 통한 움직임이 기준치 이상이 아닐 때에는 이상의 과정을 처음부터 반복 수행한다. More specifically, the intelligent surveillance system captures the motion by comparing the previous frame with the current frame of the image obtained from the surveillance camera in step S221, and when the movement greater than or equal to the reference value is detected in step S222. Sampling is performed in step S223 to use the sampled still image, not all the images, from the captured moment to determine the risk rating. In contrast, the intelligent surveillance system repeats the above process from the beginning when the motion through the comparison of the previous frame and the current frame is not greater than the reference value.

단계(S230)는 상기 지능형 감시 시스템은 단계(S220)에서 전달된 표본화된 정지 영상의 위험도 등급을 판단한다. 본 단계(S230)에서 상기 지능형 감시 시스템은 세부적으로 단계(S231) 내지 단계(S233)를 수행할 수 있다. In step S230, the intelligent surveillance system determines a risk level of the sampled still image delivered in step S220. In operation S230, the intelligent monitoring system may perform steps S231 to S233 in detail.

단계(S231)에서 상기 지능형 감시 시스템은 단계(S220)에서 표본화된 정지 영상을 대상으로 하여 상기 정지 영상으로부터 영역 혹은 모양의 분리를 통한 모양 기반 특징 추출 방법을 사용하여 상기 이미지의 특징 정보 벡터를 추출한다.In step S231, the intelligent surveillance system extracts the feature information vector of the image by using a shape-based feature extraction method by separating an area or a shape from the still image, targeting the still image sampled in step S220. do.

이 경우, 상기 지능형 감시 시스템은 상기 표본화된 정지 영상을 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하고, 상기 추출된 이진 이미지를 이용하여 모양 기반 특징을 추출하여, 상기 모양 기반 특징의 벡터 차원을 줄여 추출할 수 있다.In this case, the intelligent surveillance system separates the sampled still image into a shape and an area, extracts a binary image, extracts a shape-based feature using the extracted binary image, and a vector dimension of the shape-based feature. Can be extracted by reducing

이와 같은 단계(S231)에 대해서는 추후 도 4를 통해 더욱 자세히 설명한다.This step (S231) will be described in more detail later with reference to FIG.

단계(S232)에서 상기 지능형 감시 시스템은 단계(S231)에서 추출된 상기 축소된 특징 정보 벡터를 질의 특징 벡터로 하여 앞서 단계(S212)를 통하여 구축된 다차원 색인을 이용한 비교를 통해, 상기 질의 특징 벡터와 유사도가 가장 높은 특징 정보를 가진 이미지를 템플레이트 이미지 데이터베이스로부터 검색한다.In step S232, the intelligent monitoring system uses the reduced feature information vector extracted in step S231 as a query feature vector and compares the query feature vector by using a multidimensional index constructed through step S212. The image with the highest feature information with the highest similarity is retrieved from the template image database.

단계(S233)에서 상기 지능형 감시 시스템은 단계(S232)에서 상기 검색 결과 얻어진 템플레이트 이미지를 상기 템플레이트 이미지 데이터베이스로부터 추출한 후 상기 추출한 이미지를 단계(S220)에서 표본화된 정지 영상과 비교하여 위험도를 분석한다. In step S233, the intelligent surveillance system extracts the template image obtained from the search in step S232 from the template image database, and analyzes the risk by comparing the extracted image with the still image sampled in step S220.

이 경우, 상기 지능형 감시 시스템은 상기 추출된 템플레이트 이미지와 상기 표본화된 정지영상의 실제 유사도를 계산하고, 상기 계산된 유사도를 군집 영역 별로 비교한 후 상기 군집 중에서 유사도가 가장 높은 군집을 검색하고 상기 유사도가 가장 높은 군집의 대표자와 상기 표본화된 정지영상의 유사도를 계산하여, 상기 계산된 유사도를 이용하여 위험도를 판단할 수 있다.In this case, the intelligent surveillance system calculates an actual similarity between the extracted template image and the sampled still image, compares the calculated similarity for each cluster region, searches for a cluster having the highest similarity among the clusters, and compares the similarity. By calculating the similarity between the representative of the highest cluster and the sampled still image, the risk can be determined using the calculated similarity.

이와 같은 단계(S233)에 대해서는 추후 도 5를 통해 더욱 자세히 설명한다.This step (S233) will be described in more detail later with reference to FIG.

단계(S240)에서 상기 지능형 감시 시스템은 상기 위험도 등급 판단이 이루어 진 이미지, 즉 표본화된 정지 영상에 대해서 상기 정지 영상이 취득된 그 시점부터 감시 카메라의 영상을 비디오 아카이브에 저장한다.In step S240, the intelligent surveillance system stores the image of the surveillance camera in the video archive from the time when the still image is acquired for the image of which the risk level determination has been made, that is, the sampled still image.

단계(S250)에서 상기 지능형 감시 시스템은 단계(S230)에서 결정된 군집 대표자와 상기 표본화된 정지 영상의 유사도를 이용하여 미리 결정된 유사도에 따라 나누어진 위험도 등급 분류를 이용하여 상기 위험도 등급을 감시 시스템 인터페이스로 전송한다. 이로 인하여, 상기 지능형 감시 시스템은 상기 결정된 위험도 등급에 따라 모니터에 경고를 표시하여 효율적인 감시 활동을 제공할 수 있다.In step S250, the intelligent surveillance system uses the risk class classification divided according to a predetermined similarity by using the similarity between the cluster representative determined in step S230 and the sampled still image, and transmits the risk rating to the surveillance system interface. send. As a result, the intelligent surveillance system can provide an efficient surveillance activity by displaying a warning on the monitor according to the determined risk level.

도 3은 본 발명의 일실시예에 있어서, 특징 정보 벡터를 추출하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of extracting feature information vectors according to an embodiment of the present invention.

특징 정보 벡터 추출 단계(S211)는 이진 이미지 추출 단계(S301), 모양 기반 특징 추출 단계(S302) 및 벡터 차원 축소 단계(S303)를 포함할 수 있다. The feature information vector extraction step S211 may include a binary image extraction step S301, a shape based feature extraction step S302, and a vector dimension reduction step S303.

단계(S301)에서 상기 지능형 감시 시스템은 위험요소라고 판단이 되는 물체 혹은 위협적인 장면에 대한 이미지를 명암, 색, 질감(Texture) 등을 이용하여 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 변환한다. In step S301, the intelligent surveillance system divides an image of an object or threatening scene, which is determined to be a threat, into a shape and an area by using contrast, color, and texture to form a binary image. To convert.

단계(S302)에서 상기 지능형 감시 시스템은 상기 변환한 이진 이미지를 상기 이진 이미지의 모양의 형태의 무게중심을 축으로 방사형 형태의 가상의 선을 회전시켜 무게중심으로부터의 모양의 길이 및 0과 1의 반복 횟수 등을 상기 이미지의 특징 정보 벡터로 추출한다.In step S302, the intelligent surveillance system rotates the virtual line of the radial shape around the center of gravity of the shape of the binary image to convert the converted binary image to the length of the shape from the center of gravity and 0 and 1 The number of repetitions and the like are extracted as the feature information vector of the image.

단계(S303)에서 상기 지능형 감시 시스템은 상기 추출된 특징 정보 벡터의 차원을 줄이기 위하여 수 십, 수 백 차원의 상기 특징 정보 벡터를 웨이블 릿(Wavelet) 변환을 이용하여 데이터분할방식의 다차원 색인 구조의 충분한 성능이 보장되는 범위의 차원까지 상기 특징 정보 벡터의 차원을 줄인다. 또한 상기 지능형 감시 시스템은 상기 축소된 특징 정보 벡터를 다차원 색인 구조 구축 단계(S212)로 전달하게 된다.In step S303, the intelligent surveillance system uses a wavelet transform of the feature information vector of tens or hundreds of dimensions to reduce the dimension of the extracted feature information vector. Reduce the dimension of the feature information vector up to the dimension of the range where sufficient performance is ensured. In addition, the intelligent monitoring system transmits the reduced feature information vector to the multi-dimensional index structure building step (S212).

도 4는 본 발명의 일실시예에 있어서, 특징 정보 벡터를 추출하는 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of extracting a feature information vector according to an embodiment of the present invention.

특징 정보 벡터 추출 단계(S231)는 이진 이미지 추출 단계(S401), 모양 기반 특징 추출 단계(S402) 및 벡터 차원 축소 단계(S403)를 포함한다. The feature information vector extraction step S231 includes a binary image extraction step S401, a shape based feature extraction step S402, and a vector dimension reduction step S403.

단계(S401)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 정지 영상 취득 단계(S220)에서 취득한 표본화된 정지 영상을 명암, 색, 질감(Texture) 등을 이용하여 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 변환한다. The intelligent surveillance system using real-time image retrieval in step S401 separates the sampled still image acquired in the still image acquisition step S220 into shapes and regions by using contrast, color, texture, etc. Convert to the form of.

단계(S402)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 상기 변환한 이진 이미지를 전달 받아 상기 이진 이미지의 모양의 형태의 무게중심을 축으로 방사형 형태의 가상의 선을 회전시켜 무게중심으로부터의 모양의 길이 및 0과 1의 반복 횟수 등을 상기 이미지의 특징 정보 벡터로 추출한다.In step S402, the intelligent surveillance system using real-time image retrieval receives the converted binary image and rotates a virtual line of radial shape around the center of gravity of the shape of the binary image to form a shape from the center of gravity. The length and the number of repetitions of 0 and 1 are extracted as the feature information vector of the image.

단계(S403)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 상기의 추출된 특징 정보 벡터의 차원을 줄이기 위하여 수 십, 수 백 차원의 상기 특징 정보 벡터를 웨이블릿(Wavelet) 변환을 이용하여 데이터분할방식의 다차원 색인 구조의 충분한 성능이 보장되는 범위의 차원까지 상기 특징 정보 벡터의 차원을 줄인 다. 또한 실시간 이미지 검색을 이용한 지능형 감시 시스템은 상기 축소된 특징 정보 벡터를 템플레이트 이미지 검색 단계(S232)로 전달한다.In step S403, the intelligent surveillance system using real-time image retrieval uses a wavelet transform of the feature information vector having tens or hundreds of dimensions to reduce the dimension of the extracted feature information vector. The dimension of the feature information vector is reduced to the dimension of the range where sufficient performance of the multidimensional index structure is guaranteed. In addition, the intelligent surveillance system using a real-time image search delivers the reduced feature information vector to the template image search step (S232).

도 5는 본 발명의 일실시예에 있어서, 위험도를 분석하는 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of analyzing a risk according to an embodiment of the present invention.

위험도 분석 단계(S233)는 템플레이트 이미지 검색 단계(S232)를 통해 결정된 유사도가 가장 높은 특징 정보 벡터를 가진 이미지와 상기 표본화된 정지 영상의 실제 유사도를 템플레이트 이미지 데이터베이스의 군집 대표자와의 비교를 통하여 위험도를 판단하는 단계로서, 상기 단계(S233)는 실제 유사도 계산 단계(S501), 유사도 계산 단계(S502) 및 위험도 판단 단계(S503)를 포함한다. In the risk analysis step (S233), the risk is determined by comparing the image having the highest similarity feature information vector determined through the template image retrieval step (S232) and the actual similarity of the sampled still image with the cluster representative of the template image database. As a step of determining, the step S233 includes an actual similarity calculation step S501, a similarity calculation step S502, and a risk determination step S503.

단계(S501)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 템플레이트 이미지 검색 단계(S232)를 통해 검색된 이미지와 상기 표본화된 정지 영상의 실제 유사도를 비교하여 계산한다.In operation S501, the intelligent surveillance system using real-time image retrieval compares the image retrieved through the template image retrieval step S232 with the actual similarity of the sampled still image.

단계(S502)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 상기 계산된 실제 유사도를 통하여 템플레이트 이미지 데이터베이스(102)내의 유사도가 가장 높은 군집을 검색하여 상기 단계(S232)를 통해 검색된 이미지와 상기 검색된 군집의 군집 대표자와의 유사도를 계산한다.In step S502, the intelligent surveillance system using real-time image retrieval searches for a cluster having the highest similarity in the template image database 102 through the calculated actual similarity, and thus, the image of the retrieved cluster and the retrieved cluster in step S232. Calculate the similarity with the cluster representative.

단계(S503)에서 실시간 이미지 검색을 이용한 지능형 감시 시스템은 단계(S502)에서 계산된 상기 유사도를 이용하여 미리 결정된 유사도에 따라 나누어진 위험도 등급을 분류하여 감시 시스템 인터페이스로 전달한다.The intelligent surveillance system using real-time image retrieval in step S503 classifies the risk grades divided according to a predetermined similarity using the similarity calculated in step S502 and transmits them to the surveillance system interface.

도 6은 본 발명의 일실시예에 있어서, 실시간 이미지 검색을 이용한 지능형 감시 시스템을 설명하기 위한 블록도이다. 도 6에 도시된 바와 같이 실시간 이미지 검색을 이용한 지능형 감시 시스템은 템플레이트 이미지 구축부(6100), 위험도 판단 관리부(6200), 비디오 아카이브 장치(6300) 및 감시 시스템 인터페이스(6400)를 포함할 수 있다.6 is a block diagram illustrating an intelligent surveillance system using a real-time image search according to an embodiment of the present invention. As illustrated in FIG. 6, the intelligent surveillance system using real-time image retrieval may include a template image builder 6100, a risk determination manager 6200, a video archive device 6300, and a surveillance system interface 6400.

템플레이트 이미지 구축부(6100)는 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축한다. 이와 같은 템플레이트 이미지 구축부(6100)는 도시된 바와 같이 특징 정보 벡터 추출부(6110), 다차원 색인 구축부(6120) 및 템플레이트 이미지 데이터베이스 저장부(6130)를 포함할 수 있다. The template image building unit 6100 stores a template image containing a shape and a scene determined to be a risk factor, and builds a template image database. As illustrated, the template image builder 6100 may include a feature information vector extractor 6110, a multi-dimensional index builder 6120, and a template image database storage 6130.

특징 정보 벡터 추출부(6110)는 위험요소라고 판단되는 모양 및 장면의 이미지의 특징 정보를 벡터의 형태로 추출한다. 이와 같은 특징 정보 벡터 추출부(6110)는 이미지 영역 분리부(6111), 모양기반 특징 추출부(6112) 및 특징 벡터 축소부(6113)를 포함할 수 있다. The feature information vector extractor 6110 extracts feature information of a shape and a scene image determined as a risk factor in the form of a vector. The feature information vector extractor 6110 may include an image region separator 6111, a shape-based feature extractor 6112, and a feature vector reducer 6113.

이미지 영역 분리부(6111)는 상기 위험요소라고 판단 되는 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출한다. 모양기반 특징 추출부(6112)는 상기 이진 이미지의 형태로 추출된 템플레이트 이미지를 이용하여 모양 기반 특징을 추출한다. 특징 벡터 축소부(6113)는 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출한다.The image region separating unit 6111 separates the image determined as a risk factor into a shape and an area, and extracts the image into a binary image form. The shape-based feature extractor 6112 extracts the shape-based feature by using the template image extracted in the form of the binary image. The feature vector reduction unit 6113 reduces and extracts a vector dimension of the extracted shape-based feature.

다차원 색인 구축부(6120)는 특징 정보 벡터를 이용하여 다차원 색인 구조를 구축한다. 템플레이트 이미지 데이터베이스 저장부(6130)는 상기 다차원 색인 구 조, 상기 템플레이트 이미지 및 상기 특징 정보 벡터를 저장하고 상기 특징 정보 벡터를 이용하여 군집화 작업을 시행하고 각 군집의 대표자를 선택하여 저장한다.The multidimensional index construction unit 6120 constructs a multidimensional index structure using the feature information vector. The template image database storage unit 6130 stores the multidimensional index structure, the template image, and the feature information vector, performs a clustering operation using the feature information vector, and selects and stores a representative of each cluster.

위험도 판단 관리부(6200)는 상기 템플레이트 이미지를 참조하여 감사 카메라에서 취득한 정지 영상의 위험도 등급을 판단한다. 이와 같은 위험도 판단 관리부(6200)는 도시된 바와 같이 정지 영상 취득부(6210) 및 위험도 등급 판단부(6220)를 포함할 수 있다. The risk determination manager 6200 determines the risk level of the still image acquired by the audit camera with reference to the template image. The risk determination management unit 6200 may include a still image acquisition unit 6210 and a risk rating determination unit 6220 as shown.

정지 영상 취득부(6210)는 감시 카메라로부터 전송된 영상의 움직임을 이용하여 선택적으로 영상을 취득하고 상기 취득한 영상으로부터 정지 영상을 표본화한다. The still image acquisition unit 6210 may selectively acquire an image by using the motion of the image transmitted from the surveillance camera, and sample the still image from the acquired image.

위험도 등급 판단부(6220)는 상기 표본화된 정지 영상의 위험도 등급을 판단하다. 이와 같은 위험도 등급 판단부(6220)는 도시된 바와 같이 특징 정보 벡터 추출부(6221), 다차원 색인 검색부(6222) 및 위험도 분석부(6223)를 포함할 수 있다.The risk grade determiner 6220 determines a risk grade of the sampled still image. As illustrated, the risk level determining unit 6220 may include a feature information vector extracting unit 6221, a multidimensional index retrieval unit 6222, and a risk analysis unit 6203.

특징 정보 벡터 추출부(6221)는 상기 표본화된 정지 영상의 특징 정보 벡터를 추출한다. 다차원 색인 검색부(6222)는 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 템플레이트 이미지 데이터베이스 저장부(6130)로부터 템플레이트 이미지를 검색한다. 위험도 분석부(6223)는 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 표본화된 정지 영상과 비교하여 위험도를 분석한다. The feature information vector extractor 6201 extracts a feature information vector of the sampled still image. The multi-dimensional index retrieval unit 6222 retrieves the template image from the template image database storage unit 6130 through the multi-dimensional index structure using the extracted feature information vector. The risk analysis unit 6203 extracts the template image obtained as a result of the search and analyzes the risk by comparing the template image with a sampled still image.

비디오 아카이브 장치(6300)는 상기 위험도 판단이 이루어진 정지 영상에 대 해서 상기 정지영상이 감시 카메라로부터 취득된 시점부터 감시 카메라의 영상을 저장한다. 감시 시스템 인터페이스(6400) 장치는 상기 판단된 위험도 등급에 따라 해당정보를 수신한다.The video archive device 6300 stores an image of the surveillance camera from the time point at which the still image is acquired from the surveillance camera with respect to the still image on which the risk is determined. The monitoring system interface 6400 device receives the corresponding information according to the determined risk level.

도 7은 본 발명의 일실시예에 있어서, 특징 정보 벡터 추출부를 설명하기 위한 블록도이다. 도 7에 도시된 바와 같이 특징 정보 벡터 추출부(6221)는 이미지 영역 분리부(701), 모양기반의 특징 추출부(702) 및 특징 벡터 축소부(703)를 포함할 수 있다. 7 is a block diagram illustrating a feature information vector extracting unit according to an embodiment of the present invention. As illustrated in FIG. 7, the feature information vector extractor 6221 may include an image region separator 701, a shape-based feature extractor 702, and a feature vector reducer 703.

이미지 영역 분리부(701)는 상기 표본화된 정지 영상을 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출한다. 모양기반 특징 추출부(702)는 상기 이진 이미지의 형태로 추출된 템플레이트 이미지를 이용하여 모양 기반 특징을 추출한다. 특징 벡터 축소부(703)는 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출한다.The image region separator 701 extracts the sampled still image into shapes and regions and extracts the sampled image in the form of a binary image. The shape-based feature extractor 702 extracts the shape-based feature by using the template image extracted in the form of the binary image. The feature vector reduction unit 703 reduces and extracts a vector dimension of the extracted shape-based feature.

도 8은 본 발명의 일실시예에 있어서, 위험도 분석부를 설명하기 위한 블록도이다. 도 8에 도시된 바와 같이 위험도 분석부(6223)는 유사도 검색부(801), 군집 영역 비교부(802) 및 위험도 판단부(803)를 포함할 수 있다.8 is a block diagram illustrating a risk analysis unit in an embodiment of the present invention. As illustrated in FIG. 8, the risk analysis unit 6203 may include a similarity search unit 801, a cluster region comparison unit 802, and a risk determination unit 803.

유사도 검색부(801)는 상기 추출된 템플레이트 이미지와 상기 표본화된 정지 영상의 실제 유사도를 계산한다. 군집 영역 비교부(802)는 상기 계산된 유사도를 군집 영역 별로 비교한 후 상기 군집 중에서 유사도가 가장 높은 군집을 검색하고 상기 유사도가 가장 높은 군집의 대표자와 상기 표본화된 정지 영상의 유사도를 계산한다. 위험도 판단부(803)는 상기 계산된 유사도를 이용하여 위험도를 판단한 다.The similarity search unit 801 calculates an actual similarity between the extracted template image and the sampled still image. The cluster region comparison unit 802 compares the calculated similarity for each cluster region, searches for a cluster having the highest similarity among the clusters, and calculates the similarity between the representative of the cluster having the highest similarity and the sampled still image. The risk determination unit 803 determines the risk using the calculated similarity.

본 발명에 따른 실시간 이미지 검색을 이용한 지능형 감시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The intelligent monitoring method using real-time image retrieval according to the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되 며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

본 발명에 따른 실시간 이미지 검색을 이용한 지능형 감시 방법 및 시스템에 의하면, 감시 카메라의 정지 영상을 이용하여 효과적인 특징 정보를 추출하고 다차원 색인을 이용하여 템플레이트 데이터베이스의 저장과 검색이 이루어지며, 이를 위험도 판단에 적용하여 감시 모니터의 인터페이스로 전달함으로써 감시 담당자의 효율적인 감시 모니터링을 지원하는 지능형 감시 시스템을 제공할 수 있다.According to the intelligent surveillance method and system using the real-time image search according to the present invention, the effective feature information is extracted by using the still image of the surveillance camera, and the template database is stored and searched using the multi-dimensional index, which is used to determine the risk. By applying it to the interface of the surveillance monitor, it is possible to provide an intelligent surveillance system that supports the efficient surveillance monitoring of the surveillance personnel.

Claims (19)

삭제delete 삭제delete 실시간 이미지 검색을 이용한 지능형 감시 방법에 있어서,In the intelligent monitoring method using real-time image search, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 단계;Constructing a template image database by storing a template image containing a shape and a scene determined to be a risk factor; 감시 카메라에서 취득한 정지 영상의 특징 정보 벡터를 추출하는 단계;Extracting feature information vectors of still images acquired by the surveillance camera; 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 상기 템플레이트 이미지 데이터베이스로부터 템플레이트 이미지를 검색하는 단계; 및Retrieving a template image from the template image database through a multidimensional index structure using the extracted feature information vector; And 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 상기 정지 영상과 비교하여 위험도를 분석하는 단계를 포함하고,Extracting the template image obtained as a result of the search and analyzing the risk by comparing the template image with the still image; 템플레이트 이미지 데이터베이스를 구축하는 상기 단계는, 상기 템플레이트 이미지에서 특징 정보 벡터를 추출하는 단계; The step of constructing a template image database comprises: extracting a feature information vector from the template image; 상기 특징 정보 벡터를 이용하여 다차원 색인 구조를 구축하는 단계; 및Constructing a multidimensional index structure using the feature information vector; And 상기 다차원 색인 구조, 상기 템플레이트 이미지 및 상기 특징 정보 벡터를 상기 템플레이트 이미지 데이터베이스에 저장하고 상기 특징 정보 벡터를 이용하여 군집화 작업을 시행하고 각 군집의 대표자를 선택하여 저장하는 단계를 포함하며,Storing the multi-dimensional index structure, the template image, and the feature information vector in the template image database, performing a clustering operation using the feature information vector, and selecting and storing representatives of each cluster, 특징 정보 벡터를 추출하는 상기 단계는, 상기 템플레이트 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하는 단계;The extracting of the feature information vector may include: separating the template image into shapes and regions and extracting the template image into a binary image; 상기 이진 이미지의 형태로 추출된 템플레이트 이미지를 이용하여 모양 기반 특징을 추출하는 단계; 및Extracting a shape-based feature using the template image extracted in the form of the binary image; And 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 단계를 포함하는 실시간 이미지 검색을 이용한 지능형 감시 방법.And reducing and extracting the vector dimension of the extracted shape-based feature. 삭제delete 삭제delete 실시간 이미지 검색을 이용한 지능형 감시 방법에 있어서,In the intelligent monitoring method using real-time image search, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 단계;Constructing a template image database by storing a template image containing a shape and a scene determined to be a risk factor; 감시 카메라에서 취득한 정지 영상의 특징 정보 벡터를 추출하는 단계;Extracting feature information vectors of still images acquired by the surveillance camera; 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 상기 템플레이트 이미지 데이터베이스로부터 템플레이트 이미지를 검색하는 단계; 및Retrieving a template image from the template image database through a multidimensional index structure using the extracted feature information vector; And 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 상기 정지 영상과 비교하여 위험도를 분석하는 단계를 포함하고,Extracting the template image obtained as a result of the search and analyzing the risk by comparing the template image with the still image; 상기 감시 카메라에서 취득한 정지 영상의 특징 정보 벡터를 추출하는 단계는, 상기 감시 카메라로부터 전송된 영상의 움직임을 이용하여 선택적으로 영상을 취득하는 단계;The extracting of the feature information vector of the still image acquired by the surveillance camera may include: selectively acquiring an image by using a motion of the image transmitted from the surveillance camera; 상기 취득한 영상으로부터 정지 영상을 표본화하는 단계; 및Sampling a still image from the acquired image; And 표본화된 상기 정지 영상의 특징 정보 벡터를 추출하는 단계를 포함하며,Extracting a feature information vector of the sampled still image; 표본화된 상기 정지 영상의 특징 정보 벡터를 추출하는 상기 단계는, 상기 표본화된 정지 영상을 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하는 단계;The extracting of the feature information vector of the sampled still image may include extracting the sampled still image into a shape and an area to extract a binary image; 상기 이진 이미지의 형태로 추출된 이미지를 이용하여 모양 기반 특징을 추출하는 단계; 및Extracting shape-based features by using the extracted image in the form of the binary image; And 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 단계를 포함하는 실시간 이미지 검색을 이용한 지능형 감시 방법.And reducing and extracting the vector dimension of the extracted shape-based feature. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 실시간 이미지 검색을 이용한 지능형 감시 시스템에 있어서,In the intelligent surveillance system using real-time image search, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 템플레이트 이미지 구축부; 및A template image building unit for storing a template image including a shape and a scene determined to be a risk factor and constructing a template image database; And 감시 카메라에서 취득한 정지 영상의 특징 정보 벡터를 추출하는 정지 영상 특징 정보 벡터 추출부; A still image feature information vector extracting unit which extracts a feature information vector of the still image acquired by the surveillance camera; 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 상기 템플레이트 이미지 데이터베이스로부터 템플레이트 이미지를 검색하는 다차원 색인 검색부; 및A multidimensional index retrieval unit for retrieving a template image from the template image database through a multidimensional index structure using the extracted feature information vector; And 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 상기 정지 영상과 비교하여 위험도를 분석하는 위험도 분석부를 포함하고,And extracting a template image obtained as a result of the search and comparing the template image with the still image to analyze a risk. 상기 템플레이트 이미지 구축부는, 상기 템플레이트 이미지에서 특징 정보 벡터를 추출하는 특징 정보 벡터 추출부; The template image building unit may include a feature information vector extractor extracting a feature information vector from the template image; 상기 특징 정보 벡터를 이용하여 다차원 색인 구조를 구축하는 다차원 색인 구축부; 및A multidimensional index construction unit for constructing a multidimensional index structure using the feature information vector; And 상기 다차원 색인 구조, 상기 템플레이트 이미지 및 상기 특징 정보 벡터를 저장하고 상기 특징 정보 벡터를 이용하여 군집화 작업을 시행하고 각 군집의 대표자를 선택하여 저장하는 템플레이트 이미지 데이터베이스 저장부를 포함하며,A template image database storage unit for storing the multi-dimensional index structure, the template image and the feature information vector, performing a clustering operation using the feature information vector, and selecting and storing representatives of each cluster, 상기 특징 정보 벡터 추출부는, 상기 템플레이트 이미지를 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하는 이미지 영역 분리부;The feature information vector extractor may include: an image region separator configured to separate the template image into shapes and regions and extract the template image into a binary image; 상기 이진 이미지의 형태로 추출된 템플레이트 이미지를 이용하여 모양 기반 특징을 추출하는 모양기반의 특징 추출부; 및A shape-based feature extraction unit for extracting a shape-based feature using the template image extracted in the form of the binary image; And 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 특징 벡터 축소부를 포함하는 실시간 이미지 검색을 이용한 지능형 감시 시스템.Intelligent surveillance system using a real-time image retrieval including a feature vector reduction unit for reducing and extracting the vector dimension of the extracted shape-based feature. 삭제delete 삭제delete 실시간 이미지 검색을 이용한 지능형 감시 시스템에 있어서,In the intelligent surveillance system using real-time image search, 위험요소라고 판단되는 모양 및 장면이 담긴 템플레이트 이미지를 저장하여 템플레이트 이미지 데이터베이스를 구축하는 템플레이트 이미지 구축부; 및A template image building unit for storing a template image including a shape and a scene determined to be a risk factor and constructing a template image database; And 감시 카메라에서 취득한 정지 영상의 특징 정보 벡터를 추출하는 정지 영상 특징 정보 벡터 추출부; A still image feature information vector extracting unit which extracts a feature information vector of the still image acquired by the surveillance camera; 상기 추출된 특징 정보 벡터를 이용하여 다차원 색인 구조를 통해 상기 템플레이트 이미지 데이터베이스로부터 템플레이트 이미지를 검색하는 다차원 색인 검색부; 및A multidimensional index retrieval unit for retrieving a template image from the template image database through a multidimensional index structure using the extracted feature information vector; And 상기 검색 결과 얻어진 템플레이트 이미지를 추출한 후 상기 템플레이트 이미지를 상기 정지 영상과 비교하여 위험도를 분석하는 위험도 분석부를 포함하고,And extracting a template image obtained as a result of the search and comparing the template image with the still image to analyze a risk. 상기 정지 영상 특징 정보 벡터 추출부는, 상기 감시 카메라로부터 전송된 영상의 움직임을 이용하여 선택적으로 영상을 취득하고 상기 취득한 영상으로부터 정지 영상을 표본화하는 정지 영상 취득부;The still image feature information vector extracting unit may further include: a still image acquisition unit configured to selectively acquire an image by using a motion of an image transmitted from the surveillance camera and to sample a still image from the acquired image; 상기 표본화된 정지 영상을 모양 및 영역으로 분리시켜 이진 이미지의 형태로 추출하는 이미지 영역 분리부;An image region separator configured to separate the sampled still image into shapes and regions and extract the sampled still image in the form of a binary image; 상기 이진 이미지의 형태로 추출된 이미지를 이용하여 모양 기반 특징을 추출하는 모양기반의 특징 추출부; 및A shape-based feature extracting unit for extracting shape-based features using the extracted image in the form of the binary image; And 상기 추출된 모양 기반 특징의 벡터 차원을 줄여 추출하는 특징 벡터 축소부를 포함하는 실시간 이미지 검색을 이용한 지능형 감시 시스템.Intelligent surveillance system using a real-time image retrieval including a feature vector reduction unit for reducing and extracting the vector dimension of the extracted shape-based feature. 삭제delete 삭제delete 삭제delete
KR1020070007541A 2007-01-24 2007-01-24 Intellingent monitoring method and system using realtime image search function KR100916136B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070007541A KR100916136B1 (en) 2007-01-24 2007-01-24 Intellingent monitoring method and system using realtime image search function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070007541A KR100916136B1 (en) 2007-01-24 2007-01-24 Intellingent monitoring method and system using realtime image search function

Publications (2)

Publication Number Publication Date
KR20090000177A KR20090000177A (en) 2009-01-07
KR100916136B1 true KR100916136B1 (en) 2009-09-08

Family

ID=40483401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070007541A KR100916136B1 (en) 2007-01-24 2007-01-24 Intellingent monitoring method and system using realtime image search function

Country Status (1)

Country Link
KR (1) KR100916136B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200458129Y1 (en) * 2009-09-14 2012-01-20 이기춘 Cosmetic brush of being adjustable in length
KR101037735B1 (en) * 2009-10-27 2011-05-27 부경대학교 산학협력단 Method for 3d machine condition monitoring
KR102104314B1 (en) * 2018-03-05 2020-05-29 한남대학교산학협력단 Multispectrum image ai classification and retreival apparatus base on drone plaform
KR102076413B1 (en) * 2018-06-28 2020-03-02 중앙대학교 산학협력단 Method for checking safety guideline of construction site and Server for performing the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010088921A (en) * 2001-08-01 2001-09-29 이왕록 Monitoring system including function of figure acknowledgement and method using this system
KR20030056865A (en) * 2001-12-28 2003-07-04 에스케이텔레텍주식회사 Mobile phone for guarding images, and guard system and method using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010088921A (en) * 2001-08-01 2001-09-29 이왕록 Monitoring system including function of figure acknowledgement and method using this system
KR20030056865A (en) * 2001-12-28 2003-07-04 에스케이텔레텍주식회사 Mobile phone for guarding images, and guard system and method using the same

Also Published As

Publication number Publication date
KR20090000177A (en) 2009-01-07

Similar Documents

Publication Publication Date Title
US10922350B2 (en) Associating still images and videos
US10438050B2 (en) Image analysis device, image analysis system, and image analysis method
EP1650683B1 (en) Search of similar features representing objects in a large reference database
US20120148149A1 (en) Video key frame extraction using sparse representation
US8467611B2 (en) Video key-frame extraction using bi-level sparsity
US20130163864A1 (en) Video detection system and methods
Meng et al. Object instance search in videos via spatio-temporal trajectory discovery
KR100916136B1 (en) Intellingent monitoring method and system using realtime image search function
US10275656B2 (en) Large scale video search using queries that define relationships between objects
Kotsiantis et al. Multimedia mining.
Bali et al. Clustering Technique Approach to Detect the Special Patterns for Medical Video Mining
Jiang et al. Abnormal event detection based on trajectory clustering by 2-depth greedy search
Yuk et al. Object-based surveillance video retrieval system with real-time indexing methodology
Moses et al. A classified study on semantic analysis of video summarization
Baeza-Yates et al. Content-based image retrieval and characterization on specific web collections
KR100968025B1 (en) Monitoring method and system using danger image
Wang et al. Shear Detection and Key Frame Extraction of Sports Video Based on Machine Learning
Ngo et al. A survey of video parsing and image indexing techniques in compressed domain
Al Aghbari cTraj: efficient indexing and searching of sequences containing multiple moving objects
Lotfi Trajectory clustering and behaviour retrieval from traffic surveillance videos
CN116071690B (en) Scene feature extraction method based on scene key frame
Mane et al. Video classification using SVM
Mosbah et al. New algorithm for re-ranking based on the vote operation in the context of CBIR
Selvam et al. An Integration of Genetic Algorithm and Projected Clustering for Optimization of Content Based Image Retrieval System
Frigui et al. Image database categorization under spatial constraints using adaptive constrained clustering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130902

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140902

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160729

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee