KR102372508B1 - Detection apparatus for abnomal object, and control method thereof - Google Patents
Detection apparatus for abnomal object, and control method thereof Download PDFInfo
- Publication number
- KR102372508B1 KR102372508B1 KR1020210067654A KR20210067654A KR102372508B1 KR 102372508 B1 KR102372508 B1 KR 102372508B1 KR 1020210067654 A KR1020210067654 A KR 1020210067654A KR 20210067654 A KR20210067654 A KR 20210067654A KR 102372508 B1 KR102372508 B1 KR 102372508B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- detection
- distribution
- normal object
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Abstract
Description
본 발명은 군중 장면으로부터 이상 객체를 탐지함에 있어서, 이상 객체가 출현(위치)할 수 있는 이미지 공간의 모든 영역에 걸쳐서 탐지 정확도를 제고하기 위한 방안에 관한 것이다.The present invention relates to a method for improving detection accuracy over all areas of an image space where an abnormal object can appear (position) in detecting an abnormal object from a crowd scene.
군중 장면에서 이상 객체 탐지는 지능형 영상 감시 시스템에서 매우 중요하고도 어려운 부분이다.Anomaly detection in a crowd scene is a very important and difficult part of an intelligent video surveillance system.
일반적으로, 영상 장면에서 이상 사건은 매우 드물게 발생하며 매우 드문 모양 혹은 동작으로서 형성이 되기 때문에, 보통은 정상으로만 이루어진 학습 데이터와의 불일치를 탐지하는 것에 중점을 둔다.In general, anomalies in a video scene occur very rarely and are formed as very rare shapes or motions, so the focus is usually on detecting discrepancies with the training data that consist only of normal.
이와 관련하여, 최근에는 딥러닝 기술의 발전과 더불어 합성곱 신경망(CNN, Convolutional Neural Network)을 사용하여 이상 객체를 탐지하는 모델이 좋은 성능을 보이고 있다.In this regard, recently, along with the development of deep learning technology, a model for detecting anomalies using a convolutional neural network (CNN) is showing good performance.
하지만, 지금까지는 정상 이미지로부터 객체가 빈번하게 나타나는 위치에 대해서는 분포 모델링이 잘 되는 반면 객체가 드물게 나타나는 위치에 대해서는 분포 모델링이 제대로 되지 않는 관계로 정상 영역임에도 불구하고 이상 영역으로 감지되는 단점이 존재한다.However, until now, distribution modeling is good for locations where objects frequently appear from normal images, whereas distribution modeling is not properly performed for locations where objects appear rarely. .
이에, 본 발명에서는 군중 장면으로부터 이상 객체를 탐지함에 있어서 이미지 공간의 모든 영역에 걸쳐서 탐지 정확도를 제고할 수 있는 새로운 방안을 제안하고자 한다.Accordingly, the present invention intends to propose a new method capable of improving the detection accuracy over all areas of the image space in detecting an abnormal object from a crowd scene.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 군중 장면으로부터 이상 객체를 탐지함에 있어서, 이상 객체가 출현(위치)할 수 있는 이미지 공간의 모든 영역에 걸쳐서 탐지 정확도를 제고하는데 있다.The present invention was created in view of the above circumstances, and the object of the present invention is to detect an abnormal object from a crowd scene in all areas of the image space where the abnormal object can appear (position). It is to improve accuracy.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상객체탐지장치는, 탐지 영역의 촬영 영상을 구성하는 프레임 이미지 각각에 대하여, 기 지정된 정상 객체에 대한 이미지 공간 내 분포를 조정한 전처리 이미지를 생성하는 전처리부; 상기 전처리 이미지 각각으로부터 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습하는 학습부; 및 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 상기 탐지 영역을 촬영한 탐지 이미지로부터 상기 정상 객체와는 다른 이상 객체를 탐지하는 탐지부를 포함하는 것을 특징으로 한다.The abnormal object detection apparatus according to an embodiment of the present invention for achieving the above object, for each frame image constituting the captured image of the detection area, a pre-processed image obtained by adjusting the distribution in the image space for a predetermined normal object a preprocessor to generate; a learning unit for learning a distribution for each region in an image space of the normal object from each of the pre-processed images; and a detection unit configured to detect an abnormal object different from the normal object from a detection image obtained by photographing the detection area, based on a learning result of learning the distribution of the normal object for each area in the image space.
구체적으로, 상기 전처리부는, 상기 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 상기 프레임 이미지 각각의 픽셀값과 상기 배경 장면의 픽셀값을 비교하며, 상기 비교 결과에 따라 상기 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 상기 정상 객체가 위치한 영역으로 검출할 수 있다.Specifically, the preprocessor extracts a background scene from a value obtained by averaging the pixel values of each of the frame images, compares the pixel values of each of the frame images with the pixel values of the background scene, and according to the result of the comparison, A pixel area in which a difference between pixel values in each image is equal to or greater than a threshold may be detected as an area in which the normal object is located.
구체적으로, 상기 전처리부는, 상기 프레임 이미지 각각에 대하여, 상기 이미지 공간에서 구획될 수 있는 모든 영역에 상기 정상 객체가 분포되도록 상기 정상 객체를 재 배치시킨 이미지를 상기 전처리 이미지로 생성할 수 있다.Specifically, for each of the frame images, the preprocessor may generate an image in which the normal object is rearranged so that the normal object is distributed in all regions that can be partitioned in the image space as the preprocessed image.
구체적으로, 상기 학습부는, 상기 전처리 이미지 각각을 기 학습된 합성곱 신경망(Convolutional neural network, CNN)의 입력 데이터로 입력함에 따라, 상기 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며, 상기 전처리 이미지 각각에 대해서 결합되는 통합 임베딩 벡터와 관련하여 다변량 가우스 분포를 계산한 결과인 평균과 분산값을 상기 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득할 수 있다.Specifically, as the learning unit inputs each of the preprocessed images as input data of a pre-trained convolutional neural network (CNN), each embedding vector extracted from different layers of the convolutional neural network is one The average and variance values, which are the results of calculating the multivariate Gaussian distribution in relation to the integrated embedding vector combined for each of the preprocessed images, are combined with the integrated embedding vector of can be obtained as
구체적으로, 상기 탐지부는, 상기 정상 객체에 대한 분포 파라미터와, 상기 탐지 이미지의 통합 임베딩 벡터 간의 거리를 계산하며, 상기 계산 결과에 따라 거리 차이가 임계치 이상인 상기 탐지 이미지의 영역을 상기 이상 객체가 위치한 영역으로 탐지할 수 있다.Specifically, the detection unit calculates a distance between the distribution parameter for the normal object and the integrated embedding vector of the detection image, and determines an area of the detection image in which the distance difference is equal to or greater than a threshold according to the calculation result, in which the abnormal object is located. area can be detected.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상객체탐지장치의 동작 방법은, 탐지 영역의 촬영 영상을 구성하는 프레임 이미지 각각에 대하여, 기 지정된 정상 객체에 대한 이미지 공간 내 분포를 조정한 전처리 이미지를 생성하는 전처리단계; 상기 전처리 이미지 각각으로부터 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습하는 학습단계; 및 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 상기 탐지 영역을 촬영한 탐지 이미지로부터 상기 정상 객체와는 다른 이상 객체를 탐지하는 탐지단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, an operating method of an abnormal object detection apparatus according to an embodiment of the present invention includes adjusting a distribution in an image space for a predetermined normal object for each frame image constituting a captured image of a detection area. A pre-processing step of generating a pre-processed image; a learning step of learning a distribution for each region in an image space with respect to the normal object from each of the pre-processed images; and a detection step of detecting an abnormal object different from the normal object from the detection image obtained by photographing the detection area based on a learning result of learning the distribution of the normal object for each area in the image space. .
구체적으로, 상기 전처리단계는, 상기 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 상기 프레임 이미지 각각의 픽셀값과 상기 배경 장면의 픽셀값을 비교하며, 상기 비교 결과에 따라 상기 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 상기 정상 객체가 위치한 영역으로 검출할 수 있다.Specifically, the pre-processing step extracts a background scene from an average value of the pixel values of each of the frame images, compares the pixel values of each of the frame images with the pixel values of the background scene, and according to the comparison result, the In each frame image, a pixel area in which a difference in pixel values is equal to or greater than a threshold may be detected as an area in which the normal object is located.
구체적으로, 상기 전처리단계는, 상기 프레임 이미지 각각에 대하여, 상기 이미지 공간에서 구획될 수 있는 모든 영역에 상기 정상 객체가 분포되도록 상기 정상 객체를 재 배치시킨 이미지를 상기 전처리 이미지로 생성할 수 있다.Specifically, in the pre-processing step, for each of the frame images, an image in which the normal object is rearranged so that the normal object is distributed in all regions that can be partitioned in the image space may be generated as the pre-processed image.
구체적으로, 상기 학습단계는, 상기 전처리 이미지 각각을 기 학습된 합성곱 신경망(Convolutional neural network, CNN)의 입력 데이터로 입력함에 따라, 상기 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며, 상기 전처리 이미지 각각에 대해서 결합되는 통합 임베딩 벡터와 관련하여 다변량 가우스 분포를 계산한 결과인 평균과 분산값을 상기 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득할 수 있다.Specifically, in the learning step, each embedding vector extracted from different layers of the convolutional neural network is extracted by inputting each of the preprocessed images as input data of a pre-trained convolutional neural network (CNN). The average and variance values, which are the results of calculating a multivariate Gaussian distribution in relation to the integrated embedding vector combined for each of the preprocessed images, are combined into one integrated embedding vector. Distribution of embedding vectors for each region in the image space for the normal object It can be obtained as a parameter.
구체적으로, 상기 탐지단계는, 상기 정상 객체에 대한 분포 파라미터와, 상기 탐지 이미지의 통합 임베딩 벡터 간의 거리를 계산하며, 상기 계산 결과에 따라 거리 차이가 임계치 이상인 상기 탐지 이미지의 영역을 상기 이상 객체가 위치한 영역으로 탐지할 수 있다.Specifically, in the detection step, the distance between the distribution parameter for the normal object and the integrated embedding vector of the detection image is calculated, and the area of the detection image in which the distance difference is equal to or greater than a threshold value is determined by the abnormal object according to the calculation result. area can be detected.
이에, 본 발명의 이상객체탐지장치 및 그 동작 방법에서는, 객체 중심 증강 기법을 통해서 이미지 영역에서 정상 객체가 놓인 위치와 상관없이 전체 이미지 영역에 대해 정상 객체의 분포를 모델링함으로써, 정상 객체가 드물게 나타나는 영역에서도 이상 객체 탐지의 정확도를 제고하는 효과를 성취할 수 있다.Accordingly, in the abnormal object detection apparatus and the operating method of the present invention, by modeling the distribution of normal objects for the entire image region regardless of the position of the normal object in the image region through the object-centered augmentation technique, the normal object rarely appears. It is possible to achieve the effect of improving the accuracy of anomaly detection even in an area.
도 1은 본 발명의 일 실시예에 따른 이상 객체 탐지 환경을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 이상객체탐지장치의 개략적인 구성도.
도 3은 본 발명의 일 실시예에 따른 이상 객체 탐지 과정을 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 객체 중심 증강 기법을 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 이상객체탐지장치의 동작 방법을 설명하기 위한 순서도.1 is an exemplary diagram for explaining an abnormal object detection environment according to an embodiment of the present invention.
2 is a schematic configuration diagram of an abnormal object detection apparatus according to an embodiment of the present invention;
3 is an exemplary diagram for explaining an abnormal object detection process according to an embodiment of the present invention.
4 is an exemplary diagram for explaining an object-oriented augmentation technique according to an embodiment of the present invention.
5 is a flowchart for explaining a method of operating an abnormal object detection apparatus according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
본 발명의 일 실시예에서는, 군중 장면으로부터 이상 객체를 탐지하는 기술을 다루게 된다.In one embodiment of the present invention, a technique for detecting anomaly objects from a crowd scene will be addressed.
일반적으로, 영상 장면에서 이상 사건은 매우 드물게 발생하며 매우 드문 모양 혹은 동작으로서 형성이 되기 때문에, 보통은 정상으로만 이루어진 학습 데이터와의 불일치를 탐지하는 것에 중점을 둔다.In general, anomalies in a video scene occur very rarely and are formed as very rare shapes or motions, so the focus is usually on detecting discrepancies with the training data that consist only of normal.
이와 관련하여, 최근에는 딥러닝 기술의 발전과 더불어 합성곱 신경망(CNN, Convolutional Neural Network)을 사용해서 모든 정상 이미지로부터 임베딩 벡터를 추출한 다음 정상 클래스(객체)를 대표하는 분포를 모델링하고, 이에 대해 이상 이미지에서 추출한 임베딩 벡터간의 분포 차이를 계산하는 방식으로 이상 영역을 감지하는 모델이 좋은 성능을 나타내고 있다.In this regard, recently, with the development of deep learning technology, embedding vectors are extracted from all normal images using a convolutional neural network (CNN), and then a distribution representing a normal class (object) is modeled, and this A model that detects anomalies by calculating the distribution difference between embedding vectors extracted from abnormal images shows good performance.
하지만, 지금까지는 정상 이미지로부터 객체가 빈번하게 나타나는 위치에 대해서는 분포 모델링이 잘 되는 반면 객체가 드물게 나타나는 위치에 대해서는 분포 모델링이 제대로 되지 않는 관계로 정상 영역임에도 불구하고 이상 영역으로 감지되는 단점이 존재한다.However, until now, distribution modeling is good for locations where objects frequently appear from normal images, whereas distribution modeling is not properly performed for locations where objects appear rarely. .
이에, 본 발명의 일 실시예에서는 군중 장면으로부터 이상 객체를 탐지함에 있어서 이미지 공간의 모든 영역에 걸쳐서 탐지 정확도를 제고할 수 있는 새로운 방안을 제안하고자 한다.Accordingly, an embodiment of the present invention intends to propose a new method for improving detection accuracy over all areas of an image space in detecting an abnormal object from a crowd scene.
이와 관련하여, 도 1에는 본 발명의 일 실시예에 따른 이상 객체 탐지 환경을 예시적으로 보여주고 있다.In this regard, FIG. 1 exemplarily shows an abnormal object detection environment according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이상 객체 탐지 환경에는, 탐지 영역(DA)을 촬영한 군중 장면으로부터 이상 객체를 탐지하는 이상객체탐지장치(100)를 포함할 수 있다.As shown in FIG. 1 , the abnormal object detection environment according to an embodiment of the present invention may include an abnormal
이상객체탐지장치(100)는 객체 중심 증강 기법을 통해서 전체 이미지 영역에 대해 정상 객체의 분포를 모델링하는 방식으로 이상 객체를 탐지하는 장치를 일컫는 것으로서, 예컨대, 소프트웨어(예: 애플리케이션)를 탑재한 컴퓨팅장치(예: PC), 또는 유무선 통신망을 통해 접속 가능한 서버의 형태로 구현될 수 있다.The abnormal
참고로, 이러한 이상객체탐지장치(100)가 서버의 형태로 구현되는 경우에는, 예컨대, 웹 서버, 데이터베이스 서버, 프록시 서버 등의 형태로 구현될 수 있으며, 네트워크 부하 분산 메커니즘, 내지 서비스 장치가 인터넷 또는 다른 네트워크 상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로도 구현될 수 있다.For reference, when the abnormal
이상, 본 발명의 일 실시예에 따른 이상 객체 탐지 환경에서는, 전술한 구성을 통해서 탐지 영역을 촬영한 이미지의 모든 영역에 걸쳐 이상 객체에 대한 탐지 정확도를 제고할 수 있는데, 이하에서는 이를 실현하기 위한 이상객체탐지장치(100)의 구성을 보다 구체적으로 설명하기로 한다.As described above, in the abnormal object detection environment according to an embodiment of the present invention, it is possible to improve the detection accuracy of the abnormal object over all regions of the image obtained by photographing the detection region through the above-described configuration. The configuration of the abnormal
이와 관련하여, 도 2는 본 발명의 일 실시예에 따른 이상객체탐지장치(100)의 개략적인 구성을 보여주고 있다.In this regard, FIG. 2 shows a schematic configuration of the abnormal
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이상객체탐지장치(100)는 전처리 이미지를 생성하는 전처리부(110), 전처리 이미지를 학습하는 학습부(120), 및 이상 객체를 탐지하는 탐지부(130)를 포함하는 구성을 가질 수 있다.As shown in FIG. 2 , the abnormal
이상의 전처리부(110), 학습부(120), 및 탐지부(130)를 포함하는 이상객체탐지장치(100)의 전체 구성 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로 구현될 수 있다.The whole configuration or at least a part of the abnormal
여기서, 소프트웨어 모듈이란, 예컨대, 이상객체탐지장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 이상객체탐지장치(100) 내 메모리에 탑재된 형태를 가질 수 있다.Here, the software module may be understood as, for example, a command executed by a processor that controls operations in the abnormal
한편, 본 발명의 일 실시예에 따른 이상객체탐지장치(100)는 전술한 구성 이외에, 유무선 통신망 접속을 지원하기 위해 통신 기능을 담당하는 RF 모듈인 통신부(140)의 구성을 더 포함할 수 있다.On the other hand, the abnormal
이상 본 발명의 일 실시예에 따른 이상객체탐지장치(100)는 전술한 구성을 통해서 탐지 영역을 촬영한 이미지의 모든 영역에 걸쳐 이상 객체에 대한 탐지 정확도를 제고할 수 있는데, 이하에서는 이를 실현하기 위한 이상객체탐지장치(100) 내 구성에 대해서 보다 구체적인 설명을 이어 가기로 한다.As described above, the abnormal
전처리부(110)는 객체 중심 증강 기법에 따라 전처리 이미지를 생성하는 기능을 수행한다.The
보다 구체적으로, 전처리부(110)는 탐지 영역의 촬영 영상을 구성하는 프레임 이미지 각각에 대하여, 기 지정된 정상 객체(예: 보행자)에 대한 이미지 공간 내 분포를 조정한 전처리 이미지를 생성하게 된다.More specifically, the
이때, 전처리부(110)는 예컨대 도 3의 (a)에서와 같이, 탐지 영역의 촬영 영상을 구성하는 프레임 이미지(정상 이미지) 내에서 정상 객체가 위치한 영역만을 따로 검출한 다음, 검출된 정상 객체를 프레임 이미지(정상 이미지)의 모든 영역에 대해 무작위로 위치시키는 객체 중심 증강 기법을 통해서 전처리 이미지를 생성할 수 있다.In this case, the
이와 관련하여 도 4을 참조하여, 전술한 객체 중심 증강 기법을 좀 더 구체적으로 살펴보면 다음과 같다.In this regard, referring to FIG. 4 , the above-described object-oriented augmentation technique will be described in more detail as follows.
즉, 전처리부(110)는 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 프레임 이미지 각각의 픽셀값과 추출된 배경 장면의 픽셀값을 비교하고, 이러한 픽셀값 비교 결과에 따라 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 정상 객체가 위치한 영역으로 검출한다.That is, the
나아가, 전처리부(110)는 정상 객체가 위치한 영역 검출이 완료되면, 프레임 이미지 각각에 대하여, 이미지 공간에서 구획될 수 있는 모든 영역에 정상 객체가 분포되도록 정상 객체를 재 배치시키는 방식으로 전처리 이미지를 생성한다.Furthermore, when the detection of the region in which the normal object is located is completed, the
참고로, 학습 데이터가 부족한 상황에서 다양한 알고리즘을 통해 데이터를 변형시켜 충분한 학습 데이터를 확보하는 기법을 데이터 증강이라고 한다.For reference, a technique for securing sufficient learning data by transforming data through various algorithms in a situation where learning data is insufficient is called data augmentation.
이와 관련하여, 기존의 데이터 증강 기법은, 이미지 전체 영역에 대해 특정한 알고리즘을 통해 영상을 변형시키는 방식인 반면, 본 발명의 일 실시예에 따른 객체 중심 증강 기법은 이미지 전체 영역에 대해서가 아닌 이미지 내 보행자와 같은 정상 객체가 위치한 영역만 따로 검출한 후 정상 객체의 영역을 이미지의 모든 영역에 대해 무작위로 위치시키는 새로운 기법이라는 점에서 그 기술적 의의를 찾을 수 있다.In this regard, the existing data augmentation technique is a method of transforming an image through a specific algorithm for the entire image area, whereas the object-oriented augmentation technique according to an embodiment of the present invention is within the image rather than for the entire image area. Its technical significance can be found in that it is a new technique that randomly positions the normal object area in all areas of the image after detecting only the area where a normal object such as a pedestrian is located.
다시 말해 이는, 정상 이미지로부터 객체가 빈번하게 나타나는 위치에 대해서는 분포 모델링이 잘 되는 반면 객체가 드물게 나타나는 위치에 대해서는 분포 모델링이 제대로 되지 않는 기존 기술의 한계점 극복에 특화된 새로운 데이터 증강 기법인 것으로 이해될 수 있는 것이다.In other words, this can be understood as a new data augmentation technique specialized in overcoming the limitations of the existing technology, where distribution modeling works well for locations where objects frequently appear from normal images, but distribution modeling does not work well for locations where objects appear rarely. there will be
학습부(120)는 전처리 이미지 내 정상 객체의 분포를 학습하는 기능을 수행한다.The
보다 구체적으로, 학습부(120)는 전처리 이미지가 생성되면, 생성된 전처리 이미지 각각으로부터 정상 객체 대한 이미지 공간 내 영역 별 분포를 학습하게 된다.More specifically, when the pre-processed image is generated, the
이때, 학습부(120)는 앞서 예시한, 도 3의 (b)에서와 같이, 전처리 이미지 각각을 기 학습된 합성곱 신경망(CNN, Convolutional Neural Network)의 입력 데이터로 입력함에 따라, 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며, 나아가 전처리 이미지 각각에 대해서 결합된 통합 임베딩 벡터에 대한 다변량 가우스 분포를 계산하여, 계산 결과인 평균과 분산값을 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득할 수 있다.At this time, the
탐지부(130)는 탐지 영역의 촬영 이미지(탐지 이미지)로부터 이상 객체를 탐지하는 기능을 수행한다.The
보다 구체적으로, 탐지부(130)는 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 탐지 영역의 촬영 이미지(탐지 이미지)로부터 정상 객체와는 다른 이상 객체(예: 차량, 자전거)를 탐지하게 된다.More specifically, based on the learning result of learning the distribution for each region in the image space for the normal object, the
이때, 탐지부(130)는 앞서 예시한 도 3의 (c)에서와 같이, 앞서 학습(획득)이 완료된 정상 객체에 대한 분포 파라미터와, 촬영 이미지(탐지 이미지)의 통합 임베딩 벡터 간의 거리를 계산하여, 그 계산 결과에 따라 거리 차이가 임계치 이상인 촬영 이미지의 영역을 이상 객체가 위치한 영역으로 탐지할 수 있다.At this time, the
즉, 촬영 이미지(탐지 이미지)에 자동차와 같은 이상 객체가 존재할 경우 자동차의 객체는 정상 객체의 전처리 이미지로만 구성된 학습 데이터에 존재하지 않기 때문에 촬영 이미지(탐지 이미지)의 자동차 영역에 대한 임베딩 벡터 값은 정상 클래스로부터 계산된 분포의 파라미터 값과 차이가 발생하게 되며 이러한 차이를 통해 이상 객체의 영역을 탐지할 수 있는 것이다.That is, if an abnormal object such as a car exists in the captured image (detection image), the embedding vector value for the car area of the captured image (detection image) is A difference from the parameter value of the distribution calculated from the normal class occurs, and the area of the abnormal object can be detected through this difference.
한편, 이처럼, 탐지 영역의 촬영 이미지(탐지 이미지)(탐지 이미지)로부터 이상 객체를 탐지하기 위해서는, 정상 객체에 대한 분포 파라미터와, 촬영 이미지(탐지 이미지)의 통합 임베딩 벡터 간의 거리를 계산함에 앞서, 촬영 이미지(탐지 이미지)에 대해서도 프레임 이미지의 픽셀값과 전처리 과정을 통해 추출한 배경 장면의 픽셀값 비교 결과에 따라 정상 객체가 위치한 영역만 남긴 전처리 이미지를 생성하고, 이에 대해 합성곱 신경망을 동일하게 적용하여 통합 임베딩 벡터를 추출해야 함은 물론이다.On the other hand, in order to detect an abnormal object from the photographed image (detection image) (detection image) of the detection area in this way, before calculating the distance between the distribution parameter for the normal object and the integrated embedding vector of the photographed image (detection image), For the captured image (detection image), a pre-processed image is generated that leaves only the area where the normal object is located according to the pixel value of the frame image and the pixel value of the background scene extracted through the pre-processing process, and the convolutional neural network is applied equally to this. Therefore, it is of course necessary to extract the integrated embedding vector.
다만 이상 객체를 탐지하기 위한 촬영 이미지(탐지 이미지)에 대해서는 전처리 이미지를 생성하는 과정에서 객체를 재 배치시키는 객체 중심 증강 기법을 별도로 적용하지 않는다.However, for the captured image (detection image) for detecting an abnormal object, the object-oriented augmentation technique that rearranges the object in the process of generating the pre-processed image is not separately applied.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 이상객체탐지장치(100)의 구성에 따르면, 객체 중심 증강 기법을 통해서 이미지 영역에서 정상 객체가 놓인 위치와 상관없이 전체 이미지 영역에 대해 정상 객체의 분포를 모델링함으로써, 탐지 영역을 촬영한 촬영 이미지의 전 영역에 걸쳐 이상 객체의 탐지 정확도를 제고할 수 있으며, 특히나, 정상 객체가 드물게 나타나는 영역에서도 이상 객체에 대한 만족스러운 탐지 정확도를 기대해볼 수 있다.As described above, according to the configuration of the abnormal
이하에서는, 도 5를 참조하여 본 발명의 일 실시예에 따른 이상객체탐지장치(100)의 동작 방법을 설명하기로 한다.Hereinafter, an operation method of the abnormal
먼저, 전처리부(110)는 탐지 영역의 촬영 영상을 구성하는 프레임 이미지 각각에 대하여, 기 지정된 정상 객체(예: 보행자)에 대한 이미지 공간 내 분포를 조정한 전처리 이미지를 생성한다(S110-S130).First, the
이때, 전처리부(110)는 탐지 영역의 촬영 영상을 구성하는 프레임 이미지(정상 이미지) 내에서 정상 객체가 위치한 영역만을 따로 검출한 다음, 검출된 정상 객체를 프레임 이미지(정상 이미지)의 모든 영역에 대해 무작위로 위치시키는 객체 중심 증강 기법을 통해서 전처리 이미지를 생성할 수 있다.At this time, the
보다 상세하게, 전처리부(110)는 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 프레임 이미지 각각의 픽셀값과 추출된 배경 장면의 픽셀값을 비교하고, 이러한 픽셀값 비교 결과에 따라 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 정상 객체가 위치한 영역으로 검출한다.In more detail, the
나아가, 전처리부(110)는 정상 객체가 위치한 영역 검출이 완료되면, 프레임 이미지 각각에 대하여, 이미지 공간에서 구획될 수 있는 모든 영역에 정상 객체가 분포되도록 정상 객체를 재 배치시키는 방식으로 전처리 이미지를 생성한다.Furthermore, when the detection of the region in which the normal object is located is completed, the
참고로, 학습 데이터가 부족한 상황에서 다양한 알고리즘을 통해 데이터를 변형시켜 충분한 학습 데이터를 확보하는 기법을 데이터 증강이라고 한다.For reference, a technique for securing sufficient learning data by transforming data through various algorithms in a situation where learning data is insufficient is called data augmentation.
이와 관련하여, 기존의 데이터 증강 기법은, 이미지 전체 영역에 대해 특정한 알고리즘을 통해 영상을 변형시키는 방식인 반면, 본 발명의 일 실시예에 따른 객체 중심 증강 기법은 이미지 전체 영역에 대해서가 아닌 이미지 내 보행자와 같은 정상 객체가 위치한 영역만 따로 검출한 후 정상 객체의 영역을 이미지의 모든 영역에 대해 무작위로 위치시키는 새로운 기법이라는 점에서 그 기술적 의의를 찾을 수 있다.In this regard, the existing data augmentation technique is a method of transforming an image through a specific algorithm for the entire image area, whereas the object-oriented augmentation technique according to an embodiment of the present invention is within the image rather than for the entire image area. Its technical significance can be found in that it is a new technique that randomly positions the normal object area in all areas of the image after detecting only the area where a normal object such as a pedestrian is located.
다시 말해 이는, 정상 이미지로부터 객체가 빈번하게 나타나는 위치에 대해서는 분포 모델링이 잘 되는 반면 객체가 드물게 나타나는 위치에 대해서는 분포 모델링이 제대로 되지 않는 기존 기술의 한계점 극복에 특화된 새로운 데이터 증강 기법인 것으로 이해될 수 있는 것이다.In other words, this can be understood as a new data augmentation technique specialized in overcoming the limitations of the existing technology, where distribution modeling works well for locations where objects frequently appear from normal images, but distribution modeling does not work well for locations where objects appear rarely. there will be
그리고 나서, 학습부(120)는 전처리 이미지가 생성되면, 생성된 전처리 이미지 각각으로부터 정상 객체 대한 이미지 공간 내 영역 별 분포를 학습한다(S140-S160).Then, when the pre-processed image is generated, the
이때, 학습부(120)는 전처리 이미지 각각을 기 학습된 합성곱 신경망(CNN, Convolutional Neural Network)의 입력 데이터로 입력함에 따라, 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며, 나아가 전처리 이미지 각각에 대해서 결합된 통합 임베딩 벡터에 대한 다변량 가우스 분포를 계산하여, 계산 결과인 평균과 분산값을 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득할 수 있다.At this time, as the
이후, 탐지부(130)는 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 탐지 영역의 촬영 이미지(탐지 이미지)로부터 정상 객체와는 다른 이상 객체(예: 차량, 자전거)를 탐지한다(S170-S180).Then, based on the learning result of learning the distribution for each region in the image space for the normal object, the
이때, 탐지부(130)는 앞서 학습(획득)이 완료된 정상 객체에 대한 분포 파라미터와, 촬영 이미지(탐지 이미지)의 통합 임베딩 벡터 간의 거리를 계산하여, 그 계산 결과에 따라 거리 차이가 임계치 이상인 촬영 이미지의 영역을 이상 객체가 위치한 영역으로 탐지할 수 있다.At this time, the
즉, 촬영 이미지(탐지 이미지)에 자동차와 같은 이상 객체가 존재할 경우 자동차의 객체는 정상 객체의 전처리 이미지로만 구성된 학습 데이터에 존재하지 않기 때문에 촬영 이미지(탐지 이미지)의 자동차 영역에 대한 임베딩 벡터 값은 정상 클래스로부터 계산된 분포의 파라미터 값과 차이가 발생하게 되며 이러한 차이를 통해 이상 객체의 영역을 탐지할 수 있는 것이다.That is, if an abnormal object such as a car exists in the captured image (detection image), the embedding vector value for the car area of the captured image (detection image) is A difference from the parameter value of the distribution calculated from the normal class occurs, and the area of the abnormal object can be detected through this difference.
한편, 이처럼, 탐지 영역의 촬영 이미지(탐지 이미지)(탐지 이미지)로부터 이상 객체를 탐지하기 위해서는, 정상 객체에 대한 분포 파라미터와, 촬영 이미지(탐지 이미지)의 통합 임베딩 벡터 간의 거리를 계산함에 앞서, 촬영 이미지(탐지 이미지)에 대해서도 프레임 이미지의 픽셀값과 전처리 과정을 통해 추출한 배경 장면의 픽셀값 비교 결과에 따라 정상 객체가 위치한 영역만 남긴 전처리 이미지를 생성하고, 이에 대해 합성곱 신경망을 동일하게 적용하여 통합 임베딩 벡터를 추출해야 함은 물론이다.On the other hand, in order to detect an abnormal object from the photographed image (detection image) (detection image) of the detection area in this way, before calculating the distance between the distribution parameter for the normal object and the integrated embedding vector of the photographed image (detection image), For the captured image (detection image), a pre-processed image is generated that leaves only the area where the normal object is located according to the pixel value of the frame image and the pixel value of the background scene extracted through the pre-processing process, and the convolutional neural network is applied equally to this. Therefore, it is of course necessary to extract the integrated embedding vector.
다만 이상 객체를 탐지하기 위한 촬영 이미지(탐지 이미지)에 대해서는 전처리 이미지를 생성하는 과정에서 객체를 재 배치시키는 객체 중심 증강 기법을 별도로 적용하지 않는다.However, for the captured image (detection image) for detecting an abnormal object, the object-oriented augmentation technique that rearranges the object in the process of generating the pre-processed image is not separately applied.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 이상객체탐지장치(100)의 동작 방법에 따르면, 객체 중심 증강 기법을 통해서 이미지 영역에서 정상 객체가 놓인 위치와 상관없이 전체 이미지 영역에 대해 정상 객체의 분포를 모델링함으로써, 탐지 영역을 촬영한 촬영 이미지의 전 영역에 걸쳐 이상 객체의 탐지 정확도를 제고할 수 있으며, 특히나, 정상 객체가 드물게 나타나는 영역에서도 이상 객체에 대한 만족스러운 탐지 정확도를 기대해볼 수 있다.As described above, according to the operation method of the abnormal
한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 처리하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.On the other hand, the functional operations and implementations of the subject matter described in this specification are implemented as digital electronic circuits, computer software, firmware, or hardware including the structures disclosed in this specification and structural equivalents thereof, or at least one of these It can be implemented by combining. Implementations of the subject matter described herein are one or more computer program products, ie one or more modules of computer program instructions encoded on a tangible program storage medium for processing or execution by the processing system. can be implemented.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 혹은 이들 중 하나 이상의 조합일 수 있다.The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, or a combination of one or more thereof.
본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.As used herein, the term “system” or “device” encompasses all apparatuses, devices, and machines for processing data, including, for example, programmable processors, computers, or multiple processors or computers. A processing system may include, in addition to hardware, code that upon request forms an execution environment for a computer program, such as code constituting processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. .
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.A computer program (also known as a program, software, software application, script or code) may be written in any form of any programming language, including compiled or interpreted language or a priori or procedural language, and may be written as a stand-alone program or module; It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in a file system. A program may be in a single file provided to the requested program, or in multiple interacting files (eg, files that store one or more modules, subprograms, or portions of code), or portions of files that hold other programs or data. (eg, one or more scripts stored within a markup language document). The computer program may be deployed to be executed on a single computer or multiple computers located at one site or distributed over a plurality of sites and interconnected by a communication network.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.On the other hand, computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROMs, EEPROMs and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks and CDs. -Can include all types of non-volatile memory, media and memory devices, including ROM and DVD-ROM disks. The processor and memory may be supplemented by, or integrated into, special purpose logic circuitry.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.An implementation of the subject matter described herein may include a backend component, such as a data server, or a middleware component, such as an application server, such as a web browser or graphical user that allows a user to interact with an implementation of the subject matter described herein, for example. It may be implemented in a front-end component, such as a client computer having an interface, or in a computing system including any combination of one or more of such back-end, middleware, or front-end components. The components of the system may be interconnected by any form or medium of digital data communication, such as, for example, a communication network.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While this specification contains numerous specific implementation details, they should not be construed as limitations on the scope of any invention or claim, but rather as descriptions of features that may be specific to particular embodiments of particular inventions. should be understood Likewise, certain features that are described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although features operate in a particular combination and may be initially depicted as claimed as such, one or more features from a claimed combination may in some cases be excluded from the combination, the claimed combination being a sub-combination. or a variant of a sub-combination.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다Also, although operations are depicted in the drawings in a specific order in this specification, it is not to be understood that such operations must be performed in the specific order or sequential order shown or that all illustrated operations must be performed in order to achieve desirable results. Can not be done. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of various system components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, this specification is not intended to limit the invention to the specific terminology presented. Accordingly, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, changes and modifications to the examples without departing from the scope of the present invention. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
본 발명에 따른 이상객체탐지장치 및 그 동작 방법에 따르면, 군중 장면으로부터 이상 객체를 탐지함에 있어서, 이상 객체가 출현(위치)할 수 있는 이미지 공간의 모든 영역에 걸쳐서 탐지 정확도를 제고할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the abnormal object detection apparatus and the method of operation thereof according to the present invention, in detecting an abnormal object from a crowd scene, it is possible to improve detection accuracy over all areas of the image space where the abnormal object can appear (position). In the present invention, as it goes beyond the limitations of the existing technology, it is not only the use of the related technology, but also the possibility of marketing or business of the applied device is sufficient, and it is an invention with industrial applicability because it can be clearly implemented in reality.
100: 이상객체탐지장치
110: 전처리부 120: 학습부
130: 탐지부100: abnormal object detection device
110: preprocessing unit 120: learning unit
130: detection unit
Claims (10)
상기 전처리 이미지 각각으로부터 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습하는 학습부; 및
상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 상기 탐지 영역을 촬영한 탐지 이미지로부터 상기 정상 객체와는 다른 이상 객체를 탐지하는 탐지부를 포함하며,
상기 전처리부는,
상기 프레임 이미지 각각에 대하여, 상기 이미지 공간에서 구획될 수 있는 모든 영역에 상기 정상 객체가 분포되도록 상기 정상 객체를 재 배치시킨 이미지를 상기 전처리 이미지로 생성하는 것을 특징으로 하는 이상객체탐지장치.a pre-processing unit generating a pre-processing image obtained by adjusting a distribution in an image space of a predetermined normal object for each frame image constituting the captured image of the detection area;
a learning unit for learning a distribution for each region in an image space of the normal object from each of the pre-processed images; and
a detection unit configured to detect an abnormal object different from the normal object from a detection image obtained by photographing the detection area, based on a learning result of learning the distribution of the normal object for each area in the image space;
The preprocessor is
For each of the frame images, an image in which the normal object is rearranged so that the normal object is distributed in all regions that can be partitioned in the image space is generated as the pre-processed image.
상기 전처리부는,
상기 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 상기 프레임 이미지 각각의 픽셀값과 상기 배경 장면의 픽셀값을 비교하며,
상기 비교 결과에 따라 상기 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 상기 정상 객체가 위치한 영역으로 검출하는 것을 특징으로 하는 이상객체탐지장치.The method of claim 1,
The preprocessor is
extracting a background scene from the average value of each pixel value of the frame image, and comparing the pixel value of each frame image with the pixel value of the background scene;
and detecting, as an area in which the normal object is located, a pixel area having a difference in pixel values equal to or greater than a threshold in each of the frame images according to the comparison result.
상기 학습부는,
상기 전처리 이미지 각각을 기 학습된 합성곱 신경망(CNN, Convolutional Neural Network)의 입력 데이터로 입력함에 따라, 상기 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며,
상기 전처리 이미지 각각에 대해서 결합되는 통합 임베딩 벡터와 관련하여 다변량 가우스 분포를 계산한 결과인 평균과 분산값을 상기 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득하는 것을 특징으로 하는 이상객체탐지장치.The method of claim 1,
The learning unit,
As each of the preprocessed images is input as input data of a pre-trained convolutional neural network (CNN), each embedding vector extracted from different layers of the convolutional neural network is combined into one integrated embedding vector, ,
The average and variance values, which are the results of calculating the multivariate Gaussian distribution in relation to the integrated embedding vector combined for each of the preprocessed images, are obtained as distribution parameters of the embedding vector for each region in the image space for the normal object. object detection device.
상기 탐지부는,
상기 정상 객체에 대한 분포 파라미터와, 상기 탐지 이미지의 통합 임베딩 벡터 간의 거리를 계산하며,
상기 계산 결과에 따라 거리 차이가 임계치 이상인 상기 탐지 이미지의 영역을 상기 이상 객체가 위치한 영역으로 탐지하는 것을 특징으로 하는 이상객체탐지장치.5. The method of claim 4,
The detection unit,
calculating a distance between a distribution parameter for the normal object and an integrated embedding vector of the detection image,
The abnormal object detection apparatus according to claim 1, wherein the region of the detection image having a distance difference equal to or greater than a threshold is detected as the region in which the abnormal object is located according to the calculation result.
상기 전처리 이미지 각각으로부터 상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습하는 학습단계; 및
상기 정상 객체에 대한 이미지 공간 내 영역 별 분포를 학습한 학습 결과를 기초로, 상기 탐지 영역을 촬영한 탐지 이미지로부터 상기 정상 객체와는 다른 이상 객체를 탐지하는 탐지단계를 포함하며,
상기 전처리단계는,
상기 프레임 이미지 각각에 대하여, 상기 이미지 공간에서 구획될 수 있는 모든 영역에 상기 정상 객체가 분포되도록 상기 정상 객체를 재 배치시킨 이미지를 상기 전처리 이미지로 생성하는 것을 특징으로 하는 이상객체탐지장치의 동작 방법.a pre-processing step of generating a pre-processed image in which a distribution in an image space of a predetermined normal object is adjusted for each frame image constituting the captured image of the detection area;
a learning step of learning a distribution for each region in an image space with respect to the normal object from each of the pre-processed images; and
a detection step of detecting an abnormal object different from the normal object from a detection image obtained by photographing the detection area based on a learning result of learning the distribution for each area in the image space for the normal object,
The pre-processing step is
For each of the frame images, an image in which the normal object is rearranged so that the normal object is distributed in all regions that can be partitioned in the image space is generated as the pre-processed image .
상기 전처리단계는,
상기 프레임 이미지 각각의 픽셀값을 평균한 값으로부터 배경 장면을 추출하여, 상기 프레임 이미지 각각의 픽셀값과 상기 배경 장면의 픽셀값을 비교하며,
상기 비교 결과에 따라 상기 프레임 이미지 각각에서 픽셀값의 차이가 임계치 이상인 픽셀 영역을 상기 정상 객체가 위치한 영역으로 검출하는 것을 특징으로 하는 이상객체탐지장치의 동작 방법.7. The method of claim 6,
The pre-processing step is
extracting a background scene from the average value of each pixel value of the frame image, and comparing the pixel value of each frame image with the pixel value of the background scene;
and detecting, as an area in which the normal object is located, a pixel area having a difference in pixel values equal to or greater than a threshold in each of the frame images according to the comparison result.
상기 학습단계는,
상기 전처리 이미지 각각을 기 학습된 합성곱 신경망(CNN, Convolutional Neural Network)의 입력 데이터로 입력함에 따라, 상기 합성곱 신경망의 서로 다른 계층으로부터 추출되는 각각의 임베딩 벡터를 하나의 통합 임베딩 벡터로 결합하며,
상기 전처리 이미지 각각에 대해서 결합되는 통합 임베딩 벡터와 관련하여 다변량 가우스 분포를 계산한 결과인 평균과 분산값을 상기 정상 객체에 대한 이미지 공간 내 영역 별 임베딩 벡터의 분포 파라미터로서 획득하는 것을 특징으로 하는 이상객체탐지장치의 동작 방법.7. The method of claim 6,
The learning step is
As each of the preprocessed images is input as input data of a pre-trained convolutional neural network (CNN), each embedding vector extracted from different layers of the convolutional neural network is combined into one integrated embedding vector, ,
The average and variance values, which are the results of calculating the multivariate Gaussian distribution in relation to the integrated embedding vector combined for each of the preprocessed images, are obtained as distribution parameters of the embedding vector for each region in the image space for the normal object. How an object detection device works.
상기 탐지단계는,
상기 정상 객체에 대한 분포 파라미터와, 상기 탐지 이미지의 통합 임베딩 벡터 간의 거리를 계산하며,
상기 계산 결과에 따라 거리 차이가 임계치 이상인 상기 탐지 이미지의 영역을 상기 이상 객체가 위치한 영역으로 탐지하는 것을 특징으로 하는 이상객체탐지장치의 동작 방법.10. The method of claim 9,
The detection step is
calculating a distance between a distribution parameter for the normal object and an integrated embedding vector of the detection image,
The operating method of the abnormal object detection apparatus, characterized in that the region of the detection image having a distance difference equal to or greater than a threshold value is detected as the region in which the abnormal object is located according to the calculation result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067654A KR102372508B1 (en) | 2021-05-26 | 2021-05-26 | Detection apparatus for abnomal object, and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067654A KR102372508B1 (en) | 2021-05-26 | 2021-05-26 | Detection apparatus for abnomal object, and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102372508B1 true KR102372508B1 (en) | 2022-03-08 |
Family
ID=80812231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210067654A KR102372508B1 (en) | 2021-05-26 | 2021-05-26 | Detection apparatus for abnomal object, and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102372508B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102469219B1 (en) * | 2022-05-27 | 2022-11-23 | 국방과학연구소 | Abnormal data detection method and electronic device therefor |
| WO2023182796A1 (en) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | Artificial intelligence device for sensing defective products on basis of product images and method therefor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101935399B1 (en) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm |
| KR20200139616A (en) * | 2018-05-03 | 2020-12-14 | 엘지이노텍 주식회사 | Apparatus and method for detecting abnormal objects |
| KR20210057611A (en) * | 2019-11-12 | 2021-05-21 | 엘지전자 주식회사 | Artificial intelligence apparatus and method for recognizing object included in image data |
-
2021
- 2021-05-26 KR KR1020210067654A patent/KR102372508B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200139616A (en) * | 2018-05-03 | 2020-12-14 | 엘지이노텍 주식회사 | Apparatus and method for detecting abnormal objects |
| KR101935399B1 (en) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm |
| KR20210057611A (en) * | 2019-11-12 | 2021-05-21 | 엘지전자 주식회사 | Artificial intelligence apparatus and method for recognizing object included in image data |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023182796A1 (en) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | Artificial intelligence device for sensing defective products on basis of product images and method therefor |
| KR102469219B1 (en) * | 2022-05-27 | 2022-11-23 | 국방과학연구소 | Abnormal data detection method and electronic device therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102372508B1 (en) | Detection apparatus for abnomal object, and control method thereof | |
| Lim et al. | Dynamic appearance modeling for human tracking | |
| JP6872877B2 (en) | Image generation method and equipment | |
| US9384419B2 (en) | Image matching method, extracting features from model images applied different variation, image matching device, model template generation method, and model template generation device | |
| Boniardi et al. | Robot localization in floor plans using a room layout edge extraction network | |
| KR101385599B1 (en) | Method and apparatus for interfering montage | |
| WO2018191555A1 (en) | Deep learning system for real time analysis of manufacturing operations | |
| US10853960B2 (en) | Stereo matching method and apparatus | |
| US20140193035A1 (en) | Method and Device for Head Tracking and Computer-Readable Recording Medium | |
| Doulamis | Adaptable deep learning structures for object labeling/tracking under dynamic visual environments | |
| JP2010079375A (en) | Image processor, method, and program | |
| JP7031685B2 (en) | Model learning device, model learning method and computer program | |
| US20120155748A1 (en) | Apparatus and method for processing stereo image | |
| US11580741B2 (en) | Method and apparatus for detecting abnormal objects in video | |
| KR100691855B1 (en) | Apparatus for extracting features from image information | |
| US20150371088A1 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
| KR20210018114A (en) | Cross-domain metric learning system and method | |
| Favorskaya et al. | Image inpainting based on self-organizing maps by using multi-agent implementation | |
| KR101482850B1 (en) | Method and apparatus for hand shape recognition | |
| KR100332639B1 (en) | Moving object detection method using a line matching technique | |
| WO2017170087A1 (en) | Image detection device, image detection method and storage medium storing program | |
| KR102107177B1 (en) | Method and apparatus for detecting scene transition of image | |
| JP2013149146A (en) | Object detection device, object detection method and computer program | |
| JP5643147B2 (en) | Motion vector detection apparatus, motion vector detection method, and motion vector detection program | |
| KR101453713B1 (en) | Object recognition method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |