KR102320005B1 - Image analysis based abnormal object detection system and method - Google Patents
Image analysis based abnormal object detection system and method Download PDFInfo
- Publication number
- KR102320005B1 KR102320005B1 KR1020190155917A KR20190155917A KR102320005B1 KR 102320005 B1 KR102320005 B1 KR 102320005B1 KR 1020190155917 A KR1020190155917 A KR 1020190155917A KR 20190155917 A KR20190155917 A KR 20190155917A KR 102320005 B1 KR102320005 B1 KR 102320005B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning model
- reference learning
- abnormal state
- abnormal
- photographing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0267—Fault communication, e.g. human machine interface [HMI]
- G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 객체의 비정상을 식별하여 검출하는 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 사람이나 사물과 같은 객체를 대상으로 촬영된 영상을 기반으로 해당 객체의 비정상 상태가 검출될 수 있도록 하는 이른바 영상 분석 기반 비정상 객체 검출 시스템 및 방법에 관한 것이다.
이를 위해 본 발명은, 객체를 촬영하기 위한 복수개의 촬영수단과, 상기 객체와 동일군에 속하는 객체의 기준 학습모델이 정의되어 있고, 상기 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하기 위한 객체 분석단말기를 포함하는 것을 특징으로 한다.The present invention relates to a system and method for identifying and detecting an abnormality of an object, and more particularly, a so-called image capable of detecting an abnormal state of an object based on an image captured by an object such as a person or an object. It relates to an analysis-based abnormal object detection system and method.
To this end, the present invention defines a plurality of photographing means for photographing an object, a reference learning model of an object belonging to the same group as the object, and compares the object photographed by the photographing means with the reference learning model to learn the reference It is characterized in that it includes an object analysis terminal for determining and detecting everything except for the model as an abnormal state.
Description
본 발명은 객체의 비정상을 식별하여 검출하는 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 사람이나 사물과 같은 객체를 대상으로 촬영된 영상을 기반으로 해당 객체의 비정상 상태가 검출될 수 있도록 하는 이른바 영상 분석 기반 비정상 객체 검출 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for identifying and detecting an abnormality of an object, and more particularly, a so-called image capable of detecting an abnormal state of an object based on an image captured by an object such as a person or an object. It relates to an analysis-based abnormal object detection system and method.
최근에 스마트폰, CCTV, 블랙박스, 드론, 인공위성, 디지털 카메라 등에서 수집되는 영상 데이터의 양은 기하급수적으로 증가하고 있고, 이에 따른 비정형 영상 데이터를 기반으로 사람이나 사물 등을 인식하여 의미 있는 정보를 추출하고, 내용을 시각적으로 분석 및 활용하기 위한 요구사항이 증대되고 있다.Recently, the amount of image data collected from smartphones, CCTVs, black boxes, drones, satellites, digital cameras, etc. is increasing exponentially. and the requirements for visually analyzing and utilizing the contents are increasing.
또한, 대규모 영상 데이터와 영상 분석기술의 만남은 기존의 영상 자체에 대한 인식의 범위를 뛰어넘어 의미 있는 정보추출과 내용분석 등을 통하여 더욱 발전된 기능을 제공함으로써 새로운 가치를 창출하고, 보다 나아가 미래 변화를 예측하며 능동적으로 대처할 수 있는 좋은 기회를 제공할 의무가 있다.In addition, the meeting of large-scale image data and image analysis technology creates new value by providing more advanced functions through meaningful information extraction and content analysis, beyond the scope of recognition of the existing image itself, and furthermore, changes in the future. We have an obligation to anticipate and provide a good opportunity to respond proactively.
그러나, 종래의 객체 인식 기술은 객체의 속성에 따라 각각의 알고리즘의 인식 성능이 달라지는 점에 착안해서, 다양한 객체 영상 데이터를 클러스터링 한 후 가장 효과적인 알고리즘을 선택적으로 사용하여 인식 성능을 높이는 방법인 다계층 분류(Multiclass Classification) 방식을 주로 사용하고 있어, 객체의 인식 이후의 실질적이고 다양한 활용성에 대한 한계성을 가지고 있다.However, in the conventional object recognition technology, paying attention to the fact that the recognition performance of each algorithm varies according to the properties of the object, a multi-layer method is a method of increasing recognition performance by clustering various object image data and then selectively using the most effective algorithm. Since the classification (Multiclass Classification) method is mainly used, it has limitations in practical and various applications after object recognition.
이에 따라 종래의 객체를 인식하고 분류하는 단순한 환경을 벗어나, 인식된 객체 및 해당 객체의 정상상태를 나타내는 기준 학습모델과의 비교를 통하여 인식된 객체가 비정상 상태인지를 검출하는 새로운 시스템 및 방법으로서의 개발이 요구되고 있는 실정이다.Accordingly, development of a new system and method for detecting whether a recognized object is in an abnormal state through comparison with a recognized object and a reference learning model indicating the normal state of the object, out of the simple environment of recognizing and classifying the conventional object This is being requested.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 종래의 객체를 인식하고 분류하는 단순한 환경을 벗어나, 인식된 객체 및 해당 객체의 정상상태를 나타내는 기준 학습모델과의 비교를 통하여 인식된 객체가 비정상 상태인지를 검출하는 새로운 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention has been devised to solve the problems of the prior art, and is recognized through comparison with a recognized object and a reference learning model indicating the normal state of the object, out of the simple environment of recognizing and classifying the conventional object. An object of the present invention is to provide a new system and method for detecting whether an object is in an abnormal state.
상기 목적을 달성하기 위하여, 본 발명은, 객체를 촬영하기 위한 복수개의 촬영수단과; 상기 객체와 동일군에 속하는 객체의 기준 학습모델이 정의되어 있고, 상기 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하기 위한 객체 분석단말기;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention, a plurality of photographing means for photographing an object; An object for which a reference learning model of an object belonging to the same group as the object is defined, and everything except the object that is photographed by the photographing means and the reference learning model is compared to match the reference learning model as an abnormal state and detected Analysis terminal; characterized in that it includes.
추가적으로, 상기 객체 분석단말기로부터 검출된 비정상 상태를 수신하기 위한 사용자 단말기를 더 포함하고, 상기 사용자 단말기는 검출된 비정상 상태를 통해 비정상 검출 발생 알림을 표시하는 것을 특징으로 한다.Additionally, the apparatus further comprises a user terminal for receiving the abnormal state detected from the object analysis terminal, wherein the user terminal displays an abnormality detection occurrence notification through the detected abnormal state.
또한, 상기 객체 분석단말기는 사용자 단말기가 객체의 검출된 비정상 상태를 나타내는 정보 요청 시, 초기 촬영된 해당 객체와 새로운 촬영에 의한 객체 사이의 비정상 상태를 이미지화 하여 해당 사용자 단말기로 전송하고, 동일군에 속하는 객체의 새로운 촬영에 대응하여 해당 객체의 정의된 기준 학습모델의 변경이 요구되는 경우, 새롭게 촬영된 객체의 영상과 연계하여 정의된 기준 학습모델을 업데이트하는 것을 특징으로 한다.In addition, when the user terminal requests information indicating the detected abnormal state of the object, the object analysis terminal images the abnormal state between the initially photographed object and the object by new photographing, and transmits it to the user terminal, and to the same group When a change of the defined reference learning model of the corresponding object is required in response to a new photographing of the belonging object, it is characterized in that the defined reference learning model is updated in connection with the image of the newly photographed object.
한편으로, 본 발명은, 상기 촬영수단이 객체를 촬영하는 객체 촬영단계와; 상기 객체 분석단말기가 상기 객체와 동일군에 속하는 객체의 정의된 기준 학습모델 및 상기 촬영수단이 촬영하는 객체를 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하는 비정상 상태 검출단계;를 포함하는 것을 특징으로 한다.On the other hand, the present invention, the object photographing step for photographing the object by the photographing means; Abnormal state detection in which the object analysis terminal compares the object and the defined reference learning model of the object belonging to the same group and the object photographed by the photographing means, and determines and detects everything as an abnormal state except for those that match the reference learning model step; characterized in that it includes.
추가적으로, 상기 비정상 상태 검출단계는 정의된 기준 학습모델을 기반으로 객체의 새로운 촬영에 대응하여 검출된 비정상 상태의 발생을 사용자 단말기로 전송하는 것을 특징으로 한다.Additionally, the abnormal state detection step is characterized in that the occurrence of the abnormal state detected in response to a new photographing of an object based on a defined reference learning model is transmitted to the user terminal.
또한, 상기 비정상 상태 검출단계는 정의된 기준 학습모델의 객체가 사람일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이에 대한 정보를 사용자 단말기로 전송하고, 정의된 기준 학습모델의 객체가 부품일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 부품의 마모, 조립 및 외관 중 적어도 어느 하나 이상의 부품의 불량에 대한 정보를 사용자 단말기로 전송하는 것을 특징으로 한다.In addition, in the abnormal state detection step, when the object of the defined reference learning model is a human, information about the difference of at least one of face, body and appearance detected in response to a new photographing of the object is transmitted to the user terminal, When the object of the defined reference learning model is a part, it is characterized in that the information on the defect of at least any one or more parts among the wear, assembly, and appearance of the part detected in response to a new photographing of the corresponding object is transmitted to the user terminal.
이상과 같은 본 발명에 따른 영상 분석 기반 비정상 객체 검출 시스템 및 방법에 있어서, 종래의 객체를 인식하고 분류하는 단순한 환경을 벗어나, 인식된 객체 및 해당 객체의 정상상태를 나타내는 기준 학습모델과의 비교를 통하여 인식된 객체가 비정상 상태인지를 검출하도록 할 수 있다.In the image analysis-based abnormal object detection system and method according to the present invention, as described above, out of the simple environment of recognizing and classifying a conventional object, a comparison with a recognized object and a reference learning model indicating the normal state of the object is performed. Through this, it is possible to detect whether the recognized object is in an abnormal state.
도 1은 본 발명에 따른 영상 분석 기반 비정상 객체 검출 시스템을 개략적으로 도시한 도면
도 2는 본 발명에 따른 영상 분석 기반 비정상 객체 검출 방법을 도시한 순서도
도 3은 본 발명의 다양한 실시예에 영상 분석 기반 비정상 객체 검출 시스템 및 방법에서 객체가 사람인 경우를 설명하는 예시도
도 4는 본 발명의 다양한 실시예에 영상 분석 기반 비정상 객체 검출 시스템 및 방법에서 객체가 부품인 경우를 설명하는 예시도1 is a diagram schematically illustrating an image analysis-based abnormal object detection system according to the present invention;
2 is a flowchart illustrating an image analysis-based abnormal object detection method according to the present invention;
3 is an exemplary diagram illustrating a case in which an object is a human in an image analysis-based abnormal object detection system and method according to various embodiments of the present disclosure;
4 is an exemplary diagram illustrating a case in which an object is a part in an image analysis-based abnormal object detection system and method according to various embodiments of the present disclosure;
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that there is.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in the present specification is only the most preferred embodiment of the present invention, and does not represent all the technical spirit of the present invention, so they can be substituted at the time of the present application It should be understood that various equivalents and modifications may be made.
이하, 도면을 참조로 하여 본 발명에 영상 분석 기반 비정상 객체 검출 시스템 및 방법을 설명하기로 한다.Hereinafter, an image analysis-based abnormal object detection system and method according to the present invention will be described with reference to the drawings.
도 1은 본 발명에 따른 영상 분석 기반 비정상 객체 검출 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating an image analysis-based abnormal object detection system according to the present invention.
본 발명에 따른 영상 분석 기반 비정상 객체 검출 시스템은 기본적으로 복수개의 촬영수단 및 객체 분석단말기를 포함하여 구성된다.The image analysis-based abnormal object detection system according to the present invention is basically configured to include a plurality of photographing means and an object analysis terminal.
보다 구체적으로, 본 발명은 객체를 촬영하기 위한 복수개의 촬영수단과, 상기 객체와 동일군에 속하는 객체의 기준 학습모델이 정의되어 있고, 상기 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하기 위한 객체 분석단말기를 포함하여 이루어진다.More specifically, the present invention defines a plurality of photographing means for photographing an object, a reference learning model of an object belonging to the same group as the object, and compares the object photographed by the photographing means with the reference learning model. It is made by including an object analysis terminal for determining and detecting everything except the one that matches the learning model as an abnormal state.
추가적으로, 상기 객체 분석단말기로부터 검출된 비정상 상태를 수신하기 위한 사용자 단말기를 더 포함하고, 상기 사용자 단말기는 검출된 비정상 상태를 통해 비정상 검출 발생 알림을 표시한다.Additionally, the apparatus further includes a user terminal for receiving the abnormal state detected from the object analysis terminal, wherein the user terminal displays an abnormality detection occurrence notification through the detected abnormal state.
여기서, 상기 촬영수단(예: 광학 측정기, 스마트 글라스 등), 객체 분석단말기 및 사용자 단말기 각각은 온라인 네트워크를 통해 상호 간 접속하여 촬영된 객체의 영상 정보, 정의된 기준 학습모델, 검출된 비정상 상태 정보 및 초기 촬영된 해당 객체와 새로운 촬영에 의한 객체 사이의 비정상 상태를 이미지화 한 정보를 송수신 하기 위한 것으로, 태블릿, 넷북, PDA(personal digital assistant), PMP(portable multimedia player), 스마트폰, 웨어러블 스마트 기기 등의 다양한 통신 수단을 포함하는 것으로 해석되어야 하며, 제조사 서버 및 클라우드 서버에서 제공하는 각종 기능을 실행하기 위한 소프트웨어, 애플리케이션 등을 구비할 수 있다.Here, each of the photographing means (eg, optical measuring device, smart glasses, etc.), the object analysis terminal, and the user terminal are connected to each other through an online network to obtain image information of the photographed object, a defined reference learning model, and detected abnormal state information. And for transmitting and receiving information imagining an abnormal state between the initially photographed object and the object by the new photographing, a tablet, a netbook, a personal digital assistant (PDA), a portable multimedia player (PMP), a smartphone, a wearable smart device It should be interpreted as including various communication means, such as, and may include software, applications, etc. for executing various functions provided by the manufacturer's server and cloud server.
또한, 본 발명에서 언급하는 온라인 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것이다.In addition, the online network referred to in the present invention may be a core network integrated with a wired public network, a wireless mobile communication network, or the portable Internet, and various services existing in the TCP/IP protocol and its upper layers, that is, Hyper Text Transfer (HTTP). Protocol), HTTPS (Hyper Text Transfer Protocol Secure), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), SMTP (Simple Mail Transfer Protocol), etc. , which is not limited to these examples and refers to a comprehensive data communication network capable of transmitting and receiving data in various forms.
여기서, 상기 객체의 기준 학습모델은, 일례로, 객체가 사람일 경우, 사람의 기본이 되는 이목구비에 대해서만 학습을 하여 기준 학습모델이 구성되고, 해당 사람이 착용하고 있는 헤어스타일, 안경, 액세서리 등과 같은 사람의 이목구비에 부가되는 모든 객체에 대해서는 기준 학습모델의 구성에서 제외하여 one class classification의 기초가 되도록 한다. 또한, 객체가 물체 혹은 사물일 경우, 일례로, 해당 물체를 다른 것들과 구별할 수 있을 정도의 특징으로 기준 학습모델이 구성되고, 단순한 색의 차이나 크기의 차이는 기준 학습모델에서 제외된다.Here, the reference learning model of the object is, for example, when the object is a person, the reference learning model is configured by learning only the basic features of the person, and the hairstyle, glasses, accessories, etc. that the person is wearing All objects added to the same person's features are excluded from the configuration of the reference learning model to become the basis of one class classification. In addition, when the object is an object or an object, for example, the reference learning model is configured with features sufficient to distinguish the object from others, and a simple difference in color or size is excluded from the reference learning model.
추가적으로, 상기 객체의 기준 학습모델은, 객체 식별자별 학습 모델이 사용될 수도 있는데. 사람, 자동차, 도로, 신호등, 풀, 나무, 하천 등으로 일반적으로 사람이 하나의 객체로 인식하는 개념적 단어들을 식별자로 지정하여 상기 식별자에 관한 데이터를 기계학습을 기반으로 객체 식별자 학습모델이 구축되고, 만일 대입되는 객체에 신호등이 포함되어 있다면, 신호등이라는 객체가 복수의 객체 식별자 학습모델을 통해 비교 및 분석된 유사도가 확률 값으로 산출될 수도 있다. 여기서 산출된 유사도를 기반으로 하여 객체를 탐색할 수도 있다. 유사도는 객체에 대해 학습모델과의 유사한 정도를 확률 값으로 나타낸 것이며, 신뢰 값 및 의심 값은 미리 설정된 확률 값을 말한다. 따라서, 의심 값과 신뢰 값의 범위가 넓으면 검출된 결과가 불명확으로 판단되는 경우가 많아지고, 신뢰 값으로 설정된 수치가 낮으면 비정상으로 검출되는 경우가 많아질 수도 있다.Additionally, as the reference learning model of the object, a learning model for each object identifier may be used. An object identifier learning model is built based on machine learning by designating conceptual words that humans generally recognize as one object, such as people, cars, roads, traffic lights, grass, trees, and rivers, as identifiers, and using the data about the identifiers based on machine learning. , if the object to be substituted includes a traffic light, the similarity of the object called traffic light compared and analyzed through a plurality of object identifier learning models may be calculated as a probability value. An object may be searched for based on the similarity calculated here. The similarity indicates the degree of similarity to the learning model for an object as a probability value, and the confidence value and doubt value refer to preset probability values. Accordingly, when the range of the suspicious value and the confidence value is wide, the detected result is often determined to be unclear, and when the numerical value set as the confidence value is low, the case of abnormal detection may increase.
또한, 상기 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하는 방식에 대해서는, 일례로, 정의된 기준 학습모델을 기반으로 촬영된 객체와 해당 기준 학습모델과의 비정상을 검출하기 위한 차이의 판단에서는 논리적 기반 방법 또는 확률적 기반 방법이 이용될 수도 있다. In addition, as for the method of comparing the object photographed by the photographing means and the reference learning model, for example, in the determination of the difference for detecting an abnormality between the object photographed based on the defined reference learning model and the reference learning model, A logical based method or a probabilistic based method may be used.
여기서, 논리적 기반 방법은 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여, 우선적으로 논리적 상관관계를 판단한다. 또한, 논리적 상관관계는 미리 입력된 논리적 설정을 기반으로 하며, 미리 입력되는 논리적 설정은 사회의 구성원이 공유하는 당연한 것으로 여기는 진리 혹은 공리라고 표현하는 특징이 될 수 있다. 그리고, 촬영수단이 촬영하는 객체 영상 외의 다른 정보를 미리 가지고 있거나 다른 수단으로 기타 정보를 얻으면 상기 기타 정보를 포함하여 논리적 상관관계에 따라 비정상을 검출하기 위한 차이가 판단될 수도 있다.Here, the logical-based method compares the object photographed by the photographing means and the reference learning model, and preferentially determines the logical correlation. In addition, the logical correlation is based on a logical setting input in advance, and the logical setting input in advance may be a characteristic expressed as a truth or axiom shared by members of society for granted. In addition, if the photographing means has other information other than the object image to be photographed in advance or other information is obtained by other means, a difference for detecting abnormality may be determined according to a logical correlation including the other information.
또한, 상기 확률적 기반 방법은 논리적 기반 방법에서의 기준 학습모델을 이용하여 객체 또는 객체의 행위를 인식하는 방법이 포함될 수도 있고, 인식된 객체의 행위에 대해 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 비정상을 검출하기 위한 차이의 결과값을 산출하되, 결과값은 확률로 나타나며, 비정상을 검출하기 위한 차이의 결과값이 신뢰 값 이상일 때 비정상 상태라고 판단하는 방법이 더 포함될 수도 있다. 그리고, 결과값이 의심 값 이상 신뢰 값 이하일때는 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 비정상을 검출하기 위한 차이의 결과가 불명확하다고 판별될 수도 있다. 따라서, 의심 값과 신뢰 값의 범위가 넓으면 불명확한 상황으로 판별되는 경우가 많아지고, 신뢰 값으로 설정된 수치가 낮으면 이상 상황으로 판별되는 경우가 많아질 수도 있다.In addition, the probabilistic-based method may include a method of recognizing an object or an action of an object using a reference learning model in a logical-based method, an object and a reference learning model photographed by a photographing means for the recognized action of the object The method may further include a method of calculating a difference result value for detecting anomaly by comparing , but the result value is expressed as a probability, and judging an abnormal state when the result value of the difference for detecting anomaly is greater than or equal to a confidence value. In addition, when the result value is equal to or greater than the suspicious value and less than or equal to the confidence value, it may be determined that the result of the difference for detecting abnormality by comparing the object photographed by the photographing means with the reference learning model is unclear. Accordingly, if the range of the suspicious value and the confidence value is wide, the case is determined as an ambiguous situation, and if the numerical value set as the confidence value is low, the case is determined as an abnormal situation may increase.
추가적으로, 상기 객체 분석단말기는 사용자 단말기가 객체의 검출된 비정상 상태를 나타내는 정보 요청 시, 초기 촬영된 해당 객체와 새로운 촬영에 의한 객체 사이의 비정상 상태를 이미지화 하여 해당 사용자 단말기로 전송한다.Additionally, when the user terminal requests information indicating the detected abnormal state of the object, the object analysis terminal images the abnormal state between the initially photographed object and the object by new photographing and transmits the image to the corresponding user terminal.
일례로, 사용자가 사용자 단말기를 통해 객체의 비정상 상태가 발생된 상황인 것을 인지하고는 있으나, 어떤 이유로 비정상 상태가 발생되었는지 추가적인 정보를 더 얻고 싶은 경우, 사용자 단말기를 통해 해당 객체와 새로운 촬영에 의한 객체 사이의 비정상 상태를 나타내는 이미지화 된 정보를 객체 분석단말기에 요청하여, 객체 분석단말기가 보내주는 이미지화 된 정보를 통해 사용자는 새로운 촬영에 의한 객체의 어느 부분 또는 어떤 이유로 비정상 상태인지를 파악할 수 있다. 더욱 구체적으로, 객체가 사람일 경우, 해당 객체의 새로운 촬영에 대응하여 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이에 대한 정보를 사용자 단말기로 전송할 수도 있고, 객체가 부품일 경우, 해당 객체의 새로운 촬영에 대응하여 검출된 부품의 마모, 조립 및 외관 중 적어도 어느 하나 이상의 부품의 불량에 대한 정보를 사용자 단말기로 전송할 수도 있다.For example, if the user recognizes that the abnormal state of the object has occurred through the user terminal, but wants to obtain additional information about the occurrence of the abnormal state for some reason, By requesting the imaged information indicating the abnormal state between the objects to the object analysis terminal, the user can determine which part of the object by new shooting or for what reason the imaged information is sent by the object analysis terminal. More specifically, when the object is a person, information on at least any one or more differences among face, body, and appearance detected in response to a new photographing of the object may be transmitted to the user terminal, and when the object is a part, the corresponding object It is also possible to transmit information about the defect of at least one of the worn parts, the assembly, and the appearance of the detected parts in response to a new photographing of the user terminal to the user terminal.
또한, 상기 객체 분석단말기는 동일군에 속하는 객체의 새로운 촬영에 대응하여 해당 객체의 정의된 기준 학습모델의 변경이 요구되는 경우, 새롭게 촬영된 객체의 영상과 연계하여 정의된 기준 학습모델을 업데이트 한다.In addition, the object analysis terminal updates the defined reference learning model in connection with the image of the newly photographed object when a change of the defined reference learning model of the object is required in response to a new photographing of an object belonging to the same group. .
구체적으로, 객체의 정의된 기준 학습모델은 사회의 구성원이 공유하는 당연한 것으로 여기는 진리 혹은 공리라고 표현되는 특징이 될 수 있는데, 일례로, 객체가 물체 혹은 사물인 경우, 해당 객체가 다른 것들과 구별할 수 있을 정도의 특징 자체가 사회의 구성원이 공유하는 당연한 것으로 여기는 진리 혹은 공리의 변화로 인해 변경된다면, 기존에 정의된 기준 학습모델을 가지고는 비정상 상태를 검출하는 정확성은 현저히 낮아지고, 실용적이지 못하게 된다. 그래서, 객체의 정의된 기준 학습모델의 변경이 요구되는 경우, 해당 기준 학습모델과 상관관계가 있는 새롭게 촬영된 객체의 영상과 연계하여 기준 학습모델을 업데이트 한다.Specifically, the defined standard learning model of an object can be a characteristic expressed as a truth or axiom shared by members of society for granted. For example, when an object is an object or a thing, the object is distinguished from others If the characteristics themselves are changed due to a change in truth or axiom shared by members of society for granted, the accuracy of detecting abnormal states with the previously defined standard learning model is significantly lowered, and it is not practical. can't Therefore, when a change of the defined reference learning model of the object is required, the reference learning model is updated in connection with the image of the newly captured object that is correlated with the reference learning model.
여기서, 새롭게 촬영된 객체의 영상과 연계하여 기준 학습모델은 업데이트한다는 것은, 딥러닝 및 머신러닝 방식을 이용하여 업데이트 될 수도 있다.Here, updating the reference learning model in connection with the image of the newly captured object may be updated using deep learning and machine learning methods.
일례로, 딥러닝 방식의 경우, 컨벌루션 뉴럴 네트워크(CNN)와 같은 딥러닝 모델이 새롭게 촬영된 객체의 영상과 기존의 기준 학습모델을 연계하기 위한 상관관계를 자동으로 학습하게 되는데, CNN에서는 대량의 객체 훈련용 이미지를 분석하여 사람, 사물 등의 객체를 구분하기 위한 특징 값을 학습할 수 있으며, 그 일례로서, 일반적으로 하나의 상태 즉, 사람을 예로 들 경우, 안경을 쓴 사람과 안경을 쓰지 않은 사람을 구분하는 경우, 또는 남성과 여성을 구분하는 경우 등과 같이 2가지 이상의 그룹을 분류해야 하는 경우에 일반적인 딥러닝 분류(classification)에서는 안경을 쓰지 않은 사람의 사진과 안경을 쓴 사람의 사진을 각기 따로 학습이 될 수도 있다. 그러나, one class classification 에서는 안경을 쓰지 않은 사람만 학습을 시켜 모델을 만든 후, 검사 대상의 사진에 안경을 쓰지 않은 사람과 다른 사람이 나타나면 그 사람은 안경을 쓴 것이던, 선글라스를 쓴 것이던, 작업용 보안경을 쓴 것이던, 그것은 안경을 쓴 사람으로 간주될 수 있다.For example, in the case of deep learning, a deep learning model such as a convolutional neural network (CNN) automatically learns a correlation for linking an image of a newly captured object with an existing reference learning model. By analyzing the image for object training, it is possible to learn a feature value for distinguishing objects such as people and things. In general deep learning classification, when it is necessary to classify two or more groups, such as when classifying people without glasses, or when classifying men and women, pictures of people without glasses and pictures of people with glasses Each can be taught separately. However, in one class classification, only people who do not wear glasses are trained to make a model, and if a person who is different from a person who does not wear glasses appears in the photo of the test subject, that person is wearing glasses or wearing sunglasses, Whether wearing work safety glasses, it can be considered a person wearing glasses.
또한, 딥러닝을 사용하여 학습된 특징 값을 기반으로 새롭게 촬영된 객체의 영상과 기존의 기준 학습모델을 연계하는 방식으로는, 대량의 데이터 세트를 모아 특징 값을 학습 및 연계시켜 기준 학습모델을 업데이트하거나, 사전 훈련된 딥러닝 모델을 사용하여 기준 학습모델의 업데이트가 적용되도록 하는 것을 예로 들 수도 있다.In addition, as a method of linking an image of a newly photographed object and an existing reference learning model based on the feature values learned using deep learning, a reference learning model is developed by collecting a large amount of data sets and learning and linking the feature values. For example, updating or using a pre-trained deep learning model to apply the update of the reference learning model.
추가적으로, 머신러닝 방식의 경우, 사전에 제공되는 알고리즘을 통해 객체가 어떠한 특징 값을 가지고 있는지 찾아 벡터로 변환 처리하도록 하여 특징 값을 추출하게 되며, 이를 위해 클러스터링(군집화), 클래시피케이션(분류) 등의 분석 방법을 활용할 수 있다.Additionally, in the case of machine learning, the feature values are extracted by finding out which feature values the object has through an algorithm provided in advance and converting them into vectors. analysis methods such as
도 2는 본 발명에 따른 영상 분석 기반 비정상 객체 검출 방법을 도시한 순서도이다.2 is a flowchart illustrating an image analysis-based abnormal object detection method according to the present invention.
본 발명에 따른 영상 분석 기반 비정상 객체 검출 방법은 기본적으로 객체 촬영단계, 비정상 상태 검출단계를 포함하여 구성된다.The image analysis-based abnormal object detection method according to the present invention basically includes an object photographing step and an abnormal state detection step.
보다 구체적으로, 본 발명은 상기 촬영수단이 객체를 촬영하는 객체 촬영단계와, 상기 객체 분석단말기가 상기 객체와 동일군에 속하는 객체의 정의된 기준 학습모델 및 상기 촬영수단이 촬영하는 객체를 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하는 비정상 상태 검출단계를 포함하여 이루어진다.More specifically, the present invention compares the object photographing step in which the photographing means captures the object, and the object analysis terminal compares the object and the defined reference learning model of the object belonging to the same group and the object photographed by the photographing means. It includes an abnormal state detection step of judging and detecting everything as an abnormal state except those that match the reference learning model.
위에서 언급된 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하는 것은 일례로, 객체와 동일군에 속하는 객체의 정의된 기준 학습모델 및 상기 촬영수단이 촬영하는 객체 간을 비교 분석하여 비정상 상태를 검출하는 것으로, 우선적으로 해당 객체 간의 특징 선택을 통하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출할 수도 있으며, 여기서, 특징 선택은 객체의 비정상 상태 검출 정확도를 향상시키기 위해 사용되며, 이에 따라 객체의 비정상 상태 검출 목적과 가장 밀접하게 연관되어 있는 특징만을 사용하게 됨으로써 비교할 객체 데이터량을 감소시켜 영상 분석 처리 속도 또한 빨라지도록 하며, 이러한 특징 선택 방식으로는 다음과 같은 것들이 있다.Determining and detecting everything except for the above-mentioned reference learning model as an abnormal state is, for example, comparing and analyzing the object and the defined reference learning model of the object belonging to the same group and the object photographed by the photographing means. As for detecting an abnormal state, it is possible to determine and detect everything as an abnormal state except that which matches the reference learning model through feature selection between the corresponding objects. Therefore, by using only the features most closely related to the object's abnormal state detection purpose, the amount of object data to be compared is reduced and the image analysis processing speed is also increased. have.
1. 필터 특징 선택 방식1. How to select filter features
- 객체에 적용하기 이전 특징들을 걸러내는 전처리 과정으로, 통계적인 계산에 의해 각 특징들을 랭킹화 한 뒤 랭킹에 따라 특징 데이터 세트에 그대로 두거나 제거할 수도 있음- This is a preprocessing process that filters out features before applying them to an object. After ranking each feature by statistical calculation, it can be left or removed from the feature data set according to the ranking.
2. 랩퍼(Wrapper) 특징 선택 방식2. How to select wrapper features
- 가장 이상적인 특징 조합을 찾는 방식으로, 특징을 다르게 조합하여 객체의 특징 선택을 진행할 수도 있음- In a way to find the most ideal combination of features, it is also possible to select features of an object by combining features differently.
- 최종적으로 정확도가 가장 높은 객체를 선택한 뒤 해당 객체가 사용한 특성 조합을 확인하면 가장 높은 정확도를 보이는 특성들의 조합을 얻을 수도 있음- If you finally select the object with the highest accuracy and check the property combination used by the object, you can get the combination of properties with the highest accuracy.
상술된 바와 같은 특징 선택 과정 이후로는, 추가적으로 그 선택된 특성으로부터 특징 값을 분류하는 과정이 진행될 수도 있으며, 특징 값 분류를 위해서는 주로 다음과 같이 상기에 설명된 딥러닝 및 머신러닝 방식이 채택될 수도 있다.After the feature selection process as described above, a process of additionally classifying a feature value from the selected feature may proceed, and the deep learning and machine learning methods described above may be mainly adopted for feature value classification as follows. have.
또한, 상기 비정상 상태 검출단계는 정의된 기준 학습모델을 기반으로 객체의 새로운 촬영에 대응하여 검출된 비정상 상태의 발생을 사용자 단말기로 전송하는 것을 수행하게 된다.In addition, in the abnormal state detection step, the occurrence of the abnormal state detected in response to a new photographing of an object based on the defined reference learning model is transmitted to the user terminal.
더욱 구체적으로, 상기 비정상 상태 검출단계는 정의된 기준 학습모델의 객체가 사람일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이에 대한 정보를 사용자 단말기로 전송하고, 정의된 기준 학습모델의 객체가 부품일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 부품의 마모, 조립 및 외관 중 적어도 어느 하나 이상의 부품의 불량에 대한 정보를 사용자 단말기로 전송하는 것을 수행하게 된다.More specifically, in the detecting of the abnormal state, when the object of the defined reference learning model is a human, information on the difference of at least one of face, body, and appearance detected in response to a new photographing of the object is transmitted to the user terminal. And, when the object of the defined reference learning model is a part, the information on the defect of at least one of the wear, assembly, and appearance of the parts detected in response to the new shooting of the object is transmitted to the user terminal. do.
도 3은 본 발명의 다양한 실시예에 영상 분석 기반 비정상 객체 검출 시스템 및 방법에서 객체가 사람인 경우를 설명하는 예시도이다.3 is an exemplary diagram illustrating a case in which an object is a human in an image analysis-based abnormal object detection system and method according to various embodiments of the present disclosure.
도 3을 참조로 하면, 객체가 사람인 경우, 촬영수단을 통해 촬영된 해당 객체와 정의된 기준 학습모델을 서로 비교하고, 해당 객체가 정의된 기준 학습모델 간의 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이가 없는 경우, 차이가 없다는 정보를 사용자 단말기로 전송하거나, 해당 객체가 정의된 기준 학습모델 간의 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이가 있는 경우, 차이가 있다는 정보를 사용자 단말기로 전송하고, 사용자 단말기가 차이에 대한 구체적인 정보를 요청하는 경우에는 차이에 대한 구체적인 정보를 이미지화 된 정보로 구성하여 사용자에게 안내한다.Referring to FIG. 3 , when the object is a person, the corresponding object photographed through the photographing means and the defined reference learning model are compared with each other, and at least any of the detected face, body and appearance between the reference learning model in which the object is defined When there is no one or more differences, information indicating that there is no difference is transmitted to the user terminal, or when there is at least one difference among the detected face, body, and appearance between the reference learning models in which the corresponding object is defined, information that there is a difference is transmitted to the user. It is transmitted to the terminal, and when the user terminal requests specific information about the difference, the specific information about the difference is composed of imaged information and guided to the user.
도 4는 본 발명의 다양한 실시예에 영상 분석 기반 비정상 객체 검출 시스템 및 방법에서 객체가 부품인 경우를 설명하는 예시도이다.4 is an exemplary diagram illustrating a case in which an object is a part in an image analysis-based abnormal object detection system and method according to various embodiments of the present disclosure.
도 4를 참조로 하면, 객체가 부품인 경우, 촬영수단을 통해 촬영된 해당 객체와 정의된 기준 학습모델을 서로 비교하고, 해당 객체가 정의된 기준 학습모델 간의 검출된 부품의 마모, 조립 및 외관 중 적어도 어느 하나 이상의 부품의 불량에 대한 발생 정보를 사용자 단말기로 전송하고, 사용자 단말기가 불량에 대한 구체적인 정보를 요청하는 경우에는 불량에 대한 구체적인 정보를 이미지화 된 정보로 구성하여 사용자에게 안내한다.Referring to FIG. 4 , when the object is a part, the corresponding object photographed through the photographing means and the defined reference learning model are compared with each other, and the wear, assembly and appearance of the parts detected between the reference learning model in which the object is defined. of at least one component is transmitted to the user terminal, and when the user terminal requests specific information about the defect, detailed information about the defect is composed of imaged information and guided to the user.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.In the above description of the present invention with reference to the accompanying drawings, a specific shape and direction have been mainly described, but the present invention is capable of various modifications and changes by those of ordinary skill in the art to which the invention pertains. Modifications and variations should be construed as being included in the scope of the present invention.
Claims (8)
상기 객체와 동일군에 속하는 객체의 기준 학습모델이 정의되어 있고, 상기 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하기 위한 객체 분석단말기;를 포함하되,
상기 객체의 기준 학습모델은,
객체가 사람일 경우, 사람의 기본이 되는 이목구비에 대해서만 학습을 하여 기준 학습모델이 구성되고, 해당 사람이 착용하고 있는 헤어스타일, 안경 및 액세서리 중 적어도 어느 하나 이상과 같이 동일한 사람의 이목구비에 부가되는 모든 객체에 대해서는 기준 학습모델의 구성에서 제외하여 one class classification의 기초가 되도록 하고, 객체가 물체일 경우, 단순한 색의 차이나 크기의 차이는 기준 학습모델에서 제외하여 해당 물체를 다른 것들과 구별하도록 구성되며,
상기 비정상 상태 판단은 논리적 기반 방법 또는 확률적 기반 방법으로 판단하되,
상기 논리적 기반 방법은,
촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여, 우선적으로 미리 입력된 논리적 설정을 기반으로 하는 논리적 상관관계를 판단하고,
상기 논리적 설정은 사회의 구성원이 공유하는 당연한 것으로 여기는 진리인 것으로 하고,
상기 확률적 기반 방법은 논리적 기반 방법에서의 기준 학습모델을 이용하여 객체 또는 객체의 행위를 인식하는 방법이 포함되고,
인식된 객체의 행위에 대해 촬영수단이 촬영하는 객체 및 기준 학습모델을 비교하여 비정상을 검출하기 위한 차이의 결과값을 산출하되, 결과값은 확률로 나타나며, 비정상을 검출하기 위한 차이의 결과값이 신뢰 값 이상일 때 비정상 상태라고 판단하는 방법이 더 포함되고,
상기 객체 분석단말기는 동일군에 속하는 객체의 새로운 촬영에 대응하여 해당 객체의 정의된 기준 학습모델의 변경이 요구되는 경우, 새롭게 촬영된 객체의 영상과 연계하여 정의된 기준 학습모델을 업데이트 하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 시스템.
a plurality of photographing means for photographing an object;
An object for which a reference learning model of an object belonging to the same group as the object is defined, and everything except the object that is photographed by the photographing means and the reference learning model is compared to match the reference learning model as an abnormal state and detected analysis terminal; including,
The reference learning model of the object is,
When the object is a person, the reference learning model is constructed by learning only the basic features of the person, and added to the features of the same person, such as at least any one or more of the hairstyle, glasses, and accessories worn by the person All objects are excluded from the configuration of the reference learning model to become the basis of one class classification, and when the object is an object, the simple difference in color or size is excluded from the reference learning model and configured to distinguish the object from others becomes,
The abnormal state determination is determined by a logical-based method or a probabilistic-based method,
The logical-based method is
By comparing the object and the reference learning model photographed by the photographing means, first determine the logical correlation based on the logical setting input in advance,
Let the above logical setting be a truth shared by members of society for granted,
The probabilistic-based method includes a method of recognizing an object or an action of an object using a reference learning model in a logical-based method,
For the behavior of the recognized object, the result value of the difference for detecting abnormality is calculated by comparing the object photographed by the photographing means and the reference learning model. A method of determining an abnormal state when it is greater than or equal to the confidence value is further included;
The object analysis terminal updates the defined reference learning model in connection with the image of the newly photographed object when a change of the defined reference learning model of the corresponding object is required in response to a new photographing of an object belonging to the same group An image analysis-based abnormal object detection system with
상기 객체 분석단말기로부터 검출된 비정상 상태를 수신하기 위한 사용자 단말기를 더 포함하고,
상기 사용자 단말기는 검출된 비정상 상태를 통해 비정상 검출 발생 알림을 표시하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 시스템.
The method according to claim 1,
Further comprising a user terminal for receiving the abnormal state detected from the object analysis terminal,
The image analysis-based abnormal object detection system, characterized in that the user terminal displays an abnormal detection occurrence notification through the detected abnormal state.
상기 객체 분석단말기는 사용자 단말기가 객체의 검출된 비정상 상태를 나타내는 정보 요청 시, 초기 촬영된 해당 객체와 새로운 촬영에 의한 객체 사이의 비정상 상태를 이미지화 하여 해당 사용자 단말기로 전송하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 시스템.
3. The method according to claim 2,
The object analysis terminal, when the user terminal requests information indicating the detected abnormal state of the object, image analysis characterized in that the image of the abnormal state between the initially photographed corresponding object and the object by the new photographing is transmitted to the corresponding user terminal based anomaly detection system.
상기 촬영수단이 객체를 촬영하는 객체 촬영단계와;
상기 객체 분석단말기가 상기 객체와 동일군에 속하는 객체의 정의된 기준 학습모델 및 상기 촬영수단이 촬영하는 객체를 비교하여 기준 학습모델과 일치하는 것을 제외한 모든 것을 비정상 상태로 판단하여 검출하는 비정상 상태 검출단계;를 포함하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 방법.
In the method for detecting an abnormal object using the system according to any one of claims 1 to 3,
an object photographing step of photographing the object by the photographing means;
Abnormal state detection in which the object analysis terminal compares the object and the defined reference learning model of the object belonging to the same group with the object photographed by the photographing means, and determines and detects everything as an abnormal state except for matching the reference learning model Image analysis-based abnormal object detection method comprising;
상기 비정상 상태 검출단계는 정의된 기준 학습모델을 기반으로 객체의 새로운 촬영에 대응하여 검출된 비정상 상태의 발생을 사용자 단말기로 전송하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 방법.
6. The method of claim 5,
The abnormal state detection step is an image analysis-based abnormal object detection method, characterized in that based on a defined reference learning model, the occurrence of an abnormal state detected in response to a new photographing of the object is transmitted to the user terminal.
상기 비정상 상태 검출단계는 정의된 기준 학습모델의 객체가 사람일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 얼굴, 신체 및 외관 중 적어도 어느 하나 이상의 차이에 대한 정보를 사용자 단말기로 전송하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 방법.
6. The method of claim 5,
The abnormal state detection step is characterized in that when the object of the defined reference learning model is a person, information on the difference of at least one of face, body and appearance detected in response to a new photographing of the object is transmitted to the user terminal. An image analysis-based abnormal object detection method.
상기 비정상 상태 검출단계는 정의된 기준 학습모델의 객체가 부품일 경우 해당 객체의 새로운 촬영에 대응하여 검출된 부품의 마모, 조립 및 외관 중 적어도 어느 하나 이상의 부품의 불량에 대한 정보를 사용자 단말기로 전송하는 것을 특징으로 하는 영상 분석 기반 비정상 객체 검출 방법.
6. The method of claim 5,
In the abnormal state detection step, when the object of the defined reference learning model is a part, information on the defect of at least one of the wear, assembly and appearance of the part detected in response to a new photographing of the corresponding object is transmitted to the user terminal. Image analysis-based abnormal object detection method, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155917A KR102320005B1 (en) | 2019-11-28 | 2019-11-28 | Image analysis based abnormal object detection system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155917A KR102320005B1 (en) | 2019-11-28 | 2019-11-28 | Image analysis based abnormal object detection system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210066541A KR20210066541A (en) | 2021-06-07 |
| KR102320005B1 true KR102320005B1 (en) | 2021-10-29 |
Family
ID=76374362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190155917A KR102320005B1 (en) | 2019-11-28 | 2019-11-28 | Image analysis based abnormal object detection system and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102320005B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102446135B1 (en) * | 2021-11-04 | 2022-09-22 | 주식회사 휴먼텍소프트 | Online network-based test supervision platform system |
| WO2023113196A1 (en) * | 2021-12-16 | 2023-06-22 | 삼성전자 주식회사 | Device and method for providing intelligent image analysis method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018116325A (en) * | 2017-01-16 | 2018-07-26 | 沖電気工業株式会社 | Abnormality detection system, abnormality detection apparatus, abnormality detection method and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100861803B1 (en) * | 2006-06-14 | 2008-10-09 | 주식회사 사람과사람들 | Apparatus and method for face recognition using machine learning |
| KR200470685Y1 (en) | 2011-12-01 | 2014-01-07 | 서울메트로 | a Gate Control System Used by Image Object Identification |
| KR20190002894A (en) | 2017-06-30 | 2019-01-09 | 주식회사 코젠바이오텍 | Detection set for mosquito-borne virus using multiplex real-time pcr and detection method thereof |
| KR20190061660A (en) * | 2017-11-28 | 2019-06-05 | 전자부품연구원 | Device and method of product inspection based on foreground image |
-
2019
- 2019-11-28 KR KR1020190155917A patent/KR102320005B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018116325A (en) * | 2017-01-16 | 2018-07-26 | 沖電気工業株式会社 | Abnormality detection system, abnormality detection apparatus, abnormality detection method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210066541A (en) | 2021-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022093550A (en) | Information processing apparatus, information processing method, and program | |
| CN109145766B (en) | Model training method and device, recognition method, electronic device and storage medium | |
| CN111401344B (en) | Face recognition method and device and training method and device of face recognition system | |
| KR101869895B1 (en) | Object recognition server and object recognition system and object recognition method based on deep learning | |
| US11263435B2 (en) | Method for recognizing face from monitoring video data | |
| CN109558810B (en) | Target person identification method based on part segmentation and fusion | |
| CN112949710B (en) | Image clustering method and device | |
| US20190114470A1 (en) | Method and System for Face Recognition Based on Online Learning | |
| CN112581438B (en) | Slice image recognition method and device, storage medium and electronic equipment | |
| CN110956615B (en) | Image quality evaluation model training method and device, electronic equipment and storage medium | |
| KR102320005B1 (en) | Image analysis based abnormal object detection system and method | |
| CN113591527A (en) | Object track identification method and device, electronic equipment and storage medium | |
| CN108764018A (en) | A kind of multitask vehicle based on convolutional neural networks recognition methods and device again | |
| WO2020195732A1 (en) | Image processing device, image processing method, and recording medium in which program is stored | |
| CN108596110A (en) | Image-recognizing method and device, electronic equipment, storage medium | |
| EP3765995A1 (en) | Systems and methods for inter-camera recognition of individuals and their properties | |
| CN112948612A (en) | Human body cover generation method and device, electronic equipment and storage medium | |
| CN113269010B (en) | Training method and related device for human face living body detection model | |
| KR102230559B1 (en) | Method and Apparatus for Creating Labeling Model with Data Programming | |
| CN115546845B (en) | Multi-view cow face recognition method and device, computer equipment and storage medium | |
| KR102342495B1 (en) | Method and Apparatus for Creating Labeling Model with Data Programming | |
| CN115719428A (en) | Face image clustering method, device, equipment and medium based on classification model | |
| CN112364946B (en) | Training method of image determination model, and method, device and equipment for image determination | |
| CN116189026A (en) | Pedestrian re-recognition method and device and storage medium | |
| JP7337541B2 (en) | Information processing device, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |