KR20230174889A - A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus - Google Patents
A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus Download PDFInfo
- Publication number
- KR20230174889A KR20230174889A KR1020220076065A KR20220076065A KR20230174889A KR 20230174889 A KR20230174889 A KR 20230174889A KR 1020220076065 A KR1020220076065 A KR 1020220076065A KR 20220076065 A KR20220076065 A KR 20220076065A KR 20230174889 A KR20230174889 A KR 20230174889A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- module
- abnormal state
- abnormal
- facility
- Prior art date
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000007689 inspection Methods 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012552 review Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 8
- 230000007257 malfunction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 설비 또는 장치의 비정상 작동 리뷰잉 시스템에 관한 것이다. 설비 또는 장치의 비정상 작동의 리뷰잉 시스템은 장치 또는 설비의 내부 또는 외부의 미리 결정된 감시 영역 또는 감시 대상에 대한 연속적인 영상 이미지를 획득하는 영상 획득 모듈(11); 획득된 영상 이미지로부터 비정상 상태를 탐지하는 이상 상태 탐지 모듈(12); 이상 상태 탐지 모듈(12)에 의하여 탐지된 이미지를 분리하고, 디지털 이미지로 변환시키는 이미지 분리/변환 모듈(13); 변환된 이미지를 분리하여 탐지 정보를 표시하는 이상 상태 표시 모듈(14); 및 표시된 이미지를 리뷰잉을 하여 분석하고, 저장하는 분석/저장 모듈(15)을 포함한다.The present invention relates to a system for reviewing abnormal operation of equipment or equipment. The reviewing system for abnormal operation of a facility or device includes an image acquisition module 11 that acquires continuous video images of a predetermined surveillance area or surveillance object inside or outside the device or facility; An abnormal state detection module 12 that detects an abnormal state from the acquired video image; an image separation/conversion module (13) that separates the image detected by the abnormal state detection module (12) and converts it into a digital image; An abnormal state display module 14 that separates the converted image and displays detection information; and an analysis/storage module 15 that reviews, analyzes and stores the displayed image.
Description
본 발명은 설비 또는 장치의 비정상 작동 리뷰잉 시스템에 관한 것이고, 구체적으로 IP(Internet Protocol) 카메라와 같은 이미지 획득 수단에 의하여 획득된 연속 영상 이미지를 분석하여 설비 또는 장치에서 발생될 수 있는 비정상적인 작동 상태를 리뷰잉을 하는 설비 또는 장치의 비정상 작동 리뷰잉 시스템에 관한 것이다.The present invention relates to a system for reviewing abnormal operation of equipment or devices, and specifically analyzes continuous video images acquired by image acquisition means such as IP (Internet Protocol) cameras to determine abnormal operating conditions that may occur in equipment or devices. It relates to a reviewing system for abnormal operation of equipment or devices that review.
다양한 기계적 또는 전기적 부품으로 이루어진 기계 장치, 검사 장치 또는 이와 유사한 설비는 정해진 방법에 따라 작동될 수 있다. 그리고 이와 같은 장치 또는 설비가 고장이 나는 경우 그에 따른 조치가 취해지고 이후 장치 또는 설비는 정상적으로 작동될 수 있다. 장치 또는 설비의 오류 또는 오작동은 다양한 형태로 나타날 수 있다. 예를 들어 오류 또는 오작동이 간헐적으로 발생하면서 장치 또는 설비가 다시 정상 상태로 복원될 수 있다. 이와 같은 간헐적 또는 비주기적 형태의 오류 또는 오작동은 장치 또는 설비의 작동 상태를 계속적으로 감시하지 않으면 발견되기 어렵다. 그러므로 장치 또는 설비의 지속적인 감시를 위한 수단이 만들어질 필요가 있다. 장치 또는 설비의 작동 상태의 감시를 위한 선행 기술로 특허등록번호 10-1464344는 감시 영상의 정상 상태 학습을 통한 비정상 상태 감지 방법과 이를 적용한 감시 카메라 및 영상 관리 방법에 대하여 개시한다. 특허공개번호 10-2017-0010730는 가스 터빈 엔진과 같은 발전 기계류의 비 파괴적인 시각 검사 방법에 대하여 개시한다. 기계 장치, 검사 장치 또는 이와 유사한 장치 또는 설비에서 간헐적으로 발생되는 비정상 상태는 일반적으로 발견되기 어렵고, 짧은 시간 동안 발생되므로 실질적으로 발생되었는지 여부가 명확하지 않을 수 있다. 그러나 이와 같은 오류가 지속되는 경우 또는 이와 같은 오작동 상태에서 공정이 진행되거나, 검사가 진행되는 경우 불량 제품이 생산되거나, 검사 오류를 발생시키거나 또는 공정 오류를 발생시킬 수 있다. 그러므로 이와 같은 간헐적 또는 주기적인 아닌 형태의 비정상적인 상태가 감시되고 그에 따른 적절한 조치가 취해질 필요가 있다. 그러나 선행 기술은 이와 같은 시스템 및 방법에 대하여 개시하지 않는다.A mechanical device, inspection device, or similar equipment consisting of various mechanical or electrical components may be operated according to a prescribed method. And if such a device or facility breaks down, corresponding measures are taken and the device or facility can operate normally thereafter. Errors or malfunctions of devices or equipment can appear in various forms. For example, errors or malfunctions may occur intermittently before a device or facility can be restored to its normal state. Such intermittent or non-periodic errors or malfunctions are difficult to detect without continuous monitoring of the operating status of the device or facility. Therefore, means need to be created for continuous monitoring of the device or equipment. As a prior art for monitoring the operating state of devices or facilities, Patent Registration No. 10-1464344 discloses a method of detecting an abnormal state through learning the normal state of surveillance video and a surveillance camera and video management method applying the same. Patent Publication No. 10-2017-0010730 discloses a method for non-destructive visual inspection of power generation machinery such as gas turbine engines. Abnormal conditions that occur intermittently in mechanical devices, inspection devices, or similar devices or equipment are generally difficult to detect, and because they occur for a short period of time, it may not be clear whether they have actually occurred. However, if such an error persists, or if the process proceeds or inspection is performed in such a malfunctioning state, defective products may be produced, inspection errors may occur, or process errors may occur. Therefore, such intermittent or non-periodic abnormalities need to be monitored and appropriate measures taken. However, the prior art does not disclose such systems and methods.
본 발명은 선행 기술의 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다.The present invention is intended to solve the problems of the prior art and has the following purposes.
본 발명의 목적은 장치 또는 설비의 작동 부분에 대한 연속적인 영상 이미지를 획득하면서 장치 또는 설비에서 발생되는 다양한 형태의 비정상적인 상태를 탐지하여 관련 이미지를 분리하고, 분리된 관련 이미지의 리뷰잉 및 분석이 가능한 설비 또는 장치의 비정상 작동 리뷰잉 시스템을 제공하는 것이다.The purpose of the present invention is to detect various types of abnormal conditions occurring in the device or facility while acquiring continuous video images of the operating part of the device or facility, to separate related images, and to review and analyze the separated related images. The purpose is to provide a reviewing system for possible abnormal operation of equipment or equipment.
본 발명의 적절한 실시 형태에 따르면, 설비 또는 장치의 비정상 작동의 리뷰잉 시스템은 장치 또는 설비의 내부 또는 외부의 미리 결정된 감시 영역 또는 감시 대상에 대한 연속적인 영상 이미지를 획득하는 영상 획득 모듈; 획득된 영상 이미지로부터 비정상 상태를 탐지하는 이상 상태 탐지 모듈; 이상 상태 탐지 모듈에 의하여 탐지된 이미지를 분리하고, 디지털 이미지로 변환시키는 이미지 분리/변환 모듈; 변환된 이미지에 탐지 정보를 표시하는 이상 상태 표시 모듈; 및 표시된 이미지를 확인하여 분석하고, 저장하는 분석/저장 모듈을 포함한다.According to a preferred embodiment of the present invention, a reviewing system for abnormal operation of a device or device includes an image acquisition module that acquires continuous video images of a predetermined surveillance area or surveillance object inside or outside the device or device; An abnormal state detection module that detects an abnormal state from the acquired video image; an image separation/conversion module that separates the image detected by the abnormal state detection module and converts it into a digital image; An abnormal state display module that displays detection information on the converted image; and an analysis/storage module that checks, analyzes, and stores the displayed image.
본 발명의 다른 적절한 실시 형태에 따르면, 영상 획득 모듈은 IP 카메라를 포함한다.According to another suitable embodiment of the present invention, the image acquisition module includes an IP camera.
본 발명의 또 다른 적절한 실시 형태에 따르면, 분리/표시 모듈에 의하여 분리된 이미지를 외부 컴퓨터로 전송하는 외부 컴퓨터 전송 모듈을 더 포함한다.According to another suitable embodiment of the present invention, it further includes an external computer transmission module that transmits the image separated by the separation/display module to an external computer.
본 발명의 또 다른 적절한 실시 형태에 따르면, 감시 영역은 제품이 투입되는 투입 영역, 제품이 검사되는 검사 영역 또는 제품이 배출되는 배출 영역이 된다.According to another suitable embodiment of the present invention, the monitoring area is an input area where products are introduced, an inspection area where products are inspected, or an discharge area where products are discharged.
본 발명의 또 다른 적절한 실시 형태에 따르면, 검사 대상은 정해진 이동 라인을 따라 이동되는 제품이 된다.According to another suitable embodiment of the present invention, the inspection object is a product that moves along a defined movement line.
본 발명의 또 다른 적절한 실시 형태에 따르면, 비정상 상태는 간헐적으로 또는 비주기적으로 발생되는 오작동 또는 오류 상태가 된다.According to another suitable embodiment of the present invention, the abnormal state is a malfunction or error state that occurs intermittently or aperiodically.
본 발명에 따른 설비 또는 장치의 비정상 작동의 리뷰잉 시스템은 기계 또는 설비의 작동 과정에서 간헐적으로 발생되는 비정상적인 작동 상태의 탐지가 가능하도록 한다. 본 발명에 따른 리뷰잉 시스템은 예를 들어 매우 짧은 시간 동안 또는 순간적으로 비정상적으로 작동된 이후 다시 원래의 작동 상태가 되는 희귀 형태의 비정상 작동 상태의 탐지가 가능하도록 한다. 본 발명에 따른 시스템은 기계 장치 또는 설비, 전기 장치 또는 설비, 검사 장치 또는 설비와 같이 계속적으로 작동 상태가 유지되는 다양한 장치 또는 설비에 적용될 수 있다. 예를 들어 본 발명에 따른 시스템은 엑스레이 검사 장치에 적용되어 검사 투입 과정, 검사 과정 또는 배출 과정에서 발생되는 검사 대상의 유동 오류의 탐지가 가능하도록 한다. 또한 본 발명에 따른 시스템은 기계 장치 또는 설비의 내부에서 발생되는 비정상 상태의 탐지가 가능하도록 한다.The reviewing system for abnormal operation of equipment or equipment according to the present invention enables detection of abnormal operating conditions that occur intermittently during the operation of a machine or equipment. The reviewing system according to the invention makes it possible to detect rare types of abnormal operating conditions, for example where abnormal operation occurs for a very short period of time or momentarily and then returns to the original operating state. The system according to the invention can be applied to various devices or equipment that are kept in continuous operation, such as mechanical devices or equipment, electrical equipment or equipment, inspection equipment or equipment. For example, the system according to the present invention can be applied to an X-ray inspection device to enable detection of flow errors in the inspection object that occur during the inspection input process, inspection process, or discharge process. Additionally, the system according to the present invention enables detection of abnormal conditions occurring inside a mechanical device or facility.
도 1은 본 발명에 따른 설비 또는 장치의 비정상 작동의 리뷰잉 시스템의 실시 예를 도시한 것이다.
도 2는 본 발명에 따른 시스템에 적용되는 IP 카메라 모듈의 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 시스템의 작동 구조의 실시 예를 도시한 것이다.
도 4는 본 발명에 따른 설비 또는 장치의 비정상 작동 리뷰잉 방법의 실시 예를 도시한 것이다.Figure 1 shows an embodiment of a system for reviewing abnormal operation of equipment or equipment according to the present invention.
Figure 2 shows an embodiment of an IP camera module applied to a system according to the present invention.
Figure 3 shows an embodiment of the operating structure of the system according to the present invention.
Figure 4 shows an embodiment of a method for reviewing abnormal operation of equipment or equipment according to the present invention.
아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성 요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다.Below, the present invention will be described with reference to examples shown in the attached drawings, but the examples are for a clear understanding of the present invention and the present invention is not limited thereto. In the description below, components having the same reference numerals in different drawings have similar functions, so unless necessary for understanding the invention, the description will not be repeated, and well-known components will be briefly explained or omitted, but the present invention It should not be understood as being excluded from the embodiments.
도 1은 본 발명에 따른 설비 또는 장치의 비정상 작동의 리뷰잉 시스템의 실시 예를 도시한 것이다.Figure 1 shows an embodiment of a system for reviewing abnormal operation of equipment or equipment according to the present invention.
도 1을 참조하면, 설비 또는 장치의 비정상 작동의 리뷰잉 시스템은 장치 또는 설비의 내부 또는 외부의 미리 결정된 감시 영역 또는 감시 대상에 대한 연속적인 영상 이미지를 획득하는 영상 획득 모듈(11); 획득된 영상 이미지로부터 비정상 상태를 탐지하는 이상 상태 탐지 모듈(12); 이상 상태 탐지 모듈(12)에 의하여 탐지된 이미지를 분리하고, 디지털 이미지로 변환시키는 이미지 분리/변환 모듈(13); 변환된 이미지에 탐지 정보를 표시하는 이상 상태 표시 모듈(14); 및 표시된 이미지를 확인하여 분석하고, 저장하는 분석/저장 모듈(15)을 포함한다.Referring to FIG. 1, the reviewing system for abnormal operation of a facility or device includes an image acquisition module 11 that acquires continuous video images of a predetermined surveillance area or surveillance object inside or outside the device or facility; An abnormal state detection module 12 that detects an abnormal state from the acquired video image; an image separation/conversion module (13) that separates the image detected by the abnormal state detection module (12) and converts it into a digital image; An abnormal state display module 14 that displays detection information on the converted image; and an analysis/storage module 15 that checks, analyzes, and stores the displayed image.
영상 획득 모듈(11)은 미리 결정된 감시 영역에 설치될 수 있고, 감시 영역은 장치 또는 설비의 작동 부분의 일부가 될 수 있다. 예를 들어 장치 또는 설비는 연속적으로 이동되는 다수 개의 검사 대상을 검사하는 엑스레이 검사 장치가 될 수 있다. 그리고 엑스레이 검사 장치에서 검사 대상이 투입되는 투입 영역, 검사 대상이 검사되는 검사 영역 또는 검사 대상이 배출되는 배출 영역이 감시 영역으로 설정될 수 있다. 감시 영역에서 감시 대상이 결정될 수 있고, 감시 대상은 장치 또는 설비의 일부 또는 검사 대상이 될 수 있다. 감시 영역에서 감시 대상이 결정되면, 감시 조건이 설정될 수 있다. 감시 조건은 초점 위치, 감시 경계 영역, 밝기 또는 이와 유사한 이미지 획득 조건을 포함할 수 있다. 감시 영역 및 감시 조건이 결정되면 장치 또는 설비의 연속적인 감시를 위하여 적어도 하나의 영상 획득 모듈(11)이 설치될 수 있다. 영상 획득 모듈(11)은 예를 들어 IP(Internet Protocol) 카메라와 같은 카메라가 될 수 있다. 영상 획득 모듈(11)에 의하여 연속적으로 이미지가 획득될 수 있고, 획득된 이미지로부터 이상 상태 탐지 모듈(12)에 의하여 이상 상태가 탐지될 수 있다. 이상 상태 탐지 모듈(12)은 영상 획득 모듈(11)에 의하여 획득된 이미지로부터 이상 상태의 발생을 탐지하는 기능을 가질 수 있다. 예를 들어 이상 상태 탐지 모듈(12)은 기준 이미지를 포함할 수 있고, 기준 이미지를 영상획득 모듈(11)에 의하여 획득된 이미지와 대비하여 이상 상태 또는 비정상 상태의 발생 여부를 판단하는 기능을 가질 수 있다. 또는 이상 상태 탐지 모듈(12)은 획득된 영상 이미지로부터 비정상 상태에 해당하는 부분을 탐지하는 기능을 가질 수 있다. 이상 상태 탐지 모듈(12)은 실시간으로 획득된 이미지로부터 비정상 상태에 해당되는 부분을 탐지할 수 있고, 다양한 방법으로 비정상 상태에 해당하는 부분을 결정할 수 있다. 예를 들어 이상 상태의 탐지는 소프트 프로그램에 의하여 진행될 수 있고, 인공지능 학습 알고리즘 방식이 비정상 상태의 탐지에 적용될 수 있다. 이상 상태 탐지 모듈(12)에 의하여 이상 상태에 있는 것으로 판단되면 이미지 분리/변환 모듈(13)에 의하여 해당 부분의 이미지가 분리될 수 있고, 분리된 이미지가 디지털 이미지로 변환될 수 있다. 이미지의 분리는 캡쳐 방식이 되거나, 표지 방식이 될 수 있다. 캡처 방식에 의하여 이상 상태가 발생되면 해당 이미지가 캡처되고, 캡처 이미지에 대하여 이상 상태 발생 위치를 기준으로 경계 영역이 형성될 수 있다. 그리고 경계 영역의 외부가 음영 처리가 되어 분리 이미지가 만들질 수 잇다. 표지 방식에 의하여 이상 상태가 발생된 위치가 다양한 방법으로 표지가 될 수 있고, 표지가 된 부분이 변환되어 처리될 수 있다. 이미지의 분리는 다양한 방법으로 이루어질 수 있고 이에 의하여 본 발명은 제한되지 않는다. 디지털 이미지로 변환된 분리된 이미지는 이상 상태 표시 모듈(14)에 의하여 감시 정보와 결합될 수 있다. 감시 정보는 이상 상태의 종류, 발생 시각, 발생 위치 또는 이와 유사한 정보를 포함할 수 있다. 분리된 이미지에 대한 감시 정보의 표시는 다양한 방법으로 이루어질 수 있고, 이에 의하여 본 발명은 제한되지 않는다. 이와 같은 방법으로 분리 이미지에 이상 상태 관련 정보 또는 감시 정보가 표시되면 분석/저장 모듈(15)로 전송될 수 있고, 분석/저장 모듈(15)은 예를 들어 퍼스널 컴퓨터가 될 수 있다. 이상 상태 표시 모듈(14)은 예를 들어 와이-파이 통신, 블루투스 통신 또는 이와 유사한 근거리 통신 수단을 통하여 분석/저장 모듈(15)과 데이터 통신이 가능하다. 이상 상태 표시 모듈(14)은 표시가 된 분리 이미지를 근거리 무선 통신을 통하여 분석/저장 모듈(15)로 전송할 수 있다. 분석/저장 모듈(15)은 전송된 이미지를 확인 및 분석하여 이상 상태를 확인할 수 있다. 그리고 전송된 이미지, 관련 정보 및 분석 결과가 저장될 수 있다. 분석/저장 모듈(15)은 영상 획득 모듈(11), 이상 상태 탐지 모듈(12), 이미지 분리/변환 모듈(13) 및 이상 상태 표시 모듈(14)과 분리되어 위치할 수 있고, 다양한 종류의 데이터 분석이 가능한 전자기기가 될 수 있고 이에 의하여 본 발명은 제한되지 않는다.The image acquisition module 11 may be installed in a predetermined surveillance area, and the surveillance area may be part of the operating part of the device or installation. For example, the device or facility may be an X-ray inspection device that inspects multiple inspection objects that are continuously moved. In addition, in the X-ray inspection device, an input area where the test object is input, an inspection area where the test object is tested, or an discharge area where the test object is discharged may be set as a surveillance area. A surveillance object can be determined in the surveillance area, and the surveillance object can be a part of a device or facility, or an inspection target. Once the monitoring target is determined in the monitoring area, monitoring conditions can be set. Surveillance conditions may include focus position, surveillance boundary area, brightness, or similar image acquisition conditions. Once the monitoring area and monitoring conditions are determined, at least one image acquisition module 11 may be installed for continuous monitoring of the device or facility. The image acquisition module 11 may be, for example, a camera such as an Internet Protocol (IP) camera. Images can be continuously acquired by the image acquisition module 11, and abnormal states can be detected from the acquired images by the abnormal state detection module 12. The abnormal state detection module 12 may have a function to detect the occurrence of an abnormal state from the image acquired by the image acquisition module 11. For example, the abnormal state detection module 12 may include a reference image, and has the function of determining whether an abnormal state or abnormal state occurs by comparing the reference image with the image acquired by the image acquisition module 11. You can. Alternatively, the abnormal state detection module 12 may have a function of detecting a part corresponding to an abnormal state from an acquired video image. The abnormal state detection module 12 can detect a part corresponding to an abnormal state from an image acquired in real time and determine the part corresponding to an abnormal state using various methods. For example, detection of an abnormal state can be performed by a soft program, and an artificial intelligence learning algorithm method can be applied to detect an abnormal state. If it is determined to be in an abnormal state by the abnormal state detection module 12, the image of the corresponding part may be separated by the image separation/conversion module 13, and the separated image may be converted into a digital image. Separation of images can be either capture-based or label-based. If an abnormal condition occurs by the capture method, the corresponding image is captured, and a boundary area may be formed based on the location of the abnormal condition in the captured image. And the outside of the border area can be shaded to create a separate image. Depending on the marking method, the location where an abnormal condition occurred can be marked in various ways, and the marked portion can be converted and processed. Separation of images can be accomplished in various ways, and the present invention is not limited thereto. The separated image converted into a digital image can be combined with monitoring information by the abnormal state display module 14. Monitoring information may include the type of abnormal condition, time of occurrence, location of occurrence, or similar information. Display of surveillance information on separated images can be achieved in various ways, and the present invention is not limited thereto. In this way, if abnormal state-related information or monitoring information is displayed on the separated image, it can be transmitted to the analysis/storage module 15, and the analysis/storage module 15 can be, for example, a personal computer. The abnormal state display module 14 can communicate data with the analysis/storage module 15 through, for example, Wi-Fi communication, Bluetooth communication, or similar short-distance communication means. The abnormal state display module 14 can transmit the displayed separated image to the analysis/storage module 15 through short-distance wireless communication. The analysis/storage module 15 can check and analyze the transmitted image to check for abnormal conditions. And transmitted images, related information, and analysis results can be stored. The analysis/storage module 15 can be located separately from the image acquisition module 11, the abnormal state detection module 12, the image separation/conversion module 13, and the abnormal state display module 14, and can provide various types of It can be an electronic device capable of data analysis, and the present invention is not limited thereby.
도 2는 본 발명에 따른 시스템에 적용되는 IP 카메라 모듈의 실시 예를 도시한 것이다.Figure 2 shows an embodiment of an IP camera module applied to a system according to the present invention.
도 2를 참조하면, IP 카메라 모듈은 카메라 몸체(21); 카메라 몸체(21)의 앞쪽에 형성된 렌즈 유닛(22); 렌즈 유닛(22)의 둘레를 따라 배치된 다수 개의 조명 소자(23_1 내지 23_N); 및 커버(C)를 포함할 수 있다. 카메라 몸체(21)의 내부에 이미지 생성을 위한 다양한 부품 또는 소자가 배치될 수 있고, 렌즈 유닛(22)을 통하여 유입된 광에 의하여 이미지가 획득될 수 있다. IP 카메라 모듈은 장치 또는 설비의 내부에 배치될 수 있고, 이로 인하여 이미지의 획득에 필요한 밝기가 확보되지 못할 수 있다. 이미지 획득을 위한 적절한 조명 환경의 형성을 위하여 렌즈 유닛(22)의 둘레에 적어도 하나의 조명 소자(23_1 내지 23_N)가 배치될 수 있다. 조명 소자(23_1 내지 23_N)의 발광 수준이 조절될 수 있고, 적절한 조명 환경의 형성을 위하여 조도 센서(24)가 설치될 수 있다. 카메라 몸체(21)의 내부에 제어 수단이 배치될 수 있고, 제어 수단은 조도 센서(24)로부터 획득된 정보에 기초하여 조명 소자(23_1 내지 23_N)의 발광 수준을 조절할 수 있다. 카메라 몸체(21)의 앞쪽 면 또는 다른 적절한 위치에 환경 센서 모듈(25)이 설치될 수 있고, 환경 센서 모듈(25)에 의하여 감시 영역의 온도, 습도 또는 이와 유사한 환경 상태가 측정될 수 있다. 커버(C)에 의하여 카메라 몸체(21)가 보호될 수 있고, IP 카메라 모듈에 근거리 통신 수단이 설치될 수 있다. IP 카메라 모듈은 고정 지그에 결합되어 감시 영역의 감시를 위하여 설치될 수 있다. 고정 지그는 연장 암(27); 연장 암(27)의 한쪽 끝에 형성된 체결 블록(28); 및 연장 암(27)의 다른 끝에 형성된 고정 브래킷(29)으로 이루어질 수 있다. 고정 브래킷(29)은 장치, 설비 또는 구조물에 고정될 수 있는 구조를 가질 수 있고, 연장 암(27)은 IP 카메라 모듈의 초점이 감시 영역에 형성될 수 있도록 연장될 수 있다. 선택적으로 연장 암(27)은 길이 조절이 가능한 구조가 될 수 있다. 체결 블록(28)에 카메라 몸체(21)가 결합될 수 있고, 체결 블록(28)에 예를 들어 플러스 형상의 고정 홀(281)이 형성될 수 있다. 카메라 몸체(21)의 아래쪽에 고정 홀(281)에 삽입되어 고정되는 체결 날개가 형성될 수 있다. 카메라 몸체(21)는 볼트, 나사 또는 핀과 같은 고정 수단(282)에 의하여 체결 블록(28)에 고정될 수 있다. 다양한 원인으로 인하여 시간의 경과에 따라 IP 카메라 모듈의 초점 위치가 변할 수 있다. 이로 인하여 정해진 감시 영역에 대한 이미지가 획득되지 않을 수 있다. 이와 같은 감시 영역의 변화를 탐지하기 위하여 렌즈 유닛(22)의 양쪽에 위치 결정 유닛(26a, 26b)이 설치될 수 있다. 위치 결정 유닛(26a, 26b)은 카메라의 초점이 정해진 위치에 있는지 여부를 감시하는 기능을 가질 수 있다. 위치 결정 유닛(26a, 26b)은 예를 들어 가속도 센서, 자이로 센서 또는 광학 센서가 될 수 있다. 위치 결정 유닛(26a, 26b)의 탐지에 의하여 카메라의 초점이 미리 결정된 범위를 벗어난 것으로 판단되면, 자동으로 초점이 맞추어지거나, 초점 위치의 변화가 관리 모듈로 전송될 수 있다. 카메라 초점의 위치 변화는 다양한 방법으로 탐지될 수 있고 제시된 실시 예에 제한되지 않는다. 또한 고정 지그는 다양한 구조를 가질 수 있고, 예를 들어 카메라 몸체(21)의 경사 조절이 가능한 구조가 될 수 있다. IP 카메라 모듈은 다양한 구조를 가지는 고정 지그에 결합되어 고정될 수 있고 제시된 실시 예에 제한되지 않는다.Referring to Figure 2, the IP camera module includes a camera body 21; A lens unit 22 formed in front of the camera body 21; A plurality of lighting elements (23_1 to 23_N) disposed along the circumference of the lens unit 22; and a cover (C). Various parts or elements for image generation may be placed inside the camera body 21, and images may be acquired by light introduced through the lens unit 22. The IP camera module may be placed inside a device or facility, and as a result, the brightness necessary for image acquisition may not be secured. At least one lighting element 23_1 to 23_N may be disposed around the lens unit 22 to form an appropriate lighting environment for image acquisition. The light emission level of the lighting elements 23_1 to 23_N may be adjusted, and the illuminance sensor 24 may be installed to create an appropriate lighting environment. A control means may be disposed inside the camera body 21, and the control means may adjust the light emission level of the lighting elements 23_1 to 23_N based on information obtained from the illuminance sensor 24. The environmental sensor module 25 may be installed on the front side of the camera body 21 or at another suitable location, and the temperature, humidity, or similar environmental conditions of the surveillance area may be measured by the environmental sensor module 25. The camera body 21 can be protected by the cover C, and a short-distance communication means can be installed in the IP camera module. The IP camera module can be combined with a fixed jig and installed to monitor the surveillance area. The fixing jig includes an extension arm (27); A fastening block (28) formed at one end of the extension arm (27); and a fixing bracket 29 formed at the other end of the extension arm 27. The fixing bracket 29 can have a structure that can be fixed to a device, facility or structure, and the extension arm 27 can be extended so that the focus of the IP camera module can be formed on the surveillance area. Optionally, the extension arm 27 may have an adjustable length structure. The camera body 21 may be coupled to the fastening block 28, and, for example, a plus-shaped fixing hole 281 may be formed in the fastening block 28. A fastening wing that is inserted into and fixed to the fixing hole 281 may be formed at the bottom of the camera body 21. The camera body 21 may be fixed to the fastening block 28 by a fixing means 282 such as a bolt, screw, or pin. The focus position of the IP camera module may change over time due to various reasons. As a result, images for a designated surveillance area may not be obtained. In order to detect such changes in the surveillance area, positioning units 26a and 26b may be installed on both sides of the lens unit 22. The positioning units 26a and 26b may have a function of monitoring whether the camera is focused at a given position. The positioning units 26a, 26b can be, for example, acceleration sensors, gyro sensors or optical sensors. If the focus of the camera is determined to be outside a predetermined range by detection by the positioning units 26a and 26b, the camera may be automatically focused or a change in the focus position may be transmitted to the management module. A change in the position of the camera focus can be detected in a variety of ways and is not limited to the presented embodiment. Additionally, the fixing jig may have various structures, for example, may have a structure capable of adjusting the inclination of the camera body 21. The IP camera module can be fixed by being coupled to a fixing jig having various structures and is not limited to the presented embodiment.
도 3은 본 발명에 따른 시스템의 작동 구조의 실시 예를 도시한 것이다.Figure 3 shows an embodiment of the operating structure of the system according to the present invention.
도 3을 참조하면, IP 카메라(31)에 의하여 감시 영역에 대한 감시 이미지가 획득될 수 있고, 감시 조건이 미리 설정될 수 있다. IP 카메라(31)에 의하여 획득된 이미지가 이미지 리뷰 모듈(32)에 의하여 리뷰가 될 수 있다. 이미지 리뷰 모듈(32)에 의한 리뷰 과정에서 비정상 상태의 이미지가 탐색되면, 해당 이미지가 비정상 이미지 선별 모듈(33)에 의하여 선별될 수 있다. 구체적으로 비정상 상태에 해당하는 이미지에 대하여 비정상 표지가 부여될 수 있다. 비정상 표지가 된 이미지는 데이터 분리/변환 모듈(34)에 의하여 분리되어 디지털 이미지로 변환될 수 있다. 이후 정보 결합 모듈(35)에 의하여 분리된 디지털 이미지에 감시 정보가 결합될 수 있다. 감시 정보는 예를 들어 이미지 획득 시각, 온도, 습도, 이상 상태의 종류, 이미지 획득 위치 또는 이와 유사한 정보를 포함할 수 있다. 이와 같이 정보가 결합된 이미지 데이터가 근거리 통신 수단을 통하여 외부 PC 전송 모듈(36)에 의하여 외부에 설치된 개인용 컴퓨터로 전송될 수 있다. 외부 PC에 분석/저장 모듈(15)이 설치될 수 있고, 분석/저장 모듈(15)에 의하여 전송된 디지털 데이터가 분석되어 저장될 수 있다. 그리고 분석 결과에 따라 장치 또는 설비에 적절한 조치가 취해질 수 있다.Referring to FIG. 3, a surveillance image of the surveillance area can be obtained by the IP camera 31, and surveillance conditions can be set in advance. Images acquired by the IP camera 31 may be reviewed by the image review module 32. If an image in an abnormal state is searched for during the review process by the image review module 32, the image may be selected by the abnormal image selection module 33. Specifically, an abnormal label may be assigned to an image corresponding to an abnormal state. Images marked as abnormal may be separated by the data separation/conversion module 34 and converted into digital images. Afterwards, surveillance information can be combined with the separated digital images by the information combining module 35. Monitoring information may include, for example, image acquisition time, temperature, humidity, type of abnormal condition, image acquisition location, or similar information. Image data with information combined in this way can be transmitted to an externally installed personal computer by the external PC transmission module 36 through short-distance communication means. The analysis/storage module 15 may be installed in an external PC, and digital data transmitted by the analysis/storage module 15 may be analyzed and stored. And depending on the analysis results, appropriate measures can be taken for the device or facility.
도 4는 본 발명에 따른 장치 또는 설비의 비정상 작동 리뷰잉 방법의 실시 예를 도시한 것이다.Figure 4 shows an embodiment of a method for reviewing abnormal operation of a device or facility according to the present invention.
도 4를 참조하면, 장치 또는 설비의 비정상 작동 리뷰잉 방법은 투입, 검사 및 배출 부위의 각각에 적어도 하나의 IP 카메라가 설치되는 단계(P41); 설치된 IP 카메라로부터 연속적으로 그리고 실시간으로 이미지가 획득되어 리뷰가 되는 단계(P42); 이상 상태의 발생 여부가 확인되는 단계(P43); 이상 상태에 대한 이미지가 분리되어 디지털 이미지로 변환되는 단계(P44); 변환된 이미지가 외부 컴퓨터로 무선 통신을 통하여 전송되는 단계(P45); 및 외부 컴퓨터에서 이미지가 확인되어 분석되는 단계(P46)를 포함한다.Referring to FIG. 4, the method of reviewing abnormal operation of a device or facility includes the steps of installing at least one IP camera at each of the input, inspection, and discharge sites (P41); A step in which images are acquired continuously and in real time from installed IP cameras and reviewed (P42); A step in which it is confirmed whether an abnormal condition has occurred (P43); A step in which the image for the abnormal state is separated and converted into a digital image (P44); A step of transmitting the converted image to an external computer through wireless communication (P45); and a step (P46) in which the image is confirmed and analyzed on an external computer.
설비 또는 장치는 다양한 종류의 검사 장치가 될 수 있고, 예를 들어 전자 제품, 배터리, 식품 또는 이와 유사한 제품을 인-라인 방식으로 연속적으로 검사하는 엑스레이 검사 장치가 될 수 있다. 엑스레이 검사 장치는 제품이 연속적으로 이송되어 공급되는 투입 영역; 밀폐된 구조를 가지는 검사 영역; 및 검사가 완료된 제품이 배출되는 배출 영역으로 이루어질 수 있다. 각각의 영역에 적어도 하나의 IP 카메라가 설치될 수 있고(P41), 연속적으로 그리고 실시간으로 감시 이미지가 획득될 수 있다. 각각의 연속 이미지가 리뷰가 될 수 있고(P42), 리뷰 결과에 따라 이상 상태 발생 여부가 판단될 수 있다(P43). 만약 이상 상태가 발생되지 않은 상태라면(N), 이미지 리뷰가 계속하여 진행될 수 있다(P42). 이에 비하여 이상 상태가 발생된 것으로 판단되면(Y), 관련 이미지가 분리될 수 있고, 디지털 이미지로 변환될 수 있다(P44). 이와 함께 위에서 설명된 것처럼, 디지털 이미지에 감시 정보가 결합될 수 있다. 변환된 이미지가 근거리 통신 수단을 통하여 외부 컴퓨터로 전송될 수 있고(P45), 외부 컴퓨터에서 이미지가 리뷰가 되어 이상 상태의 발생 여부가 확인될 수 있다. 또한 이상 상태의 종류 또는 발생 원인이 분석될 수 있다(P46). 그리고 확인 결과 및 분석 결과가 저장될 수 있다(P47).The equipment or device may be various types of inspection devices, for example, an X-ray inspection device that continuously inspects electronic products, batteries, food, or similar products in an in-line manner. The X-ray inspection device includes an input area where products are continuously transferred and supplied; An inspection area having a closed structure; and a discharge area where inspected products are discharged. At least one IP camera can be installed in each area (P41), and surveillance images can be acquired continuously and in real time. Each consecutive image can be reviewed (P42), and whether an abnormal condition has occurred can be determined based on the review results (P43). If no abnormal condition has occurred (N), image review can continue (P42). In comparison, if it is determined that an abnormal state has occurred (Y), the related image can be separated and converted to a digital image (P44). Additionally, surveillance information can be combined with digital images, as described above. The converted image can be transmitted to an external computer through short-distance communication means (P45), and the image can be reviewed on the external computer to determine whether an abnormal condition has occurred. Additionally, the type or cause of an abnormal condition can be analyzed (P46). And confirmation results and analysis results can be saved (P47).
탐색 대상이 되는 이상 상태 또는 비정상 상태는 주로 간헐적으로 또는 비주기적으로 발생될 수 있다. 이상 상태는 다양한 종류의 오류 또는 오작동을 포함하고, 장치 또는 설비 자체에서 발생되거나, 검사 대상에서 발생될 수 있다. 이와 같이 탐색 대상이 되는 비정상 상태는 장치 또는 설비의 작동 과정에서 발생되는 다양한 형태의 오류 또는 오작동을 포함하고 이에 의하여 본 발명은 제한되지 않는다.The abnormal state or abnormal state that is the subject of search may mainly occur intermittently or aperiodically. Abnormal conditions include various types of errors or malfunctions, and may occur in the device or equipment itself, or in the inspection object. Abnormal states to be searched in this way include various types of errors or malfunctions that occur during the operation of devices or facilities, and the present invention is not limited thereby.
위에서 본 발명은 제시된 예를 참조하여 상사하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실기 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다.Although the present invention has been similarly described with reference to the examples presented above, those skilled in the art can make various variations and modifications without departing from the technical spirit of the present invention by referring to the presented practical examples. The present invention is not limited by such variations and modifications, but is limited by the claims appended below.
11: 영상 획득 모듈
12: 이상 상태 탐지 모듈
13: 이미지 분리/변환 모듈
14: 이상 상태 표시 모듈
15: 분석/저장 모듈
36: 외부 컴퓨터 전송 모듈11: Image acquisition module 12: Abnormal state detection module
13: Image separation/conversion module 14: Abnormal state display module
15: analysis/storage module 36: external computer transmission module
Claims (5)
획득된 영상 이미지로부터 비정상 상태를 탐지하는 이상 상태 탐지 모듈(12);
이상 상태 탐지 모듈(12)에 의하여 탐지된 이미지를 분리하고, 디지털 이미지로 변환시키는 이미지 분리/변환 모듈(13);
변환된 이미지에 탐지 정보를 표시하는 이상 상태 표시 모듈(14); 및
표시된 이미지를 확인하여 분석하고, 저장하는 분석/저장 모듈(15)을 포함하는 설비 또는 장치의 비정상 작동의 리뷰잉 시스템.An image acquisition module 11 that acquires continuous video images of a predetermined surveillance area or surveillance object inside or outside a device or facility;
An abnormal state detection module 12 that detects an abnormal state from the acquired video image;
an image separation/conversion module (13) that separates the image detected by the abnormal state detection module (12) and converts it into a digital image;
An abnormal state display module 14 that displays detection information on the converted image; and
A reviewing system for abnormal operation of a facility or device that includes an analysis/storage module (15) that checks, analyzes, and stores displayed images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220076065A KR20230174889A (en) | 2022-06-22 | 2022-06-22 | A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220076065A KR20230174889A (en) | 2022-06-22 | 2022-06-22 | A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230174889A true KR20230174889A (en) | 2023-12-29 |
Family
ID=89334376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220076065A KR20230174889A (en) | 2022-06-22 | 2022-06-22 | A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230174889A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464344B1 (en) | 2014-03-25 | 2014-11-25 | (주)그린아이티코리아 | Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image |
KR20170010730A (en) | 2015-07-20 | 2017-02-01 | 지멘스 에너지, 인코포레이티드 | Single-axis inspection scope with sperical camera and method for internal inspection of power generation machinery |
-
2022
- 2022-06-22 KR KR1020220076065A patent/KR20230174889A/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464344B1 (en) | 2014-03-25 | 2014-11-25 | (주)그린아이티코리아 | Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image |
KR20170010730A (en) | 2015-07-20 | 2017-02-01 | 지멘스 에너지, 인코포레이티드 | Single-axis inspection scope with sperical camera and method for internal inspection of power generation machinery |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017212024B2 (en) | Utilising UAVs for detecting defects in solar panel arrays | |
CN110832718B (en) | Switching or control device system for medium or high voltage and method for operating the same | |
CN116841262A (en) | Intelligent factory production on-line monitoring analysis system based on machine vision | |
KR101683195B1 (en) | Image diagnostic apparatus using multi-camera | |
US11861820B1 (en) | Repetitive video monitoring of industrial equipment by mobile data acquisition units | |
CN111542791B (en) | Facility diagnosis method using facility diagnosis system | |
US20180197311A1 (en) | Visual sensor abnormality cause estimation system | |
EP2804382B1 (en) | Reliability determination of camera fault detection tests | |
KR101804358B1 (en) | Equipment monitoring system using image analysis | |
CN112082781B (en) | Vehicle and fault detection method and fault detection device thereof | |
KR102607512B1 (en) | A System for Detecting Abnormal Condition and a Method for Detecting the Same | |
KR101539734B1 (en) | Automatic tracking system failure in distribution lines | |
KR102516839B1 (en) | System and method for detecting leakage | |
KR20190036263A (en) | Status check system for maintenance of cctv imaging unit and the method thereof | |
KR20170124231A (en) | Automatic tesing method for normal condition of a display device screen and system of the same | |
KR20230174889A (en) | A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus | |
CN111935458A (en) | Control method, device and system of belt conveyor | |
KR102514703B1 (en) | An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same | |
KR102659945B1 (en) | Apparatus and system for detecting partial discharge of gas insulated switchgear | |
US20240013366A1 (en) | System for reviewing an abnormal operating state of an equipment or an apparatus | |
EP4303679A1 (en) | A system for reviewing an abnormal operating state of an equipment or an apparatus | |
KR20230166388A (en) | A System for Reviewing an Abnormal Operating Condition of a Facility or an Apparatus | |
US20210108618A1 (en) | System and method for determining an operating condition of a wind turbine | |
CA3166750A1 (en) | System for reviewing an abnormal operating state of an equipment or an apparatus | |
TW202126996A (en) | Thermal health monitoring sensor |