KR20220054043A - Switchgear safety monitoring system applying matrix image reconstruction - Google Patents

Switchgear safety monitoring system applying matrix image reconstruction Download PDF

Info

Publication number
KR20220054043A
KR20220054043A KR1020200138499A KR20200138499A KR20220054043A KR 20220054043 A KR20220054043 A KR 20220054043A KR 1020200138499 A KR1020200138499 A KR 1020200138499A KR 20200138499 A KR20200138499 A KR 20200138499A KR 20220054043 A KR20220054043 A KR 20220054043A
Authority
KR
South Korea
Prior art keywords
image reconstruction
matrix
matrix image
monitoring system
camera
Prior art date
Application number
KR1020200138499A
Other languages
Korean (ko)
Other versions
KR102424971B9 (en
KR102424971B1 (en
Inventor
정성학
전감표
정성호
정승환
성만기
Original Assignee
(주)와이제이솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)와이제이솔루션 filed Critical (주)와이제이솔루션
Priority to KR1020200138499A priority Critical patent/KR102424971B1/en
Publication of KR20220054043A publication Critical patent/KR20220054043A/en
Application granted granted Critical
Publication of KR102424971B1 publication Critical patent/KR102424971B1/en
Publication of KR102424971B9 publication Critical patent/KR102424971B9/en

Links

Images

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02BBOARDS, SUBSTATIONS OR SWITCHING ARRANGEMENTS FOR THE SUPPLY OR DISTRIBUTION OF ELECTRIC POWER
    • H02B13/00Arrangement of switchgear in which switches are enclosed in, or structurally associated with, a casing, e.g. cubicle
    • H02B13/02Arrangement of switchgear in which switches are enclosed in, or structurally associated with, a casing, e.g. cubicle with metal casing
    • H02B13/025Safety arrangements, e.g. in case of excessive pressure or fire due to electrical defect
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02BBOARDS, SUBSTATIONS OR SWITCHING ARRANGEMENTS FOR THE SUPPLY OR DISTRIBUTION OF ELECTRIC POWER
    • H02B1/00Frameworks, boards, panels, desks, casings; Details of substations or switching arrangements
    • H02B1/24Circuit arrangements for boards or switchyards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to an incoming/distributing board safety monitoring system employing matrix image reconstruction. The present invention provides an incoming/distributing board safety monitoring system (1) employing matrix image reconstruction including an image acquisition device (100) for visualization installed in an incoming/distributing board, and a monitoring program (200) to which a matrix image reconstruction scheme of reconstructing and monitoring a matrix image for an image acquired from the image acquisition device (100) for the visualization is applied, wherein the image acquisition device (100) for the visualization is configured such that a motor (130) is formed at a lower end of a camera (110) or at an upper end of a movement rail (120), the motor (130) and the camera (110) are controlled by a signal control unit (140), the camera (110) stops within left and right error ranges of 0.01 mm by using the motor (130) in order to stop at a right position when the camera (110) moves, and a sensor is installed at each position in which the camera (110) is to be stopped by using a lead sensor, which is a position sensor (150). Accordingly, risk factors such as a contact failure, bolt loosening, degradation caused by disconnection, and an overload of the incoming/distributing board (high-voltage distributing board, low-voltage distributing board, motor control board, panel board, etc.) that is a core component of the power industry are monitored so as to prevent accidents, and a next-generation incoming/distributing board safety monitoring system that employs a matrix image reconstruction scheme is provided so that monitoring and abnormality prediction are performed on blind spots of an incoming/distributing board power unit.

Description

매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템{Switchgear safety monitoring system applying matrix image reconstruction}Switchgear safety monitoring system applying matrix image reconstruction}

본 발명은 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템에 관한 것으로, 보다 구체적으로는, 매트릭스 영상 재구성, 육안으로 식별 불가능한 사각지역 감시영역확대, 복합형 비접촉식 열화감지를 통해 전력산업의 핵심구성인 수배전반(고압배전반, 저압배전반, 전동기제어반, 분전반 등)의 접촉 불량, 볼트풀림, 단락에 의한 열화, 과부하 등 위험요소를 모니터링하여 사고를 방지하기 위한 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템에 관한 것이다. The present invention relates to a switchgear safety monitoring system to which matrix image reconstruction is applied, and more specifically, to a switchgear, a key component of the power industry, through matrix image reconstruction, expansion of monitoring area for blind areas indistinguishable to the naked eye, and complex non-contact deterioration detection. High-voltage switchgear, low-voltage switchgear, motor control panel, distribution board, etc.) It relates to a switchgear safety monitoring system to which a matrix image reconstruction is applied to prevent accidents by monitoring risk factors such as contact failure, bolt loosening, deterioration due to short circuit, and overload.

일반적인 전력계통은 전기를 만드는 발전, 전기를 보내주는 송전, 필요한 전압으로 바꿔주는 변전, 전기를 분배하는 배전, 수용가(공장, 플랜트, 가정) 등에서 전기를 받는 수전으로 구성된다.A general power system consists of power generation that makes electricity, power transmission that sends electricity, substation that converts necessary voltage, power distribution that distributes electricity, and power reception that receives electricity from consumers (factories, plants, homes).

수배전반은 전력계통의 중추로서 인체 보호가 가능한 폐쇄 외함에 주회로 차단기기 및 감시 제어용 기기를 수납한 장치의 통칭으로서 전력을 다루는 실/내외 장소에서 커다란 금속 캐비넷 형태를 한 장치에 해당한다. As the backbone of the power system, a switchgear is a device that houses the main circuit breaker and monitoring and control devices in a closed enclosure that can protect the human body.

수배전반의 주요 구성품과 전력 보호장치 역할을 살펴보면 하기의 표 1과 같다.Table 1 below shows the main components of the switchgear and the role of the power protection device.

품 목item 전류 공급/차단장치Current supply/disconnect device 전력보호장치power protection device 대전류공급large current supply 고압배전반
(전압 1KV 이상)
high voltage switchgear
(Voltage above 1KV)
VCB : 진공차단기
(VacuUm Circuit Breaker)
VCB : vacuum circuit breaker
(Vacuum Circuit Breaker)
보호계전기
(LS : GIPAM 등)
protection relay
(LS: GIPAM, etc.)
부스바 (BusBar :구리,알루미늄)BusBar (Copper, Aluminum)
저압배전반
(전압 1KV 이하)
low voltage switchgear
(Voltage 1KV or less)
ACB : 기중차단기
(Air Circuit Breaker)
ACB : Air circuit breaker
(Air Circuit Breaker)
보호계전기
(LS : GIPAM 등)
protection relay
(LS: GIPAM, etc.)
부스바 (BusBar :구리,알루미늄)BusBar (Copper, Aluminum)
전동기제어반
(전압 1KV 이하)
motor control panel
(Voltage 1KV or less)
MCCB : 배선용차단기
(Mold Case Circuit Breaker)
MCCB : Circuit Breaker
(Mold Case Circuit Breaker)
EOCR
(Electronic Over Current Relay)
EOCR
(Electronic Over Current Relay)
부스바 (BusBar :구리,알루미늄)BusBar (Copper, Aluminum)
분전반
(전압 1KV 이하)
distribution board
(Voltage 1KV or less)
MCCB : 배선용차단기
(Mold Case Circuit Breaker)
MCCB : Circuit Breaker
(Mold Case Circuit Breaker)
없음doesn't exist 부스바 (BusBar :구리,알루미늄)BusBar (Copper, Aluminum)

전류공급/차단장치는 위 표 1에서와 같이 전압 및 전류의 차단을 위해 전압범위에 따라 전류를 차단하거나 공급하는 장치에 해당한다.A current supply/block device corresponds to a device that blocks or supplies current according to the voltage range to cut off voltage and current as shown in Table 1 above.

다음으로, 전력보호장치의 역할은 수배전설비의 고장감시와 보호 및 종합적인 모니터링을 위해 다양한 보호요소와 계측요소를 가지고 있는 디지털 전력보호감시장치이다.Next, the role of the power protection device is a digital power protection monitoring device having various protection elements and measurement elements for fault monitoring and protection of power distribution facilities and comprehensive monitoring.

한편, 전력보호장치의 한계에 대해서 살펴본다.On the other hand, we will look at the limitations of the power protection device.

먼저, 전압, 전류, 전력등 감시만 가능하고, 실제 전류가 흐르고 있는 부스바의 상태나 계기(PT,CT) 상태를 감시는 불가능하다.First, it is only possible to monitor voltage, current, power, etc., and it is impossible to monitor the state of the busbar through which the actual current flows or the state of the instrument (PT, CT).

그리고, 접촉불량, 볼트풀림 등으로 인해 발생할 수 있는 과열 및 화재의 감시 및 사전예측이 불가능할 뿐만 아니라, 복잡한 구조의 상태를 육안으로 감시하기 위해서는 금속캐비넷의 전력부를 개방해야 하면 사고의 위험이 항상 존재한다.In addition, it is impossible to monitor and predict in advance of overheating and fire that may occur due to poor contact or loosening of bolts, and if the power unit of the metal cabinet must be opened to visually monitor the state of a complex structure, there is always a risk of an accident. do.

이에 따라 해당 기술분야에 있어서는 열화로 인한 화재발생을 사전에 예방하기 위해 전력보호장치의 불가능한 감지영역에 영상기반의 새로운 개념의 안전장치를 적용하여 이상발생을 사전에 감지하여 사고를 예방하기 위한 기술개발이 요구되고 있다. Accordingly, in the technical field, in order to prevent the occurrence of a fire due to deterioration in advance, an image-based safety device of a new concept is applied to the impossible detection area of the power protection device to detect anomalies in advance and prevent accidents. development is required.

대한민국 특허출원 등록번호 제10-1055336(2011년 08월 02일 등록)호 "수배전반 통합 안전관리 시스템(SAFETY MANAGEMENT SYSTEM FOR SWITCHBOARD)"Republic of Korea Patent Application Registration No. 10-1055336 (registered on August 02, 2011) "SAFETY MANAGEMENT SYSTEM FOR SWITCHBOARD" 대한민국 특허출원 등록번호 제10-1035109(2011년 05월 09일 등록)호 "전기실과 수배전반의 출입 및 안전관리장치 및 그 방법(Admission and safe operation management device of electricity room and switch board, and a management method using the same)"Republic of Korea Patent Application Registration No. 10-1035109 (registered on May 09, 2011) "Admission and safe operation management device of electricity room and switch board, and a management method using the same)"

본 발명은 상기의 문제점을 해결하기 위한 것으로, 전력산업의 핵심구성인 수배전반(고압배전반, 저압배전반, 전동기제어반, 분전반 등)의 접촉 불량, 볼트풀림, 단락에 의한 열화, 과부하 등 위험요소를 모니터링하여 사고를 방지하기 위한 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템을 제공하기 위한 것이다.The present invention is to solve the above problems, and monitoring risk factors such as poor contact, loosening of bolts, deterioration due to short circuit, overload, etc. This is to provide a switchgear safety monitoring system to which matrix image reconstruction is applied to prevent accidents.

또한, 본 발명은 매트릭스 영상 재구성 기법을 적용한 차세대 수배전반 안전모니터링 시스템을 제공하여 수배전반 전력부 사각지역에 대한 감시와 이상 예측이 가능한 안전모니터링을 수행하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템을 제공하기 위한 것이다.In addition, the present invention provides a next-generation switchgear safety monitoring system to which a matrix image reconstruction technique is applied to provide a switchgear safety monitoring system to which a matrix image reconstruction is applied to perform safety monitoring capable of monitoring and predicting abnormalities in the blind area of the switchgear power unit. will be.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템은, 수배전반에 설치되는 시각화를 위한 영상획득 장치(100); 및 시각화를 위한 영상획득 장치(100)로부터 획득한 영상에 대해서 매트릭스 영상을 재구성하여 모니터링하는 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200); 를 포함하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에 있어서, 시각화를 위한 영상획득 장치(100)는, 카메라(110)의 하단부에 모터(130)가 형성되거나 이동레일(120)의 상단부에 모터(130)가 형성될 수 있으며, 모터(130) 및 카메라(110)는 신호제어부(140)에 의한 제어를 받으며, 카메라(110) 이동시 정위치에 정지하기 위해서는 모터(130)를 사용하여 좌,우 0.01mm 오차범위 정지시키며, 위치센서(150)인 리드센서를 사용하여 정지하고자 하는 위치마다 센서를 설치하는 것을 특징으로 할 수 있다.In order to achieve the above object, a switchgear safety monitoring system to which a matrix image reconstruction is applied according to an embodiment of the present invention includes: an image acquisition device 100 for visualization installed in a switchboard; and a monitoring program 200 applying a matrix image reconstruction technique for reconstructing and monitoring a matrix image with respect to the image acquired from the image acquisition device 100 for visualization; In the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied, the image acquisition device 100 for visualization, the motor 130 is formed at the lower end of the camera 110, or the upper end of the moving rail 120 The motor 130 may be formed in the motor 130 and the camera 110 are controlled by the signal control unit 140, and the camera 110 is moved using the motor 130 to stop it at a fixed position. It can be characterized in that the left and right stops within an error range of 0.01 mm, and a sensor is installed at each position to be stopped using a lead sensor, which is the position sensor 150 .

이때, 신호제어부(140)에 구비된 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 볼트풀림 및 부품이탈 감지를 수행는 것을 특징으로 할 수 있다.At this time, the monitoring program 200 to which the matrix image reconstruction technique provided in the signal control unit 140 is applied may be characterized in performing bolt loosening and component separation detection.

또한, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은,"매트릭스기법을 활용한 영상 재구성을 통한 모니터"를 수행함에 있어서, 상기의 복수의 영상의 매트릭스형 재구성을 통해 기준영상을 생성하고, 이 기준영상과 현재 시점에서 측정된(진동 후, 또는 일정시간 경과 후) 매트릭스의 차영상을 추출하고, 이로부터 이상징후를 모니터링하여 관리자에게 통보하는 것을 특징으로 할 수 있다.In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied, in performing "monitor through image reconstruction using the matrix technique", generates a reference image through matrix-type reconstruction of the plurality of images, and It may be characterized in that the difference image of the matrix measured at the reference image and the current time point (after vibration or after a certain time has elapsed) is extracted, and abnormal symptoms are monitored therefrom and the manager is notified.

또한, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은, 실제 수배전반 내부의 영상에 이상부위를 마킹하는 방식을 적용하는 것을 특징으로 할 수 있다.In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied may be characterized by applying a method of marking an abnormal part to an image inside an actual switchboard.

또한, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은, 볼트풀림 및 온도를 측정하여 이상 / 이상우려 / 정상으로 표시하여 관리자에게 통보하는 것을 특징으로 할 수 있다. In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied measures bolt loosening and temperature, and displays it as abnormal / concerned about abnormality / normal, and notifies the manager.

본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템은, 전력산업의 핵심구성인 수배전반(고압배전반, 저압배전반, 전동기제어반, 분전반 등)의 접촉 불량, 볼트풀림, 단락에 의한 열화, 과부하 등 위험요소를 모니터링하여 사고를 방지하기 하도록 하는 효과를 제공한다. The switchgear safety monitoring system to which the matrix image reconstruction according to the embodiment of the present invention is applied is a switchgear (high voltage switchgear, low voltage switchboard, motor control board, distribution board, etc.), which is a core component of the power industry. It provides the effect of monitoring risk factors such as overload to prevent accidents.

뿐만 아니라, 본 발명의 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템은, 매트릭스 영상 재구성 기법을 적용한 차세대 수배전반 안전모니터링 시스템을 제공하여 수배전반 전력부 사각지역에 대한 감시와 이상 예측이 가능한 효과를 제공한다.In addition, the switchgear safety monitoring system to which the matrix image reconstruction is applied according to another embodiment of the present invention provides a next-generation switchgear safety monitoring system to which the matrix image reconstruction technique is applied, thereby monitoring and predicting abnormalities in the blind area of the switchboard power unit provides

도 1은 수배전반의 전력부를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1), 그리고 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 고 정밀모터를 사용하여 카메라 모듈 정위치 제어방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 저압반에 적용 시 카메라 모듈의 이동경로의 예를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 위치센서를 사용하여 카메라모듈을 정위치 제어방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 다수개의 카메라를 사용하는 경우의 제어방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 복합형 영상 및 온도 획득을 위한 복합형 카메라 모듈(100a)에 대해서 살펴보도록 한다.
도 7은 본 발명의 또 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 복합형 영상 및 온도 획득을 위한 복합형 카메라 모듈(100a)을 이용한 복합형 영상 및 온도감지 방법을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에서의 HMI 모니터링의 예를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에서의 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에 의한 볼트풀림 및 부품이탈 감지 원리를 나타내는 도면이다.
도 10은 본 발명에서 제공하고자하는 매트릭스기법을 활용한 영상재구성 방법의 개념을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에서의 카메라(110)의 각 위치에서 촬영 가능한 영상을 각위치별로 표현한 것을 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에서 사용하는 SIFT 알고리즘을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에서 사용하는 실제 수배전반 내부의 영상에 이상부위를 마킹하는 방식을 설명하기 위한 도면이다.
1 is a view showing a power unit of a switchgear.
2 is a switchgear safety monitoring system (1) to which matrix image reconstruction is applied according to an embodiment of the present invention, and a high-precision motor of a switchboard safety monitoring system (1) to which matrix image reconstruction is applied. It is a drawing for explanation.
3 is a diagram illustrating an example of a movement path of a camera module when applied to a low-pressure panel of a switchboard safety monitoring system 1 to which matrix image reconstruction is applied according to an embodiment of the present invention.
4 is a view for explaining a method for controlling the position of the camera module using the position sensor of the switchboard safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention.
5 is a view for explaining a control method in the case of using a plurality of cameras of the switchboard safety monitoring system 1 to which matrix image reconstruction is applied according to another embodiment of the present invention.
6 is a look at the composite camera module 100a for acquiring the composite image and temperature of the switchboard safety monitoring system 1 to which the matrix image reconstruction is applied according to another embodiment of the present invention.
7 is a composite image and temperature sensing method using a composite camera module 100a for acquiring a composite image and temperature of a switchgear safety monitoring system 1 to which matrix image reconstruction is applied according to another embodiment of the present invention. It is a drawing showing
8 is a diagram showing an example of HMI monitoring in the switchgear safety monitoring system 1 to which matrix image reconstruction is applied according to an embodiment of the present invention.
9 is a view showing the principle of detecting bolt loosening and part separation by the monitoring program 200 to which the matrix image reconstruction technique is applied in the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention.
10 is a diagram illustrating the concept of an image reconstruction method using a matrix technique to be provided by the present invention.
11 is a view showing an image that can be captured at each position of the camera 110 in the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention is expressed for each position.
12 is a diagram for explaining the SIFT algorithm used in the monitoring program 200 to which the matrix image reconstruction technique is applied according to an embodiment of the present invention.
13 is a view for explaining a method of marking an abnormal part on an image inside an actual switchboard used in the monitoring program 200 to which the matrix image reconstruction technique according to an embodiment of the present invention is applied.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, a detailed description of a preferred embodiment of the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a detailed description of a related well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.In the present specification, when any one component 'transmits' data or signal to another component, the component may directly transmit the data or signal to another component, and through at least one other component This means that data or signals can be transmitted to other components.

매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)을 위한 영상처리기술의 원리에 대해서 살펴본다.The principle of image processing technology for the switchgear safety monitoring system (1) to which matrix image reconstruction is applied will be reviewed.

사람은 두 눈을 가지고 있으며, 이 두 눈은 약 65mm 간격으로 배치되어 있어 사물을 바라볼 때 좌 우 다른 상이 광각(光角)을 가지고 망막에 결상 되는데 이 광각을 뇌가 해석해서 입체(공간)를 느끼게 된다.Humans have two eyes, and these two eyes are spaced about 65mm apart, so when looking at an object, the left and right images have a wide angle and are formed on the retina. feel the

여기서 광각(光角)은 두 눈으로 한 점을 볼 때 그 점과 두 눈을 잇는 두 직선이 이루는 각으로 물체의 원근을 판단하는 기능을 수행하며, 시각(視角)은 물체의 두 끝에서 눈에 이르는 두 개의 직선이 이루는 각으로 물체의 크기를 판단하게 한다.Here, the wide angle is the angle formed by the two straight lines connecting the point and the two eyes when looking at a point with both eyes, and it performs the function of judging the perspective of an object. Determine the size of an object by the angle formed by two straight lines leading to .

즉, 광각의 크기에 따라 물체의 원근을 판단하는 것이고 좌 우 2개의 다른 상이 망막에 결상 되었다고 입체를 느끼는 것이 아니다.In other words, the perspective of an object is judged according to the size of the wide angle, and a stereoscopic effect is not felt because two different images, left and right, are formed on the retina.

똑같은 2개의 평면사진을 광각을 가지고 두 눈에 결상 된다면 입체감이 아닌 원근감을 느낄 수 있다. If two identical flat photos are imaged in both eyes with a wide angle, you can feel a sense of perspective rather than a three-dimensional effect.

한편, 단일 렌즈어레이를 이용한 집적 영상 기술은 레이저 광원을 이용하는 홀로그래피 기술과는 달리 상용화된 디스플레이 패널을 이용하여 보조 도구의 사용 없이 공간상에 대화면 컬러 3D 입체 영상을 비교적 손쉽게 표현할 수 있는 입체 영상 기술이다. 이 기술은 렌즈어레이를 통하여 발생하는 광선들의 공간매칭을 통하여 공간상에 영상을 표현할 수 있기 때문에 관측자에게 피로감이 없는 영상을 제공하여 완전시차의 입체감을 극대화할 수 있어서, 깊이우선 집적 영상기반의 고해상도 3D 영상 디스플레이 핵심 기술이며, 해상도우선 집적 영상 기반의 고깊이감 3D 영상 디스플레이 핵심 기술 일 뿐만 아니라, 집적 영상용 실시간급 3D 콘텐츠 생성에 활용될 수 있다.On the other hand, the integrated imaging technology using a single lens array is a stereoscopic imaging technology that can relatively easily express a large-screen color 3D stereoscopic image in space without the use of auxiliary tools using a commercial display panel, unlike the holography technology using a laser light source. . Since this technology can express images in space through spatial matching of light rays generated through the lens array, it is possible to maximize the three-dimensional effect of perfect parallax by providing an image without fatigue to the observer. It is a core technology for 3D image display, and it is not only a core technology for high-depth 3D image display based on resolution-priority integrated images, but also can be used to create real-time 3D content for integrated images.

본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 "시각화를 위한 영상획득 장치(100)"에 대해서 살펴본다. The "image acquisition device 100 for visualization" of the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention will be described.

먼저, 시각화를 위한 영상획득 장치(100)는 복합형 영상 및 온도 획득장치로 이에 대해서 구체적인 예에 대해서 이하 살펴보도록 한다. First, the image acquisition device 100 for visualization is a complex image and temperature acquisition device, and a detailed example thereof will be described below.

수배전반의 전력부는 도 1에서 보는 봐와 같이 매우 복잡한 구조로 구성되어있다. 따라서 영상획득을 위해 다수개의 카메라를 사용하거나, 한 개의 카메라를 이동하면서 영상을 획득하여야 한다.The power unit of the switchgear has a very complex structure as shown in FIG. 1 . Therefore, it is necessary to use a plurality of cameras to acquire an image or to acquire an image while moving one camera.

도 1a는 고압배전반 전력부, 도 1b는 전동기제어반 전력부, 도 1c는 저압배전반 전력부를 나타내는 도면이다. 1A is a diagram showing a high voltage switchgear power unit, FIG. 1B is a motor control panel power unit, and FIG. 1C is a view showing a low voltage switchgear power unit.

도 2는 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1), 그리고 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 고 정밀모터를 사용하여 카메라 모듈 정위치 제어방법을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 저압반에 적용 시 카메라 모듈의 이동경로의 예를 나타내는 도면이다. 도 4는 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 위치센서를 사용하여 카메라모듈을 정위치 제어방법을 설명하기 위한 도면이다.2 is a switchgear safety monitoring system (1) to which matrix image reconstruction is applied according to an embodiment of the present invention, and a high-precision motor of a switchboard safety monitoring system (1) to which matrix image reconstruction is applied. It is a drawing for explanation. 3 is a diagram illustrating an example of a movement path of a camera module when applied to a low-pressure panel of a switchboard safety monitoring system 1 to which matrix image reconstruction is applied according to an embodiment of the present invention. 4 is a view for explaining a method for controlling the position of the camera module using the position sensor of the switchboard safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention.

시각화를 위한 영상획득 장치(100)가 도 2와 같이 카메라(110), 이동레일(120), 모터(130), 신호제어부(140)로 이루어질 수 있다.The image acquisition apparatus 100 for visualization may include a camera 110 , a moving rail 120 , a motor 130 , and a signal controller 140 as shown in FIG. 2 .

도 4에서의 수배전반 전력부 구조를 보면 감시하고자하는 부스바, 부스바와 고압차단기 결합을 위한 볼트 및 전기부품은 매우 복잡한 구조로 되어있어 쉽게 필요정보를 취득하기가 어렵다.Looking at the structure of the switchgear power unit in FIG. 4 , it is difficult to easily obtain necessary information because the busbar to be monitored, the bolts for coupling the busbar and the high-voltage circuit breaker, and electric parts have a very complex structure.

도 5와 같이 위치3에 카메라(110)가 있다면 관찰대상1의 정보(부품이탈, 볼트풀림, 온도)는 취득할 수 있으나 관찰대상2의 정보를 취득하기는 어려우면 카메라(110)의 위치를 위치2나, 위치4로 이동하여야 가능하다.If there is a camera 110 in position 3 as shown in FIG. 5, information (part detachment, bolt loosening, temperature) of observation object 1 can be acquired, but if it is difficult to acquire information of observation object 2, the position of camera 110 is It is possible to move to position 2 or position 4.

이에 따라 영상획득을 위해서 위치 1 ~ 위치 15로 이동이 가능한 구조를 개발하여 획득하고자 하는 대상의 위치까지 한 개의 카메라(110)를 이동레일(120)을 타고 이용하여 이동시켜서 영상을 획득한다. 이를 위해 카메라(110)의 하단부에 모터(130)가 형성되거나 이동레일(120)의 상단부에 모터(130)가 형성될 수 있으며, 모터(130) 및 카메라(110)는 신호제어부(140)에 의한 제어를 받을 수 있다. Accordingly, for image acquisition, a structure capable of moving from position 1 to position 15 is developed, and one camera 110 is moved to the position of the target to be acquired by riding on the moving rail 120 to obtain an image. To this end, the motor 130 may be formed at the lower end of the camera 110 or the motor 130 may be formed at the upper end of the moving rail 120 , and the motor 130 and the camera 110 are connected to the signal control unit 140 . can be controlled by

카메라(110) 이동시 정위치에 정지하기 위해서는 정밀도가 높은 모터(130)를 사용하여 좌,우 0.01mm 오차범위 정지시키는 방법과 위치센서(150)인 리드센서를 사용하여 정지하고자 하는 위치마다 센서를 설치하는 방법이 있으며, 신호제어부(140)에 구비된 정위치 제어처리부(140a)에 의해 센싱 및 제어를 받을 수 있다. In order to stop the camera 110 at a fixed position when moving, a method of using a high-precision motor 130 to stop within an error range of 0.01 mm left and right, and a lead sensor, which is a position sensor 150, is used to set the sensor at each position to stop. There is an installation method, and sensing and control can be received by the in-place control processing unit 140a provided in the signal control unit 140 .

이러한 복잡한 구조의 수배전반 중 접촉불량으로 인해 가장 화재가 많이 발생하는 VCB, ACB와 부스바 접촉부에 센서를 설치하는 것이 바람직하다.Among the switchgears with such a complex structure, it is desirable to install a sensor at the contact point between the VCB and ACB and the bus bar, where the most fire occurs due to poor contact.

영상획득시 노이즈 문제에 대해서 살펴보면, 고전압, 대전류가 흐르는 수배전반은 유도전류 발생으로 인해 카메라(110)가 이동시에 정확한 영상 획득에 어려움이 발생할 것으로 판단되며, 카메라(110)는 전체 케이스를 실드처리하고, 노이즈예방을 위해 고주파 및 저주파 필터를 설치하여 고선명 영상을 획득할 수 있다.Looking at the noise problem during image acquisition, it is determined that difficulty in acquiring an accurate image will occur when the camera 110 moves due to the generation of induced current in the switchgear through which high voltage and large current flows, and the camera 110 shields the entire case and , high-definition images can be obtained by installing high-frequency and low-frequency filters to prevent noise.

도 5는 본 발명의 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 다수개의 카메라를 사용하는 경우의 제어방법을 설명하기 위한 도면이다. 도 5를 참조하면, 영상획득을 위해서는 다수개의 카메라를 사용하여 관찰대상 사각지역을 없애는 방법을 채택할 수 있다.5 is a diagram for explaining a control method in the case of using a plurality of cameras of the switchgear safety monitoring system 1 to which matrix image reconstruction is applied according to another embodiment of the present invention. Referring to FIG. 5 , in order to acquire an image, a method of eliminating a blind spot to be observed using a plurality of cameras may be adopted.

이 경우, 단점으로 구조가 복잡하여 카메라 모듈을 구성하는 복수의 카메라(110)의 소요량이 많은 경우 비용이 많이 들며, 장점으로는 고압반과 같이 감시사각지역이 많지 않은 경우 원가가 저렴할 수 있다. In this case, the disadvantage is that the cost is high when the required amount of a plurality of cameras 110 constituting the camera module is large due to the complicated structure.

카메라(110)는 사각지역이 발생하지 않도록 구조를 정확하게 파악하고 설치하며, 주로 문제가 되는 대전류 접촉부위의 볼트 및 부품이탈을 감시한다.The camera 110 accurately grasps and installs the structure so that no blind spots occur, and mainly monitors the bolts and parts detachment of the problematic high-current contact part.

카메라(110)의 개수는 수배전반의 형태나 모양에 따라 다를 수 있고, 배전반설계시에 감시 사각지역이 생기지 않도 구조설계를 하는 것이 바람직하다. The number of cameras 110 may vary depending on the shape or shape of the switchboard, and it is preferable to design the structure without generating a blind spot for monitoring when designing the switchboard.

도 6은 본 발명의 또 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 복합형 영상 및 온도 획득을 위한 복합형 카메라 모듈(100a)에 대해서 살펴보도록 한다. 도 7은 본 발명의 또 다른 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)의 복합형 영상 및 온도 획득을 위한 복합형 카메라 모듈(100a)을 이용한 복합형 영상 및 온도감지 방법을 나타내는 도면이다. 6 shows a composite camera module 100a for acquiring a composite image and temperature of a switchgear safety monitoring system 1 to which matrix image reconstruction is applied according to another embodiment of the present invention. 7 is a composite image and temperature sensing method using a composite camera module 100a for acquiring a composite image and temperature of a switchboard safety monitoring system 1 to which matrix image reconstruction is applied according to another embodiment of the present invention. It is a drawing showing

도 6을 참조하면, 영상획득을 위한 복합형 카메라 모듈(100a)은 영상획득을 위한 카메라(110)와 과열감시를 위한 적외선 카메라(160)의 복합형으로 형성될 수 있다. Referring to FIG. 6 , the composite camera module 100a for acquiring an image may be formed as a composite type of a camera 110 for acquiring an image and an infrared camera 160 for monitoring overheating.

여기서, 도 7을 참조하면, 복합형 카메라 모듈(100a)을 이용한 온도감지 및 이상예측 방법에 있어서, 부스바 접촉부위 온도 값을 정상 동작시 값을 기준 값으로 하고 볼트풀림 발생 시 접촉부위 온도 값을 시험을 통해 신호제어부(140)가 데이터베이스화할 수 있다. 신호제어부(140)는 볼트 풀림발생시 온도 값을 참조 값으로 하여 온도변화양상을 통해 볼트풀림 발생예측 및 경보 가능하다. Here, referring to FIG. 7 , in the temperature sensing and abnormality prediction method using the hybrid camera module 100a, the bus bar contact portion temperature value is set as the reference value during normal operation, and the contact portion temperature value when the bolt is loosened. Through the test, the signal control unit 140 may convert the data into a database. The signal control unit 140 can predict and alarm the occurrence of bolt loosening through the temperature change pattern by using the temperature value as a reference value when the bolt loosening occurs.

다음으로, 영상획득을 위한 신호제어부(140)에 대해서 살펴보도록 한다.Next, the signal control unit 140 for image acquisition will be described.

신호제어부(140)는 신호입력 및 제어를 수행하며, 주위의 고주파 노이즈 및 고전압에 의한 내잡음 특성이 뛰어난 특징을 갖는다.The signal control unit 140 performs signal input and control, and has excellent noise resistance characteristics due to surrounding high-frequency noise and high voltage.

먼저, 영상 및 온도처리를 위한 신호제어부(140)는 계측된 신호를 디지털신호로 변환하여 신호처리 및 디스플레이를 위하여 저전력 마이크로프로세서인 ATmega128(Atmel Co., USA)을 이용한 시스템 제어부를 구성할 수 있다.First, the signal control unit 140 for image and temperature processing converts the measured signal into a digital signal to configure a system control unit using a low-power microprocessor ATmega128 (Atmel Co., USA) for signal processing and display. .

신호제어부(140)는 먼저 아날로그 신호를 디지털 신호로 변환하기 위하여 각각의 입력신호를 초당 128회의 속도로 샘플링, 10-bit의 분해능으로 디지털 신호로 변환하고자 하며, 순차적 변환을 통해 다중채널 실시간 모니터링이 가능하도록 시스템을 구성할 수 있다.In order to convert an analog signal to a digital signal, the signal control unit 140 first samples each input signal at a rate of 128 times per second and tries to convert it into a digital signal with a resolution of 10-bit, and multi-channel real-time monitoring is possible through sequential conversion. The system can be configured to make it possible.

신호제어부(140)는 시간 영역에서의 정확한 샘플링 타이밍을 맞추기 위해 Atmega128 마이크로프로세서의 타이머/카운터 오버플로우 인터럽트를 사용하는 것이 바람직하다.The signal controller 140 preferably uses the timer/counter overflow interrupt of the Atmega128 microprocessor in order to match the accurate sampling timing in the time domain.

다음으로 적외선 카메라(160)에 대해서 살펴보면, 적외선 카메라(160)는 온도감지 및 신호처리를 수행한다. Next, referring to the infrared camera 160, the infrared camera 160 performs temperature sensing and signal processing.

적외선이란 태양이 방출하는 빛을 프리즘으로 분산시켜 보았을 때 적색선의 끝보다 더 바깥쪽에 있는 전자기파를 적외선이라고 하며, 파장의 길이에 따라 분류하면 파장 0.75∼3㎛의 적외선을 근적외선, 3∼25㎛의 것을 적외선, 25㎛ 이상의 것을 원적외선이라고 구분하고 있다. When the light emitted by the sun is dispersed by a prism, electromagnetic waves that are farther out than the end of the red line are called infrared. Infrared rays are classified as infrared, and those larger than 25 µm are classified as far infrared.

적외선은 가시광선이나 자외선에 비해 강한 열작용을 가지고 있는 것이 특징이며, 이 때문에 열선(熱線)이라고도 한다. 태양이나 발열체로부터 공간으로 전달되는 복사열은 주로 적외선에 의한 것이다.Infrared rays have a stronger thermal action than visible rays or ultraviolet rays, and for this reason, they are also called hot rays. Radiant heat transferred to space from the sun or a heating element is mainly by infrared rays.

적외선 카메라(160)에서 사용되는 적외선 온도센서에 대해서 살펴보면, 적외선 온도센서는 일정 주파수의 빛을 발산하는 발광부와 발광부에서 발산하는 빛을 받아들이는 수광부로 이루어져 있다. 발광부에서 발생된 적외선은 물체에 부딪혀 반사되고, 수광부에서는 이 반사된 빛을 감지하여 물체의 유·무 또는, 물체까지의 거리 등을 알 수 있다. Looking at the infrared temperature sensor used in the infrared camera 160, the infrared temperature sensor consists of a light emitting unit that emits light of a certain frequency and a light receiving unit that receives the light emitted from the light emitting unit. Infrared rays generated from the light emitter collide with the object and are reflected, and the light receiver senses the reflected light to know the presence or absence of the object or the distance to the object.

다음으로, 신호제어부(140)는 인체 친화형 HMI 표시부를 구현하기 위해 디스플레이부(170)로 수배전반 외부도어에서 관리자가 상태확인을 위해 인체친화형 HMI를 사용하여 모니터링이 가능하도록 할 수 있다.Next, the signal control unit 140 may enable monitoring using the human-friendly HMI for the manager to check the status at the switchboard external door with the display unit 170 to implement the human-friendly HMI display unit.

도 8은 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에서의 HMI 모니터링의 예를 나타내는 도면이다.8 is a diagram showing an example of HMI monitoring in the switchgear safety monitoring system 1 to which matrix image reconstruction is applied according to an embodiment of the present invention.

다음으로, 본 발명의 실시예에 따른 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에서의 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에 대해서 구체적으로 살펴보도록 한다. Next, the monitoring program 200 to which the matrix image reconstruction technique is applied in the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied according to an embodiment of the present invention will be described in detail.

신호제어부(140)에 구비된 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 볼트풀림 및 부품이탈 감지를 수행할 수 있는데, 이러한 볼트풀림 및 부품이탈 감지 원리는 도 9와 같을 수 있다. The monitoring program 200 to which the matrix image reconstruction technique provided in the signal control unit 140 is applied may perform bolt loosening and part detachment detection, and the principle of detecting bolt loosening and part detachment may be the same as in FIG. 9 .

제 1 단계로, 신호제어부(140)가 카메라(110)인 5M 픽셀 카메라를 이용하여 부스바 이미지를 촬영한다.In a first step, the signal controller 140 captures a busbar image using a 5M pixel camera that is the camera 110 .

제 2 단계로, 신호제어부(140)가 볼트 영역을 검출한다.In a second step, the signal control unit 140 detects a volt region.

제 3 단계로, 신호제어부(140)가 볼트에 마킹된 적색 성분만 남기고 나머지 부분을 제거한다. 보다 구체적으로, 신호제어부(140)가 제 2 단계의 검출 이미지에서 RGB 색상값 40,40,190 ~ 40,40,190 사이의 값만 남기고 나머지는 0으로 만든다. In a third step, the signal control unit 140 removes the remaining part, leaving only the red component marked on the bolt. More specifically, the signal controller 140 leaves only the RGB color values between 40, 40, 190 and 40, 40, 190 in the detection image of the second step, and sets the rest to 0.

제 4 단계로, 신호제어부(140)가 제 3 단계의 결과 이미지를 RGB 색계에서 HSV 색계로 변환 하여 GRAY 레벨 이미지로 변환한다.In the fourth step, the signal controller 140 converts the result image of the third step from the RGB color system to the HSV color system and converts it into a GRAY level image.

제 5 단계로, 신호제어부(140)가 제 4 단계 결과 이미지에서 외형선 추출을 위해 Contour 알고리즘을 통해 외곽 좌표 추출하며, 외곽 좌표는 연결된 선으로 인식된 모든 좌표들이 검출될 수 있다. In the fifth step, the signal controller 140 extracts the outer coordinates through the contour algorithm to extract the outline from the result image of the fourth step, and all coordinates recognized as connected lines may be detected as the outer coordinates.

마무리 및 계산로, 신호제어부(140)가 제 5 단계에서 검출된 외형선 정보를 Ellipse(타원) 근사법 으로 기울어진 각도를 계산 한다. 현재 기울어진 각도는 64도와 74도로 계산된다. 이값을 초기값으로 사용하고 일정 시간 간격으로 상기 제 1~5 단계 과정을 통해 계산된 각도와 비교하여 풀림 정도를 계산할 수 있다.As a final step and calculation, the signal control unit 140 calculates the inclination angle of the outline information detected in the fifth step by using the Ellipse approximation method. The current tilt angle is calculated as 64 degrees and 74 degrees. The degree of loosening can be calculated by using this value as an initial value and comparing it with the angle calculated through the process of steps 1 to 5 at regular time intervals.

다음으로, 신호제어부(140)에 구비된 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에 대해서 살펴본다. Next, the monitoring program 200 to which the matrix image reconstruction technique provided in the signal control unit 140 is applied will be described.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 "영상획득 및 매트릭스기법을 활용한 영상 재구성"을 수행함에 있어서, 도 2 및 도 4와 같이 한 개의 카메라(110)를 사용하여 다수 포인트에서 영상을 획득한 후 재편집 과정을 거쳐 실제 요소별 부품이탈 및 움직임 각도를 모니터링하는 프로그램일 수 있다. The monitoring program 200 to which the matrix image reconstruction technique is applied performs "image acquisition and image reconstruction using the matrix method", as shown in FIGS. 2 and 4, using a single camera 110 to capture images from multiple points. It may be a program that monitors the actual deviation of parts and movement angles for each element through a re-editing process after acquisition.

또한 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 상기내용에서와 같이 감시하고자 하는 위치에서 부위별 온도를 적외선 온도센서를 구비한 적외선 카메라(160)를 활용하여 감지하고 모니터링을 수행할 수 있다.In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied can detect and monitor the temperature of each part at the location to be monitored as described above by using the infrared camera 160 having an infrared temperature sensor.

다음으로 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에 의한 영상획득 및 매트릭스기법을 활용한 영상 재구성에 대해서 살펴보도록 한다.Next, image acquisition by the monitoring program 200 to which the matrix image reconstruction technique is applied and image reconstruction using the matrix technique will be examined.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에 의한 수배전반 내부의 볼트풀림 및 이상온도 모니터링을 위하여 영상처리기반으로 수행한다.It is performed based on image processing for the monitoring of unscrewing bolts and abnormal temperature inside the switchgear by the monitoring program 200 to which the matrix image reconstruction technique is applied.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)이 수행하는 스테레오기반의 3차원 영상처리에서 사용하는 기법의 경우 수배전반 내부에서의 적용한계로 인해 렌즈어레이방식이 아닌 카메라의 위치이동을 통해 수배전반 내부의 유사(pseudo) 스테스트레오영상을 획득하고, 각 위치에서의 영상을 매트릭스형태의 배열로 구성하여 상기에서 설명한 제 1 내지 제 5 단계에 해당하는 차영상기법을 통해 볼트풀림을 감지하는 방식을 적용한다.In the case of the technique used in stereo-based three-dimensional image processing performed by the monitoring program 200 to which the matrix image reconstruction technique is applied, due to the application limit inside the switchgear, it is not a lens array method, but a similarity inside the switchboard through movement of the camera. (pseudo) A method of detecting bolt loosening is applied by acquiring a stereo image, configuring the images at each position in a matrix-like arrangement, and using the difference imaging technique corresponding to the first to fifth steps described above.

특히 본 발명에서 적용하고자하는 유사 스테레오영상을 통해 수배전반 내부 기구적 구조물에 의한 감시대상 볼트의 가려짐 현상도 알고리즘적으로 제거가 가능한 특징이 있으며, 예를 들어 위치 1에서는 구조물에 의해 대상볼트의 가려짐이 발생하더라도 상하좌우의 위치에서 획득한 영상정보를 기반으로 가려진부위의 영상 재구성이 가능하다. 본 발명에서 제공하고자하는 매트릭스기법을 활용한 영상재구성 방법의 개념을 도 11과 같다. 즉, 도 11은 영상획득을 위한 카메라이동 정위치를 나타내는 도면이다.In particular, through the similar stereo image to be applied in the present invention, the occlusion phenomenon of the monitoring target bolt by the mechanical structure inside the switchgear can be algorithmically removed. For example, in position 1, the target bolt is covered by the structure. Even if there is a load, it is possible to reconstruct the image of the hidden area based on the image information obtained from the upper, lower, left, and right positions. The concept of the image reconstruction method using the matrix technique to be provided by the present invention is shown in FIG. 11 . That is, FIG. 11 is a diagram showing a camera movement position for image acquisition.

도 10에서 카메라(110)의 각 위치에서 촬영 가능한 영상을 각위치별로 표현하면 도 11과 같이 구성할 수 있으며, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)이 이를 매트릭스형태로 재구성하여 비교를 위한 영상으로 저장하고, 진동 또는 일정 주기의 영상획득을 통해 이전영상과의 차이를 분석하여 볼트풀림 등의 이상 징후를 모니터링 하고자 한다. In FIG. 10 , if an image that can be captured at each position of the camera 110 is expressed for each position, it can be configured as shown in FIG. 11 , and the monitoring program 200 to which the matrix image reconstruction technique is applied reconstructs it in a matrix form for comparison. It is saved as an image, and the difference from the previous image is analyzed through vibration or image acquisition of a certain period to monitor abnormal signs such as bolt loosening.

특히 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 각 위치에서의 다수의 영상을 매트릭스로 저장하는 방식을 적용하며, 이때 파노라마영상에서 주로 사용하는 영상정합 등의 방법을 통해 보다 효율적인 파일관리 및 이상 위치 마킹기능을 적용할 수 있다. In particular, the monitoring program 200 to which the matrix image reconstruction technique is applied applies a method of storing a plurality of images at each location as a matrix. Position marking function can be applied.

또한 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 카메라(110)의 위치에 따라 가려짐 발생부위, 협소한 공간 내부의 볼트풀림 등 사용자 설정에 따라 매트릭스의 해상도를 달리 재구성하거나 영상의 기하보정기법 적용을 통해 협소부위의 볼트풀림 판별성능 향상이 가능하다. 또한, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 위치 1~5 하단 부위, 위치 11~15 협소부위의 해상도 조정 및 기하보정을 통한 볼트풀림의 감지성능 향상시킬 수 있다.In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied reconstructs the resolution of the matrix differently according to user settings such as the occlusion occurrence site and the loosening of bolts in a narrow space depending on the position of the camera 110 or the geometric correction technique of the image. Through application, it is possible to improve the identification performance of bolt loosening in narrow areas. In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied can improve the detection performance of bolt loosening by adjusting the resolution and geometric correction of the lower part of positions 1 to 5 and the narrow parts of positions 11 to 15.

도 11과 같이 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 다수 영상으로부터 매트릭스를 구성하는 경우 각각의 영상이 가지는 기하정보를 분석하고 영상 간의 상관관계를 통하여 하나의 영상으로 재구성 할 수 있다. As shown in FIG. 11 , the monitoring program 200 to which the matrix image reconstruction technique is applied can analyze geometric information of each image and reconstruct it into one image through correlation between images when a matrix is formed from multiple images.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 영상 간의 상관관계는 특징점 기반의 SIFT 알고리즘을 이용하여 각각의 영상에서 특징점을 추출하고 특징점들이 가지는 기하정보를 이용해 파악이 가능하며, 영상과 영상 간의 동일한 영역 정보를 이용하여 하나의 영상으로 재구성이 가능하다.The monitoring program 200 to which the matrix image reconstruction technique is applied extracts key points from each image using a key point-based SIFT algorithm to determine the correlation between images and uses the geometric information of the key points. It is possible to reconstruct one image using region information.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)에서 사용하는 SIFT 알고리즘은 도 12와 같이 가우시안 필터를 이용한 영상을 스케일 별로 여러 개 생성한 후 각 영상들 간의 영상 차를 이용하여 만들어진 DoG 영상을 분석하여 특징점을 추출한다. 각 특징점은 주변 픽셀 값들을 이용하여 그래디언트의 크기와 방향 정보를 획득하고 영상 간의 동일한 영역 분석에 있어서 각 특징점들이 가지는 그래디언트 크기와 방향의 비교를 통해 같은 값을 가지는 특징점을 매칭 할 수 있다.The SIFT algorithm used in the monitoring program 200 to which the matrix image reconstruction technique is applied generates multiple images for each scale using a Gaussian filter as shown in FIG. to extract Each feature point acquires gradient size and direction information using neighboring pixel values, and in analyzing the same area between images, the feature points having the same value can be matched by comparing the gradient size and direction of each feature point.

또한, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 "매트릭스기법을 활용한 영상 재구성을 통한 모니터"를 수행함에 있어서, 상기의 다수 영상의 매트릭스형 재구성을 통해 기준영상을 생성하고, 이 기준영상과 현재 시점에서 측정된(진동 후, 또는 일정시간 경과 후) 매트릭스의 차영상을 추출하고, 이로부터 이상징후를 모니터링하여 관리자에게 통보할 수 있도록 한다. In addition, the monitoring program 200 to which the matrix image reconstruction technique is applied generates a reference image through the matrix-type reconstruction of the multiple images in performing "monitor through image reconstruction using the matrix method", and this reference image and the difference image of the matrix measured at the present time (after vibration or after a certain period of time) is extracted, and abnormal symptoms are monitored from it so that the manager can be notified.

매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 실제 수배전반 내부의 영상에 이상부위를 마킹하는 방식을 적용하여 사용자의 직관성을 향상시키고자 하며, 이를 설명하기 위해 도 13과 같은 도면으로 나타내었다.The monitoring program 200 to which the matrix image reconstruction technique is applied attempts to improve the user's intuition by applying a method of marking an abnormal part to an image inside the actual switchboard, and is shown in the drawing as shown in FIG. 13 to explain this.

즉, 도 13을 참조하면, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 볼트풀림 및 온도를 측정하여 이상 / 이상우려 / 정상으로 표시하여 관리자에게 통보함으로써 이상발생이 예측되면 신속하게 조치할 수 있다.That is, referring to FIG. 13 , the monitoring program 200 to which the matrix image reconstruction technique is applied measures the bolt loosening and temperature, displays it as abnormal / concerned about / normal, and notifies the manager so that when an abnormality is predicted, it can be quickly taken. there is.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. also includes

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms are used, these are only used in a general sense to easily explain the technical content of the present invention and to help the understanding of the present invention. , it is not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

1 : 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템
100 : 시각화를 위한 영상획득 장치
110 : 카메라
120 : 이동레일
130 : 모터
140 : 신호제어부
200 : 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램
1: Switchgear safety monitoring system with matrix image reconstruction applied
100: image acquisition device for visualization
110: camera
120: moving rail
130: motor
140: signal control unit
200: Monitoring program to which matrix image reconstruction technique is applied

Claims (5)

수배전반에 설치되는 시각화를 위한 영상획득 장치(100); 및 시각화를 위한 영상획득 장치(100)로부터 획득한 영상에 대해서 매트릭스 영상을 재구성하여 모니터링하는 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200); 를 포함하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템(1)에 있어서, 시각화를 위한 영상획득 장치(100)는,
카메라(110)의 하단부에 모터(130)가 형성되거나 이동레일(120)의 상단부에 모터(130)가 형성될 수 있으며, 모터(130) 및 카메라(110)는 신호제어부(140)에 의한 제어를 받으며, 카메라(110) 이동시 정위치에 정지하기 위해서는 모터(130)를 사용하여 좌,우 0.01mm 오차범위 정지시키며, 위치센서(150)인 리드센서를 사용하여 정지하고자 하는 위치마다 센서를 설치하는 것을 특징으로 하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템.
Image acquisition device 100 for visualization installed on the switchboard; and a monitoring program 200 applying a matrix image reconstruction technique for reconstructing and monitoring a matrix image with respect to the image acquired from the image acquisition device 100 for visualization; In the switchgear safety monitoring system 1 to which the matrix image reconstruction is applied, the image acquisition device 100 for visualization includes,
The motor 130 may be formed at the lower end of the camera 110 or the motor 130 may be formed at the upper end of the moving rail 120 , and the motor 130 and the camera 110 are controlled by the signal controller 140 . In order to stop the camera 110 at the correct position when moving, the motor 130 is used to stop the left and right 0.01 mm error range, and the position sensor 150, the lead sensor, is used to install a sensor at each desired position. A switchgear safety monitoring system to which matrix image reconstruction is applied, characterized in that
청구항 1에 있어서,
신호제어부(140)에 구비된 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은 볼트풀림 및 부품이탈 감지를 수행는 것을 특징으로 하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템.
The method according to claim 1,
The switchgear safety monitoring system to which the matrix image reconstruction is applied, characterized in that the monitoring program 200 to which the matrix image reconstruction technique provided in the signal control unit 140 is applied performs bolt loosening and component separation detection.
청구항 1에 있어서,
매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은,
"매트릭스기법을 활용한 영상 재구성을 통한 모니터"를 수행함에 있어서, 상기의 복수의 영상의 매트릭스형 재구성을 통해 기준영상을 생성하고, 이 기준영상과 현재 시점에서 측정된(진동 후, 또는 일정시간 경과 후) 매트릭스의 차영상을 추출하고, 이로부터 이상징후를 모니터링하여 관리자에게 통보하는 것을 특징으로 하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템.
The method according to claim 1,
The monitoring program 200 to which the matrix image reconstruction technique is applied,
In performing "monitor through image reconstruction using matrix technique", a reference image is generated through matrix-type reconstruction of the plurality of images, and the reference image and the current time point are measured (after vibration, or a predetermined time). After lapse), a switchgear safety monitoring system to which matrix image reconstruction is applied, characterized in that it extracts the difference image of the matrix, monitors anomalies therefrom, and notifies the manager.
청구항 3에 있어서, 매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은,
실제 수배전반 내부의 영상에 이상부위를 마킹하는 방식을 적용하는 것을 특징으로 하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템.
The method according to claim 3, The monitoring program 200 to which the matrix image reconstruction technique is applied,
A switchgear safety monitoring system to which a matrix image reconstruction is applied, characterized in that the method of marking abnormal parts is applied to the actual image inside the switchgear.
청구항 4에 있어서,
매트릭스 영상재구성 기법을 적용한 모니터링 프로그램(200)은,
볼트풀림 및 온도를 측정하여 이상 / 이상우려 / 정상으로 표시하여 관리자에게 통보하는 것을 특징으로 하는 매트릭스 영상 재구성을 적용한 수배전반 안전모니터링 시스템.
5. The method according to claim 4,
The monitoring program 200 to which the matrix image reconstruction technique is applied,
A switchgear safety monitoring system to which a matrix image reconstruction is applied, characterized by notifying the manager by indicating abnormality / concern about abnormality / normal by measuring bolt loosening and temperature.
KR1020200138499A 2020-10-23 2020-10-23 Switchgear safety monitoring system applying matrix image reconstruction KR102424971B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200138499A KR102424971B1 (en) 2020-10-23 2020-10-23 Switchgear safety monitoring system applying matrix image reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200138499A KR102424971B1 (en) 2020-10-23 2020-10-23 Switchgear safety monitoring system applying matrix image reconstruction

Publications (3)

Publication Number Publication Date
KR20220054043A true KR20220054043A (en) 2022-05-02
KR102424971B1 KR102424971B1 (en) 2022-07-25
KR102424971B9 KR102424971B9 (en) 2022-12-05

Family

ID=81593091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200138499A KR102424971B1 (en) 2020-10-23 2020-10-23 Switchgear safety monitoring system applying matrix image reconstruction

Country Status (1)

Country Link
KR (1) KR102424971B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536635B1 (en) * 2022-09-16 2023-05-26 (주)와이제이솔루션 A method for detecting the fastening state of a fastening part using an image processing-based switchgear monitoring device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308262A (en) * 2007-06-13 2008-12-25 Yamaha Corp Shelf monitor device and shelf monitor system
KR100878006B1 (en) * 2008-04-24 2009-01-28 (주)태양이엔시 Panel board protection case for apartment house
KR20130117391A (en) * 2012-04-17 2013-10-28 (주) 디지털파워 Switchgear with high, low busbar of wireless monitoring
KR101847971B1 (en) * 2017-12-04 2018-04-11 (주)와이제이솔루션 Image processing based switchgear monitoring device
JP2020156131A (en) * 2019-03-18 2020-09-24 三菱電機株式会社 Electrical facility inspection device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308262A (en) * 2007-06-13 2008-12-25 Yamaha Corp Shelf monitor device and shelf monitor system
KR100878006B1 (en) * 2008-04-24 2009-01-28 (주)태양이엔시 Panel board protection case for apartment house
KR20130117391A (en) * 2012-04-17 2013-10-28 (주) 디지털파워 Switchgear with high, low busbar of wireless monitoring
KR101847971B1 (en) * 2017-12-04 2018-04-11 (주)와이제이솔루션 Image processing based switchgear monitoring device
JP2020156131A (en) * 2019-03-18 2020-09-24 三菱電機株式会社 Electrical facility inspection device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
대한민국 특허출원 등록번호 제10-1035109(2011년 05월 09일 등록)호 "전기실과 수배전반의 출입 및 안전관리장치 및 그 방법(Admission and safe operation management device of electricity room and switch board, and a management method using the same)"
대한민국 특허출원 등록번호 제10-1055336(2011년 08월 02일 등록)호 "수배전반 통합 안전관리 시스템(SAFETY MANAGEMENT SYSTEM FOR SWITCHBOARD)"

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536635B1 (en) * 2022-09-16 2023-05-26 (주)와이제이솔루션 A method for detecting the fastening state of a fastening part using an image processing-based switchgear monitoring device

Also Published As

Publication number Publication date
KR102424971B9 (en) 2022-12-05
KR102424971B1 (en) 2022-07-25

Similar Documents

Publication Publication Date Title
KR100984679B1 (en) Estimation system of detecting the deterioration of switchgear by using a heat image camera
KR101529818B1 (en) diagnosis system for monitoring status of switchboard
Huda et al. Application of infrared thermography for predictive/preventive maintenance of thermal defect in electrical equipment
CA2210864C (en) System for visual monitoring of operational indicators in an electric power system
KR101194021B1 (en) Distributing board using many area temperature sensing
Huda et al. A semi-automatic approach for thermographic inspection of electrical installations within buildings
KR100844961B1 (en) Method and system for automatically diagnosing electronic equipment using pattern recognition of thermal image
KR102154854B1 (en) The detection system of the electrical panel using AI and big data
CN112446854A (en) System for monitoring a switchgear
KR102424971B1 (en) Switchgear safety monitoring system applying matrix image reconstruction
KR200492549Y1 (en) Distributing panel
KR20200081088A (en) The implement method of smart solution for switchgear existing installed
CN110831727A (en) Unmanned and maintainable switching and control device and method for operating the same
KR102234242B1 (en) Disaster Prevention Status Alarm System for Power Equipment in Power plants
Kostic et al. Improved measurement accuracy of industrial-commercial thermal imagers when inspecting low-voltage electrical installations
US20220057271A1 (en) Apparatus for monitoring a switchgear
Durocher et al. Infrared windows applied in switchgear assemblies: Taking another look
KR102214964B1 (en) Switchgear with deterioration diagnosis system that eliminates blind spots
KR101528833B1 (en) switchboard having device for monitoring state of busbar in real time and method for monitoring thereof
Jamshidieini et al. Detecting defective electrical components in heterogeneous infra-red images by spatial control charts
KR20210133436A (en) Method of preventing false-alarm of temperature diagnosis using thermal camera
Azmat et al. Infrared thermography and its role in rural utility environment
CN114998766A (en) Image recognition-based power high-voltage equipment fault detection method
KR20170028119A (en) System and method for ark detection
KR102300611B1 (en) A distributing board capable of vision monitoring

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]