KR20230037907A - Real-time remote cross facilitates management and inspectioin system - Google Patents

Real-time remote cross facilitates management and inspectioin system Download PDF

Info

Publication number
KR20230037907A
KR20230037907A KR1020210121035A KR20210121035A KR20230037907A KR 20230037907 A KR20230037907 A KR 20230037907A KR 1020210121035 A KR1020210121035 A KR 1020210121035A KR 20210121035 A KR20210121035 A KR 20210121035A KR 20230037907 A KR20230037907 A KR 20230037907A
Authority
KR
South Korea
Prior art keywords
inspection
management
module
image
facility
Prior art date
Application number
KR1020210121035A
Other languages
Korean (ko)
Inventor
나기성
박성준
오병섭
Original Assignee
나기성
박성준
오병섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나기성, 박성준, 오병섭 filed Critical 나기성
Priority to KR1020210121035A priority Critical patent/KR20230037907A/en
Publication of KR20230037907A publication Critical patent/KR20230037907A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to a real-time remote cross facility management and inspection system comprising: a CCTV camera which captures and transmits management inspection videos for factory machine equipment or firefighting equipment; a concerned person (worker or the like) mobile device (PDA, smartphone, and the like) which captures and transmits management inspection images of the factory machine equipment or the firefighting equipment by operation of a concerned person (worker or the like); a remote PC terminal which receives the management inspection videos captured by the CCTV camera and retransmits the received management inspection videos; a machine and firefighting equipment management and inspection company terminal which receives the management inspection images from the concerned person (worker or the like) mobile device (PDA, smartphone, and the like), receives the management inspection videos from the remote PC terminal, and performs primary labeling on the management inspection images or the management inspection videos according to the input of a machine and firefighting equipment management and inspection provider and retransmits the same when the received management inspection images or management inspection videos are visually confirmed by the machine and firefighting equipment management and inspection provider; a cloud inspection manager terminal which performs final labeling on the management inspection images or the management inspection videos according to the input of an inspection manager and uploads the same when the management inspection images or the management inspection videos, on which the primary labeling is performed by the machine and firefighting equipment management and inspection company terminal, are visually confirmed by the inspection manager; and a cloud server which backs up and stores the management inspection images or the management inspection videos uploaded by a cloud inspection manager terminal. Therefore, the machine and firefighting equipment management and inspection provider can secure desired facility management and inspection images without having to personally visit fields.

Description

실시간 원격 크로스 설비관리·시설점검 시스템{REAL-TIME REMOTE CROSS FACILITATES MANAGEMENT AND INSPECTIOIN SYSTEM} Real-time remote cross facility management/facility inspection system {REAL-TIME REMOTE CROSS FACILITATES MANAGEMENT AND INSPECTIOIN SYSTEM}

본 발명은 원격 크로스 설비관리·시설점검 시스템에 관한 것으로서, 구체적으로는 실시간 원격 크로스 설비관리·시설점검 시스템에 관한 것이고, 좀 더 구체적으로는 관계자(작업자 등)의 모바일 디바이스(PDA, 스마트폰 등)를 이용한 실시간 원격 크로스 설비관리 및 시설에 대한 점검에 관한 것이다.The present invention relates to a remote cross facility management/facility inspection system, specifically, to a real-time remote cross facility management/facility inspection system, and more specifically to a mobile device (PDA, smartphone, etc.) of a person concerned (worker, etc.) ), real-time remote cross facility management and facility inspection.

공동주택, 공장 등의 각종 기계설비나 소방시설에 대해 수많은 소방관리 업체에서 직접 현장에 나가 점검을 수행하지만, 코로나19 팬더믹(pandemic)으로 인하여 현장으로 점검을 나가는 것이 매우 불편하고, 점검을 하기 어려운 경우가 자주 발생하고 있다.Many fire management companies directly go to the site to inspect various mechanical facilities or firefighting facilities such as apartment houses and factories, but due to the COVID-19 pandemic, it is very inconvenient to go out to the site for inspection, and it is difficult to inspect. Difficult cases often arise.

이에, 정기적인 현장 설비점검(기계설비나 소방시설 점검)을 하지 않더라도 전문가의 현장 설비점검을 대신하여 공동주택, 공장 등의 각종 기계설비나 소방시설에 대한 점검을 할 수 있는 방안이 요구되고 있다.Therefore, there is a demand for a plan that can inspect various mechanical facilities or firefighting facilities in apartment houses, factories, etc., instead of field facility inspections by experts, even if regular field facility inspections (mechanical facilities or firefighting facility inspections) are not performed. .

현재로서는 현장 관계자(작업자 등)를 이용한 설비점검 대체 방안이 모색될 필요가 있으며, CCTV가 있는 현장과 CCTV가 없는 시설현장에서도 유용하게 정확한 점검이 이루어질 수 있는 방안을 찾아낼 필요가 있다.Currently, it is necessary to find alternative methods for facility inspection using field personnel (workers, etc.), and it is necessary to find a method that can be usefully and accurately inspected at sites with CCTVs and facilities without CCTVs.

공개특허공보 10-2018-0138484Publication of Patent Publication 10-2018-0138484 등록특허공보 10-1097409Registered Patent Publication 10-1097409

본 발명의 목적은 실시간 원격 크로스 설비관리·시설점검 시스템을 제공하는 데 있다.An object of the present invention is to provide a real-time remote cross facility management/facility inspection system.

상술한 본 발명의 목적에 따른 실시간 원격 크로스 설비관리·시설점검 시스템은, 공동주택, 공장 등의 기계설비 또는 소방설비의 설비관리·시설점검 이미지 또는 동영상을 촬영하여 송신하는 CCTV 카메라; 관계자(작업자 등)에 조작에 의해 상기 공장 기계설비 또는 상기 소방설비의 설비관리·시설점검 이미지를 촬영하여 송신하는 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등); 상기 CCTV 카메라에서 촬영된 설비관리·시설점검 동영상을 수신하고, 수신된 설비관리·시설점검 동영상을 재송신하는 원격 PC 단말; 상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)로부터 설비관리·시설점검 이미지를 수신하고, 상기 원격 PC 단말기로부터 설비관리·시설점검 동영상을 수신하고, 수신된 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상에 대해 설비관리·시설점검업자에 의해 육안 확인이 되면 상기 설비관리·시설점검업자의 입력에 따라 해당 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상에 대해 1차 레이블링을 수행하고 재송신하는 기계 및 소방설비 관리·시설점검업체 단말; 상기 기계 및 소방설비 관리·시설점검업체 단말로부터 1차 레이블링이 된 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상에 대해 점검 책임자에 의해 육안 확인이 되면 상기 점검 책임자의 입력에 따라 해당 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상에 대한 최종 레이블링을 수행하고 업로드하는 클라우드 점검책임자 단말; 상기 클라우드 점검책임자 단말에 의해 업로드되는 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 백업 저장하는 클라우드 서버를 포함하도록 구성될 수 있다.The real-time remote cross facility management/facility inspection system according to the object of the present invention described above includes a CCTV camera that shoots and transmits a facility management/facility inspection image or video of machinery or firefighting equipment in an apartment house or factory; A mobile device (PDA, smart phone, etc.) of the person concerned (worker, etc.) that shoots and transmits a facility management/facility inspection image of the factory machinery or the firefighting equipment by manipulation to the person concerned (worker, etc.); a remote PC terminal for receiving a facility management/facility inspection video filmed by the CCTV camera and retransmitting the received facility management/facility inspection video; Facility management/facility inspection image is received from the mobile device (PDA, smartphone, etc.) of the person concerned (worker, etc.), facility management/facility inspection video is received from the remote PC terminal, and the received facility management/facility inspection image or When a facility management/facility inspection video is visually confirmed by a facility management/facility inspection company, primary labeling is performed for the facility management/facility inspection image or facility management/facility inspection video according to the input of the facility management/facility inspection company. Machinery and firefighting equipment management/facility inspection company terminals that perform and retransmit; When the facility management/facility inspection image or facility management/facility inspection video that has been labeled as the primary label from the machine and firefighting facility management/facility inspection company terminal is visually checked by the person in charge of inspection, the facility is managed according to the input of the person in charge of inspection. · A cloud inspection manager terminal that performs final labeling on facility inspection images or facility management/facility inspection videos and uploads them; It may be configured to include a cloud server for backing up and storing a facility management/facility inspection image or a facility management/facility inspection video uploaded by the cloud inspection manager terminal.

여기서, 상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)는, 상기 공동주택, 공장 등의 기계설비 또는 상기 소방설비를 촬영하여 설비관리·시설점검 이미지를 생성하고 디스플레이 상에 표시하는 촬영 모듈; 상기 촬영 모듈에 의해 생성된 설비관리·시설점검업체 단말로 송신하는 이미지 송신 모듈; 상기 기계 및 소방설비 관리·시설점검업체 단말에 의해 재촬영 지시를 수신하는 경우, 해당 공장 기계설비 또는 해당 소방설비를 재촬영하여 설비관리·시설점검 이미지를 재생성하는 재촬영 자동 제어 모듈을 포함하도록 구성될 수 있다.Here, the mobile device (PDA, smartphone, etc.) of the person concerned (worker, etc.) takes a picture of the apartment house, factory, etc., or the firefighting equipment, generates a facility management/facility inspection image, and displays it on a display. module; an image transmission module for transmitting the image generated by the photographing module to a facility management/facility inspection company terminal; To include a re-shooting automatic control module that re-photographs the factory machinery or fire-fighting equipment to regenerate the facility management/facility inspection image when a re-shooting instruction is received by the machine and fire-fighting equipment management/facility inspection company terminal can be configured.

그리고 상기 기계 및 소방설비 관리·시설점검업체 단말은, 상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)의 이미지 송신 모듈 또는 상기 원격 PC 단말로부터 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 수신하는 이미지 수신 모듈; 상기 이미지 수신 모듈에서 수신된 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 상기 기계 및 소방설비 관리·시설점검업자가 육안 확인할 수 있도록 표시하는 디스플레이 모듈; 상기 기계 및 소방 관리점검업자의 육안 확인 및 입력에 따라 상기 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상에 1차 레이블링을 수행하는 1차 레이블링 모듈; 상기 1차 레이블링 모듈에서 1차 레이블링이 수행된 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 상기 클라우드 점검책임자 단말로 송신하는 이미지 송신 모듈; 상기 기계 및 소방설비 관리·시설점검업자의 육안 확인 결과에 따라 재촬영이 필요한 경우, 상기 기계 및 소방설비 관리·시설점검업자의 입력에 따라 재촬영 지시를 상기 재촬영 자동 제어 모듈로 송신하는 상기 재촬영 지시 모듈을 포함하도록 구성될 수 있다.In addition, the machine and firefighting equipment management/facility inspection company terminal is a facility management/facility inspection image or facility management/facility image transmission module of a mobile device (PDA, smartphone, etc.) of the person concerned (worker, etc.) or the remote PC terminal. An image receiving module for receiving an inspection video; a display module that displays the facility management/facility inspection image or facility management/facility inspection video received from the image receiving module so that the machinery and firefighting facility management/facility inspection operator can visually check; A primary labeling module for performing primary labeling on the facility management/facility inspection image or the facility management/facility inspection video according to visual confirmation and input of the machine and fire management inspection operator; an image transmission module for transmitting a facility management/facility inspection image or a facility management/facility inspection video in which the primary labeling has been performed in the primary labeling module to the cloud inspection manager terminal; If re-shooting is necessary according to the visual confirmation result of the machine and fire-fighting equipment management and facility inspection company, the re-shooting instruction is transmitted to the re-shooting automatic control module according to the input of the machine and fire-fighting equipment management and facility inspection company. It may be configured to include a re-photographing instruction module.

그리고 상기 클라우드 점검책임자 단말은, 상기 소방설비 점검업체 단말의 이미지 송신 모듈로부터 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 수신하는 이미지 수신 모듈; 상기 이미지 수신 모듈에서 수신된 설비관리·시설점검 이미지 또는 설비관리·시설점검 동영상을 상기 점검 책임자가 육안 확인할 수 있도록 표시하는 디스플레이 모듈; 상기 점검 책임자의 육안 확인 결과 및 상기 점검 책임자의 입력에 따라 점검을 수행하는 점검책임자 점검 모듈; 상기 점검책임자 점검 모듈에서 수행된 점검에 따라 상기 설비관리·시설점검 이미지 또는 상기 설비관리·시설점검 동영상에 대해 최종 레이블링을 수행하여 최종 이미지를 생성하는 최종 레이블링 모듈; 상기 최종 레이블링 모듈에서 생성된 최종 이미지를 상기 클라우드 서버로 업로드하는 최종 이미지 송신 모듈; 상기 점검책임자 점검 모듈에서 수행된 점검 결과에 따라 보고서를 자동 생성하는 보고서 자동 생성 모듈; 상기 보고서 자동 생성 모듈에서 자동 생성된 보고서를 상기 클라우드 서버로 업로드하는 보고서 업로드 모듈을 포함하도록 구성될 수 있다.The cloud inspection manager terminal includes an image receiving module for receiving a facility management/facility inspection image or a facility management/facility inspection video from the image transmission module of the firefighting facility inspection company terminal; a display module for displaying the facility management/facility inspection image or the facility management/facility inspection video received from the image receiving module so that the person in charge of the inspection can visually check; An inspection manager inspection module that performs inspection according to the visual confirmation result of the inspection manager and the input of the inspection manager; A final labeling module for generating a final image by performing final labeling on the facility management/facility inspection image or the facility management/facility inspection video according to the inspection performed by the inspection manager inspection module; a final image transmission module uploading the final image generated by the final labeling module to the cloud server; an automatic report generation module for automatically generating a report according to the inspection result performed by the inspector inspection module; It may be configured to include a report upload module for uploading the report automatically generated by the report automatic generation module to the cloud server.

그리고 상기 클라우드 서버는, 상기 클라우드 점검책임자 단말의 최종 이미지 송신 모듈로부터 업로드되는 최종 이미지를 수신하는 최종 이미지 수신 모듈; 상기 최종 이미지 수신 모듈에서 수신된 최종 이미지의 최종 레이블의 확인하는 최종 레이블 확인 모듈; 상기 최종 레이블 확인 모듈에서 확인된 최종 레이블을 분류하는 최종 이미지 분류 모듈; 상기 최종 이미지 분류 모듈에서 분류된 최종 레이블에 따라 상기 최종 이미지가 백업 저장되는 최종 이미지 데이터베이스; 상기 최종 이미지 데이터베이스에 백업 저장된 최종 이미지를 인식하는 최종 이미지 인식 모듈; 상기 최종 이미지 인식 모듈에 인식된 최종 이미지를 기존에 이미 백업 저장된 최종 이미지와 자동 대비하는 최종 이미지 자동 대비 모듈; 상기 최종 이미지 자동 대비 모듈의 자동 대비 결과에 따라 해당 시설을 자동 점검하여 점검 결과를 출력하는 시설 자동 점검 모듈; 상기 클라우드 점검책임자 단말의 보고서 업로드 모듈로부터 업로드되는 보고서를 수신하는 보고서 수신 모듈; 상기 보고서 수신 모듈에서 수신된 보고서가 백업 저장되는 보고서 데이터베이스를 포함하도록 구성될 수 있다.And the cloud server, the final image receiving module for receiving the final image uploaded from the final image transmission module of the cloud inspection manager terminal; a final label verification module for verifying a final label of the final image received by the final image receiving module; a final image classification module classifying the final label identified in the final label identification module; a final image database in which the final image is backup-stored according to the final label classified by the final image classification module; a final image recognition module recognizing a final image backed up and stored in the final image database; a final image automatic comparison module for automatically comparing the final image recognized by the final image recognition module with a previously stored final image; an automatic facility inspection module for automatically inspecting a corresponding facility according to an automatic contrast result of the final image automatic contrast module and outputting an inspection result; a report receiving module for receiving a report uploaded from a report uploading module of the cloud inspector terminal; It may be configured to include a report database in which reports received by the report receiving module are backed up and stored.

상술한 실시간 원격 크로스 설비관리·시설점검 시스템에 의하면, 현장 관계자(작업자 등)가 직접 설치된 CCTV의 이미지나 동영상과 모바일 디바이스(PDA, 스마트폰 등)를 이용하여 공동주택, 공장 등의 기계설비나 소방설비를 직접 촬영하여 이미지를 기계 및 소방설비 관리·시설점검업체로 송신하여 1차 확인을 받도록 구성됨으로써, 기계 및 소방설비 관리·시설점검업자가 직접 현장을 일일이 방문하지 않아도 원하는 설비관리·시설점검 이미지를 확보할 수 있는 효과가 있다.According to the above-mentioned real-time remote cross facility management/facility inspection system, field personnel (workers, etc.) directly install CCTV images or videos and mobile devices (PDAs, smartphones, etc.) By directly photographing the firefighting equipment and sending the image to the machine and firefighting equipment management/facility inspection company to receive the first confirmation, the machine and firefighting equipment management/facility inspection company does not have to visit the site individually to manage the facility/facility they want. It has the effect of securing an inspection image.

특히, 여러 기계 및 소방설비 관리·시설점검업체 단말로부터 1차 레이블링이 된 이미지를 취합하여 점검책임자가 직접 점검을 하여 서버에 업로드하며, 이를 동일한 설비 부위의 이미지를 자동 인식하고, 시간의 경과에 따라 자동으로 대비하도록 구성됨으로써, 공장 기계설비나 소방설비의 노후화나 고장, 문제 등을 자동으로 파악해낼 수 있는 효과가 있다.In particular, the primary labeled images are collected from terminals of various machinery and firefighting equipment management and facility inspection companies, and the person in charge of inspection directly inspects them and uploads them to the server. By being configured to automatically prepare according to, there is an effect that can automatically identify the deterioration, breakdown, problems, etc. of factory machinery or firefighting equipment.

도 1은 본 발명의 일 실시예에 따른 실시간 원격 크로스 설비관리·시설점검 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 설비 촬영 및 데이터 전송의 모식도이다.
도 3은 본 발명의 일 실시예에 따른 냉각식/비냉각식 열화상 센서와 기시광선 촬영 영상 차이를 나타내는 이미지이다.
도 4는 본 발명의 일 실시예에 따른 열을 영상신호로 변환하는 기술에 대한 모식도이다.
도 5는 본 발명의 일 실시예에 따른 열을 영상신호 기술의 화질차이를 나타내는 이미지이다.
도 6은 본 발명의 일 실시예에 따른 스마트폰을 활용한 망원렌즈 및 열영상 센서를 부착한 촬영 장치의 실물 구성도이다.
도 7은 본 발명의 일 실시예에 따른 실시간 원격 크로스 설비관리·시설점검 방법의 흐름도이다.
1 is a block diagram of a real-time remote cross facility management/facility inspection system according to an embodiment of the present invention.
2 is a schematic diagram of equipment shooting and data transmission according to an embodiment of the present invention.
3 is an image showing a difference between a cooled/uncooled thermal imaging sensor and a ray imaging image according to an embodiment of the present invention.
4 is a schematic diagram of a technique for converting a column into a video signal according to an embodiment of the present invention.
5 is an image showing a difference in image quality of a video signal technology using a column according to an embodiment of the present invention.
6 is a physical configuration diagram of a photographing device to which a telephoto lens and a thermal image sensor are attached using a smartphone according to an embodiment of the present invention.
7 is a flowchart of a real-time remote cross facility management/facility inspection method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in specific contents for practicing the invention. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 실시간 원격 크로스 설비관리·시설점검 시스템의 블록 구성도이다. 그리고 도 2는 본 발명의 일 실시예에 따른 설비 촬영 및 데이터 전송의 모식도이고, 도 3은 본 발명의 일 실시예에 따른 냉각식/비냉각식 열화상 센서와 기시광선 촬영 영상 차이를 나타내는 이미지이고, 도 4는 본 발명의 일 실시예에 따른 열을 영상신호로 변환하는 기술에 대한 모식도이고, 도 5는 본 발명의 일 실시예에 따른 열을 영상신호 기술의 화질차이를 나타내는 이미지이고, 도 6은 본 발명의 일 실시예에 따른 스마트폰을 활용한 망원렌즈 및 열영상 센서를 부착한 촬영 장치의 실물 구성도이다.1 is a block diagram of a real-time remote cross facility management/facility inspection system according to an embodiment of the present invention. 2 is a schematic diagram of facility imaging and data transmission according to an embodiment of the present invention, and FIG. 3 is an image showing a difference between a cooled/uncooled thermal imaging sensor and a ray imaging image according to an embodiment of the present invention. 4 is a schematic diagram of a technology for converting a column into a video signal according to an embodiment of the present invention, and FIG. 5 is an image showing a difference in image quality of a video signal technology using a column according to an embodiment of the present invention, 6 is a physical configuration diagram of a photographing device to which a telephoto lens and a thermal image sensor are attached using a smartphone according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 원격 크로스 설비관리·시설점검 시스템(100)은 CCTV 카메라(110), 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120), 원격 PC 단말(130), 기계 및 소방설비 관리·시설점검업체 단말(140), 클라우드 점검책임자 단말(150), 클라우드 서버(160)를 포함하도록 구성될 수 있다.Referring to FIG. 1, the real-time remote cross facility management/facility inspection system 100 according to an embodiment of the present invention includes a CCTV camera 110, a related person (worker, etc.) mobile device (PDA, smartphone, etc.) 120 , It may be configured to include a remote PC terminal 130, a machine and firefighting equipment management/facility inspection company terminal 140, a cloud inspection manager terminal 150, and a cloud server 160.

먼저 본 발명은 도 2에서 보듯이 기본적으로 기계 설비(10) 또는 소방 설비(20)의 데이터를 수집하고 전송하여 점검하는 방식으로 운영된다.First, as shown in FIG. 2, the present invention is basically operated by collecting, transmitting, and checking data of the mechanical equipment 10 or the firefighting equipment 20.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

CCTV 카메라(110)는 공동주택, 공장 등의 기계 설비(10) 또는 소방 설비(20)의 관리 점검 동영상을 촬영하여 송신하도록 구성될 수 있다.The CCTV camera 110 may be configured to capture and transmit a management inspection video of a mechanical facility 10 or firefighting facility 20 such as an apartment house or a factory.

관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)은 관계자(작업자 등)에 조작에 의해 공장 기계 설비(10) 또는 소방 설비(20)의 관리 점검 이미지를 촬영하여 송신하도록 구성될 수 있다. 현장의 현장의 관계자(작업자 등)은 직접 공장 기계 설비(10)나 소방 설비(20)의 특정 부위나 영역을 촬영할 수 있다.A mobile device (PDA, smartphone, etc.) 120 of a person concerned (worker, etc.) is configured to photograph and transmit a management inspection image of the factory machinery 10 or firefighting equipment 20 by manipulation to the person concerned (worker, etc.) can A person concerned (workers, etc.) at the site may directly photograph a specific part or area of the factory machinery equipment 10 or the firefighting equipment 20.

관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)은 촬영 모듈(121), 이미지 송신 모듈(122), 재촬영 자동 제어 모듈(123)을 포함하도록 구성될 수 있다.A mobile device (PDA, smartphone, etc.) 120 of a person (worker, etc.) may be configured to include a photographing module 121, an image transmission module 122, and an automatic re-capture control module 123.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

촬영 모듈(121)은 공동주택, 공장 등의 기계 설비(10) 또는 소방 설비(20)를 촬영하여 관리 점검 이미지를 생성하고 디스플레이(미도시) 상에 표시하도록 구성될 수 있다. 사각지대의 영상은 냉각식/비냉각식 열화상 센서 또는 망원렌즈 등을 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)에 부착하여 해상도를 높여 촬영하고 전송하도록 구성된다. 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)에 냉각식/비냉각식 열화상 센서 또는 망원렌즈 등을 부착한 것은 도 6에 예시되어 있다.The photographing module 121 may be configured to photograph the mechanical equipment 10 or the firefighting equipment 20 of an apartment house, a factory, or the like, generate a management inspection image, and display the image on a display (not shown). The image of the blind spot is configured to be photographed and transmitted with a high resolution by attaching a cooled/uncooled thermal image sensor or a telephoto lens to a mobile device (PDA, smartphone, etc.) 120 of a person concerned (worker, etc.). Attaching a cooled/uncooled thermal image sensor or a telephoto lens to a mobile device (PDA, smartphone, etc.) 120 of a person concerned (worker, etc.) is illustrated in FIG. 6 .

도 3에서 보듯이 열영상과 가시광선영상은 화질 차이를 나타낸다.As shown in FIG. 3, a thermal image and a visible ray image show a difference in quality.

열영상은 도 4와 같은 방식으로 생성될 수 있는데, 도 5는 비냉각형 적외선 열영상 센서에 의해 모든 물체에서 복사되는 적외선 영역 중 식별에 유리한 원적외선을 검출, 실시간 온도 차이로 영상을 구현하는 것을 나타낸다. 기존 광자형 센서보다 가격면에서 우위를 점하고 있고, 소형화가 가능한 장점이 있다.A thermal image can be generated in the same way as shown in FIG. 4. FIG. 5 shows that an uncooled infrared thermal imaging sensor detects far-infrared rays that are advantageous for identification among infrared regions radiated from all objects and implements an image with a real-time temperature difference. . It has an advantage over existing photonic sensors in terms of price and can be miniaturized.

이미지 송신 모듈(122)은 촬영 모듈(121)에 의해 생성된 관리 점검 이미지를 기계 및 소방설비 관리·시설점검업체 단말(140)로 송신하도록 구성될 수 있다.The image transmission module 122 may be configured to transmit the management inspection image generated by the photographing module 121 to the machine and firefighting equipment management/facility inspection company terminal 140 .

재촬영 자동 제어 모듈(123)은 기계 및 소방설비 관리·시설점검업체 단말(120)에 의해 재촬영 지시를 수신하는 경우, 해당 공동주택, 공장 등의 기계설비(10) 또는 해당 소방 설비(20)를 재촬영하여 관리 점검 이미지를 재생성하도록 구성될 수 있다.When the re-shooting automatic control module 123 receives a re-shooting instruction from the machine and fire-fighting equipment management/facility inspection company terminal 120, the machine equipment 10 of the apartment house, factory, or the corresponding fire-fighting equipment 20 ) to recreate the management inspection image.

여기서, 이미지 송신 모듈(122)은 재촬영 자동 제어 모듈(123)에 의해 재생성된 관리 점검 이미지를 기계 및 소방설비 관리·시설점검업체 단말(120)로 재송신하도록 구성될 수 있다.Here, the image transmission module 122 may be configured to retransmit the management inspection image regenerated by the recapture automatic control module 123 to the machine and firefighting equipment management/facility inspection company terminal 120 .

원격 PC 단말(130)은 CCTV 카메라(110)에서 촬영된 관리 점검 동영상을 수신하고, 수신된 관리 점검 동영상을 재송신하도록 구성될 수 있다.The remote PC terminal 130 may be configured to receive a management inspection video taken by the CCTV camera 110 and retransmit the received management inspection video.

기계 및 소방설비 관리·시설점검업체 단말(140)은 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)으로부터 관리 점검 이미지를 수신하고, 원격 PC 단말(130)로부터 관리 점검 동영상을 수신하고, 수신된 관리 점검 이미지 또는 관리 점검 동영상에 대해 기계 및 소방설비 관리·시설점검업자에 의해 육안 확인이 되면 기계 및 소방설비 관리·시설점검업자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대해 1차 레이블링을 수행하고 재송신하도록 구성될 수 있다.The machine and firefighting equipment management/facility inspection company terminal 140 receives a management inspection image from a mobile device (PDA, smartphone, etc.) received, and if the received management inspection image or management inspection video is visually confirmed by the machinery and firefighting equipment management/facility inspection company, the management inspection image or management inspection video is received according to the input of the machinery and firefighting equipment management/facility inspection company It can be configured to perform primary labeling on and retransmit.

기계 및 소방설비 관리·시설점검업체 단말(140)은 이미지 수신 모듈(141), 디스플레이 모듈(142), 1차 레이블링 모듈(143), 이미지 송신 모듈(144), 재촬영 지시 모듈(145)을 포함하도록 구성될 수 있다.The machine and firefighting facility management/facility inspection company terminal 140 includes an image reception module 141, a display module 142, a primary labeling module 143, an image transmission module 144, and a re-shooting instruction module 145. can be configured to include

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

이미지 수신 모듈(141)은 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)의 이미지 송신 모듈(122) 또는 원격 PC 단말(130)로부터 관리 점검 이미지 또는 관리 점검 동영상을 수신하도록 구성될 수 있다.The image receiving module 141 is configured to receive a management inspection image or a management inspection video from the image transmission module 122 of a mobile device (PDA, smartphone, etc.) 120 of a person concerned (worker, etc.) or a remote PC terminal 130. It can be.

디스플레이 모듈(142)은 이미지 수신 모듈(141)에서 수신된 관리 점검 이미지 또는 관리 점검 동영상을 기계 및 소방설비 관리·시설점검업자가 육안 확인할 수 있도록 표시하도록 구성될 수 있다. 이때, 기계 및 소방설비 관리·시설점검업자는 육안 확인 결과 관리 점검 이미지가 잘못 촬영 된 경우에는 이를 현장 관계자(작업자 등)에게 다시 촬영하도록 재촬영 지시를 할 수 있다.The display module 142 may be configured to display the management inspection image or management inspection video received from the image receiving module 141 so that a machine and firefighting equipment management/facility inspection operator can visually check. At this time, the machine and firefighting equipment management/facility inspection company may instruct the field personnel (workers, etc.) to retake the photographing again if the management inspection image is captured incorrectly as a result of the visual confirmation.

1차 레이블링 모듈(143)은 기계 및 소방설비 관리·시설점검업자의 육안 확인 및 입력에 따라 관리 점검 이미지 또는 관리 점검 동영상에 1차 레이블링을 수행하도록 구성될 수 있다. 즉, 기계 및 소방설비 관리·시설점검업자의 육안 확인 결과 촬영이 제대로 된 경우에는 1차 레이블링을 수행한다.The primary labeling module 143 may be configured to perform primary labeling on a management inspection image or a management inspection video according to visual confirmation and input of a machine and firefighting equipment manager/facility inspection operator. That is, as a result of visual confirmation by the machine and firefighting equipment management/facility inspection company, if the shooting is successful, the first labeling is performed.

이미지 송신 모듈(144)은 1차 레이블링 모듈(143)에서 1차 레이블링이 수행된 관리 점검 이미지 또는 관리 점검 동영상을 클라우드 점검책임자 단말(150)로 송신하도록 구성될 수 있다.The image transmission module 144 may be configured to transmit a management inspection image or a management inspection video on which the primary labeling is performed in the primary labeling module 143 to the cloud inspection manager terminal 150 .

재촬영 지시 모듈(145)은 기계 및 소방설비 관리·시설점검업자의 육안 확인 결과에 따라 재촬영이 필요한 경우, 기계 및 소방설비 관리·시설점검업자의 입력에 따라 재촬영 지시를 재촬영 자동 제어 모듈(123)로 송신하도록 구성될 수 있다.The re-shooting instruction module 145 automatically controls the re-shooting instruction according to the input of the machine and fire-fighting equipment manager and facility inspector when re-shooting is necessary according to the visual confirmation result of the machine and fire-fighting equipment manager and facility inspector. may be configured to transmit to module 123.

클라우드 점검책임자 단말(150)은 기계 및 소방설비 관리·시설점검업체 단말(140)로부터 1차 레이블링이 된 관리 점검 이미지 또는 관리 점검 동영상에 대해 점검 책임자에 의해 육안 확인이 되면 점검 책임자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대한 최종 레이블링을 수행하고 업로드하도록 구성될 수 있다.When the cloud inspection manager terminal 150 visually checks the management inspection image or management inspection video that has been labeled as the primary from the machine and firefighting equipment management/facility inspection company terminal 140 by the inspection manager, according to the inspection manager's input It may be configured to upload and perform final labeling on the corresponding management check image or management check video.

클라우드 점검책임자 단말(150)은 이미지 수신 모듈(151), 디스플레이 모듈(152), 점검책임자 점검 모듈(153), 최종 레이블링 모듈(154), 최종 이미지 송신 모듈(155), 보고서 자동 생성 모듈(156), 보고서 업로드 모듈(157)을 포함하도록 구성될 수 있다.The cloud inspector terminal 150 includes an image reception module 151, a display module 152, an inspection supervisor inspection module 153, a final labeling module 154, a final image transmission module 155, and an automatic report generation module 156. ), a report upload module 157.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

이미지 수신 모듈(151)은 기계 및 소방설비 관리·시설점검업체 단말(140)의 이미지 송신 모듈로(144)부터 관리 점검 이미지 또는 관리 점검 동영상을 수신하도록 구성될 수 있다.The image receiving module 151 may be configured to receive a management inspection image or a management inspection video from the image transmission module 144 of the machine and firefighting equipment management/facility inspection company terminal 140 .

디스플레이 모듈(152)은 이미지 수신 모듈(151)에서 수신된 관리 점검 이미지 또는 관리 점검 동영상을 점검 책임자가 육안 확인할 수 있도록 표시하도록 구성될 수 있다. 점검책임자는 육안 확인을 한 후 최종 레이블링을 할지 여부를 판단할 수 있다.The display module 152 may be configured to display the management inspection image or the management inspection video received from the image reception module 151 so that a person in charge of inspection can visually check. The person in charge of inspection can determine whether to perform final labeling after visual inspection.

점검책임자 점검 모듈(153)은 점검 책임자의 육안 확인 결과 및 점검 책임자의 입력에 따라 점검을 수행하도록 구성될 수 있다.The inspection manager inspection module 153 may be configured to perform inspection according to the result of the inspection manager's visual confirmation and the inspection manager's input.

최종 레이블링 모듈(154)은 점검책임자 점검 모듈(153)에서 수행된 점검에 따라 관리 점검 이미지 또는 관리 점검 동영상에 대해 최종 레이블링을 수행하여 최종 이미지를 생성하도록 구성될 수 있다.The final labeling module 154 may be configured to generate a final image by performing final labeling on a management inspection image or a management inspection video according to the inspection performed by the inspector inspection module 153 .

최종 이미지 송신 모듈(155)은 최종 레이블링 모듈(154)에서 생성된 최종 이미지를 클라우드 서버(160)로 업로드하도록 구성될 수 있다.The final image transmission module 155 may be configured to upload the final image generated by the final labeling module 154 to the cloud server 160 .

보고서 자동 생성 모듈(156)은 점검책임자 점검 모듈(153)에서 수행된 점검 결과에 따라 보고서를 자동 생성하도록 구성될 수 있다. 즉, 점검 결과를 반영한 보고서를 자동 생성하여 기록을 남길 수 있다. 세부적인 사항들 노후화가 되었다거나 또는 짧은 기간 내에 고장이 예상된다는 등의 내용이 될 수 있다.The automatic report generation module 156 may be configured to automatically generate a report according to the inspection results performed by the inspection manager inspection module 153 . In other words, a report reflecting the inspection result can be automatically generated and recorded. It could be that the details are obsolete or that failure is expected in a short period of time.

보고서 업로드 모듈(157)은 보고서 자동 생성 모듈(156)에서 자동 생성된 보고서를 클라우드 서버(160)로 업로드하도록 구성될 수 있다.The report upload module 157 may be configured to upload the report automatically generated by the report auto-generation module 156 to the cloud server 160 .

클라우드 서버(160)는 클라우드 점검책임자 단말(150)에 의해 업로드되는 관리 점검 이미지 또는 관리 점검 동영상을 백업 저장하도록 구성될 수 있다.The cloud server 160 may be configured to backup and store a management inspection image or a management inspection video uploaded by the cloud inspection manager terminal 150 .

클라우드 서버(160)는 최종 이미지 수신 모듈(161), 최종 레이블 확인 모듈(162), 최종 이미지 분류 모듈(163), 최종 이미지 데이터베이스(164), 최종 이미지 인식 모듈(165), 최종 이미지 자동 대비 모듈(166), 시설 자동 점검 모듈(167), 보고서 수신 모듈(168), 보고서 데이터베이스(169)을 포함하도록 구성될 수 있다.The cloud server 160 includes a final image receiving module 161, a final label verification module 162, a final image classification module 163, a final image database 164, a final image recognition module 165, and a final image automatic contrast module. (166), a facility automatic inspection module 167, a report receiving module 168, and a report database 169.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, a detailed configuration will be described.

최종 이미지 수신 모듈(161)은 클라우드 점검책임자 단말(150)의 최종 이미지 송신 모듈(155)로부터 업로드되는 최종 이미지를 수신하도록 구성될 수 있다.The final image reception module 161 may be configured to receive a final image uploaded from the final image transmission module 155 of the cloud inspector terminal 150 .

최종 레이블 확인 모듈(162)은 최종 이미지 수신 모듈(161)에서 수신된 최종 이미지의 최종 레이블의 확인하도록 구성될 수 있다.The final label verification module 162 may be configured to verify the final label of the final image received in the final image receiving module 161 .

최종 이미지 분류 모듈(163)은 최종 레이블 확인 모듈(162)에서 확인된 최종 레이블을 분류하도록 구성될 수 있다.The final image classification module 163 may be configured to classify the final label identified in the final label verification module 162 .

최종 이미지 데이터베이스(164)는 최종 이미지 분류 모듈(163)에서 분류된 최종 레이블에 따라 최종 이미지가 백업 저장되도록 구성될 수 있다. 최종 레이블이 부가된 최종 이미지는 각 시설의 촬영 부위별로 시간의 흐름에 따라 저장되도록 구성될 수 있다.The final image database 164 may be configured to backup and store final images according to the final labels classified in the final image classification module 163 . The final image to which the final label is added may be configured to be stored according to the lapse of time for each photographed part of each facility.

최종 이미지 인식 모듈(165)은 최종 이미지 데이터베이스(164)에 백업 저장된 최종 이미지를 인식하도록 구성될 수 있다.The final image recognition module 165 may be configured to recognize the final image backed up and stored in the final image database 164 .

최종 이미지 자동 대비 모듈(166)은 최종 이미지 인식 모듈(165)에 인식된 최종 이미지를 기존에 이미 백업 저장된 최종 이미지와 자동 대비하도록 구성될 수 있다. 최종 이미지 데이터베이스(164)에 저장된 최종 이미지들을 시간의 흐름에 따라 이전의 최종 이미지와 현재의 최종 이미지를 자동 대비하고, 이를 통해 해당 시설의 부위의 노후화, 고장, 문제 등을 대비를 통해 확인할 수 있다. 여기서, 공장 기계 설비(10)나 소방 설비(20)의 동일한 촬영 영역 또는 동일한 촬영 부위의 최종 이미지들을 시간의 흐름에 따라 대비할 수 있다. 이는 이미지 인식(image recognition) 기술을 통해 자동 확인이 가능하다. 동일한 최종 이미지들은 동일한 형상과 윤곽을 가지는 것이 정상적이며, 시간의 흐름에 따라 고장이 발생하면 이러한 대비 결과 다른 결과를 나타낼 수 있다.The final image automatic comparison module 166 may be configured to automatically compare the final image recognized by the final image recognition module 165 with a previously stored final image. The final images stored in the final image database 164 are automatically compared with the previous final image and the current final image over time, and through this, deterioration, failure, problems, etc. of the part of the facility can be checked through comparison. . Here, final images of the same shooting area or the same shooting part of the factory machinery 10 or the firefighting equipment 20 may be compared over time. This can be automatically confirmed through image recognition technology. It is normal for the same final images to have the same shape and outline, and if a failure occurs over time, this contrast may show different results.

시설 자동 점검 모듈(167)은 최종 이미지 자동 대비 모듈(166)의 자동 대비 결과에 따라 해당 시설을 자동 점검하여 점검 결과를 출력하도록 구성될 수 있다.The automatic facility inspection module 167 may be configured to automatically inspect the corresponding facility according to the automatic contrast result of the final image automatic contrast module 166 and output the inspection result.

보고서 수신 모듈(168)은 클라우드 점검책임자 단말(150)의 보고서 업로드 모듈(157)로부터 업로드되는 보고서를 수신하도록 구성될 수 있다.The report receiving module 168 may be configured to receive a report uploaded from the report upload module 157 of the cloud inspector terminal 150 .

보고서 데이터베이스(169)는 보고서 수신 모듈(168)에서 수신된 보고서가 백업 저장되도록 구성될 수 있다.The report database 169 may be configured to store backups of reports received at the report receiving module 168 .

도 7은 본 발명의 일 실시예에 따른 실시간 원격 크로스 설비관리·시설점검 방법의 흐름도이다.7 is a flowchart of a real-time remote cross facility management/facility inspection method according to an embodiment of the present invention.

도 7을 참조하면, CCTV 카메라(110)가 공동주택, 공장 등의 기계 설비(10) 또는 소방 설비(20)의 관리 점검 동영상을 촬영하여 송신하고, 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)이 관계자(작업자 등)에 조작에 의해 공장 기계 설비(10) 또는 소방 설비(20)의 관리 점검 이미지를 촬영하여 송신한다(S101).Referring to FIG. 7, the CCTV camera 110 shoots and transmits a management inspection video of the mechanical equipment 10 or firefighting equipment 20 in an apartment house, factory, etc., and transmits it to a mobile device (PDA, smart phone, etc.) 120 photographs and transmits a management inspection image of the factory machine equipment 10 or the firefighting equipment 20 by manipulation to the person concerned (worker, etc.) (S101).

다음으로, 원격 PC 단말(130)이 CCTV 카메라(110)에서 촬영된 관리 점검 동영상을 수신하고, 수신된 관리 점검 동영상을 재송신한다(S102).Next, the remote PC terminal 130 receives the management inspection video taken by the CCTV camera 110 and retransmits the received management inspection video (S102).

다음으로, 기계 및 소방설비 관리·시설점검업체 단말(140)이 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)(120)으로부터 관리 점검 이미지를 수신한다(S103).Next, the machine and firefighting equipment management/facility inspection company terminal 140 receives a management inspection image from a mobile device (PDA, smartphone, etc.) 120 of a person concerned (worker, etc.) (S103).

다음으로, 기계 및 소방설비 관리·시설점검업체 단말(140)이 원격 PC 단말(130)로부터 관리 점검 동영상을 수신하고, 수신된 관리 점검 이미지 또는 관리 점검 동영상에 대해 기계 및 소방설비 관리·시설점검업자에 의해 육안 확인이 되면 기계 및 소방설비 관리·시설점검업자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대해 1차 레이블링을 수행하고 재송신한다(S104).Next, the machine and firefighting equipment management/facility inspection company terminal 140 receives the management inspection video from the remote PC terminal 130, and performs machine and firefighting equipment management/facility inspection on the received management inspection image or management inspection video. When visual confirmation is performed by the contractor, primary labeling is performed on the corresponding management inspection image or management inspection video according to the input of the machine and firefighting equipment management/facility inspection operator and retransmission (S104).

다음으로, 클라우드 점검책임자 단말(150)이 기계 및 소방설비 관리·시설점검업체 단말(140)로부터 1차 레이블링이 된 관리 점검 이미지 또는 관리 점검 동영상에 대해 점검 책임자에 의해 육안 확인이 되면 점검 책임자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대한 최종 레이블링을 수행하고 업로드한다(S105).Next, when the cloud inspection manager terminal 150 visually confirms the management inspection image or management inspection video that has been labeled as the primary from the machine and firefighting equipment management/facility inspection company terminal 140 by the inspection manager, According to the input, final labeling of the management inspection image or management inspection video is performed and uploaded (S105).

다음으로, 클라우드 서버(160)가 클라우드 점검책임자 단말(150)에 의해 업로드되는 관리 점검 이미지 또는 관리 점검 동영상을 백업 저장한다(S106).Next, the cloud server 160 backups and stores the management inspection image or management inspection video uploaded by the cloud inspection manager terminal 150 (S106).

다음으로, 현시점 라벨링된 데이터와 이전 점검된 데이터와 시기별 비교 보고서를 생성한다(S107).Next, a comparison report for each time period with the data labeled at the present time and the previously checked data is generated (S107).

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the above embodiments, those skilled in the art can understand that the present invention can be variously modified and changed without departing from the spirit and scope of the present invention described in the claims below. There will be.

110: CCTV 카메라
120: 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)
121: 촬영 모듈
122: 이미지 송신 모듈
123: 재촬영 자동 제어 모듈
130: 원격 PC 단말
140: 기계 및 소방설비 관리·시설점검업체 단말
141: 이미지 수신 모듈
142: 디스플레이 모듈
143: 1차 레이블링 모듈
144: 이미지 송신 모듈
145: 재촬영 지시 모듈
150: 클라우드 점검책임자 단말
151: 이미지 수신 모듈
152: 디스플레이 모듈
153: 점검책임자 점검 모듈
154: 최종 레이블링 모듈
155: 최종 이미지 송신 모듈
156: 보고서 자동 생성 모듈
157: 보고서 업로드 모듈
160: 클라우드 서버
161: 최종 이미지 수신 모듈
162: 최종 레이블 확인 모듈
163: 최종 이미지 분류 모듈
164: 최종 이미지 데이터베이스
165: 최종 이미지 인식 모듈
166: 최종 이미지 자동 대비 모듈
167: 시설 자동 점검 모듈
168: 보고서 수신 모듈
169: 보고서 데이터베이스
110: CCTV camera
120: Officials (workers, etc.) mobile devices (PDAs, smartphones, etc.)
121: shooting module
122: image transmission module
123: re-shooting automatic control module
130: remote PC terminal
140: Machinery and firefighting equipment management and facility inspection company terminal
141: image receiving module
142: display module
143: primary labeling module
144: image transmission module
145: re-shooting instruction module
150: Cloud inspection manager terminal
151: image receiving module
152: display module
153: inspection manager inspection module
154 final labeling module
155: final image transmission module
156: Report automatic generation module
157: report upload module
160: cloud server
161: final image receiving module
162 Final label verification module
163: final image classification module
164 Final image database
165: final image recognition module
166: final image auto-contrast module
167: Facility automatic inspection module
168: report receiving module
169: report database

Claims (5)

공장 기계 설비 또는 소방 설비의 관리 점검 동영상을 촬영하여 송신하는 CCTV 카메라;
관계자(작업자 등)에 조작에 의해 상기 공장 기계 설비 또는 상기 소방 설비의 관리 점검 이미지를 촬영하여 송신하는 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등);
상기 CCTV 카메라에서 촬영된 관리 점검 동영상을 수신하고, 수신된 관리 점검 동영상을 재송신하는 원격 PC 단말;
상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)으로부터 관리 점검 이미지를 수신하고, 상기 원격 PC 단말로부터 관리 점검 동영상을 수신하고, 수신된 관리 점검 이미지 또는 관리 점검 동영상에 대해 기계 및 소방설비 관리·시설점검업자에 의해 육안 확인이 되면 상기 기계 및 소방설비 관리·시설점검업자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대해 1차 레이블링을 수행하고 재송신하는 기계 및 소방설비 관리·시설점검업체 단말;
상기 기계 및 소방설비 관리·시설점검업체 단말로부터 1차 레이블링이 된 관리 점검 이미지 또는 관리 점검 동영상에 대해 점검 책임자에 의해 육안 확인이 되면 상기 점검 책임자의 입력에 따라 해당 관리 점검 이미지 또는 관리 점검 동영상에 대한 최종 레이블링을 수행하고 업로드하는 클라우드 점검책임자 단말;
상기 클라우드 점검책임자 단말에 의해 업로드되는 관리 점검 이미지 또는 관리 점검 동영상을 백업 저장하는 클라우드 서버를 포함하는 실시간 원격 크로스 설비관리·시설점검 시스템.
A CCTV camera for capturing and transmitting a video of maintenance and inspection of factory machinery or firefighting equipment;
A mobile device (PDA, smartphone, etc.) of a person (worker, etc.) for photographing and transmitting a management inspection image of the factory machinery or the firefighting equipment by manipulation to the person concerned (worker, etc.);
a remote PC terminal for receiving a management inspection video captured by the CCTV camera and retransmitting the received management inspection video;
Receives a management inspection image from the person concerned (worker, etc.) mobile device (PDA, smartphone, etc.), receives a management inspection video from the remote PC terminal, and receives the management inspection image or management inspection video for machinery and firefighting equipment Upon visual confirmation by the management/facility inspection company, the first labeling is performed on the management inspection image or management inspection video according to the input of the above machine and firefighting facility management/facility inspection company, and the machine and firefighting facility management/facility are retransmitted. inspection company terminal;
When the inspection manager visually checks the management inspection image or management inspection video that has been labeled as the primary label from the machine and firefighting equipment management/facility inspection company terminal, the corresponding management inspection image or management inspection video is displayed according to the input of the inspection manager. A cloud inspector terminal that performs final labeling and uploads;
A real-time remote cross facility management/facility inspection system including a cloud server for backing up and storing the management inspection image or management inspection video uploaded by the cloud inspection manager terminal.
제1항에 있어서, 상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)은,
상기 공장 기계 설비 또는 상기 소방 설비를 촬영하여 관리 점검 이미지를 생성하고 디스플레이 상에 표시하는 촬영 모듈;
상기 촬영 모듈에 의해 생성된 관리 점검 이미지를 상기 기계 및 소방설비 관리·시설점검업체 단말로 송신하는 이미지 송신 모듈;
상기 기계 및 소방설비 관리·시설점검업체 단말에 의해 재촬영 지시를 수신하는 경우, 해당 공장 기계 설비 또는 해당 소방 설비를 재촬영하여 관리 점검 이미지를 재생성하는 재촬영 자동 제어 모듈을 포함하도록 구성되는 것을 특징으로 하는 실시간 원격 크로스 설비관리·시설점검 시스템.
The method of claim 1, wherein the concerned person (worker, etc.) mobile device (PDA, smartphone, etc.),
a photographing module generating a management inspection image by photographing the factory machinery or the firefighting equipment and displaying the image on a display;
an image transmission module for transmitting the management inspection image generated by the photographing module to the machine and firefighting equipment management/facility inspection company terminal;
When a re-shooting instruction is received by the machine and fire-fighting equipment management/facility inspection company terminal, it is configured to include a re-shooting automatic control module that re-photographs the corresponding factory machinery or equipment and regenerates a management inspection image. Real-time remote cross facility management/facility inspection system characterized by
제2항에 있어서, 상기 기계 및 소방설비 관리·시설점검업체 단말은,
상기 관계자(작업자 등) 모바일 디바이스(PDA, 스마트폰 등)의 이미지 송신 모듈 또는 상기 원격 PC 단말로부터 관리 점검 이미지 또는 관리 점검 동영상을 수신하는 이미지 수신 모듈;
상기 이미지 수신 모듈에서 수신된 관리 점검 이미지 또는 관리 점검 동영상을 상기 기계 및 소방설비 관리·시설점검업자가 육안 확인할 수 있도록 표시하는 디스플레이 모듈;
상기 기계 및 소방설비 관리·시설점검업자의 육안 확인 및 입력에 따라 상기 관리 점검 이미지 또는 관리 점검 동영상에 1차 레이블링을 수행하는 1차 레이블링 모듈;
상기 1차 레이블링 모듈에서 1차 레이블링이 수행된 관리 점검 이미지 또는 관리 점검 동영상을 상기 클라우드 점검책임자 단말로 송신하는 이미지 송신 모듈;
상기 기계 및 소방설비 관리·시설점검업자의 육안 확인 결과에 따라 재촬영이 필요한 경우, 상기 기계 및 소방설비 관리·시설점검업자의 입력에 따라 재촬영 지시를 상기 재촬영 자동 제어 모듈로 송신하는 상기 재촬영 지시 모듈을 포함하도록 구성되는 것을 특징으로 하는 실시간 원격 크로스 설비관리·시설점검 시스템.
The method of claim 2, wherein the machine and firefighting equipment management and facility inspection company terminals,
An image receiving module for receiving a management inspection image or a management inspection video from the image transmission module of the concerned person (worker, etc.) mobile device (PDA, smart phone, etc.) or the remote PC terminal;
a display module that displays the management inspection image or management inspection video received from the image receiving module so that the machinery and firefighting equipment management/facility inspection operator can visually check;
A primary labeling module for performing primary labeling on the management inspection image or management inspection video according to visual confirmation and input of the machine and firefighting equipment management/facility inspection company;
an image transmission module for transmitting a management inspection image or a management inspection video for which the first labeling has been performed in the first labeling module to the cloud inspection manager terminal;
If re-shooting is necessary according to the visual confirmation result of the machine and fire-fighting equipment management and facility inspection company, the re-shooting instruction is transmitted to the re-shooting automatic control module according to the input of the machine and fire-fighting equipment management and facility inspection company. A real-time remote cross facility management/facility inspection system, characterized in that it is configured to include a reshooting instruction module.
제3항에 있어서, 상기 클라우드 점검책임자 단말은,
상기 기계 및 소방설비 관리·시설점검업체 단말의 이미지 송신 모듈로부터 관리 점검 이미지 또는 관리 점검 동영상을 수신하는 이미지 수신 모듈;
상기 이미지 수신 모듈에서 수신된 관리 점검 이미지 또는 관리 점검 동영상을 상기 점검 책임자가 육안 확인할 수 있도록 표시하는 디스플레이 모듈;
상기 점검 책임자의 육안 확인 결과 및 상기 점검 책임자의 입력에 따라 점검을 수행하는 점검책임자 점검 모듈;
상기 점검책임자 점검 모듈에서 수행된 점검에 따라 상기 관리 점검 이미지 또는 상기 관리 점검 동영상에 대해 최종 레이블링을 수행하여 최종 이미지를 생성하는 최종 레이블링 모듈;
상기 최종 레이블링 모듈에서 생성된 최종 이미지를 상기 클라우드 서버로 업로드하는 최종 이미지 송신 모듈;
상기 점검책임자 점검 모듈에서 수행된 점검 결과에 따라 보고서를 자동 생성하는 보고서 자동 생성 모듈;
상기 보고서 자동 생성 모듈에서 자동 생성된 보고서를 상기 클라우드 서버로 업로드하는 보고서 업로드 모듈을 포함하도록 구성되는 것을 특징으로 하는 실시간 원격 크로스 설비관리·시설점검 시스템.
The method of claim 3, wherein the cloud inspection manager terminal,
An image receiving module for receiving a management inspection image or a management inspection video from the image transmission module of the machine and firefighting facility management/facility inspection company terminal;
a display module displaying the management inspection image or the management inspection video received from the image receiving module so that the person in charge of inspection can visually check;
An inspection manager inspection module that performs inspection according to the visual confirmation result of the inspection manager and the input of the inspection manager;
a final labeling module generating a final image by performing final labeling on the management inspection image or the management inspection video according to the inspection performed by the inspection manager inspection module;
a final image transmission module uploading the final image generated by the final labeling module to the cloud server;
an automatic report generation module for automatically generating a report according to the inspection result performed by the inspector inspection module;
A real-time remote cross facility management/facility inspection system, characterized in that configured to include a report upload module for uploading a report automatically generated by the report auto-generating module to the cloud server.
제4항에 있어서, 상기 클라우드 서버는,
상기 클라우드 점검책임자 단말의 최종 이미지 송신 모듈로부터 업로드되는 최종 이미지를 수신하는 최종 이미지 수신 모듈;
상기 최종 이미지 수신 모듈에서 수신된 최종 이미지의 최종 레이블의 확인하는 최종 레이블 확인 모듈;
상기 최종 레이블 확인 모듈에서 확인된 최종 레이블을 분류하는 최종 이미지 분류 모듈;
상기 최종 이미지 분류 모듈에서 분류된 최종 레이블에 따라 상기 최종 이미지가 백업 저장되는 최종 이미지 데이터베이스;
상기 최종 이미지 데이터베이스에 백업 저장된 최종 이미지를 인식하는 최종 이미지 인식 모듈;
상기 최종 이미지 인식 모듈에 인식된 최종 이미지를 기존에 이미 백업 저장된 최종 이미지와 자동 대비하는 최종 이미지 자동 대비 모듈;
상기 최종 이미지 자동 대비 모듈의 자동 대비 결과에 따라 해당 시설을 자동 점검하여 점검 결과를 출력하는 시설 자동 점검 모듈;
상기 클라우드 점검책임자 단말의 보고서 업로드 모듈로부터 업로드되는 보고서를 수신하는 보고서 수신 모듈;
상기 보고서 수신 모듈에서 수신된 보고서가 백업 저장되는 보고서 데이터베이스를 포함하도록 구성되는 것을 특징으로 하는 실시간 원격 크로스 설비관리·시설점검 시스템.
The method of claim 4, wherein the cloud server,
a final image reception module for receiving a final image uploaded from a final image transmission module of the cloud inspector terminal;
a final label verification module for verifying a final label of the final image received by the final image receiving module;
a final image classification module for classifying the final label identified in the final label verification module;
a final image database in which the final image is backup-stored according to the final label classified by the final image classification module;
a final image recognition module recognizing a final image backed up and stored in the final image database;
a final image automatic comparison module for automatically comparing the final image recognized by the final image recognition module with a previously stored final image;
an automatic facility inspection module for automatically inspecting a corresponding facility according to an automatic contrast result of the final image automatic contrast module and outputting an inspection result;
a report receiving module for receiving a report uploaded from a report uploading module of the cloud inspector terminal;
Real-time remote cross facility management/facility inspection system, characterized in that configured to include a report database in which the report received from the report receiving module is backed up and stored.
KR1020210121035A 2021-09-10 2021-09-10 Real-time remote cross facilitates management and inspectioin system KR20230037907A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210121035A KR20230037907A (en) 2021-09-10 2021-09-10 Real-time remote cross facilitates management and inspectioin system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210121035A KR20230037907A (en) 2021-09-10 2021-09-10 Real-time remote cross facilitates management and inspectioin system

Publications (1)

Publication Number Publication Date
KR20230037907A true KR20230037907A (en) 2023-03-17

Family

ID=85872248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121035A KR20230037907A (en) 2021-09-10 2021-09-10 Real-time remote cross facilitates management and inspectioin system

Country Status (1)

Country Link
KR (1) KR20230037907A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097409B1 (en) 2011-06-10 2011-12-23 서울특별시도봉구시설관리공단 A safefy inspecting apparatus and the inspect method for fire fighting equipment
KR20180138484A (en) 2017-06-21 2018-12-31 (주)디엘정보기술 System for checking safety of fire extinguishing facilities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097409B1 (en) 2011-06-10 2011-12-23 서울특별시도봉구시설관리공단 A safefy inspecting apparatus and the inspect method for fire fighting equipment
KR20180138484A (en) 2017-06-21 2018-12-31 (주)디엘정보기술 System for checking safety of fire extinguishing facilities

Similar Documents

Publication Publication Date Title
CN110971878B (en) Engineering field management system
US10337962B2 (en) Visible audiovisual annotation of infrared images using a separate wireless mobile device
CN103544739B (en) Based on the method for inspecting of the visual subway equipment routing inspection management system of B/S framework
KR101874098B1 (en) DlAGNOSTIC AND MANAGING METHOD OF NEW RENEWABLE ENERGY APPATUS USING MOBILE DEVICE AND THE SYSTEM THEREOF
CN107481349A (en) A kind of station method for inspecting and its cruising inspection system
KR20140036398A (en) Cctv integrated management system
JP2017097702A (en) Monitor system and monitor control device of the same
KR101685950B1 (en) CCTV recording system having self-diagnosis function
KR20150044449A (en) Plant management support system
CN103413264A (en) Fire-fighting equipment information processing system and method based on PDA (Personal Digital Assistant)
KR20230037907A (en) Real-time remote cross facilitates management and inspectioin system
KR102594649B1 (en) Building pre-check system and method using smart check list
US9858692B2 (en) Test support apparatus, test support method, and test support program for plant monitoring system
JP2021043634A (en) Information processing apparatus, method, and program
CN106204343A (en) A kind of construction quality control system and method based on mobile terminal
US11138542B2 (en) Confirming field technician work based on photographic time and location device
KR20120106326A (en) Attendance and absence management system and the method using camera and smart phone
CN214896700U (en) Prevent to patrol and examine dual positioning system of cheating
TW201928891A (en) Patrol service system and verification method used therein
US20200204792A1 (en) Method for carrying out a health check of cameras and a camera system
JP2012089921A (en) Photographing support system, method, and program, and portable terminal
TW201709143A (en) Transportation recording system comprising a server, a recording unit, a sign-off document and a mobile device
TWI753343B (en) Patrol service system and patrol service verification method
CN104515862A (en) Automatic optical inspection method and automatic optical inspection system for implementing same
WO2022180803A1 (en) Terminal management device and maintenance terminal device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal