WO2023200130A1 - Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법 - Google Patents

Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법 Download PDF

Info

Publication number
WO2023200130A1
WO2023200130A1 PCT/KR2023/003701 KR2023003701W WO2023200130A1 WO 2023200130 A1 WO2023200130 A1 WO 2023200130A1 KR 2023003701 W KR2023003701 W KR 2023003701W WO 2023200130 A1 WO2023200130 A1 WO 2023200130A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
monitoring
monitoring data
equipment
operation button
Prior art date
Application number
PCT/KR2023/003701
Other languages
English (en)
French (fr)
Inventor
임대근
Original Assignee
(주)심플랫폼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)심플랫폼 filed Critical (주)심플랫폼
Publication of WO2023200130A1 publication Critical patent/WO2023200130A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a system and method for collecting data from equipment and facilities using RPA.
  • a system and method that enable easy collection of monitoring data even when it is difficult to receive data directly from process equipment and facilities or install separate sensors It's about method.
  • the first is to transmit monitoring data directly from the equipment through the network. To achieve this, the equipment must be connected to a network and have the ability to deliver monitoring data in a defined format.
  • the second method is to install a separate sensor in the equipment to monitor the equipment's status information and transmit the generated monitoring data through the network.
  • the first method is difficult to apply to conventional equipment without such a monitoring data transmission function, and the second method has a problem in that the information that can be obtained from the equipment through external sensors is limited.
  • Korean Patent No. 10-2093281 “Method for processing process data of a smart factory,” collects factory process data through process data and sensors generated from equipment, matches them, and analyzes them. Even if such conventional technology is applied, the problems described above cannot be solved, so a method that allows more accurate process data to be collected from conventional equipment is required.
  • the purpose of the present invention is to enable the collection of monitoring data from equipment and facilities that do not have the ability to directly transmit monitoring data.
  • the purpose of the present invention is to enable monitoring data to be collected without attaching separate sensors to equipment and facilities.
  • the purpose of the present invention is to expand equipment and facilities that can collect monitoring data to enable more effective management of the entire process.
  • the purpose of the present invention is to extract monitoring data of the equipment by analyzing images displayed on the screen of a monitoring system attached to the equipment.
  • the purpose of the present invention is to enable the extraction of monitoring data that needs to be additionally checked through button manipulation in addition to the data currently displayed on the screen in the monitoring system of the equipment.
  • the purpose of the present invention is to prevent interference with the operation of the monitoring system by analyzing the buttons displayed on the monitoring system screen of the equipment and selecting and manipulating the buttons necessary to extract additional monitoring data.
  • the process data collection system includes a monitoring video receiver that receives video data output on the monitoring system screen of the equipment, and analyzes the received video data to provide monitoring data for the equipment. It may be configured to include a monitoring data extraction unit that extracts and a monitoring data transmission unit that transmits the extracted monitoring data to a process analysis system through a communication network.
  • the monitoring data extraction unit analyzes the received video data, distinguishes the monitoring operation button area and the monitoring data display area, recognizes the image displayed in the monitoring data display area as text, extracts monitoring data, and monitors the data.
  • An operation command may be generated by analyzing the operation button area, and the operation command may be transmitted to the monitoring system.
  • the monitoring data extractor may repeat the process of transmitting an operation command to the monitoring system, checking whether the image data has changed, and extracting the monitoring data if it has changed.
  • the monitoring data extractor analyzes the image displayed in the monitoring data display area, distinguishes between characters representing the type of data and characters representing the data, and monitors the characters by matching the characters representing the type of data and the characters representing the data. Data can be extracted.
  • the monitoring data extractor identifies characters or images representing each operation button in the operation button area, analyzes the meaning represented by the identified text or image, and determines whether to generate an operation command for the operation button area. You can.
  • the present invention has the effect of allowing monitoring data to be collected from equipment that does not have the ability to directly transmit process data.
  • the present invention has the effect of allowing monitoring data to be collected without attaching a separate sensor to the equipment.
  • the present invention has the effect of enabling more effective management of the entire process by expanding equipment that can collect monitoring data.
  • the present invention has the effect of allowing the monitoring data of the equipment to be extracted by analyzing the image displayed on the screen of the monitoring system attached to the equipment.
  • the present invention has the effect of enabling the extraction of monitoring data that needs to be additionally checked through button manipulation in addition to the data currently displayed on the screen in the equipment's monitoring system.
  • the present invention has the effect of preventing interference with the operation of the monitoring system by analyzing the buttons displayed on the monitoring system screen of the equipment and selecting and manipulating the buttons necessary to extract additional monitoring data.
  • FIG. 1 is a configuration diagram showing the internal configuration of a process data collection system according to an embodiment of the present invention.
  • Figure 2 is a diagram showing an example of analyzing video data output on the monitoring system screen of the equipment of the present invention.
  • Figure 3 is a diagram showing an example of extracting additional monitoring data through button manipulation in the monitoring system of the equipment of the present invention.
  • Figure 4 is a flow chart showing the flow of a process data extraction method according to an embodiment of the present invention.
  • the process data collection system includes a monitoring video receiver that receives video data output on the monitoring system screen of the equipment, and analyzes the received video data to provide monitoring data for the equipment. It may be configured to include a monitoring data extraction unit that extracts and a monitoring data transmission unit that transmits the extracted monitoring data to a process analysis system through a communication network.
  • the monitoring data extraction unit analyzes the received video data, distinguishes the monitoring operation button area and the monitoring data display area, recognizes the image displayed in the monitoring data display area as text, extracts monitoring data, and monitors the data.
  • An operation command may be generated by analyzing the operation button area, and the operation command may be transmitted to the monitoring system.
  • the monitoring data extractor may repeat the process of transmitting an operation command to the monitoring system, checking whether the image data has changed, and extracting the monitoring data if it has changed.
  • the monitoring data extractor analyzes the image displayed in the monitoring data display area, distinguishes between characters representing the type of data and characters representing the data, and monitors the characters by matching the characters representing the type of data and the characters representing the data. Data can be extracted.
  • the monitoring data extractor identifies characters or images representing each operation button in the operation button area, analyzes the meaning represented by the identified text or image, and determines whether to generate an operation command for the operation button area. You can.
  • the process data extraction system may be configured in the form of a server equipped with a central processing unit (CPU) and memory (memory) and connectable to other terminals through a communication network such as the Internet.
  • CPU central processing unit
  • memory memory
  • the present invention is not limited by the configuration of the central processing unit and memory.
  • the process data collection system according to the present invention may be physically configured as a single device, or may be implemented in a distributed form across multiple devices.
  • a process may mean a production or manufacturing process that produces a product using equipment and facilities, or it may also mean various cases of maintaining and operating equipment or facilities.
  • the part described as equipment in the claims of the present invention can be interpreted to mean various automated things such as equipment and facilities.
  • RPA technology can be used to analyze and control the monitoring system screen of the equipment.
  • RPA technology stands for Robot Process Automation, which means allowing software robots to take over repetitive tasks. Through this, various information displayed on the screen of the monitoring system can be collected and the monitoring system can be operated.
  • FIG. 1 is a configuration diagram showing the internal configuration of a process data collection system according to an embodiment of the present invention.
  • the process data collection system 101 will be comprised of a monitoring image receiver 110, a monitoring data extraction unit 120, and a monitoring data transmission unit 130.
  • Each component may be a software module that operates within the same physically computer system, or may be configured so that two or more physically separated computer systems can operate in conjunction with each other, and may be configured to operate in conjunction with each other. The embodiments fall within the scope of the present invention.
  • the monitoring video receiver 110 receives video data displayed on the monitoring system screen of the equipment.
  • Equipment monitoring equipment is equipment that is attached to the equipment and can monitor the equipment's status. It is generally installed in the form of software on a PC and is connected to the equipment through a separate cable, etc. to output the equipment's status information on the screen. It can be.
  • the image data received by the monitoring image receiver 110 is an image output on the display screen of such a monitoring system, and in order to receive this, software may be installed in the monitoring system and configured to capture the screen.
  • Video data can be generated by capturing the screen output in real time, and an encoding function using various video codecs can be included for efficient transmission of video data.
  • the monitoring data extraction unit 120 analyzes the received video data and extracts monitoring data for the equipment.
  • video data is data that captures an image that outputs device status information on the display screen in the equipment monitoring system. Since the video data includes equipment status information, when this is analyzed, the monitoring data is It can be extracted.
  • the monitoring data extraction unit 120 can periodically extract monitoring data by periodically analyzing the received image data, and the data extraction cycle is determined by the characteristics of the equipment. It may be set differently depending on the situation.
  • the image data received from the monitoring data extraction unit 120 may contain status information in various forms depending on the equipment, the user for analysis can directly determine what information is output and at what location from the monitoring system of the equipment. You can enter information about it and extract data based on it.
  • the monitoring data extraction unit 120 uses artificial intelligence technology to analyze what information is included in the image data and extract monitoring data as a result, without the user directly setting the location where the necessary data is displayed. You can. To this end, learning data can be built on the monitoring system screens of various equipment and an artificial intelligence model can be learned through this.
  • the monitoring data extraction unit 120 analyzes the received video data, distinguishes the monitoring operation button area and the monitoring data display area, recognizes the image displayed in the monitoring data display area as text, and extracts the monitoring data.
  • An operation command is generated by analyzing the button area, and the operation command is transmitted to the monitoring system.
  • the screen of the equipment monitoring system may include various buttons to enable you to query necessary status information as well as the equipment status information.
  • the monitoring data extraction unit 120 may divide the image data into an area for outputting monitoring data and a monitoring operation button area.
  • the monitoring operation button area it may be a button for changing output monitoring data, and may be configured to be operated through a mouse click or touch.
  • the monitoring data extraction unit 120 repeats the operation of transmitting an operation command to the monitoring system, checking whether the image data has changed, and extracting the monitoring data if it has changed.
  • the corresponding button can be manipulated. This can be used to generate a mouse click or touch operation event for the coordinates where the monitoring operation button area of the monitoring system is located. If an operation command is generated indicating that has occurred, the operation of the corresponding button can be performed. Through this, it is possible to extract not only the monitoring data currently displayed on the screen, but also the monitoring data that needs to be checked by moving the screen through button operation.
  • the monitoring data extraction unit 120 analyzes the image displayed in the monitoring data display area, distinguishes between characters representing the type of data and characters representing the data, and matches the characters representing the type of data with the characters representing the data. Extract monitoring data. In the area where monitoring data is output, information about what type of data is generally displayed (voltage, current, temperature, humidity, etc.), information about the unit of the data, and the data can be displayed through numerical values, etc. You can. Therefore, it is possible to distinguish and recognize them, and extract the corresponding value of the data for which item.
  • OCR technologies In order to identify the necessary text information in the monitoring data extraction unit 120, various text decoding technologies (OCR technologies) can be applied, and the present invention is not limited by the form of such technology.
  • the monitoring data extraction unit 120 identifies characters or images representing each operation button in the operation button area, analyzes the meaning represented by the identified text or image, and determines whether to generate an operation command for the operation button area. decide
  • buttons displayed on the screen of the equipment's monitoring system if there is a button that terminates the monitoring system itself or operates the equipment, generating an operation command for that button may interfere with the operation of the equipment or the monitoring itself. There may be cases where it becomes impossible.
  • the monitoring data extraction unit 120 needs to distinguish between buttons that should be operated and buttons that should not be operated to extract other monitoring data among the buttons displayed on the screen of the monitoring system.
  • the button or button is used. You can identify the characters or images displayed above/below and select the button to operate by analyzing them.
  • the monitoring data transmission unit 130 transmits the extracted monitoring data to a process analysis system through a communication network.
  • the extracted monitoring data can be in the form of information about data items, information about units, and data that correspond to each other.
  • the process analysis system analyzes it to determine the state of the process. You can check.
  • the process analysis system that transmits monitoring data from the monitoring data transmission unit 130 analyzes the process status using artificial intelligence (AI) technology, etc., and derives whether there is an abnormality in each equipment or a process control method for efficient operation. You can.
  • AI artificial intelligence
  • Figure 2 is a diagram showing an example of analyzing video data output on the monitoring system screen of the equipment of the present invention.
  • the monitoring system screen of the equipment may include an area 210 where data representing the status of the equipment is output and operation button areas 220 and 230 where buttons that can be manipulated are located.
  • the monitoring data display area 210 may contain information about which item each data is for and what unit it is displayed in, and may display the data for each item in numbers or letters. When this information is extracted and collected, process data that can determine the status of the equipment can be generated.
  • buttons that should be disabled there may be a button to move the screen to extract other monitoring data, and as shown at 230, it is not operated during the process data collection process, such as terminating the monitoring system itself or manipulating equipment. There may be buttons that should be disabled.
  • buttons that must be operated and buttons that must not be operated to collect other monitoring data are distinguished. You can create operation commands for buttons that need to be operated.
  • Figure 3 is a diagram showing an example of extracting additional monitoring data through button manipulation in the monitoring system of the equipment of the present invention.
  • the button can be operated to display temperature and humidity information as shown in FIG. 3. there is.
  • the process data collection system 101 of the present invention can perform an operation to sufficiently extract the necessary data. You can.
  • Figure 4 is a flow chart showing the flow of a process data collection method according to an embodiment of the present invention.
  • the process data collection method according to the present invention operates in a process data collection system 101 equipped with a central processing unit and memory, and can be run on such a computing system.
  • the process data collection method includes all of the characteristic configurations described for the above-described process data collection system, and contents not described in the description below can also be implemented by referring to the description of the above-described process data collection system. there is.
  • the monitoring video reception step (S401) receives video data displayed on the monitoring system screen of the equipment.
  • Equipment monitoring equipment is equipment that is attached to the equipment and can monitor the equipment's status. It is generally installed in the form of software on a PC and is connected to the equipment through a separate cable, etc. to output the equipment's status information on the screen. It can be.
  • the image data received in the monitoring image reception step (S401) is an image output on the display screen of such a monitoring system, and in order to receive this, software may be installed in the monitoring system and configured to capture the screen.
  • Video data can be generated by capturing the screen output in real time, and an encoding function using various video codecs can be included for efficient transmission of video data.
  • monitoring data extraction step (S402) monitoring data for the equipment is extracted by analyzing the received video data.
  • video data is data that captures an image that outputs device status information on the display screen in the equipment monitoring system. Since the video data includes equipment status information, when this is analyzed, the monitoring data is It can be extracted.
  • monitoring data in order to enable continuous monitoring of the equipment status, monitoring data can be periodically extracted by periodically analyzing the received video data, and the data extraction cycle is determined by the characteristics of the equipment. It may be set differently depending on the situation.
  • the image data received in the monitoring data extraction step (S402) may contain status information in various forms depending on the equipment, the user for analysis directly determines what information is output and where in the monitoring system of the equipment. You can enter information about it and extract data based on it.
  • monitoring data extraction step (S402) it is possible to analyze what information is included in the video data using artificial intelligence technology and extract the monitoring data as a result, without the user directly setting the location where the necessary data is displayed. You can. To this end, learning data can be built on the monitoring system screens of various equipment and an artificial intelligence model can be learned through this.
  • the monitoring data extraction step (S402) analyzes the received video data, distinguishes the monitoring operation button area and the monitoring data display area, recognizes the image displayed in the monitoring data display area as text, extracts monitoring data, and extracts the monitoring data.
  • An operation command is generated by analyzing the button area, and the operation command is transmitted to the monitoring system.
  • the screen of the equipment monitoring system may include various buttons to enable you to query necessary status information as well as the equipment status information.
  • the image data can be divided into an area for outputting monitoring data and a monitoring operation button area.
  • the monitoring operation button area it may be a button for changing output monitoring data, and may be configured to be operated through a mouse click or touch.
  • the operation of transmitting an operation command to the monitoring system, checking whether the image data has changed, and extracting the monitoring data if changed is repeated.
  • the corresponding button can be manipulated. This can be used to generate a mouse click or touch operation event for the coordinates where the monitoring operation button area of the monitoring system is located. If an operation command is generated indicating that has occurred, the operation of the corresponding button can be performed. Through this, it is possible to extract not only the monitoring data currently displayed on the screen, but also the monitoring data that needs to be checked by moving the screen through button operation.
  • the monitoring data extraction step (S402) analyzes the image displayed in the monitoring data display area, distinguishes characters representing the type of data and characters representing the data, and matches the characters representing the type of data with the characters representing the data. Extract monitoring data.
  • information about what type of data is generally displayed (voltage, current, temperature, humidity, etc.), information about the unit of the data, and the data can be displayed through numerical values, etc. You can. Therefore, it is possible to distinguish and recognize them, and extract the corresponding value of the data for which item.
  • OCR technologies In the monitoring data extraction step (S402), various text decoding technologies (OCR technologies) can be applied to identify the necessary text information, and the present invention is not limited by the form of such technology.
  • the monitoring data extraction step (S402) identifies characters or images representing each operation button in the operation button area, analyzes the meaning represented by the identified text or image, and determines whether to generate an operation command for the operation button area. decide
  • buttons displayed on the screen of the equipment's monitoring system if there is a button that terminates the monitoring system itself or operates the equipment, generating an operation command for that button may interfere with the operation of the equipment or the monitoring itself. There may be cases where it becomes impossible.
  • buttons that should be operated it is necessary to distinguish between buttons that should be operated and buttons that should not be operated to extract other monitoring data among the buttons displayed on the screen of the monitoring system. You can identify the characters or images displayed above/below and select the button to operate by analyzing them.
  • the extracted monitoring data is transmitted to a process analysis system through a communication network.
  • the extracted monitoring data can be in the form of information about data items, information about units, and data that correspond to each other.
  • the process analysis system analyzes it to determine the state of the process. You can check.
  • the process analysis system that transmits monitoring data in the monitoring data transmission step (S403) analyzes the process status using artificial intelligence (AI) technology, and derives whether there is an abnormality in each equipment or a process control method for efficient operation. You can.
  • AI artificial intelligence
  • the process data collection method according to the present invention can be produced as a program for a computer to execute and recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa.
  • the present invention relates to a process data collection system and method, including a monitoring image receiver that receives image data output on a monitoring system screen of equipment, and a monitoring data extractor that analyzes the received image data to extract monitoring data for the equipment.
  • a process data collection system and a method of operating the same are provided, including a monitoring data transmission unit and a monitoring data transmission unit that transmits the extracted monitoring data to a process analysis system through a communication network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 공정 데이터 수집 시스템 및 방법에 관한 것으로, 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신부, 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출부 및 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송부를 포함하는 공정 데이터 수집 시스템 및 그 동작 방법을 제공한다.

Description

RPA를 활용한 장비 및 시설 데이터 수집 시스템 및 방법
본 발명은 RPA를 활용한 장비 및 시설 데이터 수집 시스템 및 방법에 관한 것으로, 공정 장비 및 시설로부터 직접 데이터를 수신하거나 별도의 센서를 설치하기 어려운 경우에도 모니터링 데이터를 용이하게 수집할 수 있도록 하는 시스템 및 방법에 관한 것이다.
인공지능 기술이 발달하면서 공정 장비 및 시설 데이터를 수집하여 자동으로 공정을 관리하는 스마트 팩토리 기술의 활용이 늘어나고 있다. 이와 같이 공정 장비 데이터를 수집하여 분석하고 이를 통해 공정을 관리하기 위해서는 각종 장비의 상태 정보를 수집해야 한다.
이처럼 각종 장비 및 시설의 데이터를 수집할 수 있는 방법은 크게 두 가지가 있는데, 첫 번째는 장비에서 직접 네트워크를 통해서 모니터링 데이터를 전송해 주는 방법이다. 이를 위해서는 장비가 네트워크에 연결되고 정의된 포맷으로 모니터링 데이터를 전달하는 기능을 갖추어야 한다. 두 번째는 장비에 별도의 센서를 설치하여 장비의 상태 정보를 모니터링하고 생성되는 모니터링 데이터를 네트워크를 통해서 전달하는 방법이다.
그러나, 첫 번째 방법의 경우는 이와 같은 모니터링 데이터 전송 기능이 없는 종래 장비에 적용하기 어렵고, 두 번째 방법은 외부 센서를 통해 장비 파악할 수 있는 정보가 한정된다는 문제가 있다.
종래기술인 한국 등록특허 제10-2093281호, "스마트 공장의 공정 데이터의 가공 방법"은 장비로부터 발생되는 공정 데이터 및 센서를 통해 공장의 공정 데이터를 수집하고, 이를 매칭시켜 분석할 수 있도록 한 것이다. 이와 같은 종래 기술을 적용한다고 하더라도, 앞서 설명한 문제점은 해소되지 못하므로, 종래의 장비로부터도 보다 정확한 공정 데이터를 수집할 수 있도록 하는 방법이 요구된다.
본 발명은 모니터링 데이터를 직접 전송하는 기능이 없는 장비 및 시설로부터 모니터링 데이터를 수집할 수 있도록 하는 것을 목적으로 한다.
본 발명은 장비 및 시설에 별도의 센서를 부착하지 않고도 모니터링 데이터를 수집할 수 있도록 하는 것을 목적으로 한다.
본 발명은 모니터링 데이터를 수집할 수 있는 장비 및 시설을 확장하여 전체 공정에 대한 관리를 보다 효과적으로 할 수 있도록 하는 것을 목적으로 한다.
본 발명은 장비에 부착된 모니터링 시스템의 화면에 출력되는 영상을 분석하여 장비의 모니터링 데이터를 추출할 수 있도록 하는 것을 목적으로 한다.
본 발명은 장비의 모니터링 시스템에서 현재화면에 출력되는 데이터 이외에도 버튼 조작을 통해 추가로 확인해야 하는 모니터링 데이터를 추출할 수 있도록 하는 것을 목적으로 한다.
본 발명은 장비의 모니터링 시스템 화면에 출력되는 버튼을 분석하여, 추가 모니터링 데이터를 추출하기 위해 필요한 버튼을 선별하여 조작함으로써, 모니터링 시스템의 동작을 방해하지 않도록 하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 공정 데이터 수집 시스템은 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신부, 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출부 및 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송부를 포함하여 구성될 수 있다.
이 때, 상기 모니터링 데이터 추출부는 상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고, 상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고, 상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고, 상기 조작 명령을 상기 모니터링 시스템에 전송할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여, 상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고, 상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정할 수 있다.
본 발명은 공정 데이터를 직접 전송하는 기능이 없는 장비로부터 모니터링 데이터를 수집할 수 있도록 하는 효과가 있다.
본 발명은 장비에 별도의 센서를 부착하지 않고도 모니터링 데이터를 수집할 수 있도록 하는 효과가 있다.
본 발명은 모니터링 데이터를 수집할 수 있는 장비를 확장하여 전체 공정에 대한 관리를 보다 효과적으로 할 수 있도록 하는 효과가 있다.
본 발명은 장비에 부착된 모니터링 시스템의 화면에 출력되는 영상을 분석하여 장비의 모니터링 데이터를 추출할 수 있도록 하는 효과가 있다.
본 발명은 장비의 모니터링 시스템에서 현재화면에 출력되는 데이터 이외에도 버튼 조작을 통해 추가로 확인해야 하는 모니터링 데이터를 추출할 수 있도록 하는 효과가 있다.
본 발명은 장비의 모니터링 시스템 화면에 출력되는 버튼을 분석하여, 추가 모니터링 데이터를 추출하기 위해 필요한 버튼을 선별하여 조작함으로써, 모니터링 시스템의 동작을 방해하지 않도록 하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 공정 데이터 수집 시스템의 내부 구성을 도시한 구성도이다.
도 2는 본 발명의 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 분석하는 일례를 도시한 도면이다.
도 3은 본 발명의 장비의 모니터링 시스템에서 버튼 조작을 통해 추가 모니터링 데이터를 추출하는 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 공정 데이터 추출 방법의 흐름을 도시한 흐름도이다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 공정 데이터 수집 시스템은 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신부, 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출부 및 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송부를 포함하여 구성될 수 있다.
이 때, 상기 모니터링 데이터 추출부는 상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고, 상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고, 상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고, 상기 조작 명령을 상기 모니터링 시스템에 전송할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여, 상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출할 수 있다.
또한, 상기 모니터링 데이터 추출부는 상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고, 상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 공정 데이터 추출 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 공정 데이터 수집 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있다.
본 발명에서 공정이라고 하는 것은 장비 및 시설을 이용하여 제품을 생산하는 생산 또는 제조 공정을 의미할 수도 있고, 그 밖에도 장비 또는 시설을 유지하고 운영하는 다양한 경우를 의미할 수 있다. 또한, 본 발명의 청구항 등에서 장비라고 기재한 부분은 장비, 시설 등 자동화된 다양한 것들을 의미하는 것으로 해석될 수 있다.
본 발명에서는 장비의 모니터링 시스템 화면을 분석하고 제어하기 위하여 RPA 기술을 활용할 수 있다. RPA 기술은 로봇 프로세스 자동화(Robot Process Automation)을 의미하는 것으로, 반복적인 태스크를 소프트웨어 로봇이 대신할 수 있도록 하는 것을 의미한다. 이를 통해 모니터링 시스템의 화면에 표시되는 각종 정보를 수집하고, 모니터링 시스템을 조작하도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 공정 데이터 수집 시스템의 내부 구성을 도시한 구성도이다.
도면에 도시한 바와 같이, 본 발명의 일실시예에 따른 공정 데이터 수집 시스템(101)은 모니터링 영상 수신부(110), 모니터링 데이터 추출부(120) 및 모니터링 데이터 전송부(130) 를 포함하여 구성될 수 있다. 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
모니터링 영상 수신부(110)는 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신한다. 장비의 모니터링 장비는 장비에 부착되어 장비의 상태를 모니터링할 수 있는 장비로 일반적으로 PC에 소프트웨어 형태로 설치되고 장비와 별도의 케이블 등을 통해 연결되어 장비의 상태 정보를 화면에 출력하는 형태로 구성될 수 있다.
모니터링 영상 수신부(110)에서 수신하는 영상 데이터는 이와 같은 모니터링 시스템의 디스플레이 화면에 출력되는 영상으로, 이를 수신하기 위하여 상기 모니터링 시스템에 소프트웨어로 설치되어 화면을 캡쳐하도록 구성될 수 있다. 실시간으로 출력되는 화면을 캡쳐하여 동영상 데이터를 생성할 수 있으며, 동영상 데이터의 효율적인 전송을 위하여 다양한 동영상 코덱을 이용하여 인코딩하는 기능을 포함할 수 있다.
모니터링 데이터 추출부(120)는 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출한다. 상술한 바와 같이 영상 데이터는 장비의 모니터링 시스템에서 장비의 상태 정보를 디스플레이 화면에 출력하는 영상을 캡쳐한 데이터이기 때문에, 영상 데이터 내부에 장비의 상태 정보가 포함되어 있으므로, 이를 분석하게 되면 모니터링 데이터를 추출할 수 있다.
모니터링 데이터 추출부(120)는 장비 상태의 지속적인 모니터링이 가능하도록 하기 위하여, 수신되는 영상 데이터에 대해서 주기적으로 분석을 수행하여 주기적으로 모니터링 데이터를 추출할 수 있으며, 데이터를 추출하는 주기는 장비의 성격 등에 따라 다르게 설정될 수 있다.
모니터링 데이터 추출부(120)에서 수신되는 영상 데이터는 장비에 따라서 다양한 형태로 상태 정보를 포함하고 있을 수 있기 때문에, 분석하기 위한 상용자가 직접 해당 장비의 모니터링 시스템에서 어떤 정보를 어떤 위치에 출력하는지에 대한 정보를 입력하고, 이를 기반으로 데이터를 추출하도록 할 수 있다.
또한, 모니터링 데이터 추출부(120)에서는 사용자가 직접 필요한 데이터가 표시되는 위치를 설정하지 않고도, 인공지능 기술을 이용하여 어떤 정보가 영상 데이터에 포함되어 있는지 분석하고, 그 결과로 모니터링 데이터를 추출할 수 있다. 이를 위해 다양한 장비의 모니터링 시스템 화면에 대해 학습 데이터를 구축하고 이를 통해 인공지능 모델을 학습하도록 할 수 있다.
모니터링 데이터 추출부(120)는 상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고 상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고, 상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고, 상기 조작 명령을 상기 모니터링 시스템에 전송한다.
장비의 모니터링 시스템의 화면에는 장비의 상태 정보만이 아니라, 필요한 상태 정보를 조회할 수 있도록 하기 위한 다양한 버튼이 포함될 수 있다. 모니터링 데이터 추출부(120)는 필요한 정보를 추출하기 위하여, 영상 데이터를 모니터링 데이터를 출력하는 영역과 모니터링 조작 버튼 영역으로 구분할 수 있다. 모니터링 조작 버튼 영역의 경우, 출력되는 모니터링 데이터를 변경하기 위한 버튼일 수 있으며, 마우스 클릭 또는 터치 등을 통해 조작하도록 구성될 수 있다.
모니터링 데이터 추출부(120)는 상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복한다. 상술한 바와 같이 모니터링 조작 버튼 영역에 대해서 마우스 클릭 또는 터치 조작을 하게 되면 해당 버튼에 대한 조작이 이루어질 수 있는데, 이를 이용하여 모니터링 시스템의 모니터링 조작 버튼 영역이 위치하는 좌표에 대해서 마우스 클릭 또는 터치 조작 이벤트가 발생되었음을 알리는 조작 명령을 생성하게 되면, 해당 버튼에 대한 조작이 이루어지도록 할 수 있다. 이를 통해 현재 화면에 표시되고 있는 모니터링 데이터뿐 아니라, 버튼 조작을 통해 화면을 이동하여 확인해야 하는 모니터링 데이터를 추출할 수 있게 된다.
모니터링 데이터 추출부(120)는 상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여, 상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출한다. 모니터링 데이터가 출력되는 영역에는 일반적으로 어떤 항목의 데이터인지(전압, 전류, 온도, 습도 등)에 대한 정보, 해당 데이터의 단위에 대한 정보가 표시될 수 있으며, 수치 등을 통해 해당 데이터가 표시될 수 있다. 따라서, 이를 구분하여 인식하고, 어떤 항목에 대한 대한 데이터가 어떤 값을 가지는지를 대응시켜 추출할 수 있다.
모니터링 데이터 추출부(120)에서 이와 같이 필요한 문자 정보를 식별하기 위하여 다양한 문자 해독 기술(OCR 기술)을 적용할 수 있으며, 이와 같은 기술의 형태에 의하여 본 발명이 제한되지는 않는다.
모니터링 데이터 추출부(120)는 상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고, 상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정한다.
장비의 모니터링 시스템의 화면에 표시되는 버튼들 중에서, 모니터링 시스템 자체를 종료하거나, 장비를 조작하는 버튼이 존재하는 경우, 해당 버튼에 대한 조작 명령을 생성하게 되면, 장비의 동작을 방해하거나, 모니터링 자체가 불가능해지는 경우가 발생될 수 있다.
따라서, 모니터링 데이터 추출부(120)는 모니터링 시스템의 화면에 출력되는 버튼들 중에서 다른 모니터링 데이터를 추출하기 위해 조작해야 하는 버튼과 조작하지 말아야 하는 버튼을 구분해야 할 필요가 있으며, 이를 위하여 버튼 또는 버튼의 위/아래에 표시되는 문자 또는 이미지를 식별하고, 이를 분석하여 조작해야 할 버튼을 선별할 수 있다.
모니터링 데이터 전송부(130)는 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송한다. 상술한 바와 같이 추출된 모니터링 데이터는 데이터의 항목에 대한 정보, 단위에 대한 정보 및 데이터를 서로 대응시킨 형태가 될 수 있으며, 이를 공정 분석 시스템에 전송하게 되면 공정 분석 시스템은 이를 분석하여 공정의 상태를 확인할 수 있다.
모니터링 데이터 전송부(130)에서 모니터링 데이터를 전송하는 공정 분석 시스템은 인공지능(AI) 기술 등을 이용하여 공정 상태를 분석하고, 각 장비의 이상 여부나 효율적인 동작을 위한 공정 제어 방법 등을 도출할 수 있다.
도 2는 본 발명의 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 분석하는 일례를 도시한 도면이다.
도면에 도시한 바와 같이, 장비의 모니터링 시스템 화면에는 장비의 상태를 나타내는 데이터가 출력되는 영역(210)과 조작 가능한 버튼이 위치하는 조작 버튼 영역(220 및 230)이 포함될 수 있다.
모니터링 데이터 표시 영역(210)은 각각의 데이터가 어떤 항목에 대한 것인지, 어떤 단위로 표시된 것인지에 대한정보를 담고 있을 수 있으며, 항목별 데이터를 수치 또는 문자 등으로 표시할 수 있다. 이 정보를 추출하여 수집할 경우, 장비의 상태를 파악할 수 있는 공정 데이터를 생성해 낼 수 있다.
또한, 도면부호 220에 도시된 것과 같이 다른 모니터링 데이터를 추출하기 위하여 화면을 이동하는 버튼이 존재할 수 있고, 도면부호 230과 같이 모니터링 시스템 자체를 종료하거나 장비를 조작하는 등 공정 데이터 수집 과정에서는 조작하지 말아야하는 버튼이 존재할 수 있다.
본 발명에서는 모니터링 시스템의 화면에 출력되는 영상을 분석함으로써, 이와 같이 각각의 버튼이 나타내는 의미를 분석하고, 이를 통해 다른 모니터링 데이터를 수집하기 위해 조작해야 하는 버튼과 조작하지 말아야 하는 버튼을 구분하고, 조작해야 하는 버튼에 대한 조작 명령을 생성할 수 있다.
도 3은 본 발명의 장비의 모니터링 시스템에서 버튼 조작을 통해 추가 모니터링 데이터를 추출하는 일례를 도시한 도면이다.
앞서 도 2에서 도면부호 220에 표시된 "온도/습도 보기" 버튼에 대해서 조작 명령을 생성하여 장비의 모니터링 시스템에 전달한 경우, 해당 버튼이 조작되어 도 3에 표시된 것과 같이 온도 및 습도 정보가 표시될 수 있다.
이처럼 하나의 화면에 모든 모니터링 데이터가 출력되기 어려워, 버튼 조작을 통해 화면을 이동하면서 모니터링 데이터를 수집해야 하는 경우에도 본 발명의 공정 데이터 수집 시스템(101)은 필요한 데이터를 충분히 추출하는 동작을 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 공정 데이터 수집 방법의 흐름을 도시한 흐름도이다.
본 발명에 따른 공정 데이터 수집 방법은 중앙처리장치 및 메모리를 구비하는 공정 데이터 수집 시스템(101)에서 동작하는 공정 데이터 수집 방법으로, 이와 같은 컴퓨팅 시스템에서 구동될 수 있다.
따라서, 공정 데이터 수집 방법은 상술한 공정 데이터 수집 시스템에 대하여 설명된 특징적인 구성을 모두 포함하고 있으며, 아래의 설명에서 설명되지 않은 내용도 상술한 데이터 공정 데이터 수집 시스템에 대한 설명을 참조하여 구현할 수 있다.
모니터링 영상 수신 단계(S401)는 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신한다. 장비의 모니터링 장비는 장비에 부착되어 장비의 상태를 모니터링할 수 있는 장비로 일반적으로 PC에 소프트웨어 형태로 설치되고 장비와 별도의 케이블 등을 통해 연결되어 장비의 상태 정보를 화면에 출력하는 형태로 구성될 수 있다.
모니터링 영상 수신 단계(S401)에서 수신하는 영상 데이터는 이와 같은 모니터링 시스템의 디스플레이 화면에 출력되는 영상으로, 이를 수신하기 위하여 상기 모니터링 시스템에 소프트웨어로 설치되어 화면을 캡쳐하도록 구성될 수 있다. 실시간으로 출력되는 화면을 캡쳐하여 동영상 데이터를 생성할 수 있으며, 동영상 데이터의 효율적인 전송을 위하여 다양한 동영상 코덱을 이용하여 인코딩하는 기능을 포함할 수 있다.
모니터링 데이터 추출 단계(S402)는 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출한다. 상술한 바와 같이 영상 데이터는 장비의 모니터링 시스템에서 장비의 상태 정보를 디스플레이 화면에 출력하는 영상을 캡쳐한 데이터이기 때문에, 영상 데이터 내부에 장비의 상태 정보가 포함되어 있으므로, 이를 분석하게 되면 모니터링 데이터를 추출할 수 있다.
모니터링 데이터 추출 단계(S402)는 장비 상태의 지속적인 모니터링이 가능하도록 하기 위하여, 수신되는 영상 데이터에 대해서 주기적으로 분석을 수행하여 주기적으로 모니터링 데이터를 추출할 수 있으며, 데이터를 추출하는 주기는 장비의 성격 등에 따라 다르게 설정될 수 있다.
모니터링 데이터 추출 단계(S402)에서 수신되는 영상 데이터는 장비에 따라서 다양한 형태로 상태 정보를 포함하고 있을 수 있기 때문에, 분석하기 위한 상용자가 직접 해당 장비의 모니터링 시스템에서 어떤 정보를 어떤 위치에 출력하는지에 대한 정보를 입력하고, 이를 기반으로 데이터를 추출하도록 할 수 있다.
또한, 모니터링 데이터 추출 단계(S402)에서는 사용자가 직접 필요한 데이터가 표시되는 위치를 설정하지 않고도, 인공지능 기술을 이용하여 어떤 정보가 영상 데이터에 포함되어 있는지 분석하고, 그 결과로 모니터링 데이터를 추출할 수 있다. 이를 위해 다양한 장비의 모니터링 시스템 화면에 대해 학습 데이터를 구축하고 이를 통해 인공지능 모델을 학습하도록 할 수 있다.
모니터링 데이터 추출 단계(S402)는 상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고 상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고, 상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고, 상기 조작 명령을 상기 모니터링 시스템에 전송한다.
장비의 모니터링 시스템의 화면에는 장비의 상태 정보만이 아니라, 필요한 상태 정보를 조회할 수 있도록 하기 위한 다양한 버튼이 포함될 수 있다. 모니터링 데이터 추출 단계(S402)는 필요한 정보를 추출하기 위하여, 영상 데이터를 모니터링 데이터를 출력하는 영역과 모니터링 조작 버튼 영역으로 구분할 수 있다. 모니터링 조작 버튼 영역의 경우, 출력되는 모니터링 데이터를 변경하기 위한 버튼일 수 있으며, 마우스 클릭 또는 터치 등을 통해 조작하도록 구성될 수 있다.
모니터링 데이터 추출 단계(S402)는 상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복한다. 상술한 바와 같이 모니터링 조작 버튼 영역에 대해서 마우스 클릭 또는 터치 조작을 하게 되면 해당 버튼에 대한 조작이 이루어질 수 있는데, 이를 이용하여 모니터링 시스템의 모니터링 조작 버튼 영역이 위치하는 좌표에 대해서 마우스 클릭 또는 터치 조작 이벤트가 발생되었음을 알리는 조작 명령을 생성하게 되면, 해당 버튼에 대한 조작이 이루어지도록 할 수 있다. 이를 통해 현재 화면에 표시되고 있는 모니터링 데이터뿐 아니라, 버튼 조작을 통해 화면을 이동하여 확인해야 하는 모니터링 데이터를 추출할 수 있게 된다.
모니터링 데이터 추출 단계(S402)는 상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여, 상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출한다. 모니터링 데이터가 출력되는 영역에는 일반적으로 어떤 항목의 데이터인지(전압, 전류, 온도, 습도 등)에 대한 정보, 해당 데이터의 단위에 대한 정보가 표시될 수 있으며, 수치 등을 통해 해당 데이터가 표시될 수 있다. 따라서, 이를 구분하여 인식하고, 어떤 항목에 대한 대한 데이터가 어떤 값을 가지는지를 대응시켜 추출할 수 있다.
모니터링 데이터 추출 단계(S402)에서 이와 같이 필요한 문자 정보를 식별하기 위하여 다양한 문자 해독 기술(OCR 기술)을 적용할 수 있으며, 이와 같은 기술의 형태에 의하여 본 발명이 제한되지는 않는다.
모니터링 데이터 추출 단계(S402)는 상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고, 상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정한다.
장비의 모니터링 시스템의 화면에 표시되는 버튼들 중에서, 모니터링 시스템 자체를 종료하거나, 장비를 조작하는 버튼이 존재하는 경우, 해당 버튼에 대한 조작 명령을 생성하게 되면, 장비의 동작을 방해하거나, 모니터링 자체가 불가능해지는 경우가 발생될 수 있다.
따라서, 모니터링 데이터 추출 단계(S402)는 모니터링 시스템의 화면에 출력되는 버튼들 중에서 다른 모니터링 데이터를 추출하기 위해 조작해야 하는 버튼과 조작하지 말아야 하는 버튼을 구분해야 할 필요가 있으며, 이를 위하여 버튼 또는 버튼의 위/아래에 표시되는 문자 또는 이미지를 식별하고, 이를 분석하여 조작해야 할 버튼을 선별할 수 있다.
모니터링 데이터 전송 단계(S403)는 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송한다. 상술한 바와 같이 추출된 모니터링 데이터는 데이터의 항목에 대한 정보, 단위에 대한 정보 및 데이터를 서로 대응시킨 형태가 될 수 있으며, 이를 공정 분석 시스템에 전송하게 되면 공정 분석 시스템은 이를 분석하여 공정의 상태를 확인할 수 있다.
모니터링 데이터 전송 단계(S403)에서 모니터링 데이터를 전송하는 공정 분석 시스템은 인공지능(AI) 기술 등을 이용하여 공정 상태를 분석하고, 각 장비의 이상 여부나 효율적인 동작을 위한 공정 제어 방법 등을 도출할 수 있다.
본 발명에 따른 공정 데이터 수집 방법은 컴퓨터가 실행하도록 기능시키기 위한 프로그램으로 제작되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
본 발명은 공정 데이터 수집 시스템 및 방법에 관한 것으로, 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신부, 상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출부 및 상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송부를 포함하는 공정 데이터 수집 시스템 및 그 동작 방법을 제공한다.

Claims (11)

  1. 장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신부;
    상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출부; 및
    상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송부
    를 포함하는 것을 특징으로 하는 공정 데이터 수집 시스템.
  2. 제1항에 있어서,
    상기 모니터링 데이터 추출부는
    상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고,
    상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고,
    상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고,
    상기 조작 명령을 상기 모니터링 시스템에 전송하는 것
    을 특징으로 하는 공정 데이터 수집 시스템.
  3. 제2항에 있어서,
    상기 모니터링 데이터 추출부는
    상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복하는 것
    을 특징으로 하는 공정 데이터 수집 시스템.
  4. 제3항에 있어서,
    상기 모니터링 데이터 추출부는
    상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여,
    상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출하는 것
    을 특징으로 하는 공정 데이터 수집 시스템.
  5. 제4항에 있어서,
    상기 모니터링 데이터 추출부는
    상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고,
    상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정하는 것
    을 특징으로 하는 공정 데이터 수집 시스템.
  6. 중앙처리장치 및 메모리를 구비하는 공정 데이터 수집 시스템에서 동작하는 공정 데이터 수집 방법에 있어서,
    장비의 모니터링 시스템 화면에 출력되는 영상 데이터를 수신하는 모니터링 영상 수신 단계;
    상기 수신한 영상 데이터를 분석하여 상기 장비에 대한 모니터링 데이터를 추출하는 모니터링 데이터 추출 단계; 및
    상기 추출된 모니터링 데이터를 통신망을 통해 공정 분석 시스템에 전송하는 모니터링 데이터 전송 단계
    를 포함하는 것을 특징으로 하는 공정 데이터 수집 방법.
  7. 제6항에 있어서,
    상기 모니터링 데이터 추출 단계는
    상기 수신한 영상 데이터를 분석하여 모니터링 조작 버튼 영역과 모니터링 데이터 표시 영역을 구분하고,
    상기 모니터링 데이터 표시 영역에 표시된 이미지를 문자로 인식하여 모니터링 데이터를 추출하고,
    상기 모니터링 조작 버튼 영역을 분석하여 조작 명령을 생성하고,
    상기 조작 명령을 상기 모니터링 시스템에 전송하는 것
    을 특징으로 하는 공정 데이터 수집 방법.
  8. 제7항에 있어서,
    상기 모니터링 데이터 추출 단계는
    상기 모니터링 시스템에 조작 명령을 전송하고, 상기 영상 데이터가 변경되었는지 확인하여 변경되었으면 모니터링 데이터를 추출하는 작업을 반복하는 것
    을 특징으로 하는 공정 데이터 수집 방법.
  9. 제8항에 있어서,
    상기 모니터링 데이터 추출 단계는
    상기 모니터링 데이터 표시 영역에 표시된 이미지를 분석하여, 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 구분하여,
    상기 데이터의 종류를 나타내는 문자 및 데이터를 나타내는 문자를 대응시켜 모니터링 데이터를 추출하는 것
    을 특징으로 하는 공정 데이터 수집 방법.
  10. 제9항에 있어서,
    상기 모니터링 데이터 추출 단계는
    상기 조작 버튼 영역에서 각 조작 버튼을 나타내는 문자 또는 이미지를 식별하고,
    상기 식별된 문자 또는 이미지가 나타내는 의미를 분석하여 상기 조작 버튼 영역에 대한 조작 명령을 생성할지 여부를 결정하는 것
    을 특징으로 하는 공정 데이터 수집 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터가 실행하도록 기능시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/003701 2022-04-12 2023-03-21 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법 WO2023200130A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220045034A KR20230146270A (ko) 2022-04-12 2022-04-12 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법
KR10-2022-0045034 2022-04-12

Publications (1)

Publication Number Publication Date
WO2023200130A1 true WO2023200130A1 (ko) 2023-10-19

Family

ID=88329781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003701 WO2023200130A1 (ko) 2022-04-12 2023-03-21 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20230146270A (ko)
WO (1) WO2023200130A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015719A (ko) * 2003-08-07 2005-02-21 삼성전자주식회사 영상 처리 기기의 검사 장치 및 검사 방법
JP2008305259A (ja) * 2007-06-08 2008-12-18 Nec Electronics Corp 生産設備稼働状態データ収集システム
KR20190121680A (ko) * 2018-04-18 2019-10-28 엔쓰리엔 주식회사 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템
KR20200028261A (ko) * 2018-09-06 2020-03-16 (주) 임픽스 네트워크에 연결할 수 없는 공장설비에 적용할 수 있는 스마트 팩토리 시스템
KR20210141900A (ko) * 2020-05-11 2021-11-23 유아이패스, 인크. 그래픽 요소 검색 기술 선택, 앵커 및 타겟의 퍼지 논리 선택, 및/또는 로봇 프로세스 자동화를 위한 계층적 그래픽 요소 식별

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093281B1 (ko) 2018-08-27 2020-03-25 스퀘어네트 주식회사 스마트 공장의 공정 데이터의 가공방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015719A (ko) * 2003-08-07 2005-02-21 삼성전자주식회사 영상 처리 기기의 검사 장치 및 검사 방법
JP2008305259A (ja) * 2007-06-08 2008-12-18 Nec Electronics Corp 生産設備稼働状態データ収集システム
KR20190121680A (ko) * 2018-04-18 2019-10-28 엔쓰리엔 주식회사 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템
KR20200028261A (ko) * 2018-09-06 2020-03-16 (주) 임픽스 네트워크에 연결할 수 없는 공장설비에 적용할 수 있는 스마트 팩토리 시스템
KR20210141900A (ko) * 2020-05-11 2021-11-23 유아이패스, 인크. 그래픽 요소 검색 기술 선택, 앵커 및 타겟의 퍼지 논리 선택, 및/또는 로봇 프로세스 자동화를 위한 계층적 그래픽 요소 식별

Also Published As

Publication number Publication date
KR20230146270A (ko) 2023-10-19

Similar Documents

Publication Publication Date Title
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2018048219A1 (ko) 무선통신망을 이용한 공장설비 관리 시스템 및 방법
US11818305B2 (en) Distributed sensing and video capture system and apparatus
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2022114654A1 (ko) 공정 모니터링 시스템 및 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2023200130A1 (ko) Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법
CN113991837A (zh) 一种基于多元感知技术的保护装置智能巡视系统
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
WO2018074729A1 (ko) 사무/공장 자동화를 위한 컴퓨터 입력 시스템
WO2023128320A1 (ko) 인공지능 검증 시스템 및 방법
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2023128186A1 (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2020130687A1 (en) System and method for automated execution of user-specified commands
WO2018062578A1 (ko) 이미지 프로세싱을 이용한 아날로그 계측 기반 가스 설비의 안전 관리 방법 및 시스템
WO2024111816A1 (ko) 이미지 및 영상 기반의 상호 행동 인식 방법
WO2018093158A1 (ko) 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788482

Country of ref document: EP

Kind code of ref document: A1