KR102143650B1 - IoT supporting apparatus for measuring equipment that is difficult to implement IoT function - Google Patents

IoT supporting apparatus for measuring equipment that is difficult to implement IoT function Download PDF

Info

Publication number
KR102143650B1
KR102143650B1 KR1020180137331A KR20180137331A KR102143650B1 KR 102143650 B1 KR102143650 B1 KR 102143650B1 KR 1020180137331 A KR1020180137331 A KR 1020180137331A KR 20180137331 A KR20180137331 A KR 20180137331A KR 102143650 B1 KR102143650 B1 KR 102143650B1
Authority
KR
South Korea
Prior art keywords
iot communication
iot
character extraction
implement
difficult
Prior art date
Application number
KR1020180137331A
Other languages
Korean (ko)
Other versions
KR20200053877A (en
Inventor
김동현
Original Assignee
코닉오토메이션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닉오토메이션 주식회사 filed Critical 코닉오토메이션 주식회사
Priority to KR1020180137331A priority Critical patent/KR102143650B1/en
Publication of KR20200053877A publication Critical patent/KR20200053877A/en
Application granted granted Critical
Publication of KR102143650B1 publication Critical patent/KR102143650B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G06K9/2063—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display

Abstract

본 발명은 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치에 관한 것으로, 스마트 팩토리(Smart Factory) 구현시 장애 요인이 되는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기의 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있도록 한 것이다.The present invention relates to an IoT communication support device for a device in which it is difficult to implement an IoT communication function, and from a device operation screen signal of a device that is difficult to implement an Internet of Things communication (IoT) function, which becomes an obstacle when implementing a smart factory. By extracting information and transmitting it to a monitoring device through Internet of Things (IoT) communication, it is possible to eliminate obstacles to the implementation of a smart factory.

Figure R1020180137331
Figure R1020180137331

Description

사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치{IoT supporting apparatus for measuring equipment that is difficult to implement IoT function}IoT supporting apparatus for measuring equipment that is difficult to implement IoT function}

본 발명은 스마트 팩토리(Smart Factory) 구현에 관련된 기술로, 특히 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치에 관한 것이다.The present invention relates to a technology related to the implementation of a smart factory, and in particular, to an IoT communication support device for a device that is difficult to implement an IoT communication function.

스마트 팩토리(Smart Factory)를 구현함에 있어서, 사물 인터넷 통신(IoT : Internet of Things) 기능 구현이 곤란한 즉, 통신 기능이나 센서 추가가 어려운 장비들이 스마트 팩토리 구현에 장애가 되고 있다.In implementing a smart factory, devices that are difficult to implement Internet of Things (IoT) functions, that is, to add communication functions or sensors, are obstacles to smart factory implementation.

이러한 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기들은 대개 자체에 센서를 구비하고 있고, 센서에 의해 센싱된 센싱 값을 운영자(operator)가 볼 수 있도록 LCD 모니터 또는 LED 모니터 등과 같은 표시 기기의 화면에 표시하는 기능을 구비하고 있다.Devices that are difficult to implement the Internet of Things communication (IoT) function usually have a sensor, and the sensing value sensed by the sensor is displayed on the screen of a display device such as an LCD monitor or an LED monitor so that the operator can see it. It has a function to display.

따라서, 본 발명자는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기로부터 표시 기기로 출력되는 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치에 대한 연구를 하였다.Therefore, the present inventor removes the obstacles to implementing the smart factory by extracting information from the device operation screen signal output to the display device from the device having difficulty in implementing the Internet of Things communication (IoT) function and transmitting it to the monitoring device through the Internet of Things communication (IoT). A study was conducted on an IoT communication support device for a device that is difficult to implement an IoT communication function that can be used.

이와 관련한 기술로, 대한민국 등록특허 제10-1085509호(2011.11.15)에서 사용자 컴퓨터의 실제 모니터에 제공되는 스크린 영상과 동일한 스크린 영상을 분배하여 전송하고, 분배된 스크린 영상을 이미지 그룹별로 분류하여 색인화하여 저장하는 기술을 제안하고 있다.As a related technology, in Korean Patent Registration No. 10-1085509 (2011.11.15), the same screen image as the screen image provided to the actual monitor of the user computer is distributed and transmitted, and the distributed screen image is classified and indexed by image group. It is proposing a technology to save it.

대한민국 등록특허 제10-1085509호(2011.11.15)Korean Patent Registration No. 10-1085509 (2011.11.15)

본 발명은 스마트 팩토리(Smart Factory) 구현시 장애 요인이 되는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기의 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치를 제공함을 그 목적으로 한다.The present invention is a smart factory by extracting information from a device operation screen signal of a device that is difficult to implement an Internet of Things communication (IoT) function, which becomes an obstacle when implementing a smart factory, and transmitting it to a monitoring device through Internet of Things communication (IoT). It is an object of the present invention to provide an IoT communication support device for devices in which it is difficult to implement an IoT communication function capable of removing an implementation obstacle.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 사물 인터넷 통신 기능 구현이 곤란한 기기로부터 표시 기기로 실시간 출력되는 기기 운용 화면 신호를 실시간 분배하는 화면 신호 분배기와; 기기 운용 화면 구성 정보를 참조하여, 화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자를 추출할 영역인 문자 추출 영역을 실시간 검출하는 문자 추출 영역 검출부와; 화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자 추출 영역 검출부에 의해 실시간 검출되는 문자 추출 영역의 문자를 실시간 추출하는 문자 추출부와; 문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 사물 인터넷 통신(IoT : Internet of Things)을 통해 모니터링 기기로 전송하는 사물 인터넷 통신부와; 사물 인터넷 통신부의 사물 인터넷 통신 제어를 포함하는 장치 전반을 제어하는 제어부를 포함한다.According to an aspect of the present invention for achieving the above object, an IoT communication support device for a device having difficulty in implementing an IoT communication function transmits a device operation screen signal output in real time to a display device from a device having difficulty in implementing the IoT communication function. A screen signal splitter for real-time distribution; A character extraction area detection unit for real-time detection of a character extraction area, which is an area for extracting characters from the device operation screen signal distributed in real time by the screen signal distributor, with reference to the device operation screen configuration information; A character extraction unit for real-time extraction of characters in the character extraction area detected by the character extraction area detection unit in real time from the device operation screen signal distributed in real time by the screen signal distributor; An Internet of Things communication unit for transmitting character information of the character extraction region extracted in real time from the device operation screen signal by the character extraction unit to a monitoring device through Internet of Things (IoT); It includes a control unit for controlling the entire device including the IoT communication control of the IoT communication unit.

본 발명의 부가적인 양상에 따르면, 제어부가 문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 사물 인터넷 통신부를 통해 전송하도록 제어한다.According to an additional aspect of the present invention, the controller controls to match the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit with the character extraction area identification information and transmit it through the IoT communication unit.

본 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 저장하는 내부 메모리를 더 포함할 수 있다.According to an additional aspect of the present invention, an IoT communication support apparatus for a device having difficulty in implementing an IoT communication function further includes an internal memory for storing character information of a character extraction area extracted in real time from a device operation screen signal by a character extraction unit. Can include.

본 발명의 부가적인 양상에 따르면, 제어부가 문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 내부 메모리에 저장하도록 제어한다.According to an additional aspect of the present invention, the controller controls to match the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit with the character extraction area identification information and store it in the internal memory.

본 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 화면 신호 분배기에 의해 분배되는 기기 운용 화면 신호 프레임들을 버퍼링하는 화면 신호 프레임 버퍼를 더 포함할 수 있다.According to an additional aspect of the present invention, an IoT communication support apparatus for a device having difficulty in implementing an IoT communication function may further include a screen signal frame buffer for buffering device operation screen signal frames distributed by the screen signal distributor.

본 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 제어 기기로부터 사물 인터넷 통신 기능 구현이 곤란한 기기로 입력되는 기기 제어 신호를 실시간 분배하는 제어 신호 분배기를 더 포함할 수 있다.According to an additional aspect of the present invention, an IoT communication support device for devices having difficulty in implementing an IoT communication function further comprises a control signal distributor for real-time distribution of a device control signal input from a control device to a device having difficulty implementing an IoT communication function. Can include.

본 발명의 부가적인 양상에 따르면, 문자 추출 영역 검출부가 기기 운용 화면 구성 정보를 참조하여, 제어 신호 분배기에 의해 분배되는 기기 제어 신호에 대응하는 문자 추출 영역을 화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 실시간 결정하도록 구현될 수 있다.According to an additional aspect of the present invention, the character extraction area detection unit refers to the device operation screen configuration information, and the character extraction area corresponding to the device control signal distributed by the control signal distributor is distributed in real time by the screen signal distributor. It can be implemented to determine in real time from the screen signal.

본 발명은 스마트 팩토리(Smart Factory) 구현시 장애 요인이 되는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기의 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있으므로, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기를 교체하지 않고도 스마트 팩토리를 구현할 수 있는 효과가 있다. The present invention is a smart factory by extracting information from a device operation screen signal of a device that is difficult to implement an Internet of Things communication (IoT) function, which becomes an obstacle when implementing a smart factory, and transmitting it to a monitoring device through Internet of Things communication (IoT). Since implementation obstacles can be eliminated, there is an effect that a smart factory can be implemented without replacing a device that is difficult to implement an Internet of Things communication (IoT) function.

도 1 은 본 발명에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치의 동작의 일 예를 도시한 순서도이다.1 is a block diagram showing the configuration of an embodiment of an IoT communication support apparatus for a device in which it is difficult to implement an IoT communication function according to the present invention.
2 is a flow chart showing an example of the operation of the IoT communication support apparatus for a device in which it is difficult to implement an IoT communication function according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.Hereinafter, the present invention will be described in detail so that those skilled in the art can easily understand and reproduce it through preferred embodiments described with reference to the accompanying drawings. Although specific embodiments are illustrated in the drawings and related detailed description is described, it is not intended to limit the various embodiments of the invention to specific forms.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the embodiments of the present invention, the detailed description thereof will be omitted.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

도 1 은 본 발명에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치(100)는 화면 신호 분배기(110)와, 문자 추출 영역 검출부(120)와, 문자 추출부(130)와, 사물 인터넷 통신부(140)와, 제어부(150)를 포함한다.1 is a block diagram showing the configuration of an embodiment of an IoT communication support apparatus for a device in which it is difficult to implement an IoT communication function according to the present invention. As shown in Fig. 1, the IoT communication support apparatus 100 for a device having difficulty in implementing an IoT communication function according to this embodiment includes a screen signal distributor 110, a character extraction area detection unit 120, and a character extraction It includes a unit 130, an Internet of Things communication unit 140, and a control unit 150.

화면 신호 분배기(110)는 사물 인터넷 통신 기능 구현이 곤란한 기기(200)로부터 표시 기기(300)로 실시간 출력되는 기기 운용 화면 신호를 실시간 분배한다. 이 때, 사물 인터넷 통신 기능 구현이 곤란한 기기(200)는 통신 기능이나 센서 추가가 어려워 스마트 팩토리(Smart Factory) 구현에 장애가 되는 기기를 통칭한다.The screen signal distributor 110 distributes a device operation screen signal that is output in real time to the display device 300 from the device 200 having difficulty in implementing the IoT communication function. In this case, the device 200 having difficulty in implementing the IoT communication function is collectively referred to as a device that is an obstacle to implementing a smart factory because it is difficult to add a communication function or sensor.

사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)들은 자체에 센서(도면 도시 생략)를 구비하고 있고, 센서에 의해 센싱된 센싱 값을 운영자(operator)가 볼 수 있도록 LCD 모니터 또는 LED 모니터 등과 같은 표시 기기(300)의 화면에 표시한다.Devices 200 for which it is difficult to implement the Internet of Things communication (IoT) function have a sensor (not shown in the drawing) in themselves, and an LCD monitor or an LED monitor, etc., so that an operator can see the sensing value sensed by the sensor. It is displayed on the screen of the same display device 300.

예컨대, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)와 표시 기기(300)간은 아날로그 전송 방식인 D-sub(RGB) 케이블, 디지털 전송 방식의 DVI-D 케이블 또는 HDMI 케이블 또는 DP 케이블, 아날로그/디지털 겸용 전송 방식인 DVI-I 케이블 등을 통해 연결될 수 있다.For example, between the device 200 for which it is difficult to implement the Internet of Things communication (IoT) function and the display device 300, an analog transmission method D-sub (RGB) cable, a digital transmission method DVI-D cable, an HDMI cable, or a DP cable , It can be connected through a DVI-I cable, which is an analog/digital transmission method.

화면 신호 분배기(110)는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)와 표시 기기(300)간에 연결되어, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)로부터 출력되는 기기 운용 화면 신호를 표시 기기(300)로 중계함과 동시에 기기 운용 화면 신호를 분기시킨다.The screen signal distributor 110 is connected between the device 200 having difficulty in implementing the Internet of Things communication (IoT) function and the display device 300, and operating a device output from the device 200 having difficulty in implementing the Internet of Things communication (IoT) function. The screen signal is relayed to the display device 300 and the device operation screen signal is branched.

이 때, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)와 화면 신호 분배기(110)간 및 화면 신호 분배기(110)와 표시 기기(300)간은 아날로그 전송 방식인 D-sub(RGB) 케이블, 디지털 전송 방식의 DVI-D 케이블 또는 HDMI 케이블 또는 DP 케이블, 아날로그/디지털 겸용 전송 방식인 DVI-I 케이블 등을 통해 각각 연결될 수 있다.In this case, D-sub (RGB), which is an analog transmission method, between the device 200 and the screen signal distributor 110 for which it is difficult to implement the Internet of Things communication (IoT) function, and between the screen signal distributor 110 and the display device 300 It can be connected through a cable, a DVI-D cable of a digital transmission method, an HDMI cable or a DP cable, and a DVI-I cable that is a combined analog/digital transmission method.

문자 추출 영역 검출부(120)는 기기 운용 화면 구성 정보를 참조하여, 화면 신호 분배기(110)에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자를 추출할 영역인 문자 추출 영역을 실시간 검출한다.The character extraction area detection unit 120 detects a character extraction area, which is an area to extract characters from, from the device management screen signal distributed in real time by the screen signal distributor 110, with reference to the device management screen configuration information.

이 때, 기기 운용 화면 구성 정보는 기기 운용 소프트웨어의 화면 입/출력 UI들에 대한 정보로 미리 알려진 정보로, 추후 설명할 내부 메모리(160)에 저장될 수 있다.In this case, the device operation screen configuration information is information known in advance as information on screen input/output UIs of the device operation software, and may be stored in the internal memory 160 to be described later.

문자 추출 영역 검출부(120)는 기기 운용 화면 구성 정보를 참조하여, 화면 신호 분배기(110)에 의해 실시간 분배되는 기기 운용 화면 신호로부터 현재 어떤 화면 입/출력 UI가 표시 장치(300)로 출력되는지 인식하고, 인식된 현재 화면 입/출력 UI에서 어떤 영역에 문자가 출력되는지 확인하여, 문자가 출력되는 영역을 문자 추출 영역으로 결정한다.The character extraction area detection unit 120 recognizes which screen input/output UI is currently output to the display device 300 from the device operation screen signal distributed in real time by the screen signal distributor 110 by referring to the device operation screen configuration information. Then, it is checked in which area the character is output in the recognized current screen input/output UI, and the area in which the character is output is determined as the character extraction area.

예컨대, 기기 운용 화면 신호로부터 인식되는 화면 입/출력 UI에 출력되는 문자가 온도 등과 같은 계측 데이터일 수 있다. 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)는 자체적으로 사물 인터넷 통신(IoT)이 불가능 하기 때문에 온도 등과 같은 계측 데이터를 관제 서버와 같은 모니터링 기기(400)로 전송할 수 없다.For example, a character output to a screen input/output UI recognized from a device operation screen signal may be measurement data such as temperature. The device 200 having difficulty in implementing the IoT function cannot transmit measurement data such as temperature to the monitoring device 400 such as a control server because the Internet of Things communication (IoT) itself is not possible.

문자 추출부(130)는 화면 신호 분배기(110)에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자 추출 영역 검출부(120)에 의해 실시간 검출되는 문자 추출 영역의 문자를 실시간 추출한다. 예컨대, 실시간 추출되는 문자가 온도 등과 같은 계측 데이터일 수 있다. The character extraction unit 130 extracts the characters in the character extraction area detected in real time by the character extraction area detection unit 120 from the device operation screen signal distributed in real time by the screen signal distributor 110. For example, a character extracted in real time may be measurement data such as temperature.

문자 추출 영역 검출부(120)에 의해 기기 운용 화면 신호로부터 문자를 추출할 문자 추출 영역이 결정되면, 문자 추출부(130)가 화면 신호 분배기(110)에 의해 분배되는 기기 운용 화면 신호의 문자 추출 영역으로부터 문자를 추출한다. 이미지로부터 텍스트를 인식하는 기술은 이 출원전에 이미 공지된 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.When the character extraction area detection unit 120 determines a character extraction area for extracting characters from the device operation screen signal, the character extraction unit 130 is a character extraction area of the device operation screen signal distributed by the screen signal distributor 110 Extract characters from A technology for recognizing text from an image is a conventional technology already known before this filing, and a detailed description thereof will be omitted.

사물 인터넷 통신부(140)는 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 사물 인터넷 통신(IoT : Internet of Things)을 통해 모니터링 기기(400)로 전송한다. The IoT communication unit 140 transmits character information of the character extraction region extracted in real time from the device operation screen signal by the character extraction unit 130 to the monitoring device 400 through Internet of Things (IoT) communication. .

예컨대, 모니터링 기기(400)는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)를 포함하는 다수의 기기를 중앙에서 관제하는 관제 서버일 수 있다. 사물 인터넷 통신부(140)에 의해 모니터링 기기(400)로 전송된 문자 추출 영역의 문자 정보는 모니터링 기기(400)의 화면에 출력되어 관제실내의 관제사가 알 수 있다. For example, the monitoring device 400 may be a control server that centrally controls a plurality of devices including the device 200 for which it is difficult to implement an Internet of Things communication (IoT) function. The text information of the text extraction area transmitted to the monitoring device 400 by the IoT communication unit 140 is output on the screen of the monitoring device 400 so that the controller in the control room can know.

만약, 전송된 문자 추출 영역의 문자 정보가 온도 등과 같은 계측 데이터라면, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)에 의해 계측되는 온도 등과 같은 계측 데이터를 원격이 관제실에서 관제사가 실시간 파악할 수 있다.If the text information in the transmitted text extraction area is measured data such as temperature, the controller can check the measured data such as temperature measured by the device 200 that is difficult to implement the Internet of Things communication (IoT) function in real time from the remote control room. I can.

제어부(150)는 사물 인터넷 통신부(140)의 사물 인터넷 통신 제어를 포함하는 장치 전반을 제어한다. 이 제어부(150)에 의해 화면 신호 분배기(110)와, 문자 추출 영역 검출부(120)와, 문자 추출부(130)와, 사물 인터넷 통신부(140) 등의 동작이 제어된다.The controller 150 controls the overall device including the IoT communication control of the IoT communication unit 140. The operation of the screen signal distributor 110, the character extraction region detection unit 120, the character extraction unit 130, the IoT communication unit 140, and the like are controlled by the control unit 150.

예컨대, 제어부(150)가 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 사물 인터넷 통신부(140)를 통해 전송하도록 제어할 수 있다.For example, the control unit 150 may control the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit 130 to match the character extraction area identification information and transmit it through the IoT communication unit 140. I can.

문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭시키는 이유는 기기 운용 소프트웨어의 화면 입/출력 UI는 하나가 아니라 여러 개일 수 있으므로, 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭시키지 않을 경우, 추출된 문자 정보가 어떤 화면 입/출력 UI로부터 추출되었는지 구별할 수 없기 때문이다.The reason why the character information in the character extraction area is matched with the character extraction area identification information is that the screen input/output UI of the device operating software may not be one, so the character information in the character extraction area is not matched with the character extraction area identification information. If not, it is because it is impossible to distinguish from which screen input/output UI the extracted text information was extracted.

이와 같이 구현함에 의해 본 발명은 스마트 팩토리(Smart Factory) 구현시 장애 요인이 되는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기의 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있으므로, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기를 교체하지 않고도 스마트 팩토리를 구현할 수 있다.By implementing in this way, the present invention is a monitoring device through Internet of Things communication (IoT) by extracting information from a device operation screen signal of a device that is difficult to implement the Internet of Things communication (IoT) function, which becomes a factor in implementing a smart factory. Since the obstacles to the implementation of the smart factory can be eliminated by transmitting to, the smart factory can be implemented without replacing a device that is difficult to implement the Internet of Things communication (IoT) function.

한편, 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치(100)가 내부 메모리(160)를 더 포함할 수 있다. Meanwhile, according to an additional aspect of the invention, the IoT communication support apparatus 100 for a device in which it is difficult to implement an IoT communication function may further include an internal memory 160.

내부 메모리(160)는 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 저장한다. 예컨대, 내부 메모리(160)가 EEPROM, 플래쉬 메모리(Flash Memory) 등과 같은 비휘발성 메모리일 수 있다.The internal memory 160 stores character information of a character extraction area extracted in real time from the device operation screen signal by the character extraction unit 130. For example, the internal memory 160 may be a nonvolatile memory such as an EEPROM or a flash memory.

이 때, 제어부(150)가 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 내부 메모리(160)에 저장하도록 제어할 수 있다.At this time, the control unit 150 may control to match the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit 130 with the character extraction area identification information and store it in the internal memory 160. have.

즉, 이 실시예는 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 내부 메모리(160)에 저장하도록 구현함으로써 블랙박스 기능을 수행하도록 한 것이다.That is, in this embodiment, the black box function is performed by implementing to store the character information of the character extraction area extracted in real time from the device operation screen signal in the internal memory 160.

한편, 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치(100)가 화면 신호 프레임 버퍼(170)를 더 포함할 수 있다.Meanwhile, according to an additional aspect of the invention, the IoT communication support apparatus 100 for a device in which it is difficult to implement an IoT communication function may further include a screen signal frame buffer 170.

화면 신호 프레임 버퍼(170)는 화면 신호 분배기(110)에 의해 분배되는 기기 운용 화면 신호 프레임들을 버퍼링(Buffering)하여 임시 저장한다. 기기 운용 화면 신호는 시간에 따른 연속적인 프레임들로 이루어지고, 이 시간에 따른 연속적인 기기 운용 화면 신호 프레임들을 화면 신호 프레임 버퍼(170)에 버퍼링(Buffering)하여 임시 저장한다.The screen signal frame buffer 170 buffers and temporarily stores device operation screen signal frames distributed by the screen signal divider 110. The device operation screen signal is composed of continuous frames according to time, and the device operation screen signal frames according to the time are buffered in the screen signal frame buffer 170 and temporarily stored.

문자 추출 영역 검출부(120)와, 문자 추출부(130)는 화면 신호 프레임 버퍼(170)에 임시 저장된 기기 운용 화면 신호 프레임들을 하나씩 읽어 문자 추출 영역을 검출하고, 검출된 문자 추출 영역으로부터 문자를 실시간 추출한다. The character extraction area detection unit 120 and the character extraction unit 130 read the device operation screen signal frames temporarily stored in the screen signal frame buffer 170 one by one to detect the character extraction area, and real-time text from the detected character extraction area. Extract.

한편, 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치(100)가 제어 신호 분배기(180)를 더 포함할 수 있다.On the other hand, according to an additional aspect of the invention, the IoT communication support apparatus 100 for a device in which it is difficult to implement an IoT communication function may further include a control signal distributor 180.

제어 신호 분배기(180)는 제어 기기(500)로부터 사물 인터넷 통신 기능 구현이 곤란한 기기(100)로 입력되는 기기 제어 신호를 실시간 분배한다. 제어 기기(500)는 사물 인터넷 통신 기능 구현이 곤란한 기기(100) 제어를 위한 기기 제어 신호를 입력하는 기기로, 예컨대, 키보드, 마우스 등일 수 있다.The control signal distributor 180 distributes a device control signal input from the control device 500 to the device 100 having difficulty in implementing an IoT communication function in real time. The control device 500 is a device that inputs a device control signal for controlling the device 100 for which it is difficult to implement an IoT communication function, and may be, for example, a keyboard or a mouse.

제어 기기(500)에 의해 입력된 기기 제어 신호에 따라 사물 인터넷 통신 기능 구현이 곤란한 기기(100)로부터 표시 기기(200)로 출력되는 기기 운용 화면 신호가 변경될 수 있다.A device operation screen signal output to the display device 200 from the device 100 having difficulty in implementing the IoT communication function may be changed according to the device control signal input by the control device 500.

예를 들면, 제어 기기(500)에 의해 입력된 기기 제어 신호가 화면 전환 신호라면, 사물 인터넷 통신 기능 구현이 곤란한 기기(100)로부터 표시 기기(200)로 출력되는 기기 운용 화면 신호는 이전의 화면 입/출력 UI 대신 새로이 변경되는 화면 입/출력 UI일 수 있다.For example, if the device control signal input by the control device 500 is a screen change signal, the device operation screen signal output to the display device 200 from the device 100 having difficulty in implementing the IoT communication function is the previous screen It may be a screen input/output UI that is newly changed instead of the input/output UI.

즉, 제어 기기(500)에 의해 입력된 기기 제어 신호에 따라 사물 인터넷 통신 기능 구현이 곤란한 기기(100)로부터 표시 기기(200)로 출력되는 기기 운용 화면 신호가 변하므로, 제어 기기(500)에 의해 입력된 기기 제어 신호에 적응적인 문자 추출 영역을 결정하기 위해 제어 신호 분배기(180)를 통해 제어 기기(500)로부터 사물 인터넷 통신 기능 구현이 곤란한 기기(100)로 입력되는 기기 제어 신호를 분기시킨다.That is, according to the device control signal input by the control device 500, the device operation screen signal output to the display device 200 from the device 100, which is difficult to implement the IoT communication function, changes. In order to determine a character extraction region adaptive to the device control signal input by the control signal distributor 180, the device control signal input to the device 100 having difficulty implementing the IoT communication function is branched from the control device 500 through the control signal distributor 180 .

예컨대, 키보드, 마우스 등과 같은 제어 기기(500)와 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)간은 PS2 케이블, USB 케이블 등과 같은 시리얼 통신 케이블을 통해 연결될 수 있다.For example, a control device 500 such as a keyboard, a mouse, or the like and a device 200 having difficulty in implementing an Internet of Things communication (IoT) function may be connected through a serial communication cable such as a PS2 cable or a USB cable.

제어 신호 분배기(180)는 제어 기기(500)와 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)간에 연결되어, 제어 기기(500)로부터 입력되는 기기 제어 신호를 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)로 중계함과 동시에 기기 제어 신호를 분기시킨다. The control signal distributor 180 is connected between the control device 500 and the device 200 that is difficult to implement an Internet of Things communication (IoT) function, and transmits a device control signal input from the control device 500 to an Internet of Things communication (IoT) function. The device control signal is branched while relaying to the device 200, which is difficult to implement.

이 때, 제어 기기(500)와 제어 신호 분배기(180)간 및 제어 신호 분배기(180)와 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)간은 PS2 케이블, USB 케이블 등과 같은 시리얼 통신 케이블을 통해 각각 연결될 수 있다.At this time, between the control device 500 and the control signal distributor 180 and between the control signal distributor 180 and the device 200 having difficulty in implementing the Internet of Things (IoT) function, a serial communication cable such as a PS2 cable or a USB cable Each can be connected through.

한편, 발명의 부가적인 양상에 따르면, 문자 추출 영역 검출부(120)가 기기 운용 화면 구성 정보를 참조하여, 제어 신호 분배기(180)에 의해 분배되는 기기 제어 신호에 대응하는 문자 추출 영역을 화면 신호 분배기(110)에 의해 실시간 분배되는 기기 운용 화면 신호로부터 실시간 결정하도록 구현될 수 있다.On the other hand, according to an additional aspect of the invention, the character extraction area detection unit 120 refers to the device operation screen configuration information, and determines the character extraction area corresponding to the device control signal distributed by the control signal distributor 180 by the screen signal distributor. It may be implemented to determine in real time from the device operation screen signal distributed in real time by 110.

이에 따라, 문자 추출 영역 검출부(120)가 제어 기기(500)에 의해 입력된 기기 제어 신호에 적응적인 문자 추출 영역을 결정할 수 있고, 문자 추출부(130)는 제어 기기(500)에 의해 입력된 기기 제어 신호에 적응적인 문자 추출 영역으로부터 문자를 추출할 수 있다.Accordingly, the character extraction area detection unit 120 may determine a character extraction area that is adaptive to the device control signal input by the control device 500, and the character extraction unit 130 is inputted by the control device 500. Characters can be extracted from the character extraction region adaptive to the device control signal.

제어 기기(500)에 의해 입력된 기기 제어 신호에 적응적인 문자 추출 영역을 결정하여 문자를 추출한다는 의미는 제어 기기(500)를 통해 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)를 운영하는 운영자(operator)의 조작 행동에 적응적인 문자 정보를 획득할 수 있다는 것을 의미한다. The meaning of extracting characters by determining a character extraction region adaptive to the device control signal input by the control device 500 means that the device 200 is operated with difficulty in implementing the Internet of Things communication (IoT) function through the control device 500 It means that it is possible to acquire text information that is adaptive to the operating behavior of an operator.

한편, 발명의 부가적인 양상에 따르면, 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치(100)가 제어 신호 프레임 버퍼(190)를 더 포함할 수 있다. 제어 신호 프레임 버퍼(190)는 제어 신호 분배기(180)에 의해 분배되는 기기 제어 신호 프레임들을 버퍼링한다.Meanwhile, according to an additional aspect of the invention, the IoT communication support apparatus 100 for a device in which it is difficult to implement an IoT communication function may further include a control signal frame buffer 190. The control signal frame buffer 190 buffers device control signal frames distributed by the control signal distributor 180.

한편, 발명의 부가적인 양상에 따르면, 제어부(150)가 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보와 임계 정보를 비교해 특정의 이벤트를 발생시키도록 구현될 수도 있다.Meanwhile, according to an additional aspect of the invention, the control unit 150 is implemented to generate a specific event by comparing the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit 130 and the threshold information. It could be.

예를 들면, 문자 추출부(130)에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보가 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)에 의해 계측되는 온도이고, 위험 경고 이벤트를 발생시키도록 설정된 임계 온도가 섭씨 60도라면, 제어부(150)가 문자 추출부(130)에 의해 추출된 온도가 임계 온도인 섭씨 60도를 넘을 경우 위험 경고 이벤트를 발생시켜 경고하도록 구현될 수 있다.For example, the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit 130 is a temperature measured by the device 200 having difficulty implementing the Internet of Things communication (IoT) function, and a danger warning If the threshold temperature set to generate the event is 60 degrees Celsius, the controller 150 generates a danger warning event and warns when the temperature extracted by the character extraction unit 130 exceeds the critical temperature of 60 degrees Celsius. I can.

한편, 발명의 부가적인 양상에 따르면, 제어부(150)에 의해 발생된 특정의 이벤트가 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)를 피드백(feedback) 제어하기 위한 기기 제어 신호일 수 있다.Meanwhile, according to an additional aspect of the present invention, a specific event generated by the controller 150 may be a device control signal for feedback control of the device 200 having difficulty in implementing the Internet of Things (IoT) function.

예를 들면, 문자 추출부(130)에 의해 추출된 온도가 임계 온도인 섭씨 60도를 넘어 위험하다 판단되면, 제어부(150)가 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)로 온도를 낮추도록 조작하는 기기 제어 신호를 피드백 전송하고, 이를 수신한 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기(200)는 피드백된 기기 제어 신호에 따라, 온도를 낮추는 동작을 수행하도록 구현될 수 있다.For example, if it is determined that the temperature extracted by the character extraction unit 130 is dangerous beyond the critical temperature of 60 degrees Celsius, the control unit 150 sends the temperature to the device 200 that is difficult to implement the Internet of Things communication (IoT) function. The device 200, which is difficult to implement a device control signal that operates to lower the device control signal and receives it, is difficult to implement an Internet of Things communication (IoT) function, may be implemented to perform an operation to lower the temperature according to the device control signal fed back. .

한편, 도면에는 도시하지 않았으나, 화면 신호 분배기(110)에 의해 분배되는 기기 운용 화면 신호가 아날로그일 경우(아날로그 전송 방식인 D-sub(RGB) 케이블을 사용할 경우)에는 화면 신호 분배기(110) 이후에 A/D 컨버터(도면 도시 생략)를 구비시켜 아날로그 기기 운용 화면 신호를 디지털 기기 운용 화면 신호로 변환하는 것이 바람직하다.On the other hand, although not shown in the drawing, when the device operating screen signal distributed by the screen signal distributor 110 is analog (when using a D-sub (RGB) cable, which is an analog transmission method), after the screen signal distributor 110 It is preferable to provide an A/D converter (not shown in the drawings) to convert an analog device operating screen signal into a digital device operating screen signal.

이상에서 설명한 바와 같은 본 발명에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치의 동작을 도 2 를 통해 알아본다. 도 2 는 본 발명에 따른 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치의 동작의 일 예를 도시한 순서도이다.The operation of the IoT communication support apparatus for devices having difficulty in implementing the IoT communication function according to the present invention as described above will be described with reference to FIG. 2. 2 is a flow chart showing an example of the operation of the IoT communication support apparatus for a device in which it is difficult to implement an IoT communication function according to the present invention.

먼저, 단계 710에서 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 사물 인터넷 통신 기능 구현이 곤란한 기기로부터 표시 기기로 실시간 출력되는 기기 운용 화면 신호를 실시간 분배시킨다. 이와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.First, in step 710, an IoT communication support device for a device having difficulty implementing an IoT communication function distributes a device operation screen signal output in real time to a display device from a device having difficulty implementing an IoT communication function. Since this has been described previously, duplicate descriptions will be omitted.

그 다음, 단계 720에서 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 기기 운용 화면 구성 정보를 참조하여, 단계 710에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자를 추출할 영역인 문자 추출 영역을 실시간 검출한다. 이와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Next, in step 720, an IoT communication support device for a device that is difficult to implement an IoT communication function refers to the device operation screen configuration information, and extracts a character, which is an area to extract characters from the device operation screen signal distributed in real time in step 710 Real-time detection of the area. Since this has been described previously, duplicate descriptions will be omitted.

그 다음, 단계 730에서 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 단계 710에 의해 실시간 분배되는 기기 운용 화면 신호로부터 단계 720에 의해 실시간 검출되는 문자 추출 영역의 문자를 실시간 추출한다. 이와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Thereafter, in step 730, an IoT communication support device for a device having difficulty in implementing an IoT communication function extracts a character in a character extraction region detected in real time in step 720 from the device operation screen signal distributed in real time in step 710. Since this has been described previously, duplicate descriptions will be omitted.

그 다음, 단계 740에서 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가 단계 730에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 사물 인터넷 통신(IoT : Internet of Things)을 통해 모니터링 기기로 전송한다. 그러면, 모니터링 기기로 전송된 문자 추출 영역의 문자 정보는 모니터링 기기의 화면을 통해 출력되어 관제사가 알 수 있다. Next, in step 740, the device for supporting IoT communication for devices for which it is difficult to implement the IoT communication function transmits the text information of the text extraction area extracted in real time from the device operation screen signal in step 730 to Internet of Things (IoT). To the monitoring device. Then, the text information of the text extraction area transmitted to the monitoring device is output through the screen of the monitoring device so that the controller can know it.

이와 같이 구현함에 의해 본 발명은 스마트 팩토리(Smart Factory) 구현시 장애 요인이 되는 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기의 기기 운용 화면 신호로부터 정보를 추출해 사물 인터넷 통신(IoT)을 통해 모니터링 기기로 전송함으로써 스마트 팩토리 구현 장애 요인을 제거할 수 있으므로, 사물 인터넷 통신(IoT) 기능 구현이 곤란한 기기를 교체하지 않고도 스마트 팩토리를 구현할 수 있다.By implementing in this way, the present invention is a monitoring device through Internet of Things communication (IoT) by extracting information from a device operation screen signal of a device that is difficult to implement the Internet of Things communication (IoT) function, which becomes a factor in implementing a smart factory. Since the obstacles to the implementation of the smart factory can be eliminated by transmitting to, the smart factory can be implemented without replacing a device that is difficult to implement the Internet of Things communication (IoT) function.

본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다. The various embodiments disclosed in the specification and drawings are merely presented as specific examples for ease of understanding, and are not intended to limit the scope of various embodiments of the present invention.

따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예들의 범위에 포함되는 것으로 해석되어야 한다.Accordingly, the scope of various embodiments of the present invention includes, in addition to the embodiments described herein, all modified or modified forms derived based on the technical spirit of the various embodiments of the present invention are included in the scope of various embodiments of the present invention Should be interpreted as

본 발명은 스마트 팩토리(Smart Factory) 구현을 위한 사물 인터넷 통신(IoT : Internet of Things) 관련 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.The present invention can be used industrially in the field of technology related to Internet of Things (IoT) and its application technology for implementing a smart factory.

100 : 사물 인터넷 통신 지원 장치
110 : 화면 신호 분배기
120 : 문자 추출 영역 검출부
130 : 문자 추출부
140 : 사물 인터넷 통신부
150 : 제어부
160 : 내부 메모리
170 : 화면 신호 프레임 버퍼
180 : 제어 신호 분배기
190 : 제어 신호 프레임 버퍼100: Internet of Things communication support device
110: screen signal splitter
120: character extraction area detection unit
130: character extraction unit
140: Internet of Things Communication Department
150: control unit
160: internal memory
170: screen signal frame buffer
180: control signal divider
190: control signal frame buffer

Claims (7)

사물 인터넷 통신 기능 구현이 곤란한 기기로부터 표시 기기로 실시간 출력되는 기기 운용 화면 신호를 실시간 분배하는 화면 신호 분배기와;
기기 운용 소프트웨어의 화면 입/출력 UI들에 대한 미리 알려진 정보인 기기 운용 화면 구성 정보를 참조하여, 화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자를 추출할 영역인 문자 추출 영역을 실시간 검출하는 문자 추출 영역 검출부와;
화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 문자 추출 영역 검출부에 의해 실시간 검출되는 문자 추출 영역의 문자를 실시간 추출하는 문자 추출부와;
문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 사물 인터넷 통신(IoT : Internet of Things)을 통해 모니터링 기기로 전송하는 사물 인터넷 통신부와;
사물 인터넷 통신부의 사물 인터넷 통신 제어를 포함하는 장치 전반을 제어하는 제어부를;
포함하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.A screen signal distributor for real-time distribution of a device operation screen signal output in real time to a display device from a device having difficulty in implementing an IoT communication function;
Real-time detection of a character extraction area, an area to extract characters from the device operation screen signals distributed in real time by a screen signal distributor, by referring to the device operation screen composition information, which is known information about the screen input/output UIs of the device operation software. A character extraction region detection unit to perform;
A character extraction unit for real-time extraction of characters in the character extraction area detected by the character extraction area detection unit in real time from the device operation screen signal distributed in real time by the screen signal distributor;
An Internet of Things communication unit for transmitting character information of the character extraction region extracted in real time from the device operation screen signal by the character extraction unit to a monitoring device through Internet of Things (IoT);
A control unit for controlling an entire apparatus including an IoT communication control unit of the IoT communication unit;
An IoT communication support device for devices in which it is difficult to implement an IoT communication function including. 제 1 항에 있어서,
제어부가:
문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 사물 인터넷 통신부를 통해 전송하도록 제어하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 1,
The control unit:
IoT communication support for devices where it is difficult to implement an IoT communication function that controls to transmit through the IoT communication unit by matching the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit with the character extraction area identification information Device. 제 1 항에 있어서,
사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가:
문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 저장하는 내부 메모리를;
더 포함하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 1,
The IoT communication support device for devices that are difficult to implement the IoT communication function is:
An internal memory for storing character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit;
An IoT communication support device for devices in which it is difficult to implement an IoT communication function further comprising. 제 3 항에 있어서,
제어부가:
문자 추출부에 의해 기기 운용 화면 신호로부터 실시간 추출되는 문자 추출 영역의 문자 정보를 문자 추출 영역 식별정보와 매칭하여 내부 메모리에 저장하도록 제어하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 3,
The control unit:
An IoT communication support device for devices that is difficult to implement an IoT communication function that controls the character information of the character extraction area extracted in real time from the device operation screen signal by the character extraction unit to be matched with the character extraction area identification information and stored in an internal memory. 제 1 항에 있어서,
사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가:
화면 신호 분배기에 의해 분배되는 기기 운용 화면 신호 프레임들을 버퍼링하는 화면 신호 프레임 버퍼를;
더 포함하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 1,
The IoT communication support device for devices that are difficult to implement the IoT communication function is:
A screen signal frame buffer for buffering device operation screen signal frames distributed by the screen signal distributor;
An IoT communication support device for devices in which it is difficult to implement an IoT communication function further comprising. 제 1 항에 있어서,
사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치가:
제어 기기로부터 사물 인터넷 통신 기능 구현이 곤란한 기기로 입력되는 기기 제어 신호를 실시간 분배하는 제어 신호 분배기를;
더 포함하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 1,
The IoT communication support device for devices that are difficult to implement the IoT communication function is:
A control signal distributor for real-time distribution of a device control signal input from a control device to a device having difficulty in implementing an IoT communication function;
An IoT communication support device for devices in which it is difficult to implement an IoT communication function further comprising. 제 6 항에 있어서,
문자 추출 영역 검출부가:
기기 운용 화면 구성 정보를 참조하여, 제어 신호 분배기에 의해 분배되는 기기 제어 신호에 대응하는 문자 추출 영역을 화면 신호 분배기에 의해 실시간 분배되는 기기 운용 화면 신호로부터 실시간 결정하는 사물 인터넷 통신 기능 구현이 곤란한 기기용 사물 인터넷 통신 지원 장치.The method of claim 6,
Character extraction area detection unit:
It is difficult to implement the IoT communication function in which the character extraction area corresponding to the device control signal distributed by the control signal distributor is determined in real time from the device operation screen signal distributed in real time by the screen signal distributor with reference to the device operation screen configuration information. Internet of Things communication support device.
KR1020180137331A 2018-11-09 2018-11-09 IoT supporting apparatus for measuring equipment that is difficult to implement IoT function KR102143650B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180137331A KR102143650B1 (en) 2018-11-09 2018-11-09 IoT supporting apparatus for measuring equipment that is difficult to implement IoT function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180137331A KR102143650B1 (en) 2018-11-09 2018-11-09 IoT supporting apparatus for measuring equipment that is difficult to implement IoT function

Publications (2)

Publication Number Publication Date
KR20200053877A KR20200053877A (en) 2020-05-19
KR102143650B1 true KR102143650B1 (en) 2020-08-11

Family

ID=70913343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180137331A KR102143650B1 (en) 2018-11-09 2018-11-09 IoT supporting apparatus for measuring equipment that is difficult to implement IoT function

Country Status (1)

Country Link
KR (1) KR102143650B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757116B1 (en) * 2005-12-29 2007-09-10 엘지전자 주식회사 Method and apparatus of verification osd
KR101709715B1 (en) * 2015-11-16 2017-02-24 (주)아이오텍 Control and monitoring apparatus based internet of things using a camera
KR101773173B1 (en) * 2017-06-01 2017-09-13 이상국 Home monitoring system and method for smart home

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101044652B1 (en) * 2009-04-15 2011-06-29 한국과학기술원 Touch screen string recognition system of camera reflex and the method
KR101085509B1 (en) 2011-05-17 2011-11-22 주식회사 온마루 Computer screen scanning system and method for digital forensics
KR101950335B1 (en) * 2017-04-25 2019-02-20 (주)온테스트 Integrated monitoring system and method using image capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757116B1 (en) * 2005-12-29 2007-09-10 엘지전자 주식회사 Method and apparatus of verification osd
KR101709715B1 (en) * 2015-11-16 2017-02-24 (주)아이오텍 Control and monitoring apparatus based internet of things using a camera
KR101773173B1 (en) * 2017-06-01 2017-09-13 이상국 Home monitoring system and method for smart home

Also Published As

Publication number Publication date
KR20200053877A (en) 2020-05-19

Similar Documents

Publication Publication Date Title
US10852213B2 (en) Image processing device for gas detection, image processing method for gas detection, image processing program for gas detection, computer-readable recording medium having image processing program for gas detection recorded thereon, and gas detection system
US20190092345A1 (en) Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium
JP6639091B2 (en) Display control device and display control method
US20150309694A1 (en) Computer readable medium, relay device and information processing device
US9727791B2 (en) Person detection system, method, and non-transitory computer readable medium
US10373459B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US10635873B2 (en) Video signal monitoring method, video signal monitoring device, and display device
KR101411624B1 (en) Method and system for detecting fire
KR102568996B1 (en) Surveillance camera setting method, method and system for surveillance camera management
GB2576273A (en) Cloud-enabled testing of control systems
KR20160021966A (en) Display device and operation method thereof and image display system
JP2017011417A (en) Display control unit, display control method, and program
CN111033472B (en) Abnormal state detection device and method and computer readable recording medium
KR102143650B1 (en) IoT supporting apparatus for measuring equipment that is difficult to implement IoT function
EP1356423A2 (en) System and method for extracting a point of interest of an object in front of a computer controllable display captured by an imaging device
KR102558472B1 (en) Electronic device for conrolling display of content and operating method thereof
AU2018431320A8 (en) Wireless device, computer server node, and methods thereof
US20140210713A1 (en) Method for controlling display of pointer and displaying the pointer, and apparatus thereof
MX2019013187A (en) DEVICE AND METHOD FOR CONTROLLING BLUETOOTH™ ENABLED OCCUPANCY SENSORS.
KR20180056268A (en) Image processing apparatus and controlling method thereof
EP3477434B1 (en) Information processing device, information processing method, and program
KR20190055946A (en) Apparatus and method for analyzing audio/video output and computer-readable recording medium
KR20190004337A (en) Remote operating system
US11366627B2 (en) Display control device, display system, display device, and display method
US20220091682A1 (en) Information processing device, information processing method, program, display system, display method, and electronic writing tool

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant